CN113168217A - 用于使用视觉识别对设备进行配对的系统和方法 - Google Patents

用于使用视觉识别对设备进行配对的系统和方法 Download PDF

Info

Publication number
CN113168217A
CN113168217A CN201880094433.4A CN201880094433A CN113168217A CN 113168217 A CN113168217 A CN 113168217A CN 201880094433 A CN201880094433 A CN 201880094433A CN 113168217 A CN113168217 A CN 113168217A
Authority
CN
China
Prior art keywords
peripheral device
peripheral
host device
host
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880094433.4A
Other languages
English (en)
Inventor
D·波尔
T·赖德
杨文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113168217A publication Critical patent/CN113168217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/22—Handling requests for interconnection or transfer for access to input/output bus using successive scanning, e.g. polling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26—Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/63—Location-dependent; Proximity-dependent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)

Abstract

本公开针对使用视觉识别和深度学习技术来将主机电子设备(12)与外围电子设备(14)配对。特别地，主机设备(12)可以经由相机(22)或作为搜索外围设备(14)的结果(例如，由于相关应用或周期性扫描的启动)来接收外围设备(14)的指示。主机设备(12)还可以接收(例如，经由相机(22)捕获)外围设备(14)的图像，并且基于该图像确定到外围设备(14)的视觉距离(80)。主机设备(12)还可以确定外围设备(14)的信号强度，并且基于信号强度确定到外围设备(14)的信号距离(82)。如果视觉距离(80)和信号距离(82)近似相等，则主机设备(12)可以与外围设备(14)配对。

Description

用于使用视觉识别对设备进行配对的系统和方法
背景技术
本公开总体上涉及将外围电子设备与主机电子设备进行配对。
本部分旨在向读者介绍可能与下面描述和/或要求保护的本公开的各方面相关的本领域的各个方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本公开的各方面。因此，可以理解，这些陈述将从这个角度来阅读，而不是作为对现有技术的承认。
在过去几年中，无线外围设备已经获得普及并遍布用户家中。这些外围设备可包括小型设备到较大的主流家用电器。除了耳机之外，像虚拟现实外围设备、鼠标设备、键盘、智能家用设备、以及许多更多的设备等的各种其他设备是我们日常生活的一部分。然而，尽管是这种无处不在的流行度，外围设备的配对过程(例如，智能电话与无线耳机)却并不是标准化的，并且经常需要以一定顺序按下某些按钮达一定时间，并且可能需要不必要地查看用户手册。
发明内容
以下阐述本文公开的某些实施例的概述。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面并不旨在限制本公开的范围。实际上，本公开可涵盖可能不在以下阐述的各种方面。
本公开描述了使用视觉识别和/或机器学习(例如，深度学习)来将外围电子设备与主机电子设备进行配对的系统和方法。特别地，主机设备可以经由传感器(例如，相机)或作为搜索外围设备的结果(例如，由于相关应用或周期性扫描的启动)来接收外围设备的指示。主机设备还可以接收(例如，经由传感器捕获)外围设备的图像，并且基于该图像确定到外围设备的视觉距离。主机设备还可以确定外围设备的信号强度，并且基于该信号强度确定到外围设备的信号距离。如果视觉距离和信号距离近似相等，则主机设备可以将外围设备与主机设备配对。
可以关于本公开的各个方面存在上述特征的各种改进。还可以将进一步特征也并入到这些各个方面中。这些改进和附加的特征可以单独地或以任何组合存在。例如，下面关于所示实施例中的一者或多者讨论的各种特征可以单独地或以任何组合并入到本公开的上述方面中的任何方面中。再次，以上呈现的简要概述仅旨在使读者熟悉本公开的实施例的某些方面和前后关系，而不限制所要求保护的主题。
附图简述
在阅读以下详细描述并且参照附图后可以更好地理解本公开的各方面，在附图中：
图1是根据本公开的实施例的可以使用视觉识别和/或机器学习的外围设备配对系统的框图；
图2是示出根据本公开的实施例的将图1的主机设备与外围设备配对的过程的流程图；
图3是根据本公开的实施例的显示询问用户是否与外围设备配对的提示的图1的主机设备的透视图；
图4是根据本公开的实施例的确定到外围设备的视觉和信号距离的图1的主机设备的透视图；
图5是根据本公开的实施例的图1的主机设备完成与外围设备的配对过程的透视图；
图6是根据本公开的实施例的图1的主机设备聚焦在扬声器外围设备而不是键盘外围设备上的透视图；
图7是根据本公开的实施例的图1的主机设备捕获图6的扬声器外围设备和键盘外围设备两者的图像的透视图；
图8是根据本公开的实施例的图1的主机设备捕获佩戴外围设备的用户的图像的透视图；以及
图9是根据本公开的实施例的捕获要与之配对的外围设备的图像的示例主机设备的透视图。
具体实施例的详细描述
下面将描述一个或多个具体实施例。为了提供这些实施例的简明描述，在说明书中没有描述实际实现方式的所有特征。可以理解的是，在任何此类实际实现方式的开发中，如在任何工程或设计项目中，必须做出许多实现方式特定的决定以实现开发者的特定目标，诸如符合与系统相关的和与商业相关的约束，这些约束可以因实现方式而异。此外，应当理解，这样开发上的努力可能是复杂且耗时的，但是对于受益于本公开的普通技术人员而言，这仍将是设计、制造和生产所要承担的例行工作。
无线外围电子设备(例如，一组耳机、头戴式耳机、扬声器、键盘、鼠标设备、汽车立体声系统、打印机、网络摄像头、或智能家居设备)可以与主机电子设备(例如，智能电话、可穿戴设备、虚拟现实或混合现实头戴设备、平板电脑、台式计算机、膝上型计算机、或其他计算设备)配对，以使得主机设备能够控制和使用外围设备。为了配对外围设备，用户经常手动将外围设备和主机设备两者置于各自的配对模式。例如，用户可以浏览主机设备上的配置菜单以将主机设备置于配对模式。随后，主机设备可以搜索可配对的设备。用户还可以按下外围设备的按钮达三秒钟，以将外围设备置于配对模式。一旦主机设备发现所述外围设备，用户通常就可以从设备列表手动选择该外围设备，并且随后确认该外围设备是用户期望与主机设备配对的设备。一旦确认，主机设备就可以最终与外围设备配对。
在一些情况下，可以通过以下方式来执行配对：将主机设备置于密码输入模式以输入与外围设备相关联的密码、将主机设备置于扫描模式以使用主机设备的相机来扫描外围设备上的QR码、或将主机设备置于网络发现模式以经由外围设备到网络的连接来发现外围设备。然而，在每种情况下，用户可以执行附加动作以完成配对。
本公开描述了使用视觉识别和/或机器学习(例如，深度学习)来将外围电子设备与主机电子设备进行配对的系统和方法。特别地，主机设备可以经由传感器(例如，相机)或作为搜索外围设备的结果(例如，由于相关应用或周期性扫描的启动)来接收外围设备的指示。主机设备还可以接收(例如，经由传感器捕获)外围设备的图像，并且基于图像确定到外围设备的视觉距离。主机设备还可以确定外围设备的信号强度，并且基于信号强度确定到外围设备的信号距离。如果视觉距离和信号距离近似相等，则主机设备可以将外围设备与主机设备配对。
在一些情况下，在主机设备的搜索半径内可存在其他外围设备。因此，当这些其他外围设备的信号距离与外围设备的视觉距离不近似匹配时，主机设备可以确定与这些其他设备配对不是用户的意图。此外，可存在外围设备的图像还包括其他外围设备的时候。主机设备可采用任何合适的技术(包括深度学习)以确定用户旨在与之配对的外围设备。例如，主机设备可以确定是否之前已经与外围设备中的任一者配对过，并与该之前已经与之配对过的外围设备配对。主机设备可以附加地或替代地确定或接收可以如何使用外围设备的指示(例如，经由主机设备上打开的软件应用或最近使用的软件应用，或经由示出外围设备的图像)，并且基于该指示与所述外围设备配对。在一些实施例中，主机设备可以使用加权或置信因素系统以基于例如与外围设备的距离、与外围设备的配对历史和/或配对频率、可以如何使用外围设备的指示、或任何其他合适的因素来确定与哪个外围设备配对。
处于对前述内容的考虑，图1是根据本公开的实施例的可以使用视觉识别和深度学习的外围设备配对系统10的框图。系统10包括可与外围设备14配对的主机设备12。主机设备12可包括可与外围设备14配对的任何合适的电子设备，诸如手机、智能电话、可穿戴设备、虚拟现实或混合现实头戴设备、平板电脑、台式计算机、膝上型计算机、或任何其他合适的计算设备。外围设备14可包括可与主机设备12配对的任何合适的电子设备，诸如一组耳机、头戴式耳机、扬声器、键盘、鼠标设备、汽车立体声系统、打印机、网络摄像头、智能家居设备、或任何其他合适的电子设备。
主机设备12可包括促进与外围设备14进行配对的控制器16。控制器16可包括一个或多个处理器18(例如，处理电路系统)和一个或多个存储器设备20(其可包括一个或多个存储设备)。处理器18可执行软件程序和/或指令，以促进与外围设备14进行配对。此外，处理器18可包括多个微处理器、一个或多个专用集成电路(ASICS)、和/或一个或多个精简指令集(RISC)处理器。存储器设备20可存储用于处理器18执行的机器可读指令和/或处理器可执行指令(例如，固件或软件)，诸如促进与外围设备14进行配对的指令。因此，存储器设备20可以存储例如控制软件、查找表、配置数据等等，以促进与外围设备14的配对。在一个实施例中，处理器18和存储器设备20可以在控制器16外部。存储器设备20可包括有形的、非瞬态的机器可读介质，诸如易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)、闪存、硬盘驱动器和/或任何其他合适的光学、磁性或固态存储介质)。
控制器16可以从主机设备12的传感器22接收图像数据。传感器22可以是视觉传感器，其检测和/或捕获外围设备14的图像或视频，并且将该图像或视频作为图像数据发送到控制器16。在一些实施例中，视觉传感器22可以是相机，诸如单目相机、立体相机、或深度相机，或其他合适的图像捕获设备。
系统10可包括对象识别引擎24，对象识别引擎24使用图像/对象识别技术识别所述图像数据中的外围设备14。例如，对象识别引擎24可使用对象识别技术来确定所述图像数据中的外围设备14是一组耳机、头戴式耳机、扬声器、键盘、鼠标设备、汽车立体声系统、打印机、网络摄像头、或智能家居设备。对象识别引擎24还可使用对象识别技术来确定所述图像数据中的其他对象(诸如咖啡杯、铅笔、纸张等等)不是可与主机设备12配对的外围设备。对象识别引擎24可将在所述图像数据中识别的对象的指示发送到控制器16，控制器16可以随后将外围设备14与所识别的对象相关联。随后，控制器16可以使用图像距离确定技术来确定所述图像数据中到外围设备14的距离(或深度)。
控制器16还可包括接收器26和天线28，接收器26和天线28使得能够从外围设备14接收信息。接收器26和天线28可使用用于配对设备的任何合适的无线通信协议来操作，所述无线通信协议诸如蓝牙、蓝牙低能耗(BLE)、WiFi、WiMax或ZigBee。例如，天线28可接收与到外围设备14的距离相关的信息或可用于确定到外围设备14的距离的信息。即，天线28可接收从外围设备14发送的无线电信号，并且接收器26和/或控制器16可确定无线电信号中存在的功率的指示，诸如在无线电信号中存在的功率的测量结果或值。随后，接收器26可将无线电信号中存在的功率的测量结果或值发送到控制器16。在一些实施例中，无线电信号中存在的功率的测量结果或值可以是接收到的信号强度指示(RSSI)值。
随后，控制器16可以将外围设备14的RSSI值转换为距离值以确定从主机设备12到外围设备14的距离。例如，控制器16可以使用与距离(d)和RSSI相关的以下公式：
Figure BDA0002820650550000061
其中：
Fm＝衰落余量
n＝路径-损耗指数
P0＝零距离处的信号功率(dBm)
Pr＝在距离处的信号功率(dBm)
f＝以MHz为单位的信号频率
主机设备12还可包括深度学习引擎30，该深度学习引擎30促进确定要与之配对的外围设备14。深度学习引擎30可使用任何合适的机器学习技术或架构，诸如深度神经网络、深度置信网络或循环神经网络。例如，主机设备12可确定存在可与之配对的多个外围设备14(例如，位于距离主机设备12近似相同距离处的外围设备)。深度学习引擎30可以确定每个外围设备14之前是否已被配对过(例如，基于存储的已经与主机设备12配对过的设备的列表)，并且确定被更频繁地和/或更近期地与之配对过的外围设备14更可能是用户期望与主机设备12配对的外围设备14。
深度学习引擎30可替代地或附加地确定或接收可以如何使用外围设备的一个或多个指示(例如，经由主机设备12上打开的软件应用或最近使用的软件应用，或经由示出外围设备的图像)，并且确定与此类指示相关联的外围设备14更可能是用户期望与主机设备12配对的外围设备14。例如，深度学习引擎30可确定文字处理、电子邮件、消息发送、或其他软件应用是在主机设备12上打开的、近期打开的、近期使用的、或最近使用的软件应用，并且确定与这样的软件应用相关联的外围设备(例如，键盘)相比不与这样的应用相关联的外围设备(例如，一组耳机)，更可能是用户期望与主机设备12配对的外围设备14。作为另一示例，深度学习引擎30可确定音频、视频、音乐、电影、电视、串流(streaming)、或其他软件应用是在主机设备12上打开的、近期打开的、近期使用的、或最近使用的软件应用，并且确定与这样的软件应用相关联的外围设备(例如，一组耳机)相比不与这样的应用相关联的外围设备(例如，一组耳机键盘)，更可能是用户期望与主机设备12配对的外围设备14。
在一些实施例中，深度学习引擎30可以发送深度学习引擎30确定用户期望与主机设备12配对的外围设备14的指示、或是用户期望与主机设备12配对的外围设备14的可能性为最高的外围设备14的指示。在一些实施例中，深度学习引擎30和/或控制器16可以使用加权或置信因素系统以基于例如与外围设备的距离、与外围设备的配对历史和/或配对频率、可以如何使用外围设备的指示、或任何其他合适的因素来确定与哪个外围设备配对。
主机设备12还可包括促进将主机设备12与外围设备14配对的配对引擎32。特别地，配对引擎32可使用天线28、接收器26、和/或主机设备12的任何其他部件(例如，诸如发射器)、以及外围设备的部件(例如，天线、接收器、和/或发射器)来将主机设备12与外围设备14配对。
应当理解，本文所使用的术语“引擎”可包括硬件(例如，电路系统)、软件(例如，由处理器执行的指令)、或两者的组合，和/或以硬件(例如，电路系统)、软件(例如，由处理器执行的指令)、或两者的组合来实现。此外，在附加的或替代的实施例中，对象识别引擎24、深度学习引擎30和配对引擎32中的每一者或任一者可以是控制器16的一部分并在控制器16内部(例如，以处理器18的电路系统的形式和/或以存储在存储器设备20中的软件指令的形式)。
图2是示出根据本公开的实施例的将图1的主机设备12与外围设备14进行配对的过程40的流程图。尽管过程40被描述为由处理器18执行，但是应当理解，过程40可由可与外围设备14配对的任何合适的设备来执行。此外，尽管使用特定顺序的步骤描述了过程40，但是应当理解，本公开构想的是所描述的步骤可以以与所示的顺序不同的顺序执行，并且某些所述步骤可以被跳过或完全不执行。在一些实施例中，过程40可通过使用任何适合的处理电路系统(诸如处理器18)执行存储在有形的、非瞬态的计算机可读介质(诸如存储器设备20)中的指令来实现。
如图所示，在执行框42中，处理器18接收外围设备14的指示。在一些情况下，主机设备12的视觉传感器22(例如，相机)可被激活。例如，在主机设备12上的相机或图像捕获软件应用可被打开。视觉传感器22可以捕获外围设备14的图像，并且将其发送到处理器18，该处理器18可以使用对象识别引擎24来识别外围设备14。
在附加的或替代的实施例中，与外围设备14相关联的在主机设备12上的软件应用可被打开，这可以使视觉传感器22搜索外围设备14。例如，用户可以打开与键盘或鼠标设备相关联的文字处理、电子邮件、消息发送、或其他软件应用，并且作为结果，处理器18可以自动搜索键盘或鼠标设备。类似地，用户可以打开与一组耳机、头戴式耳机、扬声器或汽车立体声系统相关联的音频、视频、音乐、电影、电视、串流、或其他软件应用，并且作为结果，处理器18可以自动搜索一组耳机、头戴式耳机、扬声器或汽车立体声系统。
处理器18还可以或替代地周期性地(例如，每30秒、每分钟、或任何其他合适的时间周期)搜索外围设备14。在一个实施例中，当用户将主机设备12置于配对模式和/或打开与配对的外围设备14相关联的配置菜单时，处理器18可以自动搜索外围设备14。为了使处理器18接收外围设备14的指示，外围设备14可以被激活和/或处于配对模式。在此类情况下，指示器72(例如，灯或发光二极管(LED))可指示外围设备14处于配对模式(例如，指示器72可以闪烁)。
在一些实施例中，处理器18可以显示询问用户是否与外围设备14配对的提示。例如，图3是根据本公开的实施例的图1的主机设备12显示询问用户是否与外围设备14(例如，头戴设备)配对的提示70的透视图。作为处理器18接收外围设备14的指示的结果，可在主机设备12的显示器68上显示提示70。
在执行框44中，处理器18接收外围设备14的图像。即，响应于从执行框42接收外围设备14的指示，视觉传感器22可以自动捕获外围设备14的图像。
在执行框46中，处理器18基于所述图像确定到外围设备14的视觉距离。例如，处理器18可以使用图像距离确定技术来确定图像数据中从主机设备12到外围设备14的距离(或深度)。应当理解，在一些实施例中，处理器18可以使用任何合适的一个或多个软件应用(诸如第三方距离确定软件应用)来确定到外围设备14的距离。例如，处理器18可以执行第三方软件应用的指令(例如，存储在存储器设备20中)，以捕获外围设备14的图像和/或确定到该图像中捕获的外围设备14的距离。
尽管本公开讨论了使用视觉传感器22来捕获外围设备14的图像、以及处理器28确定到外围设备14的距离，但是应当理解，可使用任何合适的距离确定技术来确定到外围设备14的距离(例如，视觉距离)。即，在一些实施例中，可使用非视觉传感器来确定到外围设备14的距离。非视觉传感器可包括例如音频传感器、红外传感器、声呐传感器、激光传感器、超声传感器等等。作为示例，超声传感器可用于通过以下方式确定到外围设备14的距离：使用换能器向外围设备14发送超声脉冲，并且基于接收返回的超声脉冲来确定到外围设备14的距离。
在执行框48中，处理器18确定或接收外围设备14的信号强度。特别地，主机设备12的接收器26和天线28可以接收和/或确定在从外围设备14发送的无线电信号中存在的功率的指示，并且接收器26和/或处理器18可以确定在所述无线电信号中存在的功率的测量结果或值。在一些实施例中，无线电信号中存在的功率的测量结果或值可以是接收到的信号强度指示(RSSI)值。
在执行框50中，处理器18基于信号强度确定到外围设备14的信号距离。特别地，处理器18可以将在无线电信号中存在的功率的测量结果或值转换为与外围设备14相关联的距离。例如，当在无线电信号中存在的功率的测量结果或值是RSSI值时，处理器18可以使用上述公式1来将RSSI值转换为信号距离。
在判定框52中，处理器18确定视觉距离和信号距离是否近似相等。例如，当视觉距离和信号距离在合适的误差裕度(例如，2％、5％、10％等)内时，处理器18可以确定视觉距离和信号距离近似相等。
例如，图4是根据本公开的实施例的图1的主机设备12确定到外围设备14的视觉和信号距离的透视图。如图所示，用户在外围设备14处引导或聚焦主机设备12的视觉传感器22(例如，相机)，使得外围设备14被显示在主机设备12的显示器68上。处理器18可以(例如，使用图像距离确定技术从图像数据)确定到外围设备14的视觉距离80，以及(例如，基于外围设备14的RSSI值84)确定到外围设备14的信号距离82。
如果在执行框54中，处理器18确定视觉距离和信号距离近似相等，则处理器18与外围设备14配对。在一些实施例中，处理器18可以与用户确认应当将外围设备14与主机设备12配对(例如，处于安全或隐私原因)。
如果在执行框56中，处理器18确定视觉距离和信号距离不近似相等，则处理器18不与外围设备14配对。在一些实施例中，如果处理器18不与外围设备14配对，则用户仍可以常规地将外围设备14与主机设备12配对(例如，通过浏览主机设备12上的配置菜单)。考虑到前述内容，图5是根据本公开的实施例的图1的主机设备12完成与外围设备14的配对过程的透视图。如图所示，处理器18可以显示向用户指示外围设备14已配对的提示92。以此方式，过程40使得能够将主机设备12与外围设备14配对。
在一些实施例中，在主机设备12的搜索半径内可能有额外的外围设备，使得搜索可配对的外围设备可导致发现这些额外的外围设备。例如，图4示出了可与主机设备12配对的键盘外围设备86。即，像头戴设备外围设备14一样，键盘外围设备86可以发射具有RSSI值88的无线电信号。因此，处理器18还可以基于键盘外围设备86的RSSI值88来确定到键盘外围设备86的信号距离90。然而，因为用户在头戴设备外围设备14处引导或聚焦主机设备12的视觉传感器22(例如，相机)，到头戴设备外围设备14的视觉距离80可能并不近似等于到键盘外围设备86的信号距离90，并且因此处理器18可能不与键盘外围设备86配对。
在一些情况下，可能存在处于距主机设备12近似相同距离处的多个外围设备。因此，处理器18可以(例如，使用对象识别引擎24)确定外围设备14的身份，以确定要与之配对的外围设备14。例如，图6是根据本公开的实施例的图1的主机设备12聚焦在扬声器外围设备100而不是键盘外围设备102上的透视图。如图所示，外围设备100、102可以两者都距离主机设备12有近似相同的视觉距离(例如，104)(如由主机设备12的视觉传感器22所感知到的)。此外，外围设备100、102可以两者都距离主机设备12有近似相同的信号距离(例如，分别为106、108)(基于外围设备100的RSSI值110和外围设备102的RSSI值112)。然而，因为如图6所示，用户在扬声器外围设备100处引导或聚焦主机设备12的视觉传感器22，所以处理器18将用户期望配对的外围设备识别为扬声器外围设备100。由此，处理器18可以与扬声器外围设备100配对(例如，在执行框54中)。
可能存在在由视觉传感器22捕获的图像中示出多于一个可配对设备的情况。例如，在根据本公开的实施例的图1的主机设备12捕获图6的扬声器外围设备100和键盘外围设备102两者的图像的透视图的图7中。在这种情况下，深度学习引擎30可以确定外围设备100、102中的每一者之前是否被配对过(例如，基于存储的已经与主机设备12配对过的设备的列表)，并且确定被更频繁地和/或更近期地与之配对过的外围设备更可能是用户期望与主机设备12配对的外围设备。
附加地或替代地，处理器18可使用深度学习引擎30来确定或接收可以如何使用期望要与之配对的外围设备的指示(例如，经由主机设备12上打开的软件应用或最近使用的软件应用，或经由示出外围设备的图像)，并且确定与此类指示相关联的外围设备更可能是用户期望与主机设备12配对的外围设备。例如，深度学习引擎30可确定文字处理、电子邮件、消息发送、或其他软件应用是在主机设备12上打开的、近期打开的、近期使用的、或最近使用的软件应用，并且确定键盘外围设备102与这样的软件应用相关联，且因此与扬声器外围设备100相比，更可能是用户期望与主机设备12配对的外围设备。作为另一示例，深度学习引擎30可确定音频、视频、音乐、电影、电视、串流、或其他软件应用是在主机设备12上打开的、近期打开的、近期使用的、或最近使用的软件应用，并且确定扬声器外围设备100与这样的软件应用相关联，且因此与键盘外围设备102相比，更可能是用户期望与主机设备12配对的外围设备。
在一些实施例中，在由视觉传感器22捕获的图像数据中可提供可以如何使用外围设备的指示。例如，一个指示可以是外围设备到用户的接近度，诸如如果用户正在佩戴或握持外围设备。作为示例，图8是根据本公开的实施例的图1的主机设备12捕获佩戴外围设备120(例如，头戴设备)的用户的图像的透视图。在该情况下，主机设备12使用面向后或面向用户的视觉传感器22(例如，相机)。处理器18可以使用对象识别引擎24来确定用户正在佩戴外围设备120。使用深度学习引擎30，处理器18可以确定，因为用户正在佩戴外围设备120，所以即使附近有其他可配对的外围设备，如果外围设备120是未配对的，则用户期望将主机设备12与外围设备120配对。由此，处理器18可以将外围设备120与主机设备12配对。
类似地，图9是根据本公开的实施例的示例主机设备130捕获要与之配对的外围设备132(例如，手腕控制器)的图像的透视图。在该情况下，主机设备130是虚拟现实或混合现实头戴设备。如图所示，用户将他的焦点(以及视觉传感器22或相机的焦点)引导到外围设备132。主机设备130的处理器18可以使用对象识别引擎24来确定用户正在握持外围设备132。使用深度学习引擎30，处理器18可以确定，因为用户正在握持外围设备132，所以即使附近有其他可配对的外围设备，如果外围设备132是未配对的，则用户期望将主机设备130与外围设备132配对。由此，处理器18可以将外围设备132与主机设备130配对。应当理解，外围设备132可包括任何合适的外围设备，包括任何合适的虚拟现实或混合现实外围设备，诸如虚拟现实或混合现实输入控制器、手持单元和/或手套(例如，它们中的任一者可包括诸如跟踪板、按钮、触发器、模拟杆和/或等之类的输入设备)。
处理器18还可以或替代地使得用户能够提供用户期望与主机设备12配对的外围设备的指示。例如，处理器18可以使得用户能够指向用户期望与主机设备12配对的外围设备处、朝该外围设备打响指、围绕该外围设备画圆圈、或在该外围设备处执行任何其他合适的指示手势。如图7所示，用户将他或她的手指指向扬声器外围设备100，表示扬声器外围设备100是他或她期望与主机设备12配对的外围设备。由此，处理器18可以将扬声器外围设备100与主机设备12配对。
在一些情况下，在基于将外围设备14激活和/或置于配对模式中来接收外围设备14的指示的情况下，处理器18可以接收外围设备14的标识符。该标识符可包括设备特定特性，诸如设备制造商、设备类型、设备型号等。处理器18可以确定设备特定特性，设备特定特性可用于例如在外围设备14的图像中的额外外围设备中识别外围设备14。
在一些实施例中，深度学习引擎30和/或处理器18可以使用加权或置信因素系统以基于例如与外围设备的距离、与外围设备的配对历史和/或配对频率、可以如何使用外围设备的指示、或任何其他合适的因素来确定与哪个外围设备配对。
在一些情况下，处理器18可以接收外围设备14的指示，但是外围设备14可不在视野中。即，在外围设备14处的主机设备12的视觉传感器22(例如，相机)可能不检测外围设备14，并且由此可能不在主机设备12的显示器68上显示外围设备14。在一些实施例中，处理器18可以基于接收从外围设备14发送的无线电信号中存在的功率的指示和/或确定在无线电信号中存在的功率的测量结果或值来确定外围设备14的近似位置。随后，处理器18可以指示外围设备14的近似位置。例如，处理器18可以在显示器68上显示指向外围设备14的近似位置的箭头或围绕外围设备14的近似位置的框。
在一些实施例中，主机设备12可包括可由多个用户使用的设备，诸如由服务提供的音乐、视频或其他媒体串流设备，并且外围设备14可包括用户的智能电话、可穿戴设备、膝上型计算机、或其他计算设备。例如，主机设备12可以是公共串流设备(例如，在机场、图书馆、博物馆、或任何其他合适的公共设施中)。主机设备12可包括或耦合到视觉传感器(例如，相机)，该视觉传感器可接收外围设备14的指示(例如，通过使用户握持和/或指向外围设备14)。例如，视觉传感器可以与符号、图形或其他指示相关联，所述指示表示对串流服务感兴趣的用户应该示出握持他们的外围设备14和/或指向外围设备14。基于执行过程40，例如主机设备12的处理器18可以随后将外围设备14与主机设备12配对，由此使得用户能够使用公共串流服务。
虽然本公开中阐述的实施例容许进行各种修改和替换形式，具体实施例已经由附图中的示例示出并且已经在本文中详细描述。然而，可以理解，本公开并不旨在限于所公开的特定形式。本公开旨在覆盖落入由所附权利要求书限定的本公开的精神和范围内的所有修改、等同物和替代物。
本文中呈现和要求保护的技术被引用并应用于具有实际性质的物质对象和具体示例，这些对象和示例可证明改善了本技术领域，并且因此不是抽象的、无形的或纯粹理论上的。此外，如果附在本说明书的结尾的任何权利要求包含被指定为“用于[执行][功能]……的装置”或“用于[执行][功能]……的步骤”的一个或多个元素，则其是指此类元素应根据35U.S.C.112(f)进行解释。然而，对于包含以任何其他方式指定的元素的任何权利要求，其是指，此类元素不应根据35U.S.C.112(f)进行解释。

Claims (20)

1.一种设备配对系统，包括：
外围设备；以及
主机设备，所述主机设备包括：
天线，所述天线被配置成从所述外围设备接收信号；
接收器，所述接收器被配置成从所述信号确定信号强度；
相机，所述相机被配置成捕获所述外围设备的图像；以及
控制器，所述控制器包括处理器和至少一个存储器，其中所述至少一个存储器被配置成存储用于将所述主机设备与所述外围设备进行配对的指令，其中所述处理器在执行所述指令的过程中被配置成基于所述外围设备的图像和所述外围设备的信号强度来将所述主机设备与所述外围设备进行配对。
2.如权利要求1所述的设备配对系统，其特征在于，所述处理器在执行所述指令的过程中被配置成：
基于所述外围设备的图像来识别所述外围设备；以及
基于所述外围设备的身份来确定从所述主机设备到所述外围设备的视觉距离。
3.如权利要求2所述的设备配对系统，其特征在于，所述处理器在执行所述指令的过程中被配置成基于所述外围设备的信号强度来确定到所述外围设备的信号距离。
4.如权利要求3所述的设备配对系统，其特征在于，所述处理器在执行所述指令的过程中被配置成响应于所述外围设备的视觉距离与信号距离近似相等，将所述主机设备与所述外围设备配对。
5.如权利要求1-4中任一项所述的设备配对系统，其特征在于，所述外围设备包括：一组耳机、头戴式耳机、扬声器、键盘、鼠标设备、汽车立体声系统、打印机、网络摄像头、或智能家居设备。
6.如权利要求1-4中任一项所述的设备配对系统，其特征在于，所述主机设备包括：手机、智能电话、可穿戴设备、虚拟现实或混合现实头戴设备、平板电脑、台式计算机、或膝上型计算机。
7.如权利要求1-4中任一项所述的设备配对系统，其特征在于，所述信号强度包括接收到的信号强度指示(RSSI)值。
8.一种主机设备，包括：
天线，所述天线被配置成从外围设备接收信号；
接收器，所述接收器被配置成从所述信号确定信号强度；
相机，所述相机被配置成捕获所述外围设备的图像；以及
控制器，所述控制器包括处理器和至少一个存储器，其中所述至少一个存储器被配置成存储用于将所述主机设备与所述外围设备进行配对的指令，其中所述处理器在执行所述指令的过程中被配置成：
基于所述外围设备的图像来确定到所述外围设备的视觉距离；
基于所述外围设备的信号强度来确定到所述外围设备的信号距离；以及
响应于所述外围设备的视觉距离与信号距离近似相等，将所述主机设备与所述外围设备配对。
9.如权利要求8所述的主机设备，其特征在于，所述处理器在执行所述指令的过程中被配置成基于所述主机设备与所述外围设备之间的配对历史来确定将所述主机设备与所述外围设备配对。
10.如权利要求8所述的主机设备，其特征在于，所述主机设备包括深度学习引擎，所述深度学习引擎被配置成促进确定将所述主机设备与所述外围设备配对。
11.如权利要求10所述的主机设备，其特征在于，所述深度学习引擎被配置成确定如何使用所述外围设备的一个或多个指示。
12.如权利要求11所述的主机设备，其特征在于，所述一个或多个指示基于所述外围设备的身份。
13.如权利要求11所述的主机设备，其特征在于，所述一个或多个指示基于所述主机设备上打开的软件应用或最近使用的软件应用。
14.如权利要求11所述的主机设备，其特征在于，所述一个或多个指示基于到用户的接近度。
15.如权利要求11所述的主机设备，其特征在于，所述一个或多个指示基于用户佩戴或握持所述外围设备。
16.如权利要求7所述的主机设备，其特征在于，所述处理器在执行所述指令的过程中被配置成：基于指示所述外围设备的用户手势来确定将所述主机设备与所述外围设备配对。
17.一种将主机设备与外围设备进行配对的方法，包括：
接收所述外围设备的图像；
基于所述外围设备的图像来确定到所述外围设备的视觉距离；
确定所述外围设备的信号强度；
基于所述外围设备的信号强度来确定到所述外围设备的信号距离；以及
响应于所述外围设备的视觉距离与信号距离近似相等，将所述主机设备与所述外围设备配对。
18.如权利要求17所述的方法，其特征在于，所述方法包括周期性地搜索所述外围设备，其中响应于发现所述外围设备，发生接收所述外围设备的图像。
19.如权利要求17所述的方法，其特征在于，所述方法包括响应于接收与所述外围设备相关联的软件应用在所述主机设备上被打开的指示，搜索所述外围设备，其中响应于发现所述外围设备，发生接收所述外围设备的图像。
20.如权利要求17所述的方法，其特征在于，所述方法包括响应于接收所述外围设备的图像，搜索所述外围设备。
CN201880094433.4A 2018-12-24 2018-12-24 用于使用视觉识别对设备进行配对的系统和方法 Pending CN113168217A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123202 WO2020132831A1 (en) 2018-12-24 2018-12-24 Systems and methods for pairing devices using visual recognition

Publications (1)

Publication Number Publication Date
CN113168217A true CN113168217A (zh) 2021-07-23

Family

ID=71129465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094433.4A Pending CN113168217A (zh) 2018-12-24 2018-12-24 用于使用视觉识别对设备进行配对的系统和方法

Country Status (6)

Country Link
US (1) US20210311893A1 (zh)
EP (1) EP3903168A4 (zh)
JP (1) JP7295147B2 (zh)
KR (1) KR20210108302A (zh)
CN (1) CN113168217A (zh)
WO (1) WO2020132831A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668589A (zh) * 2020-12-31 2021-04-16 闪耀现实(无锡)科技有限公司 用于头戴式电子设备的配对方法和装置
US11882192B2 (en) * 2022-05-25 2024-01-23 Microsoft Technology Licensing, Llc Intelligent near-field advertisement with optimization

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436805B1 (en) * 2008-07-03 2016-09-06 Prime Research Alliance E, Inc. Method and system for transfer of subscription media
US8750799B2 (en) * 2010-09-30 2014-06-10 Apple Inc. Wireless accessory device pairing determination for multiple host devices
EP2837167B1 (en) * 2012-04-12 2018-12-19 Telefonaktiebolaget LM Ericsson (publ) Pairing a mobile terminal with a wireless device
US9154904B2 (en) * 2012-11-12 2015-10-06 Tata Consultancy Services Limited Method and system for accurate straight line distance estimation between two communication devices
US8706162B1 (en) * 2013-03-05 2014-04-22 Sony Corporation Automatic routing of call audio at incoming call
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
EP3204837B1 (en) * 2014-10-06 2018-11-28 Koninklijke Philips N.V. Docking system
JP6380551B2 (ja) * 2014-12-01 2018-08-29 富士通株式会社 ペアリング管理方法、ペアリング管理プログラム、および端末装置
US20160285299A1 (en) * 2015-03-26 2016-09-29 Intel Corporation Method and apparatus for low power wireless docking discovery
US10506068B2 (en) * 2015-04-06 2019-12-10 Microsoft Technology Licensing, Llc Cloud-based cross-device digital pen pairing
EP3326425A4 (en) * 2015-08-20 2019-03-06 Hewlett-Packard Development Company, L.P. PERIPHERAL DEVICE MATCHING
CN106507240A (zh) * 2015-09-04 2017-03-15 音乐集团公司 一种将扬声器系统的扬声器的物理位置关联至扬声器标识符的方法
US10042595B2 (en) * 2016-09-06 2018-08-07 Apple Inc. Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US10574665B2 (en) * 2016-09-29 2020-02-25 AVAST Software s.r.o. System and method for determining device proximity
US10820360B1 (en) * 2017-08-30 2020-10-27 Socket Mobile, Inc. Application-assisted friendly pairing
US11394930B2 (en) * 2019-10-11 2022-07-19 At&T Intellectual Property I, L.P. Filtering and correlating radio signals based on a field of view of a camera
US11868294B2 (en) * 2021-06-28 2024-01-09 Learning Squared, Inc. Image based pairing system

Also Published As

Publication number Publication date
US20210311893A1 (en) 2021-10-07
JP7295147B2 (ja) 2023-06-20
EP3903168A4 (en) 2022-08-03
EP3903168A1 (en) 2021-11-03
JP2022522912A (ja) 2022-04-21
KR20210108302A (ko) 2021-09-02
WO2020132831A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US9553972B2 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
JP6053998B2 (ja) 権限管理方法、装置、システム、及び記録媒体
US9348412B2 (en) Method and apparatus for operating notification function in user device
JP6196398B2 (ja) タッチボタン及び指紋認証を実現する装置、方法、端末機器、並びにプログラム及び記録媒体
US20060044265A1 (en) HMD information apparatus and method of operation thereof
CN106055648A (zh) 食谱的确定方法、装置和用于确定食谱的装置
KR20180068127A (ko) 이동단말기 및 그 제어방법
CN103632165A (zh) 一种图像处理的方法、装置及终端设备
US20150365515A1 (en) Method of triggering authentication mode of an electronic device
CN105430185B (zh) 信息提示的方法、装置和设备
US9703577B2 (en) Automatically executing application using short run indicator on terminal device
CN104123093A (zh) 信息处理方法及装置
US20180054686A1 (en) Methods, devices, and computer-readable medium for microphone selection
CN107948278B (zh) 一种信息传输方法、终端设备及系统
US20180374485A1 (en) Initialization method and device for smart home
CN113168217A (zh) 用于使用视觉识别对设备进行配对的系统和方法
CN107239184B (zh) 一种触屏触控装置、方法和移动终端
CN105630239B (zh) 操作检测方法及装置
CN110784394A (zh) 一种提示方法及电子设备
CN106951243B (zh) 屏幕控制方法及终端设备
US20140176689A1 (en) Apparatus and method for assisting the visually impaired in object recognition
US10685665B2 (en) Method and apparatus to improve speech recognition in a high audio noise environment
CN111819831B (zh) 消息接收通知方法及支持该方法的电子设备
CN111357268A (zh) 移动终端
US10635802B2 (en) Method and apparatus for accessing Wi-Fi network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination