CN106104569A - 用于在电子装置之间建立连接的方法及设备 - Google Patents

用于在电子装置之间建立连接的方法及设备 Download PDF

Info

Publication number
CN106104569A
CN106104569A CN201580012703.9A CN201580012703A CN106104569A CN 106104569 A CN106104569 A CN 106104569A CN 201580012703 A CN201580012703 A CN 201580012703A CN 106104569 A CN106104569 A CN 106104569A
Authority
CN
China
Prior art keywords
target person
instruction
electronic installation
destination apparatus
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580012703.9A
Other languages
English (en)
Other versions
CN106104569B (zh
Inventor
金康
朴民奎
曹永宇
黄奎雄
金杜勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106104569A publication Critical patent/CN106104569A/zh
Application granted granted Critical
Publication of CN106104569B publication Critical patent/CN106104569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Information Transfer Between Computers (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本发明揭示一种在电子装置中执行的用于连接到目标装置的方法。所述方法包含：捕获包含与所述目标装置相关联的目标人员的面部的图像，及辨识对所述目标人员的指示。对所述目标人员的所述指示可为指向对象、语音命令及/或任何适合的输入命令。基于所述指示检测所述图像中的所述目标人员的所述面部，且提取所述图像中的所述面部的至少一个面部特征。基于所述至少一个面部特征，所述电子装置连接到所述目标装置。

Description

用于在电子装置之间建立连接的方法及设备
优先权主张
本申请案主张标题为“用于在电子装置之间建立连接的方法及设备(METHOD ANDAPPARATUS FOR ESTABLISHING CONNECTION BETWEEN ELECTRONIC DEVICES)”的在2014年3月19日提出申请的美国申请案第14/219,894号的优先权，所述美国申请案的内容以全文引用的方式并入本文中。
技术领域
本发明涉及电子装置之间的通信，且更具体来说，涉及在电子装置与目标装置之间建立连接。
背景技术
近年来，例如智能眼镜、智能电话及平板计算机等电子装置的使用已快速地增加。此些电子装置通常包含无线通信功能以允许与其它电子装置、通信网络、服务器等进行通信。举例来说，常规电子装置可使用例如Wi-Fi、CDMA(码分多址)、GSM(全球移动通信系统)、GSM2000、LTE(长期演进)、高级LTE等各种无线通信技术进行通信。此外，此些电子装置还可使用例如蓝牙、Wi-Fi直连、LTE直连、NFC(近场通信)等等的各种短程无线通信技术来与另一装置进行通信。
为与另一电子装置进行通信，常规电子装置通常与另一电子装置执行配对过程以根据两个装置共用的通信协议建立连接。举例来说，一对电子装置可使用蓝牙配对方案彼此配对以建立连接且接着使用蓝牙通信技术来彼此通信。然而，常规配对方法通常需要多个步骤来在电子装置之间建立连接。
执行多个步骤来与另一电子装置建立连接可给电子装置的用户带来不便。举例来说，可需要电子装置的用户从可用于连接的电子装置列表选择电子装置。然而，列表可不提供足够用以独特地识别其它电子装置的信息且用户可需要获得用以识别列表中的所要电子装置的更多信息。在已识别所要电子装置之后，可能还需要电子装置的用户输入识别码(例如，PIN(个人识别码)、密码或其类似者)来连接到另一装置。因此，常规电子装置的用户可能打消念头通过此些配对步骤来与其它装置进行通信。
发明内容
本发明涉及在电子装置与目标装置之间建立连接。
根据本发明的一个方面，揭示一种在电子装置中执行用于连接到目标装置的方法。所述方法包含：捕获包含与所述目标装置相关联的目标人员的面部的图像，及辨识对所述目标人员的指示。基于所述指示，检测所述图像中的所述目标人员的所述面部及提取所述图像中的所述面部的至少一个面部特征。基于所述至少一个面部特征将所述电子装置连接到所述目标装置。本发明还描述一种与此方法相关的设备、装置、装置的组合及计算机可读媒体。
根据本发明的另一方面，揭示一种用于连接到目标装置的电子装置。所述电子装置包含图像传感器，其经配置以捕获包含与所述目标装置相关联的目标人员的面部的图像；及目标识别单元，其经配置以通过辨识对所述目标人员的指示及基于所述指示检测所述图像中的所述目标人员的所述面部来提取所述图像中的所述面部的至少一个面部特征。所述电子装置还包含经配置以基于所述至少一个面部特征来建立到所述目标装置的连接的连接控制器。
附图说明
参考以下详细描述在结合附图阅读时将理解本发明的发明方面的实施例。说明经配置以响应于来自寻找关于杂志上的衬衫的信息的用户的语音查询而产生搜索查询的可穿戴式计算机
图1说明根据本发明的一个实施例的用户的经配置以基于所述用户的指向手势连接到目标人员的目标装置的电子装置。
图2说明根据本发明的一个实施例的经配置以基于指示图像中的目标人员的指向对象来检测所述目标人员的面部的电子装置。
图3说明根据本发明的一个实施例的用户的经配置以基于所述用户的语音命令连接到目标人员的目标装置的电子装置。
图4说明根据本发明的一个实施例的经配置以基于识别图像中的目标人员的语音命令来检测所述目标人员的面部的电子装置。
图5说明根据本发明的一个实施例的用户的经配置以基于所述用户的的指向对象及语音命令连接到目标人员的目标装置的电子装置。
图6说明根据本发明的一个实施例的经配置以基于指示图像中的目标人员的指向对象及语音命令来检测所述目标人员的面部的电子装置。
图7说明根据本发明的一个实施例的经配置以通过传输连接请求来连接到另一电子装置的电子装置的框图。
图8说明根据本发明的一个实施例的经配置以基于图像中的目标人员的指示来检测所述目标人员的面部的电子装置中的目标识别单元的更详细框图。
图9说明根据本发明的一个实施例的经配置以通过传输响应消息来与另一电子装置连接的电子装置的框图。
图10说明根据本发明的一个实施例的在电子装置中执行的用于基于目标人员的指示与目标人员的目标装置建立连接的方法的流程图。
图11说明根据本发明的一个实施例的在电子装置中执行的用于通过请求额外指示来检测目标人员的面部的详细方法的流程图。
图12为根据本发明的一个实施例的并有用于连接到目标装置的方法及设备的示范性电子装置的框图。
具体实施方式
现在将详细参考在附图中说明其实例的各种实施例。在以下详细描述中，阐明众多特定细节以便提供对本发明的发明性方面的彻底理解。然而，对所属领域的技术人员将显而易见，可在无这些特定细节的情况下实践本发明的发明性方面。在其它例项中，尚未详细描述众所周知的方法、程序、系统及组件以便不会不必要地混淆各种实施例的方面。
图1说明根据本发明的一个实施例的用户110的经配置以基于用户110的指向手势连接到多个电子装置122、132、142及152中的任一者的电子装置112。如本文中所使用，术语“手势”可为人员的手指、手、手臂、或身体或与人员的手指、手、手臂、或身体相关联的对象的任何移动或位置。如所展示，多个人员120、130、140及150位于电子装置112(其被说明为智能眼镜)的视野内。人员120、130、140及150分别配备有分别被描述为智能眼镜、移动电话、平板计算机及智能手表的电子装置122、132、142及152。尽管电子装置112、122、132、142及152如上文予以描述，但其可为配备有声音及图像捕获及处理能力的任何适合电子装置且可由人员穿戴、载运或使用。
在所说明实施例中，用户110可选择人员120、130、140及150中的任一者作为在电子装置112与电子装置122、132、142及152之间建立连接的目标人员。举例来说，用户110可使用其手作为指向对象114来作出指向手势以指示人员120作为目标人员，且电子装置112可捕获指向手势的图像，包含作为指向对象114的用户的手及人员120、130、140及150间的至少目标人员120。如本文中所使用，术语“指向对象”可为可用于指示目标且包含人员的手指、手、手臂或身体或与人员的手指、手、手臂或身体相关联的对象的对象。
从所捕获的图像，电子装置112可辨识用户的手的指向对象114作为对目标人员120的指示。如本文中所使用，术语“指示”指代指示、识别或描述目标的指向对象、语音命令、输入命令或其类似者的任何信息或数据表示。可使用任何适合对象检测方法基于所述指示来在所捕获的图像中检测目标人员120的面部。举例来说，对象检测方法可使用整体性检测、基于部分的检测、基于图块的检测、决策树、提升、神经网络、支持矢量机等等。另外，可使用任何适合特征提取方法从图像中的所检测到面部提取目标人员120的面部特征集。举例来说，特征提取方法可使用神经网络、视觉词袋(bag of visual word)、SIFT(标度不变特征变换)、SURF(加速鲁棒特征)、定向梯度直方图等等。如本文中所使用，术语“集合”指代一或多个数据或项，且可包含此数据或项的矢量表示。
电子装置112、122、132、142及152经配置以使用任何适合无线通信技术(例如蓝牙、Wi-Fi直连、LTE直连、NFC(近场通信)、IR(红外线)通信技术等等)来以无线方式进行通信。在所说明实施例中，电子装置112可(例如)通过广播或多播连接请求来将所述连接请求传输到电子装置122、132、142及152。所述连接请求可包含目标人员120的所提取面部特征集及电子装置112的识别信息，例如，产品识别码、MAC地址、IP地址等等。
电子装置122、132、142及152可经配置以从电子装置112接收连接请求及验证所接收面部特征集分别指示相关联人员120、130、140及150。为验证所接收面部特征集，电子装置122、132、142及152可分别存储人员120、130、140及150的面部特征集。在接收到连接请求时，电子装置122、132、142及152中的每一者可通过比较所接收面部特征集与所存储面部特征集来验证其是否为连接请求的既定接收端(即，目标装置)。
在所说明的实施例中，目标人员120的电子装置122(即，此实施例中的目标装置)可确定所接收面部特征集指示目标人员120且通过将响应消息传输到电子装置112来对连接请求作出回应。在一个实施例中，响应消息可指示电子装置122接受连接请求。所述响应消息可包含电子装置122的识别信息，例如，产品识别码、MAC地址、IP地址等等。另外，电子装置122可使用电子装置112的所接收识别信息作为响应消息中的目的地址。在电子装置112接收到接受连接请求的响应消息时，可通过包含(但不限于)配对的任何适合无线连接过程来建立电子装置112与122之间的通信连接。
图2说明根据本发明的一个实施例的经配置以基于指示目标人员120的指向对象114来检测图像210中的目标人员120的面部212的电子装置112。如所展示，电子装置112被说明为配备有图像传感器220、声音传感器230及光学透镜240的智能眼镜。在一些实施例中，智能眼镜可经实施不具有光学透镜240。图像传感器220及声音传感器230经配置以分别捕获图像及声音。智能眼镜还可包含显示单元(未展示)，所述显示单元经配置以为用户110显示或投射由图像传感器220检测到的图像及其它信息。
在所说明实施例中，电子装置112的用户110可看向人员120、130、140及150并通过使用指向对象114(例如，用户110的手)来作出指向手势以指示目标人员120。在指向对象114指向目标人员120时，电子装置112可经由图像传感器220捕获包含人员120、130、140及150的图像210。在一些实施例中，电子装置112可经配置以响应于检测到指向对象114或从用户110接收输入命令而捕获图像210。
从图像210，电子装置112可通过如上文所描述执行任何适合对象检测方法来检测图像210中的指向对象114。图像210中的所检测到指向对象114被辨识为对目标人员120的指示。电子装置112基于所述指示而检测图像210中的目标人员120的面部212。
在一个实施例中，确定指向对象114指向的方向以用于检测目标人员120的面部212。电子装置112可确定指向对象114指向目标人员120并检测目标人员120的面部212。在另一实施例中，电子装置112可基于图像210中的指向对象114的位置而检测目标人员120的面部212。举例来说，最接近于图像210中的指向对象114的面部被确定为目标人员120的面部212。
在检测到目标人员120的面部212时，电子装置112可如上文所描述使用任何适合特征提取方法来从图像210中的所检测到面部212提取目标人员120的面部特征集。电子装置112可产生包含目标人员120的所提取面部特征集及电子装置112的识别信息的连接请求。举例来说，通过广播或多播连接请求来将连接请求传输到电子装置122、132、142及152。
图3说明根据本发明的一个实施例的用户110的经配置以基于用户110的语音命令310连接到多个电子装置122、132、142及152中的任一者的电子装置112。图3中所说明的电子装置112、122、132、142及152可为与图1中的那些电子装置相同或相似单元。如本文中所使用，术语“语音命令”指代由说话者发出的指示、识别或描述例如人员的对象的一或多个词语的任何模拟或数字表示。此外，语音命令可包含用于指示、识别或描述对象的一或多个名词、代词、形容词或其类似者。
在本发明的一个实施例中，用于识别目标人员的语音命令可包含描述目标人员的外貌的一或多个描述，例如，性别描述(例如，“男孩”、“女孩”、“男人”、“女人”、“他”及“她”)、服装的商品描述(例如，“帽子”、“眼镜”、“裙子”、“衬衫”、“领带”)、颜色描述(例如，“穿蓝色衣服”、“穿红色衣服”)等等。在另一实施例中，语音命令可包含目标人员的名字(例如，“约翰(JOHN)”、“安(ANN)”、“鲍勃(BOB)”等等)或目标人员在说话者的视野内的位置(例如，“左侧”、“右侧”、“前方”、“后方”等等)。
在图3的所说明实施例中，用户110可选择人员120、130、140及150中的任一者作为用于在电子装置112与电子装置122、132、142及152之间建立连接的目标人员并说出识别目标人员的语音命令。举例来说，用户110可说出“连接到在左侧的那位女孩”作为将人员140识别为目标人员的语音命令310。电子装置112可接收包含来自用户110的识别目标人员140的语音命令310的输入声音。从而，电子装置112可捕获人员120、130、140及150间的至少目标人员140的图像。
从所接收输入声音，电子装置112可使用任何适合语音辨识方法来辨识语音命令310(即，“连接到在左侧的那位女孩”)作为对目标人员140的指示。可如上文所描述使用适合对象检测方法来基于指示在所捕获的图像中检测目标人员140的面部，且可使用如上文所描述的适合特征提取方法来从图像中的所检测面部提取目标人员140的面部特征集。电子装置112可接着(例如)通过广播或多播连接请求来将所述连接请求传输到电子装置122、132、142及152。所述连接请求可包含目标人员140的所提取面部特征集及电子装置112的识别信息。
在接收到连接请求时，电子装置122、132、142及152中的每一者可通过比较所接收面部特征集与所存储面部特征集来验证其是否为连接请求的既定接收端(即，此实施例中的目标装置)。在所说明的实施例中，与目标人员140相关联的电子装置142可通过比较所接收面部特征集与所存储面部特征集来验证所接收面部特征集指示目标人员140，并通过将响应消息传输到电子装置112来对连接请求作出响应。响应消息可包含电子装置142的识别信息。在电子装置112接收接受连接请求的响应消息时，可建立电子装置112与142之间的通信连接。
图4说明根据本发明的一个实施例的经配置以基于识别目标人员140的语音命令310来检测图像410中的目标人员140的面部412的电子装置112。如上文参考图2所描述，电子装置112被说明为配备有图像传感器220、声音传感器230及光学透镜240的智能眼镜。在所说明的实实施例中，电子装置112的用户110可看向人员120、130、140及150并说出语音命令310(例如，“连接到在左侧的那位女孩”)来识别目标人员140。
在经由声音传感器230从用户110接收包含语音命令310的输入声音时，电子装置112可使用任何适合语音辨识方法从输入声音将语音命令310辨识为对目标人员140的指示。举例来说，电子装置112可提取一或多个声音特征(例如，音频手指指纹、MFCC(梅尔频率倒谱系数)矢量，或其类似者)。基于GMM(高斯混合模型)、HMM(隐马尔科夫模型)、SMM(半马尔科夫模型)或其类似者使用适合语音辨识方法来分析所提取语音特征以辨识语音命令310。另外，电子装置112可经配置以响应于从输入声音辨识语音命令310或接收来自用户110的输入命令而捕获图像410。
基于所辨识语音命令310，电子装置112可检测图像410中的目标人员140的面部412。在一些实施例中，电子装置112可检测候选对象，例如图像410中的人员120、130、140及150的面部对象或人员对象。在确定此些候选对象时，可基于语音命令310中的描述从候选对象检测目标人员140的面部412，举例来说，所述语音命令描述目标人员140的外貌、性别、颜色、名字、位置或其类似者。
在所说明实施例中，在将语音命令310辨识为“连接到在左侧的那位女孩”时，电子装置112可基于语音命令310中对目标人员140的描述(例如，“女孩”及“左侧”)来针对面部及位置特性来检查图像410中的候选对象(例如，人员120、130、140及150的面部对象或人员对象)。在此状况下，由于描述“女孩”指示女性，因此电子装置112可使用任何适合面部辨识方法来识别人员120、130、140及150的候选对象中的每一者的性别且确定图像410包含两位女性人员，即，人员140及150。举例来说，面部辨识方法可包含(但不限于)整体性检测、基于部分的检测、基于图块的检测、决策树、提升、神经网络、支持矢量机等等。
一旦确定两位女性人员140及150，电子装置112可基于语音命令310中的描述“左侧”将两个女性人员140及150中的一者识别为目标人员。在此状况下，由于描述“左侧”可指示目标人员在图像410中的相对位置，因此电子装置112可将人员140(其相对于人员150位于左侧)识别为目标人员。以与上文所描述相同的方式，在所捕获的图像包含多个人员时，电子装置112可基于语音命令中作为对目标人员的指示的一或多个描述来识别多个人员间的目标人员。
在识别目标人员140时，电子装置112可检测图像410中的目标人员140的面部412并从所检测面部412提取目标人员140的面部特征集。电子装置112可产生包含目标人员140的所提取面部特征集及电子装置112的识别信息的连接请求。举例来说，通过广播或多播连接请求来将所述连接请求传输到电子装置122、132、142及152。
图5说明根据本发明的一个实施例的用户110的经配置以基于用户110的指向手势及语音命令520连接到多个电子装置122、132、142及152中的任一者的电子装置112。图5中所说明的电子装置112、122、132、142及152可为与图1中的那些电子装置相同或相似的单元。在所说明的实施例中，用户110可选择人员120、130、140及150中的任一者作为用于在电子装置112与电子装置122、132、142及152之间建立连接的目标人员。举例来说，用户110可使用其手作为指向对象510来作出指向手势并说出语音命令520(例如，“连接到戴帽子的那位人员”)来将人员130指示为目标人员。
电子装置112可捕获包含作为指向对象510的用户的手及人员120、130、140及150间的至少目标人员130的图像。另外，电子装置112可接收包含来自用户110的识别目标人员130的语音命令520的输入声音。在一个实施例中，可同时捕获包含指向对象510的图像及接收包含语音命令520的输入声音。在另一实施例中，可在接收包含语音命令520的输入声音之前捕获包含指向对象510的图像，或反之亦然。替代地，可在接收包含语音命令520的输入声音时捕获包含指向对象510的图像，或反之亦然。
从所捕获的图像，电子装置112可将用户的手的指向对象510辨识为对目标人员130的第一指示。另外，从所接收的输入声音，电子装置112可将语音命令520(即，“连接到戴帽子的那位人员”)辨识为对目标人员130的第二指示。可使用任何适合对象检测方法基于第一指示及第二指示在所捕获的图像中检测目标人员130的面部。
在一些实施例中，在基于初始辨识的一或多个指示在所捕获的图像中无法检测到目标人员的面部时，电子装置112可请求用户110提供用于识别目标人员的额外指示，例如，指向对象、语音命令及任何其它适合输入命令。举例来说，电子装置112可基于一或多个初始指示在所捕获的图像中检测多个面部或人员。在此状况下，电子装置112可输出对识别目标人员的额外指示的请求。作为回应，用户110可(例如)通过用指向对象作出指向手势或说出语音命令来识别目标人员。电子装置112可(例如)通过捕获包含指向对象的图像或接收包含语音命令的输入声音来辨识目标人员的额外指示。可基于额外指示在多个面部或人员间识别目标人员，且可从图像中的所识别人员检测目标人员的面部。
在图5的实施例中，一旦在所捕获的图像中检测到目标人员130的面部，电子装置112即可使用任何适合特征提取方法从所捕获的图像提取目标人员130的所检测到面部的面部特征集。电子装置112可接着(例如)通过广播或多播连接请求来将所述连接请求传输到电子装置122、132、142及152。所述连接请求可包含目标人员130的所提取面部特征集及电子装置112的识别信息。
在电子装置122、132、142及152从电子装置112接收连接请求时，与目标人员130相关联的电子装置132可通过比较所接收面部特征集与所存储面部特征集来验证其为连接请求的既定接收端(即，此实施例中的目标装置)。一旦通过验证，目标装置132可通过传输响应消息到电子装置112来对连接请求作出回应。当电子装置112从目标装置132接收响应消息时，可建立电子装置112及132之间的通信连接。
图6说明根据本发明的一个实施例的经配置以基于指示目标人员130的指向对象510及语音命令520来检测图像610中的目标人员130的面部612的电子装置112。如上文参考图2所描述，电子装置112被说明为配备有图像传感器220、声音传感器230及光学透镜240的智能眼镜。在所说明的实施例中，在看向人员120、130、140及150时，电子装置112的用户110可通过使用其手作为指向对象510来作出指向手势并说出语音命令520(例如，“连接到戴帽子的那位人员”)来指示目标人员130。
电子装置112可经由图像传感器220捕获包含指向对象510以及人员120、130、140及150的图像610。从图像610，通过电子装置112检测指向对象510并将其辨识为对目标人员130的第一指示。然而，如图6中所说明，指向对象510在图像610中指向人员120与130之间的中间位置，且电子装置112仅基于第一指示(即，指向对象510)可不能将人员130识别为目标人员。在此状况下，可基于第一指示将人员120及130检测为候选对象。
在此实施例中，电子装置112还可经由声音传感器230从用户110接收包含语音命令520的输入声音并从输入声音将语音命令520辨识为对目标人员130的第二指示。基于所述第二指示(即，语音命令520)，电子装置112可检测图像610中的目标人员130的面部612。举例来说，电子装置112可基于语音命令520中对目标人员130的描述(例如，“帽子”)用服装特性来检查图像610中的候选对象(即，人员120及130)。在此状况下，电子装置112可基于描述“帽子”来检测人员130的帽子614且接着在候选对象间将人员130识别为目标人员。从目标人员130，可检测面部612。
一旦基于第一指示及第二指示检测到目标人员130的面部612，电子装置112即可从所检测到的面部612提取目标人员的面部特征集。电子装置112可产生包含目标人员130的所提取面部特征集及电子装置112的识别信息的连接请求。举例来说，通过广播或多播连接请求来将所述连接请求传输到电子装置122、132、142及152。
图7说明根据本发明的一个实施例的经配置以通过传输连接请求而连接到与目标人员(即，目标装置)相关联的另一电子装置的电子装置700的框图。电子装置700可包含图像传感器710、声音传感器720、I/O(输入/输出)单元730、目标识别单元740、连接控制器750、通信单元760及存储单元770。电子装置700可为配备有声音捕获及处理能力的任何适合装置，例如，蜂窝式电话、智能电话、智能手表、智能眼镜、个人计算机、膝上型计算机、平板计算机、智能电视、游戏装置、多媒体播放器等。此外，如上文参考图1到6所描述的电子装置112还可经组态有如图7中所说明的电子装置700的组件。
图像传感器710可经配置以响应于检测到指向对象、辨识语音命令或经由I/O单元730接收来自电子装置700的用户的输入命令而捕获在图像传感器710的视野中的图像。在另一实施例中，图像传感器710可连续地或周期性地捕获在其视野中的一或多个图像或视频。图像可包含指向对象及/或人员的面部。由图像传感器710捕获的图像可永久地(例如，以电子文件的形式)或暂时地存储在电子装置700的存储单元770中。图像传感器710可包含任何适合数目个用于感测一或多个图像的相机、图像传感器或视频摄像机。可将由图像传感器710捕获的图像提供到目标识别单元740，所述目标识别单元可经配置以确定图像是否包含指向对象及/或人员的面部。
声音传感器720可经配置以接收(例如，捕获)包含来自用户的识别由图像传感器710捕获的图像中的目标人员的语音命令的输入声音。在一个实施例中，可响应于接收(或辨识)识别目标人员的语音命令而捕获图像。在另一实施例中，可在接收(或辨识)此语音命令之前或在接收(或辨识)此语音命令的时候捕获图像。
声音传感器720可将包含语音命令的输入声音转换成输入声音数据，可将所述输入声音数据提供到目标识别单元740以用于检测所捕获的图像中的目标人员的面部。声音传感器720可包含一或多个麦克风或任何其它类型的可用于接收、捕获、感测及/或检测输入声音的声音传感器。另外，声音传感器720可使用任何适合软件及/或硬件来执行此些功能。
I/O单元730可经配置以接收来自用户的输入命令及/或输出关于用户的信息。I/O单元730可为能够接收输入命令及/或输出信息的任何适合装置，例如触摸屏、触摸板、触摸传感器、按钮、按键等等。在触摸屏作为I/O单元730的状况下，触摸屏可显示由图像传感器710捕获的人员(例如，如由图1中所说明的人员120、130、140及150)的图像，且电子装置700的用户可触摸触摸屏在所显示图像中显示目标人员的位置处。所述触摸输入可被接收作为指示目标人员的输入命令。可将输入命令提供到目标识别单元740用于检测所捕获的图像中的目标人员的面部。
在一个实施例中，电子装置700可以图像捕获模式操作，其中图像传感器710可连续地捕获包含目标人员的图像，且I/O单元730可连续地显示图像。在此状况下，I/O单元730可在所显示图像上显示标记，例如，方框、十字形、点、圆圈或其类似者。当在目标人员的面部上显示标记时，电子装置700的用户可经由I/O单元730输入命令以选择图像中的目标人员。
存储单元770可存储用于检测图像中的对象(例如，面部对象、指向对象、识别对象(例如，帽子、眼镜、裙子、衬衫、领带等等))的对象数据库。对象数据库可包含对象的一或多个参考特征及/或参考形状。举例来说，对象数据库可存储指示以下对象的一或多个特征及/或形状：面部对象(例如，人员的眼睛、眉毛、鼻子、嘴唇、耳朵等等、指向对象(例如，人员的手指、手、手臂、身体等)，及识别对象(例如，人员的帽子、眼镜、裙子、衬衫、领带等)。
存储单元770还可存储供用于从输入声音数据辨识指示目标人员的语音命令的多个语音命令或关键字，例如“连接”、“人员”、“他”、“她”、“男人”、“女人”、“右侧”、“左侧”等等。另外，可将用于辨识例如GMM、HMM、SMM或其类似者的语音命令或关键字的一或多个语音模型存储在存储单元770中。在一些实施例中，可从输入声音数据提取声音特征集且基于所存储声音模型进行分析以辨识输入声音中的语音命令。
存储单元770还可包含用于辨识人员的面部的参考面部特征数据库。参考面部特征数据库可包含关于一或多个人员(例如，朋友、家庭成员、用户等)的一或多个参考面部特征及识别信息(例如，名字、电话号码、地址、电子邮件地址等)。可从包含人员的面部的图像提取参考面部特征。目标识别单元740可存取存储单元770以用于辨识对目标人员的指示及基于指示检测所捕获的图像中的目标人员的面部。存储单元770可使用包含(但不限于)RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)或快闪存储器的任何适合类型的存储器装置来实施以存储各种类型的信息及数据。
目标识别单元740可经配置以接收包含目标人员的由图像传感器710捕获的图像。此外，目标识别单元740可从声音传感器720接收包含识别图像中的目标人员的语音命令的输入声音数据。在一些实施例中，可通过目标识别单元740接收来自I/O单元730的指示图像中的目标人员的输入命令。
目标识别单元740可经配置以辨识图像中的对目标人员的指示。举例来说，目标识别单元740可将图像中的指向对象检测为对目标人员的指示。另外或替代地，可从输入声音数据将语音命令辨识为对目标人员的指示。在一些实施例中，可将来自I/O单元730的输入命令辨识为对目标人员的指示。
基于对目标人员的指示，目标识别单元740可在所捕获的图像中检测目标人员的面部。一旦检测到目标人员的面部，可使用如上文所描述的任何适合特征提取方法从图像中的所检测到的面部提取目标人员的面部特征集。可将所提取面部特征集提供到连接控制器750以供用于经由通信单元760与和目标人员(即，目标装置)相关联的电子装置建立连接。
在一些实施例中，目标识别单元740可基于对目标人员的指示(例如，指向对象或语音命令)来在所捕获的图像中检测多于一个面部。在此状况下，目标识别单元740可请求用于识别图像中的目标人员的额外指示。基于对目标人员的额外指示，目标识别单元740可检测目标人员的面部。举例来说，当目标识别单元740最初基于图像中所检测到的指向对象无法检测到目标人员的面部时(举例来说，当在图像中检测到多于一个面部时)，目标识别单元740可请求电子装置700的用户提供语音命令(例如，识别图像中的目标人员的名字、性别、位置或其类似者)作为对目标人员的额外指示。基于识别目标人员的语音命令，目标识别单元740可将所检测到面部中的一者识别为目标人员的面部。
连接控制器750可经配置以从目标识别单元740接收目标人员的所提取面部特征集并产生对到经定位紧靠近电子装置700(包含目标人员的目标装置)的其它电子装置的传输的连接请求。连接请求可为用于与目标装置建立连接的请求。所述连接请求可包含目标人员的所提取面部特征集及电子装置700的识别信息，例如，产品识别码、MAC地址、IP地址等等。连接控制器750可将所述连接请求提供到通信单元760，所述通信单元可将所述连接请求传输到其它电子装置。在一些实施例中，目标识别单元740及连接控制器750可使用可执行指令或执行用于电子装置700的操作的任何适合处理单元(例如，中央处理单元(CPU)、应用程序处理器(AP)、微处理器单元(MPU)，或其类似者)来实施。目标识别单元740及连接控制器750还可为实施于电子装置700中的硬件子系统。
通信单元760可通过广播或多播连接请求来传输连接请求。响应于连接请求，目标装置可验证所述连接请求，且若通过验证，则将接受连接请求的响应消息传输到电子装置700。连接控制器750可经由通信单元760接收来自目标装置的响应消息，且经由通信单元760与目标装置建立连接。
通信单元760可实施具有相对短通信范围来实施任何适合短程通信协议(包含蓝牙、Wi-Fi直连等等)。在另一实施例中，通信单元760可使用不可听见信标声音信号(例如具有相对短通信范围的超声波信号)来与其它电子装置进行通信。通过使用此些声音信号，电子装置700可控制位于电子装置700的短距离内的其它电子装置的通信。因此，短通信范围可防止位于通信范围外部的电子装置接收电子装置700的通信信号。在一些实施例中，可通过控制通信信号的输出功率电平来调整电子装置700的通信范围。
在一些实施例中，连接控制器750可产生包含用以允许目标装置验证电子装置700是否紧靠近目标装置的安全信息的连接请求。举例来说，声音传感器720可捕获环境声音，例如电子装置700或其它人员的用户的语音、人群噪声、背景音乐等等。为允许目标装置确定电子装置700紧靠近，连接控制器750可经由通信单元760传输包含从环境声音提取的声音特征集的连接请求。
响应于接收到连接请求，目标装置可捕获在时间上接近于所接收的连接请求中的声音特征集的环境声音并从所捕获的环境声音提取声音特征集。通过比较所接收声音特征集及所提取声音特征集，目标装置可确定声音特征为相似的且验证电子装置700是否经定位成紧靠近目标装置。举例来说，如果所接收声音特征集与所提取所接收声音特征集之间相似性超过预定阈值，那么目标装置可将接受连接请求的响应消息传输到电子装置700以建立连接。
根据一个实施例，来自目标装置的响应消息可包含例如从目标装置的环境声音提取的声音特征集的安全信息。在接收到此响应消息时，电子装置700装置可通过声音传感器720捕获环境声音且从所捕获的环境声音提取声音特征集。连接控制器750可通过比较所接收声音特征集与所提取声音特征集来验证目标装置经定位成紧靠近电子装置700。如果通过验证，那么连接控制器750可与所述目标装置建立连接。
根据另一实施例，连接控制器750可经配置以在响应于传输(例如，广播或多播)连接请求而从多个电子装置接收多个响应消息时终止到用于建立连接的目标装置的通信。在此状况下，连接控制器750可确定多个响应消息指示一或多个非目标电子装置试图与电子装置700建立连接。举例来说，可在传输连接请求或接收多个响应消息间的第一响应消息之后的预定时间周期(例如，一秒)内接收多个响应消息。在此状况下，连接控制器750可确定无法验证目标装置且终止通信，不与目标装置建立连接。在另一实施例中，在终止通信之后，连接控制器750可在指定时间周期之后或响应于用户输入而重新传输与目标装置建立连接的连接请求。
图8说明根据本发明的一个实施例的经配置以基于目标人员的指示来检测图像中的目标人员的面部的目标识别单元740的更详细框图。如所展示，目标识别单元740可包含对象确定单元810、面部检测单元820、命令辨识单元830及面部匹配单元840。对目标人员的指示可为来自图像传感器710的所捕获的图像中的指向对象、来自声音传感器720的声音数据中的语音命令，及/或来自I/O单元730的输入命令。
在目标识别单元740中，对象确定单元810可接收来自图像传感器710的所捕获的图像且对图像执行对象分析(例如，检测、分割、辨识等等)以确定所述图像包含作为对目标人员的指示的指向对象。指向对象可为可用于指示目标人员的任何对象且包含人员的手指、手、手臂或身体，或与人员的手指、手、手臂或身体相关联的对象。在一些实施例中，对象确定单元810可使用基于特征的方法、边缘匹配、灰度匹配、梯度匹配等等来执行对象分析。
在一个实施例中，对象确定单元810可存取存储在存储单元770中的对象数据库中的指向对象的多个参考特征以供用于检测图像中的指向对象。对象确定单元810可提取图像中的对象的特征且确定对象的一或多个所提取特征是否类似于对象数据库中的指向对象的一或多个参考特征。如果图像中的对象的所提取特征与指向对象的参考特征之间的相似性被确定为超过预定阈值，那么将所提取特征的对象确定为指向对象且将其辨识为对目标人员的指示。可将作为对目标人员的指示的指向对象提供到面部检测单元820以用于检测目标人员的面部。
命令辨识单元830可经配置以接收来自声音传感器720的输入声音数据并将输入声音数据中的语音命令辨识为对图像中的目标人员的指示。举例来说，可从输入声音数据提取一或多个声音特征(例如，音频手指指纹、MFCC矢量等等)。命令辨识单元830可基于GMM、HMM、SMM或其类似者使用任何语音辨识方法来从所提取声音特征辨识语音命令。
语音命令可包含可识别目标人员的任何描述，例如目标人员的名字。在一个实施例中，语音命令可描述图像中的目标人员的外观(例如，性别、服装商品、颜色描述等等)。在另一实施例中，语音命令可指示图像中的目标人员的位置(例如，左侧、右侧、前方、后方及类似者)。可将所辨识语音命令提供到面部检测单元820作为对目标人员的指示以用于检测来自图像传感器710的图像中的目标人员的面部。
面部检测单元820可经配置以接收来自图像传感器710的图像，及来自对象确定单元810及命令辨识单元830中的至少一者的一或多个对目标人员的指示。另外，I/O单元730可接收指示图像中的目标人员的输入命令并将所述输入命令提供到面部检测单元820作为对目标人员的指示。从图像，面部检测单元820可基于至少一个指示(例如，指向对象、语音命令及输入命令)检测目标人员的面部。一旦检测到目标人员的面部，即可从所检测到面部提取目标人员的面部特征集以用于产生连接请求。
在一个实施例中，可基于指向对象来检测目标人员的面部。在此状况下，面部检测单元820可确定指向对象指示图像中的目标人员并检测目标人员的面部。举例来说，面部检测单元820可检测最接近于图像中的指向对象的面部作为目标人员的面部。替代地，可将最接近于指向对象的人员检测为目标人员且可将最接近人员的面部检测为目标人员的面部。在另一实施例中，可通过确定指向对象指向的图像中的人员来检测目标人员。
根据另一实施例，可基于来自命令辨识单元830的语音命令来检测目标人员的面部。基于语音命令，面部检测单元820可检测图像中的至少一个面部且辨识目标人员。举例来说，面部检测单元820可基于语音命令中描述目标人员的外观及/或位置的一或多个描述来检测目标人员的面部。
在单独地基于指向对象或语音命令未检测到在图像中的目标人员的面部时，可基于指向对象及语音命令两者来检测目标人员的面部。在此状况下，目标识别单元740可输出请求电子装置700的用户提供对目标人员的额外指示(例如，额外指向对象或语音命令)的消息。基于来自用户的额外指示，面部检测单元820可检测到图像中的目标人员的面部并提取目标人员的面部特征集。
在一些实施例中，可基于来自I/O单元730的输入命令来确定图像中的目标人员的面部。举例来说，在I/O单元730为显示图像的触摸屏时，I/O单元730可接收输入命令，例如，关于图像中显示目标人员的位置的触摸输入。面部检测单元820可接收来自I/O单元730的包含图像中的触摸位置(例如，图像中的触摸输入的坐标)的输入命令作为对目标人员的指示。基于所述指示，面部检测单元820将最接近于触摸位置的人员确定为目标人员并检测图像中的目标人员的面部。可从目标人员的经检测面部提取目标人员的面部特征集。
还可基于包含在语音命令(例如，“连接到约翰(JOHN)”)中的目标人员的名字(例如，“约翰(JOHN)”)来检测图像中的目标人员的面部。在此状况下，声音传感器720可从用户捕获包含目标人员的名字的输入声音并将包含目标人员的名字的声音数据作为语音命令输出到命令辨识单元830。命令辨识单元830可在识别目标人员的名字时辨识语音命令并将语音命令输出到面部检测单元820。在接收到识别目标人员的名字的语音命令时，面部检测单元820可检测来自图像传感器710的图像中的一或多个面部并提取关于所检测面部的一或多个面部特征集。将所提取面部特征集提供到面部匹配单元840。
面部匹配单元840可经配置以接收来自命令辨识单元830(或面部检测单元820)的语音命令中的名字及来自面部检测单元820的所提取面部特征集。面部匹配单元840可存取存储单元770以检索与目标人员的名字相关联的参考面部特征集。从图像中的人员的所提取面部特征集，选择匹配针对目标人员的名字的参考面部特征的面部特征集作为目标人员的面部特征集。
连接控制器750经配置以从面部检测单元820或面部匹配单元840接收目标人员的面部特征集并产生包含面部特征集及电子装置700的识别信息的连接请求。可经由通信单元760将连接请求传输(例如，广播或多播)到目标人员的目标装置。响应于所述连接请求，目标装置可传输接受连接请求的响应消息。在经由通信单元760接收响应消息时，电子装置700可与目标装置建立连接。
在一些实施例中，来自目标装置的响应消息可包含允许电子装置700验证紧靠近电子装置700的目标装置的安全信息。举例来说，安全信息可包含电子装置700的用户的面部特征集。在此状况下，目标装置可捕获包含用户的图像并提取所述用户的面部特征集。目标装置可将包含用户的所提取面部特征集的响应消息传输到电子装置700。
在电子装置700接收到响应消息时，电子装置700中的连接控制器750可将响应消息中的所接收面部特征集提供到面部匹配单元840。面部匹配单元840可通过存取存储单元770来检索电子装置700的用户的参考面部特征集。如果所接收面部特征集指示所检索参考面部特征集，那么面部匹配单元840验证目标装置紧靠近电子装置700且指示连接控制器750与目标装置建立连接。
图9说明根据本发明的一个实施例的经配置以通过传输响应消息来与另一电子装置连接的电子装置900的框图。电子装置900可包含图像传感器910、声音传感器920、存储单元930、匹配单元940、连接控制器950及通信单元960。图像传感器910、声音传感器920、存储单元930及通信单元960为与图7中的那些组件相同或相似的组件。此外，图1到6中的可经选择为与目标人员相关联的目标装置的电子装置122、132、142及152可经组态有图9中所说明的电子装置900的组件。
图像传感器910可经配置以响应于接收到来自另一电子装置的连接请求或接收到来自电子装置900的用户的输入命令而捕获图像传感器910的视野中的图像。在另一实施例中，图像传感器910可连续地或周期性地捕获在其视野中的一或多个图像或视频。所捕获的图像可永久地(例如，以电子文件的形式)或暂时地存储在存储单元930中。图像传感器910可包含任何适合数目个用于感测一或多个图像的相机、图像传感器或视频摄像机。
声音传感器920可经配置以捕获环境声音作为输入声音且将所捕获环境声音转换成输入声音数据。环境声音可包含用户或其它人员的语音、人群噪声、背景音乐等等。可将输入声音数据提供到匹配单元940以用于验证传输所述连接请求的其它电子装置是否被定位成紧靠近电子装置900，其如下文将更详细描述。声音传感器920可包含一或多个麦克风或任何其它类型的可用于接收、捕获、感测及/或检测输入声音的声音传感器。另外，声音传感器920可使用任何适合软件及/或硬件来执行此些功能。
存储单元930可包含关于电子装置900的用户的参考面部特征数据库。参考面部特征数据库可包含可从包含用户的面部的图像提取的用户的参考面部特征集。存储单元930可使用包含(但不限于)RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)或快闪存储器的任何适合类型的存储器装置来存储各种类型的信息及数据来实施。
匹配单元940可经配置以验证电子装置900是否为所接收连接请求的既定接收端(即，目标装置)。来自另一电子装置(例如，图7中的电子装置700)的连接请求可被通信单元960接收。连接请求可包含从由其它电子装置捕获的图像提取目标人员的面部特征集。连接请求还可包含其它电子装置的识别信息，例如产品识别码、MAC地址、IP地址等等。可将所接收面部特征集提供到匹配单元940。
响应于接收到目标人员的面部特征集，匹配单元940可通过存取存储单元930来检索电子装置900的用户的参考面部特征集。如果目标用户的所接收面部特征集指示用户的所检索参考面部特征集，匹配单元940验证电子装置900的用户为目标人员且电子装置900为既定接收端，即，目标装置。在此状况下，匹配单元940可指令连接控制器950接受连接请求。
在一个实施例中，匹配单元940可经配置以基于环境声音来验证传输连接请求的其它电子装置是否紧靠近电子装置900。在此状况下，连接请求可包含安全信息，例如从由其它电子装置捕获的环境声音提取声音特征集。在接收到声音特征集时，环境声音可被声音传感器920捕获且从所述环境声音提取声音特征集。可在连接控制器950或单独特征提取单元(未展示)提取声音特征集。可将所提取声音特征集提供到匹配单元940。
通过比较所接收声音特征集及所提取声音特征集，匹配单元940可确定声音特征为相似的且验证电子装置900及其它电子装置紧靠近。举例来说，如果所接收声音特征集与所提取声音特征集之间的相似性超过预定阈值，那么将其它电子装置验证为紧靠近电子装置900。在此状况下，匹配单元940还可指示连接控制器950接受连接请求。
响应于来自匹配单元940的指令，连接控制器950可产生传输到其它电子装置的响应消息。响应消息可为用以在电子装置900与其它电子装置之间建立连接的接受消息且包含电子装置900的识别信息，例如产品识别码、MAC地址、IP地址等等。可经由通信单元960使用其它电子装置的所接收识别信息作为目的地址来传输响应消息。当其它电子装置接收响应消息时，其可与作为目标装置的电子装置900建立连接。在一些实施例中，匹配单元940及连接控制器950可使用可执行指令或执行用于电子装置900的操作的任何适合处理单元(例如，中央处理单元(CPU)、应用程序处理器(AP)、微处理器单元(MPU)，或其类似者)来实施。匹配单元940及连接控制器950还可为实施于电子装置900中的硬件子系统。
相似于图7中的电子装置700，通信单元960可实施具有相对短通信范围来实施任何适合短程通信协议(包含蓝牙、Wi-Fi直连等等)。此外，可使用具有相对短通信范围的例如超声波信号的可听不见信号声音信号。在一些实施例中，可基于通信信号的输出功率来调整电子装置900的通信范围。
根据一个实施例，连接控制器950可产生包含用以允许其它电子装置验证电子装置900是否为紧靠近其它电子装置的目标装置的安全信息的响应消息。举例来说，声音传感器920可捕获环境声音且连接控制器950可产生包含从环境声音提取的声音特征集的响应消息。可经由通信单元960将响应消息传输到其它电子装置以允许电子装置验证电子装置900是否紧靠近其它电子装置。
响应于从电子装置900接收响应消息，其它电子装置可捕获环境声音并从所捕获环境声音提取声音特征集。通过比较所接收声音特征集与所提取声音特征集，其它电子装置可验证电子装置900是否经定位成紧靠近。如果电子装置900通过验证，那么可建立电子装置之间的连接。
在另一实施例中，连接控制器950可产生包含例如传输连接请求的其它电子装置的用户的面部特征集的安全信息的响应消息。安全信息允许其它电子装置验证电子装置900是否紧靠近其它电子装置。在此实施例中，可捕获其它电子装置的用户的图像且可提取用户的面部特征集。
连接控制器950可接收所提取面部特征集并产生包含作为安全信息的面部特征集的响应消息。经由通信单元960将响应消息传输到其它电子装置。在接收到来自电子装置900的响应消息时，其它电子装置可比较所接收面部特征集与其用户的所存储参考面部特征集。如果所接收面部特征集指示所存储参考面部特征集，那么其它电子装置可验证电子装置900紧靠近所述其它电子装置且与电子装置900建立连接。
图10说明根据本发明的一个实施例的在电子装置中执行的用于基于目标人员的指示与目标人员的目标装置建立连接的方法1000的流程图。在1010处，电子装置(例如，图7中的电子装置700)可捕获包含由电子装置的用户选择为目标人员的人员的图像。为指示目标人员，用户可使用指向对象作出指向手势，讲出语音命令及/或经由电子装置的I/O单元输入命令。在作出指向手势的状况下，电子装置可在图像中捕获使用指向对象的指向手势。另外或替代地，电子装置可接收来自用户的包含语音命令的输入声音。
在1020处，电子装置辨识对目标人员的指示。在一个实施例中，可将图像中的指向对象辨识为对目标人员的指示。另外或替代地，可从所接收输入声音将语音命令辨识为对目标人员的指示。另外，可将所述输入命令辨识为对目标人员的指示。如此，电子装置可辨识一或多个对目标人员的指示。
在1030处，基于指示在所捕获的图像中检测目标人员的面部。在此操作中，可使用一或多个指示来检测目标人员的面部。举例来说，可使用作为指示的指向对象及语音命令两者来检测目标人员的面部。在1040处，从图像中的经检测面部提取目标人员的面部特征集。
在1050处，电子装置可通过广播或多播包含目标人员的所提取面部特征集的连接请求来将所述连接请求传输到包含目标装置的其它电子装置。连接请求还可包含电子装置的识别信息，例如产品识别码、MAC地址、IP地址等等。在接收到来自电子装置的连接请求时，目标装置验证所接收面部特征集是否指示目标装置的用户(即，目标人员)，且如果通过验证，那么通过将响应消息传输到电子装置来对连接请求作出响应。在1060处，电子装置可接收来自目标装置的接受连接请求的响应消息，且在1070处与目标装置建立连接。
图11说明根据本发明的一个实施例的在电子装置中执行的用于通过请求额外指示来检测目标人员的面部的详细方法1030的流程图。如上文参考图10所描述，在1020处，电子装置可辨识至少一个对目标人员的指示。在1110处，基于至少一个对目标人员的指示，电子装置可辨识所捕获的图像中的一或多个面部(或人员)。
在1120处，电子装置可确定在图像中是否检测到多于一个面部。如果检测到一个面部(即，在1120处为否)，那么在1130处，电子装置可将所检测到面部识别为目标人员的面部，且方法1030继续进行到1040以从目标人员的面部提取面部特征集。另一方面，如果检测到多于一个面部(即，在1120处为是)，那么在1140处，电子装置可(例如)通过输出请求到电子装置的用户来接收用于识别目标人员的额外指示。额外指示可包含指向对象、语音命令及/或任何其它适合输入命令。响应于接收到额外指示，在1150处，电子装置可辨识所述额外指示，且方法1030继续进行到1110以基于所辨识额外指示来在图像中检测一或多个面部。
图12为根据本发明的一个实施例的其中可实施用于连接到目标装置的方法及设备的示范性电子装置1200的框图。电子装置1200的配置可实施于根据上文参考图1到11所描述的实施例的电子装置中。电子装置1200可为蜂窝式电话、智能电话、平板计算机、膝上型计算机、终端、手机、个人数字助理(PDA)、无线调制解调器、无线电话、眼镜等。无线通信系统可为码分多址(CDMA)系统、移动通信广播系统(GSM)系统、宽带CDMA(WCDMA)系统、长期演进(LTE)系统、高级LTE系统等。此外，电子装置1200可(例如)使用Wi-Fi直连或蓝牙来与另一移动装置进行直接通信。
电子装置1200能够经由接收路径及传输路径提供双向通信。在接收路径上，由基站传输的信号被天线1212接收且被提供到接收器(RCVR)1214。接收器1214调节并数字化所接收信号且将例如经调节及经数字化信号的样本提供到数字段以进行进一步处理。在传输路径上，发射器(TMTR)1216接收从数字段1220传输的数据，处理并调节所述数据，及产生经调制信号，所述经调制信号经由天线1212被传输到基站。接收器1214及发射器1216可为支持CDMA、GSM、LTE、高级LTE等的收发器的部分。
数字段1220包含各种处理单元、接口单元及存储器单元，例如，调制解调器处理器1222、精简指令集计算机/数字信号处理器(RISC/DSP)1224、控制器/处理器1226、内部存储器1228、广义音频编码器1232、广义音频解码器1234、图形/显示处理器1236及外部总线接口(EBI)1238。调制解调器处理器1222可执行用于数据传输及接收的处理，例如，编码、调制、解调制及解码。RISC/DSP 1224可对电子装置1200执行通用及指定处理。控制器/处理器1226可执行数字段1220内的各种处理及接口单元的操作。初始存储器1228可存储关于数字段1220内的各种单元的数据及/或指令。
广义音频编码器1232可对来自音频源1242、麦克风1243等的输入信号执行编码。广义音频解码器1234可对经译码音频数据执行解码且可将输出信号提供到功能确定引擎1244。图形/显示处理器1236可对可被呈现到显示单元1246的图形、视频、图像及文字执行处理。EBI 1238可促进数据在数字段1220与主存储器1248之间的传送。
数字段1220可被实施有一或多个处理器、DSP、微处理器、RISC等。数字段1220还可被制作在一或多个专用集成电路(ASIC)及/或某一其它类型的集成电路(IC)上。
一般来说，本文中所描述的装置可表示各种类型的装置，例如，无线电话、蜂窝式电话、膝上型计算机、无线多媒体装置、无线通信个人计算机(PC)卡、PDA、外部或内部调制解调器、通过无线信道进行通信的装置等。装置可具有各种名称，例如，存取终端(AT)、存取单元、订户单元、移动站、移动装置、移动单元、移动电话、移动器件、远程站、远程终端、远程单元、用户装置、用户设备、手持式装置等。本文中所描述的任何装置可具有用于存储指令及数据的存储器，以及硬件、软件、韧体或其组合。
本文中所描述的技术可由各种装置实施。举例来说，这些技术可实施在硬件、韧体、软件或其组合中。此外，所属领域的技术人员将了解，结合本文中所揭示的内容描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件及软件的此可互换性，上文通常已就其功能性方面描述了各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于强加于整个系统的特定应用及设计约束。虽然所属领域的技术人员可针对每一特定应用以变化方式实施所描述功能性，但不应将此些实施方案决策解释为导致对本发明的范围的脱离。
在硬件实施方案中，用于执行技术的处理单元可被实施于一或多个ASIC、DSP、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元、计算机或其组合。
结合本文中的揭示内容所描述的各种说明性逻辑块、模块及电路可运用经设计以执行本文中所描述的功能的以下各项来实施或执行：通用处理器、DSP、ASIC、FPGA或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件，或其任何组合。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。也可将处理器实施为计算装置的组合(例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器连同DSP核心或任一其它此类组态)。
如果以软件予以实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行传输。计算机可读媒体包含计算机存储媒体及通信媒体两者，包含促进将计算机程序从一个地方传送到另一地方的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式且非并不限于此，此些计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁盘存储器、磁盘存储器或其它磁性存储装置或可用于以指令或数据结构的形式载运或存储所要代码且可由计算机存取的其它媒体。此外，可将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线科技从网站、服务器或其它远程源传输软件，则所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线科技全包含在媒体的定义中。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。上述各项的组合还应包含在计算机可读媒体的范围内。
提供本发明的前述描述以使得所属领域的技术人员能够制作或使用本发明。对本发明的各种修改对于所属领域的技术人员来说将易于显而易见，且在不脱离本发明的精神或范围的情况下，本文中所定义的通用原理可应用于其它变化形式。因此，本发明并不意欲限于本文中所描述的实例，而是欲赋予其与本文中所揭示的原理及新颖特征相一致的最宽广范围。
尽管在一或多个独立计算机系统的背景中利用目前所揭示的标的物的方面来提及示范性实施方案，但标的物并不限于此，而是可结合任何计算环境(例如，网络或分散式计算环境)来实施。此外，目前所揭示的标的物的方面可被实施成位于或跨越多个处理芯片或装置，且存储可类似地跨越多个装置受影响。此些装置可包含PC、网络服务器及手持式装置。
尽管已用专用于结构特征及/或方法论行为的语言来描述标的物，但应理解，随附权利要求书中所界定的标的物未必限定于上文所描述的特定特征或行为。相反，上文所描述的特定特征及行为被揭示为实施权利要求书的实例性形式。

Claims (30)

1.一种在电子装置中执行的用于连接到目标装置的方法，其包括：
捕获包含与所述目标装置相关联的目标人员的面部的图像；
辨识对所述目标人员的指示；
基于所述指示检测所述图像中的所述目标人员的所述面部；
提取所述图像中的所述面部的至少一个面部特征；及
基于所述至少一个面部特征连接到所述目标装置。
2.根据权利要求1所述的方法，其中辨识所述指示包括：将所述图像中的指向对象检测为对所述目标人员的所述指示。
3.根据权利要求1所述的方法，其中辨识所述指示包括：
接收输入声音；及
从所述输入声音将语音命令辨识为对所述目标人员的所述指示。
4.根据权利要求1所述的方法，其中辨识所述指示包括：接收输入命令作为对所述目标人员的所述指示。
5.根据权利要求1所述的方法，其中辨识所述指示包括：
检测所述图像中的指向对象作为对所述目标人员的所述指示；及
从输入声音将语音命令辨识为对所述目标人员的所述指示。
6.根据权利要求1所述的方法，其中检测所述目标人员的所述面部包括：
如果在所述图像中检测到多个面部，那么接收额外指示以识别所述目标人员；及基于所述额外指示检测所述目标人员的所述面部。
7.根据权利要求1所述的方法，其中连接到所述目标装置包括：
传输包含所述至少一个面部特征的连接请求；
从所述目标装置接收关于连接到所述电子装置的响应消息；及
基于所述响应消息与所述目标装置建立所述连接。
8.根据权利要求7所述的方法，其中所述响应消息包含用于验证所述目标装置的安全信息，及
其中与所述目标装置建立所述连接包括：基于所述安全信息验证所述响应消息。
9.根据权利要求8所述的方法，其中所述安全信息包含由所述目标装置捕获的环境声音数据及所述电子装置的用户的面部特征数据中的至少一者。
10.根据权利要求1所述的方法，其中连接到所述目标装置包括：
传输包含所述至少一个面部特征的连接请求；及
基于是否接收到关于连接到所述电子装置的多个响应消息来与所述目标装置建立所述连接。
11.一种用于连接到目标装置的电子装置，其包括：
图像传感器，其经配置以捕获包含与所述目标装置相关联的目标人员的面部的图像；
目标识别单元，其经配置以通过辨识对所述目标人员的指示及基于所述指示检测所述图像中的所述目标人员的所述面部来提取所述图像中的所述面部的至少一个面部特征；及
连接控制器，其经配置以基于所述至少一个面部特征建立到所述目标装置的连接。
12.根据权利要求11所述的电子装置，其中所述目标识别单元包括经配置以检测所述图像中的指向对象作为对所述目标人员的所述指示的对象确定单元。
13.根据权利要求11所述的电子装置，其中所述目标识别单元包括经配置以从输入声音将语音命令辨识为对所述目标人员的所述指示的命令识别单元。
14.根据权利要求11所述的电子装置，其进一步包括经配置以接收输入命令作为对所述目标人员的所述指示的输入单元。
15.根据权利要求11所述的电子装置，其中所述目标识别单元包括：
对象确定单元，其经配置以将所述图像中的指向对象检测为对所述目标人员的所述指示；及
命令识别单元，其经配置以从输入声音将语音命令辨识为对所述目标人员的所述指示。
16.根据权利要求11所述的电子装置，其中所述目标识别单元经进一步配置以：
如果在所述图像中检测到多个面部，那么接收额外指示以识别所述目标人员；及基于所述额外指示检测所述目标人员的所述面部。
17.根据权利要求11所述的电子装置，其中所述连接控制器经进一步配置以：
传输包含所述至少一个面部特征的连接请求；
从所述目标装置接收关于连接到所述电子装置的响应消息；及
基于所述响应消息与所述目标装置建立所述连接。
18.根据权利要求17所述的电子装置，其中所述响应消息包含用于验证所述目标装置的安全信息，及
其中所述连接控制器经进一步配置以基于所述安全信息验证所述响应消息。
19.根据权利要求18所述的电子装置，其中所述安全信息包含由所述目标装置捕获的环境声音数据及所述电子装置的用户的面部特征数据中的至少一者。
20.根据权利要求11所述的电子装置，其中所述连接控制器经进一步配置以：
传输包含所述至少一个面部特征的连接请求；及
基于是否接收到关于连接到所述电子装置的多个响应消息来与所述目标装置建立所述连接。
21.一种非暂时性计算机可读存储媒体，其包括用于连接到目标装置的指令，所述指令致使电子装置的处理器执行以下各项操作：
捕获包含与所述目标装置相关联的目标人员的面部的图像；
辨识对所述目标人员的指示；
基于所述指示检测所述图像中的所述目标人员的所述面部；
提取所述图像中的所述面部的至少一个面部特征；及
基于所述至少一个面部特征连接到所述目标装置。
22.根据权利要求21所述的媒体，其中辨识所述指示包括：将所述图像中的指向对象识别为对所述目标人员的所述指示。
23.根据权利要求21所述的媒体，其中辨识所述指示包括：
接收输入声音；及
从所述输入声音将语音命令辨识为对所述目标人员的所述指示。
24.根据权利要求21所述的媒体，其中连接到所述目标装置包括：
传输包含所述至少一个面部特征的连接请求；
从所述目标装置接收关于连接到所述电子装置的响应消息；及
基于所述响应消息与所述目标装置建立所述连接。
25.根据权利要求24所述的媒体，其中所述响应消息包含用于验证所述目标装置的安全信息，及
其中与所述目标装置建立所述连接包括：基于所述安全信息验证所述响应消息。
26.一种用于连接到目标装置的电子装置，其包括：
用于捕获包含与所述目标装置相关联的目标人员的面部的图像的装置；
用于通过辨识对所述目标人员的指示及基于所述指示检测所述图像中的所述目标人员的所述面部来提取所述图像中的所述面部的至少一个面部特征的装置；及
用于基于所述至少一个面部特征建立到所述目标装置的连接的装置。
27.根据权利要求26所述的电子装置，其中用于提取所述面部的所述至少一个面部特征的所述装置包括用于检测所述图像中的指向对象作为对所述目标人员的所述指示的装置。
28.根据权利要求26所述的电子装置，其中用于提取所述面部的所述至少一个面部特征的所述装置包括用于从输入声音将语音命令辨识为对所述目标人员的所述指示的装置。
29.根据权利要求26所述的电子装置，其中用于建立到所述目标装置的所述连接的所述装置经配置以：
传输包含所述至少一个面部特征的连接请求；
从所述目标装置接收关于连接到所述电子装置的响应消息；及
基于所述响应消息与所述目标装置建立所述连接。
30.根据权利要求29所述的电子装置，其中所述响应消息包含用于验证所述目标装置的安全信息，且
其中用于建立到所述目标装置的所述连接的所述装置经进一步配置以基于所述安全信息验证所述响应消息。
CN201580012703.9A 2014-03-19 2015-03-16 用于在电子装置之间建立连接的方法及设备 Active CN106104569B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/219,894 US9311525B2 (en) 2014-03-19 2014-03-19 Method and apparatus for establishing connection between electronic devices
US14/219,894 2014-03-19
PCT/US2015/020710 WO2015142719A2 (en) 2014-03-19 2015-03-16 Method and apparatus for establishing connection between electronic devices

Publications (2)

Publication Number Publication Date
CN106104569A true CN106104569A (zh) 2016-11-09
CN106104569B CN106104569B (zh) 2018-11-23

Family

ID=52875760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580012703.9A Active CN106104569B (zh) 2014-03-19 2015-03-16 用于在电子装置之间建立连接的方法及设备

Country Status (6)

Country Link
US (1) US9311525B2 (zh)
EP (1) EP3120298B1 (zh)
JP (1) JP6144849B1 (zh)
KR (1) KR101759859B1 (zh)
CN (1) CN106104569B (zh)
WO (1) WO2015142719A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108834227A (zh) * 2018-06-22 2018-11-16 维沃移动通信有限公司 移动终端之间建立连接的方法及装置
CN111656438A (zh) * 2018-01-26 2020-09-11 三星电子株式会社 电子装置及其控制方法
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method
US10895679B2 (en) 2017-04-06 2021-01-19 Lumus Ltd. Light-guide optical element and method of its manufacture
US11125927B2 (en) 2017-03-22 2021-09-21 Lumus Ltd. Overlapping facets
US11194084B2 (en) 2017-02-22 2021-12-07 Lumus Ltd. Light guide optical assembly
US11378791B2 (en) 2016-11-08 2022-07-05 Lumus Ltd. Light-guide device with optical cutoff edge and corresponding production methods
US11523092B2 (en) 2019-12-08 2022-12-06 Lumus Ltd. Optical systems with compact image projector
US11526003B2 (en) 2018-05-23 2022-12-13 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
US11543661B2 (en) 2014-11-11 2023-01-03 Lumus Ltd. Compact head-mounted display system protected by a hyperfine structure

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10713341B2 (en) * 2011-07-13 2020-07-14 Scott F. McNulty System, method and apparatus for generating acoustic signals based on biometric information
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI512644B (zh) * 2014-08-21 2015-12-11 Coretronic Corp 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
JP2017117371A (ja) * 2015-12-25 2017-06-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、制御装置およびプログラム
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
US20190258318A1 (en) * 2016-06-28 2019-08-22 Huawei Technologies Co., Ltd. Terminal for controlling electronic device and processing method thereof
US10212338B2 (en) * 2016-11-22 2019-02-19 Google Llc Camera operable using natural language commands
KR102304701B1 (ko) * 2017-03-28 2021-09-24 삼성전자주식회사 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
US10176807B2 (en) 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10353480B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
US10355931B2 (en) 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US10992662B2 (en) 2017-10-09 2021-04-27 International Business Machines Corporation Enabling/disabling applications using face authentication
CN107748879A (zh) * 2017-11-16 2018-03-02 百度在线网络技术（北京）有限公司 用于获取人脸信息的方法及装置
CN107911613A (zh) * 2017-12-25 2018-04-13 努比亚技术有限公司 拍照控制方法、移动终端以及计算机可读介质
US10679039B2 (en) * 2018-04-03 2020-06-09 Google Llc Detecting actions to discourage recognition
US10847162B2 (en) * 2018-05-07 2020-11-24 Microsoft Technology Licensing, Llc Multi-modal speech localization
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN108874360B (zh) * 2018-06-27 2023-04-07 百度在线网络技术（北京）有限公司 全景内容定位方法和装置
CN109545225B (zh) * 2018-12-07 2022-04-15 四川长虹电器股份有限公司 一种基于电子设备远场语音且可动态调整的蓝牙交互方法
KR20210094798A (ko) * 2020-01-22 2021-07-30 한화테크윈 주식회사 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성
JP7438868B2 (ja) * 2020-02-03 2024-02-27 清水建設株式会社 会話支援システム
CN111444491B (zh) * 2020-04-20 2021-09-14 维沃移动通信（杭州）有限公司 一种信息处理方法和电子设备
WO2021250814A1 (ja) * 2020-06-10 2021-12-16 日本電気株式会社 画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体
JP2024005948A (ja) * 2022-06-30 2024-01-17 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
WO2014031652A1 (en) * 2012-08-24 2014-02-27 Qualcomm Incorporated Person identification within a video call

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101186A (ja) * 2004-09-29 2006-04-13 Nikon Corp カメラ
US20090286479A1 (en) 2008-05-16 2009-11-19 Sony Ericsson Mobile Communications Ab Method and system for sensory pairing for a portable communication device
JP5376689B2 (ja) * 2009-05-19 2013-12-25 Ｎｅｃディスプレイソリューションズ株式会社 情報処理装置、装置検索方法、装置検索支援方法および記録媒体
US20110002680A1 (en) * 2009-07-02 2011-01-06 Texas Instruments Incorporated Method and apparatus for focusing an image of an imaging device
US20110047384A1 (en) 2009-08-21 2011-02-24 Qualcomm Incorporated Establishing an ad hoc network using face recognition
CN110798586A (zh) * 2010-02-19 2020-02-14 株式会社尼康 电子设备
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US20110244829A1 (en) * 2010-03-30 2011-10-06 Hiroshi Kase Device registration method and device registration system
JP5521727B2 (ja) * 2010-04-19 2014-06-18 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
US8405729B2 (en) * 2011-05-11 2013-03-26 Sony Corporation System and method for pairing hand-held devices utilizing a front-facing camera
US8818049B2 (en) 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
JP5988036B2 (ja) 2011-05-18 2016-09-07 パナソニックＩｐマネジメント株式会社 通信制御システムおよびその方法、ならびに通信装置およびその方法、プログラム
KR20130051810A (ko) 2011-11-10 2013-05-21 삼성전자주식회사 사용자를 인증하는 방법 및 이를 수행하는 장치
JP6011165B2 (ja) * 2012-08-31 2016-10-19 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339706B1 (en) * 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
WO2014031652A1 (en) * 2012-08-24 2014-02-27 Qualcomm Incorporated Person identification within a video call

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11543661B2 (en) 2014-11-11 2023-01-03 Lumus Ltd. Compact head-mounted display system protected by a hyperfine structure
US10788902B2 (en) 2016-06-22 2020-09-29 Sony Corporation Information processing device and information processing method
US11378791B2 (en) 2016-11-08 2022-07-05 Lumus Ltd. Light-guide device with optical cutoff edge and corresponding production methods
US11194084B2 (en) 2017-02-22 2021-12-07 Lumus Ltd. Light guide optical assembly
US11125927B2 (en) 2017-03-22 2021-09-21 Lumus Ltd. Overlapping facets
US10895679B2 (en) 2017-04-06 2021-01-19 Lumus Ltd. Light-guide optical element and method of its manufacture
CN111656438A (zh) * 2018-01-26 2020-09-11 三星电子株式会社 电子装置及其控制方法
US11721333B2 (en) 2018-01-26 2023-08-08 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11526003B2 (en) 2018-05-23 2022-12-13 Lumus Ltd. Optical system including light-guide optical element with partially-reflective internal surfaces
CN108834227A (zh) * 2018-06-22 2018-11-16 维沃移动通信有限公司 移动终端之间建立连接的方法及装置
CN108834227B (zh) * 2018-06-22 2021-05-14 维沃移动通信有限公司 移动终端之间建立连接的方法及装置
US11523092B2 (en) 2019-12-08 2022-12-06 Lumus Ltd. Optical systems with compact image projector

Also Published As

Publication number Publication date
KR20160117634A (ko) 2016-10-10
WO2015142719A2 (en) 2015-09-24
US9311525B2 (en) 2016-04-12
WO2015142719A3 (en) 2016-01-28
KR101759859B1 (ko) 2017-07-19
CN106104569B (zh) 2018-11-23
JP2017517780A (ja) 2017-06-29
JP6144849B1 (ja) 2017-06-07
EP3120298A2 (en) 2017-01-25
EP3120298B1 (en) 2019-09-25
US20150269420A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
CN106104569A (zh) 用于在电子装置之间建立连接的方法及设备
CN104850828B (zh) 人物识别方法及装置
US20190102531A1 (en) Identity authentication method and apparatus
CN108830062B (zh) 人脸识别方法、移动终端及计算机可读存储介质
WO2019024717A1 (zh) 防伪处理方法及相关产品
CN105956518A (zh) 一种人脸识别方法、装置和系统
CN105429969B (zh) 一种用户身份验证方法与设备
CN106557744B (zh) 可穿戴人脸识别装置及实现方法
CN106796643A (zh) 对电子装置进行存取的自动授权
CN108198159A (zh) 一种图像处理方法、移动终端以及计算机可读存储介质
CN108206892B (zh) 联系人隐私的保护方法、装置、移动终端及存储介质
JP6031172B1 (ja) 生体照合システム、生体照合方法、生体照合装置及び制御プログラム
CN109858337A (zh) 一种基于瞳孔信息的人脸识别方法、系统和设备
CN107766403A (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
WO2018154902A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150007403A (ko) 인물 인식 방법, 그리고 인물 정보 데이터 운용 방법 및 장치
CN108765522B (zh) 一种动态图像生成方法及移动终端
CN109587319A (zh) 一种来电处理方法、终端及计算机可读存储介质
CN208351494U (zh) 人脸识别系统
CN107545163B (zh) 解锁控制方法及相关产品
CN207718803U (zh) 多信源语音区分识别系统
CN107895108B (zh) 一种操作管理方法和移动终端
CN106331281A (zh) 移动终端及信息处理方法
CN111985252A (zh) 对话翻译方法及装置、存储介质和电子设备
CN106507301A (zh) 认证方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant