CN111383635A - 根据基于视觉的机制启用智能显示设备的语音命令的方法及系统 - Google Patents

根据基于视觉的机制启用智能显示设备的语音命令的方法及系统 Download PDF

Info

Publication number
CN111383635A
CN111383635A CN201910406054.0A CN201910406054A CN111383635A CN 111383635 A CN111383635 A CN 111383635A CN 201910406054 A CN201910406054 A CN 201910406054A CN 111383635 A CN111383635 A CN 111383635A
Authority
CN
China
Prior art keywords
display device
smart display
image
face
speech recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910406054.0A
Other languages
English (en)
Inventor
姚旭晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN111383635A publication Critical patent/CN111383635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

提供了根据基于视觉的机制启用智能显示设备的语音命令的方法及系统。从与智能显示设备相关联的光捕获设备接收图像。根据存在于所述图像中的面部，对是否启用与智能显示设备相关联的记录设备的语音识别进行确定。响应于根据存在于图像中的面部确定启用与智能显示设备相关联的记录设备的语音识别，启用与智能显示设备相关联的记录设备的语音识别。

Description

根据基于视觉的机制启用智能显示设备的语音命令的方法及 系统
技术领域
本发明的实施例一般涉及智能显示设备。更具体地，本发明的实施例涉及根据基于视觉的机制启用智能显示设备的语音命令。
背景技术
智能显示设备(如谷歌家居(Google Home)智能显示器或亚马逊回声显示(AmazonEcho Show)等)可以是语音助手智能音箱，该音箱包括集成的显示器或触摸屏显示器以向用户呈现信息。通过来自智能显示设备的用户的语音命令或者通过经由触摸屏显示器的命令的物理输入，向智能设备提供命令和指令。然后，基于接收到的命令，智能显示设备的显示器可以经由显示器向用户呈现信息。
发明内容
根据本发明实施例，提供了一种基于特征控制智能显示设备的计算机实施的方法，所述方法包括：从与所述智能显示设备相关联的光捕获设备接收图像；根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别。
根据本发明另一实施例，提供了一种非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在由处理器执行时使得所述处理器执行操作，所述操作包括：从与智能显示设备相关联的光捕获设备接收图像；根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别。
根据本发明又一实施例，提供了一种系统，所述系统包括：处理器；以及存储器，所述存储器联接至所述处理器并且用于存储指令，所述指令在由所述处理器执行时使得所述处理器执行操作，所述操作包括：从与智能显示设备相关联的光捕获设备接收图像；根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别
附图说明
本发明的实施例在附图的各图中以举例而非限制的方式示出，附图中的相似的附图标记指示相似的元件。
图1是示出根据一个实施例的智能显示设备的显示器控制器的示例的框图。
图2是根据实施例的提供给算法控制模块以确定是否启用智能显示设备的记录设备的特征的示例的图示。
图3是示出根据一个实施例的生成智能显示设备的局部模型的过程的流程图。
图4是示出根据一个实施例的根据存在于图像中的面部确定启用智能显示设备的记录设备的过程的流程图。
图5是示出根据一个实施例的数据处理系统的框图。
具体实施方式
将参考以下所讨论的细节来描述本发明的各种实施例和方面，附图将示出所述各种实施例。下列描述和附图是对本发明的说明，而不应当解释为限制本发明。描述了许多特定细节以提供对本发明各种实施例的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本发明的实施例的简洁讨论。
本说明书中对“一个实施例”或“实施例”的提及意味着结合该实施例所描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。短语“在一个实施例中”在本说明书中各个地方的出现不必全部指同一实施例。
因此，本发明的实施例提供了根据基于视觉的机制启用智能显示设备的语音命令的智能显示设备。正常情况下，使用所谓的唤醒词启用智能显示设备。对于向智能显示设备提供语音命令的用户，用户需要先陈述启用智能显示设备的唤醒词，接着则是所期望的命令。例如，用户如果想要智能显示设备显示天气，则可以说：“Alexa，今天天气怎么样？”一旦识别唤醒词(例如Alexa)，智能显示设备就可以基于用户的命令启用并执行任务(例如，查看天气并将天气呈现给用户)。
然而，对于向智能显示设备提供多个命令的用户，用户需要在每个单独的命令之前都使用唤醒词。这样的过程较为繁琐，并且可能导致不良的用户体验。此外，用户可能忘记在每个命令之前使用唤醒词，从而需要用户向智能显示设备重复命令。
本发明的系统和方法的实施例通过根据基于视觉的机制确定是否启用智能显示设备的记录设备，提供了该任务的解决方案。智能显示设备可以包括光捕获设备(如相机)，光捕获设备可以捕获智能显示设备的周围环境的一个或多个图像。例如，相机可以捕获视频，该视频包括智能显示设备前方环境的一系列图像。光捕获设备将图像提供给智能显示设备的记录控制器。
记录控制器确定面部从光捕获设备接收的图像中是否存在面部。存在于由光捕获设备接收的图像中的面部可以指示用户正在使用智能显示设备。在实施例中，记录控制器可以确定图像的附加特征(如存在于图像中的面部的深度和存在于图像中的面部的视线方向)。根据存在于图像中的面部，记录控制器可以确定是否启用智能显示设备的记录设备。例如，记录控制器可以通过记录设备启用语音识别。语音识别一经启用，记录设备就可以接收来自用户的语音命令，该语音命令被提供给智能显示设备，用于语音分析(例如，语音识别)以及基于语音命令的任务的后续执行。
因此，通过利用由智能显示设备捕获的图像内面部的存在，智能显示设备的记录控制器可以智能地确定何时启用智能显示设备的语音识别。通过智能地确定何时启用语音识别，用户不再需要在向智能显示设备提供语音命令之前使用唤醒词，从而改善了用户体验。此外，智能地启用/停用智能显示设备的语音识别可以防止在用户不在场时启用语音识别，从而减少了智能显示设备的耗电量。
图1是示出根据一个实施例的智能显示设备100的显示器控制器的示例的框图。参考图1，智能显示设备100包括(但不限于)可操作地联接至光捕获设备105和记录设备150的记录控制器110。记录控制器110可以以软件、硬件或其组合实施。例如，记录控制器110的至少一些部件可以加载至存储器(例如，如动态RAM(DRAM)等的随机存取存储器(RAM))，并由智能显示设备100(未示出)的一个或多个处理器(例如，如中央处理单元(CPU)或通用处理单元(GPU)等的微处理器)的处理逻辑执行。
光捕获设备105可以配置为将入射光捕获为图像，并将与捕获的光对应的信号发送至记录控制器110。在实施例中，光捕获设备105可以是可操作地联接至记录控制器110的相机。在实施例中，光捕获设备105可以是单个相机。在一些实施例中，光捕获设备105可以是多个相机。
记录控制器110可以包括面部检测模块115。面部检测模块115可以配置为识别存在于图像中的一个或多个面部。在实施例中，面部检测模块115可以输出图像内的面部的轮廓框以及轮廓框与图像中的面部相对应的置信度。在一些实施例中，基于存储在智能显示设备100上的局部模型130，面部检测模块115可以确定图像中存在面部。例如，面部检测模块115可以将存在于图像中的所谓面部与局部模型130进行比较，以确定存在于图像中的面部是否实际上是用户的面部。在实施例中，局部模型130可以与先前已经由智能显示设备100登记和训练的用户的图像相对应，如将在下面的图3中进一步详细描述的。
在一些实施例中，面部检测模块115可以配置为识别一组用户中的特定的用户。该组用户中的每个用户都可以提供将在局部模型130中使用的一个或多个图像，以随后识别图像中的每个用户。例如，当用户A存在于图像中时，面部检测模块115可以通过概率分类任务来识别用户A存在于图像中。
记录控制器110还可以包括深度计算模块120。深度计算模块120可以配置为确定图像中面部的深度。面部的深度可以与面部与智能显示设备100的光捕获设备105之间的距离相对应。在一些实施例中，深度计算模块120可以利用多个相机来确定存在于图像中的面部的深度。例如，可以将由第一相机捕获的第一图像与由第二相机同时捕获的第二图像进行比较，以确定图像内面部的深度。在包括单个相机的实施例中，深度计算模块120可以通过确定由物体占据的图像的部分近似地计算物体到相机的距离。例如，如果人物的面部占据图像的80％，则深度计算模块120可以近似地计算出人物离相机很近。
记录控制器110可以包括视线检测模块125。视线检测模块125可以配置为检测图像中的面部是否正在注视光捕获设备105或智能显示设备100。在实施例中，视线检测模块125可以利用一个或多个算法来检测面部的眼睛在图像内的位置。然后，视线检测模块125可以确定面部的眼睛是否正在朝着光捕获设备105或智能显示设备100的方向看。
在实施例中，面部检测模块115、深度计算模块120和/或视线检测模块125可以并行操作。在一些实施例中，面部检测模块115、深度计算模块120和/或视线检测模块125可以按顺序操作。例如，面部检测模块115可以向深度计算模块120提供数据，而深度计算模块120可以向视线检测模块125提供数据。
记录设备150可以配置为捕获传入的声音(如语音命令)。在实施例中，记录设备150可以是可操作地联接至记录控制器110的麦克风。在实施例中，记录设备150可以是单个麦克风。在一些实施例中，记录设备150可以是多个麦克风。例如，记录设备150可以是包括以线形、三角形、方形或圆形布局排列的2到8个麦克风的麦克风阵列。
记录控制器110还可以包括算法控制模块135。算法控制模块135可以从面部检测模块115、深度计算模块120和/或视线检测模块125接收数据。算法控制模块135可以配置为基于所接收的数据确定是否启用或停用智能显示设备100的记录设备150。在实施例中，算法控制模块135可以利用机器学习模型来确定是否启用或停用记录设备150并确定置信分数。在实施例中，可以从远程服务器(如基于云的平台)接收机器学习模型。算法控制模块135可以利用的机器学习模型的示例包括(但不限于)线性模型、非线性模型、浅层模型和深层模型。一旦算法控制模块135确定记录设备150将被启用/停用，记录控制器110就可以通过向记录设备150发送信号基于上述确定启用记录设备150。
图2是根据实施例的提供给算法控制模块以确定是否启用智能显示设备的记录设备的特征的示例的图示200。如前所述，可以将与从光捕获设备接收的一个或多个图像相关联的特征提供给算法控制模块135。算法控制模块135可以将接收的特征用作机器学习模型的输入，机器学习模型可以确定是否启用智能显示设备的记录设备150。每个特征都可以影响机器学习模型对是否启用记录设备150的确定。
在框210，如前所述，记录控制器可以确定面部是否存在于图像中。算法控制模块135可以利用图像中面部的存在来确定是否启用记录设备150。例如，如果面部存在于图像中，则算法控制模块135确定启用记录设备150的概率可能增加。
在框215，记录控制器可以确定图像中面部的深度。算法控制模块135可以利用图像中面部的深度来确定是否启用记录设备150。在实施例中，如果从图像中的面部到智能显示设备的距离低于阈值距离，则算法控制模块135确定启用记录设备150的概率可能增加。例如，如果用户的面部在距离智能显示设备的2英尺的阈值距离内，其指示该用户很可能正在使用智能显示设备，则算法控制模块135确定启用记录设备150的概率可能增加。在一些实施例中，如果从图像中用户的面部到智能显示设备的距离超过阈值距离，则算法控制模块135确定启用记录设备150的概率可能降低。例如，如果用户的面部到智能显示设备的距离大于20英尺的阈值，则该用户可能并不在使用智能显示设备。因此，算法控制模块135确定启用记录设备150的概率可能降低。
在框220，记录控制器可以确定图像中面部的视线方向。算法控制模块135可以利用图像中面部的视线方向来确定是否启用记录设备150。例如，如果图像中用户的面部的视线方向是朝向智能显示设备的方向，其指示用户可能正在使用智能显示设备，则算法控制模块135确定启用记录设备150的概率可能增加。然而，如果图像中用户的面部的视线方向不是朝向智能显示设备的方向，其指示人物不太可能正在使用智能显示设备，则算法控制模块135确定启用记录设备150的概率可能降低。
应当注意，尽管图示200包括用于确定是否启用记录设备150的、在框210、框215和框220处的特征，但是在实施例中可以利用更多或更少的特征来确定是否启用记录设备150。
图3是示出根据一个实施例的生成智能显示设备的局部模型的过程300的流程图。过程300可以由处理逻辑执行，处理逻辑可以包括软件、硬件或其组合。例如，过程300的一个或多个操作可以由图1的记录控制器110执行。
参考图3，在操作305中，处理逻辑从光捕获设备接收图像。用户的面部可能存在于接收的图像中。在操作310中，处理逻辑识别存储在智能显示设备上的一个或多个局部模型。局部模型可以对应于如先前在图1描述的局部模型130。
在操作315中，处理逻辑确定在操作305处接收的图像是否包括新面部。处理逻辑可以将接收图像中的面部与一个或多个局部模型进行比较，以确定图像是否包括新面部。例如，如果存在于接收图像中的面部不与上述局部模型之一对应，则该图像可能包括尚未在智能设备登记的新面部。如果图像不包括新面部，则过程300可以返回至操作305，并且可以接收后续的图像。
如果图像包括新面部，则在操作320中，处理逻辑接收智能显示设备的安全凭证。例如，处理逻辑可以提示智能显示设备的用户输入智能显示设备的用户名和密码或智能显示设备的任何其他类型的安全凭证。安全凭证一经接收，智能显示设备就可以将新用户登记为智能显示设备的用户。登记新用户可以包括向新用户分配用户名、向新用户分配权限、向新用户分配首选项等。
在一些实施例中，如果用户不能向智能显示设备提供安全凭证，则用户也许能够以访客模式使用智能显示设备。当以访客模式进行操作时，与登记用户相比，该用户可能具有更低级别的权限。例如，当以访客模式进行操作时，用户也许能够访问天气或新闻，但可能无法访问存储在智能显示设备上的个人信息或者无法进行购买。
在操作325中，处理逻辑确定是否将在智能显示设备上登记另一个用户。处理逻辑可以通过提供提示(如语音提示或在智能显示设备的显示器上的提示)询问用户是否要登记另一个用户来确定是否要登记另一个用户。如果要登记另一个用户，则过程300返回至操作305，并且对另一个用户重复过程300。
如果没有其他用户要在智能显示设备上登记，则在操作330中，新用户的局部模型由智能显示设备的处理逻辑来训练。在一些实施例中，可以将图像提供给远程服务器(如基于云的平台)，并且远程服务器可以训练新用户的局部模型，并将训练的局部模型发送至智能显示设备。在将图像提供给远程服务器之前，智能显示设备可以获取用户的许可，以将图像提供给远程服务器，用于生成和训练局部模型。然后，训练的局部模型可以由智能显示系统使用，如先前在图1所描述的。
图4是示出根据一个实施例的根据存在于图像中的面部确定启用智能显示设备的记录设备的过程400的流程图。过程400可以由处理逻辑执行，处理逻辑可以包括软件、硬件或其组合。例如，过程400可以由图1的记录控制器110执行。参考图4，在操作401中，处理逻辑从与智能显示设备相关联的光捕获设备接收图像。在操作402中，根据存在于图像中的面部，处理逻辑确定是否启用与智能显示设备相关联的记录设备。在操作403中，响应于根据存在于图像中的面部确定启用记录设备，处理逻辑启用与智能显示设备相关联的记录设备的语音识别。语音识别一经启用，记录设备就可以从用户接收语音命令，该语音命令可以发送到处理逻辑，用于语音分析(例如语音识别)以及基于语音命令的任务的后续执行。
在实施例中，处理逻辑可以从光捕获设备接收一个或多个后续图像。一旦接收到后续图像，处理逻辑就可以确定面部是否存在于后续图像中。如果面部不存在于后续图像中，则处理逻辑可以停用记录设备。例如，如果用户的面部不再存在于后续图像中，则用户可能不再使用智能显示设备。因此，处理逻辑可以确定停用记录设备。
图5是示出可以与本发明的一个实施例一起使用的数据处理系统的示例的框图。例如，系统1500可以表示以上所述的执行上述过程或方法中的任何一个的任意数据处理系统(例如，以上所述的客户端设备或服务器，或以上所述的图1中的智能显示设备100等)。
系统1500可以包括许多不同的部件。这些部件可以实施为集成电路(IC)、集成电路的部分、分立电子设备或适用于电路板(如计算机系统的主板或插入卡)的其它模块，或者实施为以其它方式并入计算机系统的机架内的部件。
还应注意，系统1500旨在示出计算机系统的许多部件的高阶视图。然而，应当理解的是，某些实施方式中可以具有附加的部件，此外，其它实施方式中可以具有所示部件的不同布置。系统1500可以表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的任何一种或多种方法的机器或系统的任何集合。
在一个实施例中，系统1500包括通过总线或互连件1510连接的处理器1501、存储器1503以及设备1505至1508。处理器1501可以表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可以表示一个或多个通用处理器(如微处理器、中央处理单元(CPU)等)。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如，专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、网络处理器、通信处理器、加密处理器、协处理器、嵌入式处理器、或者能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是低功率多核处理器套接口，诸如超低电压处理器)可以充当用于与所述系统的各种部件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501配置为执行用于执行本文所讨论的操作和步骤的指令。系统1500还可以包括与可选的图形子系统1504通信的图形接口，图形子系统1504可以包括显示器控制器、图形处理器和/或显示设备。
处理器1501可以与存储器1503通信，存储器1503在一个实施例中可以经由多个存储器设备实施以提供给定量的系统存储。存储器1503可以包括一个或多个易失性存储(或存储器)设备，诸如，随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或者其它类型的存储设备。存储器1503可以存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，各种操作系统、设备驱动程序、固件(例如，输入输出基本系统或BIOS)和/或应用的可执行代码和/或数据可以加载到存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如，来自
Figure BDA0002061259700000101
公司的
Figure BDA0002061259700000102
操作系统、来自苹果公司的Mac
Figure BDA0002061259700000103
来自
Figure BDA0002061259700000104
公司的
Figure BDA0002061259700000105
LINUX、UNIX，或者其它实时或嵌入式操作系统(如VxWorks)。
系统1500还可以包括I/O设备，诸如设备1505至1508，包括网络接口设备1505、可选的输入设备1506，以及其它可选的I/O设备1507。网络接口设备1505可以包括无线收发器和/或网络接口卡(NIC)。所述无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器或者它们的组合。NIC可以是以太网卡。
输入设备1506可以包括鼠标、触摸板、触敏屏幕(其可以与显示设备1504集成在一起)、指针设备(如手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入设备1506可以包括联接至触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可以使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接触的一个或多个点的其它元件来检测其接触和移动或间断。
I/O设备1507可以包括音频设备。音频设备可以包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它I/O设备1507还可以包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如PCI-PCI桥)、传感器(例如，诸如加速度计、陀螺仪、磁强计、光传感器、罗盘、接近传感器等的运动传感器)或者它们的组合。设备1507还可以包括成像处理子系统(例如相机)，成像处理子系统可以包括用于促进相机功能(如记录照片和视频片段)的光学传感器，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可以经由传感器集线器(未示出)联接至互连件1510，而如键盘或热传感器的其它设备可以根据系统1500的具体配置或设计由嵌入式控制器(未示出)控制。
为了提供对如数据、应用、一个或多个操作系统等信息的永久性存储，大容量存储器(未示出)也可以联接至处理器1501。在各种实施例中，为了实现更薄且更轻的系统设计并且改进系统响应性，这种大容量存储器可以经由固态设备(SSD)来实施。然而，在其它实施例中，大容量存储器可以主要使用硬盘驱动器(HDD)来实施，其中较小量的SSD存储器充当SSD高速缓存以在断电事件期间实现上下文状态以及其它此类信息的非易失性存储，从而使得在系统活动重新启用时能够实现快速通电。另外，闪存设备可以例如经由串行外围接口(SPI)联接至处理器1501。这种闪存设备可以提供系统软件的非易失性存储，系统软件包括系统的基本输入/输出软件(BIOS)以及其它固件。
存储设备1508可以包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，其上存储有体现本文所述的任何一种或多种方法或功能的一个或多个指令集或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可以表示上述部件中的任何一个(例如，以上描述的记录控制器110)。处理模块/单元/逻辑1528还可以在其由数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据处理系统1500、存储器1503和处理器1501也构成机器可访问的存储介质。处理模块/单元/逻辑1528还可以通过网络经由网络接口设备1505进行传输或接收。
计算机可读存储介质1509也可以用来永久性地存储以上描述的一些软件功能。虽然在示例性实施例中示出计算机可读存储介质1509为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，指令集用于由机器执行并且使得机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。
本文所述的处理模块/单元/逻辑1528、部件以及其它特征可以实施为分立硬件部件或集成在硬件部件(如ASICS、FPGA、DSP或类似设备)的功能中。此外，处理模块/单元/逻辑1528可以实施为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件设备和软件部件的任何组合来实施。
应注意，虽然系统1500被示出为具有数据处理系统的各种部件，但是并不旨在表示使部件互连的任何特定架构或方式，因为此类细节和本发明的实施例没有密切关系。还应当认识到，具有更少部件或可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可以与本发明的实施例一起使用。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算设备的动作和处理，计算机系统或电子计算设备操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将数据变换成计算机系统存储器或寄存器或者其它此类信息存储、传输或显示设备内类似地表示为物理量的其它数据。
图中所示的技术可以使用在一个或多个电子设备上存储和执行的代码和数据来实施。此类电子设备使用计算机可读介质(例如，非暂时性计算机可读存储介质(如磁盘、光盘、随机存取存储器、只读存储器、快闪存储器设备、相变存储器)和暂时性计算机可读传输介质(如电子、光学、声学或其他形式的传播信号，诸如载波、红外信号、数字信号))存储和传达(在内部地和/或通过网络与其他电子设备)代码和数据。
前述图中所描绘的过程或方法可以由处理逻辑来执行，处理逻辑包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，体现在非暂时性计算机可读介质上)或其组合。尽管过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所描述的操作中的一些可以按不同的顺序执行。此外，一些操作可以并行地执行而不是顺序地执行。
在以上的说明书中，已经参考本发明的具体示例性实施例对本发明的实施例进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本发明的更宽泛精神和范围的情况下，可以对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (20)

1.一种基于特征控制智能显示设备的计算机实施的方法，所述方法包括：
从与所述智能显示设备相关联的光捕获设备接收图像；
根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及
响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别。
2.根据权利要求1所述的方法，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：利用机器学习模型来分析所述图像。
3.根据权利要求1所述的方法，所述方法还包括：
从与所述智能显示设备相关联的所述光捕获设备接收第二图像；
确定所述面部是否存在于所述第二图像中；以及
响应于确定所述面部不存在于所述第二图像中，停用与所述智能显示设备相关联的所述记录设备的所述语音识别。
4.根据权利要求1所述的方法，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定从所述图像中的所述面部到所述智能显示设备的距离。
5.根据权利要求1所述的方法，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定所述图像中的所述面部相对于所述智能显示设备的视线方向。
6.根据权利要求1所述的方法，所述方法还包括：
识别与所述面部相关联的用户。
7.根据权利要求6所述的方法，其中，识别与所述面部相关联的所述用户是根据存在于所述图像中的所述面部与存在于局部模型中的用户的面部的比较而执行的。
8.一种非暂时性机器可读介质，所述非暂时性机器可读介质中存储有指令，所述指令在由处理器执行时使得所述处理器执行操作，所述操作包括：
从与智能显示设备相关联的光捕获设备接收图像；
根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及
响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别。
9.根据权利要求8所述的非暂时性机器可读介质，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：利用机器学习模型来分析所述图像。
10.根据权利要求8所述的非暂时性机器可读介质，所述操作还包括：
从与所述智能显示设备相关联的所述光捕获设备接收第二图像；
确定所述面部是否存在于所述第二图像中；以及
响应于确定所述面部不存在于所述第二图像中，停用与所述智能显示设备相关联的所述记录设备的所述语音识别。
11.根据权利要求8所述的非暂时性机器可读介质，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定从所述图像中的所述面部到所述智能显示设备的距离。
12.根据权利要求8所述的非暂时性机器可读介质，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定所述图像中的所述面部相对于所述智能显示设备的视线方向。
13.根据权利要求8所述的非暂时性机器可读介质，所述操作还包括：
识别与所述面部相关联的用户。
14.根据权利要求13所述的非暂时性机器可读介质，其中，识别与所述面部相关联的所述用户是根据存在于所述图像中的所述面部与存在于局部模型中的用户的面部的比较而执行的。
15.一种系统，包括：
处理器；以及
存储器，所述存储器联接至所述处理器并且用于存储指令，所述指令在由所述处理器执行时使得所述处理器执行操作，所述操作包括：
从与智能显示设备相关联的光捕获设备接收图像；
根据存在于所述图像中的面部，确定是否启用与所述智能显示设备相关联的记录设备的语音识别；以及
响应于根据存在于所述图像中的所述面部确定启用与所述智能显示设备相关联的所述记录设备的所述语音识别，启用与所述智能显示设备相关联的所述记录设备的所述语音识别。
16.根据权利要求15所述的系统，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：利用机器学习模型来分析所述图像。
17.根据权利要求15所述的系统，所述操作还包括：
从与所述智能显示设备相关联的所述光捕获设备接收第二图像；
确定所述面部是否存在于所述第二图像中；以及
响应于确定所述面部不存在于所述第二图像中，停用与所述智能显示设备相关联的所述记录设备的所述语音识别。
18.根据权利要求15所述的系统，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定从所述图像中的所述面部到所述智能显示设备的距离。
19.根据权利要求15所述的系统，其中，确定是否启用与所述智能显示设备相关联的所述记录设备的所述语音识别包括：
确定所述图像中的所述面部相对于所述智能显示设备的视线方向。
20.根据权利要求15所述的系统，其中，所述操作还包括：
识别与所述面部相关联的用户。
CN201910406054.0A 2018-12-28 2019-05-16 根据基于视觉的机制启用智能显示设备的语音命令的方法及系统 Pending CN111383635A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/235,538 US11151993B2 (en) 2018-12-28 2018-12-28 Activating voice commands of a smart display device based on a vision-based mechanism
US16/235,538 2018-12-28

Publications (1)

Publication Number Publication Date
CN111383635A true CN111383635A (zh) 2020-07-07

Family

ID=71121830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406054.0A Pending CN111383635A (zh) 2018-12-28 2019-05-16 根据基于视觉的机制启用智能显示设备的语音命令的方法及系统

Country Status (4)

Country Link
US (1) US11151993B2 (zh)
JP (1) JP2020109463A (zh)
KR (1) KR102323232B1 (zh)
CN (1) CN111383635A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204628A (zh) * 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
CN106782524A (zh) * 2016-11-30 2017-05-31 深圳讯飞互动电子有限公司 一种混合唤醒方法及系统
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子（惠州）有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质
CN108231079A (zh) * 2018-02-01 2018-06-29 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN108711430A (zh) * 2018-04-28 2018-10-26 广东美的制冷设备有限公司 语音识别方法、智能设备及存储介质

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3688879B2 (ja) 1998-01-30 2005-08-31 株式会社東芝 画像認識装置、画像認識方法及びその記録媒体
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
KR20080031408A (ko) * 2005-07-13 2008-04-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 시간 업－컨버전을 갖는 프로세싱 방법 및 디바이스
US8676273B1 (en) * 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
JP2009222969A (ja) 2008-03-17 2009-10-01 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2011071962A (ja) * 2009-08-28 2011-04-07 Sanyo Electric Co Ltd 撮像装置及び再生装置
US9723260B2 (en) * 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
US9318129B2 (en) * 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
US8666751B2 (en) * 2011-11-17 2014-03-04 Microsoft Corporation Audio pattern matching for device activation
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
EP2842014A4 (en) 2012-04-27 2015-12-02 Hewlett Packard Development Co USER-SECURE AUDIO INPUT
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
KR102206383B1 (ko) * 2012-07-09 2021-01-22 엘지전자 주식회사 음성 인식 장치 및 그 방법
KR101992676B1 (ko) * 2012-07-26 2019-06-25 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
US9467403B2 (en) * 2013-11-28 2016-10-11 Tencent Technology (Shenzhen) Company Limited Method and mobile terminal for speech communication
US10163455B2 (en) * 2013-12-03 2018-12-25 Lenovo (Singapore) Pte. Ltd. Detecting pause in audible input to device
CN104915601B (zh) * 2014-03-12 2019-04-19 三星电子株式会社 对装置中的文件夹进行加密的系统和方法
US10770075B2 (en) * 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
US9298974B1 (en) * 2014-06-18 2016-03-29 Amazon Technologies, Inc. Object identification through stereo association
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
WO2016048102A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image display method performed by device including switchable mirror and the device
JP6514475B2 (ja) 2014-10-03 2019-05-15 株式会社Ｎｔｔドコモ 対話装置および対話方法
US10228904B2 (en) * 2014-11-12 2019-03-12 Lenovo (Singapore) Pte. Ltd. Gaze triggered voice recognition incorporating device velocity
US20160139662A1 (en) * 2014-11-14 2016-05-19 Sachin Dabhade Controlling a visual device based on a proximity between a user and the visual device
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
EP3276618A4 (en) * 2015-03-23 2018-11-07 Sony Corporation Information processing system and information processing method
CN106570443A (zh) * 2015-10-09 2017-04-19 芋头科技（杭州）有限公司 一种快速识别方法及家庭智能机器人
CN108475424B (zh) * 2016-07-12 2023-08-29 微软技术许可有限责任公司 用于3d面部跟踪的方法、装置和系统
US10438583B2 (en) * 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US20180025725A1 (en) * 2016-07-22 2018-01-25 Lenovo (Singapore) Pte. Ltd. Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give
KR102214440B1 (ko) * 2016-10-07 2021-02-09 삼성전자주식회사 통화 기능을 수행하는 단말 장치 및 방법
KR102591413B1 (ko) * 2016-11-16 2023-10-19 엘지전자 주식회사 이동단말기 및 그 제어방법
US10540488B2 (en) * 2017-02-10 2020-01-21 Microsoft Technology Licensing, Llc Dynamic face and voice signature authentication for enhanced security
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
US20190027147A1 (en) * 2017-07-18 2019-01-24 Microsoft Technology Licensing, Llc Automatic integration of image capture and recognition in a voice-based query to understand intent
WO2019036630A1 (en) * 2017-08-17 2019-02-21 Google Llc SCALING AN IMAGE OF THE FACE OF A SPEAKER BASED ON THE DISTANCE OF THE FACE AND THE SIZE OF THE DISPLAY DEVICE
CN117077102A (zh) * 2017-09-09 2023-11-17 苹果公司 生物识别认证的实现
US11134227B2 (en) * 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10796711B2 (en) * 2017-09-29 2020-10-06 Honda Motor Co., Ltd. System and method for dynamic optical microphone
CN111492373A (zh) * 2017-10-30 2020-08-04 纽约州州立大学研究基金会 与基于声学的回声签名的用户认证相关联的系统和方法
US11100205B2 (en) * 2017-11-13 2021-08-24 Jpmorgan Chase Bank, N.A. Secure automated teller machine (ATM) and method thereof
US10402149B2 (en) * 2017-12-07 2019-09-03 Motorola Mobility Llc Electronic devices and methods for selectively recording input from authorized users
US20190327330A1 (en) * 2018-04-20 2019-10-24 Facebook, Inc. Building Customized User Profiles Based on Conversational Data
US10922665B2 (en) * 2018-06-27 2021-02-16 The Toronto-Dominion Bank Automatic generation and population of digital interfaces based on adaptively processed image data
US10769428B2 (en) * 2018-08-13 2020-09-08 Google Llc On-device image recognition
EP3848788A4 (en) * 2018-09-07 2021-11-10 Sony Group Corporation TERMINAL DEVICE AS WELL AS THE MANUFACTURING PROCESS OF THE SAME, AND RECORDING MEDIA
WO2020062262A1 (en) * 2018-09-30 2020-04-02 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for generating a neural network model for image processing
US10896320B2 (en) * 2018-11-14 2021-01-19 Baidu Usa Llc Child face distance alert system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105204628A (zh) * 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
CN106782524A (zh) * 2016-11-30 2017-05-31 深圳讯飞互动电子有限公司 一种混合唤醒方法及系统
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子（惠州）有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质
CN108231079A (zh) * 2018-02-01 2018-06-29 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN108711430A (zh) * 2018-04-28 2018-10-26 广东美的制冷设备有限公司 语音识别方法、智能设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张国良 等: "移动机器人的SLAM与VSLAM方法", vol. 1, 30 September 2018, 西安交通大学出版社, pages: 96 - 98 *

Also Published As

Publication number Publication date
JP2020109463A (ja) 2020-07-16
KR102323232B1 (ko) 2021-11-05
US11151993B2 (en) 2021-10-19
KR20200083155A (ko) 2020-07-08
US20200211542A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
AU2013257523B2 (en) Electronic device and method for driving camera module in sleep mode
CN110096253B (zh) 利用相同的音频输入的设备唤醒和说话者验证
KR102018152B1 (ko) 항상-온-항상-청취 음성 인식 시스템을 위한 위치 인식 전력 관리 스킴
US9974019B2 (en) Electronic device and method for receiving geo-fence service with low power consumption
KR20180083587A (ko) 전자 장치 및 그의 동작 방법
US20130063611A1 (en) Initializing Camera Subsystem for Face Detection Based on Sensor Inputs
US20190025901A1 (en) Screen Timeout Duration
EP3751476A1 (en) A system to mitigate against adversarial samples for machine learning and artificial intelligence models
CN111192319B (zh) 用于监控人类面部到智能设备的距离的系统和方法
US10817246B2 (en) Deactivating a display of a smart display device based on a sound-based mechanism
US11151993B2 (en) Activating voice commands of a smart display device based on a vision-based mechanism
US11966451B2 (en) Method for optimizing deep learning operator, device and storage medium
US11029741B2 (en) Deactivating a display of a smart display device based on a vision-based mechanism
CN111510423A (zh) 使用限制操作环境的基于令牌的安全多方计算框架
US20240134431A1 (en) System and method for identifying presence and function of components of data processing systems
KR20170009733A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination