CN108733419B - 智能设备的持续唤醒方法、装置、智能设备和存储介质 - Google Patents

智能设备的持续唤醒方法、装置、智能设备和存储介质 Download PDF

Info

Publication number
CN108733419B
CN108733419B CN201810235797.1A CN201810235797A CN108733419B CN 108733419 B CN108733419 B CN 108733419B CN 201810235797 A CN201810235797 A CN 201810235797A CN 108733419 B CN108733419 B CN 108733419B
Authority
CN
China
Prior art keywords
target
robot
awakening
state
continuously
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810235797.1A
Other languages
English (en)
Other versions
CN108733419A (zh
Inventor
周子傲
宋奔
王雪松
马健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201810235797.1A priority Critical patent/CN108733419B/zh
Publication of CN108733419A publication Critical patent/CN108733419A/zh
Priority to PCT/CN2019/078749 priority patent/WO2019179443A1/zh
Priority to TW108109814A priority patent/TWI714989B/zh
Application granted granted Critical
Publication of CN108733419B publication Critical patent/CN108733419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4418Suspend and resume; Hibernate and awake
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Clocks (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本发明提出一种智能设备的持续唤醒方法、装置、智能设备和存储介质,其中,方法包括:在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数,根据获取的状态参数,判断智能设备是否需要持续唤醒,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。该方法在智能设备唤醒时,不是使智能设备持续唤醒固定时长,而是考虑了目标的状态参数,根据状态参数,判断是否需要持续唤醒,在确定需要唤醒时,使智能设备继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。

Description

智能设备的持续唤醒方法、装置、智能设备和存储介质
技术领域
本发明涉及智能设备技术领域,尤其涉及一种智能设备的持续唤醒方法、装置、智能设备和存储介质。
背景技术
随着智能设备的普及,人们对智能设备的使用频率越来越频繁,这些设备的功耗也越来越大,这也就导致智能设备的待机时长越来越短。为了提高智能设备的续航能力,当用户不使用智能设备时,设备中的相关服务会停止或者暂停,智能设备处于休眠状态,这样就可以有效的保存电量。当用户使用智能设备时,将智能设备再从休眠状态中唤醒。
目前,可通过唤醒词唤醒智能设备,或者是通过人脸检测自主唤醒智能设备,并使唤醒状态持续固定时长。
但是,智能设备唤醒状态持续固定时长太短,往往存在还未接收到用户输入的操作指令,便结束了唤醒的情况。如果唤醒状态持续固定时长太长,而一直未接收到用户的操作指令,会存在浪费电量的问题。可见,相关技术中,智能设备持续唤醒时长不够灵活,持续唤醒不够精准。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
本发明提出一种智能设备的持续唤醒方法,在智能处于唤醒状态时,不是使智能设备持续唤醒固定时长,而是根据目标的状态参数,确定是否需要持续唤醒,在需要持续唤醒时,继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
本发明一方面实施例提出了一种智能设备的持续唤醒方法,包括:
在智能设备处于唤醒状态时,获取所述智能设备监控范围内的环境图像;
对所述环境图像进行识别,当从所述环境图像中识别出目标时,获取所述目标的状态参数;
根据获取的所述状态参数,判断所述智能设备是否需要持续唤醒;
如果判断出所述智能设备需要持续唤醒,则控制所述智能设备继续处于唤醒状态预设时长。
作为本发明一方面实施例一种可能的实现方式,在智能设备处于唤醒状态时,控制所述智能设备对所述目标进行焦点跟随。
作为本发明一方面实施例一种可能的实现方式,所述目标的状态参数包括:所述目标与所述智能设备之间的距离,以及所述目标的人脸角度;
根据所述状态参数,判断所述智能设备是否需要持续唤醒,包括:
若所述目标与所述智能设备之间的距离小于预设的距离阈值,并且所述目标的人脸角度在预设的角度范围内时,确定所述智能设备需要持续唤醒。
作为本发明一方面实施例一种可能的实现方式,所述目标的状态参数还包括:所述目标的唇部状态参数;
在确定所述智能设备需要持续唤醒之前,还包括:
确定所述目标的唇部状态参数指示所述目标存在唇动。
作为本发明一方面实施例一种可能的实现方式,所述目标的状态参数还包括:所述目标在所述距离阈值范围内的停留时长;
在确定所述智能设备需要持续唤醒之前,还包括:
确定所述目标在所述距离阈值范围内的停留时长达到预设的时长阈值。
作为本发明一方面实施例一种可能的实现方式,若所述智能设备是通过唤醒词语音被唤醒的,在获取所述智能设备监控范围内的环境图像之前,还包括:
确定所述唤醒词语音的声源方向;
控制所述智能设备转向所述声源方向。
作为本发明一方面实施例一种可能的实现方式,该方法还包括:
统计所述智能设备从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长;
如果所述本次唤醒状态累计时长超出时长阈值,则结束所述智能设备的唤醒状态;
如果所述本次唤醒状态累计时长未超出所述时长阈值,则继续获取环境图像进行持续唤醒的判断过程。
作为本发明一方面实施例一种可能的实现方式,所述结束所述智能设备的唤醒状态之后,还包括:
控制所述智能设备对所述目标进行焦点跟随;
如果在焦点跟随的过程中,识别到所述目标发生指定的动作,则控制所述智能设备重新进入唤醒状态预设时长;其中,所述指定的动作用于指示所述目标存在交互意图。
作为本发明一方面实施例一种可能的实现方式,在所述智能设备处于唤醒状态时,还包括:
当接收到任务指令时,执行所述任务指令;
当所述任务指令执行完成后,控制所述智能设备重新进入唤醒状态预设时长。
作为本发明一方面实施例一种可能的实现方式,在智能设备处于唤醒状态时,获取所述智能设备监控范围内的环境图像之前,还包括:
接收唤醒指令,根据所述唤醒指令,唤醒所述智能设备;或者,
根据唤醒前获取的环境图像,确定满足唤醒条件,则唤醒所述智能设备。
本发明实施例的智能设备的持续唤醒方法,通过在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数,根据获取的状态参数,判断智能设备是否需要持续唤醒,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。本实施例中,在智能设备唤醒时,不是使智能设备持续唤醒固定时长,而是考虑了目标的状态参数,根据状态参数,判断是否需要持续唤醒,在确定需要唤醒时,使智能设备继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
本发明另一方面实施例提出了一种智能设备的持续唤醒装置,包括:
第一获取模块,用于在智能设备处于唤醒状态时,获取所述智能设备监控范围内的环境图像;
第二获取模块,用于对所述环境图像进行识别,当从所述环境图像中识别出目标时,获取所述目标的状态参数;
判断模块,用于根据获取的所述状态参数,判断所述智能设备是否需要持续唤醒;
第一控制模块,用于在判断出所述智能设备需要持续唤醒时,控制所述智能设备继续处于唤醒状态预设时长。
作为本发明另一方面实施例一种可能的实现方式,该装置还包括:
第二控制模块,用于在智能设备处于唤醒状态时,控制所述智能设备对所述目标进行焦点跟随。
作为本发明另一方面实施例一种可能的实现方式,所述目标的状态参数包括:所述目标与所述智能设备之间的距离,以及所述目标的人脸角度;所述判断模块还用于:
在所述目标与所述智能设备之间的距离小于预设的距离阈值,并且所述目标的人脸角度在预设的角度范围内时,确定所述智能设备需要持续唤醒。
作为本发明另一方面实施例一种可能的实现方式,所述目标的状态参数还包括:所述目标的唇部状态参数;
所述判断模块,用于在确定所述智能设备需要持续唤醒之前,确定所述目标的唇部状态参数指示所述目标存在唇动。
作为本发明另一方面实施例一种可能的实现方式,所述目标的状态参数还包括:所述目标在所述距离阈值范围内的停留时长;
所述判断模块,还用于在确定所述智能设备需要持续唤醒之前,确定所述目标在所述距离阈值范围内的停留时长达到预设的时长阈值。
作为本发明另一方面实施例一种可能的实现方式,若所述智能设备是通过唤醒词语音被唤醒的,还包括:
确定模块,用于在获取所述智能设备监控范围内的环境图像之前,确定所述唤醒词语音的声源方向;
第三控制模块,用于控制所述智能设备转向所述声源方向。
作为本发明另一方面实施例一种可能的实现方式,该装置还包括:
统计模块,用于统计所述智能设备从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长;
所述第一控制模块,还用于在所述本次唤醒状态累计时长超出时长阈值时,结束所述智能设备的唤醒状态;
所述第一获取模块,用于在所述本次唤醒状态累计时长未超出所述时长阈值时,继续获取环境图像进行持续唤醒的判断过程。
作为本发明另一方面实施例一种可能的实现方式,该装置还包括:
所述第二控制模块,还用于在所述结束所述智能设备的唤醒状态之后,所述目标进行焦点跟随;
所述第一控制模块,还用于在焦点跟随的过程中,识别到目标发生指定的动作时,控制所述智能设备重新进入唤醒状态预设时长;其中,所述指定的动作用于指示所述目标存在交互意图。
作为本发明另一方面实施例一种可能的实现方式,该装置还包括:
执行模块,用于在所述智能设备处于唤醒状态时,当接收到任务指令时,执行所述任务指令;
所述第一控制模块,还用于当所述任务指令执行完成后,控制所述智能设备重新进入唤醒状态预设时长。
作为本发明另一方面实施例一种可能的实现方式,该装置还包括:
唤醒模块,用于在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像之前,接收唤醒指令,根据所述唤醒指令,唤醒所述智能设备;或者,根据唤醒前获取的环境图像,确定满足唤醒条件,则唤醒所述智能设备。
本发明实施例的智能设备的持续唤醒装置,通过在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数,根据获取的状态参数,判断智能设备是否需要持续唤醒,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。本实施例中,在智能设备唤醒时,不是使智能设备持续唤醒固定时长,而是考虑了目标的状态参数,根据状态参数,判断是否需要持续唤醒,在确定需要唤醒时,使智能设备继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
本发明另一方面实施例提出了一种智能设备,包括:壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为上述智能设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述一方面实施例所述的智能设备的持续唤醒方法。
本发明另一方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述一方面实施例所述的智能设备的持续唤醒方法。
本发明另一方面实施例提出了一种计算机程序产品,当计算机程序产品中的指令由处理器执行时,实现如上述一方面实施例所述的智能设备的持续唤醒方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的一种智能设备的持续唤醒方法的流程示意图;
图2为本发明实施例提供的双目视觉计算距离的原理示意图;
图3为本发明实施例提供的一种对目标进行焦点跟随的方法的流程示意图;
图4为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图;
图5为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图;
图6为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图;
图7为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图;
图8为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图;
图9为本发明实施例提供的一种智能设备的持续唤醒装置的结构示意图;
图10为本发明智能设备一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的智能设备的持续唤醒方法、装置、智能设备和存储介质。
针对目前智能设备唤醒状态持续固定时长,存在持续唤醒不够精准的问题,提出一种智能设备的持续唤醒方法。
本发明实施例的智能设备的持续唤醒方法,在智能处于唤醒状态时,不是使智能设备持续唤醒固定时长,而是根据目标的状态参数,确定是否需要持续唤醒,在需要持续唤醒时,继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
图1为本发明实施例提供的一种智能设备的持续唤醒方法的流程示意图。
如图1所示,该智能设备的持续唤醒方法包括:
步骤101,在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像。
本实施例中,智能设备可包括机器人、智能家电、智能手机等。智能设备上可配置摄像装置,在智能设备处于唤醒状态时,通过摄像装置可每隔预设时长,如每隔1秒,获取智能设备监控范围内的环境图像。
步骤102,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数。
在获取环境图像后,可对环境图像进行检测,以识别进入监控范围的目标。这里的目标可以理解为人。
具体地,智能设备可通过人脸检测或者人体检测,识别环境图像中的人。更具体地,从环境图像中提取物体的轮廓,将提取的物体轮廓与预存的人脸轮廓或人体轮廓,进行比对。当提取的轮廓与预设的轮廓之间的相似度超过预设的阈值,可以认为从环境图像中识别到了人。从而,通过该方法可以识别出环境图像中所有的人。
本实施例中,当从环境图像中识别到一个目标时,可获取该目标的状态参数。其中,状态参数可包括:目标与智能设备之间的距离、目标的人脸角度、目标在距离阈值范围内的停留时长等。
当从环境图像中识别到多个目标时,这里称为候选目标,为了提高判断是否需要持续唤醒的准确性,从多个候选目标中选取一个候选目标作为目标。
作为另一种可能的实现方式,当检测到多个候选目标时,从与智能设备距离最近的候选目标中选取一个候选目标作为目标。
本实施例中,可通过深度摄像头或者双目视觉摄像头或者激光雷达,获取候选目标与智能设备之间的距离。
作为一种可能的实现方式,智能设备中配置有深度摄像头,通过深度摄像头,获取候选目标的深度图。在具体实现时,可通过结构光投射器向候选目标表面投射可控制的光点、光条或光面结构,并由深度摄像头中的图像传感器获得图像,通过几何关系,利用三角原理计算得到候选目标的三维坐标,从而可以得到候选目标与智能设备之间的距离。
作为一种可能的实现方式,在智能设备中配置双目视觉摄像头,通过双目视觉摄像头,对候选目标进行拍摄。然后,计算双目视觉摄像头所拍摄图像的视差,根据视差计算候选目标与智能设备之间的距离。
图2为本发明实施例提供的双目视觉计算距离的原理示意图。图2中,在实际空间中,画出了两个摄像头所在位置Ol和Or,以及左右摄像头的光轴线,两个摄像头的焦平面,焦平面距离两个摄像头所在平面的距离为f。
如图2所示,p和p′分别是同一候选目标P在不同拍摄图像中的位置。其中,p点距离所在拍摄图像的左侧边界的距离为xl,p′点距离所在拍摄图像的左侧边界的距离为xr。Ol和Or分别为两个摄像头,这两个摄像头在同一平面,两个摄像头之间的距离为Z。
基于三角测距原理,图2中的P与两个摄像头所在平面之间的距离b,具有如下关系:
Figure BDA0001603906600000071
基于此,可以推得
Figure BDA0001603906600000072
其中,d为同一候选目标双目摄像头所拍摄图像的视觉差。由于Z、f为定值,因此,根据视觉差d可以确定出候选目标与摄像头所在平面之间的距离b,即候选目标与智能设备之间的距离。
作为再一种可能的实现方式,在智能设备中配置激光雷达,通过激光雷达向监控范围内发射激光,发射的激光遇到监控范围内的障碍物将被反射。智能设备接收监控范围内的每个障碍物返回的激光,根据返回的激光生成每个障碍物的二值图。然后,将每个二值图与环境图像进行融合,从所有二值图中识别出与候选目标对应的二值图。具体地,可以根据每个障碍物的二值图可以识别出每个障碍物的轮廓或者大小,然后将环境图像中每个目标的轮廓或者大小进行匹配,从而可以得到候选目标对应的二值图。之后,将候选目标对应的二值图的激光返回时间乘以光速,并除以2,得到候选目标与智能设备之间的距离。
在获取每个候选目标与智能设备之间的距离后,通过比较每个候选目标到智能设备的距离,选出与智能设备距离最近的候选目标,并从与智能设备距离最近的候选目标中选出一个候选目标作为目标。
可以理解的是,与智能设备距离最近的候选目标可能是一个,也可能是多个。当与智能设备距离最近的候选目标只有一个,可将该候选目标作为目标。当与智能设备距离最近的候选目标有多个时,可从多个与智能设备距离最近的候选目标中,选取一个候选目标作为目标。
以机器人为例,某公司前台放置一个机器人,当用户需要进入公司时,可以在机器人中进行信息登录,即在机器人中进行注册。或者可以从公司网站中下载注册用户的人脸图像,存储到机器人中,在公司网站中注册过的用户,同步地在机器人中进行了注册。一般在该机器人中注册过的用户,比未注册过的用户与机器人交互的交互意图更强。由此,可根据候选目标是否已注册,从多个与智能设备距离最近的候选目标中确定目标。
机器人在日常接待工作时,可以采集访客或者公司员工的人脸图像,利用采集的访客或者公司员工的人脸图像,构建一个已注册用户人脸图像库,也可以利用网站注册用户的人脸图像,构建该人脸图像库。
作为一种可能的实现方式,智能设备可在本地查询与智能设备距离最近的候选目标,是否已经注册智能设备。具体地,智能设备可预先存储已注册用户人脸图像库,人脸图像库中存储有已注册智能设备的用户人脸图像。当与智能设备距离最近的候选目标为多个时,可将与智能设备距离最近的候选目标的人脸图像,与人脸图像库中的人脸图像进行比较。
如果人脸图像库中存在一个与智能设备距离最近的候选目标的人脸图像,说明该候选目标已注册,那么将该候选目标作为目标。
如果人脸图像库中不存在与智能设备距离最近的候选目标的人脸图像,说明与智能设备距离最近的候选目标均未注册,可从与智能设备距离最近的候选目标中,随机选取一个候选目标作为目标。
如果人脸图像库中存在多个与智能设备距离最近的候选目标的人脸图像,说明有多个与智能设备距离最近的候选目标已注册,那么可将最先查询出的与智能设备距离最近的候选目标作为目标,也可从已注册且与智能设备距离最近的候选目标中,随机选取一个候选目标作为目标。
作为另一种可能的实现方式,当与智能设备距离最近的候选目标为多个时,可将所有与智能设备距离最近的候选目标的人脸图像,发送给服务器,由服务器返回查询结果至智能设备,智能设备根据比较结果确定交目标。
具体地,服务器存储有已注册用户的人脸图像库,当与智能设备距离最近的候选目标为多个时,智能设备将多个与智能设备距离最近的候选目标的人脸图像,发送至服务器。服务器接收到人脸图像,并在已注册用户人脸图像库中,查询是否存在与智能设备距离最近的候选目标的人脸图像。然后,服务器将查询结果发送给智能设备。智能设备根据查询结果,确定智能设备的交互目标,具体的确定方法可参见上述方法,在此不再赘述。
举例来说,A从机器人面前路过,并没有交互意图,而B是公司的常客,之前已经完成了注册。当A和B与机器人的距离小于距离阈值3米,且与机器人的距离相同时,机器人可选取已经完成的注册B作为目标,向B打招呼。
本实施例中,当从环境图像中检测出多个候选目标时,可从与智能设备距离最近的候选目标中选取一个候选目标作为目标,当与智能设备距离最近的候选目标有多个时,根据已注册人脸图像库,选取目标,从而使得选取的目标最可能是与智能设备有交互意图的目标。
在从多个候选目标中选取目标后,获取目标的状态参数。
本实施例中,当从环境图像中检测到多个候选目标时,从与智能设备距离最近的候选目标中选取一个候选目标作为目标,从而提高了持续唤醒的准确性。
步骤103,根据获取的状态参数,判断智能设备是否需要持续唤醒。
在获取目标的状态参数后,根据状态参数,判断是否需要持续唤醒。具体地,可为每个状态参数设置相应的条件,当所有状态参数均满足对应的条件时,可以认为智能设备满足持续唤醒条件,确定需要持续唤醒智能设备。
本实施例中,通过设置持续唤醒条件,避免智能设备持续唤醒时间太长或者太短,提高了持续唤醒的准确度。
步骤104,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。
在智能设备处于唤醒状态时,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。其中,预设时长可从判断出需要持续唤醒的时刻开始计算。
假设,从本次开始唤醒智能设备的时刻开始,在第2秒判断出需要持续唤醒智能设备,控制智能设备继续处于唤醒状态预设时长,如预设时长为4秒,则从第2秒开始计算,使智能设备继续处于唤醒状态4秒。
本实施例中,在根据目标的状态参数判断出需要持续唤醒时,使智能设备继续处于唤醒状态预设时长,智能设备的持续唤醒时长更加灵活,更加符合实际需求。
由于目标在智能设备的监控范围内可能处于移动状态,为了提高判断的准确性,在智能设备处于唤醒状态的过程中,可控制智能设备对目标进行焦点跟随。图3为本发明实施例提供的一种对目标进行焦点跟随的方法的流程示意图。
如图3所示,该对目标进行焦点跟随的方法包括:
步骤201,识别目标的人脸图像的中心点。
其中,目标的人脸图像可以是环境图像中包含目标的人脸的最小区域的图像。
本实施例中,在智能设备处于唤醒状态时,从环境图像中识别出目标后,智能设备识别目标的人脸图像的中心点。人脸图像的中心点是人脸图像的竖直中心线和水平中心线的交点。
步骤202,检测人脸图像的中心点是否在预设的图像区域内。
本实施例中,预设的图像区域可以是以环境图像的中心点为圆心,以预设尺寸画圆,得到的圆形区域。其中,预设尺寸可以是人在距离阈值处时,人脸图像的水平尺寸的一半。当然,也可以根据需要进行设置。
智能设备可每隔预设时间,如每隔0.5秒,检测人脸图像的中心点,是否在预设的图像区域内,以判断人脸图像是否在预设的图像区域内。
步骤203,如果未在图像区域内,获取人脸图像的中心点到达图像区域的中心点之间的路径。
本实施例中,如果人脸图像的中心点未在图像区域内,说明智能设备能够捕捉到的人脸画面不够完整,则获取人脸图像的中心点到图像区域的中心点之间的路径。
步骤204,根据路径控制智能设备,使人脸图像的中心点在图像区域内。
在智能设备获取到人脸图像的中心点到图像区域的中心点之间的路径后,根据路径控制智能设备,使人脸图像的中心点在图像区域内。
作为一种可能的实现方式,可以图像区域的中心点为圆心,建立直角坐标系,获取人脸图像的中心点的坐标,并计算出人脸图像的中心点与图像区域的中心点之间的距离,以及人脸图像的中心点相对水平方向的夹角。之后,控制智能设备转动相应的角度和距离。
以机器人为例,若机器人检测到人脸图像的中心点,在图像区域中心点的右侧,说明人逐渐向右移动,则控制机器人的云台、底盘向右转动,以对人进行跟随,实现注视的目的。
本发明实施例中,在智能设备处于唤醒状态时,控制智能设备对目标进行焦点跟随,可以使目标处于图像区域内,提高了判断是否需要持续唤醒的准确性。
为了更清楚说明上述实施例,下面解释当状态参数包括目标与智能设备之间的距离,以及目标的人脸角度时,智能设备的持续唤醒方法。图4为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图。
如图4所示,该智能设备的持续唤醒方法包括:
步骤301,在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像。
本实施例中,步骤301与上述实施例中的步骤101记载的内容类似,故在此不再赘述。
步骤302,对环境图像进行识别,当从环境图像中识别出目标时,获取目标与智能设备之间的距离,以及目标的人脸角度。
可以理解的是,目标与智能设备之间的距离越近,说明目标与智能设备之间存在交互意图的可能性越大,因此本实施例中,获取目标与智能设备之间的距离。其中,获取目标与智能设备之间的距离的方法,可参见上述实施例中记载的相关内容,在此不再赘述。
在实际中,当人路过机器人时,如果人转头看向机器人,或者当人脸正对机器人时,说明人对机器人的关注度较高,人存在与机器人交互的交互意图。由此,还可获取目标的人脸角度。
其中,人脸角度可以是人脸中轴线偏离图像中轴线的角度,人脸中轴线和包括水平方向的中轴线和垂直方向的中轴线,相应的图像中轴线也包括水平方向的中轴线和垂直方向的中轴线。从环境图像中可以识别出人脸水平方向中轴线和垂直方向的中轴线,分别偏离与图像的水平方向的中轴线和图像的垂直方的中轴线的角度,获取到的角度就是人脸角度。
步骤303,若目标与智能设备之间的距离小于预设的距离阈值,并且目标的人脸角度在预设的角度范围内时,确定智能设备需要持续唤醒。
本实施例中,可预先设置距离阈值和角度范围,将目标与智能设备之间的距离与距离阈值进行比较,将人脸角度与角度范围的上限值和下限值进行比较。
当目标与智能设备之间的距离小于预设的距离阈值,且目标的人脸角度在预设的角度范围内时,可以认为目标存在与智能设备交互的交互意图,确定智能设备需要持续唤醒。
假设,距离阈值为3米,角度范围为[0°,45°]。当人距离机器人的距离小于3米,且人脸角度处于[0°,45°]范围内时,可以确定智能设备需要持续唤醒。
本实施例中,通过状态参数目标与智能设备之间的距离,以及目标的人脸角度,可以判定目标是否存在与智能设备交互的意图。当存在交互意图时,可以认为需要持续唤醒,从而使智能设备的持续唤醒更加符合实际需求,使持续唤醒更加精准。
步骤304,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。
本实施例中,当智能设备需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长。其中,预设时长可从判断出需要持续唤醒的时刻开始计算。
本发明实施例的智能设备的持续唤醒方法,通过目标的状态参数目标与智能设备之间的距离,以及目标的人脸角度,判断是否需要持续唤醒,在需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长,相比持续唤醒固定时间,使智能设备的持续唤醒更加符合实际需求,更加精准。
若人一直在机器人面前,人与机器人之间的距离,和人脸角度符合上述条件,但没有输入任务指令,机器人可通过检测人的唇动,发生唇动时再次唤醒。在上述实施例的基础上,如果检测到人的唇部发生变化,也可认为人存在与智能设备交互的交互意图。由此,为了进一步提高持续唤醒的准确度,目标状态参数还可包括目标的唇部状态参数。其中,唇部的状态参数可包括唇部的弧度状态、嘴巴张开的大小。图5为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图。
如图5所示,该智能设备的持续唤醒方法包括:
步骤401,在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像。
本实施例中,步骤401与上述实施例中的步骤101记载的内容类似,故在此不再赘述。
步骤402,当从环境图像中识别出目标时,获取目标与智能设备之间的距离,目标的人脸角度,以及目标的唇部状态参数。
其中,唇部状态参数用于指示目标是否存在唇动。其中,唇部状态参数可包括嘴唇的弧度状态、嘴巴张开的大小。
本实施例中,获取目标与智能设备之间的距离,和目标的人脸角度的方法,与上述实施例中记载的方法类似,在此不再赘述。
在获取唇部状态参数时,作为一种可能的实现方式,可预先存储当嘴唇闭合时唇部的图像。从环境图像中截取目标的人脸图像,将人脸图像中唇部的图像与预先存储的唇部图像进行比较,以确定嘴唇弧度是否发生变化。当嘴唇弧度发生变化时,例如微笑时嘴角上扬,可以认为目标存在唇动。
作为另一种可能的实现方式,可从获取的环境图像中截取目标的唇部图像,以检测嘴巴是否处于张开状态。当嘴巴处于张开状态时,可以认为目标存在唇动。
步骤403,若目标与智能设备之间的距离小于预设的距离阈值,且目标的人脸角度在预设的角度范围内,以及目标存在唇动时,确定智能设备需要持续唤醒。
本实施例中,当目标与智能设备之间的距离小于预设的距离阈值,并且目标的人脸角度在预设的角度范围内,以及确定目标存在唇动时,可以认为目标存在与机器人交互的意图,确定智能设备需要持续唤醒。
在目标与智能设备之间的距离,以及目标的人脸角度的状态参数的基础上,增加了目标是否存在唇动这一条件,从而进一步提高了持续唤醒的准确度。
步骤404,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。
本实施例中,当智能设备需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长。其中,预设时长可从判断出需要持续唤醒的时刻开始计算。
本发明实施例的智能设备的持续唤醒方法,通过根据目标与智能设备之间的距离,目标的人脸角度,以及目标是否存在唇动,这三个条件,判断是否需要持续唤醒,在需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长,进一步提高了智能设备持续唤醒的准确度。
由于人在距离智能设备较近的范围内,停留的时间越长,可以认为人存在与智能设备交互的意愿越强。由此,在图4所示实施例的基础上,还可将目标在距离阈值范围内的停留时长作为状态参数。图6为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图。
步骤501,在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像。
本实施例中,步骤501与上述实施例中的步骤101记载的内容类似,故在此不再赘述。
步骤502,当从环境图像中识别出目标时,获取目标与智能设备之间的距离,目标的人脸角度,以及目标在距离阈值范围内的停留时长。
本实施例中,获取目标与智能设备之间的距离,和目标的人脸角度的方法,与上述实施例中记载的方法类似,在此不再赘述。
由于当目标与智能设备之间的距离较远时,目标可能不存在与智能设备交互的交互意图,或者距离较近,但目标的停留时间较短也可能不存在与智能设备交互的交互意图。
为了进一步提高持续唤醒的准确度,还可获取目标在距离阈值范围内的停留时长。具体地,从首次检测到目标处于距离范围内开始,统计目标处于距离范围内的时长。
步骤503,若目标与智能设备之间的距离小于预设的距离阈值,且目标的人脸角度在预设的角度范围内,以及目标在距离阈值范围内的停留时长达到预设的时长阈值时,确定智能设备需要持续唤醒。
本实施例中,将目标与智能设备之间的距离与距离阈值进行比较,将人脸角度与角度范围的上限值和下限值进行比较,以及将停留时长与预设的时长阈值进行比较。
当目标与智能设备之间的距离小于预设的距离阈值,并且目标的人脸角度在预设的角度范围内,以及目标在距离阈值范围内的停留时长达到时长阈值时,可以认为目标存在与机器人交互的交互意图,确定智能设备需要持续唤醒。
假设,距离阈值为3米,角度范围为[0°,45°],时长阈值为3秒。当人距离机器人的距离小于3米,且人脸角度处于[0°,45°]范围内,以及人在小于3米的范围内的停留时长大于3秒时,可以确定智能设备需要持续唤醒。
在目标与智能设备之间的距离,以及目标的人脸角度的状态参数的基础上,增加了目标在距离阈值范围内的停留时长是否达到预设的时长阈值,这一条件,从而进一步提高了持续唤醒的准确度,使持续唤醒更加精准。
步骤504,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。
本实施例中,当智能设备需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长。其中,预设时长可从判断出需要持续唤醒的时刻开始计算。
本发明实施例的智能设备的持续唤醒方法,通过根据目标与智能设备之间的距离,目标的人脸角度,以及目标在距离阈值范围内的停留时长是否达到时长阈值,这三个条件,判断是否需要持续唤醒,在需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长,进一步提高了智能设备持续唤醒的准确度。
在实际应用中,智能设备可以通过人语音输入的唤醒词唤醒,这时智能设备可转向声源方向。图7为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图。
在获取智能设备监控范围内的环境图像之前,如图7所示,该智能设备的持续唤醒方法还可包括:
步骤601,确定唤醒词语音的声源方向。
本实施例中,智能设备上配置有麦克风阵列,可通麦克风阵列实时采集环境中的语音信息。当语音信息中存在预设的唤醒词时,基于麦克风阵列中每路麦克风采集的唤醒词语音,对唤醒词语音的声源进行定位,确定唤醒词语音的声源方向。
步骤602,控制智能设备转向声源方向。
在确定唤醒词语音的声源方向后,可控制智能设备转向声源方向。以机器人为例,在确定声源方法后,控制云台和底盘转向声源方向。
在转向声源方向后,获取环境图像,并对环境图像进行识别。在识别到目标后,获取目标的状态参数,通过目标的状态参数,判断智能设备是否需要持续唤醒。在智能设备需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长。其中,可利用上述实施例中记载的三种方法,确定智能设备是否需要持续唤醒。
本发明实施例的智能设备的持续唤醒方法,如果智能设备是通过唤醒词唤醒的,可以对唤醒词语音的声源方向进行定位,使智能设备转向声源方向,从而使智能设备快速找到可能存在交互意图的目标,以进一步根据目标的状态参数,判断智能设备是否需要持续唤醒,进一步提高了智能设备的持续唤醒准确度。
在实际应用中,人可能一直处于距离阈值范围内,但是一直未与机器人交互。智能设备根据人的状态参数,在较长时间内,均判断出智能设备需要持续唤醒。如果持续唤醒的话,可能会造成智能设备电量的浪费。本发明实施例提出统计唤醒状态的累计时长,当累计时长大于时长阈值时,结束唤醒。图8为本发明实施例提供的另一种智能设备的持续唤醒方法的流程示意图。
如图8所示,该智能设备的持续唤醒方法还包括:
步骤701,在智能设备处于唤醒状态时,统计智能设备从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长。
本实施例中,统计智能设备由休眠状态到被唤醒状态,进入唤醒状态的时刻开始,到当前时刻的本次唤醒状态的累计时长。
可设置一个时长阈值,每隔预设时长,如0.2秒,将本次唤醒状态的累计时长与时长阈值进行比较,以确定本次唤醒状态累计时长是否超出时长阈值。
步骤702,如果本次唤醒状态累计时长未超出时长阈值,则继续获取环境图像进行持续唤醒的判断过程。
当本次唤醒状态累计时长未超出时长阈值,可继续获取环境图像,对唤醒图像进行识别,当识别到目标时,获取目标的状态参数。也就是,继续执行步骤101-步骤104。
步骤703,如果本次唤醒状态累计时长超出时长阈值,则结束智能设备的唤醒状态。
假设,时长阈值为1分钟,当本次唤醒状态累计时长大于1分钟时,可结束唤醒状态,使智能设备由唤醒状态切换为休眠状态。当本次唤醒状态累计时长小于1分钟时,可继续获取环境图像进行持续唤醒的判断过程。
本实施例中,通过判断唤醒状态累计时长是否超过时长阈值,可以避免智能设备一直处于持续唤醒状态,使持续唤醒更加精准。
目前,通过唤醒词或者基于人脸检测唤醒智能设备后,可控制智能设备持续唤醒固定时长。但是,在固定时长结束后,需要用户再次语音输入唤醒词,操作繁琐,增加了使用成本。而基于人脸检测唤醒智能设备,往往存在误唤醒的情况。
在上述实施例的基础上,本发明实施例还提出,在本次唤醒状态累计时长超出时长阈值,结束智能设备的唤醒状态后,可对目标进行焦点跟随,以在满足唤醒条件时,自主唤醒智能设备。
具体地,在结束智能设备的唤醒状态后,如图8所示,该智能设备的持续唤醒方法还包括:
步骤704,控制智能设备对目标进行焦点跟随。
本实施例中,对目标进行跟随的方法,可参见图2所示的实施例,在此不再赘述。
步骤705,如果在焦点跟随的过程中,识别到目标发生指定的动作,则控制智能设备重新进入唤醒状态预设时长;其中,指定的动作用于指示目标存在交互意图。
作为一个示例,当目标在距离阈值范围内逐渐靠近智能设备时,可以认为目标有交互意图。具体地,在目标在距离阈值范围内时,获取当前目标与智能设备之间的第一距离,在预设时间后获取目标与智能设备之间的第二距离。如果第一距离大于第二距离,说明目标在逐渐靠近智能设备,可以认为识别到目标发生了存在交互意图的指定的动作,即满足唤醒条件。
在实际生活中,当人看到机器人时,人可能会与机器人主动招呼“你好”,或者“请问”等,与机器人进行交流。这时,可以认为人存在与机器人交互的交互意图。
作为另一个示例,智能设备可采集环境中的语音信息,从语音信息中提取关键字,并与预设的关键字进行匹配。其中,关键字可包括打招呼、询问常用的关键字,如“你好”、“机器人”、“请问”等。当语音信息中存在预设的关键字时,可以认为目标存在交互意图,确定识别到目标发生了指定的动作。
作为再一个示例,若智能设备根据连续采集的两张或多张环境图像,分析出目标摆出打招呼的手势,或者微笑的姿势,可以认为目标存在交互意图,确定识别到目标发生了指定的动作。
需要说明的是,其他用于指示目标存在交互意图的指定的动作,也包含的本发明的保护范围内。
如果在焦点跟随的过程中,识别到目标发生指定的动作,那么唤醒智能设备,并控制智能设备重新进入唤醒状态预设时长。例如,预设时长为4秒,则控制智能设备持续唤醒4秒。
本发明实施例的智能设备的持续唤醒方法,通过在智能设备处于休眠状态时,对目标进行焦点跟随的过程中,在识别到目标发生存在交互意图的指定的动作时,自主唤醒智能设备,使智能设备持续唤醒预设时长,减少了用户的唤醒操作,而且是在确定目标存在交互意图时,唤醒智能设备,相比基于人脸检测唤醒智能设备,使智能设备的唤醒更加精准,减少了智能设备的误唤醒。
由于在智能设备处于唤醒状态下,可能会接收到任务指令。其中,任务指令可以是远程控制指令、接收的用户的操作指令。在任务指令执行完,可能用户还想进行交互,如果直接结束唤醒状态,可能会影响用户的使用。
基于此,在上述实施例的基础上,在智能设备处于唤醒状态时,当智能设备接收到任务指令时,可根据任务指令,执行相应的操作。当任务指令完成后,本次唤醒状态累计时长清零,控制智能设备重新进入唤醒状态预设时长。也就是说,在智能设备完成任务指令后,从重新进入唤醒状态的时刻开始统计唤醒状态累计时长。
例如,在机器人处于唤醒状态时,接收到接待客户的任务指令后,接待、引导客户至指定区域。在完成接待任务指令后,智能设备重新进入唤醒状态4秒。
本发明实施例的智能设备的持续唤醒方法,在智能设备处于唤醒状态时,可接收任务指令,在任务指令执行完后,使智能设备重新进入唤醒状态预设时长,以避免在执行完任务指令后,直接进行入休眠状态,影响目标与智能设备交互。
在上述实施例的基础上,在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像之前,智能设备处于休眠状态。在唤醒智能设备时,可通过唤醒指令唤醒智能设备,根据唤醒指令,唤醒所述智能设备。
作为一个示例,智能设备采集到唤醒词语音后,生成唤醒指令,根据唤醒指令唤醒智能设备,使智能设备处于唤醒状态。
作为另一个示例,智能设备上配置有唤醒按钮。当智能设备检测到唤醒被按下的操作时,生成唤醒指令,根据唤醒指令,唤醒智能设备,使智能设备处于唤醒状态。
本实施例中,还可根据智能设备在唤醒前获取的环境图像,确定满足唤醒条件时,唤醒智能设备。具体地,在智能设备处于休眠状态时,采集环境图像,根据环境图像,识别出目标。根据目标的状态参数,确定是否满足唤醒条件。具体地,可利用将上述实施例中,判断智能设备是否需要持续唤醒的方法,进行判断。
在确定满足唤醒条件时,唤醒智能设备,使智能设备由休眠状态转换为唤醒状态,之后根据唤醒状态时,采集的环境图像,进行持续唤醒的判断。
本发明实施例的智能设备的持续唤醒方法,通过在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数,根据获取的状态参数,判断智能设备是否需要持续唤醒,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。本实施例中,在智能设备唤醒时,不是使智能设备持续唤醒固定时长,而是考虑了目标的状态参数,根据状态参数,判断是否需要持续唤醒,在确定需要唤醒时,使智能设备继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
为了实现上述实施例,本发明实施例还提出一种智能设备的持续唤醒装置。图9为本发明实施例提供的一种智能设备的持续唤醒装置的结构示意图。
如图9所示,该智能设备的持续唤醒装置包括:第一获取模块810、第二获取模块820、判断模块830、第一控制模块840。
第一获取模块810用于在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像。
第二获取模块820用于对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数。
判断模块830用于根据获取的状态参数,判断智能设备是否需要持续唤醒。
第一控制模块840用于在判断出智能设备需要持续唤醒时,控制智能设备继续处于唤醒状态预设时长。
在本实施例一种可能的实现方式中,该装置还包括:
第二控制模块,用于在智能设备处于唤醒状态时,控制智能设备对目标进行焦点跟随。
在本实施例一种可能的实现方式中,目标的状态参数包括:目标与智能设备之间的距离,以及目标的人脸角度;判断模块830还用于:
在目标与智能设备之间的距离小于预设的距离阈值,并且目标的人脸角度在预设的角度范围内时,确定智能设备需要持续唤醒。
在本实施例一种可能的实现方式中,目标的状态参数还包括:目标的唇部状态参数;
判断模块830用于在确定智能设备需要持续唤醒之前,确定目标的唇部状态参数指示目标存在唇动。
在本实施例一种可能的实现方式中,目标的状态参数还包括:目标在所述距离阈值范围内的停留时长;
判断模块830,还用于在确定智能设备需要持续唤醒之前,确定目标在距离阈值范围内的停留时长达到预设的时长阈值。
在本实施例一种可能的实现方式中,若智能设备是通过唤醒词语音被唤醒的,该装置还包括:
确定模块,用于在获取智能设备监控范围内的环境图像之前,确定唤醒词语音的声源方向;
第三控制模块,用于控制智能设备转向声源方向。
在本实施例一种可能的实现方式中,该装置还包括:
统计模块,用于统计智能设备从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长;
第一控制模块840,还用于在本次唤醒状态累计时长超出时长阈值时,结束智能设备的唤醒状态;
第一获取模块810用于在本次唤醒状态累计时长未超出时长阈值时,继续获取环境图像进行持续唤醒的判断过程。
在本实施例一种可能的实现方式中,该装置还包括:
第二控制模块,还用于在结束智能设备的唤醒状态之后,目标进行焦点跟随;
第一控制模块840,还用于在焦点跟随的过程中,识别到目标发生指定的动作时,控制智能设备重新进入唤醒状态预设时长;其中,指定的动作用于指示目标存在交互意图。
在本实施例一种可能的实现方式中,该装置还包括:
执行模块,用于在智能设备处于唤醒状态时,当接收到任务指令时,执行任务指令;
第一控制模块840,还用于当任务指令执行完成后,控制智能设备重新进入唤醒状态预设时长。
在本实施例一种可能的实现方式中,该装置还包括:
唤醒模块,用于在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像之前,接收唤醒指令,根据唤醒指令,唤醒智能设备;或者,根据唤醒前获取的环境图像,确定满足唤醒条件,则唤醒智能设备。
需要说明的是,前述对智能设备的持续唤醒方法实施例的解释说明,也适用于本实施例的智能设备的持续唤醒装置,故在此不再赘述。
本发明实施例的智能设备的持续唤醒装置,通过在智能设备处于唤醒状态时,获取智能设备监控范围内的环境图像,对环境图像进行识别,当从环境图像中识别出目标时,获取目标的状态参数,根据获取的状态参数,判断智能设备是否需要持续唤醒,如果判断出智能设备需要持续唤醒,则控制智能设备继续处于唤醒状态预设时长。本实施例中,在智能设备唤醒时,不是使智能设备持续唤醒固定时长,而是考虑了目标的状态参数,根据状态参数,判断是否需要持续唤醒,在确定需要唤醒时,使智能设备继续处于唤醒状态预设时长,从而使智能设备的持续唤醒时长更加灵活,持续唤醒更加精准。
为了实现上述实施例,本发明实施例还提出一种智能设备。图10为本发明智能设备一个实施例的结构示意图。
如图10所示,该智能设备包括:壳体910、处理器920、存储器930、电路板940和电源电路950,其中,电路板940安置在壳体910围成的空间内部,处理器920和存储器930设置在电路板940上;电源电路950,用于为上述智能设备的各个电路或器件供电;存储器930用于存储可执行程序代码;处理器920通过读取存储器930中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行上述实施例所述的智能设备的持续唤醒方法。
为了实现上述实施例,本发明实施例还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所述的智能设备的持续唤醒方法。
为了实现上述实施例,本发明实施例还提出一种计算机程序产品,当计算机程序产品中的指令由处理器执行时实现如上述实施例所述的智能设备的持续唤醒方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种机器人的持续唤醒方法,其特征在于,包括以下步骤:
在机器人处于唤醒状态时,获取所述机器人监控范围内的环境图像;
对所述环境图像进行识别,当从所述环境图像中识别出目标时,控制所述机器人对所述目标进行焦点跟随以使所述目标的人脸图像的中心点在预设的图像区域内;
在所述机器人对所述目标进行焦点跟随过程中,获取所述目标的状态参数,所述目标的状态参数包括:所述目标与所述机器人之间的距离,以及所述目标的人脸角度;
根据获取的所述状态参数,判断所述机器人是否需要持续唤醒,所述根据所述状态参数,判断所述机器人是否需要持续唤醒包括:若所述目标与所述机器人之间的距离小于预设的距离阈值,并且所述目标的人脸角度在预设的角度范围内时,确定所述机器人需要持续唤醒;
如果判断出所述机器人需要持续唤醒,则控制所述机器人继续处于唤醒状态预设时长。
2.根据权利要求1所述的方法,其特征在于,所述目标的状态参数还包括:所述目标的唇部状态参数;
在确定所述机器人需要持续唤醒之前,还包括:
确定所述目标的唇部状态参数指示所述目标存在唇动。
3.根据权利要求1所述的方法,其特征在于,所述目标的状态参数还包括:所述目标在所述距离阈值范围内的停留时长;
在确定所述机器人需要持续唤醒之前,还包括:
确定所述目标在所述距离阈值范围内的停留时长达到预设的时长阈值。
4.根据权利要求1所述的方法,其特征在于,若所述机器人是通过唤醒词语音被唤醒的,在获取所述机器人监控范围内的环境图像之前,还包括:
确定所述唤醒词语音的声源方向;
控制所述机器人转向所述声源方向。
5.根据权利要求1所述的方法,其特征在于,还包括:
统计所述机器人从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长;
如果所述本次唤醒状态累计时长超出时长阈值,则结束所述机器人的唤醒状态;
如果所述本次唤醒状态累计时长未超出所述时长阈值,则继续获取环境图像进行持续唤醒的判断过程。
6.根据权利要求5所述的方法,其特征在于,所述结束所述机器人的唤醒状态之后,还包括:
控制所述机器人对所述目标进行焦点跟随;
如果在焦点跟随的过程中,识别到所述目标发生指定的动作,则控制所述机器人重新进入唤醒状态预设时长;其中,所述指定的动作用于指示所述目标存在交互意图。
7.根据权利要求1所述的方法,其特征在于,在所述机器人处于唤醒状态时,还包括:
当接收到任务指令时,执行所述任务指令;
当所述任务指令执行完成后,控制所述机器人重新进入唤醒状态预设时长。
8.根据权利要求1所述的方法,其特征在于,所述在机器人处于唤醒状态时,获取所述机器人监控范围内的环境图像之前,还包括:
接收唤醒指令,根据所述唤醒指令,唤醒所述机器人;或者,
根据唤醒前获取的环境图像,确定满足唤醒条件,则唤醒所述机器人。
9.一种机器人的持续唤醒装置,其特征在于,包括:
第一获取模块,用于在机器人处于唤醒状态时,获取所述机器人监控范围内的环境图像;
第二获取模块,用于对所述环境图像进行识别,当从所述环境图像中识别出目标时,控制所述机器人对所述目标进行焦点跟随以使所述目标的人脸图像的中心点在预设的图像区域内;在所述机器人对所述目标进行焦点跟随过程中,获取所述目标的状态参数,所述目标的状态参数包括:所述目标与所述机器人之间的距离,以及所述目标的人脸角度;
判断模块,用于根据获取的所述状态参数,判断所述机器人是否需要持续唤醒,所述判断模块还用于:在所述目标与所述机器人之间的距离小于预设的距离阈值,并且所述目标的人脸角度在预设的角度范围内时,确定所述机器人需要持续唤醒;
第一控制模块,用于在判断出所述机器人需要持续唤醒时,控制所述机器人继续处于唤醒状态预设时长。
10.根据权利要求9所述的装置,其特征在于,所述目标的状态参数还包括:所述目标的唇部状态参数;
所述判断模块,用于在确定所述机器人需要持续唤醒之前,确定所述目标的唇部状态参数指示所述目标存在唇动。
11.根据权利要求9所述的装置,其特征在于,所述目标的状态参数还包括:所述目标在所述距离阈值范围内的停留时长;
所述判断模块,还用于在确定所述机器人需要持续唤醒之前,确定所述目标在所述距离阈值范围内的停留时长达到预设的时长阈值。
12.根据权利要求9所述的装置,其特征在于,若所述机器人是通过唤醒词语音被唤醒的,还包括:
确定模块,用于在获取所述机器人监控范围内的环境图像之前,确定所述唤醒词语音的声源方向;
第三控制模块,用于控制所述机器人转向所述声源方向。
13.根据权利要求9所述的装置,其特征在于,还包括:
统计模块,用于统计所述机器人从本次进入唤醒状态时刻,到当前时刻的本次唤醒状态累计时长;
所述第一控制模块,还用于在所述本次唤醒状态累计时长超出时长阈值时,结束所述机器人的唤醒状态;
所述第一获取模块,用于在所述本次唤醒状态累计时长未超出所述时长阈值时,继续获取环境图像进行持续唤醒的判断过程。
14.根据权利要求13所述的装置,其特征在于,还包括:
第二控制模块,还用于在所述结束所述机器人的唤醒状态之后,所述目标进行焦点跟随;
所述第一控制模块,还用于在焦点跟随的过程中,识别到目标发生指定的动作时,控制所述机器人重新进入唤醒状态预设时长;其中,所述指定的动作用于指示所述目标存在交互意图。
15.根据权利要求9所述的装置,其特征在于,还包括:
执行模块,用于在所述机器人处于唤醒状态时,当接收到任务指令时,执行所述任务指令;
所述第一控制模块,还用于当所述任务指令执行完成后,控制所述机器人重新进入唤醒状态预设时长。
16.根据权利要求9所述的装置,其特征在于,还包括:
唤醒模块,用于在机器人处于唤醒状态时,获取机器人监控范围内的环境图像之前,接收唤醒指令,根据所述唤醒指令,唤醒所述机器人;或者,根据唤醒前获取的环境图像,确定满足唤醒条件,则唤醒所述机器人。
17.一种机器人,其特征在于,包括:壳体、处理器、存储器、电路板和电源电路,其中,所述电路板安置在所述壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为上述机器人的各个电路或器件供电;所述存储器用于存储可执行程序代码;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-8中任一所述的机器人的持续唤醒方法。
18.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的机器人的持续唤醒方法。
CN201810235797.1A 2018-03-21 2018-03-21 智能设备的持续唤醒方法、装置、智能设备和存储介质 Active CN108733419B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810235797.1A CN108733419B (zh) 2018-03-21 2018-03-21 智能设备的持续唤醒方法、装置、智能设备和存储介质
PCT/CN2019/078749 WO2019179443A1 (zh) 2018-03-21 2019-03-19 智能设备的持续唤醒方法、装置、智能设备和存储介质
TW108109814A TWI714989B (zh) 2018-03-21 2019-03-21 智慧型裝置的持續喚醒方法、裝置、智慧型裝置和儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235797.1A CN108733419B (zh) 2018-03-21 2018-03-21 智能设备的持续唤醒方法、装置、智能设备和存储介质

Publications (2)

Publication Number Publication Date
CN108733419A CN108733419A (zh) 2018-11-02
CN108733419B true CN108733419B (zh) 2021-04-27

Family

ID=63940868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235797.1A Active CN108733419B (zh) 2018-03-21 2018-03-21 智能设备的持续唤醒方法、装置、智能设备和存储介质

Country Status (3)

Country Link
CN (1) CN108733419B (zh)
TW (1) TWI714989B (zh)
WO (1) WO2019179443A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733419B (zh) * 2018-03-21 2021-04-27 北京猎户星空科技有限公司 智能设备的持续唤醒方法、装置、智能设备和存储介质
CN109710326B (zh) * 2018-12-30 2021-07-20 北京猎户星空科技有限公司 一种机器人的唤醒方法、装置、设备及介质
CN110032316A (zh) * 2019-03-29 2019-07-19 五邑大学 一种智能挂钟的交互方法、装置和存储介质
CN109920424A (zh) * 2019-04-03 2019-06-21 北京石头世纪科技股份有限公司 机器人语音控制方法、装置、机器人和介质
CN110187921A (zh) * 2019-04-23 2019-08-30 阿里巴巴集团控股有限公司 唤醒设备的方法及装置
CN112204490B (zh) * 2019-07-05 2024-05-10 深圳市大疆创新科技有限公司 可移动平台及其控制方法、装置、底盘、云台和控制设备
CN110555928A (zh) * 2019-08-15 2019-12-10 创新奇智(成都)科技有限公司 一种基于人脸识别的智慧商店门禁方法及其结算方法
TW202205053A (zh) * 2020-07-27 2022-02-01 虹光精密工業股份有限公司 具有智慧化休眠喚醒功能的事務機及其控制方法
CN112130918B (zh) * 2020-09-25 2024-07-23 深圳市欧瑞博科技股份有限公司 智能设备唤醒方法、装置、系统及智能设备
CN115113532A (zh) * 2021-03-18 2022-09-27 云米互联科技(广东)有限公司 基于智能家电设备的设备监测方法及装置
CN114463903A (zh) * 2021-12-17 2022-05-10 广州新科佳都科技有限公司 一种售票机交互方法、装置、售票终端以及存储介质
CN114779916B (zh) * 2022-03-29 2024-06-11 杭州海康威视数字技术股份有限公司 一种电子设备屏幕唤醒方法、门禁管理方法及装置
CN114785954A (zh) * 2022-04-27 2022-07-22 深圳影目科技有限公司 处理器唤醒方法以及装置、系统、存储介质、ar眼镜
TWI847657B (zh) * 2023-04-21 2024-07-01 瑞昱半導體股份有限公司 設定目標喚醒時間的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子(惠州)有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324276A (zh) * 2012-03-22 2013-09-25 华为终端有限公司 一种控制待机操作的方法及装置
CN104239079A (zh) * 2013-06-17 2014-12-24 鸿富锦精密工业(武汉)有限公司 电子装置操作系统自动唤醒方法及系统
CN104461717B (zh) * 2013-09-18 2019-01-22 联想(北京)有限公司 一种信息处理方法及电子设备
JP6346581B2 (ja) * 2015-03-20 2018-06-20 シャープ株式会社 省電力機能を有する電子機器
CN106292732A (zh) * 2015-06-10 2017-01-04 上海元趣信息技术有限公司 基于声源定位和人脸检测的智能机器人转动方法
CN105204628A (zh) * 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
CN106897713A (zh) * 2017-03-13 2017-06-27 宇龙计算机通信科技(深圳)有限公司 一种唤醒移动终端屏幕的方法及移动终端
CN107144819B (zh) * 2017-04-10 2019-11-26 易视星空科技无锡有限公司 一种声源定位方法、装置及电子设备
CN108733419B (zh) * 2018-03-21 2021-04-27 北京猎户星空科技有限公司 智能设备的持续唤醒方法、装置、智能设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置
CN107679506A (zh) * 2017-10-12 2018-02-09 Tcl通力电子(惠州)有限公司 智能产品的唤醒方法、智能产品及计算机可读存储介质

Also Published As

Publication number Publication date
TWI714989B (zh) 2021-01-01
CN108733419A (zh) 2018-11-02
TW201941643A (zh) 2019-10-16
WO2019179443A1 (zh) 2019-09-26

Similar Documents

Publication Publication Date Title
CN108733419B (zh) 智能设备的持续唤醒方法、装置、智能设备和存储介质
CN108733420B (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
US11257223B2 (en) Systems and methods for user detection, identification, and localization within a defined space
WO2019179442A1 (zh) 智能设备的交互目标确定方法和装置
WO2019179441A1 (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109034013B (zh) 一种人脸图像识别方法、装置及存储介质
WO2019144541A1 (zh) 一种清洁机器人
EP3579086B1 (en) Screen light method, device, mobile terminal, and storage medium
US10936880B2 (en) Surveillance
JP2021522564A (ja) 非制約環境において人間の視線及びジェスチャを検出するシステムと方法
CN110032982B (zh) 机器人引路方法、装置、机器人和存储介质
CN108985225A (zh) 焦点跟随方法、装置、电子设备及存储介质
CN108733417A (zh) 智能设备的工作模式选择方法和装置
CN113116224A (zh) 机器人及其控制方法
WO2019030532A1 (en) ROBOTS, METHODS, COMPUTER PROGRAMS, COMPUTER-READABLE MEDIA, MICROPHONE NETWORKS, AND CONTROL DEVICES
US10540542B2 (en) Monitoring
CN112634895A (zh) 语音交互免唤醒方法和装置
CN115088244A (zh) 用于基于来自单目相机的数据进行定位的深度传感器激活
CN108108709B (zh) 一种识别方法及装置、计算机存储介质
CN110026982B (zh) 机器人伺服系统
EP4220088B1 (en) Localization using sensors that are tranportable with a device
CN115494933A (zh) 电子设备的模式切换方法、设备及介质
CN115705064A (zh) 足式机器人的跟随控制方法、装置及机器人
CN108833766A (zh) 智能设备的控制方法、装置、智能设备及存储介质
CN115500740A (zh) 清洁机器人及清洁机器人控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant