CN108733280A - 智能设备的焦点跟随方法、装置、智能设备及存储介质 - Google Patents

智能设备的焦点跟随方法、装置、智能设备及存储介质 Download PDF

Info

Publication number
CN108733280A
CN108733280A CN201810236920.1A CN201810236920A CN108733280A CN 108733280 A CN108733280 A CN 108733280A CN 201810236920 A CN201810236920 A CN 201810236920A CN 108733280 A CN108733280 A CN 108733280A
Authority
CN
China
Prior art keywords
smart machine
human body
key point
focus
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810236920.1A
Other languages
English (en)
Inventor
周子傲
谢长武
王雪松
马健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201810236920.1A priority Critical patent/CN108733280A/zh
Publication of CN108733280A publication Critical patent/CN108733280A/zh
Priority to PCT/CN2019/078747 priority patent/WO2019179441A1/zh
Priority to TW108109650A priority patent/TWI705382B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

本发明提出一种智能设备的焦点跟随方法、装置、智能设备及存储介质，其中，方法包括：从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制智能设备对人脸中心点进行焦点跟随；如果从环境图像中未检测到人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制所智能设备对人体中心点进行焦点跟随。由此，该方法解决了因检测不到人脸关键点导致无法保持焦点跟随的技术问题，以人体关键点作为焦点补足，避免了焦点的丢失或漏检，提高了焦点跟随的成功率和准确性。

Description

智能设备的焦点跟随方法、装置、智能设备及存储介质
技术领域
本发明涉及智能设备技术领域，尤其涉及一种智能设备的焦点跟随方法、装置、智能设备及存储介质。
背景技术
随着人工智能技术的发展，智能设备与用户交互的方式越来越丰富，其中，智能设备可以通过焦点跟随的方法跟随用户移动，达到智能设备关注用户行为的效果。
相关技术中，智能设备采用人脸识别技术，采集用户的人脸中心点，计算用户人脸中心点与采集到的图像中心位置的距离，并控制智能设备转动使用户面部位于图像中心位置。然而，通过上述方法进行焦点跟随，在用户低头、转身或存在障碍物遮挡面部时，智能设备无法通过人脸识别采集用户的人脸中心点，从而造成跟随过程中的焦点丢失。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种智能设备的焦点跟随方法。该方法以人体关键点作为焦点补足，当智能设备未检测到人脸关键点时，从采集到的图像中检测人体关键点作为跟随的焦点，避免用户在低头和转头等情况下造成焦点丢失，提高了焦点跟随的成功率和准确性。
本发明的第二个目的在于提出一种智能设备的焦点跟随装置。
本发明的第三个目的在于提出一种智能设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种智能设备的焦点跟随方法，包括：
从智能设备采集的环境图像中检测目标用户的人脸关键点，根据所述人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随；
如果从所述环境图像中未检测到所述人脸关键点，则从所述环境图像中检测所述目标用户的人体关键点，根据所述人体关键点确定人体中心点，并控制所述智能设备对所述人体中心点进行焦点跟随。
本发明实施例的智能设备的焦点跟随方法，首先从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随，如果从环境图像中未检测到人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制智能设备对人体中心点进行焦点跟随。由此，该方法解决了因检测不到人脸关键点导致无法保持焦点跟随的技术问题，以人体关键点作为焦点补足，当智能设备未检测到人脸关键点时，从采集到的图像中检测人体关键点作为跟随的焦点，避免用户在低头和转头等情况下造成焦点丢失，提高了焦点跟随的成功率和准确性。
另外，根据本发明上述实施例的智能设备的焦点跟随方法，还可以具有如下附加的技术特征：
在本发明一个实施例中，从智能设备采集的环境图像中识别目标用户的人脸关键点之前，还包括：识别所述智能设备所采集的环境图像的中心点，以所述环境图像的中心点为基准点，生成一个圆形用于焦点跟随的图像区域。
在本发明一个实施例中，进行焦点跟随，包括：定时判断检测出的所述人脸中心点或者人体中心点是否处于所述图像区域内；当所述人脸中心点或者人体中心点未处于所述图像区域内时，获取所述人脸中心点或者人体中心点与所述图像区域中心点之间的最短路径；根据所述最短路径，获取用于控制智能设备移动的控制信息；控制所述智能设备按照所述控制信息移动，使得检测到的所述人脸中心点或者人体中心点落入所述图像区域内。
在本发明一个实施例中，从智能设备采集的环境图像中检测目标用户的人脸关键点，根据所述人脸关键点确定人脸中心点，包括：根据预设的头部特征，从所述环境图像中识别所述目标用户的头部区域；从所述头部区域提取所述人脸关键点；如果提取出的所述人脸关键点为一个，将所述人脸关键点作为所述人脸中心点；如果提取出的所述人脸关键点为两个以及两个以上，获取提取出的所有的所述人脸关键点的第一中心点，将所述第一中心点作为所述人脸中心点。
在本发明一个实施例中，获取提取出的所有的所述人脸关键点的第一中心点，包括：将每个人脸关键点作为节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形；获取所述关键点图形的中心点，将所述关键点图形的中心点，确定为所述第一中心点。
在本发明一个实施例中，从采集的环境图像中检测所述目标用户的人体关键点，包括：从采集的位于所述头部区域下方的人体区域进行识别；当识别到所述人体区域后，控制所述智能设备的云台摄像头的摄像角度向所述头部区域所在方向移动；在所述摄像角度移动后，拍摄获取环境图像；判断所述环境图像中是否包括所述头部区域；如果所述环境图像中包括所述头部区域，则从所述头部区域识别所述人脸关键点；如果所述环境图像中未包括所述头部区域，则从所述环境图像中检测所述目标用户的人体关键点。
在本发明一个实施例中，从智能设备采集的环境图像中检测目标用户的人脸关键点之前，还包括：对所述环境图像进行人体识别；当从所述环境图像中识别出多个人体时，获取每个人体与智能设备之间的距离；选取与所述智能设备距离最近的人体作为所述目标用户对应的人体
在本发明一个实施例中，选取距离所述智能设备最近的人体作为所述目标用户对应的人体，包括：当与所述智能设备距离最近的人体为多个时，查询所述智能设备的已注册用户人脸图像库中是否存在所述与所述智能设备距离最近的人体对应的人脸图像；如果所述人脸图像库中存在一个与所述智能设备距离最近的人体对应的人脸图像，则将所述一个与所述智能设备距离最近的人体作为所述目标用户对应的人体；如果所述人脸图像库中不存在所有与所述智能设备距离最近的人体对应的人脸图像，则随机选取一个与所述智能设备距离最近的人体作为所述目标用户对应的人体；如果所述人脸图像库中存在多个与所述智能设备距离最近的人体对应的人脸图像，则将最先查询出的与所述智能设备距离最近的人体作为所述目标用户对应的人体。
为达上述目的，本发明第二方面实施例提出了一种智能设备的焦点跟随装置，包括：
检测模块，用于从智能设备采集的环境图像中检测目标用户的人脸关键点，以及在从所述环境图像中未检测到所述人脸关键点时，从所述环境图像中检测所述目标用户的人体关键点；
确定模块，用于根据所述人脸关键点确定人脸中心点，以及在检测到人体关键点时，根据所述人体关键点确定人体中心点；
控制模块，用于控制所述智能设备对所述人脸中心点进行焦点跟随，以及在确定出所述人体中心点时，控制所述智能设备对所述人体中心点进行焦点跟随。
另外，根据本发明上述实施例的智能设备的焦点跟随装置，还可以具有如下附加的技术特征：
在本发明一个实施例中，上述实施例的智能设备的焦点跟随装置还包括：生成模块，用于在从所述智能设备采集的所述环境图像中识别所述目标用户的人脸关键点之前，识别所述智能设备所采集的环境图像的中心点，以所述环境图像的中心点为基准点，生成一个圆形用于焦点跟随的图像区域。
在本发明一个实施例中，控制模块，具体用于：定时判断检测出的所述人脸中心点或者人体中心点是否处于所述图像区域内；当所述人脸中心点或者人体中心点未处于所述图像区域内时，获取所述人脸中心点或者人体中心点与所述图像区域中心点之间的最短路径；根据所述最短路径，获取用于控制智能设备移动的控制信息；控制所述智能设备按照所述控制信息移动，使得检测到的所述人脸中心点或者人体中心点落入所述图像区域内。
在本发明一个实施例中，检测模块，具体用于：根据预设的头部特征，从所述环境图像中识别所述目标用户的头部区域；从所述头部区域提取所述人脸关键点；如果提取出的所述人脸关键点为一个，将所述人脸关键点作为所述人脸中心点；如果提取出的所述人脸关键点为两个以及两个以上，获取提取出的所有的所述人脸关键点的第一中心点，将所述第一中心点作为所述人脸中心点。
在本发明一个实施例中，检测模块，具体用于：将每个人脸关键点作为节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形；获取所述关键点图形的中心点，将所述关键点图形的中心点，确定为所述第一中心点。
在本发明一个实施例中，检测模块，具体用于：从采集的对位于所述头部区域下方的人体区域进行识别；当识别到所述人体区域后，控制所述智能设备的云台摄像头的摄像角度向所述头部区域所在方向移动；在所述摄像角度移动后，拍摄获取环境图像；判断所述环境图像中是否包括所述头部区域；如果所述环境图像中包括所述头部区域，则从所述头部区域识别所述人脸关键点；如果所述环境图像中未包括所述头部区域，则从所述环境图像中检测所述目标用户的人体关键点。
在本发明一个实施例中，上述实施例的智能设备的焦点跟随装置还包括：人体识别模块，用于从所述环境图像中检测所述目标用户的人脸关键点之前，从所述环境图像中进行人体识别；距离检测模块，用于当从所述环境图像中识别出多个人体时，获取每个人体与智能设备之间的距离；选取模块，用于选取与所述智能设备距离最近的人体作为所述目标用户对应的人体。
在本发明一个实施例中，选取模块，具体用于：当与所述智能设备距离最近的人体为多个时，查询所述智能设备的已注册用户人脸图像库中是否存在所述与所述智能设备距离最近的人体对应的人脸图像；如果所述人脸图像库中存在一个与所述智能设备距离最近的人体对应的人脸图像，则将所述一个与所述智能设备距离最近的人体作为所述目标用户对应的人体；如果所述人脸图像库中不存在所有与所述智能设备距离最近的人体对应的人脸图像，则随机选取一个与所述智能设备距离最近的人体作为所述目标用户对应的人体；如果所述人脸图像库中存在多个与所述智能设备距离最近的人体对应的人脸图像，则将最先查询出的与所述智能设备距离最近的人体作为所述目标用户对应的人体。
本发明实施例的智能设备的焦点跟随装置，首先从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随，如果从环境图像中未检测到人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制智能设备对人体中心点进行焦点跟随。由此，该装置解决了因检测不到人脸关键点导致无法保持焦点跟随的技术问题，以人体关键点作为焦点补足，当智能设备未检测到人脸关键点时，从采集到的图像中检测人体关键点作为跟随的焦点，避免用户在低头和转头等情况下造成焦点丢失，提高了焦点跟随的成功率和准确性。
为达上述目的，本发明第三方面实施例提出了一种智能设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述智能设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述实施例所述的智能设备的焦点跟随方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的智能设备的焦点跟随方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种智能设备的焦点跟随方法的流程示意图；
图2为本发明实施例所提供的一种人体关键点位置示意图；
图3为本发明实施例所提供的一种确定人脸中心点方法的流程示意图；
图4为本发明实施例所提供的一种人脸关键点位置示意图；
图5为本发明实施例所提供的一种焦点跟随方法的流程示意图；
图6为本发明实施例所提供的一种焦点跟随过程示意图；
图7为本发明实施例所提供的一种具体的智能设备的焦点跟随方法的流程示意图；
图8为本发明实施例所提供的一种确定目标用户方法的流程示意图；
图9为本发明实施例提供的一种双目视觉计算距离的原理示意图；
图10为本发明实施例提供的一种智能设备的焦点跟随装置的结构示意图；
图11为本发明实施例提供的另一种智能设备的焦点跟随装置的结构示意图；以及
图12为本发明实施例所提供的一种适于用来实现本发明实施方式的示例性智能设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的智能设备的焦点跟随方法和装置。
其中，本发明实施例的智能设备的焦点跟随方法的执行主体可以是通过摄像装置采集周围环境图像，并对图像上的焦点进行跟随的智能设备，比如，智能机器人等。
图1为本发明实施例所提供的一种智能设备的焦点跟随方法的流程示意图。如图1所示，该智能设备的焦点跟随方法包括以下步骤：
步骤101，从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制智能设备对人脸中心点进行焦点跟随。
本实施例中，智能设备可以是机器人、智能家电等。
智能设备上配置有摄像装置，如摄像头，智能设备通过摄像装置可实时采集监控范围内的环境图像。在获取环境图像后，可对环境图像进行检测，以识别进入监控范围的人体。
具体而言，从环境图像中，结合人脸识别技术检测采集到的图像中是否存在人脸。作为一种示例，从环境图像中，提取物体的轮廓，将提取的物体轮廓与预存的人脸轮廓或人体轮廓，进行比对。当提取的轮廓与预设的轮廓之间的相似度超过预设的阈值，可以认为从环境图像中识别到了用户。从而，通过该方法可以识别出环境图像中所有的用户。
进一步的，若环境图像中存在目标用户的人脸，则智能设备检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点。其中，人脸关键点可以是目标用户的五官，比如眼睛、鼻子和嘴巴等，智能设备可以通过检测人脸器官的形状和不同器官在人脸所在的位置等方式确定人脸关键点，进而根据检测出的人脸关键点确定人脸中心点。
更进一步的，在智能设备获取人脸中心点后，以人脸中心点为焦点，控制智能设备的摄像装置或者视觉系统实时跟随焦点，保持焦点在采集的环境图像的跟随区域内，其中，跟随区域能够覆盖环境图像中部分区域，该跟随区域并不是固定的在环境图像中的，而是跟随监控视野实时移动的。跟随区域一般需要覆盖环境图像中的中心区域，以便于保持智能设备与监控的目标用户能够面对面交互。
例如，当智能设备为智能机器人时，机器人的头部为摄像装置，控制机器人的摄像装置以人脸中心点为焦点进行焦点跟随，从而达到机器人始终“注视”目标用户的效果，提升用户使用体验。
步骤102，如果从环境图像中未检测到所述人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制智能设备对人体中心点进行焦点跟随。
具体的，当目标用户转身或低头时，环境图像中可能无法检测到人脸关键点，则智能设备从环境图像中检测目标用户的人体关键点，其中，人体关键点是目标用户身体除头部以外的其他部分的关键点。图2为本发明实施例所提供的一种人体关键点位置示意图，如图2所示，智能设备在环境图像中识别目标用户躯干的轮廓边缘，以肢体与躯干的交点为人体关键点，根据人体关键点确定人体中心点。例如，当用户低头时智能设备无法检测出人脸关键点，则智能设备的摄像装置向下移动，以检测出用户脖子与躯干的交点P1为人体关键点，以该关键点为人体中心点；又比如，当目标用户转身时，智能设备在环境图像中检测出用户两只手臂与躯干的交点为P2和P3，以P2和P3连线的中点为人体关键点。
进一步的，智能设备以人体中心点为焦点进行焦点跟随，保持焦点在采集的环境图像的跟随区域内，其中，对人体中心点进行焦点跟随的方法可以参照上述示例中对人脸中心点进行焦点跟随的方法，在此不再赘述。
本发明实施例的智能设备的焦点跟随方法，首先从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随，如果从环境图像中未检测到人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制智能设备对人体中心点进行焦点跟随。由此，该方法解决了因检测不到人脸关键点导致无法保持焦点跟随的技术问题，以人体关键点作为焦点补足，当智能设备未检测到人脸关键点时，从采集到的图像中检测人体关键点作为跟随的焦点，避免用户在低头和转头等情况下造成焦点丢失，提高了焦点跟随的成功率和准确性。
基于上述实施例，为了更加清楚的描述人脸中心点的确定过程，本发明实施例提出了一种确定人脸中心点的方法，图3为本发明实施例所提供的一种确定人脸中心点方法的流程示意图。
如图3所示，该确定人脸中心点方法包括以下步骤：
步骤201，识别目标用户的头部区域。
具体的，智能设备根据预先存储的头部模型设置头部特征，比如，头部的形体结构、基本比例和与人体躯干的位置关系等，智能设备根据预设的头部特征从环境图像中识别目标用户的头部区域。
步骤202，在头部区域检测人脸关键点。
具体的，在识别的头部区域内检测目标用户的人脸关键点，从头部区域识别人脸关键点的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
步骤203，判断检测出的人脸关键点的个数，若人脸关键点个数为一个，则执行步骤204，若人脸关键点的个数为两个以及两个以上，则执行步骤205。
步骤204，以检测出的一个人脸关键点为人脸中心点。
具体的，在目标用户的头部区域内检测出的一个人脸关键点为人脸中心点，比如，若仅检测出目标用户的眼睛，则将眼睛作为目标用户的人脸中心点。
步骤205，获取检测出的所有的人脸关键点的第一中心点，将所述第一中心点作为所述人脸中心点。
其中，第一中心点是检测出的所有人脸关键点围成的关键点图形的中心点。图4为本发明实施例所提供的一种人脸关键点位置示意图，如图4所示，将每个人脸关键点作为关键点图形的连接节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形，若获得的关键点图形为对称图形(如图4所示)，则以关键点图形的对称轴的中点为关键点图形的第一中心点，将关键点图形的第一中心点确定为人脸中心点；若关键点图形为不规则图形，则将不规则图形最长轴与最短轴的交点为关键点图形的第一中心点，将关键点图形的第一中心点确定为人脸中心点。
本发明实施例的确定人脸中心点方法，以检测出的人脸关键点确定人脸中心点，对人脸中心点进行焦点跟随可以保证目标用户的面部区域在智能设备的跟随区域内，以便于保持智能设备与监控的目标用户能够面对面交互。
基于上述实施例，在对人脸进行检测之前，需要预先生成图像区域，该图像区域即为跟随区域。图5为本发明实施例所提供的一种焦点跟随方法的流程示意图。
如图5所示，该焦点跟随方法包括以下步骤：
步骤301，获取用于焦点跟随的图像区域的基准点。
具体的，智能设备以采集的环境图像的水平对称轴和垂直对称轴的交点为环境图像的中心点，然后以环境图像的中心点为用于焦点跟随的图像区域的基准点。
步骤302，生成用于焦点跟随的图像区域。
具体的，智能设备以预设的像素值为半径，以用于焦点跟随的图像区域的基准点为圆心，生成一个圆形用于焦点跟随的图像区域。其中，像素值的大小是根据摄像装置的最大像素值和摄像装置与目标用户的距离预先设置的，例如，当智能设备的摄像头为200万像素时，通过大量实验数据获得用户与摄像装置在不同距离下的人脸检测面积的平均值，在目标用户与智能设备相距2米时，以72像素为半径做圆，可以确保人脸面积在所做的圆的图像区域内。
步骤303，控制图像区域进行焦点跟随。
具体的，智能设备定时判断检测出的人脸中心点是否处于图像区域内，当人脸中心点未处于图像区域内时，智能设备控制图像区域进行焦点跟随。
具体实施时，图6为本发明实施例所提供的一种焦点跟随过程示意图，如图6所示，以图像区域的基准点为原点，以图像区域的水平对称轴和垂直对称轴为X轴和Y轴生成坐标系，当人脸中心点未处于图像区域内时，获取人脸中心点与图像区域中心点之间的最短路径，即以图像区域的基准点为起点，以人脸中心点为终点的有向线段，根据最短路径，获取用于控制智能设备移动的控制信息，比如，将图像区域沿方向移动5厘米等，进而控制智能设备按照控制信息移动，使得检测到的人脸中心点或落入图像区域内。
本发明实施例的焦点跟随方法，根据采集的环境图像的中心点和预设的像素值为半径生成用于焦点跟随的圆形图像区域，相比于相关技术中的“井”字格跟随区域或方格跟随区域去掉了四个边角，使焦点跟随的图像区域更加准确，并且按照人脸中心点与图像区域中心点之间的最短路径进行焦点跟随，缩短了摄像装置或视觉系统的移动时间提高了焦点跟随的时效性。
基于上述实施例，在目标用户低头或转身等无法检测到人脸关键点的情况下，智能设备检测目标用户的人体关键点进行焦点跟随。然而，用户的低头或转身等动作可能仅持续较短的时间，可以理解，在保证焦点跟随不丢失的基础上，对目标用户的人脸关键点进行焦点跟随更容易使用户观察到智能设备的“注视”效果，为了进一步提高智能设备的主动交互效果，本发明实施例提出了一种具体的智能设备的焦点跟随方法。
具体而言，图7为本发明实施例所提供的一种具体的智能设备的焦点跟随方法的流程示意图，如图7所示，该方法包括：
步骤401，从采集的位于头部区域下方的人体区域进行识别。
其中，在用户低头等智能设备无法采集到人脸关键点时，智能设备对环境图像中目标用户的头部区域下方的人体区域进行识别。例如，通过深度学习技术获取人体在不同形态下的特征模型，将采集到的环境图像与特征模型相匹配，识别目标用户在站立、坐立和行走等多种形态下的人体区域。
步骤402，当识别到人体区域后，控制智能设备的云台摄像头的摄像角度向头部区域所在方向移动。
为了能够实现智能设备与目标用户“面对面”交互，当识别人体区域后，可以尝试抬高云台摄像头的摄像角度或者云台摄像头，以往上寻找目标用户的头部。具体地，控制云台摄像头的摄像角度或者云台摄像头向头部区域所在的方向移动，也就是说，从当前拍摄角度或者位置，往上调整拍摄角度或者位置。
作为一种示例，可以按照预设的固定的速度向上缓慢移动或者升高。
作为另一种示例，根据人体中心点位置的不同，可以以不同的速度控制摄像头移动，比如，当人体中心点为目标用户的脖子与躯干的交点的时，以10°/s的速度向上缓慢移动，当人体中心点位于目标用户躯干中心点时，以20°/s的速度向上移动，从而减少焦点寻找时间，避免焦点跟随丢失。
步骤403，在摄像角度移动后，拍摄获取环境图像。
步骤404，判断环境图像中是否包括头部区域。
对当前采集的环境图像进行头部区域识别，如果识别出环境图像中包括头部区域，则执行步骤405；如果识别出环境图像中未包括头部区域，则执行步骤406。
需要说明的是，从当前采集的环境图像进行头部区域识别的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
步骤405，从头部区域识别人脸关键点。
需要说明的是，从头部区域识别人脸关键点的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
进一步地，当从头部区域识别人脸关键点后，则根据人脸关键点确定人脸中心点，并对人脸中心点进行焦点跟随。
步骤406，从环境图像中检测目标用户的人体关键点。
关于从环境图像中识别人体关键点的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
如果环境图像中未包扩头部区域，或者在头部区域仍无法检测到人脸关键点，则根据从环境图像中检测目标用户的人体关键点。进一步地，在提取到人体关键点之后，根据人体关键点确定人体中心点，然后对人体中心点进行焦点跟随。
本发明实施例的智能设备的焦点跟随方法，在检测到人体关键点的基础上移动摄像头检测人脸关键点，若果检测到人脸关键点，则根据人脸关键点确定人脸中心点进行焦点跟随，若无法检测到人脸关键点，则根据人体关键点确定人体中心点进行焦点跟随。在保证焦点跟随不丢失的基础上，对目标用户的人脸关键点进行焦点跟随，提高了智能设备交互的生动性和灵活性。
基于上述实施例，在智能设备采集的环境图像中若存在多个用户，智能设备需要识别与智能设备具有交互意愿的目标用户进行焦点跟随。作为一种可能的实现方式，可根据候选目标的人体与智能设备之间的距离选取目标用户。图8为本发明实施例所提供的一种确定目标用户方法的流程示意图，如图8所示，该确定目标用户方法包括：
步骤501，对环境图像进行人体识别。
本实施例中，智能设备可通过人脸检测或者人体检测，识别环境图像中的人体。
步骤502，当从环境图像中识别出多个人体时，获取每个人体与智能设备之间的距离。
具体的，智能设备可以从采集到的环境图像识别进入到监控范围内的每个人体。本实施例中，将识别出的每个人体作为一个候选目。其中，人体识别的方法可参照上述实施例的描述，在此不再赘述。
进一步的，智能设备获取环境图像中每个人体与智能设备之间的距离，可以理解的是，候选目标与智能设备之间的距离越近，说明候选目标与智能设备之间存在交互意图的可能性越大，因此本实施例中，将候选目标与智能设备之间的距离，作为判断候选目标是否存在，与智能设备交互的交互意图的依据之一。
本实施例中，可通过深度摄像头或者双目视觉摄像头或者激光雷达，获取候选目标与智能设备之间的距离。
作为一种可能的实现方式，智能设备中配置有深度摄像头，通过深度摄像头，获取候选目标的深度图。在具体实现时，可通过结构光投射器向候选目标表面投射可控制的光点、光条或光面结构，并由深度摄像头中的图像传感器获得图像，通过几何关系，利用三角原理计算得到候选目标的三维坐标，从而可以得到候选目标与智能设备之间的距离。
作为一种可能的实现方式，在智能设备中配置双目视觉摄像头，通过双目视觉摄像头，对候选目标进行拍摄。然后，计算双目视觉摄像头所拍摄图像的视差，根据视差计算候选目标与智能设备之间的距离。
图9为本发明实施例提供的一种双目视觉计算距离的原理示意图。图9中，在实际空间中，画出了两个摄像头所在位置Ol和Or，以及左右摄像头的光轴线，两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f。
如图9所示，p和p′分别是同一候选目标P在不同拍摄图像中的位置。其中，p点距离所在拍摄图像的左侧边界的距离为xl，p′点距离所在拍摄图像的左侧边界的距离为xr。Ol和Or分别为两个摄像头，这两个摄像头在同一平面，两个摄像头之间的距离为Z。
基于三角测距原理，图9中的P与两个摄像头所在平面之间的距离b，具有如下关系：
基于此，可以推得其中，d为同一候选目标双目摄像头所拍摄图像的视觉差。由于Z、f为定值，因此，根据视觉差d可以确定出候选目标与摄像头所在平面之间的距离b，即候选目标与智能设备之间的距离。
作为再一种可能的实现方式，在智能设备中配置激光雷达，通过激光雷达向监控范围内发射激光，发射的激光遇到监控范围内的障碍物将被反射。智能设备接收监控范围内的每个障碍物返回的激光，根据返回的激光生成每个障碍物的二值图。然后，将每个二值图与环境图像进行融合，从所有二值图中识别出与候选目标对应的二值图。具体地，可以根据每个障碍物的二值图可以识别出每个障碍物的轮廓或者大小，然后将环境图像中每个目标的轮廓或者大小进行匹配，从而可以得到候选目标对应的二值图。之后，将候选目标对应的二值图的激光返回时间乘以光速，并除以2，得到候选目标与智能设备之间的距离。
需要说明的是，其他用于计算候选目标与智能设备之间的距离的方法，也包含在本发明实施例的范围内。
步骤503，选取与智能设备距离最近的人体作为目标用户对应的人体。
具体的，由于当候选目标与智能设备之间的距离较远时，候选目标可能不存在与智能设备交互的交互意图，因此选取与智能设备距离最近的人体作为目标用户对应的人体进行焦点跟随。
需要说明的是，与智能设备距离最近的人体可能为多个，比如，多个用户站成平行一排参观智能设备，而其中仅有讲解员具有与智能设备交互的意图。此时，智能设备可以查询已注册用户人脸图像库中与智能设备距离最近的人体对应的人脸图像确定目标用户，其中根据实际情况的不同，可以通过不同的方式确定目标用户对应的人体。
第一种示例，如果人脸图像库中存在一个与智能设备距离最近的人体对应的人脸图像，则将一个与智能设备距离最近的人体作为目标用户对应的人体。
第二种示例，如果人脸图像库中不存在与智能设备距离最近的人体对应的人脸图像，则随机选取一个与智能设备距离最近的人体作为目标用户对应的人体。
第三种示例，如果人脸图像库中存在多个与智能设备距离最近的人体对应的人脸图像，则将最先查询出的与智能设备距离最近的人体作为目标用户对应的人体。
本发明实施例的智能设备的焦点跟随方法，通过候选目标与智能设备之间的距离，从所有候选目标中筛选出存在与智能设备交互的交互意图的候选目标，相比在检测到人脸时，直接将人作为交互目标，可以降低智能设备的误启动。
为了实现上述实施例，本发明实施例还提出一种智能设备的焦点跟随装置。图10为本发明实施例提供的一种智能设备的焦点跟随装置的结构示意图。
如图10所示，该智能设备的焦点跟随装置装置包括：检测模块110、确定模块120和控制模块130。
其中，检测模块110，用于从智能设备采集的环境图像中检测目标用户的人脸关键点，以及在从所述环境图像中未检测到所述人脸关键点时，从所述环境图像中检测所述目标用户的人体关键点。
确定模块120，用于根据所述人脸关键点确定人脸中心点，以及在检测到人体关键点时，根据所述人体关键点确定人体中心点。
控制模块130，用于控制所述智能设备对所述人脸中心点进行焦点跟随，在确定出所述人体中心点时，控制所述智能设备对所述人体中心点进行焦点跟随。
在本实施例一种可能的实现方式中，控制模块130，具体用于：定时判断检测出的所述人脸中心点或者人体中心点是否处于所述图像区域内；当所述人脸中心点或者人体中心点未处于所述图像区域内时，获取所述人脸中心点或者人体中心点与所述图像区域中心点之间的最短路径；根据所述最短路径，获取用于控制智能设备移动的控制信息；控制所述智能设备按照所述控制信息移动，使得检测到的所述人脸中心点或者人体中心点落入所述图像区域内。
在本实施例一种可能的实现方式中，检测模块110，具体用于：根据预设的头部特征，从所述环境图像中识别所述目标用户的头部区域；从所述头部区域提取所述人脸关键点；如果提取出的所述人脸关键点为一个，将所述人脸关键点作为所述人脸中心点；如果提取出的所述人脸关键点为两个以及两个以上，获取提取出的所有的所述人脸关键点的第一中心点，将所述第一中心点作为所述人脸中心点。
在本实施例一种可能的实现方式中，检测模块110，具体用于：将每个人脸关键点作为节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形；获取所述关键点图形的中心点，将所述关键点图形的中心点，确定为所述第一中心点。
在本实施例一种可能的实现方式中，检测模块110，具体用于：从采集的对位于所述头部区域下方的人体区域进行识别；当识别到所述人体区域后，控制所述智能设备的云台摄像头的摄像角度向所述头部区域所在方向移动；在所述摄像角度移动后，拍摄获取环境图像；判断所述环境图像中是否包括所述头部区域；如果所述环境图像中包括所述头部区域，则从所述头部区域识别所述人脸关键点；如果所述环境图像中未包括所述头部区域，则从所述环境图像中检测所述目标用户的人体关键点。
基于上述实施例，在智能设备采集的环境图像中若存在多个用户，智能设备需要识别与智能设备具有交互意愿的目标用户进行焦点跟随并生成用于焦点跟随的图像区域。图11为本发明实施例提供的另一种智能设备的焦点跟随装置的结构示意图，如图11所示，在上述实施例的智能设备的焦点跟随装置之前还包括：人体识别模块210、距离检测模块220、选取模块230和生成模块240。
其中，人体识别模块210，用于从所述环境图像中检测所述目标用户的人脸关键点之前，从所述环境图像中进行人体识别；
距离检测模块220，用于当从所述环境图像中识别出多个人体时，获取每个人体与智能设备之间的距离；
选取模块230，用于选取与所述智能设备距离最近的人体作为所述目标用户对应的人体。
生成模块240，用于在从所述智能设备采集的所述环境图像中识别所述目标用户的人脸关键点之前，识别所述智能设备所采集的环境图像的中心点，以所述环境图像的中心点为基准点，生成一个圆形用于焦点跟随的图像区域。
本发明实施例的智能设备的焦点跟随装置，首先从智能设备采集的环境图像中检测目标用户的人脸关键点，根据人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随，如果从环境图像中未检测到人脸关键点，则从环境图像中检测目标用户的人体关键点，根据人体关键点确定人体中心点，并控制智能设备对人体中心点进行焦点跟随。由此，该装置解决了因检测不到人脸关键点导致无法保持焦点跟随的技术问题，以人体关键点作为焦点补足，当智能设备未检测到人脸关键点时，从采集到的图像中检测人体关键点作为跟随的焦点，避免用户在低头和转头等情况下造成焦点丢失，提高了焦点跟随的成功率和准确性。
为达上述目的，本发明实施例还提出了一种智能设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述智能设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述实施例所述的智能设备的焦点跟随方法。
为了实现上述目的，本发明实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的智能设备的焦点跟随方法。
图12示出了适于用来实现本申请实施方式的示例性智能设备的框图。如图12所示，该智能设备包括：壳体310、处理器320、存储器330、电路板340和电源电路350，其中，电路板340安置在壳体310围成的空间内部，处理器320和存储器330设置在电路板340上；电源电路350，用于为上述智能设备的各个电路或器件供电；存储器930用于存储可执行程序代码；处理器320通过读取存储器330中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述实施例所述的智能设备的焦点跟随方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种智能设备的焦点跟随方法，其特征在于，包括以下步骤：
从智能设备采集的环境图像中检测目标用户的人脸关键点，根据所述人脸关键点确定人脸中心点，并控制所述智能设备对所述人脸中心点进行焦点跟随；
如果从所述环境图像中未检测到所述人脸关键点，则从所述环境图像中检测所述目标用户的人体关键点，根据所述人体关键点确定人体中心点，并控制所述智能设备对所述人体中心点进行焦点跟随。
2.根据权利要1所述的方法，其特征在于，所述从智能设备采集的环境图像中识别目标用户的人脸关键点之前，还包括：
识别所述智能设备所采集的环境图像的中心点，以所述环境图像的中心点为基准点，生成一个圆形用于焦点跟随的图像区域。
3.根据权利要求2所述的方法，其特征在于，所述进行焦点跟随，包括：
定时判断检测出的所述人脸中心点或者人体中心点是否处于所述图像区域内；
当所述人脸中心点或者人体中心点未处于所述图像区域内时，获取所述人脸中心点或者人体中心点与所述图像区域中心点之间的最短路径；
根据所述最短路径，获取用于控制智能设备移动的控制信息；
控制所述智能设备按照所述控制信息移动，使得检测到的所述人脸中心点或者人体中心点落入所述图像区域内。
4.根据权利要求1所述的方法，其特征在于，所述从智能设备采集的环境图像中检测目标用户的人脸关键点，根据所述人脸关键点确定人脸中心点，包括：
根据预设的头部特征，从所述环境图像中识别所述目标用户的头部区域；
从所述头部区域提取所述人脸关键点；
如果提取出的所述人脸关键点为一个，将所述人脸关键点作为所述人脸中心点；
如果提取出的所述人脸关键点为两个以及两个以上，获取提取出的所有的所述人脸关键点的第一中心点，将所述第一中心点作为所述人脸中心点。
5.根据权利要求4所述的方法，其特征在于，所述获取提取出的所有的所述人脸关键点的第一中心点，包括：
将每个人脸关键点作为节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形；
获取所述关键点图形的中心点，将所述关键点图形的中心点，确定为所述第一中心点。
6.根据权利要求1所述的方法，其特征在于，所述从采集的环境图像中检测所述目标用户的人体关键点，包括：
从采集的位于所述头部区域下方的人体区域进行识别；
当识别到所述人体区域后，控制所述智能设备的云台摄像头的摄像角度向所述头部区域所在方向移动；
在所述摄像角度移动后，拍摄获取环境图像；
判断所述环境图像中是否包括所述头部区域；
如果所述环境图像中包括所述头部区域，则从所述头部区域识别所述人脸关键点；
如果所述环境图像中未包括所述头部区域，则从所述环境图像中检测所述目标用户的人体关键点。
7.根据权利要求1所述的方法，其特征在于，所述从智能设备采集的环境图像中检测目标用户的人脸关键点之前，还包括：
对所述环境图像进行人体识别；
当从所述环境图像中识别出多个人体时，获取每个人体与智能设备之间的距离；
选取与所述智能设备距离最近的人体作为所述目标用户对应的人体。
8.一种智能设备的焦点跟随装置，其特征在于，包括：
检测模块，用于从智能设备采集的环境图像中检测目标用户的人脸关键点，以及在从所述环境图像中未检测到所述人脸关键点时，从所述环境图像中检测所述目标用户的人体关键点；
确定模块，用于根据所述人脸关键点确定人脸中心点，以及在检测到人体关键点时，根据所述人体关键点确定人体中心点；
控制模块，用于控制所述智能设备对所述人脸中心点进行焦点跟随，以及在确定出所述人体中心点时，控制所述智能设备对所述人体中心点进行焦点跟随。
9.一种智能设备，其特征在于，包括壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述智能设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的智能设备的焦点跟随方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的智能设备的焦点跟随方法。
CN201810236920.1A 2018-03-21 2018-03-21 智能设备的焦点跟随方法、装置、智能设备及存储介质 Pending CN108733280A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810236920.1A CN108733280A (zh) 2018-03-21 2018-03-21 智能设备的焦点跟随方法、装置、智能设备及存储介质
PCT/CN2019/078747 WO2019179441A1 (zh) 2018-03-21 2019-03-19 智能设备的焦点跟随方法、装置、智能设备及存储介质
TW108109650A TWI705382B (zh) 2018-03-21 2019-03-20 智慧型裝置跟焦方法、裝置、智慧型裝置及儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810236920.1A CN108733280A (zh) 2018-03-21 2018-03-21 智能设备的焦点跟随方法、装置、智能设备及存储介质

Publications (1)

Publication Number Publication Date
CN108733280A true CN108733280A (zh) 2018-11-02

Family

ID=63941065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810236920.1A Pending CN108733280A (zh) 2018-03-21 2018-03-21 智能设备的焦点跟随方法、装置、智能设备及存储介质

Country Status (3)

Country Link
CN (1) CN108733280A (zh)
TW (1) TWI705382B (zh)
WO (1) WO2019179441A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109373904A (zh) * 2018-12-17 2019-02-22 石家庄爱赛科技有限公司 三维视觉检测装置及三维视觉检测方法
CN109740464A (zh) * 2018-12-21 2019-05-10 北京智行者科技有限公司 目标的识别跟随方法
CN109781008A (zh) * 2018-12-30 2019-05-21 北京猎户星空科技有限公司 一种距离测量方法、装置、设备及介质
CN110084207A (zh) * 2019-04-30 2019-08-02 惠州市德赛西威智能交通技术研究院有限公司 自动调节人脸曝光量的曝光方法、装置和存储介质
CN110197117A (zh) * 2019-04-18 2019-09-03 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
WO2019179441A1 (zh) * 2018-03-21 2019-09-26 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN111639515A (zh) * 2020-01-16 2020-09-08 上海黑眸智能科技有限责任公司 目标丢失再跟踪方法、装置、系统、电子终端及存储介质
CN112672062A (zh) * 2020-08-21 2021-04-16 海信视像科技股份有限公司 一种显示设备及人像定位方法
CN112702652A (zh) * 2020-12-25 2021-04-23 珠海格力电器股份有限公司 智能家居的控制方法和装置、存储介质、电子装置
CN113183157A (zh) * 2021-07-01 2021-07-30 德鲁动力科技(成都)有限公司 控制机器人的方法及柔性屏交互四足机器人
CN113518474A (zh) * 2020-03-27 2021-10-19 阿里巴巴集团控股有限公司 检测方法、装置、设备、存储介质和系统
CN113572957A (zh) * 2021-06-26 2021-10-29 荣耀终端有限公司 一种拍摄对焦方法及相关设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241961B (zh) * 2020-01-03 2023-12-08 北京秒针人工智能科技有限公司 人脸检测方法、装置及电子设备
CN111860403A (zh) * 2020-07-28 2020-10-30 商汤国际私人有限公司 场景信息的检测方法和装置、电子设备
CN111968163B (zh) * 2020-08-14 2023-10-10 济南博观智能科技有限公司 一种热电堆阵列测温方法及装置
CN112866773B (zh) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN104732210A (zh) * 2015-03-17 2015-06-24 深圳超多维光电子有限公司 目标人脸跟踪方法及电子设备
CN104935844A (zh) * 2015-06-17 2015-09-23 四川长虹电器股份有限公司 根据观看者脸部面向自动调节屏幕朝向的方法及电视
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
TW201001043A (en) * 2008-06-25 2010-01-01 Altek Corp Method of auto focusing on faces used by digital imaging device
JP5409825B2 (ja) * 2011-10-18 2014-02-05 三菱電機株式会社 空気調和機の室内機
CN103077403B (zh) * 2012-12-30 2016-12-28 信帧电子技术（北京）有限公司 行人计数方法及装置
WO2016202764A1 (en) * 2015-06-15 2016-12-22 Thomson Licensing Apparatus and method for video zooming by selecting and tracking an image area
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
CN107038418A (zh) * 2017-03-24 2017-08-11 厦门瑞为信息技术有限公司 一种智能空调双摄像头追踪获取清晰人体图像的方法
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN104732210A (zh) * 2015-03-17 2015-06-24 深圳超多维光电子有限公司 目标人脸跟踪方法及电子设备
CN104935844A (zh) * 2015-06-17 2015-09-23 四川长虹电器股份有限公司 根据观看者脸部面向自动调节屏幕朝向的方法及电视
CN106407882A (zh) * 2016-07-26 2017-02-15 河源市勇艺达科技股份有限公司 机器人通过人脸检测实现头部转动的方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179441A1 (zh) * 2018-03-21 2019-09-26 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109373904A (zh) * 2018-12-17 2019-02-22 石家庄爱赛科技有限公司 三维视觉检测装置及三维视觉检测方法
CN109740464A (zh) * 2018-12-21 2019-05-10 北京智行者科技有限公司 目标的识别跟随方法
CN109781008B (zh) * 2018-12-30 2021-05-25 北京猎户星空科技有限公司 一种距离测量方法、装置、设备及介质
CN109781008A (zh) * 2018-12-30 2019-05-21 北京猎户星空科技有限公司 一种距离测量方法、装置、设备及介质
CN110197117A (zh) * 2019-04-18 2019-09-03 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN110197117B (zh) * 2019-04-18 2021-07-06 北京奇艺世纪科技有限公司 人体轮廓点提取方法、装置、终端设备及计算机可读存储介质
CN110084207A (zh) * 2019-04-30 2019-08-02 惠州市德赛西威智能交通技术研究院有限公司 自动调节人脸曝光量的曝光方法、装置和存储介质
CN111639515A (zh) * 2020-01-16 2020-09-08 上海黑眸智能科技有限责任公司 目标丢失再跟踪方法、装置、系统、电子终端及存储介质
CN113518474A (zh) * 2020-03-27 2021-10-19 阿里巴巴集团控股有限公司 检测方法、装置、设备、存储介质和系统
CN112672062A (zh) * 2020-08-21 2021-04-16 海信视像科技股份有限公司 一种显示设备及人像定位方法
CN112702652A (zh) * 2020-12-25 2021-04-23 珠海格力电器股份有限公司 智能家居的控制方法和装置、存储介质、电子装置
CN113572957A (zh) * 2021-06-26 2021-10-29 荣耀终端有限公司 一种拍摄对焦方法及相关设备
CN113572957B (zh) * 2021-06-26 2022-08-05 荣耀终端有限公司 一种拍摄对焦方法及相关设备
CN113183157A (zh) * 2021-07-01 2021-07-30 德鲁动力科技(成都)有限公司 控制机器人的方法及柔性屏交互四足机器人

Also Published As

Publication number Publication date
TWI705382B (zh) 2020-09-21
WO2019179441A1 (zh) 2019-09-26
TW201941098A (zh) 2019-10-16

Similar Documents

Publication Publication Date Title
CN108733280A (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN108733208A (zh) 智能设备的交互目标确定方法和装置
CN106940186B (zh) 一种机器人自主定位与导航方法及系统
CN108733420A (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
CN108985225A (zh) 焦点跟随方法、装置、电子设备及存储介质
CN101305401B (zh) 用于处理游戏的立体视频的方法
CN107990899A (zh) 一种基于slam的定位方法和系统
US11788845B2 (en) Systems and methods for robust self-relocalization in a visual map
CN106991377A (zh) 结合深度信息的人脸识别方法、人脸识别装置和电子装置
KR20180121494A (ko) 단안 카메라들을 이용한 실시간 3d 캡처 및 라이브 피드백을 위한 방법 및 시스템
CN106991378A (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
CN107301665A (zh) 具有可变焦光学摄像头的深度摄像头及其控制方法
CN108733419A (zh) 智能设备的持续唤醒方法、装置、智能设备和存储介质
CN108780319A (zh) 软件更新方法、系统、移动机器人及服务器
US10838515B1 (en) Tracking using controller cameras
CN108733417A (zh) 智能设备的工作模式选择方法和装置
US20150373320A1 (en) Visual cognition system
CN112926464A (zh) 一种人脸活体检测方法以及装置
JP6823403B2 (ja) 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム
CN107111764A (zh) 由对象在成像装置的视野中的深度触发的事件
CN113689503A (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN111209840A (zh) 一种基于多传感器数据融合的3d目标检测方法
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102

RJ01 Rejection of invention patent application after publication