CN112836656A - 设备控制方法、装置和图像采集系统 - Google Patents

设备控制方法、装置和图像采集系统 Download PDF

Info

Publication number
CN112836656A
CN112836656A CN202110170035.XA CN202110170035A CN112836656A CN 112836656 A CN112836656 A CN 112836656A CN 202110170035 A CN202110170035 A CN 202110170035A CN 112836656 A CN112836656 A CN 112836656A
Authority
CN
China
Prior art keywords
face
target object
image
posture
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110170035.XA
Other languages
English (en)
Inventor
罗子朦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110170035.XA priority Critical patent/CN112836656A/zh
Publication of CN112836656A publication Critical patent/CN112836656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种设备控制方法、装置和图像采集系统,涉及图像处理技术领域,该方法从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;然后基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。本发明实施例通过获取目标对象的脸部姿态信息(例如脸部姿态角、脸部位置等),根据该脸部姿态信息主动调整图像采集设备的姿势,从而改变图像采集设备拍摄目标对象的拍摄角度,使得目标对象的脸部在图像中的姿态满足预设条件(例如接近正脸),从而提高了人脸识别效率,并改善了被识别对象的使用体验。

Description

设备控制方法、装置和图像采集系统
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种设备控制方法、装置和图像采集系统。
背景技术
目前人脸识别面板机已经在人脸通行场景中广泛使用,但是受实际安装场景的限制,人脸识别面板机在很多场景下不能拍摄到高质量的正面人脸,而是需要被识别对象进行主动的配合才能勉强识别并通行,这极大地影响了识别通过率和用户通行体验。其中,以走廊场景为例,人脸识别面板机通常安装在过道侧面,这就需要用户在面板机前停留并转向面板机屏幕才能识别通过;又比如在闸机通行的场景,由于设备高度受限,对于不同身高的人,高个子需要弯腰、矮个子需要垫脚才能拍摄到完整的人脸图像以进行识别。
在上述这些场景中,当人脸识别设备只能拍摄到用户的不完整人脸图像或者大角度的人脸图像时,用户需要根据人脸识别设备的安装位置和角度调整自己的头部位置和姿态,才能拍摄到正面人脸图像以进行识别,这种方式给被用户的体验较差,且影响人脸识别效率。
发明内容
有鉴于此,本发明的目的在于提供一种设备控制方法、装置和图像采集系统,可以主动调整图像采集设备的姿势,以使目标对象的脸部在图像中的姿态满足预设条件,从而提高人脸识别效率,并改善被识别对象的使用体验。
第一方面,本发明实施例提供了一种设备控制方法,该方法包括:从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。
在本发明较佳的实施例中,上述脸部姿态信息包括脸部姿态角,该脸部姿态角为表征该目标对象的脸部在该图像中的姿态与正脸姿态之间偏差的角度。
在本发明较佳的实施例中,上述基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件的步骤,包括:判断该目标对象的脸部姿态角是否小于预设角度阈值;如果不小于该角度阈值,调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的脸部姿态角小于该角度阈值。
在本发明较佳的实施例中,上述脸部姿态角包括俯仰角和/或偏航角。
在本发明较佳的实施例中,上述从包含有目标对象的图像中获取该目标对象的脸部姿态信息的步骤,包括:将包含有目标对象的图像输入预先训练好的脸部姿态模型,输出该目标对象的脸部姿态信息。
在本发明较佳的实施例中,在从包含有目标对象的图像中获取该目标对象的脸部姿态信息的步骤之前,该方法还包括:从包含有目标对象的图像中获取该目标对象的脸部位置信息;基于该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的位置满足预设第二条件。
在本发明较佳的实施例中,上述基于该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的位置满足预设第二条件的步骤,包括:根据该脸部位置信息,确定该目标对象的脸部在该图像中的完整度;判断该完整度是否大于预设比例阈值;如果该完整度不大于该比例阈值,根据该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的完整度大于该比例阈值。
在本发明较佳的实施例中,上述脸部位置信息包括该目标对象对应的脸部检测框的位置信息;根据该脸部位置信息确定该目标对象的脸部在该图像中的完整度的步骤,包括:计算该脸部检测框在该图像的画面内的面积占该脸部检测框的总面积的比值;将该比值确定为该目标对象的脸部在该图像中的完整度。
第二方面,本发明实施例还提供了一种设备控制装置,该装置包括:脸部姿态信息获取模块,用于从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;姿势调整模块,用于基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。
第三方面,本发明实施例还提供了一种图像采集系统,包括彼此连接的图像采集设备和设备控制器;该设备控制器用于根据上述设备控制方法,控制该图像采集设备采集图像。
第四方面,本发明实施例还提供了一种人脸识别装置,包括上述实施例中的图像采集系统和人脸识别模块;该图像采集系统用于采集目标对象的图像;该人脸识别模块用于根据该图像识别目标对象。
第五方面,本发明实施例还提供了一种电子设备,该电子设备包括处理器和存储器,该存储器存储有能够被该处理器执行的计算机可执行指令,该处理器执行该计算机可执行指令以实现上述设备控制方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述设备控制方法。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种设备控制方法、装置和图像采集系统,首先从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;然后基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。该方法中,通过获取目标对象的脸部姿态信息(例如脸部姿态角、脸部位置等),根据该脸部姿态信息主动调整图像采集设备的姿势,从而改变图像采集设备拍摄目标对象的拍摄角度,使得目标对象的脸部在图像中的姿态满足预设条件(例如接近正脸),从而提高了人脸识别效率,并改善了被识别对象的使用体验。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图;
图2为本发明实施例提供的一种设备控制方法的流程示意图;
图3为本发明实施例提供的另一种设备控制方法的流程示意图;
图4为本发明实施例提供的一种设备控制装置的结构示意图;
图5为本发明实施例提供的一种图像采集系统的结构示意图;
图6为本发明实施例提供的一种人脸识别装置的结构示意图;
图7为本发明实施例提供的一种电子设备的结构示意图。
图标:100-电子系统;102-处理设备;104-存储装置;106-输入装置;108-输出装置;110-图像采集设备;112-总线系统;41-脸部姿态信息获取模块;42-姿势调整模块;500-图像采集系统;51-设备控制器;600-人脸识别装置;61-人脸识别模块;71-处理器;72-存储器;73-总线;74-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的人脸识别场景中,用户需要根据人脸识别设备的安装位置和角度调整自己的头部位置和姿态,才能拍摄到正面人脸图像以进行识别,否则设备可能拍摄到用户的不完整人脸图像或者大角度人脸图像,导致识别效率差的问题,本发明实施例提供的一种设备控制方法、装置和图像采集系统,该技术可以应用于需要对图像采集设备进行姿态调整控制的应用场景中。为便于对本实施例进行理解,首先对本发明实施例所公开的一种设备控制方法进行详细介绍。
这里,参照图1来描述用于实现本发明实施例的设备控制方法、装置和图像采集系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图,该电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子系统100的组件和结构只是示例性的,而非限制性的,根据需要,电子系统也可以具有其他组件和结构。
处理设备102可以为智能终端,或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对电子系统100中的其它组件的数据进行处理,还可以控制电子系统100中的其它组件以执行目标对象统计的功能。
存储装置104可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理设备102可以运行程序指令,以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备110可以采集训练图片,并且将采集到的预览视频帧或图像数据存储在存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的设备控制方法、装置和图像采集系统的各器件可以集成设置,也可以分散设置,诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体,而将图像采集设备110设置于可以采集到图片的指定位置。当上述电子系统中的各器件集成设置时,该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
如图2所示,其为本发明实施例提供的一种设备控制方法的流程示意图,由图2可见,该方法包括以下步骤:
步骤S202:从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到。
上述目标对象可以是人、动物、机器人,或者其他含有脸部结构的事物。并且,该图像采集设备可以是摄像头、相机、摄影机,或者其他具有图像采集功能的设备。
此外,包含目标对象的图像可以是实时由图像采集设备采集得到,并实时从该图像中获取目标对象的脸部姿态信息;该图像也可以是之前采集到的历史图像。
其中,上述脸部姿态信息可以是较为笼统的描述脸部整体姿态的信息,如抬头、低头、左侧脸、右侧脸等;其也可以是精确描述脸部姿态相比于正脸的偏转角度的信息,如上仰30°、左偏20°等等。在其他可能的实施方式中,该脸部姿态信息还可以是用于描述脸部姿态的其他特征参数,在此不作限定。
在实际操作中,可以通过图像分析技术从包含有目标对象的图像中获取该目标对象的脸部姿态信息。例如,可以通过预先训练脸部姿态模型,然后将包含有目标对象的图像输入训练好的脸部姿态模型,输出该目标对象的脸部姿态信息。其中,该脸部姿态模型使用卷积神经网络训练得到。
步骤S204:基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。
这里,当图像采集设备的姿势发生变化时,其采集图像的角度相应也发生变化,从而可以采集到目标对象的不同角度的图像,例如,可以采集到不同角度的脸部图像。
假设通过步骤S202采集到的目标对象的脸部姿态信息为左侧脸,而预设第一条件为要采集目标对象的正脸,则可以通过当前“左侧脸”的脸部姿态信息,调整图像采集设备的姿势,使该图像采集设备向右转动,以采集到目标对象的正脸。在实际操作中,上述第一条件也可以是采集目标对象的右侧脸、左侧脸或其他反映脸部姿态的条件,在此不作限定。
这样,根据步骤S202至S204,当图像采集设备采集到的目标对象的图像中,该目标对象的脸部姿态不满足预设条件时,可以主动调整图像采集设备的姿势,使该目标对象的脸部在采集到的图像中的姿态满足预设条件。例如,在人脸识别场景中,假设需要采集目标对象的正脸图像以进行识别,当目标对象的身材较高时,如果开始采集到该目标对象的图像中,脸部姿态为仰脸姿态,则可以调整该图像采集设备的姿势,例如抬升该图像采集设备的高度或者将该图像采集设备后倾,以使目标对象的脸部在采集图像中表现为正脸姿态。相比于现有技术中需要用户调整自己的头部位置和姿态,以适应图像采集设备的安装位置和角度,从而采集到正脸姿态图像的方式,本实施例提供的方法不需要用户进行姿势调整,而由图像采集设备进行姿势调整,从而有效改善了用户的识别体验,其更加智能化,且提高了识别效率。
本发明实施例提供的一种设备控制方法,首先从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;然后基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。该方法中,通过获取目标对象的脸部姿态信息(例如脸部姿态角、脸部位置等),根据该脸部姿态信息主动调整图像采集设备的姿势,从而改变图像采集设备拍摄目标对象的拍摄角度,使得目标对象的脸部在图像中的姿态满足预设条件(例如接近正脸),从而提高了人脸识别效率,并改善了被识别对象的使用体验。
在图1所示设备控制方法的基础上,本实施例还提供了另一种设备控制方法,该方法进一步描述了前述步骤S104(基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件)的具体实现方式。参见图3,所示为另一种设备控制方法的流程示意图,由图3可见,该方法包括以下步骤:
步骤S302:从包含有目标对象的图像中获取该目标对象的脸部姿态角;其中,该图像由图像采集设备采集得到;该脸部姿态角为表征该目标对象的脸部在该图像中的姿态与正脸姿态之间偏差的角度。
在本实施例中,脸部姿态信息包括脸部姿态角,其中,该脸部姿态角可以包括俯仰角、偏航角和翻滚角中的一个或者多个。这里,俯仰角、偏航角和翻滚角均为欧拉角,用以表示空间内物体的旋转角度。具体地,该俯仰角为表征该目标对象的脸部相比正脸在水平方向偏转的角度,也即脸部左右水平摇头时的偏转角;该偏航角为表征该目标对象的脸部相比正脸在垂直方向偏转的角度,也即脸部前后点头时的偏转角;该翻滚角为表征目标对象的脸部左右歪头的偏转角。若建立空间直角坐标系,其中,以目标对象的正脸所在平面的水平方向为x轴,以该平面的垂直方向为y轴,以正脸的平视视线方向为z轴,则该目标对象脸部的俯仰角、偏航角和翻滚角分别对应正脸绕x轴、y轴和z轴的旋转角。
在其中一种可能的实施方式中,可以通过预先训练好的脸部姿态模型从包含有目标对象的图像中获取该目标对象的脸部姿态角,例如,以卷积神经网络作为模型训练的初始网络,并以脸部检测框裁剪的图片作为输入,以脸部的俯仰角、偏航角和翻滚角作为输出,训练该初始网络,直至达到预设的训练终止条件,得到训练好的脸部姿态模型。进而可以通过该脸部姿态模型对包含有目标对象的图像进行处理,得到该目标对象的脸部姿态角信息。
步骤S304:判断该目标对象的脸部姿态角是否小于预设角度阈值。
如果图像中目标对象的脸部姿态角小于预设角度阈值,则表明该图像中目标对象的脸部姿态满足预设条件;如果图像中目标对象的脸部姿态角不小于预设角度阈值,则表明该图像中目标对象的脸部姿态不满足预设条件,此时,需要对图像采集设备的姿势进行调整,以使该目标对象的脸部在该图像中的脸部姿态角小于该角度阈值。
在实际操作中,假设该脸部姿态角包括俯仰角和偏航角,则可以设置针对俯仰角和偏航角的不同角度阈值,当二者中的任一个不小于对应的角度阈值时,均触发对图像采集设备的姿势进行调整。例如,设置俯仰角的角度阈值为20°,偏航角的角度阈值为10°,则当图像中目标对象的脸部俯仰角大于20°,或者,当图像中目标对象的脸部偏航角大于10°时,均触发调整图像采集设备的姿势,使得图像中目标对象的脸部的俯仰角和偏航角均小于对应的角度阈值。
步骤S306:如果不小于该角度阈值,调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的脸部姿态角小于该角度阈值。
如果该目标对象的脸部姿态角小于预设角度阈值,则表明图像中目标对象的脸部姿态满足预设条件,从而不需要对图像采集设备进行姿势调整。
以人脸识别场景为例,如果获取到图像中目标对象的人脸仰角为40°(例如目标对象的身材矮小),判断其大于预设的俯仰角的角度阈值20°,可以控制图像采集设备向下旋转,从而使得目标对象的人脸俯仰角减小,直至满足在20°范围内。这样,不需要该目标对象踮起脚尖,或采取其它增加高度的措施,由图像采集设备自动调整姿势,即可获取到目标对象的脸部姿态角小于预设角度阈值的图像。
在其他可能的实施方式中,还可以设置对图像中脸部姿态的不同要求,例如,可以设置姿态要求为目标对象的脸部在图像中的姿态大于预设角度阈值;在这种情况下,若判断所采集图像中目标对象的脸部姿态角不大于预设角度阈值时,才对图像采集设备的姿势进行调整,以使目标对象的脸部在图像中的姿态角大于预设角度阈值。在实际操作中,对图像中脸部姿态的要求可以根据实际需要进行设定,在此不作限定。
在实际操作中,如果图像采集设备采集到的图像中,该目标对象的脸部只有部分出现在图像中,此时如果基于该部分“脸部图像”计算得到的脸部姿态角往往会不准确,从而使得后续判断脸部姿态角是否满足预设角度阈值的要求不准确,进而影响对图像采集设备姿势的调整。为了缓解上述问题,提高对图像采集设备姿势调整控制的准确度,在本实施例步骤S302之前,还进行下述步骤41-42的操作:
(41)从包含有目标对象的图像中获取该目标对象的脸部位置信息。
其中,该脸部位置信息可以是描述该目标对象的脸部在该图像中所处的位置的信息,例如,其可以包括该目标对象对应的脸部检测框的位置信息。
(42)基于该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的位置满足预设第二条件。
在至少一种可能的实施方式中,可以先根据该脸部位置信息,确定该目标对象的脸部在该图像中的完整度。例如,可以计算该目标对象对应的脸部检测框在该图像的画面内的面积占该脸部检测框的总面积的比值,并将该比值确定为该目标对象的脸部在该图像中的完整度。
然后,判断该完整度是否大于预设比例阈值;其中,如果该完整度不大于该比例阈值,则根据该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的完整度大于该比例阈值;如果该完整度大于比例阈值,则表明图像中目标对象的脸部的完整度达到预设要求,不需要对目标对象的脸部在图像中的位置进行调整。
例如,假设预设的比例阈值为90%,也即,要求图像中目标对象的脸部的完整度达到90%,若低于该比例阈值,则需要调整图像采集设备的姿势,以使图像中目标对象的脸部完整度达到90%,并在此基础上,再进行前述步骤S302至S306的操作,使图像中目标对象的脸部姿态满足预设姿态要求。
这样,通过上述方式,在通过图像采集设备采集目标对象的图像时,首先调整图像采集设备的姿势,使目标对象的脸部在图像中的显示满足预设的完整度要求,在此基础上,进一步获取到目标对象的脸部姿态信息,再基于该脸部姿态信息调整图像采集设备的姿势,使图像中目标对象的脸部姿态满足预设的姿态要求。该方式自动实现对图像采集设备的姿势调整,不需要目标对象进行自身姿势调整,更加智能化,优化了用户的体验。
本实施例中的设备控制方法,根据图像采集设备采集到的图像中目标对象的脸部姿态角,对图像采集设备的姿势进行调整,从而使得目标对象的脸部在图像中的姿态角满足预设要求。该方式可以应用于人脸识别场景中,并且可以缓解现有人脸识别场景中,因为设备采集到用户的大角度人脸图像导致识别效果差,需要用户主动调整自己头部位置和姿态才可以采集到满足要求的正脸图像的问题。
对应于图1中的设备控制方法,本实施例还提供了一种设备控制装置,如图4所示,其为一种设备控制装置的结构示意图,由图4可见,该装置包括彼此连接的脸部姿态信息获取模块41和姿势调整模块42,其中,各个模块的功能如下:
脸部姿态信息获取模块41,用于从包含有目标对象的图像中获取该目标对象的脸部姿态信息;其中,该图像由图像采集设备采集得到;
姿势调整模块42,用于基于该目标对象的脸部姿态信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的姿态满足预设第一条件。
在其中一种可能的实施方式中,上述脸部姿态信息包括脸部姿态角,该脸部姿态角为表征该目标对象的脸部在该图像中的姿态与正脸姿态之间偏差的角度。
在另一种可能的实施方式中,上述姿势调整模块42还用于:判断该目标对象的脸部姿态角是否小于预设角度阈值;如果不小于该角度阈值,调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的脸部姿态角小于该角度阈值。
在另一种可能的实施方式中,上述脸部姿态角包括俯仰角和/或偏航角;其中,该俯仰角为表征该目标对象的脸部相比正脸在水平方向偏转的角度;该偏航角为表征该目标对象的脸部相比正脸在垂直方向偏转的角度。
在另一种可能的实施方式中,上述脸部姿态信息获取模块41还用于:将包含有目标对象的图像输入预先训练好的脸部姿态模型,输出该目标对象的脸部姿态信息。
在另一种可能的实施方式中,该装置还包括脸部位置信息获取模块,用于:从包含有目标对象的图像中获取该目标对象的脸部位置信息;上述姿势调整模块42还用于:基于该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的位置满足预设第二条件。
在另一种可能的实施方式中,姿势调整模块42还用于:根据该脸部位置信息,确定该目标对象的脸部在该图像中的完整度;判断该完整度是否大于预设比例阈值;如果该完整度不大于该比例阈值,根据该脸部位置信息调整该图像采集设备的姿势,以使该目标对象的脸部在该图像中的完整度大于该比例阈值。
在另一种可能的实施方式中,上述脸部位置信息包括该目标对象对应的脸部检测框的位置信息;该姿势调整模块42还用于:计算该脸部检测框在该图像的画面内的面积占该脸部检测框的总面积的比值;将该比值确定为该目标对象的脸部在该图像中的完整度。
本发明实施例提供的设备控制装置,其实现原理及产生的技术效果和前述设备控制方法实施例相同,为简要描述,设备控制装置的实施例部分未提及之处,可参考前述设备控制方法实施例中相应内容。
本发明实施例还提供了一种图像采集系统,如图5所示,其为一种图像采集系统的结构示意图,其中,该图像采集系统500包括彼此连接的图像采集设备110和设备控制器51;该设备控制器51用于根据前述实施例中的设备控制方法,控制该图像采集设备110采集图像。
此外,本发明实施例还提供了一种人脸识别装置,参加图6,其为一种人脸识别装置的结构示意图,其中,该人脸识别装置600包括上述实施例中的图像采集系统500,还包括人脸识别模块61。其中,该图像采集系统500用于采集目标对象的图像,该人脸识别模块61用于根据该图像识别目标对象。
在其中一种可能的实施方式中,该人脸识别装置600可以是面板机,该面板机包括图像采集设备、设备控制器和人脸识别模块。其中,该图像采集设备可以是摄像头,并可以设置在该面板机机身上,从而当面板机的姿势调整时,相应该摄像头的拍摄角度也发生改变,从而可以拍摄到目标对象的不同角度的图像。
当该面板机工作时,图像采集设备实时采集图像视频,并将采集到的视频流输入到设备控制器,由设备控制器对视频流中的人脸信息进行分析。具体地,设备控制器通过人脸检测获取人脸在画面中的位置。当检测到人脸区域不完整时,说明此时目标对象的人脸不在拍摄区域内,此时设备控制器利用人脸检测框的位置信息对面板机的姿势进行控制。例如,当人脸处于画面左侧且不完整时,根据人脸完整程度,控制面板机向左旋转,人脸越不完整,旋转角度越大。同理,当人脸处于画面上方且不完整时,控制面板机向上旋转。
设备控制器通过调整面板机的姿势,使得采集图像中目标对象的人脸完整度达到要求后,进一步对人脸的姿态信息进行估计,并获取人脸的俯仰角、偏航角和翻滚角。这里,如果上述脸部姿态角均满足预设的识别条件,例如在预设的角度范围内,说明当前目标对象的人脸姿态相对于摄像头来说比较正,则设备控制器不调整面板机的姿势,此时图像采集设备采集到目标对象的图像满足预设的要求,从而将图像输出到人脸识别模块,以识别该目标对象。相应地,当上述脸部姿态角不在预设的角度范围内时,设备控制器根据脸部姿态角相应调整面板机的姿势,使得图像中目标对象的脸部姿态角调整到满足要求的角度范围内。
在实际操作中,该面板机中还可以包括用于调整图像采集设备姿势的机械结构,例如,设备控制器通过控制机械臂,使得图像采集设备可以进行空间多角度的旋转以及位置的抬升和下降等,从而采集到目标对象的符合要求的脸部图像。这里,对于实现调整图像采集设备姿势的方式,不限于机械臂的形式,在此不作限定。相比于现有固定式安装的面板机,本实施例提供的面板机通过人脸姿态估计获取人脸角度信息,进而精准的调节面板机的角度、位置等,以获取质量更高的人脸图像,从而提升识别精度。
本发明实施例提供的图像采集系统、人脸识别装置,均与上述实施例提供的设备控制方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例还提供了一种电子设备,如图7所示,为该电子设备的结构示意图,其中,该电子设备包括处理器71和存储器72,该存储器72存储有能够被该处理器71执行的机器可执行指令,该处理器71执行该机器可执行指令以实现上述设备控制方法。
在图7示出的实施方式中,该电子设备还包括总线73和通信接口74,其中,处理器71、通信接口74和存储器72通过总线连接。
其中,存储器72可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口74(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器71可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器71读取存储器72中的信息,结合其硬件完成前述实施例的设备控制方法的步骤。
本发明实施例还提供了一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述设备控制方法,具体实现可参见前述方法实施例,在此不再赘述。
本发明实施例所提供的设备控制方法、设备控制装置和电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的设备控制方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种设备控制方法,其特征在于,所述方法包括:
从包含有目标对象的图像中获取所述目标对象的脸部姿态信息;其中,所述图像由图像采集设备采集得到;
基于所述目标对象的脸部姿态信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的姿态满足预设第一条件。
2.根据权利要求1所述的方法,其特征在于,所述脸部姿态信息包括脸部姿态角,所述脸部姿态角为表征所述目标对象的脸部在所述图像中的姿态与正脸姿态之间偏差的角度。
3.根据权利要求2所述的方法,其特征在于,基于所述目标对象的脸部姿态信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的姿态满足预设第一条件的步骤,包括:
判断所述目标对象的脸部姿态角是否小于预设角度阈值;
如果不小于所述角度阈值,调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的脸部姿态角小于所述角度阈值。
4.根据权利要求2-3任一项所述的方法,其特征在于,所述脸部姿态角包括俯仰角和/或偏航角。
5.根据权利要求1-4任一项所述的方法,其特征在于,从包含有目标对象的图像中获取所述目标对象的脸部姿态信息的步骤,包括:
将包含有目标对象的图像输入预先训练好的脸部姿态模型,输出所述目标对象的脸部姿态信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,在从包含有目标对象的图像中获取所述目标对象的脸部姿态信息的步骤之前,所述方法还包括:
从包含有目标对象的图像中获取所述目标对象的脸部位置信息;
基于所述脸部位置信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的位置满足预设第二条件。
7.根据权利要求6所述的方法,其特征在于,基于所述脸部位置信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的位置满足预设第二条件的步骤,包括:
根据所述脸部位置信息,确定所述目标对象的脸部在所述图像中的完整度;
判断所述完整度是否大于预设比例阈值;
如果所述完整度不大于所述比例阈值,根据所述脸部位置信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的完整度大于所述比例阈值。
8.根据权利要求7所述的方法,其特征在于,所述脸部位置信息包括所述目标对象对应的脸部检测框的位置信息;
根据所述脸部位置信息确定所述目标对象的脸部在所述图像中的完整度的步骤,包括:
计算所述脸部检测框在所述图像的画面内的面积占所述脸部检测框的总面积的比值;
将所述比值确定为所述目标对象的脸部在所述图像中的完整度。
9.一种设备控制装置,其特征在于,所述装置包括:
脸部姿态信息获取模块,用于从包含有目标对象的图像中获取所述目标对象的脸部姿态信息;其中,所述图像由图像采集设备采集得到;
姿势调整模块,用于基于所述目标对象的脸部姿态信息调整所述图像采集设备的姿势,以使所述目标对象的脸部在所述图像中的姿态满足预设第一条件。
10.一种图像采集系统,其特征在于,包括彼此连接的图像采集设备和设备控制器;
所述设备控制器用于根据权利要求1至8中任一项所述的设备控制方法,控制所述图像采集设备采集图像。
11.一种人脸识别装置,其特征在于,包括权利要求10中所述的图像采集系统和人脸识别模块;
所述图像采集系统用于采集目标对象的图像;
所述人脸识别模块用于根据所述图像识别所述目标对象。
12.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的设备控制方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至8任一项所述的设备控制方法。
CN202110170035.XA 2021-02-07 2021-02-07 设备控制方法、装置和图像采集系统 Pending CN112836656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170035.XA CN112836656A (zh) 2021-02-07 2021-02-07 设备控制方法、装置和图像采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170035.XA CN112836656A (zh) 2021-02-07 2021-02-07 设备控制方法、装置和图像采集系统

Publications (1)

Publication Number Publication Date
CN112836656A true CN112836656A (zh) 2021-05-25

Family

ID=75930871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170035.XA Pending CN112836656A (zh) 2021-02-07 2021-02-07 设备控制方法、装置和图像采集系统

Country Status (1)

Country Link
CN (1) CN112836656A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673426A (zh) * 2021-08-20 2021-11-19 支付宝(杭州)信息技术有限公司 目标用户确定方法及装置
CN113887451A (zh) * 2021-10-09 2022-01-04 支付宝(杭州)信息技术有限公司 图片处理方法及装置
CN114531767A (zh) * 2022-04-20 2022-05-24 深圳市宝润科技有限公司 一种手持式x光机可视化x射线定位方法及系统
CN115390469A (zh) * 2022-08-19 2022-11-25 青岛海尔科技有限公司 家电设备的控制方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187719A (zh) * 2015-08-21 2015-12-23 深圳市金立通信设备有限公司 一种拍摄方法及终端
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN108447159A (zh) * 2018-03-28 2018-08-24 百度在线网络技术(北京)有限公司 人脸图像采集方法、装置和出入口管理系统
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质
CN110738142A (zh) * 2019-09-26 2020-01-31 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN110909568A (zh) * 2018-09-17 2020-03-24 北京京东尚科信息技术有限公司 用于面部识别的图像检测方法、装置、电子设备及介质
WO2020082827A1 (zh) * 2018-10-24 2020-04-30 中兴通讯股份有限公司 图像拍摄方法、装置、终端及计算机存储介质
CN111914693A (zh) * 2020-07-16 2020-11-10 上海云从企业发展有限公司 一种人脸姿态调整方法、系统、装置、设备及介质
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187719A (zh) * 2015-08-21 2015-12-23 深圳市金立通信设备有限公司 一种拍摄方法及终端
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN108447159A (zh) * 2018-03-28 2018-08-24 百度在线网络技术(北京)有限公司 人脸图像采集方法、装置和出入口管理系统
CN110909568A (zh) * 2018-09-17 2020-03-24 北京京东尚科信息技术有限公司 用于面部识别的图像检测方法、装置、电子设备及介质
WO2020082827A1 (zh) * 2018-10-24 2020-04-30 中兴通讯股份有限公司 图像拍摄方法、装置、终端及计算机存储介质
CN111093022A (zh) * 2018-10-24 2020-05-01 西安中兴新软件有限责任公司 图像拍摄方法、装置、终端及计算机存储介质
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质
CN110738142A (zh) * 2019-09-26 2020-01-31 广州广电卓识智能科技有限公司 一种自适应改善人脸图像采集的方法、系统及存储介质
CN111914693A (zh) * 2020-07-16 2020-11-10 上海云从企业发展有限公司 一种人脸姿态调整方法、系统、装置、设备及介质
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673426A (zh) * 2021-08-20 2021-11-19 支付宝(杭州)信息技术有限公司 目标用户确定方法及装置
CN113887451A (zh) * 2021-10-09 2022-01-04 支付宝(杭州)信息技术有限公司 图片处理方法及装置
CN114531767A (zh) * 2022-04-20 2022-05-24 深圳市宝润科技有限公司 一种手持式x光机可视化x射线定位方法及系统
CN115390469A (zh) * 2022-08-19 2022-11-25 青岛海尔科技有限公司 家电设备的控制方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN112836656A (zh) 设备控制方法、装置和图像采集系统
CN109409277B (zh) 手势识别方法、装置、智能终端及计算机存储介质
CN110738142A (zh) 一种自适应改善人脸图像采集的方法、系统及存储介质
US20150103184A1 (en) Method and system for visual tracking of a subject for automatic metering using a mobile device
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
WO2020184207A1 (ja) 物体追跡装置および物体追跡方法
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
US20130278774A1 (en) Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
US11210796B2 (en) Imaging method and imaging control apparatus
US9007481B2 (en) Information processing device and method for recognition of target objects within an image
US11983898B2 (en) Monitoring method, electronic device and storage medium
US10477089B2 (en) Image analysis method, camera and image capturing system thereof
WO2013159686A1 (en) Three-dimensional face recognition for mobile devices
US9088709B2 (en) Image processing apparatus and method for controlling the same, and image pickup apparatus
WO2023071882A1 (zh) 人眼注视检测方法、控制方法及相关设备
WO2022041014A1 (zh) 云台及其控制方法、设备,拍摄装置、系统和存储介质
CN112907617A (zh) 一种视频处理方法及其装置
KR102369152B1 (ko) 인공지능을 이용한 실시간 자세 동작 인식 시스템 및 인식 방법
CN110032921B (zh) 一种人脸识别设备的调整装置及方法
US10726249B2 (en) Method and electronic apparatus for wave detection
JP2020107070A (ja) 人検出装置および人検出方法
CN114845038A (zh) 视频拍摄设备的拍摄调整方法、装置及电子设备
CN111046831A (zh) 家禽识别方法、装置及服务器
CN111698411A (zh) 脸部影像自动检测与拍摄方法
US8743192B2 (en) Electronic device and image capture control method using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination