CN111104909A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111104909A
CN111104909A CN201911328192.8A CN201911328192A CN111104909A CN 111104909 A CN111104909 A CN 111104909A CN 201911328192 A CN201911328192 A CN 201911328192A CN 111104909 A CN111104909 A CN 111104909A
Authority
CN
China
Prior art keywords
face
distance
information
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911328192.8A
Other languages
English (en)
Inventor
李若岱
高哲峰
庄南庆
马堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201911328192.8A priority Critical patent/CN111104909A/zh
Publication of CN111104909A publication Critical patent/CN111104909A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、计算机设备及存储介质,其中,该图像处理方法包括:获取基于目标摄像装置拍摄的目标对象的人脸图像;基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息;基于所述人脸尺寸信息,确定所述人脸图像对应的目标对象与所述目标摄像装置之间的距离。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本公开涉及图像识别技术领域,具体而言,涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着科技的发展,越来越多的电子设备应运而生,比如门禁系统中使用的智能通行设备,可以极大简化人力成本;比如一些公共场设立的自动服务终端机可以给用户提供自助服务;各类电子产品的出现,为人们的生活带来了极大的便利。
为了降低一些智能电子设备的功耗,往往需要根据使用者与设备的距离,判断是否唤醒休眠中的设备。一般计算距离的方法是加装距离传感器,但距离传感器容易受周边环境(如湿度、温度等)的影响导致偏差度较大。
发明内容
本公开实施例至少提供一种图像处理方案。
第一方面,本公开实施例提供了一种图像处理方法,包括:
获取基于目标摄像装置拍摄的目标对象的人脸图像;
基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息;
基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离。
本公开实施例提供的图像处理方法,提供了一种新的确定距离的方式,即可以通过目标摄像装置获取人脸图像,然后基于人脸图像对应的人脸尺寸信息来确定目标对象与目标摄像装置之间的距离;这里,一方面通过目标摄像装置获取人脸图像时,对湿度、温度等的环境依赖度较小,另一方面人脸尺寸的计算对人脸图像的精度要求较低,基于人脸图像对应的人脸轮廓即可得到人脸尺寸信息,因而基于上述方式可以得到较为准确的距离。
在一种可能的实施方式中,在确定所述目标对象与所述目标摄像装置之间的距离后,所述图像处理方法还包括:
在所述距离满足预设条件的情况下,控制目标设备执行预设操作。
本公开实施例提供的目标设备可以是智能通行设备、机器人、智能家居、自动服务终端机等智能电子设备,在确定目标对象与目标摄像装置之间的距离满足预设条件的情况下,即可以控制目标设备执行预设操作,比如在检测到用户靠近时,再使得目标设备开始正常工作,从而可以达到节省目标设备的功耗的目的。
在一种可能的实施方式中,在所述距离满足预设条件的情况下,控制目标设备执行预设操作,包括以下至少一种:
在所述距离小于第一距离阈值时,控制所述目标设备从休眠状态进入工作状态;
在所述距离大于第二距离阈值时,控制所述目标设备从工作状态进入休眠状态;
在所述距离小于第三距离阈值时,控制所述目标设备提供预设服务内容。
以上在目标对象与目标摄像装置的距离满足预设条件的情况下,控制目标设备执行预设操作的几种情况,均可以结合具体的应用场景,达到节省目标设备的功耗的目的。
在一种可能的实施方式中,所述基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息;
基于所述人脸宽度信息和所述人脸高度信息,确定所述人脸图像对应的人脸尺寸信息。
本公开实施例提出通过预先训练的神经网络来确定人脸宽度信息和人脸高度信息,这样在获取到人脸图像后,即可以通过该神经网络快速确定表征人脸尺寸的人脸宽度信息和人脸高度信息。
在一种可能的实施方式中,所述将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息,包括:
将所述人脸图像输入所述预先训练的神经网络进行处理,得到所述人脸图像的关键点坐标值对,所述关键点坐标值对包括横坐标值和纵坐标值;
基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息。
在一种可能的实施方式中,所述基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息,包括:
基于各个所述横坐标值中的最大值和最小值之间的差值,确定所述人脸宽度信息;以及,
基于各个所述纵坐标值中的最大值和最小值之间的差值,确定所述人脸高度信息。
这里通过将人脸图像输入预先训练的神经网络,得到人脸图像中关键点坐标值对,然后进一步根据这些关键坐标值对即可确定人脸尺寸信息,这里通过引入预先训练的神经网络,可以按照同样的方式确定不同目标对象的人脸图像中相同的关键点对应的关键点坐标值对,进而确保针对不同的目标对象均可以按照统一标准确定该目标对象的人脸尺寸信息,从而便于后期在基于人脸尺寸信息确定目标对象与目标摄像机的距离时,能够做到标准化,即针对不同的目标对象,均可以在与目标摄像机的距离满足设定条件时,控制目标设备执行预设操作。
在一种可能的实施方式中,所述将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息,包括:
将所述人脸图像输入所述预先训练的神经网络进行处理,得到所述人脸图像中人脸面部的外接矩形框;
基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息。
在一种可能的实施方式中,所述基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息,包括:
将所述外接矩形框在横坐标轴方向上的长度值作为所述人脸宽度信息;以及,
将所述外接矩形框在纵坐标轴方向上的长度值作为所述人脸高度信息。
这里通过将人脸图像输入预先训练的神经网络,可以得到人脸面部的外接矩形框,然后根据该外接矩形框即可确定人脸尺寸信息,这里通过引入神经网络,可以按照同样的方式对不同目标对象的人脸图像中的人脸面部进行标注,进而确保针对不同的目标对象均可以按照统一标准确定该目标对象的人脸尺寸信息,从而便于后期在基于人脸尺寸信息确定目标对象与目标摄像机的距离时,能够做到标准化,即针对不同的目标对象,均可以在与目标摄像机的距离满足设定条件时,控制目标设备执行预设操作。
在一种可能的实施方式中,所述人脸尺寸信息包括人脸宽度信息和人脸高度信息,所述基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离,包括:
基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息;
基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置之间的所述距离。
在一种可能的实施方式中,所述基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息,包括:
基于所述人脸宽度信息、所述目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定所述第一距离信息;所述横坐标轴方向对应人脸宽度方向;
基于所述人脸高度信息、所述目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定所述第二距离信息;所述纵坐标轴方向对应人脸高度方向。
以上过程为确定目标对象与目标摄像装置的距离的过程,即在对目标摄像装置的摄像头进行标定后,即可以通过人脸尺寸信息、目标摄像装置的归一化焦距以及预存的人脸平均尺寸来确定目标对象与目标摄像装置的距离,因为这里目标摄像装置的归一化焦距和预存的人脸平均尺寸可以提前确定并保存,则在确定人脸尺寸信息后,即可快速确定出目标对象与目标摄像装置的距离。
在一种可能的实施方式中,所述基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置之间的所述距离,包括:
对所述第一距离信息、所述第二距离信息进行加权求和,得到所述目标对象与所述目标摄像装置之间的所述距离。
这里在基于第一距离信息和第二距离信息确定目标对象与目标摄像装置的距离时,考虑引入第一距离信息对应的第一权重,以及第二距离信息对应的第二权重,这样可以预先统计在确定目标对象与目标摄像装置的距离时,第一距离信息和第二距离信息各自对该距离的准确度的影响程度,进而得到较为准确的第一权重和第二权重,最终得到的目标对象与目标摄像装置的距离的准确度较高。
在一种可能的实施方式中,获取基于目标摄像装置拍摄的目标对象的人脸图像之前,所述图像处理方法还包括:
按照预先设置的摄像机标定参数,对所述目标摄像装置进行标定。
本公开在获取目标对象的人脸图像之前,先按照摄像机标定参数对目标摄像装置进行标定,从而得到更加准确的人脸图像,进而基于该人脸图像能够更加准确地确定目标对象的距离。
第二方面,本公开实施例提供了一种图像处理装置,包括:
图像获取模块,用于获取基于目标摄像装置拍摄的目标对象的人脸图像;
尺寸确定模块,用于基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息;
距离确定模块,用于基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离。
在一种可能的实施方式中,所述图像处理装置还包括设备控制模块,在所述距离确定模块确定所述目标对象与所述目标摄像装置之间的距离后,所述设备控制模块用于:
在所述距离满足预设条件的情况下,控制目标设备执行预设操作。
在一种可能的实施方式中,在所述距离满足预设条件的情况下,所述设备控制模块在用于控制目标设备执行预设操作时,包括以下至少一种:
在所述距离小于第一距离阈值时,控制所述目标设备从休眠状态进入工作状态;
在所述距离大于第二距离阈值时,控制所述目标设备从工作状态进入休眠状态;
在所述距离小于第三距离阈值时,控制所述目标设备提供预设服务内容。
在一种可能的实施方式中,所述尺寸确定模块在用于基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息时,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息;
基于所述人脸宽度信息和所述人脸高度信息,确定所述人脸图像对应的人脸尺寸信息。
在一种可能的实施方式中,所述尺寸确定模块在用于将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息时,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的关键点坐标值对;每个所述关键点坐标值对包括横坐标值和纵坐标值;
基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息。
在一种可能的实施方式中,所述尺寸确定模块在用于基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息时,包括:
基于各个所述横坐标值中的最大值和最小值之间的差值,确定所述人脸宽度信息;以及,
基于各个所述纵坐标值中的最大值和最小值之间的差值,确定所述人脸高度信息。
在一种可能的实施方式中,所述尺寸确定模块在用于将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息时,包括:
将所述人脸图像输入所述预先训练的神经网络进行处理,得到所述人脸图像中人脸面部的外接矩形框;
基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息。
在一种可能的实施方式中,所述尺寸确定模块在用于基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息时,包括:
将所述外接矩形框在横坐标轴方向上的长度值作为所述人脸宽度信息;以及,
将所述外接矩形框在纵坐标轴方向上的长度值作为所述人脸高度信息。
在一种可能的实施方式中,所述人脸尺寸信息包括人脸宽度信息和人脸高度信息,所述距离确定模块在用于基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离时,包括:
基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息;
基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置之间的所述距离。
在一种可能的实施方式中,所述距离确定模块在用于基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息时,包括:
基于所述人脸宽度信息、所述目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定所述第一距离信息;所述横坐标轴方向对应人脸宽度方向;
基于所述人脸高度信息、所述目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定所述第二距离信息;所述纵坐标轴方向对应人脸高度方向。
在一种可能的实施方式中,所述距离确定模块在用于基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置的距离时,包括:
对所述第一距离信息、所述第二距离信息进行加权求和,得到所述目标对象与所述目标摄像装置之间的所述距离。
在一种可能的实施方式中,所述图像处理装置还包括相机模块,在所述图像获取模块获取基于目标摄像装置拍摄的目标对象的人脸图像之前,所述标定模块用于:
按照预先设置的摄像机标定参数,对所述目标摄像装置进行标定。
第三方面,本公开实施例提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的图像处理方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的图像处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图;
图2示出了本公开实施例所提供的一种确定人脸尺寸信息的方法流程图;
图3示出了本公开实施例所提供的第一种确定人脸宽度信息和人脸高度信息的方法流程图;
图4示出了本公开实施例所提供的第二种确定人脸宽度信息和人脸高度信息的方法流程图;
图5示出了本公开实施例所提供的一种确定目标对象与目标摄像装置的距离的方法流程图;
图6示出了本公开实施例所提供的一种确定目标对象与目标摄像装置的距离的原理示意图;
图7示出了本公开实施例所提供的一种图像处理装置的示意图;
图8示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
智能通行设备为例,只有确定目标对象在识别区域内时,才能采集到预定条件的人脸图像。在相关技术中,一般通过在智能通行设备上加装距离传感器来检测是否有用户靠近,但是距离传感器容易受到周边环境影响导致偏差度较大,针对此本公开实施例提供了一种图像处理方法,将结合以下具体实施例进行详细阐述。
本公开提供了一种图像处理方法,用于提供一种新的确定距离的方式,该方式可以通过目标摄像装置获取人脸图像,然后基于人脸图像对应的人脸尺寸信息来确定目标对象与目标摄像装置之间的距离。一方面通过目标摄像装置获取人脸图像时,对湿度、温度等的环境依赖度较小,另一方面人脸尺寸的计算对人脸图像的精度要求较低,基于人脸图像对应的人脸轮廓即可得到人脸尺寸信息,因而基于上述方式可以得到较为准确的距离,从而无需采用距离传感器,节省了成本。
下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
下面以执行主体为图像处理装置,该图像处理装置与目标摄像装置(如摄像头)可以集成在同一个电子设备上,也可以单独设置,下面对本公开实施例提供的图像处理方法加以详细说明。
参见图1所示,为本公开实施例提供的图像处理方法的流程图,该图像处理方法包括以下步骤S101~S103:
S101,获取基于目标摄像装置拍摄的目标对象的人脸图像。
其中,这里的目标摄像装置可以为摄像机、照相机等具有摄像头的可以采集图像的电子设备,当目标摄像装置为摄像机时,可以在获取到视频后,再对视频进行分帧处理,从而得到多帧图像;当为照相机时,这里可以按照设定时间间隔拍摄图像。
为了保证能够获取到更加准确的目标对象的人脸图像,即获取到未畸变的图像,这里在获取基于目标摄像装置拍摄的目标对象的人脸图像之前,会先按照摄像机标定参数对目标摄像装置进行标定。
另外,为了能够确保在目标对象靠近时,能够采集到目标对象的人脸图像,这里的目标摄像装置一般情况下会始终处于正常工作状态,即始终进行拍摄图像,特别地,为了能够在较暗的环境下拍摄到靠近的目标对象的人脸图像,这里的目标摄像装置可以为红外摄像装置。
进一步地,目标摄像装置将拍摄得到的图像发送至图像处理装置,可以由图像处理装置选择出包含人脸面部的人脸图像,或者,这里的目标摄像装置可以提取出包含人脸面部的人脸图像,然后直接将人脸图像发送至图像处理装置。
S102,基于人脸图像,确定人脸图像对应的人脸尺寸信息。
这里的人脸尺寸信息可以包括获取到的人脸面部的宽度、高度或者面积中的至少一种,人脸尺寸信息可以通过目标摄像装置拍摄到目标对象的人脸轮廓来确定。
S103,基于人脸尺寸信息,确定目标对象与目标摄像装置之间的距离。
以上内容S101~S103提出的图像处理方法,可以通过目标摄像装置获取人脸图像,然后基于人脸图像对应的人脸尺寸信息来确定目标对象与目标摄像装置之间的距离。一方面通过目标摄像装置获取人脸图像时,对湿度、温度等的环境依赖度较小,另一方面人脸尺寸的计算对人脸图像的精度要求较低,基于人脸图像对应的人脸轮廓即可得到人脸尺寸信息,因而基于上述方式可以得到较为准确的距离,从而无需采用距离传感器,节省了成本。
下面将结合具体的实施例来对上述S101~S103的过程进行分析。
针对上述S101人脸尺寸信息可以包括人脸宽度信息和人脸高度信息,在一种实施方式中,基于人脸图像,确定人脸图像对应的人脸尺寸信息时,如图2所示,可以包括以下步骤S201~S202:
S201,将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的人脸宽度信息和人脸高度信息;
S202,基于人脸宽度信息和人脸高度信息,确定人脸图像对应的人脸尺寸信息。
这里通过预先训练的神经网络确定人脸图像的人脸宽度信息和人脸高度信息时,可以输出表征人脸面部的外部轮廓的位置信息,比如可以输出表征人脸面部的外部轮廓的关键点在图像坐标系中的关键点坐标值对,进而基于这些关键点坐标值对确定人脸图像的人脸宽度信息和人脸高度信息;或者也可以输出表征人脸面部的外接矩形框,进而根据该外接矩形框确定人脸图像的人脸宽度信息和人脸高度信息。
在得到人脸宽度信息和人脸高度信息,即可以确定人脸尺寸信息,比如人脸尺寸信息即包括人脸宽度信息和人脸高度信息,或者通过人脸宽度信息和人脸高度信息来进一步确定人脸面积,本公开实施例以人脸尺寸信息即包括人脸宽度和人脸高度为例进行阐述。
本公开实施例提出通过预先训练的神经网络来确定人脸宽度信息和人脸高度信息,这样在获取到人脸图像后,即可以通过该神经网络快速确定表征人脸尺寸的人脸宽度信息和人脸高度信息。
下面将详细介绍针如何将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的人脸宽度信息和人脸高度信息,在一种实施方式中,如图3所示,为一种基于预先训练的神经网络确定人脸宽度信息和人脸高度信息的方法流程图,该过程包括以下步骤S301~S302:
S301,将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的关键点坐标值对,该关键点坐标值对包括横坐标值和纵坐标值;
S302,基于各个关键点坐标值对中的横坐标值和纵坐标值,确定人脸宽度信息和人脸高度信息。
其中,横坐标值所在的横坐标轴的方向对应人脸宽度方向,纵坐标值所在的纵坐标轴的方向对应人脸高度方向。
在将人脸图像输入预先训练的神经网络后,该预先训练的神经网络能够定位出人脸面部的外部轮廓和器官的边缘,然后在外部轮廓和器官的边缘选择关键点,并输出这些关键点对应的关键点坐标值对。
这里每个关键点坐标值对均包括横坐标轴方向上的横坐标值和纵坐标轴方向上的纵坐标值,若将横坐标轴记为x轴,纵坐标轴记为y轴,将人脸图像输入预先训练的神经网络后,得到n个关键点坐标值对,可以分别记为(x1,y1),...,(xn,yn),每个关键点坐标值对可以包括横坐标值,以及包括纵坐标值,这里使得横坐标轴方向与人脸宽度方向对应,使得纵坐标轴方向与人脸高度方向对应,即可以根据人脸宽度方向上的各个横坐标值来确定人脸宽度信息,根据人脸高度方向上的各个纵坐标值来确定人脸高度信息。
具体地,上述预先训练的神经网络可以按照以下方式进行训练生成:
(1)构建第一样本图像库,该第一样本图像库中包括:包含人脸且标注有关键点坐标值对第一样本图像集,与第一样本图像集分别对应的未标注关键点坐标值对的第二样本图像集,以及没有人脸的第三样本图像集;
(2)将第二样本图像集和第三样本图像集作为神经网络的输入样本,将第一样本图像集作为神经网络的输出样本,训练得到神经网络。
这里第一样本图像集中每个第一样本图像与对应的第二样本图像中的人脸一致,区别是该第一样本图像中的人脸上标注有关键点坐标值对,而对应的第二样本图像中的人脸上未标注有关键点坐标值对。
以上横坐标轴和纵坐标轴可以互换,即可以使得横坐标轴方向对应人脸高度方向,使得纵坐标轴方向对应人脸宽度方向,在此不再赘述。
具体地,在基于各个关键点坐标值对中的横坐标值和纵坐标值,确定人脸宽度信息和人脸高度信息时,可以包括:
(1)基于各个横坐标值中的最大值和最小值之间的差值,确定人脸宽度信息。
这里的人脸宽度信息可以是具体的数值,若在图像坐标系中,可以通过像素值来表示,具体地,可以通过以下公式(1)来确定人脸宽度信息:
w=max(x1,...,xn)-min(x1,...,xn) (1);
这里w表示人脸宽度信息,即横坐标值中最大值的和最小值之间的差值,比如横坐标值中最大值为x8,最小值为x2,则这里人脸宽度信息w=x8-x2
(2)基于各个纵坐标值中的最大值和最小值之间的差值,确定人脸高度信息。
这里的人脸高度信息可以是具体的数值,若在图像坐标系中,可以通过像素值来表示,具体地,可以通过以下公式(2)来确定人脸高度信息:
h=max(y1,...,yn)-min(y1,...,yn) (2);
这里h表示人脸高度信息,即纵坐标值中最大值的和最小值之间的差值,比如纵坐标值中最大值为y6,最小值为y1,则这里人脸高度信息h=y6-y1
这里通过将人脸图像输入预先训练的神经网络,得到人脸图像中关键点坐标值对,然后进一步根据这些关键坐标值对即可确定人脸尺寸信息,这里通过引入预先训练的神经网络,可以按照同样的方式确定不同目标对象的人脸图像中相同的关键点对应的关键点坐标值对,进而确保针对不同的目标对象均可以按照统一标准确定该目标对象的人脸尺寸信息,从而便于后期在基于人脸尺寸信息确定目标对象与目标摄像机的距离时,能够做到标准化,即针对不同的目标对象,均可以在与目标摄像机的距离满足设定条件时,控制目标设备执行预设操作。
在另一种实施方式中,如图4所示,为一种基于预先训练的神经网络确定人脸宽度信息和人脸高度信息的方法流程图,该过程包括以下步骤S401~S402:
S401,将人脸图像输入预先训练的神经网络进行处理,得到人脸图像中人脸面部的外接矩形框;
S402,基于人脸面部的外接矩形框确定人脸宽度信息和人脸高度信息。
这里的外接矩形框具体可以是指用于标注人脸图像中的人脸面部在人脸图像中的位置的矩形框。
在该情况下,这里预先训练的神经网络与前文提到的神经网络可以为同一个神经网络,即预先训练的神经网络在接收到人脸图像后,可以输出该人脸图像的关键点坐标值对,也可以输出人脸面部的外接矩形框。
以上输出人脸面部的外接矩形框的神经网络可以按照以下方式进行训练生成:
(1)构建第二样本图像库,该第二样本图像库中包括:包含人脸且标注有外接矩形框的第一样本图像集,与第一样本图像集分别对应的未标注外接矩形框的第二样本图像集,以及没有人脸的第三样本图像集;
(2)将第二样本图像集和第三样本图像集作为神经网络的输入样本,将第一样本图像集作为神经网络的输出样本,训练得到第一神经网络。
这里第一样本图像集中每个第一样本图像与对应的第二样本图像中的人脸一致,区别是该第一样本图像中的人脸上标注有外接矩形框,而对应的第二样本图像中的人脸上未标注有外接矩形框。
具体地,在基于人脸面部的外接矩形框确定人脸宽度信息和人脸高度信息时,包括:
(1)将该外接矩形框在横坐标轴方向上的长度值作为人脸宽度信息;
(2)将该外接矩形框在纵坐标轴方向上的长度值作为人脸高度信息。
其中,外接矩形框中包含两组平行线段,其中一组平行线段在横坐标轴中的长度值可以表征人脸宽度信息,另外一组平行线段在纵坐标轴中的长度值则可以表征人脸高度信息。
这里的横坐标轴和纵坐标轴所在的坐标系可以为人脸图像所在的图像坐标系,通过提前设置人脸图像该图像坐标系中的位置,比如设置人脸图像中人脸面部的宽度方向与横坐标轴平行,人脸面部的高度方向与纵坐标轴平行,则可以将该外接矩形框在横坐标轴方向上的长度值作为人脸宽度信息,将该外接矩形框在纵坐标轴方向上的长度值作为人脸高度信息。
以上横坐标轴和纵坐标轴可以互换,即可以使得横坐标轴方向对应人脸高度方向,使得纵坐标轴方向对应人脸宽度方向,在此不再赘述。
这里通过将人脸图像输入预先训练的神经网络,可以得到人脸面部的外接矩形框,然后根据该外接矩形框即可确定人脸尺寸信息,这里通过引入神经网络,可以按照同样的方式对不同目标对象的人脸图像中的人脸面部进行标注,进而确保针对不同的目标对象均可以按照统一标准确定该目标对象的人脸尺寸信息,从而便于后期在基于人脸尺寸信息确定目标对象与目标摄像机的距离时,能够做到标准化,即针对不同的目标对象,均可以在与目标摄像机的距离满足设定条件时,控制目标设备执行预设操作。
以上输出人脸图像的关键点坐标值对的神经网络以及输出人脸面部的外接矩形框的神经网络可以是同一个神经网络,也可以是不同的神经网络,在是同一个神经网络的情况下,具体通过哪种方式确定人脸宽度信息和人脸高度信息可以是根据预先设定的,比如可以按照人工输入的方式来输出人脸图像的关键点坐标值对或人脸面部的外接矩形框,在此不做具体限定。
在确定目标对象对应的人脸图像中的人脸尺寸信息后,即确定了人脸尺寸信息中的人脸宽度信息和人脸高度信息后,即可以根据该人脸尺寸信息进一步确定该目标对象与目标摄像装置之间的距离,具体地,在基于人脸尺寸信息,确定目标对象与目标摄像装置之间的距离时,如图5所示,可以包括以下步骤S501~S502:
S501,基于人脸宽度信息,确定目标对象与目标摄像装置之间的第一距离信息,以及基于人脸高度信息,确定目标对象与目标摄像装置之间的第二距离信息。
这里人脸宽度信息可以是上文提到的各个横坐标值中最大值和最小值之间的差值,或者,可以是上文提到的外接矩形框在横坐标轴方向上的长度值,这里的人脸宽度信息可以通过像素值来表示。
同理,这里人脸高度信息可以是上文提到的各个纵坐标值中最大值和最小值之间的差值,或者,可以是上文提到的外接矩形框在纵坐标轴方向上的长度值,这里的人脸高度信息可以通过像素值来表示。
S502,基于第一距离信息和第二距离信息确定目标对象与目标摄像装置之间的距离。
因为人脸图像中的人脸面部包括宽度和高度,这里的第一距离信息是基于人脸宽度信息确定的,第二距离信息是基于人脸高度信息确定的,通过第一距离信息和第二距离信息能够更加准确地确定目标对象与目标摄像装置之间的距离。
针对上述S501,具体地,在基于人脸宽度信息,确定目标对象与目标摄像装置之间的第一距离信息,以及基于人脸高度信息,确定目标对象与目标摄像装置之间的第二距离信息时,可以包括:
(1)基于人脸宽度信息、目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定第一距离信息;其中,横坐标轴方向对应人脸宽度方向。
这里的目标摄像装置的焦距映射到横坐标轴方向上的横坐标值可以在对目标摄像装置的摄像头进行标定后确定,进行标定后,摄像头的光轴穿过成像平面的中心点,该横坐标值具体可以按照以下公式(3)来确定:
fx=f/dx (3);
其中fx表示目标摄像装置的焦距映射到横坐标轴方向上的横坐标值,也可以表示目标摄像装置在横坐标轴上的归一化焦距;f表示目标摄像装置的焦距;dx表示横坐标轴方向上的单位像素的尺寸。
这里预存的人脸平均宽度值可以经过统计,得到的真实人脸宽度的平均值。
进一步地,在基于人脸宽度信息、目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定第一距离信息时,可以按照以下公式(4)确定该第一距离信息:
D1=Wfx/w; (4);
其中,D1表示第一距离信息;W表示预存的人脸平均宽度值;w表示人脸宽度信息。
以上公式(4)可以通过引入图6所示的成像原理图推导得出,图6中物距D1所在的三角形,和目标摄像装置在横坐标轴上的归一化焦距所在的三角形,互为相似三角形,两个三角形的直角边对应成比例,这样即可以根据该相似关系,得到上述确定第一距离信息的公式(4)。
(2)基于人脸高度信息、目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定第二距离信息;纵坐标轴方向对应人脸高度方向。
这里的目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值同样可以在对目标摄像装置的摄像头进行标定后确定,进行标定后,摄像头的光轴穿过成像平面的中心点,该纵坐标值具体可以按照以下公式(5)来确定:
fy=f/dy (5);
其中fy表示目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值,也可以表示目标摄像装置在纵坐标轴上的归一化焦距;f表示目标摄像装置的焦距;dy表示纵坐标轴方向上的单位像素的尺寸。
这里预存的人脸平均高度值可以经过统计,得到的真实人脸高度的平均值。
进一步地,在基于人脸高度信息、目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定第二距离信息时,可以按照以下公式(6)确定第一距离信息:
D2=Hfy/h; (6);
其中,D2表示第二距离信息;H表示预存的人脸平均高度值;h表示人脸高度信息。
以上公式(6)同样可以通过成像原理图中的相似三角形对应成比例得到,在此不再赘述。
以上过程为确定目标对象与目标摄像装置的距离的过程,即在对目标摄像装置的摄像头进行标定后,即可以通过人脸尺寸信息、目标摄像装置的归一化焦距以及预存的人脸平均尺寸来确定目标对象与目标摄像装置的距离,因为这里目标摄像装置的归一化焦距和预存的人脸平均尺寸可以提前确定并保存,则在确定人脸尺寸信息后,即可快速确定出目标对象与目标摄像装置的距离。
针对上述S502,这里在基于第一距离信息和第二距离信息确定目标对象与目标摄像装置的距离时,可以包括:
(1)获取第一距离信息对应的第一权重,以及第二距离信息对应的第二权重。
这里的第一权重和第二权重可以是预先设置好的,比如经过多次实验验证,若确定基于人脸宽度信息确定的第一距离信息在计算目标对象与目标摄像装置之间的距离时,对该距离的准确度影响较大,则第一距离信息对应的第一权重大于第二距离信息对应的第二权重,反之,则第二距离信息对应的第二权重大于第一距离信息对应的权重,当第一距离信息和第二距离信息对目标对象与目标摄像装置之间的距离的准确度影响一样大时,第一权重与第二权重相等。
(2)基于第一权重和第二权重,对第一距离信息、第二距离信息进行加权求和,得到目标对象与目标摄像装置的距离。
具体地,在基于第一距离信息和第二距离信息确定目标对象与目标摄像装置的距离时,可以按照以下公式(7)确定:
D=λD1+(1-λ)D2 (7);
这里D表示目标对象与目标摄像装置的距离;λ表示第一距离信息对应的第一权重,1-λ表示第二距离信息对应的第二权重。
这里在基于第一距离信息和第二距离信息确定目标对象与目标摄像装置的距离时,考虑引入第一距离信息对应的第一权重,以及第二距离信息对应的第二权重,这样可以预先统计在确定目标对象与目标摄像装置的距离时,第一距离信息和第二距离信息各自对该距离的准确度的影响程度,进而得到较为准确的第一权重和第二权重,最终得到的目标对象与目标摄像装置的距离的准确度较高。
在得到目标对象与目标摄像装置之间的距离后,本公开实施例还提出了一种该距离的应用场景,比如目标摄像装置设置在目标设备上,即目标摄像装置可以为目标设备的内接摄像头,或者,目标摄像装置与目标设置距离很近,比如小于设定阈值时,即目标摄像装置可以为目标设备的外接摄像头,此时本公开实施例提供的图像处理方法还包括:
在目标对象与目标摄像装置之间的距离满足预设条件的情况下,控制目标设备执行预设操作。
这里的目标设备可以是智能通行设备、机器人、智能家居、自动服务终端机等智能电子设备,在确定目标对象与目标摄像装置之间的距离满足预设条件的情况下,即可以控制目标设备执行预设操作,比如在检测到用户靠近时,再使得目标设备开始正常工作,从而可以达到节省目标设备的功耗的目的,具体场景将于后文结合具体的实施例进行阐述。
因为目标摄像装置可以部署在目标设备上,或者与目标设备之间的距离小于设定阈值,则这里可以通过目标对象与目标摄像装置之间的距离来表示目标对象与目标设备之间的距离,这样在确定人脸图像对应的目标对象与目标摄像装置之间的距离后,即可以确定出目标对象与目标设备之间的距离。
进一步地,本公开实施例提供的目标设备,作为智能电子设备,一般情况下会安装有摄像装置,比如智能通行设备、智能机器人、智能家居等均安装有摄像装置来完成与该设备匹配的功能,即本公开实施例提供的图像处理方法可以利用目标设备本身集成的摄像装置即可以确定与靠近的目标对象的距离,不需要额外加装距离传感器来确定与目标对象的距离,无需增加额外成本,也无需占用目标设备的使用空间。
具体地,在距离满足预设条件的情况下,控制目标设备执行预设操作,包括以下至少一种:
(1)在距离小于第一距离阈值时,控制目标设备从休眠状态进入工作状态;
(2)在距离大于第二距离阈值时,控制目标设备从工作状态进入休眠状态;
(3)在距离小于第三距离阈值时,控制目标设备提供预设服务内容。
其中,第(1)种情况下,在目标对象与目标摄像装置之间的距离小于第一距离阈值时,控制目标设备从休眠状态进入工作状态,即使得目标设备开始正常工作。
因为目标摄像装置与目标设备的位置关系是提前设置好的,当确定出用户与目标摄像装置的距离小于第一距离阈值时,则可以确定出用户与目标设备之间的距离,这样通过调整第一距离阈值的大小,即可以确定目标设备进入工作状态的条件,这里第一距离阈值可以通过多次实验确定,确定出当用户距离目标设备的距离满足什么条件时使得目标设备进入工作状态较为合适。
在一种实施方式中,该应用场景下的目标设备可以为具有安全认证的智能通行设备,比如一些非公共场所的门禁系统,在控制目标设备执行预设操作包括控制智能通行设备从休眠状态进入工作状态的情况下,控制智能通行设备从休眠状态进入工作状态之后,图像处理方法还包括:
(1)获取目标对象的身份验证信息;
(2)基于身份验证信息确定目标对象的身份信息合法时,控制智能通行设备进行开启。
这里的智能通行设备可以为应用在非公共场所的门禁系统中,该智能通行设备还可以包括人机交互部件,在无用户靠近时,智能通行设备中的人机交互部件可以保持休眠状态,当有用户靠近,可以控制该智能通行设备中的人机交互部件进入工作状态。
这里的人机交互部件在进入工作状态后,可以提示用户输入身份验证信息,这里的身份验证信息可以是清晰的人脸图像、清晰的指纹或者密码,然后将身份验证信息发送至图像处理装置,图像处理装置可以基于获取的身份验证信息和预先存储的合法用户的身份信息,确定目标对象的身份信息是否合法,在确定目标对象的身份信息合法时,进一步控制智能通行设备开启。
这里人机交互部件可以具有摄像头、输入按键和指纹采集器中的一种或多种,这里的摄像头可以用于近距离采集清晰的人脸图像;输入按键可以用于接收用户输入的表征该用户身份验证信息的密码;指纹采集器可以用于接收用户输入的表征该用户的身份验证信息的指纹。
当目标设备为具有安全认证的智能通行设备时,在确定目标对象与目标摄像装置靠近到小于第一距离阈值,控制目标设备进入工作状态后,能够对目标对象进行身份验证,实现对通行行为合法性进行验证。
针对上述第(2)种情况,在目标对象与目标摄像装置之间的距离大于第二距离阈值时,则可以控制目标设备从工作状态进入休眠状态,以达到节省目标设备的功耗。
该场景可以与第一种情况结合使用,此时第二距离阈值与第一距离阈值相同,即在目标对象与目标摄像装置之间的距离大于第一距离阈值时,重新控制目标设备从工作状态进入休眠状态;或者,这里的应用场景可以单独使用。
以智能办公设备为例,当检测到用户离开时,可以控制智能办公设备进入休眠状态以节省功耗,在用户返回时,再重新开启该智能办公设备。
针对上述第(3)种情况,当目标对象与目标摄像装置之间的距离小于第三距离阈值时,可以控制目标设备提供预设服务内容,这种场景下也可以应用于智能通行设备,比如公共场所的门禁系统,当用户与目标摄像装置距离小于第三距离阈值时,即可以控制智能通行设备开启;或者应用于自动服务终端机,当用户与目标摄像装置距离小于第三距离阈值时,可以询问用户需要什么帮助,再比如,这里的目标设备还可以是智能家居设备,当然还可以为其它种类的智能电子设备,这里在确定目标对象与目标摄像装置之间的距离小于第三距离阈值,才控制目标设备提供预设服务内容,同样可以在无人靠近时保持休眠状态,以达到降低功耗的目的。
以上在目标对象与目标摄像装置的距离满足预设条件的情况下,控制目标设备执行预设操作的几种情况,达到节省目标设备的功耗的目的。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与图像处理方法对应的图像处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图7所示,为本公开实施例提供的一种图像处理装置700的示意图,装置包括:图像获取模块701、尺寸确定模块702以及距离确定模块703。
其中,图像获取模块701,用于获取基于目标摄像装置拍摄的目标对象的人脸图像;
尺寸确定模块702,用于基于人脸图像,确定人脸图像对应的人脸尺寸信息;
距离确定模块703,用于基于人脸尺寸信息,确定目标对象与目标摄像装置之间的距离。
在一种可能的实施方式中,图像处理装置700还包括设备控制模块704,在距离确定模块703确定目标对象与目标摄像装置之间的距离后,设备控制模块704用于:
在距离满足预设条件的情况下,控制目标设备执行预设操作。
在一种可能的实施方式中,目标摄像装置部署在目标设备上;或者,目标摄像装置与目标设备之间的距离小于第一距离阈值。
在一种可能的实施方式中,在距离满足预设条件的情况下,设备控制模块704在用于控制目标设备执行预设操作时,包括以下至少一种:
在距离小于第一距离阈值时,控制目标设备从休眠状态进入工作状态;
在距离大于第二距离阈值时,控制目标设备从工作状态进入休眠状态;
在距离小于第三距离阈值时,控制目标设备提供预设服务内容。
在一种可能的实施方式中,尺寸确定模块702在用于基于人脸图像,确定人脸图像对应的人脸尺寸信息时,包括:
将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的人脸宽度信息和人脸高度信息;
基于人脸宽度信息和人脸高度信息,确定人脸图像对应的人脸尺寸信息。
在一种可能的实施方式中,尺寸确定模块702在用于将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的人脸宽度信息和人脸高度信息时,包括:
将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的关键点坐标值对;每个关键点坐标值对包括横坐标值和纵坐标值;
基于各个关键点坐标值对中的横坐标值和纵坐标值,确定人脸宽度信息和人脸高度信息。
在一种可能的实施方式中,尺寸确定模块702在用于基于各个关键点坐标值对中的横坐标值和纵坐标值,确定人脸宽度信息和所述人脸高度信息时,包括:
基于各个横坐标值中的最大值和最小值之间的差值,确定人脸宽度信息;以及,
基于各个纵坐标值中的最大值和最小值之间的差值,确定人脸高度信息。
在一种可能的实施方式中,尺寸确定模块702在用于将人脸图像输入预先训练的神经网络进行处理,得到人脸图像的人脸宽度信息和人脸高度信息时,包括:
将人脸图像输入预先训练的神经网络进行处理,得到人脸图像中人脸面部的外接矩形框;
基于人脸面部的外接矩形框确定所述人脸宽度信息和人脸高度信息。
在一种可能的实施方式中,尺寸确定模块702在用于基于人脸面部的外接矩形框确定人脸宽度信息和所述人脸高度信息时,包括:
将外接矩形框在横坐标轴方向上的长度值作为人脸宽度信息;以及,
将外接矩形框在纵坐标轴方向上的长度值作为人脸高度信息。
在一种可能的实施方式中,人脸尺寸信息包括人脸宽度信息和人脸高度信息,距离确定模块703在用于基于人脸尺寸信息,确定目标对象与目标摄像装置之间的距离时,包括:
基于人脸宽度信息,确定目标对象与目标摄像装置之间的第一距离信息,以及基于人脸高度信息,确定目标对象与目标摄像装置之间的第二距离信息;
基于第一距离信息和第二距离信息确定目标对象与目标摄像装置之间的距离。
在一种可能的实施方式中,距离确定模块703在用于基于人脸宽度信息,确定目标对象与目标摄像装置之间的第一距离信息,以及基于人脸高度信息,确定目标对象与目标摄像装置之间的第二距离信息时,包括:
基于人脸宽度信息、目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定第一距离信息;其中,横坐标轴方向对应人脸宽度方向;
基于人脸高度信息、目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定第二距离信息;其中,纵坐标轴方向对应人脸高度方向。
在一种可能的实施方式中,距离确定模块703在用于基于第一距离信息和第二距离信息确定目标对象与目标摄像装置的距离时,包括:
对第一距离信息、第二距离信息进行加权求和,得到目标对象与目标摄像装置之间的距离。
在一种可能的实施方式中,图像处理装置700还包括标定模块705,在图像获取模块701获取基于目标摄像装置拍摄的目标对象的人脸图像之前,标定模块705用于:
按照预先设置的摄像机标定参数,对目标摄像装置进行标定。
在一种可能的实施方式中,目标设备为智能通行设备,在控制目标设备执行预设操作包括控制智能通行设备从休眠状态进入工作状态的情况下,控制智能通行设备从休眠状态进入工作状态之后,设备控制模块704还用于:
获取目标对象的身份验证信息;
基于身份验证信息确定目标对象的身份信息合法时,控制智能通行设备进行开启。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的图像处理方法,本公开实施例还提供了一种计算机设备800,如图8所示,为本公开实施例提供的计算机设备800结构示意图,包括:
处理器801、存储器802、和总线803;存储器802用于存储执行指令,包括内存8021和外部存储器8022;这里的内存8021也称内存储器,用于暂时存放处理器801中的运算数据,以及与硬盘等外部存储器8022交换的数据,处理器801通过内存8021与外部存储器8022进行数据交换,当计算机设备800运行时,处理器801与存储器802之间通过总线803通信,使得处理器801执行以下指令:获取基于目标摄像装置拍摄的目标对象的人脸图像;基于人脸图像,确定人脸图像对应的人脸尺寸信息;基于人脸尺寸信息,确定目标对象与目标摄像装置之间的距离。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述方法实施例中的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (20)

1.一种图像处理方法,其特征在于,包括:
获取基于目标摄像装置拍摄的目标对象的人脸图像;
基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息;
基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离。
2.根据权利要求1所述的图像处理方法,其特征在于,在确定所述目标对象与所述目标摄像装置之间的距离后,所述图像处理方法还包括:
在所述距离满足预设条件的情况下,控制目标设备执行预设操作。
3.根据权利要求2所述的图像处理方法,其特征在于,在所述距离满足预设条件的情况下,控制目标设备执行预设操作,包括以下至少一种:
在所述距离小于第一距离阈值时,控制所述目标设备从休眠状态进入工作状态;
在所述距离大于第二距离阈值时,控制所述目标设备从工作状态进入休眠状态;
在所述距离小于第三距离阈值时,控制所述目标设备提供预设服务内容。
4.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息;
基于所述人脸宽度信息和所述人脸高度信息,确定所述人脸图像对应的人脸尺寸信息。
5.根据权利要求4所述的图像处理方法,其特征在于,所述将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息,包括:
将所述人脸图像输入所述预先训练的神经网络进行处理,得到所述人脸图像的关键点坐标值对,所述关键点坐标值对包括横坐标值和纵坐标值;
基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息。
6.根据权利要求5所述的图像处理方法,其特征在于,所述基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息,包括:
基于各个所述横坐标值中的最大值和最小值之间的差值,确定所述人脸宽度信息;以及,
基于各个所述纵坐标值中的最大值和最小值之间的差值,确定所述人脸高度信息。
7.根据权利要求4所述的图像处理方法,其特征在于,所述将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息,包括:
将所述人脸图像输入所述预先训练的神经网络进行处理,得到所述人脸图像中人脸面部的外接矩形框;
基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息。
8.根据权利要求7所述的图像处理方法,其特征在于,所述基于所述人脸面部的外接矩形框确定所述人脸宽度信息和所述人脸高度信息,包括:
将所述外接矩形框在横坐标轴方向上的长度值作为所述人脸宽度信息;以及,
将所述外接矩形框在纵坐标轴方向上的长度值作为所述人脸高度信息。
9.根据权利要求1所述的图像处理方法,其特征在于,所述人脸尺寸信息包括人脸宽度信息和人脸高度信息,所述基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离,包括:
基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息;
基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置之间的所述距离。
10.根据权利要求9所述的图像处理方法,其特征在于,所述基于所述人脸宽度信息,确定所述目标对象与所述目标摄像装置之间的第一距离信息,以及基于所述人脸高度信息,确定所述目标对象与所述目标摄像装置之间的第二距离信息,包括:
基于所述人脸宽度信息、所述目标摄像装置的焦距映射到横坐标轴方向上的横坐标值以及预存的人脸平均宽度值,确定所述第一距离信息;所述横坐标轴方向对应人脸宽度方向;
基于所述人脸高度信息、所述目标摄像装置的焦距映射到纵坐标轴方向上的纵坐标值以及预存的人脸平均高度值,确定所述第二距离信息;所述纵坐标轴方向对应人脸高度方向。
11.根据权利要求9或10所述的图像处理方法,其特征在于,所述基于所述第一距离信息和所述第二距离信息确定所述目标对象与所述目标摄像装置之间的所述距离,包括:
对所述第一距离信息、所述第二距离信息进行加权求和,得到所述目标对象与所述目标摄像装置之间的所述距离。
12.根据权利要求1至11任一所述的图像处理方法,其特征在于,获取基于目标摄像装置拍摄的目标对象的人脸图像之前,所述图像处理方法还包括:
按照预先设置的摄像机标定参数,对所述目标摄像装置进行标定。
13.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取基于目标摄像装置拍摄的目标对象的人脸图像;
尺寸确定模块,用于基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息;
距离确定模块,用于基于所述人脸尺寸信息,确定所述目标对象与所述目标摄像装置之间的距离。
14.根据权利要求13所述的图像处理装置,其特征在于,所述图像处理装置还包括设备控制模块,在所述距离确定模块确定所述目标对象与所述目标摄像装置之间的距离后,所述设备控制模块用于:
在所述距离满足预设条件的情况下,控制目标设备执行预设操作。
15.根据权利要求14所述的图像处理装置,其特征在于,在所述距离满足预设条件的情况下,所述设备控制模块在用于控制目标设备执行预设操作时,包括以下至少一种:
在所述距离小于第一距离阈值时,控制所述目标设备从休眠状态进入工作状态;
在所述距离大于第二距离阈值时,控制所述目标设备从工作状态进入休眠状态;
在所述距离小于第三距离阈值时,控制所述目标设备提供预设服务内容。
16.根据权利要求15所述的图像处理装置,其特征在于,所述尺寸确定模块在用于基于所述人脸图像,确定所述人脸图像对应的人脸尺寸信息时,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息;
基于所述人脸宽度信息和所述人脸高度信息,确定所述人脸图像对应的人脸尺寸信息。
17.根据权利要求16所述的图像处理装置,其特征在于,所述尺寸确定模块在用于将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的人脸宽度信息和人脸高度信息时,包括:
将所述人脸图像输入预先训练的神经网络进行处理,得到所述人脸图像的关键点坐标值对;每个所述关键点坐标值对包括横坐标值和纵坐标值;
基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息。
18.根据权利要求17所述的图像处理装置,其特征在于,所述尺寸确定模块在用于基于各个所述关键点坐标值对中的横坐标值和纵坐标值,确定所述人脸宽度信息和所述人脸高度信息时,包括:
基于各个所述横坐标值中的最大值和最小值之间的差值,确定所述人脸宽度信息;以及,
基于各个所述纵坐标值中的最大值和最小值之间的差值,确定所述人脸高度信息。
19.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的图像处理方法的步骤。
20.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任意一项所述的图像处理方法的步骤。
CN201911328192.8A 2019-12-20 2019-12-20 图像处理方法、装置、计算机设备及存储介质 Pending CN111104909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911328192.8A CN111104909A (zh) 2019-12-20 2019-12-20 图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911328192.8A CN111104909A (zh) 2019-12-20 2019-12-20 图像处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111104909A true CN111104909A (zh) 2020-05-05

Family

ID=70422049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911328192.8A Pending CN111104909A (zh) 2019-12-20 2019-12-20 图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111104909A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920391A (zh) * 2020-06-23 2020-11-13 联想(北京)有限公司 一种测温方法及设备
CN113945058A (zh) * 2021-03-03 2022-01-18 海信(山东)冰箱有限公司 冰箱控制方法及冰箱
WO2022042275A1 (zh) * 2020-08-28 2022-03-03 华为技术有限公司 测量距离的方法、装置、电子设备及可读存储介质
WO2023056811A1 (zh) * 2021-10-08 2023-04-13 Oppo广东移动通信有限公司 距离检测方法、控制方法、装置、存储介质与电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248698A (ja) * 2006-03-15 2007-09-27 Fujifilm Corp 撮像方法および装置
US20070280662A1 (en) * 2006-06-02 2007-12-06 Fujifilm Corporation Imaging device performing focus adjustment based on human face information
DE102011001904A1 (de) * 2011-04-08 2012-10-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betrieb eines bildgeschtützten Fahrerassistenzsystems in einem Fahrzeug
US20150194134A1 (en) * 2012-09-27 2015-07-09 Vincent L. Dureau System and Method for Determining a Zoom Factor of Content Displayed on a Display Device
CN104897132A (zh) * 2015-04-29 2015-09-09 江苏保千里视像科技集团股份有限公司 一种单摄像头测车距的系统及其测量方法
JP2016057463A (ja) * 2014-09-09 2016-04-21 キヤノン株式会社 焦点調節装置及びその制御方法
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN106022209A (zh) * 2016-04-29 2016-10-12 杭州华橙网络科技有限公司 一种基于人脸检测的距离估算和处理的方法及装置
CN107832675A (zh) * 2017-10-16 2018-03-23 广东欧珀移动通信有限公司 拍照处理方法及相关产品
CN108230293A (zh) * 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN109068060A (zh) * 2018-09-05 2018-12-21 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备、计算机可读存储介质
CN109977727A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 视力保护方法、装置、存储介质及移动终端

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248698A (ja) * 2006-03-15 2007-09-27 Fujifilm Corp 撮像方法および装置
US20070280662A1 (en) * 2006-06-02 2007-12-06 Fujifilm Corporation Imaging device performing focus adjustment based on human face information
DE102011001904A1 (de) * 2011-04-08 2012-10-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betrieb eines bildgeschtützten Fahrerassistenzsystems in einem Fahrzeug
US20150194134A1 (en) * 2012-09-27 2015-07-09 Vincent L. Dureau System and Method for Determining a Zoom Factor of Content Displayed on a Display Device
JP2016057463A (ja) * 2014-09-09 2016-04-21 キヤノン株式会社 焦点調節装置及びその制御方法
CN104897132A (zh) * 2015-04-29 2015-09-09 江苏保千里视像科技集团股份有限公司 一种单摄像头测车距的系统及其测量方法
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN106022209A (zh) * 2016-04-29 2016-10-12 杭州华橙网络科技有限公司 一种基于人脸检测的距离估算和处理的方法及装置
CN108230293A (zh) * 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN107832675A (zh) * 2017-10-16 2018-03-23 广东欧珀移动通信有限公司 拍照处理方法及相关产品
CN109977727A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 视力保护方法、装置、存储介质及移动终端
CN109068060A (zh) * 2018-09-05 2018-12-21 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备、计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111920391A (zh) * 2020-06-23 2020-11-13 联想(北京)有限公司 一种测温方法及设备
WO2022042275A1 (zh) * 2020-08-28 2022-03-03 华为技术有限公司 测量距离的方法、装置、电子设备及可读存储介质
CN113945058A (zh) * 2021-03-03 2022-01-18 海信(山东)冰箱有限公司 冰箱控制方法及冰箱
WO2023056811A1 (zh) * 2021-10-08 2023-04-13 Oppo广东移动通信有限公司 距离检测方法、控制方法、装置、存储介质与电子设备

Similar Documents

Publication Publication Date Title
CN111104909A (zh) 图像处理方法、装置、计算机设备及存储介质
CN109948408B (zh) 活性测试方法和设备
CN107451510B (zh) 活体检测方法和活体检测系统
US10346464B2 (en) Cross-modiality image matching method
KR20190038923A (ko) 사용자 신원 검증 방법, 장치 및 시스템
CN102509053A (zh) 用于验证授权的方法、处理器、设备和移动终端
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
US11080557B2 (en) Image authentication apparatus, method, and storage medium using registered image
CN112560592A (zh) 图像处理方法及装置、终端控制方法及装置
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
CN110059607B (zh) 活体多重检测方法、装置、计算机设备及存储介质
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
US11922724B2 (en) Face recognition method utilizing a face recognition model and a face sample library to detect mask images
CN104063709A (zh) 视线检测装置及方法、图像捕获装置及其控制方法
US11087118B2 (en) Facial recognition method
Cowdrey et al. Home automation-an IoT based system to open security gates using number plate recognition and artificial neural networks
CN112183167A (zh) 考勤方法、认证方法、活体检测方法、装置及设备
CN111814617B (zh) 基于视频的火灾判定方法、装置、计算机设备及存储介质
CN113435333A (zh) 一种数据处理方法、装置、计算机设备和存储介质
CN111192214A (zh) 图像处理的方法、装置、电子设备及存储介质
KR102301785B1 (ko) 얼굴 연속 인증을 위한 방법 및 장치
JP7369247B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN111274899A (zh) 人脸匹配方法、装置、电子设备和存储介质
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법
WO2017049626A1 (en) Face detection window refinement using depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination