CN112766023B - 目标对象的姿态确定方法、装置、介质及设备 - Google Patents
目标对象的姿态确定方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112766023B CN112766023B CN201911066497.6A CN201911066497A CN112766023B CN 112766023 B CN112766023 B CN 112766023B CN 201911066497 A CN201911066497 A CN 201911066497A CN 112766023 B CN112766023 B CN 112766023B
- Authority
- CN
- China
- Prior art keywords
- data
- gesture
- historical
- target object
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 104
- 238000004364 calculation method Methods 0.000 description 41
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开了一种目标对象的姿态确定方法、装置、介质及设备,方法包括:从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;根据目标对象的历史姿态数据,获得历史姿态分布信息;根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。本申请用于解决现有技术存在的确定的对象姿态的准确性低的技术问题。实现了确定的对象姿态的准确性的技术效果。
Description
技术领域
本说明书实施例涉及计算机视觉领域,尤其涉及一种目标对象的姿态确定方法、装置、介质及设备。
背景技术
在驾驶车辆行驶的过程中,为了保障驾驶和乘坐人的安全,可以设置车载摄像头拍摄监控驾驶人员的驾驶行为,以进行警告纠正。其中,很多违规驾驶行为可以通过估计人脸特征来识别,例如,抽烟、打电话和疲劳驾驶等。
然而,人脸特征等对象细节特征的识别准确性受对象姿态(例如人脸的低头、侧头或摇头等)估计的准确性影响较大。
目前的对象姿态确定往往采用预设标定数据作为基准来估计,而这种姿态确定方式在摄像装置移动后会导致误差,降低确定的对象姿态的准确性的问题。
发明内容
为了解决上述技术问题,提出了本申请。本说明书实施例提供一种目标对象的姿态确定方法、装置、介质及设备。
根据本申请的第一个方面,提供了一种目标对象的姿态确定方法,包括:
从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;
根据目标对象的历史姿态数据,获得历史姿态分布信息;
根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;
根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
根据本申请的第二个方面,提供了一种目标对象的姿态确定装置,包括:
确定模块,用于从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;
获得模块,用于根据目标对象的历史姿态数据,获得历史姿态分布信息;
标准模块,用于根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;
目标模块,用于根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
根据本申请的第三个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述第一个方面的目标对象的姿态确定方法。
根据本申请的第四个方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述第一个方面的目标对象的姿态确定方法。
本说明书实施例有益效果如下:
通过本发明实施例提供的目标对象的姿态确定方法、装置、介质及设备,先统计目标对象的历史姿态数据,获得历史姿态分布信息,再从分布信息中选择出符合预设条件的历史姿态数据作为标准姿态数据,即通过分布统计的方法,确认出能表征目标对象历史姿态状况的标准姿态数据,再以此为基准来确定待分析图像中目标对象的目标姿态。从而通过采用更能表征目标对象历史姿态的标准姿态数据为基准来确定目标姿态,减少摄像单元的移动对确定的目标姿态的影响,提高目标姿态确定的准确性。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1a是本申请的目标对象的姿态确定方法的示例性系统架构图;
图1b是本申请的目标对象的姿态确定方法的示例性装置框图;
图2是本申请实施例提供的目标对象的姿态确定方法的流程示意图;
图3是本申请中三维角度的示意图;
图4是本申请第一种根据标准姿态数据确定目标姿态的示意性流程图;
图5是本申请第二种根据标准姿态数据确定目标姿态的示意性流程图;
图6是本申请检测车辆启动清空历史姿态数据的示意性流程图;
图7是本申请的目标对象的姿态确定装置的示意图;
图8是本申请的预估模块及目标模块的示意图;
图9是本申请的目标模块的示意图;
图10是本申请的检测模块及清零模块的示意图;
图11是本申请的标准模块的示意图;
图12是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,现有技术的对象姿态确定往往采用预设标定数据作为基准来估计,而这种姿态确定方式在摄像装置移动后会导致误差,降低确定的对象姿态的准确性的技术问题。
基于上述技术问题,本申请提供的目标对象的姿态确定方法、装置、介质及设备,统计先前帧图像中目标对象的历史姿态数据获得姿态分布信息,将统计分布方法引入姿态确定方法。再根据统计的姿态分布信息确定出更符合实际场景且更具实时性的标准姿态数据,从而能以该标准姿态数据为基准确定出准确性更高的目标姿态。
这样以统计方法获得的标准姿态数据为基准,可以克服由于摄像头位置变化导致的标定不准的问题,还可以通过统计实时分布状态信息来补偿摄像头位置偏移引入的计算误差,有效提高确定的对象姿态的准确性。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1a示出了可以应用本公开的实施例的目标对象的姿态确定方法或目标对象的姿态确定装置的示例性系统架构100。
如图1a所示,系统架构100可以包括终端设备101,网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如搜索类应用、网页浏览器应用、购物类应用、即时通信工具等。
终端设备101可以是各种电子设备,包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
服务器103可以是提供各种服务的服务器,例如对终端设备101上传的文本进行分类的后台文本服务器。后台文本服务器可以对接收到的文本进行处理,得到处理结果(例如类别信息)。
图1b示出了本申请的目标对象的姿态确定方法的示例性装置框图,根据图1b可知,该装置可以包括四个模块:姿态提取模块11、统计分布模块12、标准计算模块13和姿态计算模块14。其中,姿态提取模块11先对先前帧图像(拍摄的图像或视频)进行目标对象(例如人体或人脸)检测,再对检测出的目标对象进行姿态提取,提取出的数据作为历史姿态数据。然后,将提取出的历史姿态数据输入统计分布模块12进行存储,并与之前的历史姿态数据一起进行统计分析获得历史姿态分布信息。接下来,将历史姿态分布信息输入标准计算模块13,以按照预先存储的预设要求进行计算,获得标准姿态数据。最后,将标准姿态数据输入姿态计算模块14,以标准姿态数据为基准准确的计算出当前帧图像中的目标对象的目标姿态。需要说明的是,上述的姿态提取模块11可以执行机器学习或机器视觉等计算方法来提取历史姿态数据。上述装置可以设置在GPU上或者专用于姿态确定的芯片上,在此不作限制。
需要说明的是,本公开的实施例所提供的目标对象的姿态确定方法可以由服务器103执行,也可以由终端设备101执行,相应地,图1b所示的目标对象的姿态确定装置可以设置于服务器103中,也可以设置于终端设备101中。
应该理解,图1a中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
示例性方法
图2是本申请一示例性实施例提供的目标对象的姿态确定方法的流程示意图。本实施例可应用在电子设备上,该电子设备为具有分析处理图像能力的终端或服务器设备,例如,摄像头、手机、平板电脑或计算机等设备。如图2所示,包括如下步骤:
步骤201,从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据。
步骤201可以通过图1b中的姿态提取模块11执行。姿态提取模块11可以执行基于目标对象的图像和/或视频集合训练而得到的姿态提取模型对应的计算流程。在本实施例中,将步骤201中的先前帧图像作为姿态提取模块11的输入,经过姿态提取模块11提取出的历史姿态数据作为输出。
其中,先前帧图像是拍摄时间相对于当前帧图像更靠前的图像,为当前帧图像中目标对象的姿态确定提供基准。先前帧图像可以为单独的图像,也可以为视频中的一帧图像,还可以为编辑处理后的图像等等。例如,电子设备为拍摄目标对象的摄像头时,先前帧图像可以是摄像头按一定频率拍摄的图像,也可以是摄像头持续录制的视频中的图像。当然,当电子设备为手机或计算机等其他设备时,该先前帧图像可以是电子设备通过网络接收的图像或视频。
具体从先前帧图像中确定目标对象的历史姿态数据的方法,可以先采用常规的目标对象检测算法检测目标对象,再计算目标对象的轮廓在摄像头坐标体系中的角度和位置等参数来作为历史姿态数据。当然,也可以先训练得到姿态提取模型,再通过姿态提取模型来确定历史姿态数据,在此不作限制。
需要说明的是,历史姿态数据可以是以摄像头的出厂坐标系为基准的姿态数据。也可以是以预先设置的标定基准数据为基准的姿态数据,在此不作限制。
目标对象可以是人脸,人体或人体四肢。举例来讲,当目标对象为人脸时,表征人脸姿态的方式较多,可以是以人脸上鼻子部位相对脸中心的角度和距离为历史姿态数据。较优的,可以以人脸的三维角度(欧拉角)作为历史姿态数据,以更准确的表征人脸姿态。下面以人脸的三维角度作为历史姿态数据为例来进行说明:
三维角度包括俯仰角pitch、偏航角yaw和翻滚角roll。如图3所示,人脸上仰或下俯的角度可以通过pitch来表征,人脸左右旋转的角度可以通过yaw来表征,人脸左右摇摆的角度可以通过roll来表征。当以摄像头的出厂坐标系为基准时,历史姿态数据中的上述三个角度是先前帧图像中人脸相对于出厂坐标系的坐标轴的角度;当以预先设置的标定基准数据即标准人脸为基准时,历史姿态数据中的上述三个角度是先前帧图像中人脸相对于标准人脸的角度。
具体三维角度计算可以是采用人脸识别技术识别人脸上器官的位置,再通过分析各个器官的位置来计算出pitch、yaw和roll的具体角度值。也可以是分析人脸的轮廓来计算出pitch、yaw和roll的具体角度值,在此不作限制。
较优的,如果目标对象为人脸,方法适用场景为驾驶场景,则可以设置历史姿态数据仅为俯仰角pitch和偏航角yaw两个角度,以在保证驾驶人员监控安全性的基础上减少计算资源消耗。
步骤202,根据目标对象的历史姿态数据,获得历史姿态分布信息。
步骤202可以通过图1b中的统计分布模块12执行。统计分布模块12可以执行对历史姿态数据的存储和统计计算流程。在本实施例中,将步骤201中确定的历史姿态数据作为统计分布模块12的输入,经过统计分布模块12的统计计算获得历史姿态分布信息作为统计分布模块12的输出。
其中,用于统计获得历史姿态分布信息的历史姿态数据,可以是电子设备在获得当前帧图像前获得的所有包括目标对象的图像,也可以是设置的某一段时间内获得的包括目标对象的图像,还可以是在接收到预设触发后至获得当前帧图像前获得的所有包括目标对象的图像,在此不作限制。
具体获得历史姿态分布信息的方法,可以是统计存储的历史姿态数据的分布概率,以获得包括历史姿态数据及对应的分布概率数据的历史姿态分布信息。也可以是绘制历史姿态数据的分布图(分布点图,分布柱状图或分布曲线图等),以分布图作为历史姿态分布信息。
步骤203,根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据。
步骤203可以通过图1b中的标准计算模块13执行。标准计算模块13可以执行对数据的分析计算流程。在本实施例中,将步骤202获得的历史姿态分布信息作为标准计算模块13的输入,经过标准计算模块13的计算确定出标准姿态数据作为标准计算模块13的输出。
其中,上述预设要求可以根据历史姿态分布信息的类型来设置。例如,如果历史姿态分布信息为历史姿态数据和对应的分布概率数据,可以设置预设要求是分布概率满足某概率范围要求;如果历史姿态分布信息为分布点图,可以设置预设要求是点密度满足某密度要求。
鉴于每个场景有其惯用的常规姿态,可以认为出现概率满足预设要求的历史姿态数据表征的正是该常规姿态,可以作为标准姿态数据。例如,在驾驶场景监控驾驶员驾驶安全时,常规姿态是正面方向盘前挡风玻璃的姿态,标准姿态数据就是能表征该姿态的数据;在考试场景监控考生作弊时,常规姿态是低头答题的姿态,标准姿态数据就是能表征该姿态的数据。预设要求的具体设置方法,举例来讲,可以设置历史姿态分布信息中对应概率数据值最高(位于分布峰值)的历史姿态数据作为标准姿态数据。也可以设置历史姿态分布信息中概率大于预设值的历史姿态数据取平均值后的数据为标准姿态数据,在此不作限制。
步骤204,根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
步骤204可以通过图1b中的姿态计算模块14执行。姿态计算模块14可以执行对数据的分析计算流程。在本实施例中,可以将标准姿态数据作为姿态计算模块14的输入,经过姿态计算模块14进行姿态计算后获得目标姿态作为姿态计算模块14的输出。
其中,目标姿态的表征类型与历史姿态数据的类型对应,例如,历史姿态数据为角度和位置时,目标姿态也通过角度和位置来表征;历史姿态数据为三维角度时,目标姿态也通过三维角度来表征。目标姿态是以标准姿态数据为基准的相对姿态。例如,标准姿态数据为角度数据时,目标姿态为以标准姿态数据为0度,目标对象相对于标准姿态数据的角度;标准姿态数据为位置数据时,目标姿态为以标准姿态数据为原点,目标对象相对于标准姿态数据的位置。
具体确定目标姿态的方法可以是以标准姿态数据为基准确定目标姿态;也可以是预设一标定基准数据,先以标定基准数据为基准确定预估姿态,再比对标准姿态数据和标定基准数据获得比对偏差,再以比对偏差来修正预估姿态获得目标姿态,在此不作限制。
本实施例将统计分布方法引入姿态确定方法,先通过统计先前帧图像中目标对象的历史姿态数据获得姿态分布信息,再根据统计的姿态分布信息确定出更符合实际场景且更具实时性的标准姿态数据,从而克服由于摄像头位置变化导致的标定基准数据不准确的问题,以实现能以该标准姿态数据为基准确定出准确性更高的目标姿态。
在具体实施过程中,根据标准姿态数据确定当前帧图像中目标对象的目标姿态的方式可以有多种,例如:1),可以将当前帧图像作为姿态提取模块11的输入,经姿态提取模块11进行目标对象检测和姿态计算后输出预估姿态,再将预估姿态和步骤203确定的标准姿态数据作为姿态计算模块14的输入,经过姿态计算模块14的修正计算输出目标姿态;2),还可以将当前帧图像和步骤203确定的标准姿态数据作为姿态计算模块14的输入,经过姿态计算模块14对当前帧图像进行目标对象检测和姿态计算后获得目标姿态作为姿态计算模块14的输出。下面分别详细介绍上述两种方式:
第一种,考虑到进一步提高方案的执行便利度,更符合计算机执行特征,本申请如图4所示,在上述图2所述实施例的基础上,设置步骤204之前还可包括:
步骤2041,根据预设的标定基准数据,计算所述当前帧图像中的所述目标对象的预估姿态。
步骤204中的根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态,可包括如下步骤2042-2043:
步骤2042,比较所述标准姿态数据与所述标定基准数据。
步骤2043,根据所述比较的结果修正所述预估姿态,获得所述当前帧图像中的所述目标对象的目标姿态。
需要说明的是,标定基准数据可以是预先设置存储的数据,也可以是摄像头的出厂坐标系。具体来讲,预设标定基准数据来先预估出当前帧图像中目标对象的预估姿态,可以在尚没有确定出标准姿态数据的情况下,也能获得准确率较低的预估姿态,在确定出标准姿态数据后就能对预估姿态修正获得准确性更高的目标姿态。并且,由于预估姿态的获取不涉及标准姿态数据,故可以采用与历史姿态数据的获取相同的模块来实现,增加模块的复用率。
上述步骤2041可以通过图1b中的姿态提取模块11来执行。在执行此步骤时,姿态提取模块11的输入为当前帧图像,输出为预估姿态。
上述步骤2042和步骤2043可以通过图1b中的姿态计算模块14来执行。在执行这两步骤时,姿态计算模块14的输入为标准姿态数据、标定基准数据和预估姿态,输出为目标姿态。具体来讲,姿态计算模块14先计算出标准姿态数据与标定基准数据的偏差,再根据该偏差来修正预估姿态获得目标姿态。
具体来讲,可以设置:目标姿态=预估姿态—姿态偏差,姿态偏差=标准姿态数据—标定基准数据。例如:
目标对象为人脸,标定基准数据pitch 25度、yaw 15度、roll-31度,即在摄像头原始坐标系中,该三维角度对应的人脸姿态被标定为惯用的常规姿态。对当前帧图像进行目标对象检测和体态计算,确定出当前帧图像中目标对象在摄像头原始坐标系中的三维角度为:pitch 30度、yaw 33度、roll-20,根据标定基准数据确定出预估姿态为:偏离标定基准数据表征的常规姿态pitch 5度、yaw 18度、roll 11度。也就是说,以标定基准数据为基准时,确定出的预估姿态的数据为pitch 5度、yaw 18度、roll11度,该预估姿态表明此时人脸相对于标定基准数据表征的姿态有较大出入,处于非常规的头部歪斜姿态。
再下来,根据历史姿态数据,确定出标准姿态数据表征pitch为29度、yaw为33度、roll为-23度。标准姿态数据与标定基准数据的偏差为pitch为4度、yaw为18度、roll为8度。修正预估姿态为目标姿态:偏离标准姿态数据表征的常规姿态pitch 1度、yaw 0度、roll3度。也就是说,修正到以标准姿态数据为基准后,确定出的目标姿态的数据为pitch 1度、yaw 0度、roll3度,该目标姿态表明此时人脸相对于标准姿态数据表征的姿态接近,处于常规姿态。
当然,也可以直接以摄像头原始坐标系作为标定基准数据,即标定基准数据pitch0度、yaw 0度、roll0度,计算方法与上述相同。
较优的,考虑到增加历史数据样本量能够提高确定出的表征姿态数据的准确性,可以设置在步骤202根据目标对象的历史姿态数据,获得历史姿态分布信息之前,还包括:将所述预估姿态对应的数据存储入所述历史姿态数据。
通过将预估姿态对应的数据也作为历史姿态数量来生成更丰富全面的历史姿态分布信息,能使确定出的标准姿态数据更符合常规姿态,也提高确定的目标姿态的准确性。
第二种,考虑到进一步提高方案的执行效率,本申请如图5所示,在上述图2所述实施例的基础上,设置步骤204根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态,包括:
步骤2045,以所述标准姿态数据作为标定基准数据,计算获得所述当前帧图像中的所述目标对象的目标姿态。
上述步骤2045可以通过图1b中的姿态计算模块14来执行。在执行此步骤时,姿态计算模块14的输入为当前帧图像和标准姿态数据,经过对当前帧图像的目标对象检测和基于标准姿态数据的姿态计算获得目标姿态作为输出。
举例来讲,目标对象为人脸,根据历史姿态数据,确定出标准姿态数据表征pitch为29度、yaw为33度、roll为-23度,即在摄像头原始坐标系中,该三维角度对应的人脸姿态为惯用的常规姿态。对当前帧图像进行目标对象检测和体态计算,确定出当前帧图像中目标对象在摄像头原始坐标系中的三维角度为:pitch 30度、yaw 33度、roll-20,以标准姿态数据为基准确定出目标姿态为:偏离标准姿态数据表征的常规姿态pitch 1度、yaw 0度、roll3度。可见,目标姿态表明此时人脸相对于标准姿态数据表征的姿态接近,处于常规姿态。
该种目标姿态的确定方法,省略了计算预估姿态的步骤,执行效率更高。
进一步,考虑到本实施例的方案应用于车辆驾驶员监控场景时,由于每次行驶过程中,由于驾驶员更换或路况特征,导致驾驶员可能有不同的驾驶习惯姿态或驾驶员的身高、脸型和坐的位置等都会影响测量得到的人脸姿态,引入显著的测量误差。故该次单次驾驶过程中的姿态数据更有实时意义,更能代表当次驾驶的情况。故可以设置每次驾驶过程中的历史姿态分布信息的统计学分析样本,都只来源于当次驾驶过程中拍摄的图像。具体可以设置,当本实施例提供的方法应用于车载拍摄设备或与车载拍摄设备网络连接的处理设备时,如图6所示,在上述图2所示实施例的基础上,在步骤202根据目标对象的历史姿态数据,获得历史姿态分布信息之前,还包括步骤601和步骤602:
步骤601,检测与所述车载设备对应的车辆是否启动。
具体的检测方法,可以是设置传感器检测车辆是否从静止进入微抖动状态来检测车辆是否启动;也可以是设置温度传感器检测发动机的温度是否开始上升来检测车辆是否启动;还可以是在启动按键或钥匙孔处设置检测单元,在检测到按键被按压或钥匙孔转动时确认车辆启动,在此不作限制。
步骤602,如果所述车辆启动,则对已存储的历史姿态数据清零,并以所述车辆在该次启动后存储的姿态数据作为历史姿态数据。
即在每次车辆启动后,会触发清除以往的历史姿态数据,仅限制以该次车辆启动的数据作为本次行驶过程中目标姿态确定的统计学分析样本,根据该统计结果获得的历史姿态分布信息更能代表该次行驶过程的特征,最终计算出的目标姿态也更准确。当然,在驾驶人员稳定和驾驶路况相似的情况下,也可以设置不对历史姿态数据清零,统计之前获得的全部历史姿态数据来获得历史姿态分布信息,以获得更大的统计样本量。
在具体实施过程中,考虑到拍摄初期样本量不足的问题,可以设置对拍摄的前预设数量图像或前预设时段内获取的图像不作目标姿态确定,仅按照摄像头原始坐标系获取历史姿态数据来生成历史姿态分布信息,后续再按照本实施例提供的方法进行目标姿态的确定。还可以设置对拍摄的前预设数量图像或前预设时段内获取的图像仅按照预设的标定基准数据进行姿态确定,并获取历史姿态数据来生成历史姿态分布信息,后续再按照本实施例提供的方法进行目标姿态的确定。
为了能进一步结合到应用场景中理解本实施例提供的方法,下面以车辆行驶过程中对驾驶员的监控为例,提供一可能的实施实例:
在客车启动时,初始化图1b所示的系统对已存储的历史人脸姿态数据清零,并启动摄像头持续录制驾驶员的驾驶视频。通过机器学习或视觉方法按照摄像头原始坐标系对视频中的每帧图像(或者间隔抽取的图像)进行人脸姿态估计,获得并统计历史人脸姿态数据获得历史人脸姿态分布信息。
在累积历史人脸姿态数据获得历史人脸姿态分布信息的过程中,对录制的视频中每帧图像(或者间隔抽取的图像)进行实时人脸姿态计算,具体计算方法为:以当前已统计的历史人脸姿态分布信息中分布峰值处即概率最大的历史人脸姿态数据作为标准人脸姿态数据,即作为驾驶员面朝方向盘前方挡风玻璃的人脸姿态。以该标准人脸姿态数据为基准,计算当前帧图像中驾驶员人脸相对于标准人脸姿态数据的目标人脸姿态。然后,可以直接通过该目标人脸姿态来判断驾驶员是否安全驾驶,也可以更精确的根据该目标人脸姿态建立人脸坐标系,进一步基于人脸坐标系识别目标对象的面部特征,进而辅助识别驾驶员行为。
本实施例提供的目标对象的姿态确定方法、装置、介质及设备,通过分布统计的方法,确认出能表征目标对象历史姿态状况的标准姿态数据,再以此为基准来确定待分析图像中目标对象的目标姿态。从而避免或减少摄像单元的移动、目标对象体型的变化对确定的目标姿态的影响,提高目标姿态确定的准确性。
示例性装置
基于同一发明构思,本申请实施例还提供一种目标对象的姿态确定装置,如图7所示,该装置包括:
确定模块701,用于从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;
获得模块702,用于根据目标对象的历史姿态数据,获得历史姿态分布信息;
标准模块703,用于根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;
目标模块704,用于根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
其中,姿态确定装置如图8所示,还包括:
预估模块801,根据预设的标定基准数据,计算所述当前帧图像中的所述目标对象的预估姿态;
目标模块704,包括:
比较单元7041,比较所述标准姿态数据与所述标定基准数据;
修正单元7042,根据所述比较的结果修正所述预估姿态,获得所述当前帧图像中的所述目标对象的目标姿态。
其中,目标模块704如图9所示,包括:
计算单元7043,以所述标准姿态数据作为标定基准数据,计算获得所述当前帧图像中的所述目标对象的目标姿态。
其中,姿态确定装置如图10所示,还包括:
检测模块1001,检测与所述车载设备对应的车辆是否启动;
清零模块1002,如果所述车辆启动,则对已存储的历史姿态数据清零,并以所述车辆在该次启动后存储的姿态数据作为历史姿态数据。
其中,标准模块703如图11所示,还包括:
峰值单元7031,从所述历史姿态分布信息中查找出位于分布峰值的历史姿态数据作为标准姿态数据。
示例性电子设备
下面,参考图12来描述根据本申请实施例的电子设备。
图12图示了根据本申请实施例的电子设备的框图。
如图12所示,电子设备1201包括一个或多个处理器1202和存储器1203。
处理器1202可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1201中的其他组件以执行期望的功能。
存储器1203可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1202可以运行所述程序指令,以实现上文所述的本申请的各个实施例的姿态确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备1201还可以包括:输入装置1204和输出装置1205,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,该输入装置1204可以是麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置1204可以是通信网络连接器,用于接收所采集的输入信号。
此外,该输入设备1204还可以包括例如键盘、鼠标等等。
该输出装置1205可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备1205可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图12中仅示出了该电子设备1201中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1201还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的姿态确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的姿态确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (11)
1.一种目标对象的姿态确定方法,其特征在于,包括:
从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;所述先前帧图像是拍摄时间相对于当前帧图像更靠前的图像;
根据目标对象的历史姿态数据,获得历史姿态分布信息;
根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;
根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
2.如权利要求1所述的方法,其特征在于,还包括:
根据预设的标定基准数据,计算所述当前帧图像中的所述目标对象的预估姿态;
所述根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态,包括:
比较所述标准姿态数据与所述标定基准数据;
根据所述比较的结果修正所述预估姿态,获得所述当前帧图像中的所述目标对象的目标姿态。
3.如权利要求2所述的方法,其特征在于,在根据目标对象的历史姿态数据,获得历史姿态分布信息之前,还包括:
将所述预估姿态对应的数据存储入所述历史姿态数据。
4.如权利要求1所述的方法,其特征在于,所述根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态数据,包括:
以所述标准姿态数据作为标定基准数据,计算获得所述当前帧图像中的所述目标对象的目标姿态。
5.如权利要求1所述的方法,其特征在于,所述姿态为人脸姿态,所述姿态数据为人脸的欧拉角。
6.如权利要求1所述的方法,其特征在于,所述方法应用于车载拍摄设备或与车载拍摄设备网络连接的处理设备。
7.如权利要求6所述的方法,其特征在于,在所述根据目标对象的历史姿态数据,获得历史姿态分布信息之前,还包括:
检测与所述车载拍摄设备对应的车辆是否启动;
如果所述车辆启动,则对已存储的历史姿态数据清零,并以所述车辆在该次启动后存储的姿态数据作为历史姿态数据。
8.如权利要求1所述的方法,其特征在于,从所述历史姿态分布信息中查找出符合预设要求的历史姿态数据作为标准姿态数据,包括:
从所述历史姿态分布信息中查找出位于分布峰值的历史姿态数据作为标准姿态数据。
9.一种目标对象的姿态确定装置,包括:
确定模块,用于从包括目标对象的先前帧图像中确定所述目标对象的历史姿态数据;所述先前帧图像是拍摄时间相对于当前帧图像更靠前的图像;
获得模块,用于根据目标对象的历史姿态数据,获得历史姿态分布信息;
标准模块,用于根据所述历史姿态分布信息,将符合预设要求的历史姿态数据确定为标准姿态数据;
目标模块,用于根据所述标准姿态数据,确定当前帧图像中的所述目标对象的目标姿态。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8任一所述的姿态确定方法。
11.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于执行上述权利要求1-8任一所述的姿态确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911066497.6A CN112766023B (zh) | 2019-11-04 | 2019-11-04 | 目标对象的姿态确定方法、装置、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911066497.6A CN112766023B (zh) | 2019-11-04 | 2019-11-04 | 目标对象的姿态确定方法、装置、介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112766023A CN112766023A (zh) | 2021-05-07 |
CN112766023B true CN112766023B (zh) | 2024-01-19 |
Family
ID=75692424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911066497.6A Active CN112766023B (zh) | 2019-11-04 | 2019-11-04 | 目标对象的姿态确定方法、装置、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112766023B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114323022B (zh) * | 2021-12-10 | 2023-11-17 | 三一汽车制造有限公司 | 臂架姿态的辅助确定方法、装置及作业机械 |
CN117560638B (zh) * | 2024-01-10 | 2024-03-22 | 山东派蒙机电技术有限公司 | 应用于移动端通信系统的融合通信方法、装置及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005509A (ja) * | 2002-03-25 | 2004-01-08 | Toshiba Corp | 画像処理装置及びその方法 |
CN106714094A (zh) * | 2015-07-20 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN107481292A (zh) * | 2017-09-05 | 2017-12-15 | 百度在线网络技术(北京)有限公司 | 车载摄像头的姿态误差估计方法和装置 |
CN108470328A (zh) * | 2018-03-28 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 用于处理图像的方法和装置 |
CN108600622A (zh) * | 2018-04-12 | 2018-09-28 | 联想(北京)有限公司 | 一种视频防抖的方法及装置 |
CN109323709A (zh) * | 2017-07-31 | 2019-02-12 | 株式会社理光 | 视觉里程计方法、装置和计算机可读存储介质 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014112055A (ja) * | 2012-12-05 | 2014-06-19 | Denso It Laboratory Inc | カメラ姿勢の推定方法およびカメラ姿勢の推定システム |
-
2019
- 2019-11-04 CN CN201911066497.6A patent/CN112766023B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005509A (ja) * | 2002-03-25 | 2004-01-08 | Toshiba Corp | 画像処理装置及びその方法 |
CN106714094A (zh) * | 2015-07-20 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN109323709A (zh) * | 2017-07-31 | 2019-02-12 | 株式会社理光 | 视觉里程计方法、装置和计算机可读存储介质 |
CN107481292A (zh) * | 2017-09-05 | 2017-12-15 | 百度在线网络技术(北京)有限公司 | 车载摄像头的姿态误差估计方法和装置 |
CN108470328A (zh) * | 2018-03-28 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 用于处理图像的方法和装置 |
CN108600622A (zh) * | 2018-04-12 | 2018-09-28 | 联想(北京)有限公司 | 一种视频防抖的方法及装置 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112766023A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210133468A1 (en) | Action Recognition Method, Electronic Device, and Storage Medium | |
US12051236B2 (en) | Method for recognizing video action, and device and storage medium thereof | |
US9031327B2 (en) | Information processing device, method, and program that recognizes a predetermined part of a body | |
CN110245679B (zh) | 图像聚类方法、装置、电子设备及计算机可读存储介质 | |
CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
CN112766023B (zh) | 目标对象的姿态确定方法、装置、介质及设备 | |
CN110163171B (zh) | 用于识别人脸属性的方法和装置 | |
CN110210196B (zh) | 身份认证方法及装置 | |
CN110992426B (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
CN110660102A (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
CN112749655A (zh) | 视线追踪方法、装置、计算机设备和存储介质 | |
CN108806019B (zh) | 基于加速度传感器的行车记录数据处理方法及装置 | |
CN113052019B (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
CN114584836B (zh) | 电子产品使用行为检测方法、装置、系统及介质 | |
CN106406507B (zh) | 图像处理方法以及电子设备 | |
CN112200804A (zh) | 图像检测方法、装置、计算机可读存储介质及电子设备 | |
CN108108709B (zh) | 一种识别方法及装置、计算机存储介质 | |
CN106370883B (zh) | 一种测速方法及终端 | |
CN117593792A (zh) | 一种基于视频帧的异常姿态检测方法和装置 | |
CN111047049B (zh) | 基于机器学习模型处理多媒体数据的方法、装置及介质 | |
JP4676375B2 (ja) | 車両運転者の視線方向の検出方法又は同装置 | |
CN112541425B (zh) | 情绪检测方法、装置、介质及电子设备 | |
CN111325198A (zh) | 视频对象特征提取方法和装置、视频对象匹配方法和装置 | |
CN113129333B (zh) | 多目标实时跟踪方法及其系统和电子设备 | |
CN115862597A (zh) | 人物类型的确定方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |