CN109815813A - 图像处理方法及相关产品 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法及相关产品，其中，所述方法包括：通过多组摄像头对指定范围进行监控，得到多帧视频图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，从多帧视频图像中确定出目标对象，选取目标对象的第一肢体关键点，依据第一肢体关键点从多组摄像头中选取能够拍摄到第一肢体关键点的至少一组摄像头，确定至少一组摄像头与第一肢体关键点之间的距离值，得到至少一个距离值，从至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据，如此，可以提高监控效率。

Description

图像处理方法及相关产品

技术领域

本申请涉及人脸识别技术领域，具体涉及一种图像处理方法及相关产品。

背景技术

随着人工智能的发展，机器视觉技术已经被广泛应用到警务以及治理场景中去。而监狱、看守所等封闭场景内，除了犯人身份的确认，还必须对犯人的动作进行识别以及犯人在监仓内的位置进行定位，由于摄像头架设高度等要求，只基于目前的可见光摄像头的技术难以实现上述应用。

发明内容

本申请实施例提供了一种图像处理方法及装置，可以提高监控效率。

本申请实施例第一方面提供了一种图像处理方法，包括：

通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

从所述多帧视频图像中确定出目标对象；

选取所述目标对象的第一肢体关键点；

依据所述肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

从所述至少一个距离值中选取最小值，并获取所述最小值对应的一组摄像头对应的拍摄数据。

本申请实施例第二方面提供了一种图像处理装置，包括：

监控单元，用于通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

确定单元，用于从所述多帧视频图像中确定出目标对象；

选取单元，用于选取所述目标对象的第一肢体关键点；

所述选取单元，还用于依据所述肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

所述确定单元，还用于确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

获取单元，用于从所述至少一个距离值中选取最小值，并获取所述最小值对应的一组摄像头对应的拍摄数据。

本申请实施例第三方面提供了一种图像处理装置，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

本申请实施例第四方面提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。

本申请实施例第五方面提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具有如下有益效果：

可以看出，通过本申请实施例所描述的图像处理方法及相关产品，通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，图像对包括一个深度图像和一个可见光图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，从多帧视频图像中确定出目标对象，选取目标对象的第一肢体关键点，依据第一肢体关键点从多组摄像头中选取能够拍摄到第一肢体关键点的至少一组摄像头，确定至少一组摄像头与第一肢体关键点之间的距离值，得到至少一个距离值，从至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据，如此，通过肢体关键点确认离目标对象更近的摄像头，提取该摄像头的数据可对该目标对象进行定位，并通过景深摄像头以及可见光摄像头的结合使用，能够在多个摄像头监控一个对象时，选取拍摄距离最近的一个摄像头的拍摄数据，该拍摄数据能够用于行为分析，提升监控效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种图像处理方法的流程示意图；

图1B是本申请实施例提供的一种摄像头监控拍摄的三维空间坐标系的水平示意图；

图1C是本申请实施例提供的一种摄像头拍摄的三维空间坐标系的垂直示意图；

图1D是本申请实施例提供的一种行为集以及每种行为所对应的概率的示意图；

图2是本申请实施例提供的一种图像处理方法的实施例流程示意图；

图3A是本申请实施例提供的一种图像处理装置的结构示意图；

图3B是本申请实施例提供的一种图3A中所描述的图像处理装置的变型结构示意图；

图4是本申请实施例提供的一种图像处理装置的实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所描述图像处理装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，MobileInternet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述图像处理装置还可以为服务器。

需要说明的是，本申请实施例中的图像处理装置可与多个摄像头组连接，每一组摄像头包括景深摄像头和可见光摄像头，每一摄像头均可用于抓拍视频图像，每一摄像头均可有一个与之对应的位置标记，或者，可有一个与之对应的编号。摄像头在拍摄到视频图像后，可将该视频图像保存到图像处理装置所在系统的存储器。存储器中可存储有多个图像库，每一图像库可包含同一人的不同视频图像，当然，每一图像库还可以用于存储一个区域的视频图像或者某个指定摄像头拍摄的视频图像。

进一步可选地，本申请实施例中，摄像头拍摄的每一帧视频图像均对应一个属性信息，属性信息为以下至少一种：视频图像的拍摄时间、视频图像的位置、视频图像的属性参数(格式、大小、分辨率等)、视频图像的编号和视频图像中的人物特征属性。上述视频图像中的人物特征属性可包括但不仅限于：视频图像中的人物个数、人物位置、人物角度、年龄、图像质量等等。

进一步需要说明的是，每一摄像头采集的视频图像通常为动态人脸图像，因而，本申请实施例中可以对人脸图像的角度信息进行规划，上述角度信息可包括但不仅限于：水平转动角度、俯仰角或者倾斜度。例如，可定义动态人脸图像数据要求两眼间距不小于30像素，建议60像素以上。水平转动角度不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°。建议水平转动角度不超过±15°、俯仰角不超过±10°、倾斜角不超过±15°。例如，还可对人脸图像是否被其他物体遮挡进行筛选，通常情况下，饰物不应遮挡脸部主要区域，饰物如深色墨镜、口罩和夸张首饰等，当然，也有可能摄像头上面布满灰尘，导致人脸图像被遮挡。本申请实施例中的视频图像的图片格式可包括但不仅限于：BMP，JPEG，JPEG2000，PNG等等，其大小可以在10-30KB之间，每一视频图像还可以对应一个拍摄时间、以及拍摄该视频图像的摄像头统一编号、与人脸图像对应的全景大图的链接等信息(人脸图像和全局图片建立特点对应性关系文件)。

请参阅图1A，为本申请实施例提供的一种图像处理方法的实施例的流程示意图。本实施例中所描述的图像处理方法，包括以下步骤：

101、通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头。

其中，上述指定范围可由用户自行设置或者系统默认，指定范围可以理解为一组或多组摄像头拍摄的同一个或者不同的拍摄区域。具体实现中，不同的摄像头组之间的拍摄范围可能会存在一些重叠区域，或者，多组摄像头可针对同一指定范围的物理场景进行拍摄，得到多组摄像头拍摄的多帧视频图像，该多帧视频图像的拍摄时间可以一致，每组摄像头可包括景深摄像头和可见光摄像头，每组摄像头可通过调节摄像头的视场角拍摄到不同深度的视频图像，得到多帧视频图像，每一帧视频图像为一图像对，包括一个由景深摄像头拍摄的深度图像和一个由可见光摄像头拍摄的可见光图像，如此，通过景深摄像头和可见光摄像头的结合，提高了视频监控的覆盖率。

举例来说，如图1B、1C所示，图1B示出了监控拍摄的三维空间坐标系的水平示意图，其中有4组摄像头对指定范围进行监控拍摄，θ是深度摄像头的水平视场角，图1C示出了摄像头拍摄的三维空间坐标系的垂直示意图，其中包括了4组摄像头对指定范围进行监控拍摄的其中2组摄像头，是深度摄像头的垂直视场角，可通过调节4组摄像头的视场角拍摄到图中所示区域的不同深度的视频图像，如此，通过景深摄像头和可见光摄像头的结合，提高了视频监控的覆盖率。

102、从所述多帧视频图像中确定出目标对象。

其中，上述目标对象可为任一对象，本申请实施例中，对象可以理解为特定场景(例如，监狱或者监仓)中的布控对象，可从多帧视频图像进行识别，得到目标对象的多帧视频图像，视频图像中可包括人脸或者肢体等等，可以对目标对象进行跟踪拍摄，得到目标对象的视频片段。

可选地，上述步骤102，所述从所述多帧视频图像中确定出目标对象，可包括以下步骤：

21、对所述多帧视频图像中的可见光图像进行图像分割，得到多个人脸图像；

22、将所述多个人脸图像中每一人脸图像与预设人脸模板进行匹配，得到多个匹配值；

23、从所述多个匹配值中选取最大值，将所述最大值对应的人脸图像作为所述目标对象。

其中，预设人脸模板可由用户自行设定或者系统默认，预设人脸模板可理解为预先存储的目标对象的人脸图像，该目标对象可为任一对象，多组摄像头可针对指定范围进行监控拍摄，得到指定范围的多帧视频图像，该多帧视频图像中可包括多个人脸图像或者人物图像或者场景图像，因此，可对该多帧视频图像进行图像分割，得到多个人脸图像。具体地，可针对每帧视频图像的(一个或多个)人脸前景进行框定，若视频图像中不存在人脸前景图像，则可直接剔除该视频图像；若视频图像中存在人脸前景图像，可分别对人脸前景以及背景进行建模，视频图像中的每一个像素都可与一个人脸前景或背景节点连接，若相邻的两个节点不属于同一个人脸前景或者背景，则可切断两个节点之间的边，从而，区分出人脸前景图像和背景图像，得到多个人脸图像，如此，采用图像分割方法可用来剔除视频图像中的背景信息的干扰，从而提高人脸识别的效率。

此外，得到多个人脸图像以后，可将多个人脸图像中的每一人脸图像分别与预设人脸模板进行匹配，得到多个匹配值，具体地，可通过利用相似性度量来判定多个人脸图像中的每一人脸图像与预设人脸模板的对应关系，例如，可逐像素的把预设人脸模板的一个以一定大小排列的实时图像窗口的灰度矩阵，与多个人脸图像中的每一人脸图像的窗口灰度阵列，按相似性度量方法进行搜索匹配，得到每一人脸图像中匹配的窗口灰度阵列的概率值作为匹配值，从而得到了多个匹配值，将多个匹配值中相互比较，选取最大的匹配值对应的人脸图像作为目标对象，如此，剔除掉与预设人脸模板不匹配的人脸图像，提高了人脸识别的效率。

其中，相似性度量可包括以下一种：相关函数、协方差函数、差平方和、差绝对值和等测度极值，在此不作限定。

103、选取所述目标对象的第一肢体关键点。

其中，上述目标对象可为任一对象，本申请实施例中，肢体关键点可以包括至少一个关键点，关键点可以为以下任一种：头、肩膀、手肘、手腕、腰部、膝盖、关节、脚腕等等，在此不作限定，可选取目标对象的肢体关键点中的一个或多个关键点为第一肢体关键点，第一肢体关键点可包括以下至少一种：头、肩膀、手肘、手腕、腰部、膝盖、关节、脚腕等等，在此不作限定。

可选地，上述步骤103，所述选取所述目标对象的第一肢体关键点，可包括以下步骤：

31、获取所述目标对象的可见光人体图像以及对应的目标深度图像；

32、依据预设人体位置信息在所述可见光人体图像中进行标记，得到标记点，依据所述标记点，在所述目标深度图像中获取对应的坐标位置，得到所述第一肢体关键点。

其中，预设人体位置信息可由用户自行设置或者系统默认，预设人体位置信息可以理解为在三维空间中，正常人体中的肢体关键点所处的位置信息，该人体位置信息可包括肢体关键点所处的高度和水平位置，每一个肢体关键点可对应一个预设的高度以及水平位置，可根据人体的不同的状态行为来预设人体位置信息，例如，可针对人在正常下蹲后的状态行为分别预设头部、肩膀、膝盖等部位的个人体位置信息，也就是说，可在三维空间中，分别针对头部、肩膀、膝盖等部位的个人体位置预设高度以及水平位置。

例如图1B和1C所示，图1B示出了4组摄像头对指定范围进行监控拍摄的三维空间坐标系的水平示意图，图1C示出了4组摄像头对指定范围进行监控拍摄的其中2组摄像头的三维空间坐标系的垂直示意图，图中每个犯人的肢体关键点的坐标即为人体位置信息，和可表示犯人A的肢体关键点为头部的人体位置信息，其中可为头部在水平面的水平位置的坐标，可为头部离地面的高度；和可表示犯人A的肢体关键点为肩膀的人体位置信息，其中可为肩膀在水平面的水平位置的坐标，可为肩膀离地面高度。

此外，可获取目标对象的由可见光摄像头和景深摄像头分别拍摄的可见光人体图像和目标深度图像，可根据可见光图像和目标深度图像确认目标对象的肢体关键点的空间位置，具体地，可在可见光人体图像中根据预设人体位置信息标记该图像中目标对象的肢体关键点，并作为标记点，然后，获取该目标对象的目标深度图像，根据标记点可在目标深度图像中获取该标记点对应的坐标，该坐标对应的位置即为第一肢体关键点，如此，便能快速定位目标对象的肢体关键点。

104、依据所述第一肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头。

其中，在选取目标对象的第一肢体关键点以后，在指定范围内，可能存在至少一组摄像头可拍摄到目标对象，因此，可将该第一肢体关键点作为参考点，根据第一肢体关键点从多组摄像头中选取能够拍摄到该第一肢体关键点至少一组摄像头，如此，在选取可拍摄到目标对象的摄像头时，可提高效率。

105、确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值。

其中，在选取能够拍摄到第一肢体关键点的至少一组摄像头以后，多组摄像头进行拍摄的过程中，若摄像头较远，该摄像头拍摄出的图像或者视频可能会模糊不清，不利于对目标对象进行定位，因此，可确定多组摄像头与目标对象的第一肢体关键点之间的距离，如图1B、1C所示，图1B示出了4组摄像头对指定范围进行监控拍摄的三维空间坐标系的水平示意图，图1C示出了4组摄像头对指定范围进行监控拍摄的其中2组摄像头的三维空间坐标系的垂直示意图，可根据图1B、1C，获取目标对象的第一肢体关键点的三维坐标以及至少一组摄像头的三维坐标，然后，分别计算至少一组摄像头到第一肢体关键点之间的距离，从而得到至少一个距离值。

106、从所述至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据。

其中，在选取能够拍摄到第一肢体关键点的至少一组摄像头以后，会得到该至少一组摄像头对应拍摄的多组数据，可从至少一组摄像头中选取与第一肢体关键点之间的距离值最小的摄像头为目标摄像头，并获取该摄像头对应拍摄的目标对象的数据，该数据可包括景深摄像头和可见光摄像头拍摄的肢体关键点的多帧视频深度图像以及可见光图像，如此，提高图像处理的效率，还能够调用与目标对象最近的摄像头来拍摄，得到清晰的图像，便于后续行为分析，或者，目标跟踪，提升了监控效率。

可选地，上述步骤101以后，还可包括以下步骤：

A1、对所述多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像；

A2、将所述多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象；

A3、将所述多个人体图像进行分类，得到多类人体图像，每一类人体图像对应一个目标对象；

A4、将所述多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率；

A5、分别确定所述多个行为集中最高概率行为，得到多个最高概率行为；

A6、在所述多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警。

其中，多组摄像头在指定范围进行监控拍摄后得到的多帧视频图像中，可能包括多个人体图像以及多个人脸图像，人脸图像可包括以下至少一种：眉毛、眼睛、鼻子、嘴巴、耳朵、头发等等，在此不做限定，因此，可对多帧视频图像进行解析，得到至少一个人对应的多个人体图像，以及多个人脸图像。

此外，可参阅图1D，图1D示出了每种行为集以及每一种行为所对应的概率，每一个行为集中可包括至少一种行为，并且每种行为可对应一个行为概率，行为可包括以下至少一种：走路、叉腰、跑步、挥拳、蹲下、躺下、踢腿等等，在此不做限定。

具体地，多组摄像头在指定范围进行监控拍摄后得到的多帧视频图像中，可能包括至少一个人的多个人体图像以及多个人脸图像，因此，可将多个人脸图像进行聚类分析，得到多个目标对象对应的多类人脸图像，每一类人脸图像可对应一个目标对象，也可将多个人体图像进行分类，得到多类人体图像，多类人体图像中包含了多个目标对象，每一类人体图像对应一个目标对象，多类人体图像中可以包含多个不同的或者相同的目标对象不同的行为，每一张人体图像中可包含至少一个行为，因此，可以将多类人体图像输入到预设神经网络模型中，由该预设神经网络模型对每一类人体图像的每一张人体图像进行行为识别，每一类人体图像可以得到至少一个行为集，每一个行为集中至少包括一种行为，每一行为可以对应一个行为概率，可根据得到的不同行为集中的多个行为概率中确认行为概率最高的行为，若行为概率最高的行为对应的人数超过了第一预设阈值时，可计算行为概率最高的行为对应的人数占总人数的比例，若该比例超过第二预设阈值时，可直接进行报警处理，其中，第一预设阈值可由用户自行设置或者系统默认，第二预设阈值可由用户自行设置或者系统默认，例如，若行为概率最高的行为为挥拳，则可能发生聚众斗殴的情况，可根据该挥拳行为的行为概率对应的人数以及人数占比确定是否需要进行报警处理，如果超过了第一预设阈值以及第二预设阈值，则可直接触发报警，如此，可通过预设神经网络模型判断出不同行为的行为概率，通过行为概率分析出用户的行为倾向，并且能够根据情况进行报警。

进一步可选地，若所述多类人体图像对应多个目标对象，还可包括以下步骤：

B1、在所述多类人体图像的类别数量少于预设数量时，获取所述多个目标对象对应的预设人脸模板，得到多个预设人脸模板；

B2、依据所述多个预设人脸模板在预设数据库中进行搜索，得到与所述多个预设人脸模板不相同的至少一个人脸模板；

B3、获取所述至少一个人脸模板对应的身份标识信息，得到至少一个身份标识信息；

B4、依据所述至少一个身份标识信息进行报警。

其中，预设数量可为用户自行设置或者系统默认，目标对象可以为任一对象，可预先存储多个用户的人脸模板于预设数据库中。若上述多类人体图像对应多个目标对象时，由于每一类人体图像可对应一个目标对象，可对多个目标对象进行人脸识别，从而识别出预设数据库中不存在预设人脸模板的目标对象，并采取报警措施。具体实现中，可在多类人体图像的类别数量少于预设数量时，获取多个目标对象对应的预设人脸模板，根据多个人脸模板在数据库中进行搜索，得到与预设人脸模板不相同的至少一个人脸模板，并获取该至少一个人脸模板对应的身份标识信息，身份标志信息可包括以下一种：身份证、户口簿、护照、暂住证、驾照等等，在此不做限定，进而，依据该至少一个身份标识信息进行报警，如此，可以根据人脸识别，确认预设数据库中不存在人脸模板的可疑的人员，从而直接报警，提高了安全性。

可以看出，通过本申请实施例，通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，图像对包括一个深度图像和一个可见光图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，从多帧视频图像中确定出目标对象，选取目标对象的第一肢体关键点，依据第一肢体关键点从多组摄像头中选取能够拍摄到第一肢体关键点的至少一组摄像头，确定至少一组摄像头与第一肢体关键点之间的距离值，得到至少一个距离值，从至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据，如此，通过肢体关键点确认离目标对象更近的摄像头，提取该摄像头的数据可对该目标对象进行定位，并通过景深摄像头以及可见光摄像头的结合使用，能够在多个摄像头监控一个对象时，选取拍摄距离最近的一个摄像头的拍摄数据，该拍摄数据能够用于行为分析，提升监控效率。

与上述一致地，请参阅图2，为本申请实施例提供的一种图像处理方法的实施例流程示意图。本实施例中所描述的图像处理方法，包括以下步骤：

201、通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头。

202、对所述多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像。

203、将所述多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象。

204、将所述多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率。

205、分别确定所述多个行为集中最高概率行为，得到多个最高概率行为。

206、在所述多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警。

可选地，上述步骤201-步骤206的具体描述可参照图1A所描述的图像处理方法的步骤101-步骤106的对应步骤，在此不再赘述。

可以看出，本申请实施例中，通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，图像对包括一个深度图像和一个可见光图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，对多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像，将多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象，将多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率，分别确定多个行为集中最高概率行为，得到多个最高概率行为，在多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警，如此，可通过预设神经网络模型判断出不同行为的行为概率，通过行为概率分析出用户的行为倾向，实现对用户行为动作的识别，并且能够进行报警处理。

与上述一致地，以下为实施上述图像处理方法的装置，具体如下：

请参阅图3A，为本申请实施例提供的一种图像处理装置的实施例结构示意图。本实施例中所描述的图像处理装置，包括：监控单元301、确定单元302、选取单元303和获取单元304，具体如下：

监控单元301，用于通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

确定单元302，用于从所述多帧视频图像中确定出目标对象；

选取单元303，用于选取所述目标对象的第一肢体关键点；

所述选取单元303，还用于依据所述肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

所述确定单元302，还用于确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

获取单元304，用于从所述至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据。

其中，上述监控单元301可用于实现上述步骤101所描述的方法，确定单元302可用于实现上述步骤102、105所描述的方法，上述选取单元303可用于实现上述步骤103、104所描述的方法，上述获取单元304可用于实现上述步骤106所描述的方法，以下如此类推。

可选地，如图3B，图3B为图3A中所描述的图像处理装置的变型结构，与图3A相比较，还可以包括：解析单元305、分析单元306、分类单元307、输入单元308和报警单元309，其中，

解析单元305，用于对所述多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像；

分析单元306，用于将所述多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象；

分类单元307，用于将所述多个人体图像进行分类，得到多类人体图像，每一类人体图像对应一个目标对象；

输入单元308，用于将所述多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率；

确定单元302，还用于分别确定所述多个行为集中最高概率行为，得到多个最高概率行为；

报警单元309，用于在所述多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警。

可以看出，通过本申请实施例所描述的图像处理装置，通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，图像对包括一个深度图像和一个可见光图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，从多帧视频图像中确定出目标对象，选取目标对象的第一肢体关键点，依据第一肢体关键点从多组摄像头中选取能够拍摄到第一肢体关键点的至少一组摄像头，确定至少一组摄像头与第一肢体关键点之间的距离值，得到至少一个距离值，从至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据，如此，通过肢体关键点确认离目标对象更近的摄像头，提取该摄像头的数据可对该目标对象进行定位，并通过景深摄像头以及可见光摄像头的结合使用，能够在多个摄像头监控一个对象时，选取拍摄距离最近的一个摄像头的拍摄数据，该拍摄数据能够用于行为分析，提升监控效率。

可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

与上述一致地，请参阅图4，为本申请实施例提供的一种图像处理装置的实施例结构示意图。本实施例中所描述的图像处理装置，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。

其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。

上述输出设备2000具体可为显示屏。

上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：

上述处理器3000，用于：

通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

从所述多帧视频图像中确定出目标对象；

选取所述目标对象的第一肢体关键点；

依据所述肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

从所述至少一个距离值中选取最小值，并获取所述最小值对应的一组摄像头对应的拍摄数据。

可以看出，通过本申请实施例所描述的图像处理装置，可通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，图像对包括一个深度图像和一个可见光图像，多组摄像头中每组摄像头包括景深摄像头和可见光摄像头，从多帧视频图像中确定出目标对象，选取目标对象的第一肢体关键点，依据第一肢体关键点从多组摄像头中选取能够拍摄到第一肢体关键点的至少一组摄像头，确定至少一组摄像头与第一肢体关键点之间的距离值，得到至少一个距离值，从至少一个距离值中选取最小值，并获取该最小值对应的一组摄像头对应的拍摄数据，如此，通过肢体关键点确认离目标对象更近的摄像头，提取该摄像头的数据可对该目标对象进行定位，并通过景深摄像头以及可见光摄像头的结合使用，能够在多个摄像头监控一个对象时，选取拍摄距离最近的一个摄像头的拍摄数据，该拍摄数据能够用于行为分析，提升监控效率。

在一个可能的示例中，在所述从多帧视频图像中确定目标对象方面，上述处理器3000具体用于：

对所述多帧视频图像中的可见光图像进行图像分割，得到多个人脸图像；

将所述多个人脸图像中每一人脸图像与预设人脸模板进行匹配，得到多个匹配值；

从所述多个匹配值中选取最大值，将所述最大值对应的人脸图像作为所述目标对象。

在一个可能的示例中，在所述选取所述目标对象的第一肢体关键点方面，上述处理器3000具体用于：

获取所述目标对象的可见光人体图像以及对应的目标深度图像；

依据预设人体位置信息在所述可见光人体图像中进行标记，得到标记点，依据所述标记点，在所述目标深度图像中获取对应的坐标位置，得到所述第一肢体关键点。

在一个可能的示例中，上述处理器3000，还可用于：

对所述多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像；

将所述多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象；

将所述多个人体图像进行分类，得到多类人体图像，每一类人体图像对应一个目标对象；

将所述多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率；

分别确定所述多个行为集中最高概率行为，得到多个最高概率行为；

在所述多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警。

在一个可能的示例中，所述多类人体图像对应多个目标对象，所述处理器3000，还可用于：

在所述多类人体图像的类别数量少于预设数量时，获取所述多个目标对象对应的预设人脸模板，得到多个预设人脸模板；

依据所述多个预设人脸模板在预设数据库中进行搜索，得到与所述多个预设人脸模板不相同的至少一个人脸模板；

获取所述至少一个人脸模板对应的身份标识信息，得到至少一个身份标识信息；

依据所述至少一个身份标识信息进行报警。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。

本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

从所述多帧视频图像中确定出目标对象；

选取所述目标对象的第一肢体关键点；

依据所述第一肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

从所述至少一个距离值中选取最小值，并获取所述最小值对应的一组摄像头对应的拍摄数据。

2.根据权利要求1所述的方法，其特征在于，所述从所述多帧视频图像中确定出目标对象，包括：

对所述多帧视频图像中的可见光图像进行图像分割，得到多个人脸图像；

将所述多个人脸图像中每一人脸图像与预设人脸模板进行匹配，得到多个匹配值；

从所述多个匹配值中选取最大值，将所述最大值对应的人脸图像作为所述目标对象。

3.根据权利权要1或2所述的方法，其特征在于，所述选取所述目标对象的第一肢体关键点，包括：

获取所述目标对象的可见光人体图像以及对应的目标深度图像；

依据预设人体位置信息在所述可见光人体图像中进行标记，得到标记点，依据所述标记点，在所述目标深度图像中获取对应的坐标位置，得到所述第一肢体关键点。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

对所述多帧视频图像进行解析，得到多个人体图像，以及多个人脸图像；

将所述多个人脸图像进行聚类分析，得到多类人脸图像，每类人脸图像对应一个目标对象；

将所述多个人体图像进行分类，得到多类人体图像，每一类人体图像对应一个目标对象；

将所述多类人体图像输入到预设神经网络模型中，得到多个行为集，每一行为集对应至少一种行为，每一种行为对应一个行为概率；

分别确定所述多个行为集中最高概率行为，得到多个最高概率行为；

在所述多个最高概率行为中属于同一种预设行为的行为人数超过第一预设阈值且占比超过第二预设阈值时，进行报警。

5.根据权利要求4所述的方法，其特征在于，所述多类人体图像对应多个目标对象；

所述方法还包括：

在所述多类人体图像的类别数量少于预设数量时，获取所述多个目标对象对应的预设人脸模板，得到多个预设人脸模板；

依据所述多个预设人脸模板在预设数据库中进行搜索，得到与所述多个预设人脸模板不相同的至少一个人脸模板；

获取所述至少一个人脸模板对应的身份标识信息，得到至少一个身份标识信息；

依据所述至少一个身份标识信息进行报警。

6.一种图像处理装置，其特征在于，包括：

监控单元，用于通过多组摄像头对指定范围进行监控，得到多帧视频图像，每一帧视频图像为一图像对，所述图像对包括一个深度图像和一个可见光图像，所述多组摄像头中每组摄像头包括景深摄像头和可见光摄像头；

确定单元，用于从所述多帧视频图像中确定出目标对象；

选取单元，用于选取所述目标对象的第一肢体关键点；

所述选取单元，还用于依据所述肢体关键点从所述多组摄像头中选取能够拍摄到所述第一肢体关键点的至少一组摄像头；

所述确定单元，还用于确定所述至少一组摄像头与所述第一肢体关键点之间的距离值，得到至少一个距离值；

获取单元，用于从所述至少一个距离值中选取最小值，并获取所述最小值对应的一组摄像头对应的拍摄数据。

7.根据权利要求6所述的装置，其特征在于，在所述从所述多帧视频图像中确定出目标对象方面，所述确定单元具体用于：

对所述多帧视频图像中的可见光图像进行图像分割，得到多个人脸图像；

将所述多个人脸图像中每一人脸图像与预设人脸模板进行匹配，得到多个匹配值；

从所述多个匹配值中选取最大值，将所述最大值对应的人脸图像作为所述目标对象。

8.根据权利要求6或7所述的装置，其特征在于，所述选取所述目标对象的第一肢体关键点方面，所述选取单元具体用于：

获取所述目标对象的可见光人体图像以及对应的目标深度图像；

依据预设人体位置信息在所述可见光人体图像中进行标记，得到标记点，依据所述标记点，在所述目标深度图像中获取对应的坐标位置，得到所述第一肢体关键点。

9.一种图像处理装置，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。