目标远程监控方法、装置、计算机设备及存储介质
技术领域
本发明涉及智能识别领域,尤其涉及一种目标远程监控方法、装置、计算机设备及存储介质。
背景技术
随着社会的科技发展和生活的进步,人们对健康问题给予了重大关注,特别是老人。老年人因身体机能下降,行动能力及应变能力变弱,因自身疾病或外界影响,易发生突发意外伤害情况,其中跌倒是老年人意外伤害死亡的头号杀手。因此,在家庭、养老院等场所中,经常会面临老年人遇到突发情况无人知晓的问题,需要对老年人的行为进行智能化地监测,以及时对发生地突发情况进行处理,更好地保障老年人的安全。然而,目前存在的采用摄像头等设备对老年人的行为进行监控的方法常常由于不够智能,无法准确监控到老年人的日常生活轨迹,导致老年人的安全无法得到有效保证。
发明内容
本发明实施例提供一种目标远程监控方法、装置、计算机设备及存储介质,以解决无法智能地进行远程监控的问题。
一种目标远程监控方法,包括:
获取监控目标的追踪信息,根据所述追踪信息从多个图像采集设备中确定目标采集设备,所述目标采集设备实时采集的图像数据中包括所述监控目标,所述追踪信息包括所述监控目标的身份信息或者位置信息;
在显示界面上实时展示所述目标采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据;
若所述监控目标在所述目标采集设备采集的图像数据中的位置处于预设的第一区域中,则获取所述监控目标的移动趋势数据,所述移动趋势数据指示所述监控目标的移动方位;
若所述监控目标的移动趋势数据符合预设的移动条件,则根据所述监控目标的位置和移动趋势数据获取所述目标采集设备的关联采集设备;
当所述监控目标在所述目标采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示所述关联采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据。
一种目标远程监控装置,包括:
追踪信息获取模块,用于获取监控目标的追踪信息,根据所述追踪信息从多个图像采集设备中确定目标采集设备,所述目标采集设备实时采集的图像数据中包括所述监控目标,所述追踪信息包括所述监控目标的身份信息或者位置信息;
第一展示模块,用于在显示界面上实时展示所述目标采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据;
移动趋势数据获取模块,用于在所述监控目标在所述目标采集设备采集的图像数据中的位置处于预设的第一区域中时,获取所述监控目标的移动趋势数据,所述移动趋势数据指示所述监控目标的移动方位;
关联采集设备获取模块,用于在所述监控目标的移动趋势数据符合预设的移动条件时,根据所述监控目标的位置和移动趋势数据获取所述目标采集设备的关联采集设备;
第二展示模块,用于当所述监控目标在所述关联采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示所述关联采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述目标远程监控方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述目标远程监控方法。
上述目标远程监控方法、装置、计算机设备及存储介质,获取监控目标的追踪信息,根据追踪信息从多个图像采集设备中确定目标采集设备,目标采集设备实时采集的图像数据中包括监控目标,追踪信息包括监控目标的身份信息或者位置信息;在显示界面上实时展示目标采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据;若监控目标在目标采集设备采集的图像数据中的位置处于预设的第一区域中,则获取监控目标的移动趋势数据,移动趋势数据指示监控目标的移动方位;若监控目标的移动趋势数据符合预设的移动条件,则根据监控目标的位置和移动趋势数据获取目标采集设备的关联采集设备;当监控目标在关联采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示关联采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据;通过采用多个图像采集设备对监控目标进行远程监控,且可以实时展示图像采集设备采集的全局图像数据和面部图像数据,以便对监控目标的行为和情绪进行分析,保证了对监控目标进行监控的准确性,实现了对监控目标进行智能地远程监控。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中目标远程监控方法的一应用环境示意图;
图2是本发明一实施例中目标远程监控方法的一示例图;
图3是本发明一实施例中目标远程监控方法的另一示例图;
图4是本发明一实施例中目标远程监控方法的另一示例图;
图5是本发明一实施例中目标远程监控方法的另一示例图;
图6是本发明一实施例中目标远程监控方法的另一示例图;
图7是本发明一实施例中目标远程监控装置的一原理框图;
图8是本发明一实施例中目标远程监控装置的另一原理框图;
图9是本发明一实施例中目标远程监控装置的另一原理框图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的情绪识别方法,可应用在监控平台中。该监控平台可以包括设置于一目标场景的多个图像采集设备。其中,该目标场景可以为家庭、养老院或者其他公共服务场所。在该目标场景中设置有多个图像采集设备。可以通过在目标场景中合理设置图像采集设备的位置和角度,以全面地覆盖该目标场景,保证可以采集到该目标场景中每个位置的图像,可以进行更好的监控。具体图像采集设备的位置设置可以根据不同的目标场景进行布置或者调整,在此不再赘述。
本发明实施例提供的目标远程监控方法,该目标远程监控方法可应用如图1所示的应用环境中。具体地,该目标远程监控方法应用在目标远程监控系统中,该目标远程监控系统包括如图1所示的客户端和服务端,客户端与服务端通过网络进行通信,用于解决无法智能地进行远程监控的问题。其中,客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、图像采集设备、智能手环和便携式可穿戴设备等。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种目标远程监控方法,以该方法应用在图1中的服务端为例进行说明,包括如下步骤:
S10:获取监控目标的追踪信息,根据追踪信息从多个图像采集设备中确定目标采集设备,目标采集设备实时采集的图像数据中包括监控目标,追踪信息包括监控目标的身份信息或者位置信息。
其中,跟踪信息为用于实现对监控目标进行实时远程监控所需的信息。跟踪信息包括身份信息或者位置信息。身份信息为用于唯一识别监控目标身份的信息。在一具体实施例中,监控目标的身份信息已预先存储在服务端的身份信息数据库中。位置信息为用于指示监控目标的当前所在位置的信息。位置信息可以通过监控目标所携带的移动终端或者智能穿戴设备实时获取。智能穿戴设备安装在监控目标的衣物或是肢体上,用于获取监控目标的位置信息。在本实施例中,该监控目标为人物。
具体地,获取监控目标的追踪信息,根据追踪信息从多个图像采集设备中确定目标采集设备,目标采集设备实时采集的图像数据中包括监控目标。
示例性地,可以在家中或者养老院等场所设置多个图像采集设备,用于对监测目标进行实时监控。在确定了监控目标的身份信息之后,先根据身份信息确定该监控目标所携带的智能穿戴设备,然后通过监控目标所携带的智能穿戴设备获取监控目标的位置信息,最后基于该监控目标的位置信息,从多个图像采集设备中确定与该位置信息距离最近的图像采集设备作为目标采集设备。即通过目标采集设备可以实时采集到包含监测目标的图像数据。在一个实施方式中,若图像采集设备为客户端,则该图像采集设备直接将采集到的图像数据发送至服务端。或者,该图像采集设备将采集到的图像数据发送至客户端,客户端再将该监测图像发送至服务端。
S20:在显示界面上实时展示目标采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据。
具体地,在获取到目标采集设备采集到的包括监控目标的图像数据之后,将该图像数据发送至客户端的显示界面上实时展示。图像数据包括监控目标的全局图像数据和面部图像数据。其中,全局图像数据是指能表示监控目标的全局特征的图像数据。通过全局图像数据能完整地看到监控目标的整体特征。比如:通过全局图像数据可以看到监控目标往哪个方向移动。全局图像数据可以由连续采集的多张图像组成。面部图像数据是指能表示监控目标的面部特征的图像数据。面部图像数据可以由连续采集的包含有监控目标的人脸区域的多张图像组成。面部图像数据中的每一张图像均包含有监控目标的人脸区域。监控目标的人脸区域可以为各种类型,例如:圆形、矩形或者正方形等,具体可以根据实际需要而设定。优选地,目标人脸图像区域为矩形。
S30:若监控目标在目标采集设备采集的图像数据中的位置处于预设的第一区域中,则获取监控目标的移动趋势数据,移动趋势数据指示监控目标的移动方位。
其中,第一区域为预先设定的图像数据中的边缘区域。具体地,可以以图像数据中的图像中心点为参考点,将与图像中心点的距离大于预设值的图像边缘区域确定为第一区域。通过判断监控目标在图像数据中的位置是否处于预设的第一区域中,可以确定监控目标是否有进行移动。
具体地,若监控目标在目标采集设备采集的图像数据中的位置处于预设的第一区域中,则根据第一区域获取监控目标的移动趋势数据,移动趋势数据指示监控目标的移动方位。示例性地,若监控目标为老人,监控到老人在目标采集设备采集的图像数据中的位置处于预设的第一区域中,该第一区域为在图像中心点的左向方,则获取监控目标的移动趋势数据,该移动趋势数据指示老人往目标采集设备的左向方移动了。
S40:若监控目标的移动趋势数据符合预设的移动条件,则根据监控目标的位置和移动趋势数据获取目标采集设备的关联采集设备。
其中,移动条件为预先设定的用于指示监控目标是否有移动出目标采集设备所能监控的区域的趋势的条件。具体地,若监控目标的移动趋势数据符合预设的移动条件,即若监控目标有移动出目标采集设备所能监控的区域的趋势,则根据监控目标的位置和移动趋势数据获取目标采集设备的关联采集设备。可以理解地,根据监控目标的位置和移动趋势数据可以准确获知监控目标将会进入哪个图像采集设备的监控范围。关联采集设备的位置与移动趋势数据相对应。比如:若移动趋势数据指示监控目标往目标采集设备的左向方移动了,则关联采集设备为位于目标采集设备左向方的图像采集设备。
S50:当监控目标在关联采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示关联采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据。
具体地,当根据步骤S40确定了关联采集设备之后,关联采集设备可以对监控目标进行监控,即可获取关联采集设备采集的图像数据。当监控目标在关联采集设备采集的图像数据中的位置处于预设的第一区域中,将该关联采集设备采集的图像数据发送至客户端的显示界面上进行实时展示。其中,第一区域为预先设定的图像数据中的边缘区域。具体地,可以以图像数据中的图像中心点为参考点,将与图像中心点的距离大于预设值的图像边缘区域确定为第一区域。
其中,全局图像数据是指能表示监控目标的全局特征的图像数据。通过全局图像数据能完整地看到监控目标的整体特征。比如:通过全局图像数据可以看到监控目标往哪个方向移动。全局图像数据可以由连续采集的多张图像组成。面部图像数据是指能表示监控目标的面部特征的图像数据。面部图像数据可以由连续采集的包含有监控目标的人脸区域的多张图像组成。面部图像数据中的每一张图像均包含有监控目标的人脸区域。通过面部图像数据可以识别出监控目标的当前情绪。
在本实施例中,获取监控目标的追踪信息,根据追踪信息从多个图像采集设备中确定目标采集设备,目标采集设备实时采集的图像数据中包括监控目标,追踪信息包括监控目标的身份信息或者位置信息;在显示界面上实时展示目标采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据;若监控目标在目标采集设备采集的图像数据中的位置处于预设的第一区域中,则获取监控目标的移动趋势数据,移动趋势数据指示监控目标的移动方位;若监控目标的移动趋势数据符合预设的移动条件,则根据监控目标的位置和移动趋势数据获取目标采集设备的关联采集设备;当监控目标在目标采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示关联采集设备采集的图像数据,图像数据包括监控目标的全局图像数据和面部图像数据;通过采用多个图像采集设备对监控目标进行远程监控,且可以实时展示图像采集设备采集的全局图像数据和面部图像数据,以便对监控目标的行为和情绪进行分析,保证了对监控目标进行监控的准确性,实现了对监控目标进行智能地远程监控。
在一实施例中,如图3所示,在显示界面上实时展示目标采集设备采集的图像数据之前,所述目标远程监控方法还具体包括如下步骤:
S11:从目标采集设备实时采集的图像数据中获取全局图像数据,全局图像数据包括监控目标。
具体地,由步骤S10可知,目标采集设备可以实现对监控目标的监控,实时采集生成图像数据,并把采集到的图像数据发送至服务端,图像数据包括全局图像数据。因此,在本步骤中,可以直接从目标采集设备实时采集的图像数据中获取全局图像数据,全局图像数据包括监控目标。
S12:对全局图像数据中的监控目标进行面部识别,若无法从全局图像数据中识别到监控目标的面部区域,则对全局图像数据中的监控目标进行角度识别,确定监控目标在全局图像数据中的目标角度,其中,目标角度指示监控目标在全局图像数据中的面部和目标采集设备的采集镜头之间的角度。
具体地,可以采用人脸识别算法对全局图像数据中的监控目标进行面部识别,或者将全局图像数据输入到人脸识别模型中以实现对全局图像数据中的监控目标进行识别。其中,人脸识别算法是指从全局图像数据中识别出监控目标的面部区域的算法。具体地,人脸识别算法可以采用基于几何特征的识别算法、基于局部特征分析的识别算法、基于特征脸的识别算法、基于神经网络的识别算法或者基于弹性模型的识别算法来实现。通过预设的人脸识别算法对全局图像数据中的监控目标进行面部识别,识别出全局图像数据中监控目标的面部区域。其中,人脸识别模型是预先训练得到的一个网络模型,用于对全局图像数据中的监控目标进行脸部识别,并输出一个识别结果。具体地,人脸识别模型为采用卷积神经网络训练得到的。
进一步地,若无法从全局图像数据中识别到监控目标的面部区域,例如:全局图像数据中只能看到监控目标的背面或者侧面;则对全局图像数据中的监控目标进行角度识别,确定监控目标在全局图像数据中的目标角度,以便后续根据目标角度确定出可以采集到监控目标的脸部区域的图像采集设备。其中,目标角度指示监控目标在全局图像数据中的面部和目标采集设备的采集镜头之间的角度。具体地,可以采用基于图像的角度识别算法对全局图像数据中的监控目标进行角度识别。例如:基于图像的角度识别算法可以为基于Harris算法的角度识别算法或Kinect测量角度识别算法等。
S13:根据目标角度从多个图像采集设备中确定至少一个面部图像采集设备,面部图像采集设备为可以采集到监控目标面部图像的图像采集设备。
具体地,在确定了监控目标在全局图像数据中的目标角度之后,根据目标角度从多个图像采集设备中确定至少一个面部图像采集设备。示例性地,若对全局图像数据中的监控目标进行角度识别之后,确定出监控目标在全局图像数据中的面部和目标采集设备的采集镜头之间的角度为120°,则从多个图像采集设备中确定出的面部图像采集设备与目标采集设备的采集镜头之间的角度也约为120°。需要说明的是,面部图像采集设备与目标采集设备的采集镜头之间的角度可以存在一些角度偏差,即可以大于或者小于120°,但是角度偏差不能过大,以保证面部图像采集设备可以采集到监控目标的面部图像。面部图像采集设备可以为一个或者多个,只要能采集到监控目标的面部图像的图像采集设备都可以确定为面部图像采集设备。
S14:从面部图像采集设备所采集的图像数据中获取监控目标的面部图像数据。
其中,面部图像数据为包含监控目标的脸部区域的图像数据。具体地,由步骤S13可知,面部图像采集设备可以采集到监控目标的面部图像,因此,在确定了面部图像采集设备之后,可以直接从面部图像采集设备所采集的图像数据中获取监控目标的面部图像数据,以便后续采用监控目标的面部图像数据对监控目标进行情绪识别或者分析等。
在本实施例中,从目标采集设备实时采集的图像数据中获取全局图像数据,全局图像数据包括监控目标;对全局图像数据中的监控目标进行面部识别,若无法从全局图像数据中识别到监控目标的面部区域,则对全局图像数据中的监控目标进行角度识别,确定监控目标在全局图像数据中的目标角度,其中,目标角度指示监控目标在全局图像数据中的面部和目标采集设备的采集镜头之间的角度;根据目标角度从多个多个图像采集设备中确定至少一个面部图像采集设备,面部图像采集设备为可以采集到监控目标面部图像的图像采集设备;从面部图像采集设备所采集的图像数据中获取监控目标的面部图像数据;在从全局图像数据中无法识别出监控目标的面部区域之后,再进一步对全局图像数据中的监控目标进行角度识别,以确定出可以采集到监控目标面部图像的图像采集设备,并从面部图像采集设备所采集的图像数据中获取监控目标的面部图像数据,从而进一步提高了对监控目标进行监控的准确性和多样性。
在一实施例中,如图4所示,对全局图像数据中的监控目标进行角度识别,确定监控目标在全局图像数据中的目标角度,具体包括如下步骤:
S121:从全局图像数据中获取监控目标图像,监控目标图像为包括监控目标的图像。
具体地,采集的全局图像数据中可能包括多张图像,有些图像中可能包括有监控目标,有些图像中可能不包括监控目标,有些图像中可能只包括有监控目标的一部分。因此,在本步骤中,为了提高对全局图像数据中的监控目标进行角度识别的准确性,从全局图像数据中获取包括监控目标的监控目标图像。
S122:对监控目标图像进行归一化处理,得到待识别图像。
其中,待识别图像为对监控目标图像进行图像归一化处理后所得到的符合设定要求的图像。具体地,为了进一步提高对全局图像数据中的监控目标进行角度识别的准确性,避免因为监控目标图像的模糊、失真或者尺寸不合格导致角度识别结果出现偏差。在本步骤中,先对监控目标图像进行归一化处理,得到待识别图像。其中,图像归一化是指对图像进行了一系列标准的处理变换,使之变换为一固定标准形式的过程。具体地,可以采用Python应用程序 、 C++应用程序 、|Matlab应用程序或者预先训练的机器学习模型实现对监控目标图像的归一化处理,得到待识别图像。
S123:采用预设的角度识别模型对待识别图像进行识别,确定监控目标在全局图像数据中的目标角度,角度识别模型为预先进行训练得到的神经网络模型。
其中,角度识别模型是指预先训练的可对待识别图像进行角度识别、并输出目标角度的模型。具体地,将待识别图像输入至预设的角度识别模型中进行角度识别,即可得到监控目标在全局图像数据中的目标角度。示例性地,监控目标在全局图像数据中的目标角度可以为90°、120°或35°等。可以理解地,通过确定监控目标在全局图像数据中的目标角度,即可实现从多个图像采集设备中确定至少一个可以采集到监控目标面部图像的面部图像采集设备。其中,角度识别模型为预先进行训练得到的神经网络模型。该角度识别模型可以通过深度学习实现。优选地,可以预先建立基于OpenCV的POSIT算法的角度识别模型,对待识别图像进行识别,得到监控目标在全局图像数据中的目标角度。
在本实施例中,从全局图像数据中获取监控目标图像,监控目标图像为包括监控目标的图像;对监控目标图像进行归一化处理,得到待识别图像;采用预设的角度识别模型对待识别图像进行识别,确定监控目标在全局图像数据中的目标角度,角度识别模型为预先进行训练得到的神经网络模型;从而进一步提高了得到的监控目标在全局图像数据中的目标角度的准确性。
在一实施例中,如图5所示,在显示界面上实时展示关联采集设备采集的图像数据之后,该目标远程监控方法,还具体包括如下步骤:
S21:按照预设的时间间隔从面部图像数据中提取监控目标的面部区域图像。
具体地,由于面部图像数据中包含连续M帧的面部区域图像,每一面部区域图像具有时序性。因此,在本步骤中,可以按照预设的时间间隔从面部图像数据中提取监控目标的面部区域图像。其中,预设的时间间隔是指预先设定的对面部图像数据进行面部区域图像提取的时间间隔。可选地,可以按照时序的先后顺序每隔5S、10S或30S从面部图像数据中提取一张图像作为监控目标的面部区域图。用户可根据实际情况自定义设定时间间隔。例如:若预设的时间间隔为每隔5S从面部图像数据中提取一张图像作为监控目标的面部区域图,则按照时序的先后顺序在提取完第一张面部区域图像之后,在5秒钟之后再提取第二张面部区域图像,以此类推,提取出若干张监控目标的面部区域图像。可以理解地,预设的时间间隔越短,面部区域图像的数量越多,提取的面部区域图像中都存在遮挡的可能性即越小,然而服务端计算复杂度也会越高,具体的数量可以根据不同应用场景需要而设定。
S22:若面部区域图像存在遮挡,则按照面部区域图像对应的时间点确定提取时间区间,提取时间区间为面部区域图像对应的时间点的预设时间刻度的时间区间。
具体地,若根据步骤S21所提取出的面部区域图像存在遮挡,即面部区域图像中的人脸区域是不完整不清晰的、被某些遮挡物给遮挡住了,则按照面部区域图像对应的时间点确定提取时间区间,提取时间区间为面部区域图像对应的时间点的预设时间刻度的时间区间。可以理解地,面部区域图像对应的时间点即为可从面部图像数据中提取该面部区域图像的时间点,比如预设的时间间隔为按照时序的先后顺序每隔5S从面部图像数据中提取一张图像作为监控目标的面部区域图,则提取的面部区域图像对应的时间点为第1S、第6S、第11S、以此类推等。进一步地,在确定了面部区域图像对应的时间点之后,按照面部区域图像对应的时间点确定提取时间区间。比如:提取面部区域图像对应的时间点为第1S、第6S、第11S,则对应的提取时间区间为在第1S与第6S之间的时间区间和在第6S与第11S之间的时间区间。
S23:根据提取时间区间从面部图像数据中搜索未存在遮挡的面部区域图像。
在根据步骤S22确定了提取时间区间,根据提取时间区间从面部图像数据中搜索未存在遮挡的面部区域图像。即从提取时间区间中的所有图像中搜索未存在遮挡的面部区域图像。具体地,可以采用人脸检测算法对提取时间区间内的所有图像进行图像检测,从而搜索未存在遮挡的面部区域图像。其中,人脸检测算法是从面部图像数据中搜索未存在遮挡的面部区域图像的检测算法。具体地,人脸检测算法可以采用基于特征提取的人脸检测算法,也可以基于神经网络的人脸检测算法,还可以是基于深度学习的人脸检测算法。通过预设的人脸检测算法对面部图像数据进行检测,从而搜索未存在遮挡的面部区域图像。
S24:若搜索到未存在遮挡的面部区域图像,则根据未存在遮挡的面部区域图像对监控目标进行情绪识别,得到监控目标的情绪识别结果。
其中,情绪识别结果是指包括人脸情绪信息的结果。比如,情绪识别结果可以为开心、悲伤、恐惧、生气、惊讶、厌恶或轻蔑。若根据步骤S23搜索到未存在遮挡的面部区域图像,则根据未存在遮挡的面部区域图像对监控目标进行情绪识别,得到监控目标的情绪识别结果。具体地,可以采用人脸情绪识别模型对监控目标进行情绪识别。其中,人脸情绪识别模型是预先训练得到的一个网络模型,用于对监控目标的人脸情绪进行识别,并输出一个识别结果,即情绪识别结果。人脸情绪识别模型可以判断输入的未存在遮挡的面部区域图像中的监控目标对应于预设的多种情绪的概率值,若某种情绪的概率值超过对应的预设阈值,则得到该监控目标的情绪识别结果。例如,在本实施例中,可以将人脸情绪识别模型中的情绪设定为开心、悲伤、恐惧、生气、惊讶、厌恶和轻蔑7种。具体地,可以预先采集分别代表这7种情绪的大量图像数据进行标注,形成图像数据集,然后选择对应的神经网络模型或者分类器进行训练,最终得到人脸情绪识别模型。
具体地,人脸情绪识别模型为采用卷积神经网络-长短时递归神经网络模型训练得到的。卷积神经网络-长短时递归神经网络模型是由卷积神经网络模型和长短时递归神经网络模型相结合所得到的模型。可以理解地,卷积神经网络-长短时递归神经网络模型相当于卷积神经网络与长短时递归神经网络模型相连接形成的模型。
在本实施例中,按照预设的时间间隔从面部图像数据中提取监控目标的面部区域图像;若面部区域图像存在遮挡,则按照面部区域图像对应的时间点确定提取时间区间,提取时间区间为面部区域图像对应的时间点的预设时间刻度的时间区间;根据提取时间区间从面部图像数据中搜索未存在遮挡的面部区域图像;若搜索到未存在遮挡的面部区域图像,则根据未存在遮挡的面部区域图像对监控目标进行情绪识别,得到监控目标的情绪识别结果;通过从图像数据中提取未存在遮挡的监控目标的面部区域图像,然后对监控目标进行情绪识别,从而可以更直观清晰地反映监控目标的当前情绪状态,提高了对监控目标进行监控的准确性。
在一实施例中,如图6所示,根据提取时间区间从面部图像数据中搜索未存在遮挡的面部区域图像之后,该目标远程监控方法,还具体包括如下步骤:
S231:若未搜索到未存在遮挡的面部区域图像,则根据提取时间区间从面部图像数据中确定一个待识别面部图像,待识别面部图像为在提取时间区间内监控目标的面部遮挡面积最小的面部图像。
具体地,若根据步骤S23未搜索到未存在遮挡的面部区域图像,则根据提取时间区间从面部图像数据中确定一个待识别面部图像,待识别面部图像为在提取时间区间内监控目标的面部遮挡面积最小的面部图像。
S232:对待识别面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域。
具体地,可以采用图像分割方法对待识别面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域。其中,图像分割区域指对待识别面部图像中的未遮挡区域进行图像分割处理后所得的图像块。图像分割方法包括有基于边缘的图像分割方法、阈值分割方法、区域分割方法、基于图论的分割方法或者基于能量泛函的分割方法等。优选地,在本实施例中,采用区域分割方法实现对待识别面部图像中的未遮挡区域进行图像分割。
S233:从待识别面部图像中确定遮挡区域的遮挡位置,根据待识别面部图像的时间点从多个图像采集设备中监控目标的面部图像中提取遮挡位置所对应的未遮挡图像。
具体地,可以将待识别面部图像输入预先训练好的图像检测模型中进行识别,从待识别面部图像中确定遮挡区域的遮挡位置,或者直接采用图像检测从待识别面部图像中确定遮挡区域的遮挡位置。其中,图像检测模型是指预先训练的用于从待识别面部图像中确定遮挡区域的遮挡位置的模型。图像检测模型可以通过对个各种网络模型进行训练得到。可选地,图像检测模型为采用卷积神经网络训练得到的,图像检测模型可以确定输入的待识别面部图像中遮挡区域的遮挡位置。
进一步地,根据待识别面部图像的时间点从多个图像采集设备中监控目标的面部图像中提取遮挡位置所对应的未遮挡图像。具体地,首先根据待识别面部图像的时间点,从多个图像采集设备中提取与时间点相同的候选图像,然后根据遮挡位置从候选图像出提取出在该遮挡位置未存在遮挡的未遮挡图像。可以理解地,未遮挡图像的时间点与待识别面部图像的时间点相同,且在待识别面部图像中存在遮挡的位置,在对应的未遮挡图像中是未存在遮挡的。
S234:根据多个图像分割区域和未遮挡图像对预设的情绪样本图像集中的每一样本图像进行图像分割,将情绪样本图像集中的每一样本图像分割成多个样本分割区域,情绪样本图像集包括多个样本图像和每一所属样本图像对应的情绪标注数据。
其中,情绪样本图像集是指预先采集的用于进行图像分割的图像集。情绪样本图像集包括多个样本图像和每一所属样本图像对应的情绪标注数据。情绪标注数据是指预先对样本图像中的人脸情绪进行情绪标准的数据。比如:情绪标注数据可以设定为开心、悲伤、恐惧、生气、惊讶、厌恶和轻蔑等。可以理解地,情绪样本图像集中的每一样本图像数据都是预先已标注上对应的情绪标注数据的图像。情绪标注数据可准确直观地体现对应的样本图像的人脸区域所反映的表情/心理信息。
具体地,根据根据多个图像分割区域和未遮挡图像对预设的情绪样本图像集中的每一样本图像进行图像分割,将情绪样本图像集中的每一样本图像分割成多个样本分割区域。可选地,可采用图像二值化处理方法或采用图像处理工具实现对情绪样本图像集中的每一样本图像的分割。可以理解地,分割成的多个样本分割区域的尺寸大小与图像分割区域的尺寸大小相同。
S235:将面部图像中每一图像分割区域以及未遮挡图像和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域以及未遮挡图像对应的聚类簇。
具体地,在确定了每一样本图像中对应的样本分割区域之后,可以采用Kmeans聚类算法对面部图像中每一图像分割区域以及未遮挡图像和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域以及未遮挡图像对应的聚类簇。其中,其中,Kmeans聚类算法是指以空间中K个点为初始聚类中心对最靠近初始聚类中心的点进行归类的算法,即将每一图像分割区域以及未遮挡图像划分为归属于不同初始聚类中心的标准化因子值。
具体地,采用Kmeans聚类算法对面部图像中每一图像分割区域以及未遮挡图像和每一样本图像中对应的样本分割区域进行聚类分析的步骤包括:(1)确定初始聚类中心;(2)计算每个聚类对象(每一图像分割区域以及未遮挡图像)到聚类中心的距离,按照最小距离原则将聚类对象分配到最近的初始聚类中心;(3)根据聚类结果,再次计算k个聚类的中心,并作为新的聚类中心;(4)计算标准测度函数(通常采用均方差作为标准测度函数),不断重复计算以得到新的聚类中心的过程直到标准测度函数开始收敛为止,即直到达到最大迭代次数,则停止,否则,继续操作从而获得K个聚类类簇。
S236:对每一图像分割区域以及未遮挡图像对应的聚类簇中每一图像分割区域对应的情绪标注数据进行统计,将每一图像分割区域以及未遮挡图像对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据。
S237:根据每一图像分割区域以及未遮挡图像对应的聚类簇中的基准情绪数据确定面部图像的情绪识别结果。
具体地,对每一图像分割区域以及未遮挡图像对应的聚类簇中每一图像分割区域对应的情绪标注数据进行统计,将每一图像分割区域以及未遮挡图像对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据;最后将每一图像分割区域以及未遮挡图像对应的聚类簇中的基准情绪数据确定为面部图像的情绪识别结果。示例性地,若对每一图像分割区域以及未遮挡图像对应的聚类簇中每一图像分割区域对应的情绪标注数据进行统计之后,得到情绪标注数据为“悲伤”的数量最多,则将“悲伤”确定为基准情绪数据,并将该基准情绪数据“悲伤”确定为面部图像的情绪识别结果。
在本实施例中,若未搜索到未存在遮挡的面部区域图像,则根据提取时间区间从面部图像数据中确定一个待识别面部图像,待识别面部图像为在提取时间区间内监控目标的面部遮挡面积最小的面部图像;对待识别面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域;从待识别面部图像中确定遮挡区域的遮挡位置,根据待识别面部图像的时间点从多个图像采集设备中监控目标的面部图像中提取所述遮挡位置所对应的未遮挡图像;根据多个图像分割区域和未遮挡图像对预设的情绪样本图像集中的每一样本图像进行图像分割,将情绪样本图像集中的每一样本图像分割成多个样本分割区域,情绪样本图像集包括多个样本图像和每一所属样本图像对应的情绪标注数据;将面部图像中每一图像分割区域以及未遮挡图像和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域以及未遮挡图像对应的聚类簇;对每一图像分割区域以及未遮挡图像对应的聚类簇中每一图像分割区域对应的情绪标注数据进行统计,将每一图像分割区域以及未遮挡图像对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据;根据每一图像分割区域以及未遮挡图像对应的聚类簇中的基准情绪数据确定所述面部图像的情绪识别结果;从而进一步提高了情绪识别结果的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种目标远程监控装置,该目标远程监控装置与上述实施例中目标远程监控方法一一对应。如图7所示,该目标远程监控装置包括追踪信息获取模块10、第一展示模块20、移动趋势数据获取模块30、关联采集设备获取模块40和第二展示模块50。各功能模块详细说明如下:
追踪信息获取模块10,用于获取监控目标的追踪信息,根据所述追踪信息从多个图像采集设备中确定目标采集设备,所述目标采集设备实时采集的图像数据中包括所述监控目标,所述追踪信息包括所述监控目标的身份信息或者位置信息;
第一展示模块20,用于在显示界面上实时展示所述目标采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据;
移动趋势数据获取模块30,用于在所述监控目标在所述目标采集设备采集的图像数据中的位置处于预设的第一区域中时,获取所述监控目标的移动趋势数据,所述移动趋势数据指示所述监控目标的移动方位;
关联采集设备获取模块40,用于在所述监控目标的移动趋势数据符合预设的移动条件时,根据所述监控目标的位置和移动趋势数据获取所述目标采集设备的关联采集设备;
第二展示模块50,用于当所述监控目标在所述关联采集设备采集的图像数据中的位置处于预设的第一区域中,则在显示界面上实时展示所述关联采集设备采集的图像数据,所述图像数据包括所述监控目标的全局图像数据和面部图像数据。
优选地,如图8所示,该目标远程监控装置,还包括:
全局图像数据获取模块11,用于从所述目标采集设备实时采集的图像数据中获取全局图像数据,所述全局图像数据包括所述监控目标;
角度识别模块12,用于对所述全局图像数据中的监控目标进行面部识别,若无法从所述全局图像数据中识别到所述监控目标的面部区域,则对所述全局图像数据中的监控目标进行角度识别,确定所述监控目标在所述全局图像数据中的目标角度,其中,所述目标角度指示所述监控目标在所述全局图像数据中的面部和目标采集设备的采集镜头之间的角度;
第一确定模块13,用于根据所述目标角度从所述多个图像采集设备中确定至少一个面部图像采集设备,所述面部图像采集设备为可以采集到所述监控目标面部图像的图像采集设备;
面部图像数据获取14,用于从所述面部图像采集设备所采集的图像数据中获取所述监控目标的面部图像数据。
优选地,如图9所示,识别模块12包括:
监控目标图像获取单元121,用于从所述全局图像数据中获取监控目标图像,所述监控目标图像为包括所述监控目标的图像;
归一化处理单元122,用于对所述监控目标图像进行归一化处理,得到待识别图像;
目标角度确定单元123,用于采用预设的角度识别模型对所述待识别图像进行识别,确定所述监控目标在所述全局图像数据中的目标角度,所述角度识别模型为预先进行训练得到的神经网络模型。
优选地,该目标远程监控装置,还包括:
第一提取模块,用于按照预设的时间间隔从所述面部图像数据中提取所述监控目标的面部区域图像;
第二确定模块,用于在所述面部区域图像存在遮挡时,按照所述面部区域图像对应的时间点确定提取时间区间,所述提取时间区间为所述面部区域图像对应的时间点的预设时间刻度的时间区间;
搜索模块,用于根据所述提取时间区间从所述面部图像数据中搜索未存在遮挡的面部区域图像;
情绪识别模块,用于在搜索到未存在遮挡的面部区域图像时,根据所述未存在遮挡的面部区域图像对所述监控目标进行情绪识别,得到所述监控目标的情绪识别结果。
优选地,该目标远程监控装置,还包括:
第三确定模块,用于在未搜索到未存在遮挡的面部区域图像,则根据所述提取时间区间从所述面部图像数据中确定一个待识别面部图像,所述待识别面部图像为在所述提取时间区间内所述监控目标的面部遮挡面积最小的面部图像;
第一图像分割模块,用于对所述待识别面部图像中的未遮挡区域进行图像分割,得到多个图像分割区域;
第二提取模块,用于从所述待识别面部图像中确定遮挡区域的遮挡位置,根据所述待识别面部图像的时间点从多个图像采集设备中监控目标的面部图像中提取所述遮挡位置所对应的未遮挡图像;
第二图像分割模块,用于根据所述多个图像分割区域和所述未遮挡图像对预设的情绪样本图像集中的每一样本图像进行图像分割,将所述情绪样本图像集中的每一样本图像分割成多个样本分割区域,所述情绪样本图像集包括多个样本图像和每一所属样本图像对应的情绪标注数据;
聚类分析模块,用于将所述面部图像中每一图像分割区域以及所述未遮挡图像和每一样本图像中对应的样本分割区域进行聚类分析,确定每一图像分割区域以及所述未遮挡图像对应的聚类簇;
统计模块,用于对每一图像分割区域以及所述未遮挡图像对应的聚类簇中每一图像分割区域对应的情绪标注数据进行统计,将每一图像分割区域以及所述未遮挡图像对应的聚类簇中数量最多的情绪标注数据确定为基准情绪数据;
第四确定模块,用于根据每一图像分割区域以及所述未遮挡图像对应的聚类簇中的基准情绪数据确定所述面部图像的情绪识别结果。
关于目标远程监控装置的具体限定可以参见上文中对于目标远程监控方法的限定,在此不再赘述。上述目标远程监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述任一实施例中所述的目标远程监控方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述目标远程监控的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述目标远程监控方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述目标远程监控方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。