CN110321767A - 图像提取装置和方法、行为分析系统和存储介质 - Google Patents

Abstract

本发明提供一种图像提取装置，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，提高行为识别的准确性。该图像提取装置包括：人物检测提取部(301)，从视频数据中检测对象人物，并提取对象人物的全部的图像；关键点提取部(306)，对人物检测提取部提取出的对象人物的图像进行关键点提取；关注部位确定部(304)，确定对象人物的关注部位；关注部位图像提取部(307)，根据关注部位确定部确定的关注部位，从对象人物的图像中提取该对象人物的关注部位的图像；图像判断输出部(308)，判断关注部位图像提取部提取出的关注部位的图像中哪些图像是特定图像，并输出特定图像。

Description

图像提取装置和方法、行为分析系统和存储介质

技术领域

本发明涉及视频监控领域，具体而言涉及从摄像机拍摄的视频数据中提取特定图像用于进行行为识别的图像提取装置和方法，行为分析系统和存储介质。

背景技术

人体行为识别(Human Action Recognition)在众多方面有着广阔的应用前景和潜在的经济、社会价值。

例如，在医疗看护、虚拟现实、运动员辅助训练等领域，通过在特定对象身上安装多个例如可穿戴传感器，能够采集该对象的行为数据，对其行为模式进行分析。基于传感器的人体行为识别虽然具有较高的精确性、抗干扰性，但仅能应用于特定的对象且成本较高，应用非常受限。

随着视频监控设备的普及和计算机视觉技术的进步，基于视频分析的人体行为识别成为当前研究的热点。基于视频分析的人体行为识别由于仅通过对采集到的视频数据进行分析即可得到识别结果，因此能够以较低的成本实现不确定对象的行为识别，在诸多领域，尤其是安防领域具有非常重要的意义。

通常，在行为识别的研究中，人们使用人体骨骼的关键点(keypoi nt)的移动来描述人体的运动，由十数个关键点的组合代表人体，对这些关键点进行追踪来识别行为。例如，卡内基梅隆大学(CMU)在国际计算机视觉与模式识别学术会议CVPR2017上，以“Realtime M ulti-Person 2D Pose Estimation using Part Affinity Fields”为题，发表了一种实时多人关键点检测与关键点关系推测的技术OpenPose(开源库，https://github.com/CMU-Perceptual-Computing-Lab/openpose)。利用OpenPose的技术，例如图7所示，能够与拍摄到的人物数量无关地，通过深度学习的方法从一幅图像中同时推测多个人的骨骼关键点。从而，通过将这样的技术应用于视频数据，能够得到关键点的移动，由此能够获得关于人体的行为的信息。

作为行为识别技术的具体应用，为了应对人口老龄化的趋势，专利文献1公开了利用人体行为识别来进行医疗看护的技术。具体而言，其提供了一种在视频中识别异常动作的方法，包括：通过前景提取模块从视频序列中提取像素存在一定变化的区域；通过行人判定模块将前景提取模块检出的运动目标进行判定，将判定为行人的矩形框保留下来，传递给目标跟踪模块；通过目标跟踪模块持续、多目标地跟踪场景内的每一个识别到的目标；通过异常行为触发模块对目标跟踪模块跟踪的每一个目标每一帧时刻内的体态进行判定，并对异常行为进行行为分析；通过行为识别模块处理运算异常行为视频片段，对异常行为进行报警并且识别其行为类型。

在专利文献1中，从视频序列中提取运动目标进行行为分析，但其没有考虑在存在多个视频源(例如摄像机)时使用哪个(或哪些)视频源的哪些数据进行分析的问题。

现有技术文献

专利文献1：CN106571014A

发明内容

发明要解决的技术问题

在养老院、康复中心等看护机构中，为了掌握看护对象的身体健康状况或恢复状况以调整治疗方案、用药剂量等，可以对拍摄了看护对象的视频数据例如利用上述的OpenPose技术提取关键点数据，分析行为特征来进行行为识别。并且，看护对象通常因身体状况等原因，各自具有不同的需要特别关注的部位，例如颈部、腰部、肘部、膝部、踝部等部位。因此，对于特定的看护对象，有时会需要将识别出的行为特征数据中的该看护对象的关注部位的行为特征数据与其历史数据或健康人群的对应部位的数据进行比较，根据比较结果判断健康状况或恢复状况。

不过，如果利用专用的监控设备对看护对象进行拍摄，则不但拍摄场所受限，而且看护对象还可能会因紧张等原因不能表现出自然的、日常的行为，无法根据拍摄结果获得准确的关注部位的行为特征。为了防止出现这样的情况，可以考虑利用现有的例如设置在看护机构的餐厅、走廊、电梯、娱乐休息室、公园等公共空间中的摄像机，即，利用目前已得到大面积部署的例如安防用摄像机等监控设备拍摄的视频数据，进行看护对象的行为识别。

安防用摄像机不是为了特定的看护对象而设置的，所以对于不同的看护对象而言，摄像机的位置、角度、对焦的设置可能不是最佳的，因此并不是每一个摄像机拍摄的视频数据都适于进行该看护对象的关注部位的行为识别。即便是上述OpenPose这样的具有较高鲁棒性的技术，为了得到关注部位的高可靠性的结果，也需要对用于进行行为识别的视频数据实施一定的筛选。

本发明的目的在于提供一种图像提取装置和方法，在利用多个摄像机拍摄到的对象人物的视频数据分析该对象人物的关注部位的行为特征的情况下，从拍摄到的视频数据中提取适于进行该对象人物的关注部位的行为识别的特定图像，基于特定图像分析对象人物的行为特征，提高行为识别的可靠性和准确性。

解决问题的技术方案

解决本发明之技术问题的技术方案如下。

本发明第一方面提供一种图像提取装置，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，其特征在于，包括：人物检测提取部，从所述视频数据中检测对象人物，并提取所述对象人物的全部的图像；关键点提取部，对所述人物检测提取部提取出的所述对象人物的图像进行关键点提取；关注部位确定部，确定所述对象人物的关注部位；关注部位图像提取部，根据所述关注部位确定部确定的所述关注部位，从所述对象人物的图像中提取该对象人物的所述关注部位的图像；图像判断输出部，判断所述关注部位图像提取部提取出的所述关注部位的图像中哪些图像是所述特定图像，并输出所述特定图像，其中，所述图像判断输出部基于所述关注部位的图像的清晰度、像素数量和所述关键点的数量中的至少一者，判断所述关注部位的图像是否为所述特定图像。

本发明第二方面提供一种图像提取方法，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，其特征在于，包括：人物检测提取步骤，从所述视频数据中检测对象人物，并提取所述对象人物的全部的图像；关键点提取步骤，对所述人物检测提取步骤提取出的所述对象人物的图像进行关键点提取；关注部位确定步骤，确定所述对象人物的关注部位；关注部位图像提取步骤，根据所述关注部位确定步骤确定的所述关注部位，从所述对象人物的图像中提取该对象人物的所述关注部位的图像；图像判断输出步骤，判断所述关注部位图像提取步骤提取出的所述关注部位的图像中哪些图像是所述特定图像，并输出所述特定图像，其中，所述图像判断输出步骤基于所述关注部位的图像的清晰度、像素数量和所述关键点的数量中的至少一者，判断所述关注部位的图像是否为所述特定图像。

本发明第三方面提供一种存储有计算机可执行的程序的存储介质，其特征在于，使计算机执行上述图像提取方法。

本发明第四方面提供一种行为分析系统，其特征在于，包括：上述图像提取装置；利用所述图像提取装置输出的所述特定图像进行所述对象人物的行为识别的行为特征分析部；和将所述行为特征分析部的分析结果输出的通知部。

如上所述，由于本发明的图像提取装置和方法从多个视频源的视频数据中针对对象人物提取其关注部位的图像，并进一步基于该关注部位的图像的清晰度、像素数量和关键点数量中的至少一者判断并输出特定图像，所以能够输出更加适于进行对象人物的关注部位的行为识别的图像，能够提高行为识别的可靠性。

发明效果

根据本发明能够提供一种图像提取装置和方法，在利用多个摄像机拍摄到的对象人物的视频数据分析该对象人物的关注部位的行为特征的情况下，考虑到各摄像头拍摄到的图像可能不一定适于进行对象人物的行为识别，从拍摄到的视频数据中基于对象人物的关注部位的清晰度、像素数量和关键点数量中的至少一者，提取能够准确地表征对象人物的关注部位之行为的图像作为特定图像输出。

从而，行为分析系统能够利用该特定图像分析对象人物的行为，得到准确的、抗干扰的行为识别结果，并通过与其历史数据或健康人群的数据相对比，能够准确地掌握对象人物的健康状况、恢复状况，以随时调整治疗方案、用药剂量等。

附图说明

图1是表示应用了本发明的图像提取装置的看护机构101的俯视示意图。

图2是表示图1中的行为分析系统100的示意性框图。

图3是表示图像提取装置200的结构的框图。

图4表示了人物数据库303中存储的人物数据DBp的数据条目的示例。

图5示意性地表示图像判断输出部308的结构。

图6表示本发明的图像提取方法的流程。

图7示意性地表示关键点的提取。

具体实施方式

下面参考附图对本发明的具体实施方式进行说明。

以下实施方式中，在提及要素的数字等(包括个数、数值、量、范围等)的情况下，除了特别明确说明的情况和从原理上明显限定为特定数字的情况之外，并不限定于该特定数字，可为特定数字以上或以下。

另外，在以下的实施方式中，其结构要素(包括步骤要素等)除了特别明确说明的情况和从原理上明显理解为是必须的情况之外，都不一定是必须的，并且也可以包括说明书中未明确提及的要素，这无需明言。

同样地，在以下的实施方式中，在提及结构要素等的形状、位置关系等时，除了特别明确说明的情况和从原理上明显地理解为并不可行的情况之外，包括实质上与其形状等近似或类似的要素。这对于上述数值和范围也同样。

下文以本发明应用于看护机构为例进行说明，不过，应当理解的是，本发明的应用并不限于看护机构，只要是对特定的对象人物进行行为识别，并且设置有多个对对象人物进行拍摄的摄像设备，就能够应用本发明。例如，可以将本发明的图像提取装置设置在对象人物的家中或社区内，与家中或社区内的多个摄像设备连接，筛选由这些摄像设备拍摄的视频数据，用于进行该对象人物的行为识别。

另外，下文描述的对象人物大多指的是看护机构中的被看护人，但本发明并不限定于此，例如也可以是看护机构的工作人员等健康人群，通过对健康人群应用本发明进行行为识别，能够得到提前预防疾病/劳累等的效果。

首先，参考图1～图5对本发明的图像提取装置进行说明。

图1是表示应用了本发明的图像提取装置的看护机构101的俯视示意图。

图1的看护机构101设有多个被看护人单间102、餐厅103、门厅104、娱乐休息室105以及走廊106、控制室107等。被看护人P1～Pm在各自的单间102中起居，并在餐厅103、门厅104、娱乐休息室105和走廊106等中行动。在餐厅103、门厅104、娱乐休息室105和走廊106这样的公共空间中安装有多个摄像头C1～Cn(视频源)，各摄像头的拍摄范围为R1～Rn，能够拍摄在各自的拍摄范围内活动的被看护人，并将各自拍摄的视频数据传输给通过有线或无线的方式与它们连接的行为分析系统100。

行为分析系统100包括本发明的图像提取装置200，设置在控制室107中，将对象人物的行为特征的分析结果通知管理员或看护人员。

图2是表示图1中的行为分析系统100的示意性框图。

行为分析系统100包括图像提取装置200、行为特征分析部201、行为特征数据库202和通知部203。

图像提取装置200判断被摄像头拍摄到的对象人物是当前入住在该看护机构中的哪一个被看护人(例如某个被看护人Pi)，并从来自摄像头C1～Cn的视频数据中筛选、提取出适于进行对象人物Pi的关注部位Ii的行为识别的图像数据(例如，下文将这样的图像数据称作“特定图像数据”)。

参考图3对图像提取装置200进行详细说明。

图3是表示图像提取装置200的结构的框图。如图3所示，图像提取装置200包括人物检测提取部301、人物确定部302、人物数据库303、关注部位确定部304、病患数据库305、关键点提取部306、关注部位图像提取部307和图像判断输出部308。

人物检测提取部301对输入到图像提取装置200的来自摄像头C1～Cn的视频数据进行人物检测，判断是否有摄像头拍摄到人物。人物检测的方法可采用任意的现有技术，此处不再赘述。

在判断为某个摄像头Cw拍摄到人物时，以该人物作为上述的对象人物P，并将该摄像头Cw拍摄到的对象人物P的所有图像提取出来。同时，判断其它摄像头C1～Cw-1、Cw+1～Cn是否也拍摄到该对象人物P。在该判断中，可以采用现有任意的度量人物相似性的方法，例如，可以采用中国专利申请201711236903.X号记载的相似性度量法以提高精确度。

根据人物相似性度量的结果，在判断为其它摄像头也拍摄到对象人物P的情况下，将这些摄像头拍摄到的所有对象人物P的视频也提取出来，与上述提取出的由摄像头Cw拍摄到的所有对象人物P的视频一起输出。此处，输出的视频可以保留有表示该图像由哪个摄像头拍摄的信息。

人物确定部302利用人物数据库303判断上述拍摄到的对象人物P是看护机构101中入住的哪个人物。

人物数据库303是存储了看护机构101中入住的各被看护人P1～Pn的人物数据DBp的数据库。图4表示了人物数据库303中存储的人物数据DBp的数据条目的示例。

如图4所示，人物数据DBp包括用于唯一地确定被看护人的人物ID401、用于确定摄像头拍摄到的人物是哪一个被看护人的人物特征402、表示被看护人的不适部位(病患部位)的关注部位403。这里，人物特征402中可以保存相应被看护人的外貌(面孔、身形)图像，也可以保存这些图像经处理得到的特征数据，本发明对此没有任何限定。关注部位403用于记载例如医生诊断出的该被看护人的不适部位等的信息，可以直接保存例如“颈部”、“肘部”等文字，也可以保存例如“腰椎间盘突出”等病因，或者也可以保存预先确定的编号(例如表示某关节(即关键点))。

人物确定部302将对象人物P的图像(或特征数据)与人物数据库303中的人物特征402中保存的数据进行对比。同样地，此处也可以采用现有任意的度量人物相似性的方法，并且也可以为了提高精确度而采用中国专利申请201711236903.X号记载的相似性度量法，本发明对此不作限定。

对相似性设定规定的阈值T0，在人物数据库303中的某个条目(例如，Pi)的人物特征402与对象人物P之间的相似性高于该阈值T0时，认为该对象人物P是人物数据库303中的人物Pi。这里，如果多个条目的相似性都高于阈值T0，则选取相似性最高的条目。将该人物Pi的人物ID输出给关注部位确定部304。接着，关注部位确定部304从人物数据库303中获取该对象人物Pi的关注部位Ii。

在人物数据库303中的每个条目的人物特征402与对象人物P之间的相似性都小于阈值T0时，判断为人物数据库303中不存在对象人物P的数据，向关注部位确定部304输出表示对象人物不存在于数据库中的信息。

该情况下，关注部位确定部304利用关键点提取部306的输出和病患数据库305，判断该对象人物的关注部位。

关键点提取部306对从人物检测提取部301输出的对象人物P的图像提取关键点，输出各图像中的关于对象人物P的关键点信息的数据。这里，关键点的提取可以使用任意的现有技术，例如，可以使用上述的OpenPose技术，如图7所示地从对象人物的图像中提取关键点。

病患数据库305中存储有大量的病患人群的行为特征(例如可以是关键点信息)的数据，并按病患部位的不同将数据分类成簇，例如分类成颈部不适人群的数据、肘部不适人群的数据、踝部不适人群的数据等。

关注部位确定部304对关键点提取部306输出的对象人物P的关键点信息与病患数据库305中保存的数据进行对比，判断与哪个分类的数据最为接近，认为对象人物P的关注部位即为病患数据库中最接近的分类的人群的病患部位。由此，关注部位确定部304能够得到对象人物P的关注部位。

并且，在关注部位确定部304对该对象人物判断出其关注部位后，也可以将结果通知人物确定部302，由人物确定部302在人物数据库303中为该对象人物新建立一个条目，将人物检测提取部301提取出的该对象人物的图像或基于图像得到的特征数据以及关注部位确定部304判断出的关注部位存入该条目中。

接着，关注部位确定部304将得到的关注部位输出到关注部位图像提取部307，关注部位图像提取部307根据关注部位确定部304输出的关注部位和人物检测提取部301输出的对象人物的图像，提取对象人物的关注部位的图像。

具体来说，关注部位图像提取部307可以将人物检测提取部301输入的图像按照关注部位分割，根据关注部位确定部304确定的关注部位，将该关注部位的图像输出到图像判断输出部308。这里，在对图像进行分割时，关注部位的数量、具体的位置可以是预先决定的，例如数量可以与病患数据库305的分类数量相同。

同时，与关注部位的图像之提取相应的，关注部位图像提取部307也可以从关键点提取部306输出的关键点信息中提取相应关注部位的关键点信息(下称“关注部位关键点信息”)，将各关注部位图像与关注部位关键点信息关联着交给图像判断输出部308。

然后，图像判断输出部308对关注部位图像提取部307输出的图像进行判断，基于规定的筛选规则，输出适于分析该对象人物的关注部位的行为特征的特定图像。

关于该规定的筛选规则详细说明如下。考虑到摄像头的位置、角度、对焦等设定的不同，拍摄到的对象人物的图像中，关注部位的清晰度、大小、可见范围(有否被遮挡)等存在不同。因此，可以考虑基于(1)清晰度、(2)像素数量、(3)关键点数量这三点中的至少任一点对图像进行筛选。

(1)基于清晰度的筛选

针对关注部位图像提取部307输出的对象人物P的关注部位的多个图像判断清晰度，对清晰度预先设置阈值T1，丢弃清晰度低于阈值T1的图像。

下面说明清晰度的判断方法。

现有技术中存在多种用于判断图像的清晰程度的方法，本发明能够应用任意的判断方法，并没有特别的限定。这里，以按每个关注部位通过机器学习的方法判断图像清晰程度为例进行说明。

首先，准备包括大量清晰和不清晰的图像的样本集，对样本集中的人物按照各关注部位分割，构建关注部位子样本集，并通过人工的方式判断各子样本集图像的清晰程度如何，对它们分别赋予清晰度值。然后，针对每个关注部位以各子样本集的图像为输入、清晰度值为输出，分别训练一个模型用于获取该部位的清晰度。

从而，通过将关注部位图像提取部307输出的对象人物P的关注部位的图像输入到对应关注部位的模型中，能够得到该图像的清晰度。

(2)基于像素数量的筛选

针对关注部位图像提取部307输出的对象人物P的关注部位的多个图像，计算各图像的像素数量，例如对像素数量设置阈值T2，丢弃像素数量低于阈值T2的图像。

具体而言，例如可以按照不同的关注部位预先存储不同的可接受的最低像素值Wmin*Hmin(对应于上述阈值T2)，判断输入的对象人物P的关注部位的多个图像各自的像素数量是否低于该最低像素值，若低于该最低像素值则丢弃对应的图像。

或者，也可以对各图像的像素值排序，丢弃像素值最低一定百分比的图像，例如，可以仅保留像素值为前50％的图像，丢弃其它的图像。

当然，也可以结合阈值和排序进行筛选，此处不再赘述。

(3)基于关键点数量的筛选

针对关注部位图像提取部307输出的对象人物P的关注部位的多个图像，根据各自的相关联的关注部位关键点信息计算关键点数量，例如对关键点数量设置阈值T3，丢弃关键点数量低于阈值T3的图像。

具体而言，例如可以按照不同的关注部位预先存储不同的最低关键点数量Nmin(对应于上述阈值T3)，判断输入的各个图像的关注部位关键点数量与该最低关键点数量Nmin的关系，丢弃关键点数量低于该最低关键点数量Nmin的图像。

或者，也可以对各图像的关注部位关键点数量排序，丢弃关注部位关键点数量最低一定百分比的图像，例如，可以仅保留关注部位关键点数量为前50％的图像，丢弃其它的图像。

当然，也可以结合阈值和排序进行筛选，此处不再赘述。

图5示意性地表示图像判断输出部308的结构。

如图5所示，图像判断输出部308包括清晰度判断部501、像素量判断部502和关键点数量判断部503。

清晰度判断部501执行上述(1)所述的基于清晰度的筛选，像素量判断部502执行上述(2)所述的基于像素数量的筛选，关键点数量判断部503执行上述(3)所述的基于关键点数量的筛选。其中，如上所述，在图像判断输出部308中，有选择地执行清晰度判断部501、像素量判断部502和关键点数量判断部503的处理中的至少一者即可，并不必须全部执行。

图像判断输出部308可以直接输出经过上述(1)～(3)中的至少任一者筛选出的对象人物的关注部位的图像(与关注部位关键点信息关联输出)作为特定图像的数据。也可以进一步判断筛选出的图像各自属于摄像头C1～Cn中的哪一个，按照特定图像的数量对各摄像头进行排序，分配优先级。在该情况下，可以从图像中进一步筛选出来自优先级靠前(例如排序在前30％)的摄像头的图像，将这样的图像输出至图2中的行为特征分析部201。而对于优先级靠后(例如排序在后30％)的摄像头，针对上述的对象人物可以不再接收来自它们的视频数据，从而可以减小图像提取装置200的资源消耗，提高速度降低成本。

或者，在摄像头排序后，可以不再执行清晰度判断部501、像素量判断部502和关键点数量判断部503的处理，而是直接输出来自优先级靠前(例如排序在前30％)的摄像头的对象人物的关注部位的图像。

再者，对于优先级靠后的摄像头，也可以将这样的信息(表示优先级靠后的信息)实时地反馈给能够对摄像头的设置进行控制的另设的控制器，利用该控制器对这些摄像头的对焦、角度、位置之任一进行调整(如果可以)。

此外，上述说明中，图像判断输出部308除了输出特定图像之外还输出关注部位关键点信息，不过，也可以不输出关注部位关键点信息，而是仅输出特定图像，在利用这样的特定图像进行行为识别时，另行进行关键点提取，这一点对于后述的图像提取方法也是一样的。

接着回到图2的说明。

图像判断输出部308将对象人物的关注部位的图像(即特定图像)与关注部位关键点信息关联输出给图2的行为特征分析部201。

行为特征分析部201利用行为特征数据库202中存储的各被看护人的行为特征的历史数据和健康人群的行为特征的数据判断对象人物的关注部位的健康状况是否有改善或恶化。

具体而言，行为特征数据库202存储有人物ID和各被看护人的关注部位的行为特征的历史数据。同时，也保存有不同年龄、性别、人种的健康人群的各关注部位的行为特征的历史数据。

在对象人物是人物数据库303中的人物的情况下，根据其关注部位关键点信息分析行为特征，与行为特征数据库202中的相应条目的历史数据进行对比，判断该关注部位的状况变化，并将判断结果通过通知部203通知管理员或看护人员。

在对象人物不是人物数据库303中的人物的情况下，根据其关注部位关键点信息分析行为特征，与行为特征数据库202中的相应健康人群条目的相应关注部位的数据进行对比，判断该关注部位的状况与健康人群的差异，并将判断结果通过通知部203通知管理员或看护人员。

同时，与人物确定部302同样地，行为特征分析部201也可以在行为特征数据库202中为该对象人物新建立一个条目，将其行为特征的数据存储在该条目中，以备将来使用。

上面对本发明的图像提取装置200和行为分析系统100进行了说明，利用本发明的图像提取装置200，由于考虑到各摄像头拍摄到的图像可能不一定适于进行对象人物的行为识别，对对象人物的关注部位的图像基于关注部位的清晰度、像素数量和关键点数量中的至少一者进行筛选，使得输出的特定图像更加能够准确地表征对象人物的关注部位的行为。

并且，利用本发明的行为分析系统100，能够使用上述的特定图像分析对象人物的行为，得到准确的、抗干扰的行为识别结果，并通过与其历史数据或健康人群的数据相对比，能够准确地掌握对象人物的健康状况、恢复状况，以随时调整治疗方案、用药剂量等。

下面参考图6说明本发明的图像提取方法。

图6表示本发明的图像提取方法的流程。

如图6所示，在步骤S601中，对输入的来自摄像头C1～Cn的视频数据进行人物检测，判断是否有摄像头拍摄到人物。

其中，在判断为某个摄像头Cw拍摄到人物时，以该人物作为对象人物P，将该摄像头Cw拍摄到的对象人物P的所有图像提取出来。同时，判断其它摄像头C1～Cw-1、Cw+1～Cn是否也拍摄到该对象人物P，将这些摄像头拍摄到的所有对象人物P的图像也提取出来。

接着，在步骤S602中，对步骤S601提取出的对象人物的图像获取关键点，输出各图像中的对象人物的关键点信息。

同时，在步骤S603中，将对象人物的图像(或特征数据)与人物数据库中的人物特征进行对比，如上文中关于人物确定部302的部分所记载的那样，利用人物数据库判断检测到的人物是看护机构中入住的哪个人物。

在步骤S604中，判断是否确定了对象人物。在已经确定了对象人物的情况下，前进至步骤S605。

在步骤S605中，根据人物数据库确定对象人物的关注部位。

在步骤S604中判断为未能确定对象人物的情况下，前进至步骤S606。

在步骤S606中，利用步骤S602中输出的对象人物的关键点信息，将其与病患数据库中保存的数据进行对比，判断与病患数据库中的哪个分类的数据最为接近，认为对象人物的关注部位即为病患数据库中最接近的分类的人群的病患部位。

接着，在步骤S607中，根据步骤S605和步骤S606输出的关注部位，提取对象人物的关注部位的图像，并且，相应地从步骤S602输出的对象人物的关键点信息中提取相应关注部位的关键点信息。

然后，在步骤S608中对S607输出的对象人物的关注部位的图像进行筛选。

如上述关于图像判断输出部308描述的那样，进行(1)基于清晰度的筛选、(2)基于像素数量的筛选、(3)基于关键点数量的筛选中的至少一个。关于(1)～(3)，由于与上文说明的相同，故省略重复的说明。

接着，在步骤S609中，可以有选择地执行摄像头的排序、基于排序的筛选以及摄像头设置的调整。它们的细节由于与上文相同，故省略说明。当然，也可以省略这一步骤。

然后，在步骤S610中，将对象人物的关注部位的图像(即特定图像)与关注部位关键点信息关联输出，结束本发明的图像提取方法。

这之后，可以利用输出的特定图像和相关联的关键点信息，如图2的行为特征分析部201那样，判断对象人物的关注部位的健康状况是否有改善或恶化。

以上对本发明的优选实施方式进行了说明，但本发明并不限定于上述实施方式，可在不脱离其思想的范围内进行各种变更。

例如，上文在图像提取装置200、行为分析系统100的说明中，以模块结构为例进行了说明。本领域技术人员应当认识到，这样的模块结构可以由实现其功能的硬件模块实现，也可以由CPU、计算机来执行存储在存储介质上的相应的程序来实现。

此外，本发明并不限定于上述实施方式，还包含各种变形例。并且，上述实施方式是为了使本发明简单易懂而进行的详细说明，并非限定必须具备所说明的全部的结构。

工业利用性

本发明涉及视频监控领域，可以适用于进行行为识别的任意场景，例如可用于安防、看护等场合。

Claims (12)

1.一种图像提取装置，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，其特征在于，包括：

人物检测提取部，从所述视频数据中检测对象人物，并提取所述对象人物的全部的图像；

关键点提取部，对所述人物检测提取部提取出的所述对象人物的图像进行关键点提取；

关注部位确定部，确定所述对象人物的关注部位；

关注部位图像提取部，根据所述关注部位确定部确定的所述关注部位，从所述对象人物的图像中提取该对象人物的所述关注部位的图像；

图像判断输出部，判断所述关注部位图像提取部提取出的所述关注部位的图像中哪些图像是所述特定图像，并输出所述特定图像，

其中，所述图像判断输出部基于所述关注部位的图像的清晰度、像素数量和所述关键点的数量中的至少一者，判断所述关注部位的图像是否为所述特定图像。

2.如权利要求1所述的图像提取装置，其特征在于：

还包括人物确定部，利用人物数据库确定所述人物检测提取部检测到的所述对象人物是哪个人物，其中所述人物数据库存储有多个人物的用于唯一地确定该人物的人物数据和该人物的关注部位，

在所述人物确定部确定了所述对象人物是所述人物数据库中的哪个人物的情况下，所述关注部位确定部根据所述人物确定部输出的结果，利用所述人物数据库确定所述对象人物的关注部位。

3.如权利要求2所述的图像提取装置，其特征在于：

还包括病患数据库，其中存储有按病患部位分类的不同病患人物的图像的关键点信息，

在所述人物确定部判断为所述对象人物不存在于所述人物数据库中的情况下，所述关注部位确定部利用所述关键点提取部提取出的关键点信息与所述病患数据库进行对比，判断所述对象人物的所述关注部位。

4.如权利要求1～3中任一项所述的图像提取装置，其特征在于：

所述图像判断输出部判断所述特定图像分别来自哪个视频源，根据来自不同视频源的所述特定图像的数量的多少，对所述多个视频源进行优先级的排序，并根据所述视频源的优先级进一步对所述特定图像进行筛选。

5.如权利要求1～3中任一项所述的图像提取装置，其特征在于：

所述图像判断输出部通过机器学习的方法利用样本集针对不同的所述关注部位分别训练一个判断清晰度的模型，将所述对象人物的关注部位的图像输入相应的所述模型，根据结果判断该关注部位的图像的清晰度。

6.一种图像提取方法，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，其特征在于，包括：

人物检测提取步骤，从所述视频数据中检测对象人物，并提取所述对象人物的全部的图像；

关键点提取步骤，对所述人物检测提取步骤提取出的所述对象人物的图像进行关键点提取；

关注部位确定步骤，确定所述对象人物的关注部位；

关注部位图像提取步骤，根据所述关注部位确定步骤确定的所述关注部位，从所述对象人物的图像中提取该对象人物的所述关注部位的图像；

图像判断输出步骤，判断所述关注部位图像提取步骤提取出的所述关注部位的图像中哪些图像是所述特定图像，并输出所述特定图像，

其中，所述图像判断输出步骤基于所述关注部位的图像的清晰度、像素数量和所述关键点的数量中的至少一者，判断所述关注部位的图像是否为所述特定图像。

7.如权利要求6所述的图像提取方法，其特征在于：

还包括人物确定步骤，利用人物数据库确定所述人物检测提取步骤检测到的所述对象人物是哪个人物，其中所述人物数据库存储有多个人物的用于唯一地确定该人物的人物数据和该人物的关注部位，

在所述人物确定步骤确定了所述对象人物是所述人物数据库中的哪个人物的情况下，在所述关注部位确定步骤中，根据所述人物确定步骤输出的结果，利用所述人物数据库确定所述对象人物的关注部位。

8.如权利要求7所述的图像提取方法，其特征在于：

在所述人物确定步骤判断为所述对象人物不存在于所述人物数据库中的情况下，

在所述关注部位确定步骤中，利用所述关键点提取步骤提取出的关键点信息与病患数据库进行对比，判断所述对象人物的所述关注部位，其中，所述病患数据库存储有按病患部位分类的不同病患人物的图像的关键点信息。

9.如权利要求6～8中任一项所述的图像提取方法，其特征在于：

在所述图像判断输出步骤中，判断所述特定图像分别来自哪个视频源，根据来自不同视频源的所述特定图像的数量的多少，对所述多个视频源进行优先级的排序，并根据所述视频源的优先级进一步对所述特定图像进行筛选。

10.如权利要求6～8中任一项所述的图像提取方法，其特征在于：

在所述图像判断输出步骤中，通过机器学习的方法利用样本集针对不同的所述关注部位分别训练一个判断清晰度的模型，将所述对象人物的关注部位的图像输入相应的所述模型，根据结果判断该关注部位的图像的清晰度。

11.一种存储有计算机可执行的程序的存储介质，其特征在于：

所述程序使计算机执行权利要求6～10中任一项所述的图像提取方法。

12.一种行为分析系统，其特征在于，包括：

权利要求1～5中任一项所述的图像提取装置；

利用所述图像提取装置输出的所述特定图像进行所述对象人物的行为识别的行为特征分析部；和

将所述行为特征分析部的分析结果输出的通知部。