CN109035658A

CN109035658A - 一种文物安全防护方法及装置

Info

Publication number: CN109035658A
Application number: CN201810957571.2A
Authority: CN
Inventors: 郭敬明; 王建辉; 胡滨; 王长涛; 李田生
Original assignee: Beijing Deep Mo Technology Co Ltd
Current assignee: Beijing Deep Mo Technology Co Ltd
Priority date: 2018-08-21
Filing date: 2018-08-21
Publication date: 2018-12-18
Anticipated expiration: 2038-08-21
Also published as: CN109035658B

Abstract

本发明提供了一种文物安全防护方法及装置，涉及文物安全防护技术领域，包括接收设置于待保护文物周围的图像采集设备发送的多帧图像；在每个图像帧中检测目标对象的行为特征；若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储，解决了目前面对日益繁重的文物保护任务和高标准保护要求，文物分布范围广、数量多、难度大，单靠人力肉眼识别可疑人及车辆，已远远无法满足需求的技术问题，达到了利用视频监控系统主动性对文物进行安全防护，实现便于事前智能预警、事中联动处置、事后取证追踪的技术效果。

Description

一种文物安全防护方法及装置

技术领域

本发明涉及文物安全防护技术领域，尤其是涉及一种文物安全防护方法及装置。

背景技术

文物安全是文物工作的底线。国务院要求，实施文物平安工程，文物保护基础工作不断夯实。虽然经济社会快速发展，但是文物安全形势依然严峻，且文物安全防范水平严重滞后。例如，我国历史源远流长，各种古墓分布广泛在田野地头。肩佩红袖章，手持大电筒，脚穿防水靴，身裹军大衣，这是人们脑海中护墓员的形象。多年来，一批又一批文物保护工作者们，凭着顽强的意志，靠着简陋的防护装备，在恶劣的条件下与盗墓分子周旋，守护了国家宝藏的安全。

目前，面对日益繁重的文物保护任务和高标准保护要求，文物分布范围广、数量多、难度大，单靠人力肉眼识别可疑人及车辆，已远远无法满足需求。

发明内容

有鉴于此，本发明的目的在于提供一种文物安全防护方法及装置，以缓解现有技术中存在的面对日益繁重的文物保护任务和高标准保护要求，文物分布范围广、数量多、难度大，单靠人力肉眼识别可疑人及车辆，已远远无法满足需求的技术问题。

第一方面，本发明实施例提供了一种文物安全防护方法，包括：

接收设置于待保护文物周围的图像采集设备发送的多帧图像；

在每个图像帧中检测目标对象的行为特征；

若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；

将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，确定所述目标对象的行为特征是否满足预设报警规则，包括：

提取预设报警规则中包含的目标行为特征；

将所述目标对象的行为特征与所述目标行为特征比较；

若所述目标对象的行为特征与所述目标行为特征匹配，则确定所述目标对象的行为特征满足预设报警规则。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述在多帧图像中进行对象特征提取，包括：

将所述多帧图像分别输入用于进行人脸结构化特征提取的人脸结构化特征提取模型中，得到人脸结构化特征；

将所述多帧图像分别输入多个与不同预设目标特征对应的行人结构化特征识别模型中，利用行人结构化特征识别模型识别行人结构化特征；

将所述多帧图像分别输入用于进行车辆结构化特征识别的特征提取的车辆结构化特征识别模型中，得到车辆结构化特征。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储，包括：

将属于目标对象的人脸结构化特征、行人结构化特征及车辆结构化特征进行关联；

将关联后的人脸结构化特征、行人结构化特征及车辆结构化特征存储于预设数据库中。

第二方面，本发明实施例还提供一种文物安全防护装置，包括：

接收模块，用于接收设置于待保护文物周围的图像采集设备发送的多帧图像；

检测模块，用于在每个图像帧中检测目标对象的行为特征；

提取模块，用于若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；

存储模块，用于将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，提取模块，包括：

提取单元，用于提取预设报警规则中包含的目标行为特征；

比较单元，用于将所述目标对象的行为特征与所述目标行为特征比较；

确定单元，用于若所述目标对象的行为特征与所述目标行为特征匹配，则确定所述目标对象的行为特征满足预设报警规则。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述在多帧图像中进行对象特征提取，包括：

第一输入单元，用于将所述多帧图像分别输入用于进行人脸结构化特征提取的人脸结构化特征提取模型中，得到人脸结构化特征；

识别单元，用于将所述多帧图像分别输入多个与不同预设目标特征对应的行人结构化特征识别模型中，利用行人结构化特征识别模型识别行人结构化特征；

第二输入单元，用于将所述多帧图像分别输入用于进行车辆结构化特征识别的特征提取的车辆结构化特征识别模型中，得到车辆结构化特征。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，存储模块，包括：

关联单元，用于将属于目标对象的人脸结构化特征、行人结构化特征及车辆结构化特征进行关联；

存储单元，用于将关联后的人脸结构化特征、行人结构化特征及车辆结构化特征存储于预设数据库中。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现第一方面所述的方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，所述程序代码使所述处理器执行第一方面所述方法。

本发明实施例带来了以下有益效果：本发明实施例先接收设置于待保护文物周围的图像采集设备发送的多帧图像；然后在每个图像帧中检测目标对象的行为特征；若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；最后将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储。

本发明实施例通过确定所述目标对象的行为特征满足预设报警规则，实现事前智能预警；监察员在确认出现报警信息后，通过“一键”报警，可避免文物保护人员与文物犯罪分子直面相对，保证人身安全，也为文物应急反应和公安部门联动提供支撑；能够在发出报警时，在多帧图像中进行对象特征提取，提取目标对象的特征，进而通过将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储，实现便于事后取证追踪。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种文物安全防护方法的流程图；

图2为本发明实施例提供的另一种文物安全防护方法的流程图；

图3为本发明实施例提供的对象特征提取流程图；

图4为图1中步骤S104的流程图；

图5为本发明实施例提供的一种文物安全防护装置的结构图。

图标：51-接收模块；52-检测模块；53-提取模块；54-存储模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，面对日益繁重的文物保护任务和高标准保护要求，文物分布范围广、数量多、难度大，单靠人力肉眼识别可疑人及车辆，已远远无法满足需求，基于此，本发明实施例提供的一种文物安全防护方法及装置，可以通过确定所述目标对象的行为特征满足预设报警规则，实现事前智能预警；监察员在确认出现报警信息后，通过“一键”报警，可避免文物保护人员与文物犯罪分子直面相对，保证人身安全，也为文物应急反应和公安部门联动提供支撑；能够在发出报警时，在多帧图像中进行对象特征提取，提取目标对象的特征，进而通过将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储，实现便于事后取证追踪。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种文物安全防护方法进行详细介绍，如图1所示，所述方法包括：

步骤S101，接收设置于待保护文物周围的图像采集设备发送的多帧图像；

在本发明实施例中，所述多帧图像可以指由待保护文物周围的图像采集设备采集的视频流中的连续多帧图像，也可以指视频流中满足预设质量要求的多帧图像；所述预设质量要求可以包括：分辨率高于预设分辨率阈值、目标对象在图像中的面积大于预设面积值、且姿态是正面。

所述目标对象包括但不限于非机动车、机动车、行人、人脸等，对每个目标对象赋予唯一的标识，对目标对象在时间序列上进行追踪，在此基础上，对每个目标对象在时间序列上进行择优、去重、获得目标对象最清晰的高质量图像。其中，择优是指对目标对象进行质量评价，综合考量包括但不限于目标对象尺寸、是否被遮挡、图像是否清晰、角度是否合适等因素，通量化指标对当前目标对象质量进行打分；去重指根据择优过程中对目标对象在时间序列中的打分，选择时间序列中得分最高的图像作为该目标对象的图像。

多帧图像是视频流连续帧内的最优图像，示例性的，若图像采集设备对目标对象连续拍摄了3张图像，在这3张图像中，其中第一张图像中目标对象的分辨率高，实际面积大且姿态是正面，第二张图像中目标对象分辨率低，实际面积大且姿态是背面，第三张图像中目标对象分辨率高，实际面积小且姿态是正面，对于这三张图像，图像采集设备并不是全部发送，而是将最好的第一张图像发送至服务器，减少了视频流图像数据的传输量，且提高了数据的传输效率。

步骤S102，在每个图像帧中检测目标对象的行为特征；

在本发明实施例中，图像帧中目标对象的行为特征具有多样性，示例性的，可以指行人停留在文物前时间、活动范围、或者指在禁烟区域抽烟、禁止拍照区域拍照等。

步骤S103，若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；

在本发明实施例中，在监控场景中设定不同的所述预设报警规则，从视频流中分离背景和目标对象，一旦目标对象在场景中出现了预设报警规则中的行为特征，系统会发出报警，示例性的，行为特征可以是停留在古墓冢前时间的长短，且将预设报警规则设定为停留时间为5分钟，若目标对象在古墓冢前停留超过5分钟，则发出报警信息，报警信息发送的形式可以是通过电话、短信或网络，其后会有间隔10分钟、30分钟的第二、第三次预警，直到监察员知晓，报警信息内容可以包括时间、地点和目标对象行为特征满足预设报警规则的图像；并在多帧图像中进行对象特征提取，以便监察员观测到目标对象的相关信息。

为了实现事中联动处置，监察员在确认出现报警信息后，“一键”报警，可避免文物保护人员与文物犯罪分子直面相对，保证人身安全，也为文物应急反应和公安部门联动提供支撑。

如图2所示，确定所述目标对象的行为特征是否满足预设报警规则，包括：

步骤S201，提取预设报警规则中包含的目标行为特征；

在本发明实施例中，预设报警规则可以包含多个目标行为特征，例如行人停留在文物前时间、活动范围、或者指在禁烟区域抽烟、禁止拍照区域拍照等。

步骤S202，将所述目标对象的行为特征与所述目标行为特征比较；

在本发明实施例中，比较图像中的所述目标对象的行为特征是否与所述目标行为特征匹配，示例性的，若目标行为特征为行人应在保护文物的界限外观看欣赏，与文物保持至少1米的距离，在该步骤中，可以从图像中检测目标对象的位置，与文物的距离是否超过1米。

步骤S203，若所述目标对象的行为特征与所述目标行为特征匹配，则确定所述目标对象的行为特征满足预设报警规则。

在本发明实施例中，若目标对象与文物的距离为0.8米，未超过1米，则所述目标对象的行为特征与所述目标行为特征匹配，满足预设报警规则，发出预警信息，若目标对象在得到预警信息后还未采取行动，将发出严重警告，可以做到事前预警。

步骤S104，将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储。

在本发明实施例中，目标对象可能是移动的，随着目标对象的移动，可以被设置于不同位置的图像采集设备采集到不同的对象特征，示例性的，图像采集设备A的图像帧中检测到目标对象的背影，所以基于图像采集设备A仅能检测到目标对象的穿着，图像采集设备B的图像帧中检测到目标对象的头部，所以基于图像采集设备B的多帧图像可以检测到清晰的目标对象的人脸结构化特征，所以为了方便后期警察进行犯罪分子的追踪，可以在目标对象的行为特征满足预设报警规则后，将基于各个不同位置的图像采集设备发送的多帧图像中检测到的对象特征进行关联存储。

在本发明的又一实施例中，如图3所示，所述在多帧图像中进行对象特征提取，包括：

步骤S301，将所述多帧图像分别输入用于进行人脸结构化特征提取的人脸结构化特征提取模型中，得到人脸结构化特征；

在本发明实施例中，人脸结构化特征包括但不限于以下信息：性别(男、女)、年龄段(小孩、青年、中年、老年)、发型、发色、胡须等样貌特征、表情(喜怒哀乐等)。为了保证识别的准确率，在年龄识别的时候不会考虑识别多少岁，而是识别年龄段，以提高识别准确率。

步骤S302，将所述多帧图像分别输入多个与不同预设目标特征对应的行人结构化特征识别模型中，利用行人结构化特征识别模型识别行人结构化特征；

在本发明实施例中，行人结构化特征包括但不限于以下信息：性别(男、女)、年龄段(小孩、青年、中年、老年)、发型、发色、胡须等样貌特征，上下身着装的颜色、纹理、款式、类型等着装信息，是否戴眼镜、口罩、帽子等装饰品，是否打雨伞、抱小孩、拉行李箱、背包、拎包等随身物品信息。

步骤S303，将所述多帧图像分别输入用于进行车辆结构化特征识别的特征提取的车辆结构化特征识别模型中，得到车辆结构化特征。

在本发明实施例中，车辆结构化特征包括但不限于：车辆颜色、品牌型号年款、车牌号码、车辆类型等车辆的固有属性；主驾驶人员未系安全带、开车打电话、副驾驶人员未系安全带、主副驾驶人员的人脸等驾驶员和乘客信息；同时为了克服假牌车和套牌车对车辆识别的影响，给每辆车赋予唯一标识，识别车辆年检标、遮阳板、挂坠、摆件、纸巾盒、天窗、行李架、备胎、撞损痕等车辆的个性化信息，建立车辆唯一ID。在识别车辆品牌型号时会将相同外观的车辆进行合并，同时将车头和车尾信息进行区分，以实现360°全视角的车辆品牌型号年款的识别。在识别车牌信息时除了车牌上的字符信息，还会识别车牌的颜色和种类信息。同时将车辆类型按照国标会划分为21大类和车身的13种颜色信息。

在本发明的又一实施例中，如图4所示，步骤S104包括：

在本发明实施例中，为了取证追踪，融合目标对象的人脸结构化特征、行人结构化特征及车辆结构化特征，建立人脸、行人和车辆关联的预设数据库，提供给公安部门联动追踪。示例性的，在图像A中能拍到人脸，通过人脸结构化，能获得年龄、性别等结构化信息，若能同时拍到身体，通过行人结构化，获得性别、年龄、发型等属性；在图像B中仅能拍到身体，通过对行人结构化，能获得性别、年龄、衣着特征属性、发型、随身物品等；在图像C中能拍到车辆，通过车辆结构化，对车牌、车型等进行感知，若能同时拍到人脸，能获得年龄、性别等属性特征。通过某些特征可以对属于目标对象的对象特征进行关联，进而建立人脸、行人及车辆的关联结构化信息的预设数据库。

在本发明实施例中，为了事后取证，将关联后的人脸结构化特征、行人结构化特征及车辆结构化特征存储于预设数据库中，通过高清的人脸结构化特征、行人结构化特征或车辆结构化特征等，提供视频证据，可以从预设数据库中提取嫌疑人的人脸或行人或车辆信息，可以和公安、交警部门监控系统联动，以图搜图，尽快实施抓捕。

在本发明的又一实施例中，如图5所示，一种文物安全防护装置，包括：

接收模块51，用于接收设置于待保护文物周围的图像采集设备发送的多帧图像；

检测模块52，用于在每个图像帧中检测目标对象的行为特征；

提取模块53，用于若所述目标对象的行为特征满足预设报警规则，则发出报警信息，并在多帧图像中进行对象特征提取；

存储模块54，用于将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储。

在本发明的又一实施例中，提取模块53，包括：

提取单元，用于提取预设报警规则中包含的目标行为特征；

在本发明的又一实施例中，所述在多帧图像中进行对象特征提取，包括：

在本发明的又一实施例中，存储模块54，包括：

在本发明的又一实施例中，还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例所述方法的步骤。

在本发明的又一实施例中，还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行方法实施例所述方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的文物安全防护方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种文物安全防护方法，其特征在于，包括：

在每个图像帧中检测目标对象的行为特征；

2.根据权利要求1所述的文物安全防护方法，其特征在于，确定所述目标对象的行为特征是否满足预设报警规则，包括：

提取预设报警规则中包含的目标行为特征；

将所述目标对象的行为特征与所述目标行为特征比较；

3.根据权利要求1所述的文物安全防护方法，其特征在于，所述在多帧图像中进行对象特征提取，包括：

将所述多帧图像分别输入多个用于进行人脸结构化特征提取的人脸结构化特征提取模型中，得到人脸结构化特征；

4.根据权利要求1所述的文物安全防护方法，其特征在于，所述将在来自于不同位置的图像采集设备的图像帧中检测到的关于目标对象的对象特征进行关联存储，包括：

5.一种文物安全防护装置，其特征在于，包括：

检测模块，用于在每个图像帧中检测目标对象的行为特征；

6.根据权利要求5所述的文物安全防护装置，其特征在于，提取模块，包括：

提取单元，用于提取预设报警规则中包含的目标行为特征；

7.根据权利要求5所述的文物安全防护装置，其特征在于，所述在多帧图像中进行对象特征提取，包括：

8.根据权利要求5所述的文物安全防护装置，其特征在于，存储模块，包括：

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-4任一所述方法。