CN111026909B - 一种基于自拍抖音视图补充公安侦查数据集的方法 - Google Patents

Abstract

本发明公开了一种基于自拍抖音视图补充公安侦查数据集的方法。本发明方法利用定制接口对接短视频内容服务平台，获取网络短视频，依据视图库标准，接收、存储、建立网络短视频库，并利用AI解析系统依据视图库标准提取目标信息，形成短视频视图数据库，利用对抗美颜技术还原经过美颜的人脸、人体等目标影像，补充到短视频视图数据库，利用二次AI解析对经过美颜还原的人脸、人体等目标影像提取目标信息，补充到短视频视图数据库，利用公安大数据的融合多维分析。本发明方法实现了短视频视图数据的数据挖掘。

Description

一种基于自拍抖音视图补充公安侦查数据集的方法

技术领域

本发明属于监控技术领域，涉及一种基于自拍抖音视图补充公安侦查数据集的方法。

背景技术

公安侦查部门采集了多种数据形成了公安大数据，并汇聚至公安大数据平台，2019年公安部发布了GA/DSJ200-2019《公安大数据处理总体技术规范》等公安大数据系列标准，对公安汇聚、处理、应用公安大数据等进行了规范。

公安大数据中的时空特性在时空轨迹分析中起着重要的作用。时空特性是指具有时间、空间位置的信息记录，比如车辆卡口记录包括车辆经过电子卡口的时间、地点(经纬度)、方向、速度、车道、现场照片等相关信息；再比如视频人脸卡口同样记录了行人经过人脸卡口时的时间点、地点(经纬度)、人脸/人体识别信息等信息。

公安大数据的时空分析主要是指基于时空轨迹类的分析：

(1)轨迹刻画：比如人、车的轨迹刻画，以人、车在某个时段/范围内的所有记录在地图上撒点，形成基于GIS的可视化轨迹。

(2)身份画像：通过分析人、车轨迹，在哪些时间段经常经过哪些地点，就可以分析出该人、车的活动属性，比如快递员(活动在一个辖区内)、清洁工(上班比较早并在一定路线)、上班族(经常在固定时段进出某几个地址如家、单位)等。

(3)伴随分析：通过分析人、车轨迹，在相同/相似时序、地点经过的人车就可以提取出可能的同行人、车，分析是否作案同伙

(4)特殊轨迹：通过分析某个时段/区域范围的人、车轨迹，是否都是进入辖区，而没有离开的(只进不出或只出不进)，或者只有单次进出的，或者刻意绕路的等等特殊的行为轨迹。

但是由于公安部门采集的信息具有局限性，无法完全采集到可能的涉案嫌疑人的所有轨迹记录(影像记录、电磁记录)，在公安侦查活动中经常处于缺少案件关键线索的情况。尤其是目前公安在公共安全视频监控系统作为主要侦查手段的视频侦查，由于监控摄像头的布点局限性，无法覆盖所有场景(目前全国960万平方公里只有将近3000万路公安监控)，视频侦查具有一定的碰运气成分，如果能够采集更多的人、车活动轨迹信息就能给公安侦查带来更大帮助。

短视频是近几年特别火的娱乐型音乐视频，在快手、抖音等的大力推动下，目前仅抖音平台在全国有3.2亿的活跃用户，人均登陆次数为13.5天/月，每日上线发布短视频数百万条。如此众多的短视中包含有大量的人、车信息。并且这些短视频均可以通过GPS定位服务采集到拍摄时的位置信息(经纬度)，也就是具有时空信息，而且从目前抖音看大部分(90％以上)都是基于人的短视频，如果公安视频侦查工作中将短视频作为多维信息的重要信息源将会提供更多线索信息来源。

刊登于《安全&自动化》233期的《公安情报信息数据挖掘技术的基础理论研究》一文公开了如下技术内容。每个人必然会留下活动轨迹，比如住酒店、上网、购物、就业等；再比如坐车、走路会形成路线的轨迹；如果随身携带手机的话，手机移动切换蜂窝基站就会留下手机的轨迹。由此，可总结出一个“三元/多元轨迹碰撞”理论：一个人通过暂住、住宿、上网、就业、出行等行为形成的轨迹即“人轨迹”，持有车辆的轨迹(道路监控、拍照，车管所记录，维修记录等)即“车轨迹”，持有手机的轨迹(网络痕迹、WIFI-MAC痕迹、蜂窝或GPS定位等)即“手机轨迹”，对应虚拟身份的轨迹(社交账号、游戏账号等)即虚拟轨迹。各种行动轨迹经过采集、清洗、处理可以以可视化的形式表现在地图上，并可以判断此人的职业、日常生活轨迹等信息。如果拥有罪犯的多种轨迹，就可以进行多维轨迹碰撞模拟分析。案件勘验中的涉案轨迹，结合数据挖掘得到的与案件轨迹的时空匹配的高同轨轨迹并以此得到的推荐嫌疑人排名，就可以进行多点轨迹碰撞分析并从中筛选、嫌疑排查，最终确定嫌疑犯。该技术在浙江省温州市公安局的时空分析平台中投入使用，但是仅限于机动车卡口、WIFI采集数据、RFID电动车过车数据、管小案的案件库数据等之间进行时空轨迹分析研判，没有对基于人脸智能分析提取的人脸轨迹数据进行融合研判、也没有采纳基于抖音等短视频平台的人脸、车辆信息数据的分析和应用的方案。

目前已有的一种技术，是基于公安视频图像智能化应用技术的视图查询与检索、数据关联分析。

查询与检索服务提供原始视频、图片、结构化数据、感知设备基础数据等基于特征属性的语义查询与检索，支持精确查询、模糊查询以及组合条件查询。

(1)视频检索：支持输入针对视频片段的文本语义描述检索，可以是关键词或一段描述文字，返回涉及相似场景的视频，以及命中的位置、场景描述等信息。

(2)图片检索：支持针对图片的文本语义描述检索，可以是关键词或一段描述文字，返回涉及类似场景的图片以及对应的描述。

(3)文件检索：支持输入针对文件的文本语义描述检索，可以是关键词或一段描述文字，返回相似的文件路径。

(4)结构化数据检索：用来进行结构化数据的查询，支持精确匹配、模糊匹配。

(5)全文检索：支持以文本为查询条件进行检索，能够对输入的关键字自动进行智能匹配。

(6)级联查询与检索：支持根据查询条件转发查询指令给下级或平级视频图像数据服务，支持转发查询结果给查询操作发起方；支持根据查询条件分发查询指令给下级或平级视频图像数据服务，支持汇总合并本地及所有下级或平级服务返回的检索结果并转发给查询操作发起方。

数据关联：指按照关联规则，将视频图像结构化数据和其它业务数据相关联，支持人/车/物等特征属性关联、时空轨迹关联、视频图像关联等。

(1)特征属性关联：通常是将视频图像解析处理后不完备的人员、车辆、物品等数据与从其它业务数据中识别出的特征属性(含身份、关系、行为等)进行关联，并将关联的特征属性信息回填到人员/车辆/物品档案库，提升人员、车辆和物品等数据的价值。

(2)时空轨迹关联：将视频图像结构化、WiFi/RFID、公安业务数据等时空轨迹相关数据，和人员、车辆及物品进行关联，丰富人员、车辆及物品等对象的时空数据，并支持多轨融合关联。

(3)视频图像关联：将视频片段、抓拍图片与特定人员、车辆及物品等对象进行关联。

公安视频图像智能化应用技术的视图查询与检索、数据关联分析技术方案是基于现有公安视频大数据下的多维数据融合应用、研判分析。但是公安的视图数据都来自于公共安全视频监控系统/雪亮工程的视图智能化解析，对于来自于网络平台的大量短视频的采集、处理、应用没有涉及到。

发明内容

公安侦查时的大数据查询基于卡口进行时空轨迹碰撞，但是覆盖面毕竟有限。而普通民众喜欢玩自拍抖音，终端上传图片、视频时要求同步上传GPS定位数据(手机都支持)。通过与抖音、快手等内容服务商合作获取短视频，作为公安视频侦查数据的重要来源，通过智能分析技术对网络短视频提取关键特征属性等信息，并将其纳入公安大数据的数据源，以公安侦查业务来融合网络视频数据，实现公安侦查数据来源的多样性。本发明的目的就是提供一种基于自拍抖音视图补充公安侦查数据集的方法。

本发明方法包括：

(1).利用定制接口对接短视频内容服务平台，获取网络短视频；

(2).依据视图库标准，接收、存储、建立网络短视频库；

(3).利用AI解析系统依据视图库标准提取目标信息，形成短视频视图数据库；

(4).利用对抗美颜技术还原经过美颜的人脸、人体等目标影像，补充到短视频视图数据库；

(5).利用二次AI解析对经过美颜还原的人脸、人体等目标影像提取目标信息，补充到短视频视图数据库；

(6).利用公安大数据的融合多维分析，实现短视频视图数据的数据挖掘。

公安做时空查询时，过滤出嫌疑度较大的车牌车型或人脸、人体，再针对性的从几个重要的内容服务商取得多维数据集进行以图搜图，获取视频侦查线索增加破案率，同时尽量减少无效数据量。

本发明方法具体包括：

(1).采集内容服务商的短视频图像：公安机关以定制接口的形式实时/定时从内容服务商平台采集短视频图像及相关信息，相关信息包括拍摄时间、地点、拍摄者，形成公安视频库的子库，即网络短视频库；

(2).提取短视频图像的人、车信息：以视频图像AI解析算法，从短视频图像中提取包括人员/人体、车辆的目标信息、特征属性信息和特征向量，形成短视频视图数据库；

(3).人脸/人体对抗美颜二次解析：以视频图像对抗美颜的AI解析算法，从短视频视图数据库中提取人脸、人体的图片进行二次解析，将经美颜处理的人脸、人体影像进行还原，还原后的视频图像进行解析提取信息，补充到短视频视图数据库；

(4).公安侦查嫌疑目标/轨迹：公安提取嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息；

(5).深度分析抖音图像内容：如果嫌疑人头像仅出现在背景中，则作为一般的嫌疑人时空点记录；若嫌疑人与抖音拍摄者亲密的出现在前景中，则拍摄者的相关信息一并作为嫌疑人的信息点；

(6).短视频视图数据库检索：将侦查到的嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息，提取到短视频视图数据库检索中，作为后期应用；

(7).详细信息反查：将从短视频视图数据库中挖掘的嫌疑信息通过内容服务商平台授权的接口进行查询、调取发布者的详细信息，以协助公安侦查。

本发明方法利用定制接口对接短视频内容服务平台，获取网络短视频，依据视图库标准，接收、存储、建立网络短视频库，并利用AI解析系统依据视图库标准提取目标信息，形成短视频视图数据库，利用对抗美颜技术还原经过美颜的人脸、人体等目标影像，补充到短视频视图数据库，利用二次AI解析对经过美颜还原的人脸、人体等目标影像提取目标信息，补充到短视频视图数据库，利用公安大数据的融合多维分析，实现了短视频视图数据的数据挖掘。

具体实施方式

一种基于自拍抖音视图补充公安侦查数据集的方法，具体包括：

(1).采集内容服务商的短视频图像：公安机关依据国家法规、合作共赢及安全管控为前提，以定制接口的形式实时(终端发布上线评审后即采集)/定时(每日闲时更新)从内容服务商平台采集短视频图像及相关信息，相关信息包括拍摄时间、地点、拍摄者，形成公安视频库的子库，即网络短视频库。

网络短视频库是基于内容服务商的短视频及相关信息，如果涉及商业秘密及网络视频发布用户的隐私，可以采用降敏处理(去除详细客户关键信息，仅以ID号进行关联)，当需要详细信息时再通过高授权客户端查询内容服务商平台的相关详细信息。

(2).提取短视频图像的人、车信息：以视频图像AI解析算法，按GA/T1399-2017《公安视频图像分析系统》、GA/T1400-2017《公安视频图像信息应用系统》的接口及视图库标准，从短视频图像中提取包括人员/人体、车辆的目标信息、特征属性信息和特征向量(描述人员/人体、车辆图像的一组数据)，形成短视频视图数据库。

为了提高视频图像的可用性，需要对视频图像进行信息提取。从中提取结构化信息(时间、地点、人/车特征属性信息)、半结构化信息(人/车特征向量)、非结构化信息(人/车全景大图、局部特写小图等)，视图信息提取需要使用人工智能算法及解析计算资源。

(3).人脸/人体对抗美颜二次解析：以视频图像对抗美颜的AI解析算法，依据GA/T1400-2017《公安视频图像信息应用系统》的接口及视图库标准，从短视频视图数据库中提取人脸、人体的图片进行二次解析，将经美颜处理的人脸、人体影像进行还原，还原后的视频图像进行解析提取信息，补充到短视频视图数据库。

在网络中发布的短视频大多进行了美颜处理，对人脸、人体进行了人为变更，变化的视图是失真的，无法作为智能视频侦查的自动比对，需要进行美颜还原。目前业界有多种对抗美颜的还原算法可以采用。经过美颜还原的图片须与原视图库的同一条信息存储或同一ID下的关联存储，以便后续比对查询复核需要；经还原后的图片须再次进行解析提取视图信息，一并存储在还原前的短视频视图数据库中。

(4).公安侦查嫌疑目标/轨迹：公安通过现场勘查、技术侦查、视图侦查、网络技术等各种侦查手段，以及公安大数据，进行综合研判分析，提取嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息。

公安侦查手段有多种，目前大多采用技侦、网站、刑侦、图侦的四侦一体化的融合侦查手段。公安的首要目标是破案，而破案的首要工作就是提取到嫌疑目标，并进行抓捕归案。由于各种侦查手段获取的嫌疑信息都是断续的，需要进行综合研判，一般采用合作作战中心的联合作战模式。

(5).深度分析抖音图像内容：如果嫌疑人头像仅出现在背景中，则作为一般的嫌疑人时空点记录；若嫌疑人与抖音拍摄者亲密的出现在前景中，则拍摄者的相关信息(如社团、活动等社会属性)一并作为嫌疑人的信息点。

例如，在属性轨迹碰撞的例子，如果视频追查线索断了时，这时仅有的信息就是知道嫌疑人可能在某时、某地出现过，那么通过与手机信号、Mac侦测信息等时空轨迹碰撞。如果在某个视频图像中有嫌疑人的亲密伙伴，可以通过查找其亲密伙伴的轨迹、视图资料、时空碰撞等来间接发现嫌疑人的轨迹信息。

在公安侦查中，由于嫌疑人头像可能出现在短视频的背景图像中，但是人脸又不清晰时，则进行标注，作为嫌疑人的一个时空记录(空间：在某个摄像机的场景里；时间；在某个时间点)，将来作为时空碰撞时作为其中一个轨迹点。如果图像中有嫌疑人的图像中有其亲密伙伴出现，则将拍摄者的相关信息一起作为嫌疑人信息，以后可以作为全文检索(文字标注)、以图搜图(人脸图片)。

(6).短视频视图数据库检索：将侦查到的嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息，提取到短视频视图数据库检索中，进行检索、研判分析，实现嫌疑目标线索检索、以图搜图、以图搜轨迹、以图布控等应用。

公安通过多种侦查手段得到的嫌疑信息后，可以在短视频视图数据库中继续侦查，也可以将短视频视图数据库与公安大数据融合进行多维数据检索、研判分析，也可以进行网络视频的嫌疑布控，当用户终端发布的视图中有嫌疑目标时即可触发告警。

(7).详细信息反查：将从短视频视图数据库中挖掘的嫌疑信息通过内容服务商平台授权的接口进行查询、调取发布者的详细信息，以协助公安侦查。

由于内容服务商平台运营及用户隐私保护等原因未能提供详细信息时，可以在侦查发现嫌疑信息后要求内容服务商协查，提供更多、更详细的信息。

Claims (1)

1.一种基于自拍抖音视图补充公安侦查数据集的方法，其特征在于具体包括：

(1).采集内容服务商的短视频图像：公安机关以定制接口的形式实时/定时从内容服务商平台采集短视频图像及相关信息，相关信息包括拍摄时间、地点、拍摄者，形成公安视频库的子库，即网络短视频库；

(2).提取短视频图像的人、车信息：以视频图像AI解析算法，从短视频图像中提取包括人员/人体、车辆的目标信息、特征属性信息和特征向量，形成短视频视图数据库；

(3).人脸/人体对抗美颜二次解析：以视频图像对抗美颜的AI解析算法，从短视频视图数据库中提取人脸、人体的图片进行二次解析，将经美颜处理的人脸、人体影像进行还原，还原后的视频图像进行解析提取信息，补充到短视频视图数据库；

(4).公安侦查嫌疑目标/轨迹：公安提取嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息；

(5).深度分析抖音图像内容：如果嫌疑人头像仅出现在背景中，则作为一般的嫌疑人时空点记录；若嫌疑人与抖音拍摄者亲密的出现在前景中，则拍摄者的相关信息一并作为嫌疑人的信息点；

(6).短视频视图数据库检索：将侦查到的嫌疑目标、嫌疑特征、嫌疑人/车轨迹的信息，提取到短视频视图数据库检索中，作为后期应用；

(7).详细信息反查：将从短视频视图数据库中挖掘的嫌疑信息通过内容服务商平台授权的接口进行查询、调取发布者的详细信息，以协助公安侦查。