CN108470195B - 视频身份管理方法及装置 - Google Patents

视频身份管理方法及装置 Download PDF

Info

Publication number
CN108470195B
CN108470195B CN201810448628.6A CN201810448628A CN108470195B CN 108470195 B CN108470195 B CN 108470195B CN 201810448628 A CN201810448628 A CN 201810448628A CN 108470195 B CN108470195 B CN 108470195B
Authority
CN
China
Prior art keywords
picture
processed
clustering
data
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810448628.6A
Other languages
English (en)
Other versions
CN108470195A (zh
Inventor
乔志
孙靖宇
杨臻
卢宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netposa Technologies Ltd
Original Assignee
Netposa Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netposa Technologies Ltd filed Critical Netposa Technologies Ltd
Priority to CN201810448628.6A priority Critical patent/CN108470195B/zh
Publication of CN108470195A publication Critical patent/CN108470195A/zh
Application granted granted Critical
Publication of CN108470195B publication Critical patent/CN108470195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及视频处理技术领域,提供一种视频身份管理方法及装置,所述方法包括:获取原始视频流,并对原始视频流进行质量评估,得到多张待处理图片;对每张待处理图片均进行结构化处理得到结构化数据;基于每张待处理图片的结构化数据及时空信息进行聚类分析得到多个聚类标识,每个聚类标识对应包含同一目标的至少一张待处理图片;依据每张待处理图片的时空信息,按照预设编码规则进行编码得到与每个聚类标识关联的视频身份编码;依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。本发明实施例可以将海量结构化数据按照目标类型和视频身份进行聚类存储,提高了结构化数据应用的便捷性。

Description

视频身份管理方法及装置
技术领域
本发明实施例涉及视频处理技术领域,具体而言,涉及一种视频身份管理方法及装置。
背景技术
自2004年平安城市视频联网建设以来,按照对视频数据的应用模式,可以划分为4个应用阶段,第一阶段以视频联网管理为主,实现多级视频联网汇聚整合;第二阶段基于视频联网数据,对接案件警情信息进行视频研判,其中涉案车辆、涉案人员和涉案物品的结构化描述以人工为主;第三阶段自2014年起,随着高清监控技术的不断进步和智能分析算法的兴起,视频结构化和身份识别的软硬件产品逐步引领行业应用;自2018年起,随着视频结构化数据总量达到百亿、千亿规模,但是这些海量数据只是按照采集设备进行分类存储,数据应用不便。
发明内容
本发明实施例的目的在于提供一种视频身份管理方法及装置,用以改善上述问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种视频身份管理方法,所述方法包括:获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标;对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据;基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码;依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。
第二方面,本发明实施例还提供了一种视频身份管理装置,所述装置包括图片获得模块、结构化处理模块、聚类分析模块、编码模块及执行模块。其中,图片获得模块用于获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标;结构化处理模块用于对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据;聚类分析模块用于基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;编码模块用于依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码;执行模块用于依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。
相对现有技术,本发明实施例提供的一种视频身份管理方法及装置,首先,对原始视频流中经质量评估的多张待处理图片均进行结构化处理,得到结构化数据;然后,利用每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;再依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码,并依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。本发明实施例可以将海量结构化数据按照目标类型和视频身份进行聚类存储,提高了结构化数据应用的便捷性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的视频管理系统的方框示意图。
图2示出了本发明实施例提供的数据服务器的方框示意图。
图3示出了本发明实施例提供的视频身份管理方法流程图。
图4为图3示出的步骤S104中预设编码规则示例图。
图5示出了本发明实施例提供的视频身份管理装置的方框示意图。
图标:10-数据服务器;20-摄像装置;30-第三方平台;101-处理器;102-存储器;103-总线;104-通信接口;200-视频身份管理装置;201-图片获得模块;202-结构化处理模块;203-聚类分析模块;204-编码模块;205-执行模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了本发明实施例提供的视频管理系统的方框示意图,视频管理系统包括数据服务器10、至少一个摄像装置20、第三方平台30,数据服务器10与至少一个摄像装置20均通信连接,且与第三方平台30通信连接,数据服务器10可以获取摄像装置20或者第三方平台30的原始视频流。数据服务器10可以是,但不限于服务器,例如数据库服务器等。摄像装置20可以是安装在道路、建筑物等处的监控摄像机、抓拍机等,第三方平台30可以是,但不限于智能交通监控系统、公安监控系统等。
请参照图2,图2示出了本发明实施例提供的数据服务器10的方框示意图。该数据服务器10包括处理器101、存储器102、总线103和通信接口104,所述处理器101、存储器102和通信接口104通过总线103连接;处理器101用于执行存储器102中存储的可执行模块,例如计算机程序。
其中,存储器102可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口104(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接。
总线103可以是ISA总线、PCI总线或EISA总线等。图2中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器102用于存储程序,如图5所示的视频身份管理装置200。该视频身份管理装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在所述数据服务器10的操作系统(operating system,OS)中的软件功能模块。所述处理器101在接收到执行指令后,执行所述程序以实现本发明下述实施例揭示的视频身份管理方法。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质,该存储介质位于存储器102,处理器101读取存储器102中的信息,结合其硬件完成下述实施例揭示的视频身份管理方法。
第一实施例
请参照图3,图3示出了本发明实施例提供的视频身份管理方法流程图。视频身份管理方法包括以下步骤:
步骤S101,获取原始视频流,并对原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标。
在本发明实施例中,原始视频流可以是摄像装置20实时采集的、或者预先存储在第三方平台30上的视频流,原始视频流中的视频数据可以同时包含人脸、人体和车辆图片数据,也可以包含人脸、人体和车辆图片数据中的部分数据,例如,采集区域为人行道的摄像装置20,其采集的视频数据只会包括人脸和人体图片数据。
需要指出的是,数据服务器10从摄像装置20或者第三方平台30获取的并不局限于视频流,也可以是图片流,也就是说,数据服务器10可以通过通信接口104获取摄像装置20采集或者存储于第三方平台30上的视频流或者图片流。
在本发明实施例中,获取到原始视频流之后,对原始视频流进行质量评估,过滤掉原始视频流中低质量的图片,具体的图片质量评估过程可以是:首先,计算原始视频流中每张图片的图片质量值,图片质量值的评价指标可以包括一张图片的亮度和局部对比度,具体可以通过计算这张图片的像素均值及像素间的方差获得;然后,依次判断每张图片的图片质量值与第一预设质量值(例如,0.2)之间的大小关系,将图片质量值高于第一预设质量值的所有图片均作为待处理图片,每张待处理图片均包括至少一个目标,目标可以是人脸、人体或者车辆。
步骤S102,对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据。
在本发明实施例中,对原始视频流进行质量评估得到多张待处理图片之后,对每张待处理图片均进行结构化处理得到结构化数据,结构化数据包括图片特征值及目标属性,以任意一张待处理图片为例,其具体的结构化处理过程可以包括:
首先,对任意一张待处理图片进行目标检测,得到该待处理图片中单个目标之间的相对位置信息,由于数据服务器10无法确定待处理图片中包含的目标类型,即每张图片中是否包含人、车、物,因此,需要对待处理图片依次进行人脸、人体和车辆目标检测,检测出该待处理图片中的每个目标(人脸、人体和车辆),并确定出单个目标之间的相对位置信息;
然后,利用目标属性提取算法对该待处理图片进行目标属性提取,得到该待处理图片的目标属性,目标属性可以是该待处理图片中每个目标的属性信息,人脸的属性信息可以包括性别、年龄、头发颜色、是否戴口罩、眼镜、帽子等,人体的属性信息可以包括上下衣的衣着颜色、款式描述等,车辆的属性信息可以包括车辆外观等结构化描述;
接下来,基于该待处理图片的目标属性,利用特征提取算法进行特征值提取,得到该待处理图片的图片特征值,这样就得到了该待处理图片的结构化数据,这里的特征提取算法包括人脸、人体和车辆特征值提取算法,特征值提取可以提取出待处理图片中目标属性的特征值,例如,上下衣的衣着颜色特征值。
按照同样的方法,依次对每张待处理图片均进行结构化处理,就能得到每张待处理图片的结构化数据。
步骤S103,基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标。
在本发明实施例中,对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据之后,按照每张图片的结构化数据及时空信息进行聚类分析,将待处理图片按照人脸、人体、车辆进行精确聚类,待处理图片的时空信息可以包括该待处理图片的采集时间和采集地点,聚类分析的具体过程可以包括:
首先,获取任意一张待处理图片的结构化数据及时空信息,该结构化数据包括这张待处理图片的目标属性及图片特征值。
然后,将该待处理图片的图片特征值与预先建立的聚类数据库中多个聚类数据进行逐个比对,其中,每个聚类数据均具有与其他聚类数据不同的聚类标识。聚类数据库是预先建立在数据服务器10中的数据库,其类型可以是Oracle数据库、MySQL数据库等。聚类数据库中的每个聚类数据均由已经完成聚类分析的待处理图像的结构化数据、时空信息及聚类标识构成。聚类标识是用于表征聚类数据库中聚类数据对应的待处理图片的唯一标识,其可以根据待处理图像的结构化数据和时空信息生成,也可以由用户可以根据自己的需求灵活设置,例如,聚类数据库中有4个聚类数据,其聚类标识分别为A、B、C、D。
接下来,当该待处理图片的图片特征值与每个聚类数据的特征相似度均低于第一预设阈值(例如,60%)时,生成与每个聚类数据均不同的聚类标识,例如,E,并将该待处理图片的结构化数据及时空信息作为聚类数据加入聚类数据库,这样聚类数据库中聚类数据的数量就增加了1个,例如,聚类数据库中有5个聚类数据,其聚类标识分别为A、B、C、D、E;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第二预设阈值(例如,95%),且该待处理图片的目标属性及时空信息与该聚类数据满足时空属性关系时,时空属性关系用于判断是否为同一目标、以及同一个目标出现在两张待处理图片中是否合理,其要求两张待处理图片的目标属性和时空信息具有高相似度。例如,例如,该待处理图片和聚类标识为A的聚类数据的目标属性相同,且该待处理图片的时空信息为:云南省昆明市、2018/05/01上午9时,聚类标识为A的聚类数据的时空信息为:云南省昆明市、2018/05/01上午8时,则二者满足时空属性关系,此时设置该待处理图片与该聚类数据具有同一聚类标识,例如,A,也就是说,这一张待处理图片与该聚类数据对应的待处理图片属于同一聚类集,即二者包括同一目标,例如,这两张待处理图片中包括同一个人且满足时空属性关系;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第一预设阈值(例如,60%)且低于第二预设阈值(例如,95%)时,依据该待处理图片的图片质量值确定该待处理图片的聚类标识,具体来说,先判断该待处理图片的图片质量值是否低于第二预设质量值(例如,0.4),若是,则将该待处理图片放入预先建立的废弃数据库,废弃数据库可以是Oracle数据库、MySQL数据库等;若否,则在多个聚类数据中确定出与该待处理图片的目标属性及时空信息相似度最高的目标聚类数据,并设置该待处理图片与该目标聚类数据具有同一聚类标识,例如,该待处理图片、聚类标识为A的聚类数据、聚类标识为B的聚类数据、聚类标识为C的聚类数据、聚类标识为D的聚类数据的目标属性相同,且它们的时空信息依次为:云南省昆明市、2018/05/01上午9时,云南省昆明市、2018/05/01上午8时,北京市、2018/05/01上午8时,上海市、2018/05/01上午8时,黑龙江省哈尔滨市、2018/05/01上午8时,显然待处理图片与聚类标识为A的聚类数据的时空信息相似度最高,则可以确定聚类标识为A的聚类数据为目标聚类数据,此时设置待处理图片的聚类标识为A。
重复以上步骤,对每张待处理图片均进行聚类分析,就能得到多个聚类标识,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标,也就是说,可以将原始视频流按照目标类型(人、车、物)进行精确聚类,同一目标(人脸、人体、车辆)具有同一个聚类标识,即属于同一聚类集。
聚类分析的具体过程换句话说可以包括:
首先,获取第一张待处理图片的结构化数据及时空信息,生成聚类标识,并将第一张待处理图片的结构化数据、时空信息及聚类标识均存储到聚类数据库中作为聚类数据;
然后,获取下一张待处理图片的结构化数据及时空信息,并将其图片特征值与聚类数据库中的聚类数据进行比对,若二者特征值相似度低于第一预设阈值(例如,60%),则生成新的聚类标识,并将其结构化数据、时空信息及聚类标识作为新的聚类数据并存储到聚类数据库中,此时聚类数据库中就有了2个聚类数据;若二者特征值相似度高于第二预设阈值(例如,95%),则按照这两张待处理图片的目标属性及时空信息判断是否为同一目标、以及同一个目标出现在这两张待处理图片中是否合理,若是,则设置其聚类标识与第一张待处理图片的聚类标识相同;若二者特征值相似度处于第一预设阈值(例如,60%)与第二预设阈值(例如,95%)之间,则根据这一张待处理图片的图片质量值进行筛选过滤确定出其聚类标识;
接着判断这一张待处理图片是否是最后一张待处理图片,若不是,则按照同样的方法对下一张待处理图片进行聚类分析;若是,则完成了所有待处理图片的聚类分析。
需要说明的是,对每张待处理图片均进行聚类分析之后,还可以人工对聚类结果进行校正,当发现某一目标具有2个聚类标识时,通过人工手动合并实现强制聚类合并;当发现某一目标的聚类集中出现其他目标时,通过人工手动拆分实现强制聚类拆分。
步骤S104,依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码。
在本发明实施例中,对每张待处理图片均进行聚类分析得到多个聚类标识之后,依据每张待处理图片的采集时间和采集地点,利用每个人脸、人体、车辆首次出现的时间和地点,对每个聚类标识均进行编码得到视频身份编码。预设编码规则由视频身份标识、采集地点编码、采集时间编码、目标类型、聚类标识等构成,请参照图3,图3为预设编码规则示例图,其中,采集地点编码可以包括省级编码、地市编码、区县编码、派出所编码和社区编码,采集时间编码包括年月日,目标类型包括人、车、物。
本发明实施例通过对视频流的结构化数据进行精加工,将同一个目标(人脸、人体、车辆)在任何时间、任何地点出现的待处理图片进行聚类,并通过18/24位视频身份编码进行标识。
步骤S105,依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。
在本发明实施例中,得到每个聚类标识对应的视频身份编码之后,依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果,并存储到数据服务器10中,也就是说,将具有同一聚类标识的待处理图片及其结构化数据、聚类标识、视频身份编码作为一个聚类结果,进行聚类存储。聚类结果可以提供2种基础数据服务,一是基础视频身份元数据服务,其直接提供给上层应用系统使用;二是对基础视频元数据进行模型分析,将初步分析结果以完整视频身份档案的形式进行封装,并提供给上层应用系统使用,因此,在没有公安内网信息数据支撑的时候,也能够精确刻画虚拟人员身份画像,同时可以扩展对接内网信息数据,形成一套增强版视频身份档案。
作为一种实施方式,可以利用分布式数据库存储该聚类结果,基于该聚类结果,可以对海量数据进行快速检索,使得海量数据检索、分析计算性能成千倍以上提升,另外,通过对该聚类结果进行分析,可以反向指导前端摄像装置20的点位建设,包括重点建设区域、建设密度等。
与现有技术相比,本发明实施例具有以下有益效果:
首先,目前单台图形处理器(Graphics Processing Unit,GPU)服务器的最大计算能力是每秒完成1500万张图片特征值比对,假设有150亿数据,则单台GPU服务器需要1000秒才能返回比对结果,即使是采用数据分布式计算,例如,10台GPU服务器需要100秒,100台GPU服务器10秒。若采用本发明实施例提供的视频身份管理方法对外提供150亿的特征值比对秒级计算,则只需3台高配置CPU服务器即可。
其次,本发明实施例提供的视频身份管理方法,对视频流的结构化数据进行精加工,重新定义输出一种新的数据源即聚类结果,可以极大的提升数据分析效率。例如,如果需要统计某个人自交通监控系统建设以来的出现次数,现有技术需要对全部数据(例如,150亿)进行逐一遍历比对,而本发明实施例可以直接对聚类结果进行检索统计返回结果,提高了数据处理效率。
最后,由于视频流中的每个目标具有唯一的视频身份编码,故利用该视频身份编码可以快速分析出目标首次出现的时间和地点、快速查阅目标的视频身份档案、以及快速检索目标的历史同行记录等。
第二实施例
请参照图5,图5示出了本发明实施例提供的视频身份管理装置200的方框示意图。视频身份管理装置200包括图片获得模块201、结构化处理模块202、聚类分析模块203、编码模块204及执行模块205。
图片获得模块201,用于获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标。
在本发明实施例中,图片获得模块201,具体用于计算原始视频流中每张图片的图片质量值;将图片质量值高于第一预设质量值的所有图片均作为待处理图片。
结构化处理模块202,用于对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据。
在本发明实施例中,待处理图片的结构化数据包括该待处理图片的图片特征值及目标属性,结构化处理模块202,具体用于遍历多张待处理图片,对任意一张待处理图片进行目标检测,得到该待处理图片中单个目标之间的相对位置信息;利用目标属性提取算法对该待处理图片进行目标属性提取,得到该待处理图片的目标属性;基于所述目标属性,利用特征提取算法进行特征值提取,得到该待处理图片的图片特征值,其中,该待处理图片的图片特征值及目标属性构成该待处理图片的结构化数据。
聚类分析模块203,用于基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标。
在本发明实施例中,聚类分析模块203,具体用于获取任意一张待处理图片的结构化数据及时空信息;将该待处理图片的图片特征值与预先建立的聚类数据库中多个聚类数据进行逐个比对,其中,每个聚类数据均具有与其他聚类数据不同的聚类标识;当该待处理图片的图片特征值与每个聚类数据的特征相似度均低于第一预设阈值时,生成与每个聚类数据均不同的聚类标识,并将该待处理图片的结构化数据及时空信息作为聚类数据加入所述聚类数据库;当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第二预设阈值,且该待处理图片的目标属性及时空信息与该聚类数据满足时空属性关系时,设置该待处理图片与该聚类数据具有同一聚类标识;当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第一预设阈值且低于第二预设阈值时,依据该待处理图片的图片质量值确定该待处理图片的聚类标识。
在本发明实施例中,聚类分析模块203执行依据该待处理图片的图片质量值确定该待处理图片的聚类标识的方式,包括:判断该待处理图片的图片质量值是否低于第二预设质量值;若是,则将该待处理图片放入预先建立的废弃数据库;若否,则在多个聚类数据中确定出与该待处理图片的目标属性及时空信息相似度最高的目标聚类数据,并设置该待处理图片与该目标聚类数据具有同一聚类标识。
编码模块204,用于依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码。
执行模块205,用于依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。
综上所述,本发明实施例提供的一种视频身份管理方法及装置,所述方法包括:获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标;对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据;基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码;依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储。本发明实施例可以将海量结构化数据按照目标类型和视频身份进行聚类存储,提高了结构化数据应用的便捷性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种视频身份管理方法,其特征在于,所述方法包括:
获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标;
对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据;
基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;
依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码;
依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储;
所述基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识的步骤,包括:
获取任意一张待处理图片的结构化数据及时空信息,其中,所述结构化数据包括该待处理图片的图片特征值及目标属性;
将该待处理图片的图片特征值与预先建立的聚类数据库中多个聚类数据进行逐个比对,其中,每个聚类数据均具有与其他聚类数据不同的聚类标识;
当该待处理图片的图片特征值与每个聚类数据的特征相似度均低于第一预设阈值时,生成与每个聚类数据均不同的聚类标识,并将该待处理图片的结构化数据及时空信息作为聚类数据加入所述聚类数据库;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第二预设阈值,且该待处理图片的目标属性及时空信息与该聚类数据满足时空属性关系时,设置该待处理图片与该聚类数据具有同一聚类标识;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第一预设阈值且低于第二预设阈值时,依据该待处理图片的图片质量值确定该待处理图片的聚类标识。
2.如权利要求1所述的方法,其特征在于,所述对所述原始视频流进行质量评估,得到多张待处理图片的步骤,包括:
计算原始视频流中每张图片的图片质量值;
将图片质量值大于第一预设质量值的所有图片均作为待处理图片。
3.如权利要求1所述的方法,其特征在于,待处理图片的结构化数据包括该待处理图片的图片特征值及目标属性;
所述对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据的步骤,包括:
遍历多张待处理图片,对任意一张待处理图片进行目标检测,得到该待处理图片中单个目标之间的相对位置信息;
利用目标属性提取算法对该待处理图片进行目标属性提取,得到该待处理图片的目标属性;
基于所述目标属性,利用特征提取算法进行特征值提取,得到该待处理图片的图片特征值,其中,该待处理图片的图片特征值及目标属性构成该待处理图片的结构化数据。
4.如权利要求1所述的方法,其特征在于,所述依据该待处理图片的图片质量值确定该待处理图片的聚类标识的步骤,包括:
判断该待处理图片的图片质量值是否低于第二预设质量值;
若是,则将该待处理图片放入预先建立的废弃数据库;
若否,则在多个聚类数据中确定出与该待处理图片的目标属性及时空信息相似度最高的目标聚类数据,并设置该待处理图片与该目标聚类数据具有同一聚类标识。
5.一种视频身份管理装置,其特征在于,所述装置包括:
图片获得模块,用于获取原始视频流,并对所述原始视频流进行质量评估,得到多张待处理图片,每张待处理图片均包括至少一个目标;
结构化处理模块,用于对每张待处理图片均进行结构化处理,得到每张待处理图片的结构化数据;
聚类分析模块,用于基于每张待处理图片的结构化数据及时空信息,对每张待处理图片均进行聚类分析得到多个聚类标识,其中,每个聚类标识对应至少一张待处理图片,且该至少一张待处理图片包括同一目标;
编码模块,用于依据每张待处理图片的时空信息,按照预设编码规则对每个聚类标识均进行编码,得到与每个聚类标识关联的视频身份编码;
执行模块,用于依据待处理图片、聚类标识及视频身份编码之间的映射关系得到聚类结果并进行存储;
所述聚类分析模块,具体用于:
获取任意一张待处理图片的结构化数据及时空信息;
将该待处理图片的图片特征值与预先建立的聚类数据库中多个聚类数据进行逐个比对,其中,每个聚类数据均具有与其他聚类数据不同的聚类标识;
当该待处理图片的图片特征值与每个聚类数据的特征相似度均低于第一预设阈值时,生成与每个聚类数据均不同的聚类标识,并将该待处理图片的结构化数据及时空信息作为聚类数据加入所述聚类数据库;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第二预设阈值,且该待处理图片的目标属性及时空信息与该聚类数据满足时空属性关系时,设置该待处理图片与该聚类数据具有同一聚类标识;
当该待处理图片的图片特征值与任意一个聚类数据的特征相似度高于第一预设阈值且低于第二预设阈值时,依据该待处理图片的图片质量值确定该待处理图片的聚类标识。
6.如权利要求5所述的装置,其特征在于,所述图片获得模块具体用于:
计算原始视频流中每张图片的图片质量值;
将图片质量值高于第一预设质量值的所有图片均作为待处理图片。
7.如权利要求5所述的装置,其特征在于,待处理图片的结构化数据包括该待处理图片的图片特征值及目标属性,所述结构化处理模块具体用于:
遍历多张待处理图片,对任意一张待处理图片进行目标检测,得到该待处理图片中单个目标之间的相对位置信息;
利用目标属性提取算法对该待处理图片进行目标属性提取,得到该待处理图片的目标属性;
基于所述目标属性,利用特征提取算法进行特征值提取,得到该待处理图片的图片特征值,其中,该待处理图片的图片特征值及目标属性构成该待处理图片的结构化数据。
8.如权利要求5所述的装置,其特征在于,所述聚类分析模块执行所述依据该待处理图片的图片质量值确定该待处理图片的聚类标识的方式,包括:
判断该待处理图片的图片质量值是否低于第二预设质量值;
若是,则将该待处理图片放入预先建立的废弃数据库;
若否,则在多个聚类数据中确定出与该待处理图片的目标属性及时空信息相似度最高的目标聚类数据,并设置该待处理图片与该目标聚类数据具有同一聚类标识。
CN201810448628.6A 2018-05-11 2018-05-11 视频身份管理方法及装置 Active CN108470195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810448628.6A CN108470195B (zh) 2018-05-11 2018-05-11 视频身份管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810448628.6A CN108470195B (zh) 2018-05-11 2018-05-11 视频身份管理方法及装置

Publications (2)

Publication Number Publication Date
CN108470195A CN108470195A (zh) 2018-08-31
CN108470195B true CN108470195B (zh) 2021-01-26

Family

ID=63260198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810448628.6A Active CN108470195B (zh) 2018-05-11 2018-05-11 视频身份管理方法及装置

Country Status (1)

Country Link
CN (1) CN108470195B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121060A (zh) * 2019-05-27 2019-08-13 中国电子科技网络信息安全有限公司 一种用于网络摄像头的智能增强设备及方法
CN110765134A (zh) * 2019-10-25 2020-02-07 四川东方网力科技有限公司 档案建立方法、设备及存储介质
CN111563086B (zh) * 2020-01-13 2023-09-19 杭州海康威视系统技术有限公司 信息关联方法、装置、设备及存储介质
CN111275097B (zh) * 2020-01-17 2021-06-18 北京世纪好未来教育科技有限公司 视频处理方法及系统、图片处理方法及系统、设备、介质
CN112163105B (zh) * 2020-07-13 2024-02-09 北京国电通网络技术有限公司 图像数据的存储方法、装置、电子设备及存储介质
CN112528809A (zh) * 2020-12-04 2021-03-19 东方网力科技股份有限公司 关于涉盗嫌疑人员的识别方法、装置及设备、存储介质
CN112818165A (zh) * 2021-01-18 2021-05-18 长沙海信智能系统研究院有限公司 数据处理方法、装置、设备及存储介质
CN112836599A (zh) * 2021-01-19 2021-05-25 东方网力科技股份有限公司 基于人脸抓拍数据的同行人员查询方法、装置和设备
CN116010652B (zh) * 2023-03-20 2023-06-09 上海数字治理研究院有限公司 一种非结构化视频数据处理方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US6941325B1 (en) * 1999-02-01 2005-09-06 The Trustees Of Columbia University Multimedia archive description scheme
CN101316328A (zh) * 2007-05-29 2008-12-03 中国科学院计算技术研究所 一种基于时空条带模式分析的新闻主播镜头检测方法
CN101902617A (zh) * 2010-06-11 2010-12-01 公安部第三研究所 一种用dsp和fpga实现视频结构化描述的装置及方法
CN102521799A (zh) * 2011-11-21 2012-06-27 四川虹微技术有限公司 一种用于视频图像恢复增强的结构化稀疏词典的构造方法
CN102724485A (zh) * 2012-06-26 2012-10-10 公安部第三研究所 采用双核处理器对输入视频进行结构化描述的装置和方法
CN102982311A (zh) * 2012-09-21 2013-03-20 公安部第三研究所 基于视频结构化描述的车辆视频特征提取系统及方法
CN103294829A (zh) * 2013-06-26 2013-09-11 公安部第三研究所 基于Android操作系统实现轻量化视频结构化描述的系统及方法
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技(深圳)有限公司 图像聚类方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974511B2 (ja) * 2002-12-19 2007-09-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報検索のためのデータ構造を生成するコンピュータ・システム、そのための方法、情報検索のためのデータ構造を生成するコンピュータ実行可能なプログラム、情報検索のためのデータ構造を生成するコンピュータ実行可能なプログラムを記憶したコンピュータ可読な記憶媒体、情報検索システム、およびグラフィカル・ユーザ・インタフェイス・システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941325B1 (en) * 1999-02-01 2005-09-06 The Trustees Of Columbia University Multimedia archive description scheme
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
CN101316328A (zh) * 2007-05-29 2008-12-03 中国科学院计算技术研究所 一种基于时空条带模式分析的新闻主播镜头检测方法
CN101902617A (zh) * 2010-06-11 2010-12-01 公安部第三研究所 一种用dsp和fpga实现视频结构化描述的装置及方法
CN102521799A (zh) * 2011-11-21 2012-06-27 四川虹微技术有限公司 一种用于视频图像恢复增强的结构化稀疏词典的构造方法
CN102724485A (zh) * 2012-06-26 2012-10-10 公安部第三研究所 采用双核处理器对输入视频进行结构化描述的装置和方法
CN102982311A (zh) * 2012-09-21 2013-03-20 公安部第三研究所 基于视频结构化描述的车辆视频特征提取系统及方法
CN103294829A (zh) * 2013-06-26 2013-09-11 公安部第三研究所 基于Android操作系统实现轻量化视频结构化描述的系统及方法
CN103530652A (zh) * 2013-10-23 2014-01-22 北京中视广信科技有限公司 一种基于人脸聚类的视频编目方法、检索方法及其系统
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技(深圳)有限公司 图像聚类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HFAG:Hierarchical Frame Affinity Group for video retrieval on very Iarge video dataset;Yinjun Miao et al;《2010 IEEE International Conference on Image Processing》;20101203;全文 *
基于人脸聚类的视频结构化分析;黄煜斌;《中国优秀硕士学位论文全文数据库信息科技辑》;20110915;第2011年卷(第9期);I138-845 *

Also Published As

Publication number Publication date
CN108470195A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108470195B (zh) 视频身份管理方法及装置
CN105320705B (zh) 相似车辆的检索方法及装置
US9639949B2 (en) Edge orientation for second derivative edge detection methods
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN107659754B (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
CN108063914B (zh) 监控视频文件生成、播放方法、装置及终端设备
CN104408429A (zh) 一种视频代表帧提取方法及装置
CN110765134A (zh) 档案建立方法、设备及存储介质
JP2022518469A (ja) 情報処理方法および装置、記憶媒体
CN108335290B (zh) 一种基于liop特征与块匹配的图像区域复制篡改检测方法
CN112487886A (zh) 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN106295489B (zh) 信息处理方法、信息处理装置和视频监控系统
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN110751191A (zh) 一种图像的分类方法及系统
CN113409360A (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN111445442A (zh) 基于神经网络的人群计数方法、装置、服务器及存储介质
CN113657434A (zh) 人脸人体关联方法、系统以及计算机可读存储介质
CN114187463A (zh) 电子档案生成方法、装置、终端设备及存储介质
CN114078277A (zh) 一人一档的人脸聚类方法、装置、计算机设备及存储介质
CN106844727B (zh) 海量图像特征数据分布式采集处理和分级应用系统及方法
CN111079757B (zh) 服饰属性识别方法、装置及电子设备
CN105989063A (zh) 视频检索方法和装置
CN112487082A (zh) 一种生物特征识别的方法及相关设备
Rani et al. License plate character segmentation based on pixel distribution density
CN112613396B (zh) 一种任务紧急程度处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20220726

Granted publication date: 20210126

PP01 Preservation of patent right