CN110516624A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110516624A
CN110516624A CN201910810496.1A CN201910810496A CN110516624A CN 110516624 A CN110516624 A CN 110516624A CN 201910810496 A CN201910810496 A CN 201910810496A CN 110516624 A CN110516624 A CN 110516624A
Authority
CN
China
Prior art keywords
image
facial image
processed
source
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910810496.1A
Other languages
English (en)
Inventor
林江煌
曹继邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910810496.1A priority Critical patent/CN110516624A/zh
Publication of CN110516624A publication Critical patent/CN110516624A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质,该方法包括:获取待处理人脸图像,待处理人脸图像中包括至少两种来源的图像,每个待处理人脸图像携带有图像的来源标识;根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张所述待处理人脸图像;根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源数量。在本申请实施例中,可以采用一次聚类的方式代替多次两两碰撞的方式对不同的待处理人脸图像进行人员查重或碰撞比对,有效地解决了现有技术中人脸图像查重或碰撞时效率较低的问题。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,本发明涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前,在多个图像中进行人员查重时,通常是对抓拍的图像或者录制的视频进行分析来得到人员查重结果。在实际使用中,经常需要对多个地点和时间段所采集的图像进行筛选,以寻找一段时间内在多个地点都出现的人员,或者通过对多个视频或视频段进行解析,以寻找这几个视频中都出现的人员。
现有的技术中,在对多区域的抓拍图像进行查重时,通常只能对两两区域中抓拍图像进行碰撞检测,处理效率较差,而寻找在多个视频或者视频段中都出现的人员也较为困难。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取待处理人脸图像,待处理人脸图像中包括至少两种来源的图像,每个待处理人脸图像携带有图像的来源标识;
根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张待处理人脸图像;
根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源数量。
第一方面可选的实施例中,确定每个人脸图像集合中的人脸图像的来源的数量之后,还包括:
确定目标人脸图像集合,目标人脸图像集合中的人脸图像的来源的数量满足预设条件。
第一方面可选的实施例中,确定目标人脸图像集合之后,还包括:
建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
第一方面可选的实施例中,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系,包括:
以目标人脸图像集合为连接节点,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
第一方面可选的实施例中,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系,包括:
针对目标人脸图像集合中的任一张人脸图像,为人脸图像添加标签,标签用于表征与人脸图像的来源具有关联关系的来源。
第一方面可选的实施例中,确定目标人脸图像集合之后,还包括:
将目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户。
第一方面可选的实施例中,待处理人脸图像的来源为以下任意一种:
待处理人脸图像所对应的图像拍摄装置;
待处理人脸图像所在视频帧所属的视频。
第二方面,本申请实施例提供一种图像处理装置,该装置包括:
图像获取模块,用于获取待处理人脸图像,待处理人脸图像中包括至少两种来源的图像,每个待处理人脸图像携带有图像的来源标识;
图像聚类模块,用于根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张待处理人脸图像;
来源数量确定模块,用于根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源数量。
第二方面可选的实施例中,该装置还包括目标人脸图像集合确定模块,具体用于:
在确定每个人脸图像集合中的人脸图像的来源的数量之后,确定目标人脸图像集合,目标人脸图像集合中的人脸图像的来源的数量满足预设条件。
第二方面可选的实施例中,该装置还包括关联关系确定模块,具体用于:
在确定目标人脸图像集合之后,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
第二方面可选的实施例中,关联关系确定模块在建立目标人脸图像集合中人脸图像的不同来源之间的关联关系时,具体用于:
以目标人脸图像集合为连接节点,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
第二方面可选的实施例中,关联关系确定模块在建立目标人脸图像集合中人脸图像的不同来源之间的关联关系时,具体用于:
针对目标人脸图像集合中的任一张人脸图像,为人脸图像添加标签,标签用于表征与人脸图像的来源具有关联关系的来源。
第二方面可选的实施例中,该装置还包括来源提供模块,具体用于:
在确定目标人脸图像集合之后,将目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户。
第二方面可选的实施例中,待处理人脸图像的来源为以下任意一种:
待处理人脸图像所对应的图像拍摄装置;
待处理人脸图像所在视频帧所属的视频。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:
处理器;以及存储器,该储器配置用于存储机器可读指令,该指令在由该处理器执行时,使得该处理器执行上述中第一方面和第二方面中的任一项方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机存储介质用于存储计算机指令,当计算机指令在计算机上运行时,使得计算机可以执行上述中第一方面和第二方面中的任一项方法。
本申请实施例提供的技术方案带来的有益效果是:
在本申请实施例中,由于可以对获取的待处理人脸图像进行聚类,得到人脸图像集合,即可以采用一次聚类的方式代替多次两两碰撞的方式对不同的待处理人脸图像进行人员查重或碰撞比对,这样即使在的图像数据中也可以快速的找到人员之间的联系,有效地解决了现有技术中人脸图像查重或碰撞时效率较低的问题;进一步的,由于本申请用一次聚类的方式代替了多次两两碰撞,本申请实施例可以同时对多种来源的待处理人脸图像进行人员查重或碰撞比对,而不再像现有技术中需要进行多次两两碰撞。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种图像处理装置的结构示意图;
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面首先对本申请涉及的几个相关技术术语进行介绍和解释:
区域碰撞:是指对不同区域的图像抓拍装置(如相机、摄像头等)所拍摄的图像进行比对,找到在不同区域内所出现的相同人员。
对于区域碰撞,在实际应用中,对于不同的区域的图像采集装置,可以根据实际需要选择区域中指定的图像抓拍装置的地点,以及选定的该图像采集装置的拍摄时段,对筛选出的抓拍范围的抓拍图像(指定装置及指定拍摄时段的抓拍图像)进行区域碰撞,找出在选择的不同区域中均出现的人,如一个区域的指定相机在指定时段的抓拍图像中有n张人脸图像,另一区域的指定相机在指定时段的抓拍图像中有m张人脸图像,则需要进行n*m次比对才能完成这两个区域之间的碰撞,即将上述一个区域的n张人脸图像与上述另一区域的m张人脸图像分别进行比对,以比对查这两个区域的人脸图像中包含多少个相同的人。
例如,对中关村区域中的抓拍图像和回龙观区域中的抓拍图像进行区域碰撞,就是将通过中关村区域中设置的抓拍装置抓拍到的抓拍图像汇集起来得到集合A,将通过回龙观区域中设置的抓拍装置抓拍到的抓拍图像汇集起来得到集合B,把集合A和集合B进行碰撞,找到既在中关村区域出现,又在回龙观区域出现的对象。其中,区域的范围可大可小,如可以把多个抓拍装置共同作为一个区域,也可以把一个抓拍装置认为是一个区域。
现有技术实现区域碰撞的方式中,对于抓拍图像,只能做到对两个区域的抓拍图像(或者视频解析出来的图像)进行比对碰撞,当进行多个区域的图像碰撞时,需要拆分为两两区域的碰撞。例如,当需要查找在A、B、C三个区域(A、B、C三个区域包含的人脸图像分别为a、b、c张)均出现的人员时,需要先通过碰撞比对(需要a*b次比对)确定A、B两个区域都出现的人员集合为集合ab(例如集合ab包括人员ab1、ab2),B、C两个区域都出现的人员为集合bc(例如结合bc包括人员bc1、bc2、bc3),再通过一次集合ab和集合bc的碰撞比对确定集合ab和集合bc中是否有相同人员,效率低下。但在实际应用中,会经常需要对多个地点和时间段的图像进行碰撞,来寻找多个地方都出现的交集人员,现有的两两碰撞方式效率较低,不能够满足实际应用需求。
视频解析:通过人脸动态分析技术,将视频中出现的人脸图像解析出来形成一张张的抓拍图像,形成一个抓拍图像集合。其中,若视频中的一帧图像中存在多个人脸,可以对该帧图像进行分割以形成多张仅包括一张人脸的抓拍图像。
视频查重:指对不同对视频中包括的视频帧图像进行比对,找到在不同视频中所出现的相同人员。
在查找两个视频中是否存在同一个人时,首先需要将每个视频解析为人脸图像集合,然后将两个人脸集合进行碰撞比对。与多个区域的碰撞比对类似,多个视频的查重需要拆解为两两视频的查重,效率低下。
基于此,本申请实施例提供一种图像处理方法、装置、电子设备及存储介质,旨在解决现有技术的如上部分或全部技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例提供了一种图像处理的方法,如图1所示,该方法包括:
步骤S110,获取待处理人脸图像,待处理人脸图像中包括至少两种来源的图像,每个待处理人脸图像携带有图像的来源标识。
其中,待处理人脸图像的来源,即图像的获取来源。
本申请的可选方案中,待处理人脸图像的来源为以下任意一种:
待处理人脸图像所对应的图像拍摄装置;
待处理人脸图像所在视频帧所属的视频。
其中,来源标识用于标识待处理人脸图像的来源,而待处理人脸图像的来源指的是待处理人脸图像是出自哪一个图像拍摄装置,或是来自哪一个视频。在实际应用中,若将多个图像拍摄装置共同作为一个拍摄区域,此时通过该多个图像拍摄装置拍摄的待处理人脸图像的来源标识也可以是该拍摄区域的标识,即认为该多个图像拍摄装置拍摄的待处理人脸图像具有同一来源。
在实际应用中,由于每一待处理人脸图像携带有图像的来源标识,因此,在获取到每个待处理人脸图像时,即可以获知每个待处理人脸图像的来源。在本申请实施例中,待处理人脸图像中包括至少两种来源的图像,该至少两种来源可以是同一种类型的来源,也可以是不同类型的来源。
在一示例中,假如待处理图像包括图像1、图像2、图像3、……、以及图像100,而图像1至图像30是通过抓拍相机1拍摄的,图像31至图像50是通过抓拍相机2拍摄的,图像51至图像100是从A视频中提出的视频帧图像,则图像1至图像30的来源为抓拍相机1,图像31至图像50的来源为抓拍相机2,图像51至图像100的来源为A视频。此时,待处理图像中包括3种来源的图像。其中,若抓拍相机1和抓拍相机2均属于W区域,图像1至图像50的来源也可以为W区域,此时待处理人脸图像中包括的图像来源即为2种,分别为W区域的抓拍图像和A视频。
在实际应用中,获取待处理人脸图像方式可以存在多种方式,如可以将通过图像拍摄装置获取到的人脸图像作为待处理人脸图像,也可以将从视频帧中解析的人脸图像作为待处理人脸图像。
在实际应用中,在待处理人脸图像为通过不同的图像拍摄装置拍摄的人脸图像时,即至少两种来源的待处理人脸图像均为来自于图像拍摄装置的拍摄图像,可以根据实际需求,指定需要进行处理的图像拍摄时段,将指定时段内拍摄到图像作为待处理人脸图像。
其中,指定时段内拍摄到的图像可以为实时拍摄的图像,即在指定时段内每拍摄到一张图像,即将该拍摄的图像作为待处理人脸图像。例如,当前时间为下午2点,指定时段为下午3点到下午4点,则在下午3点至下午4之间,拍摄到的图像均作为待处理人脸图像。
当然,指定时段内拍摄到的图像也可以为离线保存的人脸图像,此时,在确定待处理人脸图像时,由于图像拍摄装置每拍摄一张人脸图像时,可以记录拍摄该人脸图像的时间,也就是说,获取到每张离线保存的人脸图像的同时也获知了每一张离线保存的人脸图像的拍摄时间。进一步的,可以基于每张离线保存的人脸图像的拍摄时间,确定离线保存的人脸图像中拍摄时间满足图像拍摄时段的人脸图像,并将满足图像拍摄时段的人脸图像作为待处理人脸图像。
在一示例中,假设图像拍摄装置为区域A中的抓拍相机1和抓拍相机2,离线保存的图像1至图像30是通过抓拍相机1拍摄的,离线保存的图像31至图像50是通过抓拍相机2拍摄的,指定的抓拍时段为2018年9月1号的上午10点至12点,而图像20至图像50的拍摄时间处于为2018年9月1号的上午10点至12点之间,此时图像20至图像50即为待处理人脸图像。
在本申请实施例中,若将从视频中提取的视频帧图像作为待处理人脸图像,可以基于已经存储的离线视频中确定源视频,然后基于视频解析技术解析出源视频中的人脸图像,并将该人脸图像导出作为待处理人脸图像。
其中,在本申请实施例中,对于离线视频的存储方式以及位置不做限定,如可以将所有的离线视频均存储在特定的云端服务器中,在确定源视频时可以直接从云端服务器中确定并获取;也可以将不同的离线视频存储在不同的服务器,在确定源视频时,可以先确定需要将哪几个视频作为源视频,然后再从不同的服务器中分别获取。此外,若确定的源视频已经完成视频解析,且解析出的视频帧图像也可以获取到,此时可以直接将已经解析出的视频帧图像作为待处理人脸图像。
步骤S120,根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张待处理人脸图像。
在实际应用中,在获取到待处理人脸图像后,可以提取获取到的人脸图像的人脸特征向量,然后基于各待处理人脸图像的人脸特征向量进行聚类,得到人脸图像集合。也就是说,对待处理人脸图像进行聚类即是将待处理人脸图像中属于同一人员的人脸图像归为一类,从而获得一个或多个人脸图像集合。同一个人脸图像集合中的人脸图像可以认为是同一个人的图像。其中,对于人脸图像进行聚类时所采用的聚类方式,本申请实施例不做限定,可以根据实际需要配置。
在一示例中,假如获取到的待处理人脸图像中包括人员A和人员B的图像,人员A的图像为图像1至图像20,人员B的图像为图像21和图像60,此时可以对图像1至图像60进行聚类,得到包括图像1至图像20的人脸图像集合(该人脸图像集合中的人脸图像为是人员A的图像),以及包括图像21和图像60的人脸图像集合(该人脸图像集合中的人脸图像为是人员B的图像)。
在实际应用中,得到的每个人脸图像集合中所包括的人脸图像之间的相似度满足预设条件。其中,确定所包括的人脸图像之间的相似度的方式本申请实施例不做限定,如可以根据由待处理人脸图像提取的人脸特征向量之间的人脸特征向量距离用于表征人脸图像之间的相似度,进而可以理解的是,当两张人脸图像之间的人脸特征向量距离越小时,两张人脸图像之间的相似度越高,两张人脸图像之间的人脸特征向量距离越大时,两张人脸图像之间的相似度越底。
本申请可选的实施方式,根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类时,可以包括:
提取每张待处理人脸图像的人脸特征;
基于每张待处理人脸图像的人脸特征,确定不同的待处理人脸图像之间的人脸特征向量距离;
根据人脸特征向量距离和预设的聚类条件,得到人脸图像集合。
其中,预设的聚类条件本申请实施例不做限定。例如,当两张待处理人脸图像之间人脸特征向量距离小于预设的距离阈值,此时该两张待处理人脸图像属于同一个人脸图像集合。进而可以理解的是,当距离阈值设置的较小时,同一个人脸图像集合中出现的人脸图像可能较少,属于同一人的人脸图像可能不能被归为同一个人脸图像集合,当距离阈值设置的较大时,一个人脸图像集合中可能出现多个人的人脸图像。
其中,提取待处理人脸图像的人脸特征的方式本申请实施例不做限定,如可以采用用于提取人脸特征的网络模型获取每张待处理人脸图像的人脸特征。
在实际应用中,确定不同的待处理人脸图像之间的人脸特征向量距离时,可以是确定各待处理人脸图像与各图像组之间的人脸特征向量距离,然后基于各待处理人脸图像与各图像组之间的人脸特征向量距离和聚类条件,得到人脸图像集合。
步骤S130,根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源的数量。
在实际应用中,得到人脸图像集合后,由于每个待处理人脸图像可以携带有图像的来源标识,此时可以根据人脸图像集合中每个待处理图像所携带的来源标识,确定每个人脸图像集合中的人脸图像的来源的数量。
例如,当进行3个视频的人员查重时,如果某个人脸图像集合中的人脸图像有三种不同的来源标识,则认为该人脸图像集合对应的人员同时出现在这3个视频中。当进行这3个区域的抓拍图像的碰撞时,如果某个人脸图像集合中的人脸图像有三种不同的来源标识,则认为该人脸图像集合对应的人员同时出现在这3个区域。
在本申请实施例中,可以采用聚类的方式代替碰撞的方式对不同的待处理人脸图像进行分析,这样即使在大量的图像数据中也可以快速的找到人员之间的联系,有效地解决了现有技术中因采用人工的方式造成效率较低的问题;进一步的,由于本申请用一次聚类的方式代替了多次两两碰撞,因此,本申请实施例中可以同时对多种来源的待处理人脸图像进行人员查重或碰撞比对,不再像现有技术中一次只能进行两两视频的查重或两两区域之间的碰撞检测。
在本申请实施例中,确定每个人脸图像集合中的人脸图像的来源的数量之后,还可以包括:
确定目标人脸图像集合,目标人脸图像集合中的人脸图像的来源的数量满足预设条件。
在实际应用中,目标人脸图像集合指的是所包括的人脸图像的来源的数量满足预设条件的人脸图像集合,目标人脸图像集合所对应的人员即为视频查重或区域碰撞的结果。而预设条件可以根据实际需求设定,本申请实施例不做限定。
其中,当人脸图像集合中人脸图像的来源的数量为1时,说明该人脸图像集合中人脸图像的来源是相同的,即该人脸图像集合中人脸图像所对应的人员仅在一个图像来源中出现;当人脸图像集合中的人脸图像的来源的数量包括至少两种时,说明该人脸图像集合中的人脸图像来自不同的来源,即该人脸图像集合中人脸图像所对应的人员在不同的图像来源中出现。
在实际应用中,可以根据每个人脸图像集合中的人脸图像的来源的数量,对所得到的人脸图像集合进行筛选。用于筛选的人脸图像来源的数量可根据需要选择,例如,若想找到出现在3个视频的2个视频中的人员,可以将预设条件设为来源的数量为2;若想找到3个视频中都有出现的人员,可以将预设条件设为来源的数量为3。在一种实施方式中,可设定将所得到的人脸图像集合中的待处理人脸图像的来源的数量为至少两种的人脸图像集合作为目标人脸图像集合,基于该方式,即可确定出同时出现在两种或两种以上的图像来源的人员。
在一示例中,假如得到3个人脸聚类结果,包括人脸聚类结果A、人脸聚类结果B和人脸聚类结果C,人脸聚类结果A中的人脸图像的来源标识为1种,人脸聚类结果B和人脸聚类结果C中的人脸图像的来源标识均为3种,此时可以将人脸聚类结果B和人脸聚类结果C作为目标人脸图像集合。
在本申请实施例中,确定目标人脸图像集合之后,还包括:
建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
在实际应用中,可以建立目标人脸图像集合中人脸图像的不同来源之间的关联关系,即将目标人脸图像集合中的人脸图像的各来源建立关联关系,基于该关联关系即可知晓该目标人脸图像集合中所对应的人员在哪些图像来源中出现。其中,关联关系的表现形式并不限定,如可以为标签的形式。
在本申请实施例中,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系,包括:
以目标人脸图像集合为连接节点,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
其中,在建立不同来源之间的关联关系时,可以将目标人脸图像集合与其自身所对应的各不同的图像来源建立关联关系,即建立目标人脸图像集合与其所包括的人脸图像的各个来源的映射关系。也就是说,在确定目标人脸图像集合中某个人脸图像的来源与其它人脸图像的来源的关联关系时,可以基于目标人脸图像集合与其所包括的人脸图像的各个来源的映射关系,确定目标人脸图像集合对应于哪个或哪些来源,此时该目标人脸图像集合所对应的各个来源之间建立关联关系。
在一示例中,假如图像1的来源为抓拍相机1,且图像1所在的目标人脸图像集合为目标人脸图像集合1,基于目标人脸图像集合与其所包括的人脸图像的各个来源的映射关系,可以确定目标人脸图像集合1中的人脸图像的来源包括3种,分别是抓拍相机1、区域A和视频2,此时图像1的来源(即抓拍相机1)分别与区域A和视频2具有关联关系,即这三种来源的图像中均出现过同一人员的图像。
在实际应用中,在建立目标人脸图像集合中人脸图像的不同来源之间的关联关系时,还可以根据目标人脸图像集合中人脸图像的来源标识对目标人脸图像集合中人脸图像进行分类,将来源相同的人脸图像划分为同一个图像子集,并将目标人脸图像集合中所包括的各图像子集建立关联关系。其中,由于同一图像子集中的人脸图像的来源是相同的,即一个图像子集即可代表一个图像来源,因此,若将目标人脸图像集合中所包括的各图像子集建立关联关系,即为将目标人脸图像集合中人脸图像的不同来源之间建立关联关系。
在本申请实施例中,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系,还包括:
针对目标人脸图像集合中的任一张人脸图像,为该人脸图像添加标签,标签用于表征与人脸图像的来源具有关联关系的来源。
在实际应用中,对于目标人脸图像集合中的任一张人脸图像,可以为该人脸图像添加用于表征与该人脸图像的来源具有关联关系的来源的标签,其中,与该人脸图像的来源具有关联关系的来源指的是该人脸图像所在的目标人脸图像集合中所包括的人脸图像的来源。在实际应用中,由于目标人脸图像集合中的各人脸图像携带有来源标识,且该来源标识用于标识人脸图像的来源,因此,根据目标人脸图像集合中人脸图像的来源标识,即可获知目标来源具体为哪几个来源。
在实际应用中,在确定目标来源为哪几个来源后,可以对目标来源中的人脸图像设置标签,用于说明该人脸图像还在哪些图像来源中出现。
在一示例中,假如目标人脸图像集合中包括图像1,图像2、……、以及图像200,其中,图像1至图像100的来源为视频3(标识为V-3),图像101至图像150的来源为A区域(标识A),图像151至图像200的来源为抓拍相机1(标识为C-1)。此时可以对视频3中为图像1至图像100的视频帧图像分别添加标签,如可以添加标识(A,C-1),对区域A中的图像库为图像101至图像150的图像分别添加标签,如可以添加标识(V-3,C-1),对抓拍相机1的图像库中为图像151至图像200的图像分别添加标签,如可以添加标识(A,V-3)。相应的,若后续在查看视频3、区域A的图像库中的图像以及抓拍相机1的图像库中的图像时,可以基于图像中的标签知晓与该图像的来源关联的图像来源有哪些。
在本申请实施例中,确定目标人脸图像集合之后,还可以包括:
将目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户。
在实际应用中,在确定目标人脸图像集合之后,为了方便用户知晓目标人脸图像集合中所包括的来源是哪几个,可以将目标人脸图像集合中所包括的人脸图像的各来源的来源信息提供给用户。如可以标注该目标人脸图像集合所对应的用户在哪几个拍摄装置所在的区域和/或哪几个视频出现。
为了更好的说明本申请实施例所提供的方案,下面结合具体的应用场景对该方案进行进一步的说明。
实施例1,假如需要对A区域中的人脸图像进行人员查重分析,确定出在至少两个区域中均出现的人员,且区域A中的监控建设状况较好,具备解析能力的人脸抓拍相机的分布较广泛,如包括抓拍相机1、抓拍相机2、……、以及抓拍相机10,并且人脸抓拍相机能够较好的抓拍图像。
进一步的,在对A区域中的人脸图像进行人员查重分析时,可以通过选择拍摄时间段,来确定需要对哪些时间范围内出现的人员进行人员查重分析(如选择的拍摄时间段为2018年8月8日上午8点至上午10点的时间段);进一步,可以通过选择抓拍相机的地点,来确定需要对哪些地点范围内出现的人员进行人员查重分析(如想知道在拍摄时间段内在抓拍机1-5中都有出现的人员有哪些,选择的抓拍相机为抓拍相机1至抓拍相机5)。
相应的,可以将抓拍相机1至抓拍相机5在2018年8月8日上午8点至上午10点之间所拍摄的人脸图像作为待处理人脸图像,并将出自同一个抓拍相机的人脸图像添加相同的来源标识;进一步的,可以获取每张待处理人脸图像的人脸特征,并基于每张待处理人脸图像的人脸特征,确定不同的待处理人脸图像之间的人脸特征向量距离,然后根据确定的人脸特征向量距离和距离阈值,得到人脸图像集合,其中,同一个聚类结果中的人脸图像可以认为是同一个人的图像。
相应的,可以根据各待处理人脸图像的来源标识,得到目标人脸图像集合。其中,目标人脸图像集具体为哪一种的人脸图像集合,本申请实施例不做限定,如人脸图像集中的人脸图像的来源数量大于两种时即为目标人脸集合,此时可以淘汰人脸图像集合中所有人脸图像的来源均是同一个来源(即同一个区域)的人脸图像集合,保留人脸图像集合中人脸图像的来源是不同来源(即不同区域)的人脸图像集合,即得到目标人脸图像集合,然后建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。此时,得到的目标人脸图像集合所对应的人员即为人员查重的分析结果,目标人脸图像集合中人脸图像的各来源即为目标人脸图像集合所对应的人员所出现的区域。当然,在实际应用中,在得到目标人脸图像集合中人脸图像的不同来源之间的关联关系之后,还可以将目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户,以及将与待处理图像来源具有关联关系的来源标注在待处理图像中。
实施例2,假如需要对视频P、视频Q和视频S进行人员查重分析,确定出在至少两个视频中均出现的人员。
对视频P、视频Q和视频S进行人员查重分析时,可以将视频P、视频Q和视频S上传至云端服务器,对视频P、视频Q和视频S进行动态视频解析技术得到人脸图像,并将得到的人脸图像作为待处理人脸图像,并将出自同一个源视频的人脸图像添加相同的来源标识。
进一步的,可以对待处理人脸图像进行聚类,得到人脸图像集合,然后根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源数量,并确定目标人脸图像集合。其中,得到人脸图像集合,以及得到目标人脸图像集合的具体实现方式与上述实施例1中的方式相同,可以参见上述实施例1中的描述,在此就不再赘述。
相应的,可以建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。其中,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系的具体实现方式与上述实施例1中的方式相同,可以参见上述实施例1中的描述,在此就不再赘述。
其中,若所确定的源视频已经做过离线视频分析布控业务,即已经基于动态视频解析技术得到人脸图像,那么则可以跳过将源视频进行动态视频解析抽出人脸图像的过程,直接将解析后的人脸图像作为待处理人脸图像,然后进行实施例2中确定待处理人脸图像之后的执行步骤。
需要说明的是:在实际应用中,待处理图像还可以包括实施1中所确定待处理图像和实施例2中所确定的待处理图像,然后基于实施1中所确定待处理图像或实施例2中所确定的待处理图像进行人员查重分析,得到最终的人员查重分析结果。其中,进行人员查重分析的具体实现过程可参见实施例1中或实施例2中确定待处理人脸图像之后的执行步骤,在此就不再赘述。
本申请实施例提供了一种图像处理装置,如图2所示,该图像处理装置60可以包括:图像获取模块601、图像聚类模块602以及来源数量确定模块603,其中,
图像获取模块601,用于获取待处理人脸图像,待处理人脸图像中包括至少两种来源的图像,每个待处理人脸图像携带有图像的来源标识;
图像聚类模块602,用于根据由待处理人脸图像提取的人脸特征向量,对待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张待处理人脸图像;
来源数量确定模块603,用于根据各待处理人脸图像的来源标识,确定每个人脸图像集合中的人脸图像的来源数量。
本申请可选的实施例中,该装置还包括目标人脸图像集合确定模块604,具体用于:
在确定每个人脸图像集合中的人脸图像的来源的数量之后,确定目标人脸图像集合,目标人脸图像集合中的人脸图像的来源的数量满足预设条件。
本申请可选的实施例中,该装置还包括关联关系确定模块605,具体用于:
在确定目标人脸图像集合之后,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
本申请可选的实施例中,关联关系确定模块605在建立目标人脸图像集合中人脸图像的不同来源之间的关联关系时,具体用于:
以目标人脸图像集合为连接节点,建立目标人脸图像集合中人脸图像的不同来源之间的关联关系。
本申请可选的实施例中,关联关系确定模块605在建立目标人脸图像集合中人脸图像的不同来源之间的关联关系时,具体用于:
针对目标人脸图像集合中的任一张人脸图像,为人脸图像添加标签,标签用于表征与人脸图像的来源具有关联关系的来源。
本申请可选的实施例中,该装置还包括来源提供模块606,具体用于:
在确定目标人脸图像集合之后,将目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户。
本申请可选的实施例中,待处理人脸图像的来源为以下任意一种:
待处理人脸图像所对应的图像拍摄装置;
待处理人脸图像所在视频帧所属的视频。
在本申请实施例中,由于可以对获取的待处理人脸图像进行聚类,得到人脸图像集合,即可以采用一次聚类的方式代替多次两两碰撞的方式对不同的待处理人脸图像进行人员查重或碰撞比对,这样即使在的图像数据中也可以快速的找到人员之间的联系,有效地解决了现有技术中人脸图像查重或碰撞时效率较低的问题;进一步的,由于本申请用一次聚类的方式代替了多次两两碰撞,本申请实施例可以同时对多种来源的待处理人脸图像进行人员查重或碰撞比对,而不再像现有技术中需要进行多次两两碰撞。
本申请实施例提供了一种电子设备,如图3所示,图3所示的电子设备2000包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选地,电子设备2000还可以包括收发器2004。需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本申请实施例的限定。
其中,处理器2001应用于本申请实施例中,用于实现图2所示的各模块的功能。
处理器2001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器2003用于存储执行本申请方案的应用程序代码,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码,以实现图2所示实施例提供的图像处理装置的动作。
本申请实施例提供了一种电子设备,本申请实施例中的电子设备包括:处理器;以及存储器,该储器配置用于存储机器可读指令,该指令在由该处理器执行时,使得该处理器执行上述中图像处理方法。
与现有技术相比,在本申请实施例中,由于可以对获取的待处理人脸图像进行聚类,得到人脸图像集合,即可以采用一次聚类的方式代替多次两两碰撞的方式对不同的待处理人脸图像进行人员查重或碰撞比对,这样即使在的图像数据中也可以快速的找到人员之间的联系,有效地解决了现有技术中人脸图像查重或碰撞时效率较低的问题;进一步的,由于本申请用一次聚类的方式代替了多次两两碰撞,本申请实施例可以同时对多种来源的待处理人脸图像进行人员查重或碰撞比对,而不再像现有技术中需要进行多次两两碰撞。
本申请实施例提供了一种计算机可读存储介质,计算机存储介质用于存储计算机指令,当计算机指令在计算机上运行时,使得计算机可以执行上述中图像处理方法。
与现有技术相比,在本申请实施例中,可以采用聚类的方式对不同的待处理人脸图像进行分析,这样即使在大量的图像数据中也可以快速的找到人员之间的联系,有效地解决了现有技术中因采用人工的方式造成效率较低的问题;进一步的,本申请实施例中可以同时对多种来源的待处理人脸图像进行聚类,不再像现有技术中只能两两区域之间的碰撞检测。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种图像处理方法,在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取待处理人脸图像,所述待处理人脸图像中包括至少两种来源的图像,每个所述待处理人脸图像携带有图像的来源标识;
根据由所述待处理人脸图像提取的人脸特征向量,对所述待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张所述待处理人脸图像;
根据各所述待处理人脸图像的来源标识,确定每个所述人脸图像集合中的人脸图像的来源数量。
2.根据权利要求1所述的方法,其特征在于,所述确定每个所述人脸图像集合中的人脸图像的来源的数量之后,还包括:
确定目标人脸图像集合,所述目标人脸图像集合中的人脸图像的来源的数量满足预设条件。
3.根据权利要求2所述的方法,其特征在于,所述确定目标人脸图像集合之后,还包括:
建立所述目标人脸图像集合中人脸图像的不同来源之间的关联关系。
4.根据权利要求2所述的方法,其特征在于,所述建立所述目标人脸图像集合中人脸图像的不同来源之间的关联关系,包括:
以所述目标人脸图像集合为连接节点,建立所述目标人脸图像集合中人脸图像的不同来源之间的关联关系。
5.根据权利要求3所述的方法,其特征在于,所述建立所述目标人脸图像集合中人脸图像的不同来源之间的关联关系,包括:
针对所述目标人脸图像集合中的任一张人脸图像,为所述人脸图像添加标签,所述标签用于表征与所述人脸图像的来源具有关联关系的来源。
6.根据权利要求2所述的方法,其特征在于,所述确定目标人脸图像集合之后,还包括:
将所述目标人脸图像集合中所包括的人脸图像所对应的各来源的来源信息提供给用户。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述待处理人脸图像的来源为以下任意一种:
所述待处理人脸图像所对应的图像拍摄装置;
所述待处理人脸图像所在视频帧所属的视频。
8.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取待处理人脸图像,所述待处理人脸图像中包括至少两种来源的图像,每个所述待处理人脸图像携带有图像的来源标识;
图像聚类模块,用于根据由所述待处理人脸图像提取的人脸特征向量,对所述待处理人脸图像进行聚类,得到一个或多个人脸图像集合,每个人脸图像集合包含至少一张所述待处理人脸图像;
来源数量确定模块,用于根据各所述待处理人脸图像的来源标识,确定每个所述人脸图像集合中的人脸图像的来源数量。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,配置用于存储机器可读指令,所述指令在由所述处理器执行时,使得所述处理器执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质用于存储计算机指令,当所述计算机指令在计算机上运行时,使得计算机可以执行上述权利要求1至7中任一项所述的方法。
CN201910810496.1A 2019-08-29 2019-08-29 图像处理方法、装置、电子设备及存储介质 Pending CN110516624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910810496.1A CN110516624A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810496.1A CN110516624A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110516624A true CN110516624A (zh) 2019-11-29

Family

ID=68629199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810496.1A Pending CN110516624A (zh) 2019-08-29 2019-08-29 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110516624A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
CN105426515A (zh) * 2015-12-01 2016-03-23 小米科技有限责任公司 视频归类方法及装置
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技(深圳)有限公司 图像聚类方法及装置
CN107291810A (zh) * 2017-05-18 2017-10-24 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109241378A (zh) * 2018-08-29 2019-01-18 北京旷视科技有限公司 档案建立方法、装置、设备及存储介质
CN110059657A (zh) * 2019-04-25 2019-07-26 北京旷视科技有限公司 档案处理方法、装置、电子设备及计算机可读存储介质
CN110163135A (zh) * 2019-05-10 2019-08-23 杭州商警云智能科技有限公司 一种基于动态算法的一人一档人脸聚类的方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
CN105426515A (zh) * 2015-12-01 2016-03-23 小米科技有限责任公司 视频归类方法及装置
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技(深圳)有限公司 图像聚类方法及装置
CN107291810A (zh) * 2017-05-18 2017-10-24 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109241378A (zh) * 2018-08-29 2019-01-18 北京旷视科技有限公司 档案建立方法、装置、设备及存储介质
CN110059657A (zh) * 2019-04-25 2019-07-26 北京旷视科技有限公司 档案处理方法、装置、电子设备及计算机可读存储介质
CN110163135A (zh) * 2019-05-10 2019-08-23 杭州商警云智能科技有限公司 一种基于动态算法的一人一档人脸聚类的方法及系统

Similar Documents

Publication Publication Date Title
CN108269333A (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN112291520B (zh) 异常事件识别方法、装置、存储介质及电子装置
CN110719332B (zh) 数据传输方法、装置、系统、计算机设备和存储介质
CN111836102B (zh) 视频帧的分析方法和装置
JP6780803B2 (ja) 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム
CN102693528A (zh) 低光度图像中的噪声抑制
CN108632574A (zh) 一种监控图像信息展示方法、装置及系统
CN113255685B (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110188717A (zh) 图像获取方法及装置
CN111177469A (zh) 人脸检索方法及人脸检索装置
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN110769175A (zh) 一种智能分析系统、方法及装置
CN103577273B (zh) 用于捕获诊断跟踪信息的方法和计算机系统
CN109413760A (zh) 一种无线连接方法及设备
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN115729683A (zh) 任务处理方法、装置、系统、计算机设备和存储介质
US11532158B2 (en) Methods and systems for customized image and video analysis
Hanjalic et al. Automatically segmenting movies into logical story units
CN110855947B (zh) 一种图像抓拍处理方法及装置
CN109120896B (zh) 安防视频监控卫士系统
CN110516624A (zh) 图像处理方法、装置、电子设备及存储介质
CN110147759A (zh) 目标识别方法、系统、目标识别管理方法及存储介质
CN110620698A (zh) 一种软件异常诊断方法、装置、设备及系统
CN112699707B (zh) 一种视频检测方法、设备及存储介质
CN110391952B (zh) 一种性能分析方法、装置及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129