CN110263830A - 图像处理方法、装置和系统及存储介质 - Google Patents
图像处理方法、装置和系统及存储介质 Download PDFInfo
- Publication number
- CN110263830A CN110263830A CN201910490363.0A CN201910490363A CN110263830A CN 110263830 A CN110263830 A CN 110263830A CN 201910490363 A CN201910490363 A CN 201910490363A CN 110263830 A CN110263830 A CN 110263830A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- groups
- collision
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置和系统以及存储介质。方法包括:获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像;对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;从聚合图像集合中选择代表图像;在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。这种方案可以有效减少碰撞结果中的重复图像,从而可以有效减少冗余信息。
Description
技术领域
本发明涉及对象识别领域,更具体地涉及一种图像处理方法、装置和系统以及存储介质。
背景技术
在对象识别领域,有时需要对两组底库图像进行区域碰撞分析,以找出两两匹配的、包含同一目标的图像。例如,刑侦民警在实际工作中,有时需要判断是否有人在多个区域都出现过,因为很多时候不同区域的案件其实都是一个人所为,此时可以针对案发时间点同一区域或不同区域的人脸抓拍数据进行区域碰撞分析,有可能找出在多个不同区域出现过的人或者在同一区域不同时间出现过的人,这样有可能提供一些嫌疑人线索。例如,可以选择一个区域多个时间抓拍的人脸图像进行碰撞,或者选择多个区域同一时间或多个区域不同时间抓拍的人脸图像进行碰撞,将匹配上的人筛选出来,即完成区域碰撞功能。
现有的区域碰撞分析仅获得两两匹配的碰撞结果,结果重复度大,冗余信息多,不便于用户查看或执行其他处理。例如,假设通过区域碰撞分析,确定人脸图像A和B是匹配图像,人脸图像B和C是匹配图像,人脸图像A和C是匹配图像,如果不对碰撞结果进行处理,那么在显示时,会显示A和B、B和C以及A和C这三个图像对。可以理解,如果底库图像的数量比较大,则针对同一人脸会显示数量非常多的图像对,其中存在大量的重复图像,这显然是没有必要的,也不方便用户查看同一人的活动规律。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法、装置和系统以及存储介质。
根据本发明一方面,提供了一种图像处理方法。该方法包括:步骤S210:获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像;步骤S220:对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;步骤S230:从聚合图像集合中选择代表图像;步骤S240:在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。
示例性地,从聚合图像集合中选择代表图像包括:从聚合图像集合中选择与其他图像匹配上的次数最多的图像作为代表图像;或者,从聚合图像集合中选择图像质量最好的图像作为代表图像;或者,从聚合图像集合中选择采集时间最近的图像作为代表图像。
示例性地,在获取两组底库图像的碰撞结果之前,方法还包括:接收用户输入的碰撞信息,碰撞信息包括与两组底库图像分别对应的两组图像选择信息,每组图像选择信息包括用于指示采集该组底库图像的相机的相机标识信息和采集时间段;将碰撞信息发送到区域碰撞模块,以由区域碰撞模块从至少一个预设相机采集的图像中查找符合碰撞信息中的相机标识信息和采集时间段的图像,以获得两组底库图像。
示例性地,碰撞信息还包括相似度阈值,区域碰撞模块在对两组底库图像进行区域碰撞分析以获得碰撞结果的过程中,基于相似度阈值确定两个图像是否是包含同一对象的匹配图像。
示例性地,在获取两组底库图像的碰撞结果之前,方法还包括:启动定时任务;利用定时任务定时查询是否存在正在运行中的图像处理任务,图像处理任务是关于针对任意两组底库图像进行图像处理的任务;在存在正在运行中的当前图像处理任务的情况下,根据当前图像处理任务的任务标识信息查询区域碰撞模块执行当前图像处理任务中的区域碰撞子任务的任务信息,任务信息包括关于区域碰撞子任务是否完成的任务状态信息;基于任务状态信息确定区域碰撞子任务是否完成;获取两组底库图像的碰撞结果包括:在区域碰撞子任务完成的情况下,从区域碰撞模块获取碰撞结果;其中,当前图像处理任务包括区域碰撞子任务和后处理子任务,后处理子任务的执行过程包括步骤S210至步骤S240。
示例性地,任务信息还包括用于指示区域碰撞子任务的执行进度的进度信息,在在存在正在运行中的当前图像处理任务的情况下,根据当前图像处理任务的任务标识信息查询区域碰撞模块执行当前图像处理任务中的区域碰撞子任务的任务信息之后,方法还包括:基于进度信息确定当前图像处理任务的总进度信息;向用户提供总进度信息。
示例性地,方法还包括:接收用户输入的任务终止/删除指令;在存在正在运行中的当前图像处理任务的情况下,响应于任务终止/删除指令的接收,终止/删除当前图像处理任务的执行。
示例性地,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合之后,方法还包括:将代表图像、匹配图像集合与对应的关联信息关联在一起,其中,关联信息包括以下信息中的一项或多项:匹配图像集合中在预定时段内采集的图像的数目信息、目标对象的对象标识信息、匹配图像集合中的每个图像的图像采集信息,图像采集信息包括采集对应图像的相机的相机标识信息和/或对应图像的采集时间。
示例性地,对象标识信息包括目标对象的下列信息中的一项或多项:姓名、性别、年龄、身份号码、车牌号、车辆类型、车辆颜色。
示例性地,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合之后,方法还包括:接收用户输入的显示指令;响应于显示指令的接收,显示匹配图像集合以及关联信息。
示例性地,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合之后,方法还包括:接收用户输入的排序指令;响应于排序指令的接收,按照排序指令指示的排序方式对匹配图像集合中的图像进行排序,并按照排好的顺序显示匹配图像集合以及关联信息。
示例性地,在获取两组底库图像的碰撞结果之后,方法还包括:将碰撞结果存储在数据库中;在对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合之后,方法还包括:异步从数据库中删除碰撞结果。
根据本发明另一方面,提供了一种图像处理装置,包括:获取模块,用于获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像;聚合模块,用于对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;选择模块,用于从聚合图像集合中选择代表图像;检索模块,用于在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。
根据本发明另一方面,提供了一种图像处理系统,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行上述图像处理方法。
根据本发明另一方面,提供了一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行上述图像处理方法。
根据本发明实施例的图像处理方法、装置、系统及存储介质,对包含同一对象的图像进行聚合,选出代表图像并基于代表图像检索获得匹配图像集合,这种方案可以有效减少碰撞结果中的重复图像,从而可以有效减少冗余信息。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图;
图2示出根据本发明一个实施例的图像处理方法的示意性流程图;
图3示出根据本发明一个实施例的图像处理任务的执行流程图;
图4示出根据本发明一个实施例的在显示界面上显示代表图像以及匹配图像集合的示意图;
图5示出根据本发明一个实施例的图像处理装置的示意性框图;以及
图6示出根据本发明一个实施例的图像处理系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例提供了一种图像处理方法、装置和系统以及存储介质。根据本发明实施例的图像处理方法可以有效减少碰撞结果中的重复图像,从而可以有效减少冗余信息。根据本发明实施例的图像处理方法和装置可以应用于任何需要进行对象识别的领域,例如安防门禁、电子商务、银行业务等领域。
首先,参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地,电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音),并且可以包括显示器、扬声器等中的一个或多个。可选地,所述输入装置106和所述输出装置108可以集成在一起,采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像,并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。应当理解,图像采集装置110仅是示例,电子设备100可以不包括图像采集装置110。在这种情况下,可以利用其他具有图像采集能力的器件采集图像,并将采集的图像发送给电子设备100。
示例性地,用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面,将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示,图像处理方法200包括以下步骤S210、S220、S230和S240。
在步骤S210,获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像。
两组底库图像中的任一组可以包括至少一个图像。任一组底库图像中的任一图像可以是静态图像,也可以是一段视频中的视频帧。任一组底库图像中的任一图像可以是图像采集装置采集到的原始图像,也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
两组底库图像可以来自外部设备,由外部设备传送到电子设备100进行图像处理。此外,两组底库图像也可以由电子设备100针对对象进行采集获得。例如,电子设备100可以利用图像采集装置110(例如独立的相机)采集至少一个图像,以获得底库图像。图像采集装置110可以将采集到的底库图像传送到处理器102,由处理器102进行图像处理或者进行图像处理。
在一个示例中,两组底库图像中的每组底库图像可以包括由一个或多个预设相机采集的图像。在这种情况下,用户可以指定或者由系统默认指定每组底库图像所对应的预设相机是哪些,区域碰撞模块可以自动从对应相机处分别获得每组底库图像。在另一个示例中,两组底库图像中的一组底库图像可以包括由一个或多个预设相机采集的图像,另一组底库图像可以包括由用户输入的图像或从其他设备(例如经由互联网从其他个人计算机或服务器)获得的图像。区域碰撞模块可以自动从对应相机处获得一组底库图像,另一组底库图像可以由用户输入。例如,可以由公安人员向图像处理系统输入一组逃犯的人脸图像,这些人脸图像可以发送到图像处理系统中的区域碰撞模块,同时区域碰撞模块还可以从机场、火车站等公共场所布置的多个监控相机处自动获取一组抓拍的人脸图像,区域碰撞模块可以将逃犯的人脸图像与公共场所抓拍的人脸图像进行区域碰撞分析。在又一个示例中,两组底库图像中的每组底库图像可以均包括由用户输入的图像或从其他设备(例如经由互联网从其他个人计算机或服务器)获得的图像。
本文所述的对象可以是任何物体,包括但不限于人或人的一部分(例如人脸)、车辆、建筑物、动物等。每组底库图像中的每个图像可以主要包含对应对象,尽量排除其他对象和其他类型干扰。例如,每组底库图像中的每个图像可以是用人脸抓拍相机抓拍获得的人脸图像,每个人脸图像仅包含一个人脸。
本文所述的碰撞结果是对两组底库图像进行区域碰撞分析获得的结果。所述区域碰撞分析可以理解为将两组底库图像分别作为来自两个区域(这两个区域可以一样也可以不一样,对应的时间段可以一样也可以不一样)的图像进行分析,找出分别来自两组底库图像的两两匹配的图像。示例性地,当两个图像之间的相似度超过一定的相似度阈值时,可以认为这两个图像是包含同一对象的匹配图像。
步骤S220,对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合。
目标对象可以是任一对象。在一个示例中,可以对两组底库图像所包含的每个对象都分别执行步骤S220-S240,即,两组底库图像所包含的每个对象可以分别作为目标对象来执行步骤S220-S240。在另一个示例中,可以仅对两组底库图像所包含的部分对象中的每个对象分别执行步骤S220-S240。例如,可以由用户指定或者系统自动选择某一个或多个对象分别作为目标对象来执行步骤S220-S240。例如,可以仅选择所对应的图像对的数目超过一个的对象作为目标对象来执行步骤S220-240。
示例性地,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起可以包括:将包含目标对象的任一图像对作为所述聚合图像集合;如果除加入所述聚合图像集合中的图像对以外的任一图像对包含与所述聚合图像集合中的任一图像相同的特定图像,则将该图像对中除特定图像以外的图像加入所述聚合图像集合,直至剩余图像对不包含与所述聚合图像集合中的任一图像相同的图像为止。
例如,假设针对1号区域和2号区域做区域碰撞分析,找到同一人脸在1号区域出现2次,2号区域出现3次。例如,1号区域的人脸图像A和2号区域的人脸图像a、b分别是匹配图像(即匹配上或说比对中),1号区域的人脸图像B和2号区域的人脸图像b、c分别是匹配图像,则可以认为A、B、a、b、c互相比对中,即1号区域的人脸图像A、B与2号区域的人脸图像a、b、c包含的是同一人脸X,此时可以将这5个人脸图像聚合在一起,视为是属于人脸X的聚合图像集合。在上述示例中,碰撞结果中共获得4个图像对,即A和a、A和b、B和b、B和c,首先可以将A和a作为初始的聚合图像集合,由于a、b都与A比对中,因此可以将b加入聚合图像集合,然后b又与B比对中,B又与c比对中,因此可以将B、c也放入聚合图像集合中,直到再也找不到包含与聚合图像集合中的任一图像相同的图像的图像对,此时可以获得最终的聚合图像集合。判断图像对与聚合图像集合是否包含相同图像可以根据每个图像的图像标识信息判断。例如,每个图像可以具有自己的标识符,可以比较两个图像的标识符以确定二者是否是相同图像。
在步骤S230,从聚合图像集合中选择代表图像。
示例性地,可以根据预设规则从聚合图像集合中选择代表图像。预设规则可以根据需要设定,本发明不对此进行限制。
示例性地,从聚合图像集合中选择代表图像可以包括:从聚合图像集合中选择与其他图像匹配上的次数最多的图像作为代表图像;或者,从聚合图像集合中选择图像质量最好的图像作为代表图像;或者,从聚合图像集合中选择采集时间最近的图像作为代表图像。
在一个示例中,在执行步骤S220进行图像聚合时,可以同时记录每个聚合图像集合之中每个图像与其他图像匹配上的次数,最后选择匹配上的次数最多的图像作为这一个聚合图像集合的代表,即代表图像。可以理解,对同一对象来说,匹配上的次数最多的图像比较有代表性,容易检索到比较多的匹配图像,进而易于获得比较丰富的对象信息。
在另一个示例中,可以直接选择聚合图像集合中质量最好的图像作为代表图像。质量好的图像有利于比较清晰地反映对象的特征,有利于用户获得较清晰的对象信息。
可选地,可以在步骤S230之前,评估聚合图像集合中的每个图像的图像质量。对于图像来说,可能存在多种指标用来衡量图像质量的好坏。例如,可以根据图像中的对象姿态(例如人脸姿态,其可以用人脸角度表示,即人脸向某些方向偏转的角度)、图像模糊程度、对象遮挡状态、光照情况等指标中的一种或多种来衡量图像质量。
具体地,例如,在对象为人脸的情况下,如果人脸侧脸角度或俯仰角度超过角度阈值,则可以认为图像质量不合格,认为其无法满足人脸识别准确性的要求。反之,如果人脸侧脸角度或俯仰角度不超过角度阈值,则可以认为图像质量合格。又例如,如果图像的模糊程度超过模糊阈值,也可以认为图像质量不合格。反之,如果图像的模糊程度不超过模糊阈值,则可以认为图像质量合格。又例如,如果对象中的一些关键部位(例如,人脸上的眼睛和/或嘴巴)被遮挡,则认为图像质量不合格。反之,如果对象中的关键部位未被遮挡,则认为图像质量合格。又例如,如果图像的光照亮度低于亮度阈值,则认为图像质量不合格。反之,如果图像的光照亮度不低于亮度阈值,则认为图像质量合格。再例如,可以综合考虑多种指标,如在图像的模糊程度超过模糊阈值或者图像亮度低于亮度阈值的情况下,可以认为图像质量不合格。反之,在图像的模糊程度不超过模糊阈值并且图像亮度不低于亮度阈值的情况下,可以认为图像质量合格。本领域技术人员应该理解的是,上述指标的综合是示例性的,本发明并不局限于此,本领域技术人员还可以根据实际需要,对上述各指标进行多种综合。
示例性地,针对每个图像,可以将图像质量所涉及的指标,例如对象姿态、图像模糊程度、对象遮挡状态、光照情况等中的一种或多种,综合在一起计算一个质量评分。在这种情况下,每个图像的图像质量分析结果可以包括该图像的质量评分。质量评分的高低可以表示图像质量的好坏。可以将该质量评分与预设的质量阈值相比较,以判断图像质量是否合格。质量阈值可以是任何合适的阈值,其可以根据需要设定,本发明不对此进行限制。
可以采用任何现有的或将来可能出现的图像质量分析方法分析图像质量。示例性而非限制性地,可以利用卷积神经网络分析图像的图像质量。例如,可以针对上述不同指标(例如,对象姿态、图像模糊程度以及对象遮挡状态)分别训练不同的卷积神经网络,每个卷积神经网络分别输出对应指标的评分,最后可以综合起来获得总的质量评分。又例如,可以针对上述多种指标综合训练一种卷积神经网络,该卷积神经网络可以直接输出总的质量评分。
在又一个示例中,可以直接选择聚合图像集合中采集时间最近的图像作为代表图像。采集时间近的图像有利于反映对象的近况,例如在刑侦工作中可以方便警方掌握嫌疑人的近况,进而有利于对嫌疑人进行追踪。
在再一个示例中,可以结合多种规则选择代表图像。例如,从聚合图像集合中选择代表图像(步骤S230)可以包括:在聚合图像集合中的第一种图像的数目是一个的情况下,从聚合图像集合中选择第一种图像作为代表图像;在聚合图像集合中的第一种图像的数目是多个的情况下,从聚合图像集合中选择第二种图像作为代表图像,其中,第一种图像和第二种图像不同,第一种图像和第二种图像均可以是以下之一:与其他图像匹配上的次数最多的图像、图像质量最好的图像和采集时间最近的图像。
可以首先按照初始标准选择代表图像,例如,首先选择与其他图像匹配上的次数最多的图像作为代表图像,如果发现满足初始标准的图像的数目超过一个,则可以按照另一标准选择代表对象,例如选择图像质量最好的图像作为代表图像。
在步骤S240,在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。
假设代表图像是P,可以基于代表图像P在两组底库图像中重新检索,找出相匹配的图像。可以理解,当任一图像与代表图像之间的相似度大于预设的相似度阈值时,可以确定该图像与代表图像相匹配。此处采用的相似度阈值与区域碰撞分析中采用的相似度阈值可以相同或不同。在某些区域碰撞算法中,为了提高区域碰撞的效率,可能在区域碰撞分析的过程中进行一些优化,例如不对全部的每两个图像进行搜索匹配,而是进行一种近似的搜索匹配。在这类方案中,可能导致区域碰撞分析存在碰撞结果中的匹配信息不准不全的问题。用代表图像进行重新检索可以有效减少碰撞结果中的匹配信息不准不全的问题。
匹配图像集合可以根据需要用于任何目的,例如显示其以供用户查看,或者进行进一步的处理,例如进一步的归类等。
根据本发明实施例的图像处理方法,对包含同一对象的图像进行聚合,选出代表图像并基于代表图像检索获得匹配图像集合,这种方案可以有效减少碰撞结果中的重复图像,从而可以有效减少冗余信息。
示例性地,根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的图像处理方法可以部署在图像采集端处,例如,在安防应用领域,可以部署在门禁系统的图像采集端;在金融应用领域,可以部署在个人终端处,诸如智能电话、平板电脑、个人计算机等。
替代地,根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和个人终端处。例如,可以在客户端获取图像,客户端将获取的图像传送给服务器端(或云端),由服务器端(或云端)进行图像处理。
根据本发明实施例,在获取两组底库图像的碰撞结果(步骤S210)之前,方法200还可以包括:接收用户输入的碰撞信息,碰撞信息包括与两组底库图像分别对应的两组图像选择信息,每组图像选择信息包括用于指示采集该组底库图像的相机的相机标识信息和采集时间段;将碰撞信息发送到区域碰撞模块,以由区域碰撞模块从至少一个预设相机采集的图像中查找符合碰撞信息中的相机标识信息和采集时间段的图像,以获得两组底库图像。
示例性地,本文描述的区域碰撞模块可以作为一块服务(区域碰撞服务)在某个服务器上实现,其余的步骤S210-S240可以作为另一块服务(可以称为后处理服务)在与区域碰撞模块相同或不同的服务器上实现。区域碰撞服务可以称为后端、core(核心)侧,后处理服务可以称为前端、业务侧。业务侧服务器可以与core侧服务器交互,互相传送信息。用户可以经由客户端向业务侧服务器输入碰撞信息,业务侧服务器可以将接收的碰撞信息传送到core侧服务器,以由区域碰撞模块基于该信息进行区域碰撞分析。本文所述的用户可以是任何能够使用图像处理系统对任意两组底库图像进行图像处理的人,例如公安人员等。客户端可以是诸如个人计算机、移动终端等设备。
示例性地,用户可以经由客户端输入两组相机的相机标识信息和两个时间段,区域碰撞模块可以基于第一组相机的相机标识信息和第一个时间段,找出第一组相机在第一个时间段内采集的图像,以获得第一组底库图像,并且可以基于第二组相机的相机标识信息和第二个时间段,找出第二组相机在第二个时间段内采集的图像,以获得第二组底库图像。业务侧服务器可以从区域碰撞模块获得两组底库图像中的任一组,也可以自己从相机、从用户处或从其他设备获得两组底库图像中的任一组。
第一组相机和第二组相机均可以包括一个或多个相机,且第一组相机和第二组相机可以包括一个或多个相同的相机,甚至两组相机中的所有相机都可以是相同的。第一时间段和第二时间段可以是相同的时间段或者不同的时间段,并且这两个时间段也可以具有重叠的时间段。
可以理解,用户输入的相机标识信息和/或采集时间段可能与图像处理系统内部传输的相机标识信息和/或采集时间段的形式不同,但二者均对应着相同的相机和/或采集时间。例如,用户输入某个相机的相机标识信息为“1号相机”,在图像处理系统中该相机对应有相机标识信息“11111100000”,则图像处理系统可以自动对相机标识信息进行相应的转换。
下面以json参数为例描述用户经由客户端在业务侧服务器输入的碰撞信息,如下:
前端json参数:
在以上json参数中,jobName是任务名称,在以上示例中为区域碰撞任务。jobType代表任务类型,例如同一区域不同时间段的区域碰撞任务的任务类型可以是1,不同区域不同时间段的区域碰撞任务的任务类型可以是2,等等。
beginTime和endTime分别为开始时间和结束时间,这两个时间可以限定一个采集时间段,cameraIds是相机标识信息。从以上json参数示例中,可以看出参与区域碰撞分析的两组底库图像的来源有部分相机是相同的,例如
4352863859639296等,此外,两个采集时间段也是存在部分重叠的时间段的。
根据本发明实施例,碰撞信息还可以包括相似度阈值,区域碰撞模块在对两组底库图像进行区域碰撞分析以获得碰撞结果的过程中,基于相似度阈值确定两个图像是否是包含同一对象的匹配图像。
继续参考上述json参数,其中threshold是指相似度阈值,当前设定为96.98。用户输入相似度阈值的方案是可选的,该阈值可以不由用户输入,此时图像处理系统可以使用默认的相似度阈值来判断两个图像是否匹配。
在用户输入相似度阈值的情况下,可选地,在接收用户输入的碰撞信息之前,方法200还可以包括:输出阈值范围提示信息,以提示用户相似度阈值应当落入的范围。例如,业务侧服务器可以将阈值范围提示信息输出至客户端,客户端可以进一步通过文字、图像、语音等方式输出阈值范围提示信息。例如,阈值范围提示信息可以提示用户相似度阈值应当落入[95,99]这样的范围,用户设置96.98是正确的,设置92.5则是不正确,在后一种情况下图像处理系统可以进一步提示用户输入的相似度阈值不满足要求,直至用户输入的相似度阈值满足要求为止。
在区域碰撞模块进行区域碰撞分析时,可以将相似度超过相似度阈值的两个图像判定为是匹配图像,相似度不超过相似度阈值的图像判定为不是匹配图像,这样可以获得一个个图像对的匹配信息。用户输入相似度阈值的方案可以方便用户自由调整区域碰撞分析的严格程度,以筛选出更符合用户需求的碰撞结果,这有助于提升用户体验。
根据本发明实施例,在获取两组底库图像的碰撞结果(步骤S210)之前,方法200还可以包括:启动定时任务;利用定时任务定时查询是否存在正在运行中的图像处理任务,图像处理任务是关于针对任意两组底库图像进行图像处理的任务;在存在正在运行中的当前图像处理任务的情况下,根据当前图像处理任务的任务标识信息查询区域碰撞模块执行当前图像处理任务中的区域碰撞子任务的任务信息,任务信息包括关于区域碰撞子任务是否完成的任务状态信息;基于任务状态信息确定区域碰撞子任务是否完成;获取两组底库图像的碰撞结果(步骤S210)可以包括:在区域碰撞子任务完成的情况下,从区域碰撞模块获取碰撞结果;其中,当前图像处理任务包括区域碰撞子任务和后处理子任务,后处理子任务的执行过程包括步骤S210至步骤S240。
图3示出根据本发明一个实施例的图像处理任务的执行流程图。如图3所示,可以首先启动定时任务。定时任务在业务侧服务器上运行。定时任务开始后,可以定时查询正在运行中的图像处理任务。用户输入碰撞信息之后,响应于碰撞信息的接收,业务侧服务器可以创建图像处理任务,图像处理任务可以包括在core侧服务器运行的区域碰撞子任务和在业务侧服务器运行的后处理子任务。区域碰撞子任务和后处理子任务共享相同的任务标识信息,可以将其称为图像处理任务的任务标识信息(可以用jobid表示)。
如果当前不存在正在运行中的图像处理任务,则当前流程结束,如果存在正在运行中的图像处理任务,则业务侧服务器可以基于jobid查询core侧任务信息,即区域碰撞子任务的任务信息。示例性地,该任务信息可以包括任务状态信息,例如,区域碰撞子任务未完成,则任务状态信息为0,区域碰撞子任务完成,则任务状态信息为1。根据任务状态信息可以确定区域碰撞子任务(即core侧任务)是否完成。
可选地,任务信息还可以包括用于指示区域碰撞子任务的执行进度的进度信息,在在存在正在运行中的当前图像处理任务的情况下,根据当前图像处理任务的任务标识信息查询区域碰撞模块执行当前图像处理任务中的区域碰撞子任务的任务信息之后,方法200还可以包括:基于进度信息确定当前图像处理任务的总进度信息;向用户提供总进度信息。
参见图3,在根据jobid查询core侧任务信息之后,可以更新任务进度。更新任务进度可以包括上述基于进度信息确定当前图像处理任务的总进度信息以及向用户提供总进度信息的步骤。示例性地,可以将区域碰撞子任务的进度信息乘以小于1的系数即可获得总进度信息。由于后处理子任务也需要消耗一定时间,因此,可以将区域碰撞子任务的进度乘以小于1的系数获得总进度。示例性地,上述系数可以是90%。例如,区域碰撞子任务的进度是80%,则将其与系数90%相乘,可以获得总进度72%,即当前图像处理任务的总进度是72%。可以经由客户端的显示器和/或扬声器等装置将总进度信息输出,以告知用户当前图像处理任务的总进度,这样可以方便用户获知任务的执行情况,从而可以有效提升用户体验。
随后,在区域碰撞子任务完成的情况下,业务侧服务器可以从区域碰撞模块获取碰撞结果。如果没有碰撞结果,即两组底库图像中没有匹配的图像对,则可以更新任务进度,首先按照上述系数的方式计算总进度,并显示总进度,在休眠一定时间,例如5秒后,将当前图像处理任务的总进度更新为100%,将当前图像处理任务的状态更新为完成,随后整个流程结束。
如果获取到碰撞结果,则可以判断一下当前图像处理任务是否终止/删除。可选地,用户可以具有随时终止/删除当前图像处理任务的权限,在接收到用户的任务终止/删除指令时,可以相应地终止/删除当前图像处理任务。
在用户未指示终止/删除当前图像处理任务的情况下,可以将碰撞结果存储到数据库中。每个图像处理任务对应一个碰撞结果,可以在数据库中用不同的集合(collection)存储不同的碰撞结果。数据库可以是任意数据库,包括但不限于mongo数据库。mongo数据库容量比较大,数据存取快,易于管理,适用于图像数量比较大的图像处理任务。
随后,可以按照碰撞结果所指示的各个图像之间的关联关系进行聚合,将所述两组底库图像中包含所述目标对象的所有图像聚合在一起,获得聚合图像集合。
随后,可选地,可以异步删除mongo中的碰撞结果。异步删除即随时删除,其不受图像处理任务的执行进度限制,也不会对图像处理任务的执行产生影响。
随后,可以针对同一对象选择代表图像(即执行步骤S230)并进行1:N匹配(即步骤S240),以获得代表图像的匹配图像集合。此外,还可以将代表图像、匹配图像集合与关联信息关联在一起(可以称为组装),获得组装结果。
随后,可以再次判断当前图像处理任务是否终止/删除。在用户未指示终止/删除当前图像处理任务的情况下,可以将组装结果存入mongo,并且可以更新当前图像处理任务的任务进度为100%,任务状态为完成,这些任务进度信息和任务状态信息均可以显示出来,以由用户查看。如果用户指示终止/删除当前图像处理任务,则可以不将组装结果存储到mongo,并删除组装结果,随后可以结束整个流程。
根据本发明实施例,方法200还可以包括:接收用户输入的任务终止/删除指令;在存在正在运行中的当前图像处理任务的情况下,响应于任务终止/删除指令的接收,终止/删除当前图像处理任务的执行。
上文已经描述了终止/删除当前图像处理任务的实施例,此处不再赘述。这种实现方式可以给予用户较大的自由权,在需要时终止/删除当前图像处理任务,以方便用户对图像处理任务进行管理。
根据本发明实施例,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合(步骤S240)之后,方法200可以包括:将代表图像、匹配图像集合与对应的关联信息关联在一起,其中,关联信息包括以下信息中的一项或多项:匹配图像集合中在预定时段内采集的图像的数目信息、目标对象的对象标识信息、匹配图像集合中的每个图像的图像采集信息,图像采集信息包括采集对应图像的相机的相机标识信息和/或对应图像的采集时间。
示例性地,对象标识信息可以包括目标对象的下列信息中的一项或多项:姓名、性别、年龄、身份号码、车牌号、车辆类型、车辆颜色。身份号码可以是身份证号码、工号、学号等能够标识对象身份的号码。在对象为人或人脸的情况下,对象标识信息可以包括姓名、性别、年龄等信息,在对象为车辆的情况下,对象标识信息可以包括车牌号、车辆类型、车辆颜色,在对象为其他类型物体的情况下,对象标识信息可以包括其他对应信息。
示例性地,关联信息中的至少部分信息可以由用户输入,例如由用户输入某个代表图像所属对象的身份证号码。可以将该身份证号码与该代表图像的匹配图像集合中的每个图像关联在一起,以确定每个图像的身份信息。示例性地,关联信息中的至少部分信息可以通过对象识别获得。例如,可以用对象识别模块(例如人脸识别模块)对匹配图像集合中的每个图像进行识别,例如识别其包含对象的性别、年龄等。
根据本发明实施例,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合(步骤S240)之后,方法200还可以包括:接收用户输入的显示指令;响应于显示指令的接收,显示匹配图像集合以及关联信息。
图4示出根据本发明一个实施例的在显示界面上显示代表图像以及匹配图像集合的示意图。
如图4所示,客户端的显示界面可以划分为两部分,左侧显示针对当前的两组底库图像所选择出的所有代表图像,右侧显示与当前选中的代表图像相匹配的图像。可以理解,代表图像的数目可以与两组底库图像包含的对象的数目一致。左侧用粗实线标出的代表图像A是当前选中的代表图像。右侧示出的匹配图像a1、a2、a3、a4、a5和a6是代表图像A的匹配图像。如图4所示,在每个匹配图像下方显示有采集该匹配图像的相机的相机标识信息,在每个匹配图像的右方显示有该匹配图像的采集时间。此外,在匹配图像集合上方还显示有“2019-01-07(出现100次)”这样的信息,表示该代表图像中的对象在2019-01-07这一天出现了100次,该信息也就是匹配图像集合中在2019-01-07这一天内采集的图像的数目信息。该数目信息是对在预定时段内在预定区域(采集两组底库图像的区域)对象出现的次数的一种统计,方便用户获知对象的活动情况。
可以发现,在图3右侧显示的匹配图像中不再有大量重复图像,也就不再有大量冗余信息,用户可以直观地、一目了然地查看每个对象的代表图像及其匹配图像。此外,显示关联信息还方便用户查看匹配图像的图像采集信息、对象标识信息等,这有利于用户分析对象的活动规律和/或对象的身份。
根据本发明实施例,在在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合(步骤S240)之后,方法200还可以包括:接收用户输入的排序指令;响应于排序指令的接收,按照排序指令指示的排序方式对匹配图像集合中的图像进行排序,并按照排好的顺序显示匹配图像集合以及关联信息。
示例性地,排序方式可以包括按采集时间排序、按采集地点排序、按时间段排序等等。
继续参考图4,当前用户选择的是按时间排序的方式。右侧显示的匹配图像是按照采集时间从早到晚的顺序依次排序显示的。可选地,还可以按照匹配图像的采集地点或采集的时间段进行排序显示。按照采集地点排序时,可以将在同一地点采集的,即由相同的一个或多个相机采集的图像划分在同一块显示区域进行显示,例如,第一排显示在1号区域采集的图像,第二排显示在2号区域采集的图像,等等。按照采集的时间段排序时,可以将在同一时间段采集的图像划分在同一块显示区域进行显示。
按照用户指令排序,方便用户根据需要查看在某些感兴趣时间、某些感兴趣地点出现的图像,从而方便用户分析对象的活动规律。在刑侦领域,上述技术方案可以帮助警方更快更好地获得嫌疑人线索,有利于提高警方破案效率。
根据本发明实施例,在获取两组底库图像的碰撞结果(步骤S210)之后,方法200还可以包括:将碰撞结果存储在数据库中;在对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合(步骤S220)之后,方法200还可以包括:异步从数据库中删除碰撞结果。
上文已经描述了存储碰撞结果以及异步删除碰撞结果的方式和优点,此处不赘述。
根据本发明另一方面,提供一种图像处理装置。图5示出了根据本发明一个实施例的图像处理装置500的示意性框图。
如图5所示,根据本发明实施例的图像处理装置500包括获取模块510、聚合模块520、选择模块530和检索模块540。所述各个模块可分别执行上文中结合图2-4描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置500的各部件的主要功能进行描述,而省略以上已经描述过的细节内容。
获取模块510用于获取两组底库图像的碰撞结果,其中,所述碰撞结果包括一个或多个图像对的匹配信息,所述匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,所述一个或多个图像对中的每个图像对中的两个图像分别来自所述两组底库图像。获取模块510可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
聚合模块520用于对于任一目标对象,根据所述碰撞结果将所述两组底库图像中包含所述目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合。聚合模块520可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
选择模块530用于从所述聚合图像集合中选择代表图像。选择模块530可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
检索模块540用于在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合。检索模块540可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图6示出了根据本发明一个实施例的图像处理系统600的示意性框图。图像处理系统600包括图像采集装置610、存储装置(即存储器)620、以及处理器630。
所述图像采集装置610用于采集图像。图像采集装置610是可选的,图像处理系统600可以不包括图像采集装置610。在这种情况下,可以利用其他图像采集装置采集图像,并将采集的图像发送给图像处理系统600。
所述存储装置620存储用于实现根据本发明实施例的图像处理方法中的相应步骤的计算机程序指令。
所述处理器630用于运行所述存储装置620中存储的计算机程序指令,以执行根据本发明实施例的图像处理方法的相应步骤。
在一个实施例中,所述计算机程序指令被所述处理器630运行时用于执行以下步骤:步骤S210:获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像;步骤S220:对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;步骤S230:从聚合图像集合中选择代表图像;步骤S240:在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤,并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中,所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块,并和/或者可以执行根据本发明实施例的图像处理方法。
在一个实施例中,所述程序指令在运行时用于执行以下步骤:步骤S210:获取两组底库图像的碰撞结果,其中,碰撞结果包括一个或多个图像对的匹配信息,匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,一个或多个图像对中的每个图像对中的两个图像分别来自两组底库图像;步骤S220:对于任一目标对象,根据碰撞结果将两组底库图像中包含目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;步骤S230:从聚合图像集合中选择代表图像;步骤S240:在两组底库图像中检索与代表图像相匹配的图像,以获得代表图像的匹配图像集合。
根据本发明实施例的图像处理系统中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种图像处理方法,包括:
步骤S210:获取两组底库图像的碰撞结果,其中,所述碰撞结果包括一个或多个图像对的匹配信息,所述匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,所述一个或多个图像对中的每个图像对中的两个图像分别来自所述两组底库图像;
步骤S220:对于任一目标对象,根据所述碰撞结果将所述两组底库图像中包含所述目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;
步骤S230:从所述聚合图像集合中选择代表图像;
步骤S240:在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合。
2.如权利要求1所述的方法,其中,所述从所述聚合图像集合中选择代表图像包括:
从所述聚合图像集合中选择与其他图像匹配上的次数最多的图像作为所述代表图像;或者,
从所述聚合图像集合中选择图像质量最好的图像作为所述代表图像;或者,
从所述聚合图像集合中选择采集时间最近的图像作为所述代表图像。
3.如权利要求1所述的方法,其中,在所述获取两组底库图像的碰撞结果之前,所述方法还包括:
接收用户输入的碰撞信息,所述碰撞信息包括与所述两组底库图像分别对应的两组图像选择信息,每组图像选择信息包括用于指示采集该组底库图像的相机的相机标识信息和采集时间段;
将所述碰撞信息发送到区域碰撞模块,以由所述区域碰撞模块从至少一个预设相机采集的图像中查找符合所述碰撞信息中的相机标识信息和采集时间段的图像,以获得所述两组底库图像。
4.如权利要求3所述的方法,其中,所述碰撞信息还包括相似度阈值,所述区域碰撞模块在对所述两组底库图像进行区域碰撞分析以获得所述碰撞结果的过程中,基于所述相似度阈值确定两个图像是否是包含同一对象的匹配图像。
5.如权利要求1所述的方法,其中,在所述获取两组底库图像的碰撞结果之前,所述方法还包括:
启动定时任务;
利用所述定时任务定时查询是否存在正在运行中的图像处理任务,所述图像处理任务是关于针对任意两组底库图像进行图像处理的任务;
在存在正在运行中的当前图像处理任务的情况下,根据所述当前图像处理任务的任务标识信息查询区域碰撞模块执行所述当前图像处理任务中的区域碰撞子任务的任务信息,所述任务信息包括关于所述区域碰撞子任务是否完成的任务状态信息;
基于所述任务状态信息确定所述区域碰撞子任务是否完成;
所述获取两组底库图像的碰撞结果包括:
在所述区域碰撞子任务完成的情况下,从所述区域碰撞模块获取所述碰撞结果;
其中,所述当前图像处理任务包括所述区域碰撞子任务和后处理子任务,所述后处理子任务的执行过程包括所述步骤S210至所述步骤S240。
6.如权利要求5所述的方法,其中,所述任务信息还包括用于指示所述区域碰撞子任务的执行进度的进度信息,在所述在存在正在运行中的当前图像处理任务的情况下,根据所述当前图像处理任务的任务标识信息查询区域碰撞模块执行所述当前图像处理任务中的区域碰撞子任务的任务信息之后,所述方法还包括:
基于所述进度信息确定所述当前图像处理任务的总进度信息;
向用户提供所述总进度信息。
7.如权利要求5所述的方法,其中,所述方法还包括:
接收用户输入的任务终止/删除指令;
在存在正在运行中的当前图像处理任务的情况下,响应于所述任务终止/删除指令的接收,终止/删除所述当前图像处理任务的执行。
8.如权利要求1所述的方法,其中,在所述在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合之后,所述方法还包括:
将所述代表图像、所述匹配图像集合与对应的关联信息关联在一起,其中,所述关联信息包括以下信息中的一项或多项:所述匹配图像集合中在预定时段内采集的图像的数目信息、所述目标对象的对象标识信息、所述匹配图像集合中的每个图像的图像采集信息,所述图像采集信息包括采集对应图像的相机的相机标识信息和/或对应图像的采集时间。
9.如权利要求8所述的方法,其中,所述对象标识信息包括所述目标对象的下列信息中的一项或多项:姓名、性别、年龄、身份号码、车牌号、车辆类型、车辆颜色。
10.如权利要求8所述的方法,其中,在所述在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合之后,所述方法还包括:
接收用户输入的与所述代表图像相关的显示指令;
响应于所述显示指令的接收,显示所述匹配图像集合以及所述关联信息。
11.如权利要求8所述的方法,其中,在所述在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合之后,所述方法还包括:
接收用户输入的排序指令;
响应于所述排序指令的接收,按照所述排序指令指示的排序方式对所述匹配图像集合中的图像进行排序,并按照排好的顺序显示所述匹配图像集合以及所述关联信息。
12.如权利要求1至11任一项所述的方法,其中,
在所述获取两组底库图像的碰撞结果之后,所述方法还包括:
将所述碰撞结果存储在数据库中;
在所述对于任一目标对象,根据所述碰撞结果将所述两组底库图像中包含所述目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合之后,所述方法还包括:
异步从所述数据库中删除所述碰撞结果。
13.一种图像处理装置,包括:
获取模块,用于获取两组底库图像的碰撞结果,其中,所述碰撞结果包括一个或多个图像对的匹配信息,所述匹配信息用于指示对应图像对中的两个图像是包含同一对象的匹配图像,所述一个或多个图像对中的每个图像对中的两个图像分别来自所述两组底库图像;
聚合模块,用于对于任一目标对象,根据所述碰撞结果将所述两组底库图像中包含所述目标对象的所有图像聚合在一起,以获得属于该目标对象的聚合图像集合;
选择模块,用于从所述聚合图像集合中选择代表图像;
检索模块,用于在所述两组底库图像中检索与所述代表图像相匹配的图像,以获得所述代表图像的匹配图像集合。
14.一种图像处理系统,包括处理器和存储器,其中,所述存储器中存储有计算机程序指令,所述计算机程序指令被所述处理器运行时用于执行如权利要求1至12任一项所述的图像处理方法。
15.一种存储介质,在所述存储介质上存储了程序指令,所述程序指令在运行时用于执行如权利要求1至12任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910490363.0A CN110263830B (zh) | 2019-06-06 | 2019-06-06 | 图像处理方法、装置和系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910490363.0A CN110263830B (zh) | 2019-06-06 | 2019-06-06 | 图像处理方法、装置和系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263830A true CN110263830A (zh) | 2019-09-20 |
CN110263830B CN110263830B (zh) | 2021-06-08 |
Family
ID=67917164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910490363.0A Active CN110263830B (zh) | 2019-06-06 | 2019-06-06 | 图像处理方法、装置和系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263830B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111729304A (zh) * | 2020-05-26 | 2020-10-02 | 广州尊游软件科技有限公司 | 一种展示海量对象的方法 |
CN112597886A (zh) * | 2020-12-22 | 2021-04-02 | 成都商汤科技有限公司 | 乘车逃票检测方法及装置、电子设备和存储介质 |
CN113377984A (zh) * | 2021-06-08 | 2021-09-10 | 中山大学 | 一种基于数据库的人脸搜索方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831615A (zh) * | 2011-06-13 | 2012-12-19 | 索尼公司 | 对象监控方法和装置,以及监控系统操作方法 |
EP2894601A1 (en) * | 2014-01-10 | 2015-07-15 | Honda Research Institute Europe GmbH | Method for analyzing related images, image processing system, vehicle comprising such system and computer program product |
CN105426257A (zh) * | 2015-12-25 | 2016-03-23 | 北京奇虎科技有限公司 | 任务的执行方法及装置 |
US20160188994A1 (en) * | 2014-12-29 | 2016-06-30 | Intel Corporation | Method and system of feature matching for multiple images |
CN105894541A (zh) * | 2016-04-18 | 2016-08-24 | 武汉烽火众智数字技术有限责任公司 | 一种基于多视频碰撞的运动目标检索方法和系统 |
CN106127235A (zh) * | 2016-06-17 | 2016-11-16 | 武汉烽火众智数字技术有限责任公司 | 一种基于目标特征碰撞的车辆查询方法和系统 |
CN106557523A (zh) * | 2015-09-30 | 2017-04-05 | 佳能株式会社 | 代表性图像选择方法和设备以及对象图像检索方法和设备 |
CN107844734A (zh) * | 2016-09-19 | 2018-03-27 | 杭州海康威视数字技术股份有限公司 | 监控目标确定方法及装置、视频监控方法及装置 |
CN108229314A (zh) * | 2017-11-28 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标人物的搜索方法、装置和电子设备 |
CN108228871A (zh) * | 2017-07-21 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像动态入库方法和装置、电子设备、介质、程序 |
CN108573268A (zh) * | 2017-03-10 | 2018-09-25 | 北京旷视科技有限公司 | 图像识别方法和装置、图像处理方法和装置及存储介质 |
CN108664478A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 目标物检索方法及装置 |
CN109325548A (zh) * | 2018-10-23 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109766470A (zh) * | 2019-01-15 | 2019-05-17 | 北京旷视科技有限公司 | 图像检索方法、装置及处理设备 |
-
2019
- 2019-06-06 CN CN201910490363.0A patent/CN110263830B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831615A (zh) * | 2011-06-13 | 2012-12-19 | 索尼公司 | 对象监控方法和装置,以及监控系统操作方法 |
EP2894601A1 (en) * | 2014-01-10 | 2015-07-15 | Honda Research Institute Europe GmbH | Method for analyzing related images, image processing system, vehicle comprising such system and computer program product |
US20160188994A1 (en) * | 2014-12-29 | 2016-06-30 | Intel Corporation | Method and system of feature matching for multiple images |
CN106557523A (zh) * | 2015-09-30 | 2017-04-05 | 佳能株式会社 | 代表性图像选择方法和设备以及对象图像检索方法和设备 |
CN105426257A (zh) * | 2015-12-25 | 2016-03-23 | 北京奇虎科技有限公司 | 任务的执行方法及装置 |
CN105894541A (zh) * | 2016-04-18 | 2016-08-24 | 武汉烽火众智数字技术有限责任公司 | 一种基于多视频碰撞的运动目标检索方法和系统 |
CN106127235A (zh) * | 2016-06-17 | 2016-11-16 | 武汉烽火众智数字技术有限责任公司 | 一种基于目标特征碰撞的车辆查询方法和系统 |
CN107844734A (zh) * | 2016-09-19 | 2018-03-27 | 杭州海康威视数字技术股份有限公司 | 监控目标确定方法及装置、视频监控方法及装置 |
CN108573268A (zh) * | 2017-03-10 | 2018-09-25 | 北京旷视科技有限公司 | 图像识别方法和装置、图像处理方法和装置及存储介质 |
CN108664478A (zh) * | 2017-03-27 | 2018-10-16 | 华为技术有限公司 | 目标物检索方法及装置 |
CN108228871A (zh) * | 2017-07-21 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像动态入库方法和装置、电子设备、介质、程序 |
CN108229314A (zh) * | 2017-11-28 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标人物的搜索方法、装置和电子设备 |
CN109325548A (zh) * | 2018-10-23 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN109766470A (zh) * | 2019-01-15 | 2019-05-17 | 北京旷视科技有限公司 | 图像检索方法、装置及处理设备 |
Non-Patent Citations (2)
Title |
---|
杨杰: "面向图像检索的海量图像自动聚类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
阚世超: "基于显著性区域的分步聚类目标搜索", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111729304A (zh) * | 2020-05-26 | 2020-10-02 | 广州尊游软件科技有限公司 | 一种展示海量对象的方法 |
CN111729304B (zh) * | 2020-05-26 | 2024-04-05 | 广州尊游软件科技有限公司 | 一种展示海量对象的方法 |
CN112597886A (zh) * | 2020-12-22 | 2021-04-02 | 成都商汤科技有限公司 | 乘车逃票检测方法及装置、电子设备和存储介质 |
CN113377984A (zh) * | 2021-06-08 | 2021-09-10 | 中山大学 | 一种基于数据库的人脸搜索方法 |
CN113377984B (zh) * | 2021-06-08 | 2023-09-15 | 中山大学 | 一种基于数据库的人脸搜索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110263830B (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829381A (zh) | 一种犬只识别管理方法、装置、系统及存储介质 | |
US8218828B2 (en) | Systems and methods for biometric information automation | |
JP5605854B2 (ja) | 生体情報を用いた認証システム及び認証装置 | |
US20130216094A1 (en) | Systems, methods and computer program products for identifying objects in video data | |
CN110263830A (zh) | 图像处理方法、装置和系统及存储介质 | |
CN109117714A (zh) | 一种同行人员识别方法、装置、系统及计算机存储介质 | |
CN109635098B (zh) | 一种智能问答方法、装置、设备及介质 | |
CN109726783A (zh) | 一种基于ocr图像识别技术的发票采集管理系统及方法 | |
CN108875522A (zh) | 人脸聚类方法、装置和系统及存储介质 | |
CN110192393A (zh) | 大规模的实时视频分析 | |
CN104574599A (zh) | 身份验证方法、装置和智能门锁 | |
CN106127130A (zh) | 被管理的基于生物特征识别的通知系统和方法 | |
CN101088097A (zh) | 多模生物测量平台 | |
CN108875476B (zh) | 自动近红外人脸注册与识别方法、装置和系统及存储介质 | |
CN105659243B (zh) | 被告知的隐式登记和标识 | |
CN110334231A (zh) | 一种信息处理方法及装置、存储介质 | |
CN109727411B (zh) | 基于人脸识别、扫码认证、人体感应的借书系统 | |
CN109101547B (zh) | 用于野生动物的管理方法及装置 | |
CN108881813A (zh) | 一种视频数据处理方法及装置、监控系统 | |
CN109886739A (zh) | 基于珠宝门店导购管理方法、系统及其存储介质 | |
US20230177509A1 (en) | Recognition method and device, security system, and storage medium | |
CN105893813A (zh) | 生物信息登记装置和生物信息登记方法 | |
CN109598251A (zh) | 人证核验方法、装置、设备和系统及存储介质 | |
CN109213397B (zh) | 数据处理方法、装置和用户端 | |
CN110532470A (zh) | 图书推送方法、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |