CN111738181A - 对象关联方法及装置、对象检索方法及装置 - Google Patents
对象关联方法及装置、对象检索方法及装置 Download PDFInfo
- Publication number
- CN111738181A CN111738181A CN202010599967.1A CN202010599967A CN111738181A CN 111738181 A CN111738181 A CN 111738181A CN 202010599967 A CN202010599967 A CN 202010599967A CN 111738181 A CN111738181 A CN 111738181A
- Authority
- CN
- China
- Prior art keywords
- target object
- type
- type target
- extracting
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004590 computer program Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明提供了一种对象关联方法及装置、对象检索方法及装置、存储介质及电子装置,其中,该方法包括:确定第一类型对象特征;检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;输出所述第一类型目标对象以及所述第二类型目标对象。通过本发明,解决了相关技术中存在的对象检索效果差的问题,提高了对象检索的可信度和信息量。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种对象关联方法及装置、对象检索方法及装置、存储介质及电子装置。
背景技术
在相关技术中,人脸人体关联分析是将视频中的目标进行目标检测,通过置信度过滤或优选操作之后,提取同一帧的人脸特征和人体特征用于进行特征检索。但是,在某一个时刻下人体目标效果最优时,对于人脸目标不一定是最优的,反之亦然。因此,提取的特征值会影响对象检索的效果。
由此可知,相关技术中存在对象检索效果差的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象关联方法及装置、对象检索方法及装置、存储介质及电子装置,以至少解决相关技术中存在的对象检索效果差的问题。
根据本发明的一个实施例,提供了一种对象关联方法,包括:确定出包括有目标对象的多帧图像;从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;关联所述第一类型目标对象以及所述第二类型目标对象。
根据本发明的一个实施例,还提供了一种对象检索方法,包括:确定第一类型对象特征;检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;输出所述第一类型目标对象以及所述第二类型目标对象。
根据本发明的另一个实施例,提供了一种对象关联装置,包括:第一确定模块,用于确定出包括有目标对象的多帧图像;提取模块,用于从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;关联模块,用于关联所述第一类型目标对象以及所述第二类型目标对象。
根据本发明的另一个实施例,还提供了一种对象检索装置,包括:第一确定模块,用于确定第一类型对象特征;检索模块,用于检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;输出模块,用于输出所述第一类型目标对象以及所述第二类型目标对象。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,确定出包括目标对象的多帧图像,在多帧图像中提取出满足第一条件的第一类型目标对象和满足第二条件的第二类型目标对象,再将第一类型目标对象与第二类型目标对象相关联,由于第一类型目标对象和第二类型目标对象是独立提取出的,因此,可以解决相关技术中存在的对象检索效果差的问题,提高了对象检索的可信度和信息量。
通过本发明,将第一类型对象与第二类型对象相关联,在通过第一类型对象特征检索时,可以检索出与第一类型对象特征相对应的第一类型目标对象和与第一类型目标对象相关联的第一类型目标对象,再将第一类型目标对象及第二类型目标对象输出,提高了对象检索的可信度和信息量,因此,可以解决相关技术中存在的对象检索效果差的问题,提高了对象检索的可信度和信息量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种对象关联方法及对象检索方法的移动终端的硬件结构框图;
图2是根据本发明实施例的对象关联方法的流程图;
图3是根据本发明实施例的对象检索方法的流程图;
图4是根据本发明具体实施例的对象检索原理图;
图5是根据本发明具体实施例的对象检索方法流程图;
图6是根据本发明实施例的对象关联装置的结构框图;
图7是根据本发明实施例的对象检索装置的结构框图一;
图8是根据本发明实施例的对象检索装置的结构框图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种对象关联方法及对象检索方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的对象检索方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种对象关联方法,图2是根据本发明实施例的对象关联方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,确定出包括有目标对象的多帧图像;
步骤S204,从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
步骤S206,关联所述第一类型目标对象以及所述第二类型目标对象。
在上述实施例中,目标对象可以为人、动物、物品等。多帧图像是可以是通过摄像设备拍摄的图像,也可以是输入的图像,还可以是在视频中提取出的图像。当目标对象为人时,第一类型目标对象可以是人脸图像,第二类型目标对象可以是人体图像,或者,第一类型目标对象可以是人体图像,第二类型对象可以是人脸图像。
可选地,上述步骤的执行主体可以是后台处理器,或者其他的具备类似处理能力的设备,还可以是至少集成有图像获取设备以及数据处理设备的机器,其中,图像获取设备可以包括摄像头等图形采集模块,数据处理设备可以包括计算机、手机等终端,但不限于此。
通过本发明,确定出包括目标对象的多帧图像,在多帧图像中提取出满足第一条件的第一类型目标对象和满足第二条件的第二类型目标对象,再将第一类型目标对象与第二类型目标对象相关联,由于第一类型目标对象和第二类型目标对象是独立提取出的,因此,可以解决相关技术中存在的对象检索效果差的问题,提高了对象检索的可信度和信息量。
在一个可选的实施例中,从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象包括:从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。在本实施例中,可以通过图像的清晰度来确定出需要提出的第一类型目标对象和第二类型目标对象。当目标对象为人,且第一类型目标对象为人脸,第二类型目标对象为人体时,包括有目标对象的多帧图像中,会存在人脸较为清晰,但人体模糊的图像,也会存在人脸模糊但人体清晰的图像,因此,将同一个人的人脸图像作为第一类型图像,将同一个人的人体图像作为第二类型图像,然后在第一类型图像中提取出清晰度满足第一阈值的人脸图像作为第一类型目标对象,在第二类型图像中提取出清晰度满足第二阈值的人体图像作为第二类型目标对象,即可在多帧图像中检索出最清晰的人脸、人体图像。其中,第一阈值、第二阈值可以是人为设定的值,当第一类型图像、第二类型图像中存在的清晰的图像较多时,第一阈值和第二阈值的值可以设置为较大的值,以在第一类型图像和第二图像中分别挑选出最清晰的第一类型目标图像和第二类型目标图像。
在一个可选的实施例中,关联所述第一类型目标对象以及所述第二类型目标对象包括:所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。在本实施例中,在多帧图像中提取出最清晰和第一类型目标图像和第二类型目标图像后,可以将第一类型目标对象和第二类型目标对象进行关联,即为第一类型目标对象和第二类型目标对象分配相同的唯一标识ID(identify document,简称为ID)。其中,标识ID可以是认为设置的,例如,当目标对象是人时,标识ID可以是目标对象的名字等,本发明对标识ID不做限制。
在本实施例中提供了一种对象检索方法,图3是根据本发明实施例的对象检索方法的流程图,如图3所示,该流程包括如下步骤:
步骤S302,确定第一类型对象特征;
步骤S304,检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
步骤S306,输出所述第一类型目标对象以及所述第二类型目标对象。
在上述实施例中,第一类型对象特征可以为人的特征,如五官、脸型、发型、是否戴眼镜、身高、着装等,还可以是动物的特征,如五官、种类、颜色、形体、通过几足行走等。
可选地,上述步骤的执行主体可以是后台处理器,或者其他的具备类似处理能力的设备,还可以是至少集成有图像获取设备以及数据处理设备的机器,其中,图像获取设备可以包括摄像头等图形采集模块,数据处理设备可以包括计算机、手机等终端,但不限于此。
通过本发明,将第一类型对象与第二类型对象相关联,在通过第一类型对象特征检索时,可以检索出与第一类型对象特征相对应的第一类型目标对象和与第一类型目标对象相关联的第一类型目标对象,再将第一类型目标对象及第二类型目标对象输出,提高了对象检索的可信度和信息量,因此,可以解决相关技术中存在的对象检索效果差的问题,提高了对象检索的可信度和信息量。
在一个可选的实施例中,在目标存储库中检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象之前,所述方法还包括:确定出包括有目标对象的多帧图像;从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象,并关联所述第一类型目标对象以及所述第二类型目标对象;对所述第一类型目标对象进行特征提取以得到第一类型目标对象特征,以及,对所述第二类型目标对象进行特征提取以得到第二类型目标对象特征。在本实施例中,包括有目标对象的多帧图像可以为从目标对象出现到消失这段时间内的图像,第一类型目标对象可以为多帧图像中最优的第一类型目标图像(例如,当第一类型目标对象为人脸时,最优的人脸图像可以是正对着摄像设备且五官最清晰的人脸图像;当第一类型目标对象为人体时,最优的人体图像可以是正对着摄像设备且四肢伸展清晰的人体图像,后续类似),第二类型目标对象可以为多帧图像中最优的第二类型目标图像,并将第一类型目标图像与第二类型目标图像进行关联,在确定第一类型目标图像和第二类型目标图像后,分别提取并保存最优的第一类型目标图像、第二类型目标图像的特征,在利用目标对象特征检索时,即可匹配出最优的第一类型目标图像和第二类型目标图像,提高了对象检索的可信度和信息量。其中,第一类型目标图像和第二类型目标图像可以是位于不同的帧图像中(当然,也有可能从同一帧图像中提取出了最优的第一类型目标图像和第二类型目标图像)。例如,当目标对象为人时,第一类型目标对象可以为人脸图像,第二类型目标对象可以为人体图像,从多帧图像中提取出最优人脸和最优人脸,将最优人脸与最优人体相关联,提取并保存最优人脸及最优人体的特征,在利用人脸特征或人体特征检索时,即可匹配出最优人脸和最优人体。即,在一段时间内,分别选出目标最优人脸和最优人体进行人体人脸目标关联,并提取其特征用于特征检索。在特征检索过程中,无论输入人脸特征或人体特征进行检索,都会同时输出最优人脸和最优人体,并相互关联便于进行目标追踪。
在一个可选的实施例中,从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象包括:从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。在本实施例中,可以通过图像的清晰度来确定出需要提出的第一类型目标对象和第二类型目标对象。当目标对象为人,且第一类型目标对象为人脸,第二类型目标对象为人体时,包括有目标对象的多帧图像中,会存在人脸较为清晰,但人体模糊的图像,也会存在人脸模糊但人体清晰的图像,因此,将同一个人的人脸图像作为第一类型图像,将同一个人的人体图像作为第二类型图像,然后在第一类型图像中提取出清晰度满足第一阈值的人脸图像作为第一类型目标对象,在第二类型图像中提取出清晰度满足第二阈值的人体图像作为第二类型目标对象,即可在多帧图像中检索出最清晰的人脸、人体图像。其中,第一阈值、第二阈值可以是人为设定的值,当第一类型图像、第二类型图像中存在的清晰的图像较多时,第一阈值和第二阈值的值可以设置为较大的值,以在第一类型图像和第二图像中分别挑选出最清晰的第一类型目标图像和第二类型目标图像。
在一个可选的实施例中,关联所述第一类型目标对象以及所述第二类型目标对象包括:为所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。在本实施例中,对同一目标对象的第一类型目标对象和第二类型目标图像分配相同的唯一标识ID,如此设置,利用第一类型目标对象特征进行检索或利用第二类型目标图像特征进行检索,均可以检索到第一类型目标对象和第二类型目标对象。例如,当目标对象为人时,将同一目标的人脸和人体作为两个子目标,之间用同一个唯一标识ID进行关联,但独立分开进行优选。
在一个可选的实施例中,检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象包括:将所述第一类型对象特征与所述第一类型目标对象特征进行匹配;在确定匹配相似度超过预定匹配阈值的情况下,确定与所述第一类型对象特征对应的对象为所述第一类型目标对象;基于为所述第一类型目标对象分配的唯一ID确定出与所述第一类型目标对象关联的所述第二类型目标对象。在本实施例中,还可以将第二类型对象特征与第二类型目标对象特征信息匹配,当匹配相似度超过预定匹配阈值时,确定与第二类型对象特征对象的对象为第二类型目标对象,并基于为第二类型目标对象分配的唯一ID确定出与之关联的第一类型目标对象。其中,匹配阈值可以为90%(该取值仅是一种可选的方式,匹配阈值可以根据目标对象的不同设置不同的值,例如,还可以为85%,95%等)。
在一个可选的实施例中,所述第一类型目标对象包括目标人脸,所述第二类型目标对象包括目标人体;或者,所述第一类型目标对象包括目标人体,所述第二类型目标对象包括目标人脸。在本实施例中,目标对象为人时,第一类型目标对象为目标人脸第二类型目标对象为目标人体,或者,第一类型目标对象为目标人体第二类型目标对象为目标人脸;当目标对象为动物时,第一类型目标对象可以为动物头部第二类型目标对象可以为动物身体,或者,第一类型目标对象可以为动物身体第二类型目标对象可以为动物头部。
下面结合具体实施方式以目标对象是人为例,对如何检索对象进行说明:
图4是根据本发明具体实施例的对象检索原理图,如图4中实线箭头流程所示,在从目标出现到目标消失的多帧中进行目标检测并关联,目标检测过程中进行人脸、人体关联,对同一个目标的人脸和人体用同一个标识ID进行关联,之后进入优选模块,对人体和人脸目标进行独立优选,各自选出最优的人脸目标和人体目标进行特征提取并存储。虚线箭头流程代表在进行特征检索过程。输入人脸特征或人体特征进行特征检索,均会根据同一个标识ID找出与该目标相关联的最优人脸和最优人体结果,并进行输出,从而实现高效地目标追踪。
图5是根据本发明具体实施例的对象检索方法流程图,如图4所示,该方法包括:
步骤S502,视频流接入。
步骤S504,在视频流中的多帧图像中检测人脸、人体,并将同一个人的人脸、人体进行关联。
步骤S506,优选模块对人体和人脸目标进行独立优选,确定最优人脸和最优人体。
步骤S508,对最优人脸和最优人体进行特征提取、属性分析。
步骤S510,存储特征属性。
步骤S512,特征检索,将特征输入与存储的特征属性进行匹配。
步骤S514,输出最优人脸信息和最优人体信息。
需要说明的是,步骤S502-S510是对人脸、人体进行关联的过程,步骤S512-S514是检索的过程。
在前述实施例中,实现了人脸人体关联的独立优选,可以独立选出最优人脸和最优人体,具有独立分离性;实现了人脸人体的关联特征检索,无论对人脸或者人体进行检索,都会同时输出最优人体和最优人脸,提高了目标检索的可信度和信息量。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种对象关联装置和对象检索装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的对象关联装置的结构框图,如图6所示,该装置包括:
第一确定模块62,用于确定出包括有目标对象的多帧图像;
第一提取模块64,用于从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
关联模块66,用于关联所述第一类型目标对象以及所述第二类型目标对象。
在一个可选的实施例中,所述提取模块64可以通过如下方式实现从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象:从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。
在一个可选的实施例中,所述关联模块66可以通过如下方式实现关联所述第一类型目标对象以及所述第二类型目标对象:所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。
图7是根据本发明实施例的对象检索装置的结构框图一,如图7所示,该装置包括:
第二确定模块72,用于确定第一类型对象特征;
检索模块74,用于检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
输出模块76,用于输出所述第一类型目标对象以及所述第二类型目标对象。
图8是根据本发明实施例的对象检索装置的结构框图二,如图8所示,该装置除包括图8所示的所有模块外,还包括:
第三确定模块82,用于在目标存储库中检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象之前确定出包括有目标对象的多帧图像;
关联模块84,用于从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象,并关联所述第一类型目标对象以及所述第二类型目标对象;
第二提取模块86,用于对所述第一类型目标对象进行特征提取以得到第一类型目标对象特征,以及,对所述第二类型目标对象进行特征提取以得到第二类型目标对象特征。
其中,关联模块84对应于上述优选模块。
在一个可选的实施例中,所述关联模块84可以通过如下方式实现从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象:从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。
在一个可选的实施例中,所述关联模块84包括:分配单元,用于为所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。
在一个可选的实施例中,所述检索模块74可以通过如下方式实现检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象:将所述第一类型对象特征与所述第一类型目标对象特征进行匹配;在确定匹配相似度超过预定匹配阈值的情况下,确定与所述第一类型对象特征对应的对象为所述第一类型目标对象;基于为所述第一类型目标对象分配的唯一ID确定出与所述第一类型目标对象关联的所述第二类型目标对象。
在一个可选的实施例中,所述第一类型目标对象包括目标人脸,所述第二类型目标对象包括目标人体;或者,所述第一类型目标对象包括目标人体,所述第二类型目标对象包括目标人脸。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1:确定出包括有目标对象的多帧图像;
S2:从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
S3:关联所述第一类型目标对象以及所述第二类型目标对象。
可选地,在本实施例中,上述计算机可读存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,确定第一类型对象特征;
S2,检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
S3,输出所述第一类型目标对象以及所述第二类型目标对象。
可选地,在本实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1:确定出包括有目标对象的多帧图像;
S2:从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
S3:关联所述第一类型目标对象以及所述第二类型目标对象。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
S1,确定第一类型对象特征;
S2,检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
S3,输出所述第一类型目标对象以及所述第二类型目标对象。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种对象关联方法,其特征在于,包括:
确定出包括有目标对象的多帧图像;
从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
关联所述第一类型目标对象以及所述第二类型目标对象。
2.根据权利要求1所述的方法,其特征在于,从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象包括:
从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;
从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。
3.根据权利要求1所述的方法,其特征在于,关联所述第一类型目标对象以及所述第二类型目标对象包括:
所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。
4.一种对象检索方法,其特征在于,包括:
确定第一类型对象特征;
检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
输出所述第一类型目标对象以及所述第二类型目标对象。
5.根据权利要求4所述的方法,其特征在于,在目标存储库中检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象之前,所述方法还包括:
确定出包括有目标对象的多帧图像;
从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象,并关联所述第一类型目标对象以及所述第二类型目标对象;
对所述第一类型目标对象进行特征提取以得到第一类型目标对象特征,以及,对所述第二类型目标对象进行特征提取以得到第二类型目标对象特征。
6.根据权利要求5所述的方法,其特征在于,从所述多帧图像中提取出所述目标对象的所述第一类型目标对象以及所述目标对象的所述第二类型目标对象包括:
从所述多帧图像中提取出清晰度满足第一阈值的所述目标对象的所述第一类型目标对象;
从所述多帧图像中提取出清晰度满足第二阈值的所述目标对象的所述第二类型目标对象。
7.根据权利要求5所述的方法,其特征在于,关联所述第一类型目标对象以及所述第二类型目标对象包括:
为所述第一类型目标对象和所述第二类型目标对象分配相同的唯一标识ID。
8.根据权利要求4所述的方法,其特征在于,检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象包括:
将所述第一类型对象特征与所述第一类型目标对象特征进行匹配;
在确定匹配相似度超过预定匹配阈值的情况下,确定与所述第一类型对象特征对应的对象为所述第一类型目标对象;
基于为所述第一类型目标对象分配的唯一ID确定出与所述第一类型目标对象关联的所述第二类型目标对象。
9.根据权利要求4至8中任一项所述的方法,其特征在于,
所述第一类型目标对象包括目标人脸,所述第二类型目标对象包括目标人体;或者,
所述第一类型目标对象包括目标人体,所述第二类型目标对象包括目标人脸。
10.一种对象关联装置,其特征在于,包括:
第一确定模块,用于确定出包括有目标对象的多帧图像;
第一提取模块,用于从所述多帧图像中提取出满足第一条件的所述目标对象的第一类型目标对象,以及从所述多帧图像中提取出满足第二条件的所述目标对象的所述第二类型目标对象;
关联模块,用于关联所述第一类型目标对象以及所述第二类型目标对象。
11.一种对象检索装置,其特征在于,包括:
第二确定模块,用于确定第一类型对象特征;
检索模块,用于检索与所述第一类型对象特征对应的第一类型目标对象以及与所述第一类型目标对象关联的第二类型目标对象;
输出模块,用于输出所述第一类型目标对象以及所述第二类型目标对象。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至3任一项中所述的方法,或者执行权利要求4至9任一项中所述的方法。
13.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至3任一项中所述的方法,或者执行权利要求4至9任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599967.1A CN111738181A (zh) | 2020-06-28 | 2020-06-28 | 对象关联方法及装置、对象检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599967.1A CN111738181A (zh) | 2020-06-28 | 2020-06-28 | 对象关联方法及装置、对象检索方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111738181A true CN111738181A (zh) | 2020-10-02 |
Family
ID=72651450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010599967.1A Pending CN111738181A (zh) | 2020-06-28 | 2020-06-28 | 对象关联方法及装置、对象检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111738181A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113196292A (zh) * | 2020-12-29 | 2021-07-30 | 商汤国际私人有限公司 | 对象检测方法和装置及电子设备 |
CN113393265A (zh) * | 2021-05-25 | 2021-09-14 | 浙江大华技术股份有限公司 | 过路对象的特征库建库方法、电子装置和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN108921008A (zh) * | 2018-05-14 | 2018-11-30 | 深圳市商汤科技有限公司 | 人像识别方法、装置及电子设备 |
CN109446364A (zh) * | 2018-10-23 | 2019-03-08 | 北京旷视科技有限公司 | 抓拍检索方法、图像处理方法、装置、设备及存储介质 |
CN110457998A (zh) * | 2019-06-27 | 2019-11-15 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
-
2020
- 2020-06-28 CN CN202010599967.1A patent/CN111738181A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN108921008A (zh) * | 2018-05-14 | 2018-11-30 | 深圳市商汤科技有限公司 | 人像识别方法、装置及电子设备 |
CN109446364A (zh) * | 2018-10-23 | 2019-03-08 | 北京旷视科技有限公司 | 抓拍检索方法、图像处理方法、装置、设备及存储介质 |
CN110457998A (zh) * | 2019-06-27 | 2019-11-15 | 北京旷视科技有限公司 | 影像数据关联方法和设备、数据处理设备及介质 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113196292A (zh) * | 2020-12-29 | 2021-07-30 | 商汤国际私人有限公司 | 对象检测方法和装置及电子设备 |
CN113393265A (zh) * | 2021-05-25 | 2021-09-14 | 浙江大华技术股份有限公司 | 过路对象的特征库建库方法、电子装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108681390B (zh) | 信息交互方法和装置、存储介质及电子装置 | |
CN109409377B (zh) | 图像中文字的检测方法及装置 | |
CN109614517A (zh) | 视频的分类方法、装置、设备及存储介质 | |
CN111738181A (zh) | 对象关联方法及装置、对象检索方法及装置 | |
CN105956051A (zh) | 信息查找的方法、装置及系统 | |
CN104951440B (zh) | 一种图像处理方法及电子设备 | |
CN111598176B (zh) | 一种图像匹配处理方法及装置 | |
CN112492383A (zh) | 视频帧的生成方法及装置、存储介质、电子设备 | |
CN109829364A (zh) | 一种表情识别方法、装置和推荐方法、装置 | |
CN111177436A (zh) | 一种人脸特征检索方法、装置及设备 | |
CN107704471A (zh) | 一种信息处理方法和装置及文件调用方法和装置 | |
CN113627334A (zh) | 对象的行为识别方法及装置 | |
CN108024148B (zh) | 基于行为特征的多媒体文件识别方法、处理方法及装置 | |
CN111444822B (zh) | 对象识别方法和装置、存储介质和电子装置 | |
CN112434049A (zh) | 表格数据存储方法、装置、存储介质及电子装置 | |
CN113657154A (zh) | 活体检测方法、装置、电子装置和存储介质 | |
CN112257628A (zh) | 一种户外比赛运动员的身份识别方法、装置及设备 | |
CN110895555B (zh) | 数据检索方法和装置、存储介质及电子装置 | |
CN110610164A (zh) | 人脸图像处理方法、系统、服务器及可读存储介质 | |
CN110490031B (zh) | 一种通用数字识别的方法、存储介质、电子设备及系统 | |
CN111866468A (zh) | 对象跟踪分配方法、装置、存储介质及电子装置 | |
CN113902030A (zh) | 行为的识别方法、装置、终端设备及存储介质 | |
CN115866348A (zh) | 基于二维码的数据处理方法、装置及系统 | |
CN113591656A (zh) | 图像处理方法、系统、装置、设备及计算机存储介质 | |
CN113111689A (zh) | 一种样本挖掘方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |