CN111444373B - 图像检索方法及其装置、介质和系统 - Google Patents
图像检索方法及其装置、介质和系统 Download PDFInfo
- Publication number
- CN111444373B CN111444373B CN202010234745.XA CN202010234745A CN111444373B CN 111444373 B CN111444373 B CN 111444373B CN 202010234745 A CN202010234745 A CN 202010234745A CN 111444373 B CN111444373 B CN 111444373B
- Authority
- CN
- China
- Prior art keywords
- image
- feature vector
- quadrant
- data
- retrieved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 270
- 239000012634 fragment Substances 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机视觉技术领域,公开了一种图像检索方法及其装置、介质和系统。本申请的图像检索方法包括:获取目标数据集,其中,目标数据集中存储与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及特征向量所处的象限;将待检索图像的结构化信息与目标数据集中的多个结构化信息进行比对,得到第一数据子集;将第一数据子集基于特征向量所处的象限进行分片,得到多个分片数据子集,并确定与待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;在第二数据子集中查询出与待检索图像的特征向量相似的特征向量,并确定目标图像。
Description
技术领域
本申请涉及计算机视觉技术领域,特别涉及一种图像检索方法及其装置、介质和系统。
背景技术
随着互联网和多媒体技术的发展,多媒体信息特别是图像信息正以爆炸性的速度在产生和传播。图像检索技术能够使用户在各种图像信息中快速准确地查找、访问所需图像,在网络多媒体领域具有广泛的应用前景。
许多场景(例如视频监控、网络舆情监测等)涉及到对视频或图像信息进行分析处理,例如基于图像内容进行检索。但是对于大量的视频图像数据,单凭人力想要从这些视频图像数据中找到目标,不仅效率低下,而且需要投入大量的人力物力,费用高昂。
发明内容
本申请实施例提供了一种图像检索方法及其装置、介质和系统。
第一方面,本申请实施例提供了一种图像检索方法,包括:获取目标数据集,其中,所述目标数据集中存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及所述特征向量所处的象限;将所述待检索图像的结构化信息与所述目标数据集中的多个结构化信息进行比对,得到所述目标数据集中结构化信息与所述待检索图像的结构化信息相匹配的第一数据子集;将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出所述多个分片数据子集中每个特征向量所处的象限与所述待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
在上述第一方面的一种可能的实现中,上述方法还包括:所述待检索图像的结构化信息包括性别信息。
在上述第一方面的一种可能的实现中,上述方法还包括:所述第二数据子集中与所述待检索图像的特征向量相似的特征向量是通过以下方式确定的:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度,当所述第二数据子集中的至少一个特征向量和所述待检索图像的特征向量的相似度大于设定阈值时,确定该特征向量与所述待检索图像的特征向量相似。
在上述第一方面的一种可能的实现中,上述方法还包括:所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度是通过以下方式确定的:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离;
基于所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离,确定所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度。
在上述第一方面的一种可能的实现中,上述方法还包括:在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像,包括:
采用异步查询的方式,在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
在上述第一方面的一种可能的实现中,上述方法还包括:所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限对应的坐标系,包括笛卡尔直角坐标系、平面极坐标系、柱面坐标系中的至少一种。
在上述第一方面的一种可能的实现中,上述方法还包括:所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限,包括二维象限、三维象限和高维象限中的至少一种。
第二方面,本申请实施例提供了一种图像检索装置,包括:
获取模块,用于获取目标数据集,其中,所述目标数据集中存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;
特征提取模块,用于获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及所述特征向量所处的象限;
结构化信息比对模块,用于将所述待检索图像的结构化信息与所述目标数据集中的多个结构化信息进行比对,得到所述目标数据集中结构化信息与所述待检索图像的结构化信息相匹配的第一数据子集;
分片模块,将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出所述多个分片数据子集中每个特征向量所处的象限与所述待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;
查询模块,用于在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
第三方面,本申请实施例提供了一种机器可读介质,所述机器可读介质上存储有指令,该指令在机器上执行时使机器执行第一方面以及第一方面可能的各实现中的图像检索方法。
第四方面,本申请实施例提供了一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行第一方面以及第一方面可能的各实现中的图像检索方法。
附图说明
图1根据本申请的一些实施例,示出了一种图像检索场景;
图2根据本申请的一些实施例,示出了一种图像检索方法的流程图;
图3根据本申请的一些实施例,示出了一种人像检索方法的操作示意图;
图4根据本申请的一些实施例,示出了一种图像检索装置的结构框图;
图5根据本申请的一些实施例,示出了一种系统的框图;
图6根据本申请一些实施例,示出了一种片上系统(SoC)的框图。
具体实施例
本申请的说明性实施例包括但不限于图像检索方法及其装置、介质和系统。
下面将结合附图对本申请的实施例作进一步地详细描述。
根据本申请的一些实施例公开了一种图像检索场景。图1示出了该场景的示意图。在图1所示的场景中,包括终端10和图像采集设备11(如摄像头),终端10与图像采集设备11连接。
其中,图像采集设备11采集图像,并向终端10发送采集到的图像;例如,摄像头可以实时向终端10发送采集到的图像(如人脸图像等)。
终端10可以从接收到的大量的原始图像中提取结构化信息及特征,以得到原始的结构化信息和特征向量,并基于原始图像的图像标识信息、结构化信息和特征向量建立特征数据库。当需要在原始的图像中检索待检索的图像时,可以向终端10输入待检索图像,并且提取出待检索图像的结构化信息和特征向量。通过待检索图像的结构化信息在特征数据库中进行查询,以得到特征数据库中结构化信息和待检索图像的结构化信息相匹配的数据集。再基于该数据集中的特征向量所处的象限对该数据集进行数据分片,以得到多个不同的数据子集,筛选出多个数据子集中特征向量所处的象限与待检索图像的特征向量所处的象限相匹配的至少一个数据子集,从而基于待检索图像的特征向量对筛选出的至少一个数据子集中的每一个特征向量求相似度,当数据子集中的其中一个特征向量和待检索图像的特征向量的相似度大于设定阈值时,则确定该数据子集中的其中一个特征向量所对应的原始图像为检索出来的目标图像。可以理解,当对多个数据子集基于特征向量所处的象限进行筛选时,若筛选出至少一个数据子集中特征向量所处的象限与待检索图像的特征向量所处的象限相匹配,表示该数据子集中特征向量所处的象限与待检索图像的特征向量所处的象限完全相同,或者该数据子集中特征向量所处的象限与待检索图像的特征向量所处的象限相近。
可以理解,图1所示的终端10包括但不限于,小型计算终端设备(如图像处理盒子等)、服务器、手机、平板电脑、膝上型计算机、台式计算机、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
可以理解,图1所示的图像检索场景只是实现本申请实施例的一个场景示例,本申请实施例并不限于图1所示的场景。在另一些实施例中,图1所示的场景可以包括比图示实施例更多或更少的设备或部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。
图2根据本申请的一些实施例,示出了一种图像检索方法的流程图。下面结合图1至2,对本申请提供的图像检索检索方法进行详细介绍。如图2所示,具体地,包括:
1)获取目标数据集,其中,目标数据集中存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量(202)。其中,多个原始图像可以是从图像采集设备获取到的,比如,通过摄像头在一段时间内采集到的大量的图像。待检索图像可以是已有的一张图片、一张照片,还可以是通过图像采集设备实时采集到的一张图像。当进行人像检索时,待检索图像可以是人脸图像。图像标识信息是人为设定的用以区别不同图像的标识信息,例如目标数据集中的原始的图像共有10张,可以设定第一张图像的标识信息为id1、第二张图像的标识信息为id2、第三张图像的标识信息为id3、第四张图像的标识信息为id4,依次类推,第十张图像的标识信息为id10。
在一些实施例中,结构化信息包括行人的各种特征属性信息,例如人体特征、衣着特征、装饰物特征及携带物特征。人体特征包括头发、面部、四肢、性别等特征。衣着特征包括:上衣、裤子、连衣裙、鞋子等的特征。装饰物特征包括:帽子、太阳镜、眼镜、围巾、皮带腰带等的特征。携带物特征包括:单肩挎包、双肩背包、手提包、拉杆箱、雨伞等的特征。
在一些实施例中,结构化信息包括车辆的特征。例如,机动车的车牌号、车身颜色、车辆品牌、车辆类型、子品牌、车辆年款及各种车辆特征物信息(例如年检标、遮阳板、挂件、摆件、纸巾盒、安全带等。);非机动车的类型、车身颜色等等。
在一些实施例中,可以通过三维卷积神经网络模型对大量的原始图像进行结构化信息提取,得到对应每一张原始图像的结构化信息。
特征向量为一个多维的特征向量,也即特征向量包括多个维度上的特征。比如,特征向量可以为P维特征向量,P为大于1的正整数。在一些实施例中,可以通过局部二进制模式(local binary patterns,LBP)算法、方向梯度直方图(Histogram of OrientedGradient,HOG)算法、Haar-like算法等对大量原始的图像进行特征向量提取,以得到对应每一张原始图像的特征向量。
2)获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及特征向量所处的象限(204)。
在一些实施例中,可以通过三维卷积神经网络模型对待检索图像进行结构化信息提取,以获得待检索图像的结构化信息。
在一些实施例中,以通过局部二进制模式(local binary patterns,LBP)算法、方向梯度直方图(Histogram of Oriented Gradient,HOG)算法、Haar-like算法等对待检索图像进行特征向量提取,以得到待检索图像的特征向量。
可以理解,待检索图像可以为一张图像,也可以为多张图像,对应待检索图像的结构化信息、特征向量以及特征向量所处的象限可以为从一张待检索图像中提取的,也可以为从多张待检索图像中提取的。其中,待检索图像的特征向量所处的象限可以为二维象限、三维象限和高维(例如256维)象限中的至少一种。
3)将待检索图像的结构化信息与目标数据集中的多个结构化信息进行比对,得到目标数据集中结构化信息与待检索图像的结构化信息相匹配的第一数据子集(206)。
其中,目标数据集中包括大量的原始图像的标识信息、结构化信息以及特征向量。当输入待检索图像的结构化信息,与目标数据集中的多个原始图像的结构化信息进行比对时,由于结构化信息检索速度快,可以快速检索到目标数据集中与待检索图像的结构化信息相同的数据集合,即得到第一数据子集。可以理解,第一数据子集中包括与待检索图像的结构化信息相同的数据列表,该数据列表中包括至少包括一条图像标识信息、结构化信息及特征向量。如此,通过待检索图像的结构化信息得到第一数据子集,再通过第一数据子集进行图像检索,大大缩小查找范围,减少检索数据量,提高检索速度。
需要说明的是,在将待检索图像的结构化信息与目标数据集中的多个原始图像的结构化信息进行比对时,可以选取待检索图像的结构化信息中比较稳定的结构化信息进行比对,以提高检索准确率,例如在对人像进行检索时,可以选取性别信息进行检索,而戴帽子、戴眼镜这些信息随机性较大,利用此类信息进行检索,检索结果准确率较低。
4)将第一数据子集基于第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出多个分片数据子集中每个特征向量所处的象限与待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集(208)。
其中,待检索图像的特征向量所处的象限及第一数据子集中的每个特征向量所处的象限对应的坐标系,包括笛卡尔直角坐标系、平面极坐标系、柱面坐标系中的至少一种。
在一些实施例中,待检索图像的特征向量所处的象限及第一数据子集中的每个特征向量所处的象限为二维象限。在一些实施例中,待检索图像的特征向量所处的象限及第一数据子集中的每个特征向量所处的象限为三维象限。在另外一些实施例中,待检索图像的特征向量所处的象限及第一数据子集中的每个特征向量所处的象限为高维象限(例如256维象限)。
例如,待检索图像的特征向量所处的象限及第一数据子集中的每个特征向量所处的象限对应的坐标系为笛卡尔直角坐标系(以下简称直接坐标系),若待检索图像的特征向量所处的象限为第一象限,第一数据子集中的多个特征向量中有100个特征向量处于第一象限、100个特征向量处于第二象限,200个特征向量处于第三象限,50个特征向量处于第四象限。可以将第一数据子集中的多个特征向量按照第一象限至第四象限进行分片。其中,处于第一象限的100个特征向量对应的第一分片数据子集(包括该100个特征向量、及与该100个特征向量对应的图像标识信息、结构化信息);处于第二象限的100个特征向量对应的第二分片数据子集(包括该100个特征向量、及与该100个特征向量对应的图像标识信息、结构化信息);处于第三象限的200个特征向量对应的第三分片数据子集(包括该200个特征向量、及与该200个特征向量对应的图像标识信息、结构化信息);以及处于第四象限的50个特征向量对应的第四分片数据子集(包括该50个特征向量、及与该50个特征向量对应的图像标识信息、结构化信息)。由于,待检索图像的特征向量所处的象限为第一象限,因此可以确定第一数据子集中处于第一象限的100个特征向量对应的第一分片数据子集为第二数据子集。如此,通过将第一数据子集按照象限进行分片后,筛选出第二数据子集,再基于第二数据子集进行图像检索,如此,可以大大缩小检索范围,提升检索速度,提高用户体验。
5)在第二数据子集中查询出与待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像(210)。在一些实施例中,可以计算第二数据子集中的每个特征向量和待检索图像的特征向量的相似度,当第二数据子集中的至少一个特征向量和待检索图像的特征向量的相似度大于设定阈值时,确定该特征向量与待检索图像的特征向量相似。在一些实施例中,第二数据子集中有一个特征向量和待检索图像的特征向量的相似度大于设定阈值,确定该特征向量与待检索图像的特征向量相似。在一些实施例中,第二数据子集中有多个特征向量和待检索图像的特征向量的相似度大于设定阈值,则可以确定第二数据子集中与待检索图像的特征向量的相似度最大的特征向量为与待检索图像的特征向量相似的特征向量。
在一些实施例中,可以通过计算第二数据子集中的每个特征向量和待检索图像的特征向量的距离,基于第二数据子集中的每个特征向量和待检索图像的特征向量的距离,确定第二数据子集中的每个特征向量和待检索图像的特征向量的相似度。
在一些实施例中,在第二数据子集中进行特征向量查询时,可以采用异步查询的方式,在第二数据子集中查询出与待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。例如,第二数据子集中有一万个原始的特征向量,可以每查询完一千个特征向量后立马返回一个查询结果,同时继续查询剩余的原始的特征向量,如此,可以减少返回延迟,提高查询速度。
图3根据本申请的一些实施例,示出了一种人像检索方法的操作示意图。下面以人像检索为例,对本申请提供的图像检索方法进行介绍。
具体地,如图3所示,首先提取出人像图片库中所有人像的特征向量及结构化信息。其中,人像图片库可以为通过图像采集设备例如监控摄像头采集到的大量的图片。结构化信息包含人像图片库中所有人物的年龄,性别等信息。可以通过三维卷积神经网络模型进行结构化信息提取。通过局部二进制模式(local binary patterns,LBP)算法、方向梯度直方图(Histogram of Oriented Gradient,HOG)算法、Haar-like算法等对待检索图像进行特征向量提取。将人像图片库中每个人像对应的人像ID、结构化信息及特征向量进行关联,并基于人像图片库中每个人像对应的人像ID、结构化信息及特征向量建立人像结构特征库。可以理解,人像结构特征库存储有人像图片库中每个人像对应的人像ID息、结构化信息及特征向量列表,包括人像ID息、结构化信息及特征向量三个字段,例如图3所示的id-1至id-n共n行信息。
对待检索的人像进行结构化信息及特征提取,得到待检索人像的结构化信息及特征向量。从人像结构及特征库中查询出结构化信息与之相同的(人像ID,特征向量)表。如此,通过结构化信息预先过滤掉了大部分数据。
将过滤后的(人像ID,特征向量)表按照特征向量所处的象限进行分片,得到多个(人像ID,特征向量,象限ID)表。根据待检索人像的象限ID从(人像ID,特征向量,象限ID)表中获取象限ID与之相同的最终(人像ID,特征向量)表。如此通过象限预过滤提取出最终需要检索的特征向量表,大大缩小了数据检索范围,提高检索速度。再将待检索人像的特征向量与最终(人像ID,特征向量)表中的每一条特征向量进行相似度计算,当(人像ID,特征向量)表中某一个特征向量和待检索人像的特征向量相似的相似度大于设定阈值时,确定该特征向量为与待检索人像的特征向量相似的特征向量,根据该特征向量与人像ID的关联,即可确定要查找的人像ID,进而最终在人像图片库中检索到想要查找的人像。
图4根据本申请的一些实施例,示出了一种图像检索装置400的结构框图。如图4所示,具体地,包括:
获取模块402,用于获取目标数据集,其中,目标数据集中存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;
特征提取模块404,用于获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及特征向量所处的象限;
结构化信息比对模块406,用于将待检索图像的结构化信息与目标数据集中的多个结构化信息进行比对,得到目标数据集中结构化信息与待检索图像的结构化信息相匹配的第一数据子集;
分片模块408,将第一数据子集基于第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出多个分片数据子集中每个特征向量所处的象限与待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;
查询模块410,用于在第二数据子集中查询出与待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
可以理解,图4所示的图像检索装置400与本申请提供的图像检索方法相对应,以上关于本申请提供的图像检索方法的具体描述中的技术细节依然适用于图4所示的图像检索装置400,具体描述请参见上文,在此不再赘述。
图5所示为根据本申请的一些实施例的系统500的框图。图5示意性地示出了根据多个实施例的示例系统500。在一些实施例中,系统500可以包括一个或多个处理器504,与处理器504中的至少一个连接的系统控制逻辑508,与系统控制逻辑508连接的系统内存512,与系统控制逻辑508连接的非易失性存储器(NVM)516,以及与系统控制逻辑508连接的网络接口520。
在一些实施例中,处理器504可以包括一个或多个单核或多核处理器。在一些实施例中,处理器504可以包括通用处理器和专用处理器(例如,图形处理器,应用处理器,基带处理器等)的任意组合。
在一些实施例中,系统控制逻辑508可以包括任意合适的接口控制器,以向处理器504中的至少一个和/或与系统控制逻辑508通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中,系统控制逻辑508可以包括一个或多个存储器控制器,以提供连接到系统内存512的接口。系统内存512可以用于加载以及存储数据和/或指令。在一些实施例中系统500的内存512可以包括任意合适的易失性存储器,例如合适的动态随机存取存储器(DRAM)。
NVM/存储器516可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中,NVM/存储器516可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备,例如HDD(Hard Disk Drive,硬盘驱动器),CD(Compact Disc,光盘)驱动器,DVD(Digital Versatile Disc,数字通用光盘)驱动器中的至少一个。
NVM/存储器516可以包括安装系统500的装置上的一部分存储资源,或者它可以由设备访问,但不一定是设备的一部分。例如,可以经由网络接口520通过网络访问NVM/存储516。
特别地,系统内存512和NVM/存储器516可以分别包括:指令524的暂时副本和永久副本。指令524可以包括:由处理器504中的至少一个执行时导致系统500实施如图3-5所示的方法的指令。在一些实施例中,指令524、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑508,网络接口520和/或处理器504中。
网络接口520可以包括收发器,用于为系统500提供无线电接口,进而通过一个或多个网络与任意其他合适的设备(如前端模块,天线等)进行通信。在一些实施例中,网络接口520可以集成于系统500的其他组件。例如,网络接口520可以集成于处理器504,系统内存512,NVM/存储器516,和具有指令的固件设备(未示出)中的至少一种,当处理器504中的至少一个执行所述指令时,系统500实现如图2所示的图像检索方法。
网络接口520可以进一步包括任意合适的硬件和/或固件,以提供多输入多输出无线电接口。例如,网络接口520可以是网络适配器,无线网络适配器,电话调制解调器和/或无线调制解调器。
在一个实施例中,处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑封装在一起,以形成系统封装(SiP)。在一个实施例中,处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑集成在同一管芯上,以形成片上系统(SoC)。
系统500可以进一步包括:输入/输出(I/O)设备532。I/O设备532可以包括用户界面,使得用户能够与系统500进行交互;外围组件接口的设计使得外围组件也能够与系统500交互。在一些实施例中,系统500还包括传感器,用于确定与系统500相关的环境条件和位置信息的至少一种。
根据本申请的实施例,图6示出了一种SoC(System on Chip,片上系统)600的框图。在图6中,相似的部件具有同样的附图标记。另外,虚线框是更先进的SoC的可选特征。在图6中,SoC 600包括:互连单元650,其被耦合至应用处理器610;系统代理单元670;总线控制器单元680;集成存储器控制器单元640;一组或一个或多个协处理器620,其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器;静态随机存取存储器(SRAM)单元630;直接存储器存取(DMA)单元660。在一个实施例中,协处理器620包括专用处理器,诸如例如网络或通信处理器、压缩引擎、GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息,例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (16)
1.一种图像检索方法,其特征在于,所述方法包括:
获取目标数据集,其中,所述目标数据集中存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;
获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及所述特征向量所处的象限;
将所述待检索图像的结构化信息与所述目标数据集中的多个结构化信息进行比对,得到所述目标数据集中结构化信息与所述待检索图像的结构化信息相匹配的第一数据子集;
将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出所述多个分片数据子集中每个特征向量所处的象限与所述待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;
在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像;
将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,包括:
若所述第一数据子集中的多个特征向量中有N个特征向量处于第一象限,M个特征向量处于第二象限,P个特征向量处于第三象限,Q个特征向量处于第四象限,将所述第一数据子集中的多个特征向量按照第一象限至第四象限进行分片,得到多个分片数据子集,即:
处于第一象限的N个特征向量对应的第一分片数据子集;
处于第二象限的M个特征向量对应的第二分片数据子集;
处于第三象限的P个特征向量对应的第三分片数据子集;以及
处于第四象限的Q个特征向量对应的第四分片数据子集;
上述N、M、P、Q为自然数。
2.根据权利要求1所述的图像检索方法,其特征在于,所述待检索图像的结构化信息包括性别信息。
3.根据权利要求1所述的图像检索方法,其特征在于,所述第二数据子集中与所述待检索图像的特征向量相似的特征向量是通过以下方式确定的:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度,当所述第二数据子集中的至少一个特征向量和所述待检索图像的特征向量的相似度大于设定阈值时,确定该特征向量与所述待检索图像的特征向量相似。
4.根据权利要求3所述的图像检索方法,其特征在于,所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度是通过以下方式确定的:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离;
基于所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离,确定所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度。
5.根据权利要求1所述的图像检索方法,其特征在于,在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像,包括:
采用异步查询的方式,在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
6.根据权利要求1所述的图像检索方法,其特征在于,所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限对应的坐标系,包括笛卡尔直角坐标系、平面极坐标系、柱面坐标系中的至少一种。
7.根据权利要求6所述的图像检索方法,其特征在于,所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限,包括二维象限、三维象限和高维象限中的至少一种。
8.一种图像检索装置,其特征在于,所述装置包括:
获取模块,用于获取目标数据集,其中,所述目标数据集存储有与多个原始图像一一对应的多个图像标识信息、结构化信息以及特征向量;
特征提取模块,用于获取待检索图像,并且提取待检索图像的结构化信息、特征向量以及所述特征向量所处的象限;
结构化信息比对模块,用于将所述待检索图像的结构化信息与所述目标数据集中的多个结构化信息进行比对,得到所述目标数据集中结构化信息与所述待检索图像的结构化信息相匹配的第一数据子集;
分片模块,将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,并确定出所述多个分片数据子集中每个特征向量所处的象限与所述待检索图像的特征向量所处的象限相匹配的分片数据子集为第二数据子集;
查询模块,用于在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像;
所述分片模块,将所述第一数据子集基于所述第一数据子集中的每个特征向量所处的象限进行分片,得到多个分片数据子集,包括:
若待检索图像的特征向量所处的象限为第一象限,所述第一数据子集中的多个特征向量中有N个特征向量处于第一象限、M个特征向量处于第二象限,P个特征向量处于第三象限,Q个特征向量处于第四象限,将所述第一数据子集中的多个特征向量按照第一象限至第四象限进行分片,得到多个分片数据子集,其中包括:
处于第一象限的N个特征向量对应的第一分片数据子集;
处于第二象限的M个特征向量对应的第二分片数据子集;
处于第三象限的P个特征向量对应的第三分片数据子集;以及
处于第四象限的Q个特征向量对应的第四分片数据子集;
上述N、M、P、Q为自然数。
9.根据权利要求8所述的图像检索装置,其特征在于,所述待检索图像的结构化信息包括性别信息。
10.根据权利要求8所述的图像检索装置,其特征在于,所述查询模块通过以下方式确定第二数据子集中与所述待检索图像的特征向量相似的特征向量:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度,当所述第二数据子集中的至少一个特征向量和所述待检索图像的特征向量的相似度大于设定阈值时,确定该特征向量与所述待检索图像的特征向量相似。
11.根据权利要求10所述的图像检索装置,其特征在于,所述查询模块通过以下方式确定第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度:
计算所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离;
基于所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的距离,确定所述第二数据子集中的每个特征向量和所述待检索图像的特征向量的相似度。
12.根据权利要求8所述的图像检索装置,其特征在于,所述查询模块通过以下方式在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像:
采用异步查询的方式,在所述第二数据子集中查询出与所述待检索图像的特征向量相似的特征向量,并确定该特征向量对应的原始图像为目标图像。
13.根据权利要求8所述的图像检索装置,其特征在于,所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限对应的坐标系,包括笛卡尔直角坐标系、平面极坐标系、柱面坐标系中的至少一种。
14.根据权利要求13所述的图像检索装置,其特征在于,所述待检索图像的特征向量所处的象限及所述第一数据子集中的每个特征向量所处的象限,包括二维象限、三维象限和高维象限中的至少一种。
15.一种机器可读介质,其特征在于,所述机器可读介质上存储有指令,该指令在机器上执行时使机器执行权利要求1至7中任一项所述的图像检索方法。
16.一种系统,包括:
存储器,用于存储由系统的一个或多个处理器执行的指令,以及
处理器,是系统的处理器之一,用于执行权利要求1至7中任一项所述的图像检索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010234745.XA CN111444373B (zh) | 2020-03-30 | 2020-03-30 | 图像检索方法及其装置、介质和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010234745.XA CN111444373B (zh) | 2020-03-30 | 2020-03-30 | 图像检索方法及其装置、介质和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444373A CN111444373A (zh) | 2020-07-24 |
CN111444373B true CN111444373B (zh) | 2023-10-27 |
Family
ID=71654012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010234745.XA Active CN111444373B (zh) | 2020-03-30 | 2020-03-30 | 图像检索方法及其装置、介质和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444373B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111930983B (zh) * | 2020-08-18 | 2023-09-22 | 创新奇智(成都)科技有限公司 | 一种图像检索方法、装置、电子设备及存储介质 |
CN112367742A (zh) * | 2020-11-02 | 2021-02-12 | 南京信息工程大学 | 一种控制篮球场中照明设备的方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927364A (zh) * | 2014-04-18 | 2014-07-16 | 苏州科达科技股份有限公司 | 一种视频摘要数据的存储方法、系统及展示系统 |
CN110209866A (zh) * | 2019-05-30 | 2019-09-06 | 苏州浪潮智能科技有限公司 | 一种图像检索方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-03-30 CN CN202010234745.XA patent/CN111444373B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927364A (zh) * | 2014-04-18 | 2014-07-16 | 苏州科达科技股份有限公司 | 一种视频摘要数据的存储方法、系统及展示系统 |
CN110209866A (zh) * | 2019-05-30 | 2019-09-06 | 苏州浪潮智能科技有限公司 | 一种图像检索方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
韦必忠 ; 魏红 ; 英红 ; .海量多媒体图像信息高效检索算法优化及仿真.计算机仿真.2016,(11),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111444373A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
US9129148B1 (en) | System, method and apparatus for scene recognition | |
US8577131B1 (en) | Systems and methods for visual object matching | |
US9798949B1 (en) | Region selection for image match | |
CN109284675B (zh) | 一种用户的识别方法、装置及设备 | |
CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
US7865492B2 (en) | Semantic visual search engine | |
CN111581410B (zh) | 图像检索方法及其装置、介质和系统 | |
AU2018202767B2 (en) | Data structure and algorithm for tag less search and svg retrieval | |
Zhang et al. | Fast face detection on mobile devices by leveraging global and local facial characteristics | |
CN112036284B (zh) | 图像处理方法、装置、设备及存储介质 | |
Sahay et al. | Leaf analysis for plant recognition | |
CN111444373B (zh) | 图像检索方法及其装置、介质和系统 | |
CN108664526A (zh) | 检索的方法和设备 | |
CN107315984B (zh) | 一种行人检索的方法及装置 | |
De Marsico et al. | FACE: Face analysis for commercial entities | |
Hu et al. | A person re-identification algorithm based on pyramid color topology feature | |
CN110909817B (zh) | 分布式聚类方法及系统、处理器、电子设备及存储介质 | |
Gao et al. | Efficient view-based 3-D object retrieval via hypergraph learning | |
CN116071569A (zh) | 图像选择方法、计算机设备及存储装置 | |
Gao et al. | Data-driven lightweight interest point selection for large-scale visual search | |
Peng et al. | Multi-task person re-identification via attribute and part-based learning | |
CN114003753A (zh) | 一种图片检索方法及装置 | |
CN113760415A (zh) | 表盘生成方法、装置、电子设备和计算机可读存储介质 | |
CN111061903A (zh) | 图像特征搜索方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |