CN107145487A - 图像搜索方法和装置 - Google Patents
图像搜索方法和装置 Download PDFInfo
- Publication number
- CN107145487A CN107145487A CN201610114398.0A CN201610114398A CN107145487A CN 107145487 A CN107145487 A CN 107145487A CN 201610114398 A CN201610114398 A CN 201610114398A CN 107145487 A CN107145487 A CN 107145487A
- Authority
- CN
- China
- Prior art keywords
- image
- target area
- search
- feature
- data base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图像搜索方法和装置，所述方法包括以下步骤：获取用户在输入的图像上选择的至少一个目标区域；提取所述目标区域的图像特征；根据所述目标区域的图像特征搜索图像数据库，从所述图像数据库中获取具有与所述目标区域的图像特征相匹配的区域的图像作为搜索结果。本发明所提供的一种图像搜索方法，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
Description
技术领域
本发明涉及视频监控技术领域，尤其是涉及一种图像搜索方法和装置。
背景技术
随着社会的发展和科技的进步，图像监控(包括公路图像监控)系统的建设范围日益扩大，布控点位的密度日益增高，众多监控设备实时记录下来了海量的图片视频数据，这些海量数据既为案件的侦破提供了线索，但是也为办案人员从中获取有用信息增加了难度，如果能够在海量数据中快速准确的进行图片的搜索，无疑将大大提高办案效率。
现有技术的图片搜索方案主要包括以下步骤：首先输入一张图像，接着提取输入的整幅图像的图像特征，然后利用整幅图像的图像特征在图像数据库中进行搜索，获取与输入的图像的图像特征相匹配的图像作为搜索结果。由于需要将输入的整幅图像的图像特征与图像数据库中的每一张图像的图像特征进行一一比对，因此数据计算量很大，影响了搜索速度。同时，在实际应用中，用户希望能够对图像的局部区域进行搜索，而现有的图像搜索方案只能对整幅图像进行搜索，不能满足局部搜索的需求。
发明内容
本发明的主要目的在于提供一种图像搜索方法和装置，旨在提高图像搜索的搜索速度，并实现图像的局部搜索功能。
为达以上目的，本发明提出一种图像搜索方法，包括以下步骤：
获取用户在输入的图像上选择的至少一个目标区域；
提取所述目标区域的图像特征；
根据所述目标区域的图像特征搜索图像数据库，从所述图像数据库中获取具有与所述目标区域的图像特征相匹配的区域的图像作为搜索结果。
优选地，所述获取用户在输入的图像上选择的至少一个目标区域的步骤之前还包括：提取出图像数据库中各图像的特征并予以存储。
优选地，所述特征包括颜色特征和图像特征，所述提取出图像数据库中各图像的特征并予以存储包括：
提取出图像数据库中各图像的颜色特征并予以存储；
分块提取出图像数据库中各图像的图像特征并予以存储。
优选地，所述提取所述目标区域的图像特征的步骤的同时还包括：提取所述输入的图像的颜色特征；
所述根据所述目标区域的图像特征搜索图像数据库包括：
从所述图像数据库中搜索出与所述输入的图像的颜色特征相匹配的图像；
根据所述目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与所述目标区域的图像特征相匹配的区域的图像。
优选地，所述图像特征包括梯度方向直方图特征、局部二值模式特征和哈希特征。
本发明同时提出一种图像搜索装置，包括：
获取模块，用于获取用户在输入的图像上选择的至少一个目标区域；
提取模块，用于提取所述目标区域的图像特征；
搜索模块，用于根据所述目标区域的图像特征搜索图像数据库，从所述图像数据库中获取具有与所述目标区域的图像特征相匹配的区域的图像作为搜索结果。
优选地，还包括预处理模块，所述预处理模块用于：提取出图像数据库中各图像的特征并予以存储。
优选地，所述特征包括颜色特征和图像特征，所述预处理模块用于：提取出图像数据库中各图像的颜色特征并予以存储，分块提取出图像数据库中各图像的图像特征并予以存储。
优选地，所述提取模块还用于：提取所述输入的图像的颜色特征；所述搜索模块包括：
第一搜索单元，用于从所述图像数据库中搜索出与所述输入的图像的颜色特征相匹配的图像；
第二搜索单元，用于根据所述目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与所述目标区域的图像特征相匹配的区域的图像。
优选地，所述图像特征包括梯度方向直方图特征、局部二值模式特征和哈希特征。
本发明所提供的一种图像搜索方法，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度和准确度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
同时，通过预先对图像数据库中的图像进行处理，提取出各图像的特征并予以存储，使得后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，进一步提高了搜索速度。
而且，在进行图像搜索时，首先通过比对颜色特征筛选掉与输入的图像颜色不同的图像，减少了后续搜索的范围，进一步提高了搜索速度。
附图说明
图1是本发明的图像搜索方法第一实施例的流程图；
图2是本发明实施例中提取图像数据库中图像的特征的流程图；
图3是本发明实施例中提取图像的LBP特征的示意图；
图4是本发明实施例中以滑动窗口方式进行图像搜索的示意图；
图5是本发明的图像搜索方法第二实施例的流程图；
图6是本发明的图像搜索方法第三实施例的流程图；
图7是本发明的图像搜索装置第一实施例的模块示意图；
图8是图7中的搜索模块的模块示意图；
图9是本发明的图像搜索装置第二实施例的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1，提出本发明的图像搜索方法第一实施例，所述方法包括以下步骤：
S11、提取出图像数据库中各图像的特征并予以存储。
本实施例中，终端设备提前对图像数据库中的图像进行预处理，提取出图像数据库中每一张图像的特征并存储起来，后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，从而可以提高搜索速度。
提取的特征可以仅包括图像的图像特征，也可以包括图像的颜色特征和图像特征，其中图像特征包括梯度方向直方图(Histogram of Oriented Gradients,简称HOG)特征、局部二值模式(Local Binary Patterns，简称LBP)特征和哈希(hash)特征。
在提取图像的颜色特征时，需要对整个图像的颜色特征进行提取。
在提取图像的图像特征时，优选分块提取图像的图像特征，即对图像进行分块，比如分成N*M个一样大小的子块，针对每个子块进行图像特征的提取。因为用户在进行图像检索时，可能不仅需要检索整个图像，可能还需要检索图像的局部区域，所以需要将图像局部区域的特征也保存下来，以便完成局部搜索功能。以检索车辆图像为例，用户不仅可以检测图像中的车辆，还可以根据某一辆车挡风玻璃左上角的年检标志来搜索没有贴年检标志的车辆。
提取出图像数据库中每一张图像的图像特征后生成特征文件并存储，进一步地，还可以将图像数据库中所有图像的特征文件合并整合为一个整体特征文件并存储，以使存储的数据更加有序，方便管理。
在进行特征提取时，优选首先识别出图像中的主体，然后对主体的特征进行提取。以车辆图像为例，车辆图像中的主体即为车辆。
如图2所示，以本发明的图像搜索方法应用于公路图像监控为例，对图像数据库中车辆图像的特征提取过程包括以下步骤：
S111、获取图像数据库中的图像。
终端设备遍历图像数据库中的每一张图像，提取每一张图像的特征。
S112、确定图像中的车辆区域。
本步骤S112是对图像中的主体进行识别，确定图像中的主体区域。识别主体时，可以通过识别主体的显著特征来实现。对于车辆图像，可以将车辆的车牌、车标、年检标志等作为显著特征。
以车牌为例，终端设备在图像中检测车牌，并根据车牌位置大小确定车辆外界框的具体位置。具体的，终端设备首先通过车牌检测器进行车牌检测，检测到车牌以后，根据标准车牌的大小对图像进行归一化，然后根据车牌的位置和车牌的大小进行车辆的定位，一般车牌都是在车头中间靠下的位置，在得到车牌位置后，可以以车牌为中心点，左右上下各个方向扩展一定的距离，便可以确定车头的位置，最终便可以确定车辆区域。
由于在图像的近端和远端车牌的大小是不一样的，因此需要根据标准车牌的大小对图像进行归一化后才能进行后续的分块操作，图像的归一化是根据车牌的大小进行的，比如检测到的车牌大小为(w,h)，标准车牌大小为(W,H)，图像分辨率为(wi，hi)，那么归一化后的图像大小为(wi*W/w，hi*H/h)。
在具体实施的过程中，确定车头位置时，车辆水平以车牌为中心左右各扩展2倍的车牌宽度，竖直方向向上扩展10倍车牌高，向下扩展2倍车牌高度。比如车牌的中心位置在(x，y)处，车牌的尺寸为(w，h)；那么，车辆的中心位置为(x,y-5*h)，车辆尺寸为(5*w，13*h)。可选地，可以设置标准车牌大小为(94,24)。
S113、提取车辆的颜色特征并予以存储。
颜色特征是表征一个图像最基本的特征之一，需针对整体图像区域进行颜色特征提取，比如车辆区域的整体颜色。本实施例中的颜色主要包括红黄绿青蓝紫黑灰白这九种颜色，颜色特征的具体提取方法主要包括以下两个步骤：
(1)转换图像的颜色空间
一般图像数据库中存储的都是jepg格式图像，这种格式的图像的数据是RGB的存储方式，这种方式是红绿蓝三色调和方式，不适合进行目标颜色的计算，需要转换颜色空间。比如可以将颜色空间从RGB转换为HSV，其中HSV中，H表示色调，色调表征是何种颜色的分量，S表示饱和度，饱和度表征颜色的浓淡程度，V表示颜色的亮度，即颜色的明暗程度。RGB转HSV的公式如下：
v＝max
其中，max为RGB三个值中的最大值，min为RGB三值中的最小值，对图像(或图像的主体区域如车辆区域)中每个像素点进行以上变换得到HSV空间。
(2)计算图像颜色
首先计算图像(或图像的主体区域如车辆区域)中每个像素点的颜色，在计算颜色的过程中，首先判断S饱和度和V亮度是不是在阈值范围内，如果在阈值范围内则认为是彩色的，反之则认为是黑白的。因为饱和度太小则颜色就太淡，可以认为是黑白的，如果亮度V太小，不在阈值范围之内，就表示这个像素点看起来很暗，也可以认为是黑白的，这时就在黑灰白三色中进行划分。如果以上两个变量都在阈值范围内则认为是彩色的，则对H分量进行分段划分，因为H表示色调，对H分量进行分段，则可以得知是何种颜色，具体的实施如下：
当图像(或图像的主体区域如车辆区域)中的每个像素的颜色值都计算出来以后，则统计每种颜色像素占总像素的比值。当前六种彩色中有任何一种颜色的比值超过0.3，则认为图像(或图像的主体区域如车辆区域)为彩色，然后取前六种所占比例最大的那种作为图像(或图像的主体区域如车辆区域)的颜色；如果前六种比值都小于0.3，则认为图像(或图像的主体区域如车辆区域)为黑白，取黑灰白中占比例最大的作为图像(或图像的主体区域如车辆区域)的颜色。
S114、分块提取车辆的图像特征并予以存储。
本步骤S114中，首先对图像区域(如车辆区域)进行分块，然后分别对每个子块进行图像特征的提取，子块的大小不限，可以将车辆区域分成若干8x8大小为的子块。
图像特征包括HOG特征、LBP特征和hash特征中的至少一种，下面对各特征的提取方法进行详细说明：
(1)提取HOG特征
HOG特征是图像的边缘轮廓特征，也是图像的基本特征之一。梯度方向直方图的计算公式为：
dx＝I(x+1,y)-I(x,y)；
dy＝I(x,y+1)-I(x,y)；
θ＝arctan(dy,dx)；
其中，dx是x方向梯度，dy是y方向梯度，mag是当前像素点的梯度模值，I(x,y)是图像(x,y)位置的像素点的值。
计算出θ后，把θ归一化到(0,2π)范围内，就得到了梯度方向，统计子块区域中的直方图就可以得到子块区域的梯度方向直方图。
在实施过程中，可以将[0,360]度的方向平均划分为8个方向以减少存储量，当使用前述公式求出当前像素点的梯度方向和梯度模值后，把当前像素点的方向划分到8个方向中去，看到底属于哪个(即bin的值)，然后将bin这个方向的统计值加上当前像素点的梯度模值，当子块区域的所有像素点统计完成后就可以得到子块区域的梯度方向直方图。
(2)提取LBP特征
LBP特征表征的是当前像素点和周围像素点的关系。可以在3*3的窗口内，以窗口的中心像素点的灰度值为阈值，将与之相邻的8个像素点的灰度值与阈值进行比较，若相邻的像素点的灰度值大于阈值，则将该像素点的位置被标记为1，否则标记为0。这样，窗口邻域内的8个像素点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。统计子块区域内所有像素点的LBP值就能得到该子块区域的LBP特征。
如图3所示，首先获取左边的眼睛图像的灰度图，接着获取该灰度图的灰度值，以窗口中心像素点的灰度值83为阈值，经比较后对与中心像素点相邻的8个像素点进行标记获得右边的标记图，最终获得8位二进制数，即得到该窗口中心像素点的LBP值＝(01111100)10＝124。
(3)提取hash特征
Hash也称为感知哈希算法(Perceptual hash algorithm)，它的作用是对图像生成一个“指纹”(fingerprint)字符串，即hash值。由于本实施例按照分块的方式进行特征提取，因此每一个子块均会生成一个hash值，提取hash特征的具体方法如下：
1)缩小尺寸：将子块区域的图像缩小到8x8的尺寸，总共64个像素。这一步的作用是去除图像的细节，只保留结构、明暗等基本信息，摒弃不同尺寸、比例带来的图像差异。
2)简化色彩：将缩小后的图像，转为64级灰度。也就是说，所有像素点总共只有64种颜色。
3)计算平均值：计算所有64个像素点的灰度的平均值。
4)比较像素点的灰度：将每个像素点的灰度与平均值进行比较。大于或等于平均值的像素点，标记为1；小于平均值的像素点，标记为0。
5)计算hash值：将上一步的比较结果，组合在一起，构成一个64位的整数，这就是这张图像的指纹，即hash值。组合的次序并不重要，只要保证所有图像都采用同样的次序组合就可以。
终端设备每提取出一张图像的图像特征后，则生成特征文件并予以存储；如果数据库中文件过多，很有可能会造成文件管理的混乱，而且频繁的打开关闭文件也会造成资源的浪费，所以在所有图像的图像特征都提取完成之后，将所有图像的特征文件首尾相接合并整合成一个整体特征予以存储。
S12、获取用户在输入的图像上选择的至少一个目标区域。
发明人经仔细研究发现，实际上，每一张图像基本都有特别的区域，只要抠取出图像的特别区域在图像数据库中进行搜索即可，不但可以减少数据计算量，提高搜索速度，而且由于搜索的特征更加突出和明确，还能提高搜索的准确性。
具体的，用户向终端设备输入一张图像，并在输入的图像上选取局部区域作为目标区域，终端设备则获取用户在输入的图像上选择的目标区域。根据需要，用户可以在输入的图像上选择一个目标区域，也可以选择两个或多个目标区域。该目标区域通常是能够代表该图像主要特征的区域，或者需要进行局部搜索的区域。
以车辆图像为例，用户可以选择车辆图像的车牌区域、车标区域、年检标志区域等为目标区域。
S13、提取输入的图像的颜色特征以及输入的图像的目标区域的图像特征。
图像特征包括HOG特征、LBP特征和hash特征。在提取目标区域的图像特征时，可以整体提取目标区域的图像特征，也可以分块提取目标区域的图像特征，即对目标区域进行分块，分别针对每个子块进行特征的提取。
本步骤S13提取颜色特征和图像特征的方法与步骤S11中提取颜色特征和图像特征的方法类似，在此不再赘述。
S14、从图像数据库中搜索出与输入的图像的颜色特征相匹配的图像。
具体的，终端设备遍历图像数据库中的所有图像，读取图像数据库中存储的各图像的颜色特征，将输入的图像的颜色特征与图像数据库中的图像的颜色特征进行比对，判断二者是否匹配，从图像数据库中挑选出与输入的图像的颜色特征相匹配的图像。
通过本步骤S14可以筛选掉很多不相关的图像，减少搜索范围，提高搜索速度。
S15、根据目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。
具体的，终端设备读取图像数据库中存储的搜索出的图像的图像特征，将目标区域的图像特征与搜索出的图像各区域的图像特征进行比对，获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。可选地，终端设备针对搜索出的每一幅相同颜色的图像以遍历搜索窗口的方式进行相似度的匹配，找出图像中相似度最大的区域，并以最大相似度作为这幅图像与输入的图像的相似度，当最大相似度超过阈值时，则认定该区域与目标区域的图像特征相匹配，获取该图像作为搜索结果。进一步地，可以按照相似度从高到低的顺序对搜索结果中的图像进行排序。
在具体实施例过程中，可以使用滑动窗口的方式进行相似度的计算。如图4所示，其中10表示待搜索图像(即目标区域)，20表示当前搜索图像(图像数据库中的图像)，假设以从左至右从上到下的顺序进行窗口滑动，首先将待搜索图像20和当前搜索图像10的左上角的区域21进行比较，然后将窗口向右滑动一个距离，将待搜索图像再20和当前搜索图像10中的区域22的进行比较，当滑到最右端时，把窗口向下滑动一个距离继续比较，如对区域23进行比较，这样一直滑动窗口，遍历当前搜索图像20的每一个区域，计算出相似度最大的区域和最大值。
各图像特征的相似度计算方法如下：
(1)HOG特征和LBP特征的相似度的计算公式如下：
其中，xi，yi表示第i维特征的特征值。
(2)Hash特征的相似度计算：通过对比不同图像的hash值(或称hash编码)，比较64位数值中有多少位是不一样的，理论上，这等同于计算"汉明距离"(Hamming distance)。如果不相同的数据位不超过第一阈值(如5)，就说明两张图像很相似；如果大于第二阈值(如10)，则说明两张图像不同。比如64位hash编码中有n位是相同的，那么hash的相似度计算公式为：
当图像特征包括HOG特征、LBP特征和hash特征中的两种或三种时，则计算两种或三种特征的综合相似度，综合相似度可以以加权和的方式处理获得，例如，上述三种特征的综合相似度的计算公式如下：
sim＝a*simlbp+b*simhash+c*sim梯度
在一实施例中，a取值0.5，b取值0.3，c取值0.2。
最后，按照综合相似度从高到低的顺序进行搜索结果的排序，输出搜索结果。当用户选取了多个目标区域时，可以分别针对各个目标区域输出搜索结果或/和综合各个目标区域的相似度进行排序后输出最终的搜索结果。
本实施例的图像搜索方法，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
同时，本实施例预先对图像数据库中的图像进行处理，提取出各图像的特征并予以存储，使得后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，进一步提高了搜索速度。
而且，本实施例在进行图像搜索时，首先通过比对颜色特征筛选掉与输入的图像颜色不同的图像，减少了后续搜索的范围，进一步提高了搜索速度。
参见图5，提出本发明的图像搜索方法第二实施例，所述方法包括以下步骤：
S21、提取出图像数据库中各图像的特征并予以存储。
本实施例中提取的图像的特征只包括图像特征，包括HOG特征、LBP特征和hash特征。提取图像特征的方法与第一实施例中的步骤S11相同，在此不再赘述。
S22、获取用户在输入的图像上选择的至少一个目标区域。
具体的，用户向终端设备输入一张图像，并在输入的图像上选取局部区域作为目标区域，终端设备则获取用户在输入的图像上选择的目标区域。根据需要，用户可以在输入的图像上选择一个目标区域，也可以选择两个或多个目标区域。该目标区域通常是能够代表该图像主要特征的区域，或者需要进行局部搜索的区域。
以车辆图像为例，用户可以选择车辆图像的车牌区域、车标区域、年检标志区域等为目标区域。
S23、提取目标区域的图像特征。
目标区域的图像特征包括目标区域的HOG特征、LBP特征和hash特征。在提取目标区域的图像特征时，可以整体提取目标区域的图像特征，也可以分块提取目标区域的图像特征，即对目标区域进行分块，分别针对每个子块进行特征的提取。
本步骤S23提取图像特征的方法与第一实施例步骤S11中提取图像特征的方法类似，在此不再赘述。
S24、根据目标区域的图像特征搜索图像数据库，从图像数据库中获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。
具体的，终端设备读取图像数据库中存储的各图像的图像特征，将目标区域的图像特征与图像数据库中的图像各区域的图像特征进行比对，获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。可选地，终端设备针对图像数据库中的每一幅图像以遍历搜索窗口的方式进行相似度的匹配，找出图像中相似度最大的区域，并以最大相似度作为这幅图像与输入的图像的相似度，当最大相似度超过阈值时，则认定该区域与目标区域的图像特征相匹配，获取该图像作为搜索结果。进一步地，可以按照相似度从高到低的顺序对搜索结果中的图像进行排序。
本步骤S24与第一实施例中的步骤S15相类似，在此不再赘述。
本实施例的图像搜索方法，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
同时，本实施例预先对图像数据库中的图像进行处理，提取出各图像的特征并予以存储，使得后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，进一步提高了搜索速度。
参见图6，提出本发明的图像搜索方法第三实施例，所述方法包括以下步骤：
S31、获取用户在输入的图像上选择的至少一个目标区域。
具体的，用户向终端设备输入一张图像，并在输入的图像上选取局部区域作为目标区域，终端设备则获取用户在输入的图像上选择的目标区域。根据需要，用户可以在输入的图像上选择一个目标区域，也可以选择两个或多个目标区域。该目标区域通常是能够代表该图像主要特征的区域，或者需要进行局部搜索的区域。
以车辆图像为例，用户可以选择车辆图像的车牌区域、车标区域、年检标志区域等为目标区域。
S32、提取目标区域的图像特征。
目标区域的图像特征包括目标区域的HOG特征、LBP特征和hash特征。在提取目标区域的图像特征时，可以整体提取目标区域的图像特征，也可以分块提取目标区域的图像特征，即对目标区域进行分块，分别针对每个子块进行特征的提取。
本步骤S32提取图像特征的方法与第一实施例步骤S11中提取图像特征的方法类似，在此不再赘述。
S33、根据目标区域的图像特征搜索图像数据库，从图像数据库中获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。
具体的，终端设备实时提取图像数据库中的每一张图像的图像特征，将目标区域的图像特征与图像数据库中的图像各区域的图像特征进行比对，获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。可选地，终端设备针对图像数据库中的每一幅图像以遍历搜索窗口的方式进行相似度的匹配，找出图像中相似度最大的区域，并以最大相似度作为这幅图像与输入的图像的相似度，当最大相似度超过阈值时，则认定该区域与目标区域的图像特征相匹配，获取该图像作为搜索结果。进一步地，可以按照相似度从高到低的顺序对搜索结果中的图像进行排序。
本步骤S33与第一实施例中的步骤S15相类似，在此不再赘述。
本实施例的图像搜索方法，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
参见图7，提出本发明的图像搜索装置第一实施例，所述装置应用于终端设备，所述装置包括获取模块100、提取模块200和搜索模块300，其中：
获取模块100：用于获取用户在输入的图像上选择的至少一个目标区域。
该目标区域通常是能够代表该图像主要特征的区域，或者需要进行局部搜索的区域。以车辆图像为例，用户可以选择车辆图像的车牌区域、车标区域、年检标志区域等为目标区域。
提取模块200：用于提取目标区域的图像特征。所述图像特征包括HOG特征、LBP特征和hash特征。
搜索模块300：用于根据目标区域的图像特征搜索图像数据库，从图像数据库中获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。
具体的，搜索模块300实时提取图像数据库中的每一张图像的图像特征，将目标区域的图像特征与图像数据库中的图像各区域的图像特征进行比对，获取具有与目标区域的图像特征相匹配的区域的图像作为搜索结果。可选地，搜索模块300针对图像数据库中的每一幅图像以遍历搜索窗口的方式进行相似度的匹配，找出图像中相似度最大的区域，并以最大相似度作为这幅图像与输入的图像的相似度，当最大相似度超过阈值时，则认定该区域与目标区域的图像特征相匹配，获取该图像作为搜索结果。进一步地，搜索模块300可以按照相似度从高到低的顺序对搜索结果中的图像进行排序。
进一步地，提取模块200还用于：提取输入的图像的颜色特征，优选地，提取输入的图像中的主体区域(如车辆区域)的颜色特征。此时，搜索模块300如图8所示，包括第一搜索单元310和第二搜索单元320，其中：
第一搜索单元310，用于从图像数据库中搜索出与输入的图像的颜色特征相匹配的图像；
第二搜索单元320，用于根据目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与目标区域的图像特征相匹配的区域的图像。
本实施例的图像搜索装置，允许用户在进行图像搜索时在图像上选取局部区域，并根据局部区域的特征检索图像数据库获取搜索结果，从而只需计算局部区域的特征与图像数据库中的图像的特征进行比对，减少了数据计算量，提高了搜索速度。并且，还实现了图像的局部搜索功能，满足了用户搜索图像局部区域的需求。
同时，本实施例在进行图像搜索时，首先通过比对颜色特征筛选掉与输入的图像颜色不同的图像，减少了后续搜索的范围，进一步提高了搜索速度。
参见图9，提出本发明的图像搜索装置第二实施例，本实施例与第一实施例的区别是增加了一预处理模块400，所述预处理模块400用于：提取出图像数据库中每一张图像的特征并予以存储。以使搜索模块300后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，从而可以提高搜索速度。
提取的特征可以仅包括图像的图像特征。优选地，提取的特征包括图像的颜色特征和图像特征，此时，预处理模块400用于：提取出图像数据库中每一张图像的颜色特征并予以存储，分块提取出图像数据库中每一张图像的图像特征并予以存储。
预处理模400块提取出图像数据库中每一张图像的图像特征后生成特征文件并存储，进一步地，预处理模块400还可以将图像数据库中所有图像的特征文件合并整合为一个整体特征文件并存储，以使存储的数据更加有序，方便管理。
在进行特征提取时，预处理模块300优选首先识别出图像中的主体，然后对主体的特征进行提取。以车辆图像为例，车辆图像中的主体即为车辆。
本实施例通过预处理模块400预先对图像数据库中的图像进行处理，提取出各图像的特征并予以存储，使得后续进行图像搜索时，可以直接读取图像数据库中存储的特征与输入的图像的特征进行比对，省去了实时提取图像数据库中每一张图像的特征的步骤，进一步提高了搜索速度。
本发明的图像搜索方法和装置，尤其适用于公路图像监控，针对公路卡扣车辆图片进行搜索，从要搜索的车辆图片中扣出要搜索的部分，然后在图像数据库中进行搜索，并且对搜索出来的图片进行排序，以供办案人员使用。
应当理解，上述实施例提供的图像搜索装置与图像搜索方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在装置实施例中均对应适用，这里不再赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，监控设备，或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
Claims (10)
1.一种图像搜索方法，其特征在于，包括以下步骤：
获取用户在输入的图像上选择的至少一个目标区域；
提取所述目标区域的图像特征；
根据所述目标区域的图像特征搜索图像数据库，从所述图像数据库中获取具有与所述目标区域的图像特征相匹配的区域的图像作为搜索结果。
2.根据权利要求1所述的图像搜索方法，其特征在于，所述获取用户在输入的图像上选择的至少一个目标区域的步骤之前还包括：
提取出图像数据库中各图像的特征并予以存储。
3.根据权利要求2所述的图像搜索方法，其特征在于，所述特征包括颜色特征和图像特征，所述提取出图像数据库中各图像的特征并予以存储包括：
提取出图像数据库中各图像的颜色特征并予以存储；
分块提取出图像数据库中各图像的图像特征并予以存储。
4.根据权利要求1-3任一项所述的图像搜索方法，其特征在于，
所述提取所述目标区域的图像特征的步骤的同时还包括：提取所述输入的图像的颜色特征；
所述根据所述目标区域的图像特征搜索图像数据库包括：
从所述图像数据库中搜索出与所述输入的图像的颜色特征相匹配的图像；
根据所述目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与所述目标区域的图像特征相匹配的区域的图像。
5.根据权利要求4所述的图像搜索方法，其特征在于，所述图像特征包括梯度方向直方图特征、局部二值模式特征和哈希特征。
6.一种图像搜索装置，其特征在于，包括：
获取模块，用于获取用户在输入的图像上选择的至少一个目标区域；
提取模块，用于提取所述目标区域的图像特征；
搜索模块，用于根据所述目标区域的图像特征搜索图像数据库，从所述图像数据库中获取具有与所述目标区域的图像特征相匹配的区域的图像作为搜索结果。
7.根据权利要求6所述的图像搜索装置，其特征在于，还包括预处理模块，所述预处理模块用于：提取出图像数据库中各图像的特征并予以存储。
8.根据权利要求7所述的图像搜索装置，其特征在于，所述特征包括颜色特征和图像特征，所述预处理模块用于：提取出图像数据库中各图像的颜色特征并予以存储，分块提取出图像数据库中各图像的图像特征并予以存储。
9.根据权利要求6-8任一项所述的图像搜索装置，其特征在于，所述提取模块还用于：提取所述输入的图像的颜色特征；所述搜索模块包括：
第一搜索单元，用于从所述图像数据库中搜索出与所述输入的图像的颜色特征相匹配的图像；
第二搜索单元，用于根据所述目标区域的图像特征在搜索出的图像中进行进一步搜索，从中获取具有与所述目标区域的图像特征相匹配的区域的图像。
10.根据权利要求9所述的图像搜索装置，其特征在于，所述图像特征包括梯度方向直方图特征、局部二值模式特征和哈希特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610114398.0A CN107145487A (zh) | 2016-03-01 | 2016-03-01 | 图像搜索方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610114398.0A CN107145487A (zh) | 2016-03-01 | 2016-03-01 | 图像搜索方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107145487A true CN107145487A (zh) | 2017-09-08 |
Family
ID=59783116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610114398.0A Pending CN107145487A (zh) | 2016-03-01 | 2016-03-01 | 图像搜索方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107145487A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944500A (zh) * | 2017-12-11 | 2018-04-20 | 奕响（大连）科技有限公司 | 一种hog与直方图结合的图片相似判定方法 |
| CN108038436A (zh) * | 2017-12-05 | 2018-05-15 | 奕响（大连）科技有限公司 | 一种局部像素灰度图片相似判定方法 |
| CN108228761A (zh) * | 2017-12-21 | 2018-06-29 | 深圳市商汤科技有限公司 | 支持区域自定义的图像检索方法和装置、设备、介质 |
| CN108694411A (zh) * | 2018-04-03 | 2018-10-23 | 南昌奇眸科技有限公司 | 一种识别相似图像的方法 |
| CN108763265A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种基于分块检索的图像识别方法 |
| CN108897746A (zh) * | 2018-04-03 | 2018-11-27 | 南昌奇眸科技有限公司 | 一种图像检索方法 |
| CN109101934A (zh) * | 2018-08-20 | 2018-12-28 | 广东数相智能科技有限公司 | 车型识别方法、装置与计算机可读存储介质 |
| CN109241349A (zh) * | 2018-08-14 | 2019-01-18 | 中国电子科技集团公司第三十八研究所 | 一种基于深度学习的监控视频多目标分类检索方法及系统 |
| CN109446969A (zh) * | 2018-10-23 | 2019-03-08 | 中德人工智能研究院有限公司 | 一种分析和搜索三维模型的方法 |
| CN109558506A (zh) * | 2018-11-29 | 2019-04-02 | 青海民族大学 | 一种基于颜色聚合向量的图像检索方法 |
| CN111709416A (zh) * | 2020-05-15 | 2020-09-25 | 珠海亿智电子科技有限公司 | 车牌定位方法、装置、系统及存储介质 |
| CN112115292A (zh) * | 2020-09-25 | 2020-12-22 | 海尔优家智能科技（北京）有限公司 | 图片搜索方法及装置、存储介质、电子装置 |
| WO2021143273A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京字节跳动网络技术有限公司 | 直播流采样方法、装置及电子设备 |
| CN115690767A (zh) * | 2022-10-26 | 2023-02-03 | 北京远度互联科技有限公司 | 车牌识别方法、装置、无人机及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440646A (zh) * | 2013-08-19 | 2013-12-11 | 成都品果科技有限公司 | 用于颜色分布和纹理分布图像检索的相似度获取方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN103678558A (zh) * | 2013-12-06 | 2014-03-26 | 中科联合自动化科技无锡有限公司 | 基于sift特征的嫌疑车辆检索方法 |
| CN104050450A (zh) * | 2014-06-16 | 2014-09-17 | 西安通瑞新材料开发有限公司 | 一种基于视频的车牌识别方法 |
-
2016
- 2016-03-01 CN CN201610114398.0A patent/CN107145487A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440646A (zh) * | 2013-08-19 | 2013-12-11 | 成都品果科技有限公司 | 用于颜色分布和纹理分布图像检索的相似度获取方法 |
| CN103530366A (zh) * | 2013-10-12 | 2014-01-22 | 湖北微模式科技发展有限公司 | 一种基于自定义特征的车辆搜索方法与系统 |
| CN103678558A (zh) * | 2013-12-06 | 2014-03-26 | 中科联合自动化科技无锡有限公司 | 基于sift特征的嫌疑车辆检索方法 |
| CN104050450A (zh) * | 2014-06-16 | 2014-09-17 | 西安通瑞新材料开发有限公司 | 一种基于视频的车牌识别方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038436A (zh) * | 2017-12-05 | 2018-05-15 | 奕响（大连）科技有限公司 | 一种局部像素灰度图片相似判定方法 |
| CN107944500A (zh) * | 2017-12-11 | 2018-04-20 | 奕响（大连）科技有限公司 | 一种hog与直方图结合的图片相似判定方法 |
| CN108228761A (zh) * | 2017-12-21 | 2018-06-29 | 深圳市商汤科技有限公司 | 支持区域自定义的图像检索方法和装置、设备、介质 |
| CN108694411B (zh) * | 2018-04-03 | 2022-02-25 | 南昌奇眸科技有限公司 | 一种识别相似图像的方法 |
| CN108763265B (zh) * | 2018-04-03 | 2022-02-08 | 南昌奇眸科技有限公司 | 一种基于分块检索的图像识别方法 |
| CN108897746A (zh) * | 2018-04-03 | 2018-11-27 | 南昌奇眸科技有限公司 | 一种图像检索方法 |
| CN108763265A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种基于分块检索的图像识别方法 |
| CN108694411A (zh) * | 2018-04-03 | 2018-10-23 | 南昌奇眸科技有限公司 | 一种识别相似图像的方法 |
| CN108897746B (zh) * | 2018-04-03 | 2022-02-08 | 南昌奇眸科技有限公司 | 一种图像检索方法 |
| CN109241349A (zh) * | 2018-08-14 | 2019-01-18 | 中国电子科技集团公司第三十八研究所 | 一种基于深度学习的监控视频多目标分类检索方法及系统 |
| CN109241349B (zh) * | 2018-08-14 | 2022-03-25 | 中国电子科技集团公司第三十八研究所 | 一种基于深度学习的监控视频多目标分类检索方法及系统 |
| CN109101934A (zh) * | 2018-08-20 | 2018-12-28 | 广东数相智能科技有限公司 | 车型识别方法、装置与计算机可读存储介质 |
| CN109446969A (zh) * | 2018-10-23 | 2019-03-08 | 中德人工智能研究院有限公司 | 一种分析和搜索三维模型的方法 |
| CN109558506A (zh) * | 2018-11-29 | 2019-04-02 | 青海民族大学 | 一种基于颜色聚合向量的图像检索方法 |
| WO2021143273A1 (zh) * | 2020-01-19 | 2021-07-22 | 北京字节跳动网络技术有限公司 | 直播流采样方法、装置及电子设备 |
| CN111709416A (zh) * | 2020-05-15 | 2020-09-25 | 珠海亿智电子科技有限公司 | 车牌定位方法、装置、系统及存储介质 |
| CN111709416B (zh) * | 2020-05-15 | 2024-02-02 | 珠海亿智电子科技有限公司 | 车牌定位方法、装置、系统及存储介质 |
| CN112115292A (zh) * | 2020-09-25 | 2020-12-22 | 海尔优家智能科技（北京）有限公司 | 图片搜索方法及装置、存储介质、电子装置 |
| CN115690767A (zh) * | 2022-10-26 | 2023-02-03 | 北京远度互联科技有限公司 | 车牌识别方法、装置、无人机及存储介质 |
| CN115690767B (zh) * | 2022-10-26 | 2023-08-22 | 北京远度互联科技有限公司 | 车牌识别方法、装置、无人机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145487A (zh) | 图像搜索方法和装置 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| Erikson | Species classification of individually segmented tree crowns in high-resolution aerial images using radiometric and morphologic image measures | |
| Huang et al. | Morphological building/shadow index for building extraction from high-resolution imagery over urban areas | |
| Antonacopoulos et al. | ICDAR 2009 page segmentation competition | |
| CN103761531B (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
| CN102364496B (zh) | 一种基于图像分析的汽车车牌自动识别方法及系统 | |
| US8320665B2 (en) | Document image segmentation system | |
| CN111401372A (zh) | 一种扫描文档图文信息提取与鉴别的方法 | |
| CN103824091B (zh) | 一种用于智能交通系统的车牌识别方法 | |
| CN107273896A (zh) | 一种基于图像识别的车牌检测识别方法 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| CN106650553A (zh) | 车牌识别方法及系统 | |
| Huang et al. | Foreground/background segmentation of color images by integration of multiple cues | |
| CN105574063A (zh) | 基于视觉显著性的图像检索方法 | |
| CN106203539B (zh) | 识别集装箱箱号的方法和装置 | |
| CN105225226A (zh) | 一种基于图像分割的级联可变形部件模型目标检测方法 | |
| CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
| CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN105260428A (zh) | 图片处理方法和装置 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN106845513A (zh) | 基于条件随机森林的人手检测器及方法 | |
| CN111260645A (zh) | 基于分块分类深度学习的篡改图像检测方法及系统 | |
| CN106845458A (zh) | 一种基于核超限学习机的快速交通标识检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 the six level of energy storage building 3099, Keyuan South Road, Nanshan District, Shenzhen, Guangdong. Applicant after: Shenzhen ZTE NetView Technology Co., Ltd. Address before: 518000 W1A 4, Guangdong high tech Industrial Village, 034 New South Road, Shenzhen, Nanshan District, Nanshan District. Applicant before: Shenzhen ZTE NetView Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170908 |
|
| RJ01 | Rejection of invention patent application after publication |