CN106933816A - 基于全局特征和局部特征的跨镜头目标检索系统及方法 - Google Patents
基于全局特征和局部特征的跨镜头目标检索系统及方法 Download PDFInfo
- Publication number
- CN106933816A CN106933816A CN201511009008.5A CN201511009008A CN106933816A CN 106933816 A CN106933816 A CN 106933816A CN 201511009008 A CN201511009008 A CN 201511009008A CN 106933816 A CN106933816 A CN 106933816A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground target
- target image
- characteristic
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7857—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于全局特征和局部特征的跨镜头目标检索系统及方法,从监控视频中获取前景目标图像,对前景目标图像进行预处理,从中提取具有若干特征维度的颜色特征、纹理特征等,降维处理后保存于数据库中形成目标检索系统;利用该目标检索系统检索查询图像时,首先提取查询图像的特征信息,与目标系统中的前景目标图像进行全局特征的相似度计算,得到初次筛选结果,然后提取查询图像的局部特征信息,与通过初次筛选的前景目标图像进行局部特征的相似度计算,以全局特征和局部特征相似度高的前景目标图像作为查询结果图像。本发明能够提高跨镜头目标检索的识别准确度和识别性能。
Description
技术领域
本发明涉及一种基于全局特征和局部特征的跨镜头目标检索系统及方法,属于图像处理与模式识别技术领域。
背景技术
随着视频监控技术的发展,为实现从海量监控视频中检索目标的高效性,跨摄像头目标检索技术应运而生,该技术的显著特性是能够在很短的时间内从海量监控视频网络中检索查询目标,大大缩短查找原始视频的时间,提高效率和识别准确性。现有跨境头目标检索的方法主要有以下两种:
一种是从原始图像中提取出多种具有稳定性(在不同时刻特征一致)和区别性(同一时刻或不同时刻特征不一致)的特征,将多种特征进行串联拼接,构成目标图像的特征向量。该方法的问题是,必须保证目标裁剪精准以保证准确的特征提取,而现有技术尚无法实现图像的精准分割,为保证提取的特征具有稳定性和区别性,需要人工经验和反复试验,效率低,而且,由于摄像头型号、精度不同,现场拍摄条件复杂,无法保证从原始图像中提取出具有稳定性和区别性的特征。
第二种是利用度量学习的方法对图像的原始特征进行投影,使投影出的特征满足稳定性和区别性。该方法的问题是:需要采集大量不同摄像头对同一目标的原始图像作为样本,采集工作量大,摄像头种类及型号繁多,实现困难,且,需要匹配的两张目标图像拍摄于不同的摄像机,导致图片之间存在各种差异,导致不同摄像头训练得到的矩阵存在差异,仅使用一个度量矩阵不足以将两个不同模态中的特征投影到同一个空间中进行距离计算。
发明内容
鉴于上述原因,本发明的目的在于提供一种基于全局特征和局部特征的跨镜头目标检索系统及方法,能够提高跨镜头目标检索的识别准确度和识别性能。
为实现上述目的,本发明采用以下技术方案:
一种基于全局特征和局部特征的跨镜头目标检索系统,其建立方法为:
S10:从多个摄像头的监控视频中,获取包含活动目标的前景目标图像;
S11:从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征,该全局特征包括颜色特征和纹理特征;
S13:将该前景目标图像的全局特征保存于数据库中。
所述步骤S11之后还包括:
S12:对所述前景目标图像的全局特征进行降维处理,生成前景目标图像的图像目标向量;
将该前景目标图像的图像目标向量保存于数据库中。
所述步骤S11中,提取全局特征的方法是:
S111:对所述包含活动目标的前景目标图像进行预处理,包括对该前景目标图像进行颜色增强处理,然后进行归一化处理,将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像;
S112:从预处理后的前景目标图像中提取具有多个特征维度的颜色特征;
S113:从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。
所述步骤S12中,利用主成分分析法,对所述前景目标图像的全局特征进行降维处理。
所述步骤S10中,利用混合高斯模型对监控场景进行建模,从监控视频的每一帧图像中提取出若干前景掩膜图像,将前景掩膜图像与其对应的原始帧图像相重叠,生成彩色前景掩膜图像,利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框,彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。
基于跨镜头目标检索系统实现目标检索的方法,包括步骤:
S20:提取查询图像的特征信息,该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量;
S21:根据该查询图像的特征信息,计算该特征信息与系统中前景目标图像的图像目标向量的全局特征相似度,进行初次筛选,得到初次筛选通过的前景目标图像;
S22:从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中,分别提取具有特征点的局部特征信息;
S23:根据所述局部特征信息,计算查询图像与前景目标图像的图像目标向量的局部特征相似度;
S24:加权该全局特征相似度和局部特征相似度,得到查询图像与前景目标图像的总相似度;
S25:对总相似度进行排序,从中确定查询结果图像。
所述步骤21中,计算全局特征相似度的方法是:
S211:定义任意两幅图像关于一种特征向量的相似度计算公式:
公式(4)中,定义两个n维特征向量xi和xj,cov(xi,xj)为二者的协方差,σ为方差向量,i、j为特征向量的序号。
S212:利用公式(4)分别计算查询图像与系统中任一前景目标图像,于每种特征向量上的特征相似度;
S213:利用RankSVM算法,计算查询图像与任一前景目标图像的整体特征相似度;
S214:利用设定的初筛阈值,对前景目标图像进行初次筛选。
所述步骤S212中,计算以下五种特征相似度:查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。
所述步骤213中,RankSVM算法的计算公式如下:
公式(5)中,q表示查询图像,g表示任一前景目标图像,qi表示查询图像的某种特征向量,gi表示前景目标图像的相应的特征向量;wi为同种特征相似度对应的权值,由RankSVM算法训练得出。
所述步骤23中,计算局部特征相似度的方法是:
如公式(6),计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度,
式(6)中,X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量,M表示查询图像含有特征点的个数,表示查询图像中的第i个关键点,PY表示前景目标图像中特征点的集合,h(:)表示是否找到匹配点,公式如下:
式(7)中,pX表示查询图像中某个特征点,PY表示前景目标图像中特征点的集合,ratio为设定的比率阈值,d1为pX在PY中的最近邻距离,d2为pX在PY中的次近邻距离,sgn(:)为符号函数。
本发明的优点是:
1、对前景目标图像进行预处理,将图像统一到同一种光照强度,然后提取特征,提高了跨镜头目标检索系统的识别性能;
2、对前景目标图像的全局特征进行降维处理后保存于数据库,节省了数据库空间,减少了目标检索遍历次数,提高了检索速度;
3、通过查询图像与前景目标图像的全局特征相似度计算进行初筛,能够有效提高跨境头目标检索的准确率,并保证目标检索的实时性;
4、通过查询图像与初筛通过的前景目标图像的局部特征相似度计算进行二次筛选,能够有效提高跨境头目标检索的准确率。
附图说明
图1是本发明的建立跨境头目标检索系统的方法流程图。
图2是利用图1所示目标检索系统进行目标检索的方法流程示意图。
图3是多个特征向量相级联得到图像特征向量的过程示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细的说明。
图1是本发明的建立跨境头目标检索系统的方法流程图,如图所示,本发明公开的基于全局特征和局部特征的跨镜头目标检索系统,其建立方法为:
S10:从多个摄像头的监控视频中,获取包含活动目标的前景目标图像;
利用混合高斯模型对监控场景进行建模,从监控视频的每一帧图像中提取出一幅背景图像和若干前景掩膜图像,该前景掩膜图像的描述为:
其中,pmask(x,y)为前景掩膜图像在(x,y)点的像素值,pf(x,y)为视频帧在(x,y)处的像素点。
该前景掩膜图像为黑白图像,其中像素值为255的点(白色区域)所形成的连通域为掩膜图像,表示活动目标(如,人、车、动物等),像素值为0的点(黑色区域)为固定背景。将前景掩膜图像与其对应的原始帧图像相重叠,生成彩色前景掩膜图像,然后利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框,彩色前景掩膜图像中由矩形框确定的区域即为前景目标图像。
基于目标跟踪算法,将前景目标图像中连续时间内出现的同一活动目标识别为同一目标,以减少后续目标检索的重复量。
S11:从包含活动目标的前景目标图像中提取全局特征;
具体包括:
S111:对包含活动目标的前景目标图像进行预处理;
利用Retinex算法对前景目标图像进行颜色增强处理,生成与场景无关的观测值一致的图像,该图像具有增强的颜色信息(特别是阴影区域)。
利用双线性插值方法将颜色增强处理后的前景目标图像进行归一化处理(归一化为100*100像素),将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像(N=5)。
S112:从预处理后的前景目标图像中,提取颜色特征和纹理特征。
1)从每个水平条区域图像中提取颜色特征:
基于RGB空间提取颜色直方图,基于HSV空间提取颜色直方图,基于LAB空间提取颜色直方图,共得到9个颜色直方图,每个颜色直方图的颜色特征量化为16维,得到16*9维的颜色特征,
利用同种颜色间的量化距离构建颜色相关直方图,该颜色相关直方图具有颜色分布与空间信息,该颜色直方图的定义为:
定义单通道图像I,将颜色平均分为c类,像素点间距离分为0到d,x、y分别为像素点的横坐标与纵坐标,则颜色相关直方图特征通过以下公式计算:
公式(2)中,i为颜色种类,j为距离,M为图像宽度,N为图像高度,m为领域内一像素点的横坐标,n为领域内一像素点的纵坐标。
于具体实施中,将颜色分为8类(c=8),距离从近到远分为8种(d=8,j的取值范围为0-7),能够提取出颜色相关直方图的颜色特征为8*8=64维。
2)从每个水平条区域图像中提取纹理特征:
利用尺度不变局部三元模式提取81维的纹理直方图。
这样,每个水平条区域图像具有共16*9+64+81=289个特征维度,将N个水平条区域图像的颜色特征和纹理特征进行串联,得到预处理后的前景目标图像的全局特征,该全局特征具有共289*N个特征维度。
在实际应用中,最上和最小两个水平条区域图像基本为背景或阴影部分,因此,可重点从中间水平条区域图像中提取全局特征,该全局特征具有289*(N-2)个特征维度。
S12:对前景目标图像的全局特征进行降维处理,生成前景目标图像的图像目标向量;
如公式(3)所示,利用主成分分析法对具有多个特征维度的全局特征进行降维处理,
y=MT(x-mean) (3)
上式中,x表示待降维的m维特征向量,M表示主成分分析法训练得到的n*m维投影矩阵,mean表示主成分分析法训练得到的m维均值向量,y表示降维后得到的n(n<m)维特征向量。
降维处理后,将三种颜色空间的直方图特征维度由16*9维降维至10维,颜色相关直方图特征维度由64*3维降维至10维,纹理特征维度由81*3维降维至15维,得到共10*4+15=55维特征维度。
如图3所示,全局特征的多个颜色特征维度和多个纹理特征维度经过主成分分析法降维处理后,将得到的多个特征向量(y)进行级联,得到前景目标图像的图像特征向量。
S13:将前景目标图像的图像目标向量保存于数据库中。
图2是利用图1所示目标检索系统进行目标检索的方法流程示意图,如图所示,本发明公开的基于全局特征和局部特征的跨镜头目标检索方法,包括:
S20:输入查询图像,提取该查询图像的特征信息;
该特征信息包括:具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量,并对颜色特征向量及纹理特征维度的多个特征维度进行降维处理,提取的颜色特征包括RGB颜色直方图、HSV颜色直方图、Lab颜色直方图、颜色相关直方图。
S21:根据查询图像的特征信息,对目标检索系统中的前景目标图像的图像目标向量进行初次筛选;
S211:定义任意两幅图像关于一种特征向量的相似度计算公式:
公式(4)中,定义两个n维特征向量xi和xi,cov(xi,xj)为二者的协方差,σ为方差向量,i、j为特征向量序号。
S212:利用公式(4)分别计算查询图像与目标检索系统中的任一前景目标图像,于相同特征向量上的特征相似度;
计算以下五种特征相似度:查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。
S213:利用RankSVM算法,计算查询图像与任一前景目标图像的整体特征相似度;
RankSVM算法的计算公式如下:
公式(5)中,q表示查询图像,g表示任一前景目标图像,qi表示查询图像的某种特征向量,gi表示前景目标图像的相应的特征向量;同一种特征之间采用公式(4)计算特征相似度,wi为同种特征相似度对应的权值,由RankSVM算法训练得出。例如:qi为查询图像的纹理特征向量,gi为前景目标图像的纹理特征向量,s(qi,gi)为两个纹理特征向量之间的相似度,wi为纹理特征向量对应的权值。
S214:进行初次筛选;
步骤S211中,当查询图像与任一前景目标图像,于同一特征向量上的特征相似度S(X,Y)大于一设定的初筛阈值时,前景目标图像初次筛选通过。
S22:对初次筛选通过的前景目标图像,进行二次筛选,得到查询结果图像。
S221:从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中,分别提取具有特征点的局部特征信息;
该具有特征点的局部特征信息为SIFT特征。
S222:对局部特征信息提取SIFT(尺度不变特征转换)128维描述子,计算查询图像与前景目标图像的图像目标向量的局部特征相似度;
对具有特征点的局部特征信息提取SIFT128维描述子的方法是:构建尺度空间,检测极值点,获得尺度不变性;对极值点进行过滤并进行精确定位,剔除不稳定的特征点;在特征点处提取特征描述符,为特征点分配方向值;生成特征描述子,利用特征描述符寻找匹配点;以特征点为中心取16*16的邻域作为采样窗口,将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图,获得4*4*8=128维特征描述子。
如公式(6),计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度,
式(6)中,X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量,M表示查询图像含有特征点的个数,表示查询图像中的第i个关键点,PY表示前景目标图像中特征点的集合,h(:)表示是否找到匹配点,公式如下:
式(7)中,pX表示查询图像中某个特征点,PY表示前景目标图像中特征点的集合,ratio为设定的比率阈值,d1为pX在PY中的最近邻距离,d2为pX在PY中的次近邻距离,sgn(:)为符号函数。
其中,两个特征点的距离为欧氏距离。
S223:加权全局特征相似度和局部特征相似度,得到查询图像与前景目标图像的总相似度;
Similarity(X,Y)=α1S(X,Y)+α2L(X,Y) (8)
式(8)中,α1表示全局特征相似度S(X,Y)的权重,α2表示局部特征相似度L(X,Y)的权重。
即,利用特征点特征向量的欧式距离,作为查询图像与前景目标图像中特征点的相似性判定度量,以查询图像的某个特征点为准,遍历所有前景目标图像的图像目标向量中距离最近的两个特征点,在这两个特征点中,如果次近距离除以最近距离小于设定的比率阙值,则判定为一对匹配点(如公式(7)),局部特征间的相似度为匹配点的数目与查询图像中特征点的数目的比率(如公式(6))。
S224:对查询图像与所有通过初次筛选的前景目标图像的总相似度进行排序,选择相似度高的前景目标图像作为查询结果图像。
本发明的基于全局特征和局部特征的跨镜头目标检索系统及方法,从监控视频中获取前景目标图像,对前景目标图像进行预处理,从中提取具有若干特征维度的颜色特征、纹理特征等,降维处理后保存于数据库中形成目标检索系统;利用该目标检索系统检索查询图像时,首先提取查询图像的特征信息,与目标系统中的前景目标图像进行全局特征的相似度计算,得到初次筛选结果,然后提取查询图像的局部特征信息,与通过初次筛选的前景目标图像进行局部特征的相似度计算,以全局特征和局部特征相似度高的前景目标图像作为查询结果图像。本发明能够提高跨镜头目标检索的识别准确度和识别性能。
以上所述是本发明的较佳实施例及其所运用的技术原理,对于本领域的技术人员来说,在不背离本发明的精神和范围的情况下,任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变,均属于本发明保护范围之内。
Claims (10)
1.基于全局特征和局部特征的跨镜头目标检索系统,其特征在于,其建立方法为:
S10:从多个摄像头的监控视频中,获取包含活动目标的前景目标图像;
S11:从该包含活动目标的前景目标图像中提取具有多个特征维度的全局特征,该全局特征包括颜色特征和纹理特征;
S13:将该前景目标图像的全局特征保存于数据库中。
2.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索系统,其特征在于,所述步骤S11之后还包括:
S12:对所述前景目标图像的全局特征进行降维处理,生成前景目标图像的图像目标向量;
将该前景目标图像的图像目标向量保存于数据库中。
3.根据权利要求1或2所述的基于全局特征和局部特征的跨镜头目标检索系统,其特征在于,所述步骤S11中,提取全局特征的方法是:
S111:对所述包含活动目标的前景目标图像进行预处理,包括对该前景目标图像进行颜色增强处理,然后进行归一化处理,将归一化处理后的前景目标图像从上到下均匀分成N个水平条区域图像;
S112:从预处理后的前景目标图像中提取具有多个特征维度的颜色特征;
S113:从预处理后的前景目标图像中提取具有多个特征维度的纹理特征。
4.根据权利要求2所述的基于全局特征和局部特征的跨镜头目标检索系统,其特征在于,所述步骤S12中,利用主成分分析法,对所述前景目标图像的全局特征进行降维处理。
5.根据权利要求1所述的基于全局特征和局部特征的跨镜头目标检索系统,其特征在于,所述步骤S10中,利用混合高斯模型对监控场景进行建模,从监控视频的每一帧图像中提取出若干前景掩膜图像,将前景掩膜图像与其对应的原始帧图像相重叠,生成彩色前景掩膜图像,利用连通域提取方法从该彩色前景掩膜图像中确定掩膜图像的外接矩形框,彩色前景掩膜图像中由矩形框确定的区域为所述前景目标图像。
6.基于权利要求1-5中任意一项权利要求所述的跨镜头目标检索系统实现目标检索的方法,其特征在于,包括步骤:
S20:提取查询图像的特征信息,该特征信息包括具有多个特征维度的颜色特征向量和具有多个特征维度的纹理特征向量;
S21:根据该查询图像的特征信息,计算该特征信息与系统中前景目标图像的图像目标向量的全局特征相似度,进行初次筛选,得到初次筛选通过的前景目标图像;
S22:从初次筛选通过的前景目标图像的图像目标向量、以及查询图像中,分别提取具有特征点的局部特征信息;
S23:根据所述局部特征信息,计算查询图像与前景目标图像的图像目标向量的局部特征相似度;
S24:加权该全局特征相似度和局部特征相似度,得到查询图像与前景目标图像的总相似度;
S25:对总相似度进行排序,从中确定查询结果图像。
7.根据权利要求6所述的基于全局特征和局部特征的跨镜头目标检索方法,其特征在于,所述步骤21中,计算全局特征相似度的方法是:
S211:定义任意两幅图像关于一种特征向量的相似度计算公式:
公式(4)中,定义两个n维特征向量xi和xj,cov(xi,xj)为二者的协方差,σ为方差向量,i、i为特征向量的序号。
S212:利用公式(4)分别计算查询图像与系统中任一前景目标图像,于每种特征向量上的特征相似度;
S213:利用RankSVM算法,计算查询图像与任一前景目标图像的整体特征相似度;
S214:利用设定的初筛阈值,对前景目标图像进行初次筛选。
8.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法,其特征在于,所述步骤S212中,计算以下五种特征相似度:查询图像的RGB颜色直方图与任一前景目标图像的RGB颜色直方图的特征相似度、查询图像的HSV颜色直方图与任一前景目标图像的HSV颜色直方图的特征相似度、查询图像的Lab颜色直方图与任一前景目标图像的Lab颜色直方图的特征相似度、查询图像的颜色相关直方图与任一前景目标图像的颜色相关直方图的特征相似度、查询图像的纹理特征与任一前景目标图像的纹理特征相似度。
9.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法,其特征在于,所述步骤213中,RankSVM算法的计算公式如下:
公式(5)中,q表示查询图像,g表示任一前景目标图像,qi表示查询图像的某种特征向量,gi表示前景目标图像的相应的特征向量;wi为同种特征相似度对应的权值,由RankSVM算法训练得出。
10.根据权利要求7所述的基于全局特征和局部特征的跨镜头目标检索方法,其特征在于,所述步骤23中,计算局部特征相似度的方法是:
如公式(6),计算查询图像的局部特征与前景目标图像的图像目标向量的局部特征的相似度,
式(6)中,X、Y分别表示查询图像的局部特征向量与前景目标图像的局部特征向量,M表示查询图像含有特征点的个数,表示查询图像中的第i个关键点,PY表示前景目标图像中特征点的集合,h(:)表示是否找到匹配点,公式如下:
式(7)中,PX表示查询图像中某个特征点,PY表示前景目标图像中特征点的集合,ratio为设定的比率阈值,d1为PX在PY中的最近邻距离,d2为PX在PY中的次近邻距离,sgn(:)为符号函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511009008.5A CN106933816A (zh) | 2015-12-29 | 2015-12-29 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511009008.5A CN106933816A (zh) | 2015-12-29 | 2015-12-29 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106933816A true CN106933816A (zh) | 2017-07-07 |
Family
ID=59459361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511009008.5A Withdrawn CN106933816A (zh) | 2015-12-29 | 2015-12-29 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106933816A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622229A (zh) * | 2017-08-29 | 2018-01-23 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
CN108182421A (zh) * | 2018-01-24 | 2018-06-19 | 北京影谱科技股份有限公司 | 视频分割方法和装置 |
CN108415937A (zh) * | 2018-01-24 | 2018-08-17 | 博云视觉(北京)科技有限公司 | 一种图像检索的方法和装置 |
CN108717525A (zh) * | 2018-05-09 | 2018-10-30 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
CN109697240A (zh) * | 2017-10-24 | 2019-04-30 | 中移(杭州)信息技术有限公司 | 一种基于特征的图像检索方法及装置 |
CN110019915A (zh) * | 2018-07-25 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 检测图片的方法、装置和计算机可读存储介质 |
CN110020123A (zh) * | 2017-10-19 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 一种推广信息投放方法、装置、介质及设备 |
CN110163218A (zh) * | 2019-04-10 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 基于图像识别的脱敏处理方法以及装置 |
CN110472081A (zh) * | 2019-08-23 | 2019-11-19 | 大连海事大学 | 一种基于度量学习的鞋图片跨域检索方法 |
CN111126384A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(青岛)科技有限公司 | 基于特征融合的商品分类系统及分类方法 |
CN111159456A (zh) * | 2019-12-30 | 2020-05-15 | 云南大学 | 基于深度学习与传统特征的多尺度服装检索方法及系统 |
CN111325777A (zh) * | 2018-12-14 | 2020-06-23 | 北京沃东天骏信息技术有限公司 | 用于处理图像的方法和装置 |
CN111522986A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
US10762607B2 (en) | 2019-04-10 | 2020-09-01 | Alibaba Group Holding Limited | Method and device for sensitive data masking based on image recognition |
CN111626213A (zh) * | 2020-05-27 | 2020-09-04 | 北京嘀嘀无限科技发展有限公司 | 一种身份验证方法、装置、电子设备及可读存储介质 |
CN111752286A (zh) * | 2020-03-09 | 2020-10-09 | 西南科技大学 | 一种小型无人船艇自动停泊方法 |
CN112182272A (zh) * | 2020-09-23 | 2021-01-05 | 创新奇智(成都)科技有限公司 | 图像检索方法及装置、电子设备、存储介质 |
CN112925937A (zh) * | 2021-02-22 | 2021-06-08 | 浙江大华技术股份有限公司 | 图像筛选方法、装置、存储介质及电子装置 |
CN113536005A (zh) * | 2021-09-17 | 2021-10-22 | 网娱互动科技(北京)股份有限公司 | 一种相似图片或字体查找方法和系统 |
CN114429605A (zh) * | 2022-01-25 | 2022-05-03 | 南京杰迈视讯科技有限公司 | 一种广域环境下动态随机目标的识别、定位与跟踪系统 |
CN118334383A (zh) * | 2024-06-13 | 2024-07-12 | 山东智航智能装备有限公司 | 一种变化检测样本更新方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663411A (zh) * | 2012-02-29 | 2012-09-12 | 宁波大学 | 一种目标人体识别方法 |
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
CN103150375A (zh) * | 2013-03-11 | 2013-06-12 | 浙江捷尚视觉科技有限公司 | 用于视频侦查的快速视频检索系统和方法 |
US20140185941A1 (en) * | 2013-01-02 | 2014-07-03 | Samsung Electronics Co., Ltd | Robust keypoint feature selection for visual search with self matching score |
CN104573085A (zh) * | 2015-01-28 | 2015-04-29 | 深圳酷派技术有限公司 | 图像检索方法、图像检索装置和终端 |
-
2015
- 2015-12-29 CN CN201511009008.5A patent/CN106933816A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663391A (zh) * | 2012-02-27 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | 一种图像的多特征提取与融合方法及系统 |
CN102663411A (zh) * | 2012-02-29 | 2012-09-12 | 宁波大学 | 一种目标人体识别方法 |
US20140185941A1 (en) * | 2013-01-02 | 2014-07-03 | Samsung Electronics Co., Ltd | Robust keypoint feature selection for visual search with self matching score |
CN103150375A (zh) * | 2013-03-11 | 2013-06-12 | 浙江捷尚视觉科技有限公司 | 用于视频侦查的快速视频检索系统和方法 |
CN104573085A (zh) * | 2015-01-28 | 2015-04-29 | 深圳酷派技术有限公司 | 图像检索方法、图像检索装置和终端 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622229A (zh) * | 2017-08-29 | 2018-01-23 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
CN107622229B (zh) * | 2017-08-29 | 2021-02-02 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
CN110020123A (zh) * | 2017-10-19 | 2019-07-16 | 腾讯科技(深圳)有限公司 | 一种推广信息投放方法、装置、介质及设备 |
CN110020123B (zh) * | 2017-10-19 | 2023-05-12 | 腾讯科技(深圳)有限公司 | 一种推广信息投放方法、装置、介质及设备 |
CN109697240B (zh) * | 2017-10-24 | 2020-12-22 | 中移(杭州)信息技术有限公司 | 一种基于特征的图像检索方法及装置 |
CN109697240A (zh) * | 2017-10-24 | 2019-04-30 | 中移(杭州)信息技术有限公司 | 一种基于特征的图像检索方法及装置 |
CN108182421B (zh) * | 2018-01-24 | 2020-07-14 | 北京影谱科技股份有限公司 | 视频分割方法和装置 |
CN108415937A (zh) * | 2018-01-24 | 2018-08-17 | 博云视觉(北京)科技有限公司 | 一种图像检索的方法和装置 |
CN108182421A (zh) * | 2018-01-24 | 2018-06-19 | 北京影谱科技股份有限公司 | 视频分割方法和装置 |
CN108717525A (zh) * | 2018-05-09 | 2018-10-30 | 北京学之途网络科技有限公司 | 一种信息处理方法、装置、计算机存储介质及终端 |
CN110019915A (zh) * | 2018-07-25 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 检测图片的方法、装置和计算机可读存储介质 |
CN111325777A (zh) * | 2018-12-14 | 2020-06-23 | 北京沃东天骏信息技术有限公司 | 用于处理图像的方法和装置 |
CN110163218A (zh) * | 2019-04-10 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 基于图像识别的脱敏处理方法以及装置 |
US10762607B2 (en) | 2019-04-10 | 2020-09-01 | Alibaba Group Holding Limited | Method and device for sensitive data masking based on image recognition |
CN110472081A (zh) * | 2019-08-23 | 2019-11-19 | 大连海事大学 | 一种基于度量学习的鞋图片跨域检索方法 |
CN110472081B (zh) * | 2019-08-23 | 2022-10-04 | 大连海事大学 | 一种基于度量学习的鞋图片跨域检索方法 |
CN111126384A (zh) * | 2019-12-12 | 2020-05-08 | 创新奇智(青岛)科技有限公司 | 基于特征融合的商品分类系统及分类方法 |
CN111159456A (zh) * | 2019-12-30 | 2020-05-15 | 云南大学 | 基于深度学习与传统特征的多尺度服装检索方法及系统 |
CN111159456B (zh) * | 2019-12-30 | 2022-09-06 | 云南大学 | 基于深度学习与传统特征的多尺度服装检索方法及系统 |
CN111752286A (zh) * | 2020-03-09 | 2020-10-09 | 西南科技大学 | 一种小型无人船艇自动停泊方法 |
CN111752286B (zh) * | 2020-03-09 | 2022-03-25 | 西南科技大学 | 一种小型无人船艇自动停泊方法 |
CN111522986A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
CN111522986B (zh) * | 2020-04-23 | 2023-10-10 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
CN111626213A (zh) * | 2020-05-27 | 2020-09-04 | 北京嘀嘀无限科技发展有限公司 | 一种身份验证方法、装置、电子设备及可读存储介质 |
CN112182272A (zh) * | 2020-09-23 | 2021-01-05 | 创新奇智(成都)科技有限公司 | 图像检索方法及装置、电子设备、存储介质 |
CN112182272B (zh) * | 2020-09-23 | 2023-07-28 | 创新奇智(成都)科技有限公司 | 图像检索方法及装置、电子设备、存储介质 |
CN112925937A (zh) * | 2021-02-22 | 2021-06-08 | 浙江大华技术股份有限公司 | 图像筛选方法、装置、存储介质及电子装置 |
CN113536005A (zh) * | 2021-09-17 | 2021-10-22 | 网娱互动科技(北京)股份有限公司 | 一种相似图片或字体查找方法和系统 |
CN113536005B (zh) * | 2021-09-17 | 2021-12-24 | 网娱互动科技(北京)股份有限公司 | 一种相似图片或字体查找方法和系统 |
CN114429605A (zh) * | 2022-01-25 | 2022-05-03 | 南京杰迈视讯科技有限公司 | 一种广域环境下动态随机目标的识别、定位与跟踪系统 |
CN114429605B (zh) * | 2022-01-25 | 2024-07-02 | 南京杰迈视讯科技有限公司 | 一种广域环境下动态随机目标的识别、定位与跟踪系统 |
CN118334383A (zh) * | 2024-06-13 | 2024-07-12 | 山东智航智能装备有限公司 | 一种变化检测样本更新方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106933816A (zh) | 基于全局特征和局部特征的跨镜头目标检索系统及方法 | |
CN110363122B (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
Yuan et al. | Robust traffic sign recognition based on color global and local oriented edge magnitude patterns | |
CN107506703B (zh) | 一种基于无监督局部度量学习和重排序的行人再识别方法 | |
CN105023008B (zh) | 基于视觉显著性及多特征的行人再识别方法 | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
CN108288033B (zh) | 一种基于随机蕨融合多特征的安全帽检测方法 | |
CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
CN109271932A (zh) | 基于颜色匹配的行人再识别方法 | |
CN109344842A (zh) | 一种基于语义区域表达的行人重识别方法 | |
CN104966305A (zh) | 基于运动矢量划分的前景检测方法 | |
CN111274964A (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
CN112464850A (zh) | 图像处理方法、装置、计算机设备及介质 | |
Alvarado-Robles et al. | An approach for shadow detection in aerial images based on multi-channel statistics | |
CN114863464A (zh) | 一种pid图纸图件信息的二阶识别方法 | |
Chen et al. | DB-BlendMask: Decomposed attention and balanced BlendMask for instance segmentation of high-resolution remote sensing images | |
CN113095332B (zh) | 一种基于特征学习的显著性区域检测方法 | |
CN107679467B (zh) | 一种基于hsv和sdalf的行人重识别算法实现方法 | |
Sabri et al. | Combination of color, shape and texture features for orchid classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170707 |
|
WW01 | Invention patent application withdrawn after publication |