CN111914754B - 一种图像内容相似度度量方法、装置及计算机设备 - Google Patents

一种图像内容相似度度量方法、装置及计算机设备 Download PDF

Info

Publication number
CN111914754B
CN111914754B CN202010768550.3A CN202010768550A CN111914754B CN 111914754 B CN111914754 B CN 111914754B CN 202010768550 A CN202010768550 A CN 202010768550A CN 111914754 B CN111914754 B CN 111914754B
Authority
CN
China
Prior art keywords
information
image
value
track
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010768550.3A
Other languages
English (en)
Other versions
CN111914754A (zh
Inventor
满庆奎
徐晓刚
毕海
焦振秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co ltd
Original Assignee
Hangzhou Yunqi Smart Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunqi Smart Vision Technology Co ltd filed Critical Hangzhou Yunqi Smart Vision Technology Co ltd
Priority to CN202010768550.3A priority Critical patent/CN111914754B/zh
Publication of CN111914754A publication Critical patent/CN111914754A/zh
Application granted granted Critical
Publication of CN111914754B publication Critical patent/CN111914754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像内容相似度度量方法、装置及计算机设备,一种图像内容相似度度量方法，其特征在于：按照时间先后顺序，缓冲N帧历史轨迹信息：信息内容包括：N帧图像特征信息，以及对应的尺寸信息：接着进行如下步骤：计算输入图片与第n个缓冲信息的尺寸变化情况，遍历所有的缓冲信息，寻找合适的历史轨迹目标特征；计算上步骤中的目标特征与输入查询图像特征Feature0的距离，得出相似度。本发明通过进行已有的尺寸信息约束的方式，对进行距离计算的特征进行有效的过滤，明显提升了准确度，算法效率高，对轨迹连接实时性方面几乎没有影响。

Description

一种图像内容相似度度量方法、装置及计算机设备
技术领域
本发明涉及视频监控技术领域，特别涉及一种图像内容相似度度量方法、装置及计算机设备。
背景技术
视频图像中目标检测完成以后，需要对检测的目标，根据图像的内容、位置、尺寸等信息进行跟踪串联，组成目标运动轨迹，为后续的视频图像内容理解做准备。目标在匹配过程中，需要考虑当前图像与历史轨迹的内容进行相似度的比对，如果能有效判别图像与轨迹的历史内容相似，会对最终轨迹连接起到很重要的作用。
虽然很多技术文章都在一些有效图像内容特征抽取工作，传统的技术比如颜色直方图，ColorName等技术不考虑图像的尺寸信息；强如深度学习技术，如果要考虑学习图像内容的尺寸位置信息，要设计复杂的网络进行关键点、部件检测进行对齐才可以有效的减少图像尺寸问题对计算结果准确性影响。这种方法对效率要求比较高的工程应用领域，太复杂的算法会导致效率不高。
为了有效的克服尺寸不对等导致计算结果不准确的影响，有几种工程实现的计算方式，(1)遍历所有的历史轨迹内容，计算每帧内容的相似度，时间复杂度比较高，缺点是：行人在整个轨迹运动的过程中是时刻变化的，如果时间太久的历史来计算相似度会比较容易产生误判，最终导致轨迹误匹配；(2)按照时间距离最近的历史进行特征计算匹配，考虑多个历史进行相似度的加权处理减少误差。正常场景下，时间上最近的内容是最近的，但是如果是该历史帧被其他物体遮挡了，容易得到一个尺寸不合适的历史轨迹图像进行了计算相似度，那么计算的轨迹相似度偏低，导致轨迹没有连接成功。
发明内容
本发明的目的在于，提供一种图像内容相似度度量方法。
轨迹连接过程中，很多跟踪算法中，图像内容是进行匹配区分的很关键的因素，如果从图像中特征选择的合适，就可以有效的进行时间上相邻的前后多帧数据匹配连接。由于视频图像目标检测时，场景复杂，同一个目标在不同时刻，位置、光照等因素都会检测出不同尺寸的目标，会存在，头部，上半身、半身，全身，腿部等图像。这些图像在进行相似度计算的时候，不同的尺寸、位置的图像进行计算相似度，很难做到准确。通过实验对比发现：同一个目标来说，尺寸比例比较相近时，进行相似度比较可靠，简单的说，头部对头部，上半身对上半身是比较科学的减小相似度度量误差的方法。
本发明从真实应用场景中的问题出发，考虑时间上、空间尺寸信息，提出一个有效的得到最优尺寸的目标图片的对应方法。
本发明的技术方案：一种图像内容相似度度量方法，按照时间先后顺序，缓冲N帧历史轨迹信息：
信息内容包括：N帧图像特征信息，以及对应的尺寸信息：
接着进行如下步骤：
计算输入图片与第n个缓冲信息的尺寸变化情况，遍历所有的缓冲信息，寻找合适的历史轨迹目标特征；
计算上步骤中的目标特征与输入查询图像特征Feature0的距离，得出相似度。
A、所述步骤一中找到最合适的历史轨迹目标特征包括如下步骤：
B、比较分析输入图片与第n帧图片两者高度的比例；
上述比例在(ThreshL,ThreshH)之间的，该帧图片便为合适的历史轨迹目标特征。
进一步的，如果缓冲区N帧历史轨迹都遍历完成，没有找到合适的轨迹信息，FindFirstFlag的值为False，那此时对应采用第一个的历史轨迹Feature1作为最优的特征Feature1st进行后续距离计算使用， FindFirstFlag置为True，FindSecondFlag置为False。
进一步的，所述步骤二中计算方法为，记两个K维的图像内容特征X，Y描述分别为：X(x1,x2,...,xK)，Y(y1,y2,...,yK)，对应的X，Y之间的图像内容相似度计算公式为：
Figure SMS_1
输入图片与轨迹的最优特征距离计算公式为：所有合适的历史轨迹帧图片与输入图片内容相似度的和。
本发明的优点在于：本发明分析目前处理轨迹图像相似度的流行技术的不足原因所在是，在提取特征是对整个图进行提取特征，没有了尺寸信息，考虑用深度学习的方式进行尺寸信息学习，需要进行部件分割等进行对齐操作；本发明考虑到同一个轨迹下的几帧历史之间目标尺寸坐标系，分辨率变化不大的特点，时间上从近到远，充分考虑到了真实视频跟踪场景中的应用需求。通过进行已有的尺寸信息约束的方式，对进行距离计算的特征进行有效的过滤，明显提升了准确度，算法效率高，对轨迹连接实时性方面几乎没有影响。
具体实施方式
下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：按照时间先后顺序，缓冲N帧历史轨迹信息，信息内容包括：N帧图像特征信息{FeatureN,FeatureN-1,...,Feature2,Feature1}，以及对应的尺寸信息{(xN,yN,wN,hN),(xN-1,yN-1,wN-1,hN-1),...,(x1,y1,w1,h1)}；其中， Featuren,xn,yn,wn,hn对应历史轨迹缓冲区中第n个特征和尺寸信息， n∈(1,N)。考虑到正常场景下目标一般都是容易下部被遮挡，对应的特征缓冲区的尺寸信息(xn,yn,wn)几乎是相对固定，可以认为与hn是独立不相关的信息，那么从算法效率考虑，只分析目标的高度变化情况。
步骤一、记输入查询的图片的特征、尺寸信息 Feature0,x0,y0,w0,h0，是否找到有效历史缓冲帧信息标志FindFirstFlag、 FindSecondFlag都置为False；
步骤二、计算输入图片与第n个缓冲信息的尺寸变化情况，n的初始值为1；分析h0与hn的比例关系：
如果，h0/hn的值在(ThreshL,ThreshH)之间，那么认为第n个轨迹缓冲信息是有效的，可以进行用来特征相似的计算，FindFirstFlag置为True，记录当前的Featuren为Feature1st,记录n的值为firstID，对应的 FindFirstFlag置为True。优选的，ThreshL＝0.66，ThreshH＝1.5。遍历结束，跳转步骤三。
否则，跳转步骤二，计算第n+1个的历史缓冲图像hn+1，计算h0/hn+1的值是否满足区间(ThreshL,ThreshH)约束，如果满足，FindFirstFlag置为True，记录当前的Featuren为Feature1st，n+1的值为firstID；
步骤三、如果FindFirstFlag为True，且firstID+1＜N，否则，跳转步骤四。
分析第firstID+1个的历史缓冲图像hn+1，计算h0/hfirstID+1的值是否满足区间(ThreshL,ThreshH)约束：
如果满足区间(ThreshL,ThreshH)约束，FeaturefirstID+1为Feature2nd， secondID的值为firstID+1，FindSecondFlag置为True，遍历结束，跳转步骤五；
否则，跳转步骤三，分析第firstID+2个的历史缓冲图像hfirstID+2，计算h0/hfirstID+2的值是否满足区间(ThreshL,ThreshH)约束，如果满足， FeaturefirstID+2赋值给Feature2nd，secondID的值为firstID+2，FindSecondFlag 置为True；
考虑到算法的复杂程度并结合实际应用中案例，本实施例寻找“合适的轨迹信息”只需两条便可；当然，该数量越多，处理结果会更精确，但是运算量大，运算速度慢。
步骤四、如果缓冲区N帧历史轨迹都遍历完成，没有找到合适的轨迹信息，FindFirstFlag的值为False，那此时对应采用第一个的历史轨迹Feature1作为最优的特征Feature1st进行后续距离计算使用， FindFirstFlag置为True，FindSecondFlag置为False；
步骤五、通过遍历找到最合适的历史轨迹目标特征，得到对应的特征Feature1st，Feature2nd。计算该特征与输入查询图像特征Feature0的距离。优先的，记两个K维的图像内容特征X，Y描述分别为： X(x1,x2,...,xK)，Y(y1,y2,...,yK)，对应的X，Y之间的图像内容相似度计算公式为：
Figure SMS_2
对应的输入图像与轨迹的最优特征距离计算公式为：
dist＝w1*simi(Feature0,Feature1st)+w2*simi(Feature0,Feature2nd)
其中，当FindSecondFlag值为False时，w1＝1,w2＝0，模块 simi(Feature0,Feature2nd)不用计算，当FindSecondFlag值为True时， w1＝0.7,w2＝0.3。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (3)

1.一种图像内容相似度度量方法，其特征在于：按照时间先后顺序，缓冲N帧历史轨迹信息：
信息内容包括：N帧图像特征信息，以及对应的尺寸信息：
接着进行如下步骤：
一、计算输入图片与第
Figure QLYQS_1
个缓冲信息的尺寸变化情况，遍历所有的缓冲信息，寻找合适的历史轨迹目标特征；
二、计算上步骤中的目标特征与输入图片的特征
Figure QLYQS_2
的相似度，得出输入图片与轨迹的距离；
所述步骤一的具体内容如下：
S11，记输入图片的特征、尺寸信息
Figure QLYQS_3
，是否找到有效历史缓冲帧信息标志/>
Figure QLYQS_4
、/>
Figure QLYQS_5
都置为/>
Figure QLYQS_6
；
S12，计算输入图片与第
Figure QLYQS_7
个缓冲信息的尺寸变化情况，/>
Figure QLYQS_8
的初始值为1；分析/>
Figure QLYQS_9
与/>
Figure QLYQS_10
的比例关系：
如果，
Figure QLYQS_13
的值在/>
Figure QLYQS_15
之间，那么认为第/>
Figure QLYQS_19
个轨迹缓冲信息是有效的，可以进行用来特征相似的计算，/>
Figure QLYQS_12
置为/>
Figure QLYQS_16
，记录当前的/>
Figure QLYQS_18
为/>
Figure QLYQS_21
,记录/>
Figure QLYQS_11
的值为/>
Figure QLYQS_14
，对应的/>
Figure QLYQS_17
置为/>
Figure QLYQS_20
；遍历结束，跳转S13；
否则回到S12，计算第
Figure QLYQS_23
个的历史缓冲图像/>
Figure QLYQS_26
，计算/>
Figure QLYQS_29
的值是否满足区间
Figure QLYQS_24
约束，如果满足，/>
Figure QLYQS_27
置为/>
Figure QLYQS_30
，记录当前的/>
Figure QLYQS_31
为
Figure QLYQS_22
，/>
Figure QLYQS_25
的值为/>
Figure QLYQS_28
；
S13，如果
Figure QLYQS_32
为/>
Figure QLYQS_33
，且/>
Figure QLYQS_34
，则进行如下处理，否则跳转至S14；
分析第
Figure QLYQS_35
个的历史缓冲图像/>
Figure QLYQS_36
，计算/>
Figure QLYQS_37
的值是否满足区间
Figure QLYQS_38
约束：
如果满足区间
Figure QLYQS_39
约束，/>
Figure QLYQS_40
为/>
Figure QLYQS_41
，/>
Figure QLYQS_42
的值为
Figure QLYQS_43
，/>
Figure QLYQS_44
置为/>
Figure QLYQS_45
，遍历结束，跳转步骤五；
否则，跳转S13，分析第
Figure QLYQS_48
个的历史缓冲图像/>
Figure QLYQS_50
，计算/>
Figure QLYQS_53
的值是否满足区间/>
Figure QLYQS_47
约束，如果满足，/>
Figure QLYQS_51
赋值给/>
Figure QLYQS_54
，/>
Figure QLYQS_55
的值为/>
Figure QLYQS_46
，/>
Figure QLYQS_49
置为/>
Figure QLYQS_52
；
S14，如果缓冲区N帧历史轨迹都遍历完成，没有找到合适的轨迹信息，
Figure QLYQS_57
的值为/>
Figure QLYQS_59
，那此时对应采用第一个的历史轨迹/>
Figure QLYQS_61
作为最优的特征/>
Figure QLYQS_58
进行后续距离计算使用，/>
Figure QLYQS_60
置为/>
Figure QLYQS_62
，/>
Figure QLYQS_63
置为/>
Figure QLYQS_56
。
2.根据权利要求1所述的一种图像内容相似度度量方法，其特征在于：所述步骤二中计算方法为，两个K维的图像内容特征
Figure QLYQS_64
，/>
Figure QLYQS_65
描述分别为：/>
Figure QLYQS_66
，/>
Figure QLYQS_67
，对应的/>
Figure QLYQS_68
，/>
Figure QLYQS_69
之间的图像内容相似度计算公式为：/>
Figure QLYQS_70
；
输入图片与轨迹的最优特征距离计算公式为：所有合适的历史轨迹帧图片与输入图片内容相似度加权后的和。
3.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现如权利要求1至2任一所述的图像内容相似度度量方法。
CN202010768550.3A 2020-08-03 2020-08-03 一种图像内容相似度度量方法、装置及计算机设备 Active CN111914754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768550.3A CN111914754B (zh) 2020-08-03 2020-08-03 一种图像内容相似度度量方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768550.3A CN111914754B (zh) 2020-08-03 2020-08-03 一种图像内容相似度度量方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN111914754A CN111914754A (zh) 2020-11-10
CN111914754B true CN111914754B (zh) 2023-06-30

Family

ID=73287816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768550.3A Active CN111914754B (zh) 2020-08-03 2020-08-03 一种图像内容相似度度量方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111914754B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650695A (zh) * 2016-12-30 2017-05-10 苏州万店掌网络科技有限公司 一种基于视频分析技术的跟踪统计人流量的系统
CN115311330B (zh) * 2019-10-11 2023-04-07 杭州云栖智慧视通科技有限公司 一种基于位置预测的视频多目标跟踪方法
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
CN111008574A (zh) * 2019-11-22 2020-04-14 智慧视通(杭州)科技发展有限公司 一种基于形体识别技术的重点人员轨迹分析方法

Also Published As

Publication number Publication date
CN111914754A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
US11302315B2 (en) Digital video fingerprinting using motion segmentation
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
US8326042B2 (en) Video shot change detection based on color features, object features, and reliable motion information
Rongved et al. Real-time detection of events in soccer videos using 3D convolutional neural networks
CN107798272A (zh) 快速多目标检测与跟踪系统
JPH10294923A (ja) シーンチェンジ検出方法およびシーンチェンジ検出装置
WO2019184441A1 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
CN111340842B (zh) 一种基于联合模型的相关滤波目标跟踪方法
KR20210116953A (ko) 타겟 트래킹 방법 및 장치
Zhao et al. Effective local and global search for fast long-term tracking
CN113744316A (zh) 一种基于深度神经网络的多目标跟踪方法
CN109460724B (zh) 基于对象检测的停球事件的分离方法和系统
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
CN111914754B (zh) 一种图像内容相似度度量方法、装置及计算机设备
CN116109975B (zh) 电网安全作业监控图像处理方法及智能视频监控系统
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
Algethami et al. Combining Accumulated Frame Differencing and Corner Detection for Motion Detection.
CN110889347A (zh) 基于时空计数特征的密度交通流计数方法及系统
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
CN115033740A (zh) 一种rpa流程视频关键帧抽取和元素定位方法
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
Helm et al. Video Shot Analysis for Digital Curation and Preservation of Historical Films.
CN113784026A (zh) 基于图像的计算位置信息的方法、装置、设备及存储介质
Zhang et al. What makes for good multiple object trackers?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant