CN110147809A - 图像处理方法及装置、存储介质及图像设备 - Google Patents

图像处理方法及装置、存储介质及图像设备 Download PDF

Info

Publication number
CN110147809A
CN110147809A CN201910251038.9A CN201910251038A CN110147809A CN 110147809 A CN110147809 A CN 110147809A CN 201910251038 A CN201910251038 A CN 201910251038A CN 110147809 A CN110147809 A CN 110147809A
Authority
CN
China
Prior art keywords
matching
feature point
feature
point set
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910251038.9A
Other languages
English (en)
Other versions
CN110147809B (zh
Inventor
侯晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Platform (beijing) Mdt Infotech Ltd
Original Assignee
Bright Wind Platform (beijing) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Platform (beijing) Mdt Infotech Ltd filed Critical Bright Wind Platform (beijing) Mdt Infotech Ltd
Publication of CN110147809A publication Critical patent/CN110147809A/zh
Application granted granted Critical
Publication of CN110147809B publication Critical patent/CN110147809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像处理方法及装置、存储介质及图像设备。所述图像处理方法，包括：获取第一图像的第一特征点集；获取第二图像的第二特征点集；以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；根据所述匹配参数，确定第二图像的曲面形变。

Description

图像处理方法及装置、存储介质及图像设备
本申请要求申请号为：201910175084.5申请日为2019年03月08日递交的中国申请的优先权。
技术领域
本申请涉及图像技术领域，尤其涉及一种图像处理方法及装置、存储介质及图像设备。
背景技术
在基于图像的目标追踪的过程中，由于目标的运动或柔性形变等原因，会使得在不同时刻采集的图像中目标的呈现形态出现变化，甚至被部分遮挡等。相关技术中提出了多种技术进行基于图像的目标追踪方法，但是这些方法大多都依赖建立局部的外观匹配关系，出现的精确度低的问题，或者，由于图像的纹理质量太差，导致目标追踪失败的概率大的问题。
发明内容
本申请实施例提供一种图像处理方法及装置、存储介质及图像设备。
一种图像处理方法，包括：
获取第一图像的第一特征点集；
获取第二图像的第二特征点集；
以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
根据所述匹配参数，确定第二图像的曲面形变。
一种图像处理装置，包括：
第一获取模块，用于获取第一图像的第一特征点集；
第二获取模块，用于获取第二图像的第二特征点集；
匹配模块，用于以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
第一确定模块，用于根据所述匹配参数，确定第二图像的曲面形变。
一种图像设备，包括：
存储器，至少用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，能够实现前述任意技术方案提供的图像处理方法。
本申请实施例提供的技术方案，在进行可应用于目标追踪的图像处理过程中，首先获取包含有需要追踪的目标成像的第一图像中的第一特征点集，然后，在后续获取的第二图像中同样提取出第二特征点集。在进行特征点匹配时，不再是采用单点匹配，而是采用至少包含两个特征点的匹配单位进行第一特征点集和第二特征点集中特征点的匹配，如此，可以利用匹配单位内多个特征点之间在目标上的空间分布等相互制约关系，提升了特征点之间的匹配精确度，减少因为单点匹配误差大导致的第二图像的曲面形变误差大，进而导致的目标跟踪的精确度低，或者，目标跟踪丢失现象多的问题。总之，本申请实施利提供的技术方案可以提升目标跟踪的精确度及跟踪的成功率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的第一种图像处理方法的流程示意图；
图2为本申请实施例提供的第二种图像处理方法的流程示意图；
图3为本申请实施例提供的基于备选曲面形变及匹配参数迭代确定第二图像的曲面形变的流程示意图；
图4为本申请实施例提供的一种图像处理装置的结构示意图；
图5为本申请实施例提供的几种待处理的第二图像；
图6至图9为本申请实施例提供的方法与相关方法对几种类型表明跟踪效果的比对示意图。
具体实施方式
下面结合附图对本申请作进一步详细描述。
如图1所示，本实施例提供一种图像处理方法，包括：
步骤S110：获取第一图像的第一特征点集；
步骤S120：获取第二图像的第二特征点集；
步骤S130：以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
步骤S140：根据所述匹配参数，确定第二图像的曲面形变。
本实施例提供的图像处理方法，可以应用于各种具有图像处理功能的图像设备，例如，所述图像设备包括但不限于：台式电脑、笔记本电脑、手机、服务器或者服务器组等。
在本实施例中，所述第一图像可为包含有需要追踪的目标的成像。所述第二图像为新采集的可能包含有所述目标的图像。
在本实施例中，通过各种图像处理会获得所述第一图像的第一特征点集，该第一特征点集包含一个或多个特征点。在步骤S120中可以采用获取第一特征点集的特征点提取方法，从所述第二图像中提取出所述第二图像的特征点，从而构成包含一个或多个特征点的第二特征点集。
例如，利用特征点提取算法(SURF算法、SIFT算法、HOG算法等)或者，兴趣点检测算法等对所述第一图像和第二图像进行处理，确定出构成所述第一特征点集及第二特征点集的特征点。值得注意的是：检测所述第一特征点集和第二特征点集的特征点的方式有多种，具体实现时不局限于上述任意一种。
所述第一特征点集中的特征点可用于表征所需追踪目标在图像中的成像特点，或外表面的可视化特点。
在获得第一特征点集及第二特征点集之后，会进行第一特征点集与第二特征点集内特征点的匹配，获得所述匹配参数。该匹配参数，
为了区分，在本申请实施例中将第一特征点集内的特征点称为第一特征点；将第二特征点集中的特征点称之为第二特征点。在获得第一特征点集和第二特征点集后，会进行第一特征点和第二特征点的匹配。
在本实施例中，进行特征点的匹配时，不再是仅进行特征点的单点匹配(又称之为一元匹配或一元投影)，而是以由至少两个特征点构成的一个匹配单位进行的。例如，一个匹配单位可为：由两个特征点组成的匹配对。例如，一个所述匹配单位还可为：由3个或3个以上特征点组成的匹配组。
例如，若所述匹配单位是由两个特征点构成的匹配对，则在进行第一特征点集和第二特征点集的匹配时，将第一特征点集中的两个特征点为一个匹配单位，将第二特征点集中的两个特征点为另一个匹配单位，进行这两个匹配单位之间的匹配，获得表征是否匹配和/或匹配程度的所述匹配参数。
在步骤S130获得匹配参数之后，就可以根据该匹配参数确定出第二图像的曲面形变。该曲面形变可为第二图像相对于第一图像的曲面形变，或者，第二图像相对于原始的参考图像的曲面形变。例如，第一图像相对原始的参考图像具有第一曲面形变，通过执行步骤S110至步骤S140，就可以基于第一图像间接得到所述第二图像相对于原始的参考图像的曲面形变。在进行多张图像的曲面形变的求取过程中，所述原始的参考图像可为默认未发生曲面形变的图像。
基于该曲面形变可确定出所述第二图像是否为目标在形变之后的图像。故通过上述曲面形变的求取，可以实现目标的追踪。在本实施例中，以包含至少两个特征点的匹配单位进行特征点的匹配，如此，相对于进行单点的匹配，减少了这种没有考虑到目标的空间结构特点所产生的目标追踪精确度差的问题，同时在图像纹理质量差时也可以基于这种匹配单元内特征点的相互约束关系，提高目标追踪的成功率，故具有目标追踪的精确度高及追踪成功率高的特点。
在一些实施例中，所述步骤S130可包括：
以两个特征点形成的特征点对为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得指示特征点对之间匹配状况的匹配参数。
在本实施例中所述匹配参数为指示匹配状况的各种参数。该匹配状况可为是否匹配和/或匹配程度。可选地，所述匹配参数可为0到1之间匹配概率。匹配概率越大，则来自不同匹配特征点集的两个匹配单位的匹配程度就越高。故，所述步骤S101可包括：确定第一特征点集中第一特征点和所述第二特征点集中第二特征点单点匹配的匹配概率。
当然在一些实施例中，所述匹配参数还可以是指示是否匹配的两个状态的指示参数构成。
在一些实施例中，如图2所示，所述方法还包括：
步骤S101：获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数；
所述步骤S130可包括：以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数。
在本实施例中，一个匹配单位为一个匹配对。一方面利用匹配对内两个特征点的相互关系制约，减少一元投影导致的错误，从而提升精确度；另一方面，一个匹配单位一个匹配对，相对于3个或3个以上的特征点形成的匹配单位，可以减少过多约束导致的计算量大等现象，从而提升效率。
在本实施例中，以两个特征点为一个匹配单位的匹配是软匹配，而非硬匹配。此处的软匹配生成的软匹配参数，而硬匹配生成的硬匹配参数。所述硬匹配参数是用于指示是否匹配的参数，通常是利用硬匹配参数可由二值化的取值进行指示。而软匹配参数是能够指示匹配程度的参数，例如，利用0到1之间的取值来指示匹配程度的高低。
在一些实施例中，所述步骤S101可包括：基于所述匹配概率，生成匹配矩阵。
在本实施例中，所述单点匹配也可以称之为一元投影。一元投影是将第一特征点集中的单个特征点与第二特征点集中的单个特征点的匹配。将单点匹配的匹配概率作为匹配矩阵的元素。
例如，若第一特征点集有N个第一特征点，第二特征点集有M个第二特征点，则这N个第一特征点和M个第二特征点，会形成一个包括N*M个匹配概率的匹配矩阵。
在另一些实施例中，基于匹配概率生成的不一定是匹配矩阵，还可以是其他形式的匹配参数，例如，匹配向量等。
在一些实施例中，所述以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数，包括：
以至少两个特征点为一个匹配单位，基于所述第二图像初始的备选曲面形变进行所述第一特征点集和所述第二特征点集中特征点的匹配，在所述第一匹配参数中选择出所述第二匹配参数，其中，所述第二图像初始的备选曲面形变为所述第一图像的曲面形变。
由于第一特征点集和第二特征点集中都有多个特征点，例如，第一特征点集中包含有M1个第一特征点，第二特征点集中包含有M2个第二特征点。备选曲面形变确定了M1个第一特征点中的第一特征点，与第二特征点集中哪一个第二特征点进行匹配。例如，一组点对匹配第一特征点的序号为(i，j)和第二特征点的序号为(a，b)，则由于备选曲面形变的存在就知道了(i，j)和(a，b)的具体取值。
在本实施例中进行目标追踪时会连续的拍摄多张照片或者直接采集形成视频。所述第一图像和第二图像可来自连续采集的照片或视频的连续的帧中。如此，第二图像以第一图像的曲面形变为初始的备选曲面形变，相对于以任意备选曲面形变开始进行迭代，可以大大的减少计算量，提升迭代效率。
在步骤S140中确定所述第二图像的曲面形变时可能是一个迭代的过程。此时，所述步骤S130中的匹配参数为初始的匹配参数，进行曲面形变的确认过程中也会引入初始的曲面形变，
由于第一图像和第二图像来自一个视频的两个相邻帧或者相邻采集的两个照片，如此，采集时间间隔很短，基于目标形变的连续性，第二图像中目标表面的形变不会产生阶跃性变化，如此，利用第一图像的曲面形变作为第二图像初始的曲面形变，可以通过迭代优化快速的确定出所述第二图像的曲面形变。
在一些实施例中，所述步骤S130中的第一匹配参数同样可为基于第二图像初始的曲面形变确定的，即是基于第一图像的曲面形变确定的。
所述方法还包括：
基于以两个特征点为一个匹配单位的特征点匹配，生成包含有多个潜在匹配的候选匹配集；
过滤掉所述候选匹配集中不满足约束条件的潜在匹配；
所述步骤S130可包括：
从所述第一匹配参数中确定出过滤后的候选匹配集中的潜在匹配的第二匹配参数。
例如，第一图像的第一特征点集和第二特征点均包括N个特征点，则特征点之间的潜在匹配包括N*N个。这N*N个匹配构成了所述候选匹配集。
有些潜在匹配实际上是可能不会发生的或者发生的概率极其低，若需要遍历每一种潜在匹配，则可能导致计算量大的问题。
在本实施例中，为了减少这种计算量的问题，在本实施例中会基于约束条件过滤掉不满足约束条件的潜在匹配，过滤掉不符合约束条件的潜在匹配之后，所述候选匹配集包含的潜在匹配的数目就减少了。
如此，在确定第二匹配参数时，仅需考虑过滤后的候选集中的潜在匹配的第二匹配参数。
所述过滤掉所述候选匹配集中不满足约束条件的潜在匹配，包括：
基于前一帧的曲面形变确定所述候选匹配集中的第一特征点的形变；基于所述第一特征点的形变和所述第二特征点之间的距离，确定所述潜在匹配是否满足几何约束条件；
确定第一特征点的光度描述符和所述第二特征点的光度描述符，确定所述潜在匹配是否满足外观约束条件；
过滤掉所述候选匹配集中不满足所述几何约束条件和/或外观约束条件的所述潜在匹配。
在一些实施例中，过滤所述潜在匹配的约束条件包括但不限于所述几何约束条件和/或外观约束条件。
例如，可以采用如下公式确定对应的潜在匹配是否满足所述约束条件：
其中，为过滤后的候选匹配集；εg为判定是否满足几何约束条件的容忍阈值；∈a为判定是否满足外观几何条件的容忍阈值。ψt-1为前一帧的曲面形变，此处的ψt-1可为第一图像的曲面形变；为第一特征点的形变。为第一特征点的光度描述符；fa为第二特征点的光度描述符。
在一些实施例中，判定潜在曲面形变是否满足约束条件包括但不限定：外观约束条件和/或几何约束条件。
例如，假设过滤前候选匹配集包括S个潜在匹配，然后基于约束条件的过滤可以过滤掉s1个潜在匹配，则过滤后的候选匹配集中仅包括S-s1个潜在匹配。
此处的前一帧的曲面形变为本帧图像(即第二图像)初始的曲面形变。
在本实施例中，如图3所示，所述步骤S140具体可包括：
步骤A1：根据所述备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差；
步骤A2：若所述匹配误差满足收敛条件或达到最大迭代次数时停止迭代，并在停止迭代时获得的所述备选曲面形变作为最终的曲面形变输出；
步骤A3：若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变；
步骤A4：根据所述备选曲面形变更新所述匹配参数，并返回步骤A1。
在本实施例中，所述步骤S140确定曲面形变是一个迭代的过程。
在步骤A1中首先会基于当前的备选曲面形变和匹配参数，计算出一个匹配误差。例如，通过查表的方式确定所述匹配误差，或者通过预先定义的公式计算所述匹配误差。
所述匹配误差满足收敛条件可包括以下至少之一：
当前的匹配误差为多次迭代中的最小匹配误差；
当前的匹配误差小于误差阈值。
若当前匹配误差满足收敛条件，说明当前不同特征点集中的特征点的匹配是最优的，则可认为当前匹配所对应的形变就是最优的曲面形变，可以停止迭代。在一些情况下，可能匹配误差没有最小值，多个曲面形变的误差相同或差异不大，则可能多次迭代所述匹配误差依然无法满足收敛条件。此时，图像设备会获取迭代次数，若迭代次数已经达到最大迭代次数，则直接以当前的备选曲面形变作为第二图像的曲面形变输出。
若匹配误差一直不能满足收敛条件且已经达到最大迭代次数，为了减少反复迭代导致的死循环，在本实施例中若达到最大迭代次数即便匹配误差未满足收敛条件也会停止迭代。
在停止迭代以后利用停止迭代时所对应的备选曲面形变作为第二图像最终优化后的曲面形变输出。
若未满足收敛条件且未达到最大迭代次数，则需要继续迭代；若需要继续迭代会进入到步骤A3，会更新所述备选曲面形变，更新备选曲面形变之后，对应的会重新计算匹配参数，从而在步骤A4中会重新计算匹配参数。如此返回步骤A1，将根据更新后的匹配参数及备选曲面形变，重新计算所述匹配误差。如此反复完成通过迭代以精确获得第二图像的曲面形变。
以下以匹配单位为一个匹配对为例进行说明。
在步骤A1中可利用公式ε(C，ψ)＝∑i，j∑a，b d(ψ，i，j，a，b)Ci，aCj，b计算匹配误差。
计算匹配误差ε(C，ψ)，其中，C为匹配矩阵，对应于前述第一匹配参数；ψ为备选曲面形变。i，j为来自第一特征点集的两个特征点的序号，a，b为来自第二特征点集的两个特征点(pa，pb)的序号，Ci，a为特征点的匹配参数，Cj，b为特征点的匹配参数。所述Ci，a和Cj，b对应于前述的第二匹配参数。d(ψ，i，j，a，b)为匹配对和匹配对(pa，pb)的一致性。
在步骤A3中可以利用如下函数更新备选曲面形变；
ψ*为更新后的备选曲面形变；dgeo(ψ，i，j，a，b)为匹配对(i，j)和匹配对(a，b)的几何一致性；eind(i，a)为的一元投影误差编码。λ为惩罚系数。s.t.表示约束条件。0m×n代表m×n的全零矩阵，1n代表n个1组成的列向量，≥和≤是分别是元素级别的大于和小于，li，j表示点和点之间的测地距离的约束。在匹配关系C上的约束保证了每个点最多只能参与一次匹配。而对形变ψ的约束是不可扩展约束，为的是防止相邻点之间的欧几里得距离超过界限。Emesh为由特征点形成的边集。
在A4中可以根据如下公式更新所述匹配参数：
c*为更新后的匹配参数，λ为惩罚系数，λcTe(ψ)为惩罚项；e(ψ)为一元投影误差；c为更新前的匹配参数，cT为c的转置；K(ψ)为匹配对和匹配对(pa，pb)对应的affinity矩阵。
Bc≤1m+n是一对一匹配约束。B可通过如下方式获得：
B可以分解为两部分B＝[B1；B2]，其中B1∈{0，1}m×mn，B2∈{0，1}n×mn。B1和B2定义如下：
ind(·，·)表示将两个节点间的匹配映射到一个整数序号的双射函数。B1i，k为B1的第i行第k个元素；B2i，k为B2的第j行第k个元素。
通过上述步骤A1至步骤A4的迭代就可以找到第二图像的曲面形变，从而方便后续根据曲面形变确定第二图像是否为跟踪目标的图像。
在一些实施例中，所述步骤A1可包括：
确定第一匹配单位和第二匹配单位的匹配概率，其中，所述第一匹配单位包括多个第一特征点，所述第一特征点为所述第一特征点集的特征点；所述第二匹配单位包括多个第二特征点，所述第二特征点为所述第二特征点集的特征点；
确定第一匹配单位和第二匹配单位的一致性；
基于所述一致性，确定匹配误差。
所述匹配概率可为前述公式中的Ci，a和Cj，b。
所述一致性可包括：几何一致性和/或外观一致性。外观一致性可以用于衡量两个匹配单位中的特征点之间在外观上的相似性或相容性；所述几何一致性可以用于衡量两个匹配单位中的特征点之间在几何空间上的相似性或相容性。
在一些实施例中，所述确定所述第一特征点集中第一匹配单位和第二特征点集中第二匹配单位的一致性，包括：
确定所述第一匹配单位和所述第二匹配单位的外观一致性；
确定所述第一匹配单位和所述第二匹配单位的几何一致性。
在本实施例中，同时结合外观一致性和几何一致性进行匹配误差的求解，从而从外观和几何空间的两个维度实现了两个匹配单位之间的精确匹配，能够进一步提升第二图像的曲面形变的精确度，从而提升目标追踪的精确度。
在一些实施例中，所述确定所述第一匹配单位和所述第二匹配单位的外观一致性，包括：
根据第一光度描述符和第二光度描述符，确定所述外观一致性，其中，所述第一光度描述符为所述第一特征点的光度描述符；所述第二光度描述符为所述第二特征点的光度描述符。
例如，确定所述外观一致性可以利用以下公式但是不限于以下公式：
dapp(i，j，a，b)为所述外观一致性；和fa分别是特征点和pa的光度描述符；同理，和fb分别是特征点和pb的光度描述符。
在一些实施例中，所述确定所述第一匹配单位和所述第二匹配单位的几何一致性，包括：
基于所述备选曲面形变确定所述第一特征点的形变；
基于所述第一特征点的形变确定所述几何一致性。
例如，确定所述几何一致性可以利用以下公式但是不限于以下公式：
dgeo(ψ，i，j，a，b)为所述几何一致性。为特征点在曲面形变ψ下的形变；特征点在曲面形变ψ下的形变。τ为映射函数：用于将每个三维网格中的点映射成2D图像的点。相机的外参用于将世界坐标中的点转化到相机坐标中，相机的内参用于将该相机坐标进一步转化到图像坐标中。
在一些实施例中，所述根据所述备选曲面形变及匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差，包括：
确定单个所述第二特征点与单个所述第一特征点之间的一元投影误差；
根据所述一元投影误差，确定所述匹配误差。
例如，所述匹配误差的求解公式可写成ε(C，ψ)＝cTK(ψ)c+λcTe(ψ)；其中，e(ψ)即为所述一元投影误差。
在一些实施例中，所述方法还包括：
根据所述第二特征点和所述第一特征点之间一元投影误差及相容性，确定惩罚系数；
基于所述一元投影误差及所述惩罚系数，计算惩罚项；
根据所述惩罚项，确定所述匹配误差。
公式中ε(C，ψ)＝cTK(ψ)c+λcTe(ψ)中的λ即为所述惩罚系数。λcTe(ψ)即为所述惩罚项。
在一些实施例中，所述惩罚系数可为预先设定的，也可以是根据当前匹配情况动态确定的。
例如，可以利用如下公式动态确定所述惩罚系数：
|Ki，j(ψ)|代表的是Ki，j(ψ)的绝对值，|Dt|指的是候选匹配集Dt的大小。Ki，j(ψ)为与匹配的一致性；N为特征点个数；∑iei(ψ)为第一特征点集中特征点的累加的一元投影误差。
在一些实施例中，所述若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变，包括：
基于所述匹配误差进行备选曲面形变优化的松弛问题求解，以优化所述备选曲面形变。
所述松弛问题求解可为：图匹配过程中的离散约束或一一映射约束进行松弛，松弛后的问题称为松弛图匹配问题。
基于匹配误差进行备选曲面形变优化的松弛问题求解的方式有多种，以下提供一种可选方式，例如，基于Frank-Wolfe算法的方法来相对于匹配关系c来最小化的优化求解，通过c的优化求解，从而实现备选曲面形变的优化求解。
设定，％ψ0：给定的形变；％Ω：可能的c的解空间；则进行c的优化求解过程可包括：
1：初始化：计算矩阵K(ψ0)和向量e(ψ0)
2：初始化：初始化匹配关系c为随机的
3：若c没有收敛，则执行以下步骤：
4：g＝2K(ψ0)c+e(ψ0)
5：y＝arg miny gTy，s.t.y∈Ω
6：β＝arg minβελ(c+β(y-c))，s.t.0≤β≤1
7：c←c+β(y-c)
8：返回步骤3；
9：输出c。
在一些实施例中，所述基于所述匹配误差进行备选曲面优化的松弛问题求解，以优化所述备选曲面形变，包括：
基于采集所述第二图像的相机参数、及基于所述备选曲面形变获得所述第二特征点的投影点与所述第一特征点之间的距离，通过线性规划进行所述松弛问题求解，以优化所述备选曲面形变。
例如，给定一个匹配关系c，(也就是对应矩阵C)，备选曲面的优化可以简化成按下列公式求解最优形变：
按照下式放松上式中的第一项：
因此，备选曲面形变的优化被放松为一个线性拟合问题：
wi，a＝Ci，a(∑iCi，a+∑aCi，a)+λ是每一个样本的权重。备选曲面形变的放松问题可以进一步重新表述为一个相对于网格顶点坐标的条件良好的线性系统：
其中M是一个系数矩阵，A是正则化矩阵，r是标量系数，用于定义对解决方案的规范程度。M是根据相机参数、特征点的坐标、匹配矩阵c等信息经过一系列计算而得到。x是待求解的网格顶点坐标，例如，x是待求解的网格顶点的的3D坐标；x*是求解后的最优的网格顶点坐标。
在一些实施例中，所述步骤S120可包括：
根据所述第二图像中像素的二维特征响应，获得构建所述第二特征点集的二维特征点。
第二图像由多个像素构成，这些像素具有像素值。例如，对于RGB图像，一个像素的像素值包括R值、G值和B值。这些值在不同的图像特征提取算法中会产生对应的二维响应。故在本实施例中可以通过第二图像中像素的二维特征响应，构建第二特征点集的二维特征点。此处的二维特征点为位于图像坐标系内的平面的特征点。此处的二维特征点可为前述第二特征点集中的特征点的一种。
进一步地，所述根据所述第二图像中像素的二维特征响应，获得构建所述第二特征点集的二维特征点，包括：
基于预定特征提取算法确定出所述第二图像中预定图像区域的局部极值；
根据所述局部极值，确定构建所述第二特征点集的二维特征点。
例如，所述特征提取算法可采用但不限于尺度不变特征变换(Scale-invariantfeature transform，SIFT)算法、加速鲁棒特征(Speed Up Robust Features，SURF)算法、方向梯度直方图(Histogram of Oriented Gradient，HOG)算法等。例如，利用SIFT算法确定出第二图像中预定图像区域的局部极值，可包括：利用SIFT算法获得预定图像区域中最大响应的像素点作为二维特征点。故此处的局部极值为局部极大值。
再例如，若所述特征提取算法处理后使得能够表征需追踪目标的像素的响应最小，则可以采用局部极小值所对应的像素作为所述二维特征点。
如图4所示，本实施例提供一种图像处理装置，包括：
第一获取模块110，用于获取第一图像的第一特征点集；
第二获取模块120，用于获取第二图像的第二特征点集；
匹配模块130，用于以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
第一确定模块140，用于根据所述匹配参数，确定第二图像的曲面形变。
在一些实施例中，所述第一获取模块110、第二获取模块120、所述匹配模块130及所述第一确定模块140可为程序模块；所述程序模块被处理器执行后，能够实现所述第一特征点集、第二特征点集的获取、匹配参数及曲面形变的确定。
在另一些实施例中，所述第一获取模块110、第二获取模块120、所述匹配模块130及所述第一确定模块140可软硬结合模块，所述软硬结合模块可包括各种可编程阵列；所述可编程阵列包括但不限于现场可编程阵列和复杂可编程阵列等。
在还有一些实施例中，所述第一获取模块110、第二获取模块120、所述匹配模块130及所述第一确定模块140可为纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。
在另一些实施例中，所述匹配模块130，具体用于以两个特征点形成的特征点对为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得指示特征点对之间匹配状况的匹配参数。
在一些实施例中，所述装置还包括：
第三获取模块，用于获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数；
所述匹配模块130，具体用于以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数。
在一些实施例中，所述第三获取模块，具体用于确定第一特征点集中第一特征点和所述第二特征点集中第二特征点单点匹配的匹配概率。
在一些实施例中，所述第三获取模块，具体用于基于所述匹配概率，生成匹配矩阵。
在一些实施例中，所述匹配模块130，还具体用于以至少两个特征点为一个匹配单位，基于所述第二图像初始的备选曲面形变进行所述第一特征点集和所述第二特征点集中特征点的匹配，在所述第一匹配参数中选择出所述第二匹配参数，其中，所述第二图像初始的备选曲面形变为所述第一图像的曲面形变。
在一些实施例中，所述第一确定模块140，包括：
第一子模块，用于根据备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差；
第二子模块，用于若所述匹配误差满足收敛条件或达到最大迭代次数时停止迭代，并在停止迭代时获得的所述备选曲面形变作为最终的曲面形变输出；
第三子模块，用于若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变；
第四子模块，用于根据所述备选曲面形变更新所述匹配参数。
在一些实施例中，所述第一子模块，具体用于确定第一匹配单位和第二匹配单位的匹配概率，其中，所述第一匹配单位包括多个第一特征点，所述第一特征点为所述第一特征点集的特征点；所述第二匹配单位包括多个第二特征点，所述第二特征点为所述第二特征点集的特征点；确定第一匹配单位和第二匹配单位的一致性；基于所述一致性，确定匹配误差。
在一些实施例中，所述第一子模块，还用于确定所述第一匹配单位和所述第二匹配单位的外观一致性；确定所述第一匹配单位和所述第二匹配单位的几何一致性。
在一些实施例中，所述第一子模块，具体用于根据第一光度描述符和第二光度描述符，确定所述外观一致性，其中，所述第一光度描述符为所述第一特征点的光度描述符；所述第二光度描述符为所述第二特征点的光度描述符。
在一些实施例中，所述第一子模块，具体用于基于所述备选曲面形变确定所述第一特征点的形变；基于所述第一特征点的形变确定所述几何一致性。
在一些实施例中，所述第一子模块，具体用于确定单个所述第二特征点与单个所述第一特征点之间的一元投影误差；根据所述一元投影误差，确定所述匹配误差。
在一些实施例中，所述装置还包括：
第二确定模块，用于根据所述第二特征点和所述第一特征点之间一元投影误差及相容性，确定惩罚系数；
计算模块，用于基于所述一元投影误差及所述惩罚系数，计算惩罚项；
所述第一子模块，具体用于根据所述惩罚项，确定所述匹配误差。
在一些实施例中，所述第三子模块，具体用于基于所述匹配误差进行备选曲面形变优化的松弛问题求解，以优化所述备选曲面形变。
在一些实施例中，所述第三子模块，具体用于基于采集所述第二图像的相机参数、及基于所述备选曲面形变获得所述第二特征点的投影点与所述第一特征点之间的距离，通过线性规划进行所述松弛问题求解，以优化所述备选曲面形变。
在一些实施例中，所述第二获取模块120，具体用于根据所述第二图像中像素的二维特征响应，获得构建所述第二特征点集的二维特征点。
在一些实施例中，所述第二获取模块120，具体用于基于预定特征提取算法确定出所述第二图像中预定图像区域的局部极值；根据所述局部极值，确定构建所述第二特征点集的二维特征点。
在一些实施例中，所述装置还包括：
生成模块，用于基于以两个特征点为一个匹配单位的特征点匹配，生成包含有多个潜在匹配的候选匹配集；
过滤模块，用于过滤掉所述候选匹配集中不满足约束条件的潜在匹配；
所述匹配模块，具体用于从所述第一匹配参数中确定出过滤后的候选匹配集中的潜在匹配的第二匹配参数。
在一些实施例中，所述过滤模块，具体基于前一帧的曲面形变确定过滤后的所述候选匹配集中的第一特征点的形变；基于所述第一特征点的形变和所述第二特征点之间的距离，确定所述潜在匹配是否满足几何约束条件；
确定第一特征点的光度描述符和所述第二特征点的光度描述符，确定所述潜在匹配是否满足外观约束条件；
过滤掉所述候选匹配集中不满足所述几何约束条件和/或外观约束条件的所述潜在匹配。
以下结合上述任意实施例提供几个具体示例：
示例1：
本示例提供一种可用于目标追踪的图像处理方法，包括：
获取参考图像的第一特征点集，此处的参考图像可为首帧图像或上一帧图像，可对应于前述的第一图像；
获取当前输入的本帧图像的第二特征点集，此处的本帧图像即为前述第二图像；
将上一帧图像优化最终得到的曲面形变作为本帧图像初始的备选曲面形变，计算出第一特征点集和第二特征点集中点对匹配；
基于点对匹配，得到点对匹配的投影误差，重构备选曲面形变；此处的投影误差可为前述两个匹配单位之间的匹配误差；
基于重构的备选曲面形变确定所述投影误差；
基于投影误差判断是否找到最优匹配或达到最大迭代次数；
若获得了最优匹配或达到了最大迭代次数，则输出迭代停止时的备选曲面形变作为本帧图像最终的曲面形变，若未得到最优匹配或未达到迭代次数，则继续计算第一特征点集和第二特征点集中点对匹配。
示例2：
恢复第二图像中具有非刚性表面目标的形状可包括三个步骤，具体如下：
(1)特征点对应：使用从特征点描述符算法计算的局部纹理信息建立特征点匹配关系；
(2)异常值拒绝：通过可变形模型测量其几何相容性来消除不正确的匹配关系；
(3)形状重建，此处的形状重建相当于获得一个曲面形变：基于已知模板和建立的特征点匹配关系来估计目标表面的非刚性形状。
特征点对应是指从给定图像中提取特征点，并随后通过合适的距离度量以最近邻方式将特征点与特征点相关联。在检测特征点时，特征点检测器和描述符(例如SIFT和SURF)被设计为对于尺度和旋转的变化具有较高的鲁棒性。
在本示例中，确定根据图结构之间的成对投影误差建模特征点对应和形状重建，而不是利用特征点集之间的传统一元投影误差。此处的成对投影即为以两个特征点为一个匹配单位进行不同图像中特征点的匹配。
在软匹配松弛下开发一种有效的图匹配算法，旨在为可变形表面目标提供准确有效的跟踪效果，出色的实验结果明确地证明了工作的优势。
与相关技术中分别处理特征匹配关系，去除异常值和形状重建的传统方法不同，将这些过程集成到一个统一的基于图的框架中，并提出迭代地解决求解匹配关系和求解变形的优化问题。考虑到计算效率，将传统图匹配问题中的强匹配约束放宽到松匹配约束。这种松匹配约束使能够保持更多匹配细节，从而产生更精确的形状，并且通过在软匹配约束下开发的新颖匹配算法也极大地提高了计算效率。
在本示例中，基于图的可形变表面目标的跟踪算法优势至少体现在以下方面：通过软匹配松弛和精心设计的候选匹配滤波策略，将图模型和图匹配引入到可变形表面跟踪中；设计统一的优化框架，探索局部外观，空间关系和变形模型的全部信息，以获得准确的形状重建。
一、具体算法
用三角化的网格表示已知的模板形状这个网格通过NV个点组成，这些点又由Ne个边组成的边集Emesh所连接。将相机参考帧(初始模板)中描述的点压入一个向量中。已知模板通过未知的3D连续可微的形变ψ和未知的形变后的形状S相关联，也就是说，ψ将中的一个点映射到S中。类似的，可以用NV个有着未知的3D坐标的点vi来表示形状S，并将这些点压入向量中，这个向量在的算法中是需要求解的。假设相机已经过校准，具有已知的内在和外在参数。也就是说，有一个已知的映射函数τ：将每个3D网格中的点映射成2D图像的点。
和P＝{p1，…，pn}分别是从第一图像中和第二图像中提取出来的特征点集。为了简便，对于每个特征点(以及pj∈P)，还使用相同的符号表示其在2D图像中的齐次坐标。由于第一图像的3D表面是已知的，对每个特征点能够计算出它的3D网点
在Pr和P两个点集中特征点的一元匹配关系由矩阵表示，矩阵中每个元素Ci，j∈[0，1]表示与pj的匹配概率。矩阵C是特征点之间的软匹配关系得到的匹配概率。软匹配关系使能够保持更多的对应细节，从而提高恢复的3D形状的准确性，利用软匹配带来的另一个好处在于随后的二次规划问题通过丢弃离散约束变得更容易来解决，能够降低计算复杂度并提高计算效率。
通过同时求解C和ψ来最小化cost函数ε(C，ψ)可以得到被重建的最优的形状S：
其中，0m×n代表m×n的全零矩阵，1n代表n个1组成的列向量，≥和≤是分别是元素级别的大于和小于，li，j表示点和点之间的测地距离的约束。在匹配关系C上的约束保证了每个点最多只能参与一次匹配。而对形变ψ的约束是不可扩展约束，为的是防止相邻点之间的欧几里得距离超过界限。
在相关技术中，cost函数ε(C，ψ)经常被定义成在形变ψ下所有匹配关系的累积误差。在示例提出了一种基于图的度量，将图形结构之间的投影误差组合为：
其中d(ψ，i，j，a，b)是度量在形变ψ下边和边(pa，pb)之间的一致性。定义d为外观一致性函数dapp和几何一致性函数dgeo的组合，各个函数为：
d(ψ，i，j，a，b)＝(1-α)dapp(i，j，a，b)+αdgeo(ψ，i，j，a，b)(3)
其中和fa分别是特征点和pa的光度描述符，并且α∈[0，1]控制着局部特征和用来重建形状的图结构之间的平衡。
为了简洁，可以对公式(2)用一种点对相容性的方式表述：
ε(C，ψ)＝cTK(ψ)c (4)
其中是C矩阵的向量形式，是对应的affinity矩阵：
Kind(i，a)，ind(j，b)(ψ)＝d(ψ，i，j，a，b)-κ (5)
其中(i，a)代表在第一图像中的点与第二图像中的点pa组成的一个候选匹配，ind(·)是将点匹配关系映射到一个整数索引的双射函数。
κ被选择为足够大以确保K(ψ)是非正的，其目的是避免由于没有匹配关系被激活而求解出的平凡解。
为了在变形ψ下过滤具有较大投影误差的离群匹配，通过投影误差项来惩罚匹配点，投影误差随着匹配点的增加而增加；
ε(C，ψ)＝cTK(ψ)c+λcTe(ψ)， (6)
其中λ＞0自适应地控制拒绝离群值的程度，将每个点匹配的一元投影误差编码为：
二、优化求解
对于新来的一帧(即待处理的本帧图像)，首先用先前帧的求解结果来预测c和ψ，然后再通过交替固定两者中的一项来优化另一项。这个优化过程迭代进行直到收敛或者达到算法的最大迭代次数。
匹配关系的优化求解可如下：
给定备选形变ψ，问题(1)被简化为按下式求解最优匹配关系：
其中，Bc≤1m+n是一对一匹配约束。
通过删除离散约束并添加惩罚项，公式(8)中更新的匹配参数的求解可以视为松弛图匹配问题。虽然一些用于解决传统的图匹配问题的幂迭代算法可以很容易地被拓展来解决软匹配关系c，但是对于来说，这些拓展后的算法由于惩罚项的存在也很难应用在问题(8)上。在这一节，提出了一种基于Frank-Wolfe算法的方法来相对于匹配关系c来最小化问题(8)，这个算法被描述在算法1中。
形变模型的优化求解可如下：
给定一个匹配关系c，(也就是对应矩阵C)，公式(1)的求解可以简化成按下列公式求解最优形变：
按照下式放松公式(9)的第一项：
因此公式(9)被放松为一个线性拟合问题：
其中
是每一个样本的权重。
公式(12)的求解可以进一步重新表述为一个相对于网格顶点坐标的条件良好的线性系统：
其中，M是一个系数矩阵，A是正则化矩阵，r是标量系数，用于定义对解决方案的规范程度。x是待求解的网格顶点坐标，例如，x是待求解的网格顶点的的3D坐标；x*是求解后的最优的网格顶点坐标。
示例3：
本示例基于示例1和/或示例2提供一种图像处理方法，包括：图构建，候选匹配过滤和自适应异常值拒绝。
图构造：
有n个节点的无向图可被表示为其中 分别代表点集和边集。给定参考图片中感兴趣目标表面的初始区域对该表面按如下步骤建立模型图。此处的一个节点可视为图像中的一个特征点。
节点生成：通常从图像中提取特征点以表示局部区域，然后将它们建模为图形的顶点。许多基于特征的方法获得特征点作为跨尺度的DoG图像的局部最小值/最大值，也就是SIFT特征。但是用这种方法获取的特征点的数目是无法控制的，所以获得的特征点的多少是取决于算子和视频帧中的内容。此外，它们通常对环境变化敏感，例如照明变化和运动模糊，因此损害跟踪精度。
本示例中，采用了一种更加鲁棒和灵活的方法来提取特征点和生成顶点；
首先，将均匀地划分为N个网格，并计算每个网格中每个像素的SIFT响应。
然后，选择每个网格具有最大响应的特征点，并将选定的特征点视为图顶点。
最后，这些特征点的SIFT描述符被记录为顶点属性。
边生成，边的生成有几种备选范式，例如包括但不限于：全连接图，ε邻接图和k-最近邻图。全连接图具有高计算复杂度，因此不适用于大尺寸的图形。
在本示例中，优先采用Delaunay三角剖分进行边缘生成，从而构建对缩放、平移、旋转具有不变性的稳定的图结构。
对于每个新来的帧t，用同样的方法构建候选图然后通过图匹配来确定特征点之间的匹配。
潜在匹配过滤：
在模型图(对应于前述的第一图像)和候选图(对应于前述的第二图像)上各自都有N个顶点，所以在这两幅图上的顶点之间一共有N2中候选匹配。因此affinity矩阵的大小K(ψ)就是N4那么大，这不仅会在存储上还会在计算上带来很大的消耗。
为了提高计算效率，提出通过在合理的连续性假设下过滤候选匹配来减小K(ψ)的大小。特别地，导致连续帧之间的匹配有较大跳跃的不可靠匹配会从候选匹配集中消除。对于新来的帧t，对于每个顶点通过几何约束和光度计量上的约束构建候选匹配：
其中，εg和∈a分别是几何上和外观变化上的容忍阈值。此外，从中去除冗余的匹配，并最多保留nc个外观相似度最大的匹配。最终的候选匹配集由所有顶点的匹配集组合而成：
构建的Dt随后通过删去那些时应的行和列来实现压缩，因此affinity矩阵K(ψ)的大小被压缩到最多在实验中凭经验将参数设置为εg＝20，∈a＝0.6，nc＝5。
自适应的噪声去除：
自适应的噪声去除的方法将特征点匹配，拒绝离群点和形状重建整合到公式(6)这个统一的优化框架中，这个公式通过惩罚项λcTe(ψ)来驱动拒绝离群点，其中，λ＞0控制着离群点被拒绝的程度。为拒绝离群点选择一个合适的λ通常是困难的。太小的λ不能带来去噪效果，而太大的λ可能会将许多正确的匹配关系作为异常值拒绝。
在本示例中还提出了一个根据affinity矩阵K(ψ)和投影误差e(ψ)自适应调整λ的离群点拒绝方法：
其中，|Ki，j(ψ)|代表的是Ki，j(ψ)的绝对值，|Dt|指的是候选匹配集Dt的大小。这样自适应的目的是选择一个合适的λ来避免公式(6)中的任何一项会主导整个优化过程。
总之，本示例首先提供了一种新的基于图的用来解决可变形表面重建和跟踪问题的方法。将处理特征匹配关系，去除异常值和形状重建的过程集成到一个统一的基于图的框架中(通过优化一个目标函数同时解决特征对应，去除离群点和形状恢复，这个目标函数是通过图形结构之间的成对投影误差而不是匹配点之间的一元投影误差来定义的)，并提出迭代地解决求解匹配关系和求解变形的优化问题。
其次，考虑到计算效率，将传统图匹配问题中的强匹配约束放宽到松匹配约束。这种松匹配约束能够保持更多匹配细节，从而产生更精确的形状，并且通过在软匹配约束下开发的新颖匹配算法也极大地提高了计算效率。
再次，提出了候选匹配过滤策略，本示例基于图形的方法能够在几秒内处理数千个点，这比传统的基于图形的算法快得多。
本示例提出了一种新颖的基于图的可变形表面目标跟踪方法，旨在提高跟踪性能和效率。所提出的方法通过图结构之间的成对投影误差解决了特征对应和形状恢复问题，并采用软匹配松弛来提高计算效率。在具有封闭表面的标准数据集以及具有丰富，弱或重复纹理的不同表面的数据集上用的方法和现存的先进的算法进行了广泛比较，实验结果表明，本示例提供的方法对各种类型的曲面有准确而稳健的跟踪性能，可以对不同类型纹理的曲面实现稳健的跟踪结果，并且在跟踪精度和计算效率方面优于最新的最先进算法。
为了全面评估本示例提供的方法与基准算法的比较，创建了一个新的数据集用于可变形表面跟踪，称为可变形表面跟踪(DeSurT)。使用Kinect相机收集此数据集，以评估各种变形和不同光照条件下的跟踪性能。它包含11个视频流和3,361个帧，显示几种不同类型表面的各种变形，包括七种不同内容的打印图像(分别是校园，砖，布，鹅卵石，景色，石头和日落)，两个报纸和两个靠垫。
如图5所示，这些表面大致分为三类：(1)纹理良好的表面，包括校园，鹅卵石，景色，报纸1，报纸2和坐垫1；(2)重复纹理表面，包括砖，布和垫子2；(3)弱纹理表面，包括石头和日落。
为了评估重建精度，使用Kinect点云来构建真实网格，并计算从重建网格到真实网格中顶点到顶点的平均距离。因此，除了每个帧的深度信息之外，所有视频都在每帧中有手动标注的真实网格顶点(打印图片和报纸中使用130个顶点标注，坐垫用121个顶点标注)。
为了测试本示例提供的方法对遮挡的鲁棒性，还报告了本示例提供的方法在公共数据集(跟踪具有遮挡的表面)上的跟踪结果，这个数据集包括两个分别有着纹理良好和纹理不良的可变形表面目标的视频流，总共394个帧，并且数据集中存在人为和现实的遮挡。
结果比较与分析：
以下展示了本示例提供的方法与几种最先进的基线算法的比较结果，包括DIR，LM和LLS：
LM采用SIFT匹配进行特征对应，然后进行迭代异常值拒绝步骤，然后通过求解线性系统重建形状，该线性系统是使用扩展的拉普拉斯形式从退化的线性系统转换而来。
LLS仅关注形状重建步骤，并将关键点对应关系作为输入。在本实验中，在异常值拒绝之后，使用从LM派生的关键点对应作为LLS的输入。
DIR是一种基于像素的方法，采用密集模板对齐进行形状重建。它在很大程度上取决于形状的初始估计，本实验中，将其初始化为上一帧的解。对于本示例提供的方法，固定α＝0.7等预先确定的值，并分别公布了N＝1000和N＝2000两组实验结果。
表1.平均跟踪误差(mm)
表2.平均计算时间(s)
如表1所示，本示例提供的方法对于具有丰富，弱或重复纹理的不同类型的表面是鲁棒的，并且即使在从每个表面提取相对较少的特征点(N＝1000)以构建匹配关系时也显着地优于所有基线算法。对于遮挡表面(TSO数据集)，DIR在精心设计的遮挡检测策略的帮助下实现了最佳跟踪结果。有趣的是，在没有任何指定的遮挡表面过程的情况下，本示例提供的方法在TSO数据集上达到了与DIR相当的结果，并且一般优于LM和LLS。当将N上升到2000时，本示例提供的方法的跟踪精度在两个数据集上都得到了显着的改善。
考虑到计算时间(表2)，DIR在两个数据集上都是最耗时的。本示例提供的方法在N＝1000时在两个数据集上击败其他算法。当将特征点的数量增加到2000时，本示例提供的方法在TSO数据集上仍然是最有效的，但在提出的DeSurT数据集上比LM慢。
图6至图9表明了由被比较算法提供的各种类型表面跟踪的几个代表性样本。对于结构良好的表面(图6)，所有算法都能够提供合理的跟踪结果，但本示例提供的方法可以更好地处理细节。如图7和图8所示，所有比较的基线算法都受到弱纹理和重复纹理化表面的影响，但本示例提供的方法能够在帧间提供准确的跟踪结果。此外，本示例提供的方法以及DIR对于遮挡是稳健的(图9)，而LM和LLS在存在一定程度的遮挡时可能无法跟踪到对象。
总结，本示例提出了一种基于图的可变形表面目标跟踪方法，旨在提高跟踪性能和效率。所提出的方法通过图结构之间的成对投影误差解决了特征对应和形状恢复问题，并采用软匹配松弛来提高计算效率。实验结果表明，该算法对各种类型的曲面有准确而稳健的跟踪性能，并且优于最新的最先进算法。
本实施例还提供一种图像设备，包括：
存储器；
处理器，与所述存储器连接，用于通过计算机可执行指令能够实现前述一个或多个实施例提供的图像处理方法，例如，如图1至图3所示图像处理方法中的一个或多个。
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一个或多个实施例提供的图像处理方法，例如，如图1至图3所示的方法中的一个或多个。该计算机可读存储介质可为永久性存储介质，该永久性存储介质也可以称之为非瞬间存储介质，典型的非瞬间存储介质包括但不限于闪存。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (28)

1.一种图像处理方法，包括：
获取第一图像的第一特征点集；
获取第二图像的第二特征点集；
以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
根据所述匹配参数，确定第二图像的曲面形变。
2.根据权利要求1所述的方法，其特征在于，所述以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数，包括：
以两个特征点形成的特征点对为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得指示特征点对之间匹配状况的匹配参数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数；
所述以两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中的特征点的匹配，获得匹配参数，包括：
以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数。
4.根据权利要求3所述的方法，其特征在于，所述获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数，包括：
确定第一特征点集中第一特征点和所述第二特征点集中第二特征点单点匹配的匹配概率。
5.根据权利要求4所述的方法，其特征在于，所述获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数，还包括：
基于所述匹配概率，生成匹配矩阵。
6.根据权利要求3所述的方法，其特征在于，所述以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数，包括：
以至少两个特征点为一个匹配单位，基于所述第二图像初始的备选曲面形变进行所述第一特征点集和所述第二特征点集中特征点的匹配，在所述第一匹配参数中选择出所述第二匹配参数，其中，所述第二图像初始的备选曲面形变为所述第一图像的曲面形变。
7.根据权利要求1所述的方法，其特征在于，所述根据所述匹配参数，确定第二图像的曲面形变，包括：
步骤A1：根据备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差；
步骤A2：若所述匹配误差满足收敛条件或达到最大迭代次数时停止迭代，并在停止迭代时获得的所述备选曲面形变作为最终的曲面形变输出；
步骤A3：若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变；
步骤A4：根据所述备选曲面形变更新所述匹配参数，并返回步骤A1。
8.根据权利要求7所述的方法，其特征在于，所述根据所述备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差，包括：
确定第一匹配单位和第二匹配单位的匹配概率，其中，所述第一匹配单位包括多个第一特征点，所述第一特征点为所述第一特征点集的特征点；所述第二匹配单位包括多个第二特征点，所述第二特征点为所述第二特征点集的特征点；
确定第一匹配单位和第二匹配单位的一致性；
基于所述一致性，确定匹配误差。
9.根据权利要求8所述的方法，其特征在于，所述确定所述第一特征点集中第一匹配单位和第二特征点集中第二匹配单位的一致性，包括：
确定所述第一匹配单位和所述第二匹配单位的外观一致性；
确定所述第一匹配单位和所述第二匹配单位的几何一致性。
10.根据权利要求9所述的方法，其特征在于，所述确定所述第一匹配单位和所述第二匹配单位的外观一致性，包括：
根据第一光度描述符和第二光度描述符，确定所述外观一致性，其中，所述第一光度描述符为所述第一特征点的光度描述符；所述第二光度描述符为所述第二特征点的光度描述符。
11.根据权利要求9所述的方法，其特征在于，所述确定所述第一匹配单位和所述第二匹配单位的几何一致性，包括：
基于所述备选曲面形变确定所述第一特征点的形变；
基于所述第一特征点的形变确定所述几何一致性。
12.根据权利要求7至11任一项所述的方法，其特征在于，所述根据所述备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差，包括：
确定单个所述第二特征点与单个所述第一特征点之间的一元投影误差；
根据所述一元投影误差，确定所述匹配误差。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
根据所述第二特征点和所述第一特征点之间一元投影误差及相容性，确定惩罚系数；
基于所述一元投影误差及所述惩罚系数，计算惩罚项；
根据所述惩罚项，确定所述匹配误差。
14.根据权利要求7所述的方法，其特征在于，所述若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变，包括：
基于所述匹配误差进行备选曲面形变优化的松弛问题求解，以优化所述备选曲面形变。
15.根据权利要求14所述的方法，其特征在于，所述基于所述匹配误差进行备选曲面优化的松弛问题求解，以优化所述备选曲面形变，包括：
基于采集所述第二图像的相机参数、及基于所述备选曲面形变获得所述第二特征点的投影点与所述第一特征点之间的距离，通过线性规划进行所述松弛问题求解，以优化所述备选曲面形变。
16.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于以两个特征点为一个匹配单位的特征点匹配，生成包含有多个潜在匹配的候选匹配集；
过滤掉所述候选匹配集中不满足约束条件的潜在匹配；
所述以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数，包括：
从所述第一匹配参数中确定出过滤后的候选匹配集中的潜在匹配的第二匹配参数。
17.根据权利要求16所述的方法，其特征在于，
所述过滤掉所述候选匹配集中不满足约束条件的潜在匹配，包括：
基于前一帧的曲面形变确定所述候选匹配集中的第一特征点的形变；基于所述第一特征点的形变和所述第二特征点之间的距离，确定所述潜在匹配是否满足几何约束条件；
确定第一特征点的光度描述符和所述第二特征点的光度描述符，确定所述潜在匹配是否满足外观约束条件；
过滤掉所述候选匹配集中不满足所述几何约束条件和/或外观约束条件的所述潜在匹配。
18.根据权利要求1或2所述的方法，其特征在于，所述获取第二图像的第二特征点集，包括：
根据所述第二图像中像素的二维特征响应，获得构建所述第二特征点集的二维特征点。
19.根据权利要求18所述的方法，其特征在于，所述根据所述第二图像中像素的二维特征响应，获得构建所述第二特征点集的二维特征点，包括：
基于预定特征提取算法确定出所述第二图像中预定图像区域的局部极值；
根据所述局部极值，确定构建所述第二特征点集的二维特征点。
20.一种图像处理装置，包括：
第一获取模块，用于获取第一图像的第一特征点集；
第二获取模块，用于获取第二图像的第二特征点集；
匹配模块，用于以至少两个特征点为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得匹配参数；
第一确定模块，用于根据所述匹配参数，确定第二图像的曲面形变。
21.根据权利要求20所述的装置，其特征在于，所述匹配模块，具体用于以两个特征点形成的特征点对为一个匹配单位，进行所述第一特征点集和第二特征点集中特征点的匹配，获得指示特征点对之间匹配状况的匹配参数。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述第一特征点集和第二特征点集中单点软匹配的第一匹配参数；
所述匹配模块，具体用于以两个特征点为一个匹配单位，基于所述第一匹配参数获得所述匹配单位的第二匹配参数。
23.根据权利要求20所述的装置，其特征在于，所述第一确定模块，包括：
第一子模块，用于根据备选曲面形变及所述匹配参数，确定所述第一特征点集和所述第二特征点集中匹配单位的匹配误差；
第二子模块，用于若所述匹配误差满足收敛条件或达到最大迭代次数时停止迭代，并在停止迭代时获得的所述备选曲面形变作为最终的曲面形变输出；
第三子模块，用于若所述匹配误差未满足收敛条件或未达到最大迭代次数，根据所述匹配误差，更新所述第二图像的备选曲面形变；
第四子模块，用于根据所述备选曲面形变更新所述匹配参数。
24.根据权利要求23所述的装置，其特征在于，所述第一子模块，具体用于确定第一匹配单位和第二匹配单位的匹配概率，其中，所述第一匹配单位包括多个第一特征点，所述第一特征点为所述第一特征点集的特征点；所述第二匹配单位包括多个第二特征点，所述第二特征点为所述第二特征点集的特征点；确定第一匹配单位和第二匹配单位的一致性；基于所述一致性，确定匹配误差。
25.根据权利要求23所述的装置，其特征在于，所述第三子模块，具体用于基于所述匹配误差进行备选曲面形变优化的松弛问题求解，以优化所述备选曲面形变。
26.根据权利要求22所述的装置，其特征在于，所述装置还包括：
生成模块，用于基于以两个特征点为一个匹配单位的特征点匹配，生成包含有多个潜在匹配的候选匹配集；
过滤模块，用于过滤掉所述候选匹配集中不满足约束条件的潜在匹配；
所述匹配模块，具体用于从所述第一匹配参数中确定出过滤后的候选匹配集中的潜在匹配的第二匹配参数。
27.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至19任一项提供的方法。
28.一种图像设备，包括：
存储器，至少用于存储计算机可执行指令；
处理器，与所述存储器连接，用于通过执行所述计算机可执行指令，能够实现权利要求1至19任一项提供的方法。
CN201910251038.9A 2019-03-08 2019-03-29 图像处理方法及装置、存储介质及图像设备 Active CN110147809B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910175084 2019-03-08
CN2019101750845 2019-03-08

Publications (2)

Publication Number Publication Date
CN110147809A true CN110147809A (zh) 2019-08-20
CN110147809B CN110147809B (zh) 2021-08-27

Family

ID=67588734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910251038.9A Active CN110147809B (zh) 2019-03-08 2019-03-29 图像处理方法及装置、存储介质及图像设备

Country Status (1)

Country Link
CN (1) CN110147809B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751679A (zh) * 2019-10-23 2020-02-04 湖南大学 一种高效且稳健的人体图像与三维人体模型匹配技术
WO2022147774A1 (zh) * 2021-01-08 2022-07-14 浙江大学 基于三角剖分和概率加权ransac算法的物体位姿识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840508A (zh) * 2010-04-26 2010-09-22 中国科学院计算技术研究所 自动识别人体链状结构中特征点的方法及其系统
CN104200487A (zh) * 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法
CN106295710A (zh) * 2016-08-18 2017-01-04 晶赞广告（上海）有限公司 基于非几何约束的图像局部特征匹配方法、装置及终端
CN106548493A (zh) * 2016-11-03 2017-03-29 亮风台（上海）信息科技有限公司 一种图匹配的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840508A (zh) * 2010-04-26 2010-09-22 中国科学院计算技术研究所 自动识别人体链状结构中特征点的方法及其系统
CN104200487A (zh) * 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法
CN106295710A (zh) * 2016-08-18 2017-01-04 晶赞广告（上海）有限公司 基于非几何约束的图像局部特征匹配方法、装置及终端
CN106548493A (zh) * 2016-11-03 2017-03-29 亮风台（上海）信息科技有限公司 一种图匹配的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG ZHOU，ET AL.: "Deformable Graph Matching", 《 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
TAO WANG，ET AL.: "Gracker: A Graph-Based Planar Object Tracker", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
朱伯诚: "基于特征点的图像匹配算法的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751679A (zh) * 2019-10-23 2020-02-04 湖南大学 一种高效且稳健的人体图像与三维人体模型匹配技术
WO2022147774A1 (zh) * 2021-01-08 2022-07-14 浙江大学 基于三角剖分和概率加权ransac算法的物体位姿识别方法

Also Published As

Publication number Publication date
CN110147809B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
Jam et al. A comprehensive review of past and present image inpainting methods
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
Hu et al. Efficient coarse-to-fine patchmatch for large displacement optical flow
Meuleman et al. Progressively optimized local radiance fields for robust view synthesis
US9905196B2 (en) Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image
Hacohen et al. Deblurring by example using dense correspondence
CN110569768B (zh) 人脸模型的构建方法、人脸识别方法、装置及设备
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
US9454806B2 (en) Efficient approximate-nearest-neighbor (ANN) search for high-quality collaborative filtering
Mobahi et al. Holistic 3D reconstruction of urban structures from low-rank textures
US8705877B1 (en) Method and apparatus for fast computational stereo
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
Yue et al. CID: Combined image denoising in spatial and frequency domains using Web images
Ni et al. Example-driven manifold priors for image deconvolution
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
Pons et al. Variational stereovision and 3D scene flow estimation with statistical similarity measures
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN110147809B (zh) 图像处理方法及装置、存储介质及图像设备
Pan et al. Multi-stage feature pyramid stereo network-based disparity estimation approach for two to three-dimensional video conversion
Liang et al. 3D face reconstruction from mugshots: Application to arbitrary view face recognition
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
Sun et al. Indoor panorama planar 3d reconstruction via divide and conquer
Liu et al. Image super-resolution via hierarchical and collaborative sparse representation
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
Xiong et al. SPEAL: Skeletal Prior Embedded Attention Learning for Cross-Source Point Cloud Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant