CN107862707A - 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 - Google Patents
一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 Download PDFInfo
- Publication number
- CN107862707A CN107862707A CN201711075930.3A CN201711075930A CN107862707A CN 107862707 A CN107862707 A CN 107862707A CN 201711075930 A CN201711075930 A CN 201711075930A CN 107862707 A CN107862707 A CN 107862707A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtr
- mtd
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000002310 reflectometry Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000004075 alteration Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Abstract
本发明中提出的一种基于卢卡斯‑卡纳德图像对齐的图像配准方法，其主要内容包括：直接每像素损失函数，卢卡斯‑卡纳德算法，粗略对齐，用卷积神经网络特征图替换金字塔，球型拼接，其过程为，先通过迭代找到参数集使图像变形成对应模型，在每次迭代中使用损失函数相对于变形参数向量的梯度，确定使更接近函数最小值的参数更新，接着使用高斯模糊平滑原始图像去除图像中的细节来简化损失，然后用卷积神经网络特征图替换金字塔，最后实时球型拼接系统跟踪旋转相机运动，并产生关键帧图，渲染成球形全景图。本发明采用卢卡斯‑卡纳德算法，减少了配准技术对于照明、表明反射率和其他成像因素的依赖，使配准时更加快速精准，计算效率也大大提高。
Description
技术领域
本发明涉及图像配准领域，尤其是涉及了一种基于卢卡斯-卡纳德图像对齐的图像配准方法。
背景技术
图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间、不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。图像配准技术在计算机视觉、医学图像处理以及材料力学等领域都具有广泛的应用。根据具体应用的不同，有的侧重于通过变换结果融合两幅图像，有的侧重于研究变换本身以获得对象的一些力学属性。将各种图像结合起来，在同一图像上显示各自的信息，为临床医学诊断提供多数据多信息的图像，这成为极具应用价值的技术，而准确高效的图像配准则是关键和难点。因而图像配准技术无论是在计算机视觉方面，还是在临床医学诊断都具有极重要的意义。然而，现有的配准技术对照明、表明反射率和其他成像因素具有强烈依赖性，导致图像模型配准失败。
本发明提出了一种基于卢卡斯-卡纳德图像对齐的图像配准方法，先通过迭代找到参数集使图像变形成对应模型，在每次迭代中使用损失函数相对于变形参数向量的梯度，确定使更接近函数最小值的参数更新，接着使用高斯模糊平滑原始图像去除图像中的细节来简化损失，然后用卷积神经网络特征图替换金字塔，最后实时球型拼接系统跟踪旋转相机运动，并产生关键帧图，渲染成球形全景图。本发明采用卢卡斯-卡纳德算法，减少了配准技术对于照明、表明反射率和其他成像因素的依赖，使配准时更加快速精准，计算效率也大大提高。
发明内容
针对现有的配准技术对照明、表明反射率和其他成像因素具有强烈依赖性的问题，本发明的目的在于提供一种基于卢卡斯-卡纳德图像对齐的图像配准方法，先通过迭代找到参数集使图像变形成对应模型，在每次迭代中使用损失函数相对于变形参数向量的梯度，确定使更接近函数最小值的参数更新，接着使用高斯模糊平滑原始图像去除图像中的细节来简化损失，然后用卷积神经网络特征图替换金字塔，最后实时球型拼接系统跟踪旋转相机运动，并产生关键帧图，渲染成球形全景图。
为解决上述问题，本发明提供一种基于卢卡斯-卡纳德图像对齐的图像配准方法，其主要内容包括：
(一)直接每像素损失函数；
(二)卢卡斯-卡纳德算法；
(三)粗略对齐；
(四)用卷积神经网络(CNN)特征图替换金字塔；
(五)球型拼接。
其中，所述的直接每像素损失函数，图像对齐(配准)需要移动和变形常量模板图像以找到与参考图像的最佳匹配；图像配准的核心是生成的变形模型，其被参数化以表示相对相机场景运动的自由度；通过迭代地找到更好的参数集来使图像变形成对应的模型，进行对齐；
为了评估一致性，必须定义图像相似度的度量；在卢卡斯-卡纳德(LK)的标准形式中，使用平方差(SSD)的和；这给出了以下目标函数：
其中，Ir是参考图像，It是模板图像，x是图像像素位置，是生成的变形模型，旨在解决的变形参数向量为p。
其中，所述的卢卡斯-卡纳德算法，在LK对齐中，在每次迭代中，使用公式(1)中的损失函数相对于变形参数向量p的梯度，并确定使更接近函数最小值的参数更新Δp；
以下更新法则：
W(x；p)←W(x；p)οW(x；p)-1 (3)
线性化公式(2)导致一个封闭形式的解决方案：
其中，
r＝Ir(W(x；p))-It(x) (6)
会聚处的形状在很大程度上取决于图像内容，即图像中存在的纹理和模糊度的数量和类型；由于损失格局通常在实际转化附近局部凸起，因此优化需要良好的初始化才能成功地收敛于正确的解决方案。
进一步地，所述的LK对齐，使用一个简单的卢卡斯-卡纳德图像对齐方式，其中有一个迭代次数超过了一个金字塔的粗糙度水平，并且通过预先训练的CNN的卷积特征图的层次简单地替换了图像金字塔。
其中，所述的粗略对齐，为了增加收敛处的大小，可以使用高斯模糊平滑原始图像，通过去除图像中的细节来简化损失；高斯平滑图像通常被下采样，因为它不会导致信息丢失并会减少要处理的像素数量；由于下采样图像中的像素对应于原始图像中的多重像素，所以两者之间的距离缩短，从而增加了收敛处的大小；出于同样的原因，在较小版本的图像上执行的对准的精度也降低；
常见的方法是使用高度低采样和模糊图像来开始优化，以获得初始估计，使用更详细的图像版本进行细化，这可以被认为是图像的退化版本的金字塔。
其中，所述的用卷积神经网络(CNN)特征图替换金字塔，标准分类中的卷积输出CNN形成与基于RGB的LK图像对齐中使用的金字塔相似的金字塔；这种金字塔的连续层编码越来越多的语义信息，从第一层中的简单几何滤波器开始；
金字塔的每个级别采用多通道图像(张量)的形式，其中每个通道包含对某个学习卷积滤波器的响应；从粗略到精细的方式对齐，从最高的低分辨率层开始，并向下进行到较低的几何层，以细化对齐；这个过程包括特征提取和体积对齐。
进一步地，所述的特征提取，金字塔是通过应用连续的卷积，随后是非线性激活函数创建的，偶尔下采样，非常类似于标准CNN；对于卷积的权重进行图像分类任务的训练；网络由13层卷积组成。
进一步地，所述的体积对齐，对于对齐体积，使用逆组合损失函数公式：
与普通图像类似，将深度N的体积定义为一个函数为了解决参数更新Δp，首先需要计算这个非线性最小二乘系统的雅可比矩阵和黑塞矩阵：
更新使用正常方程计算：
Δp＝H-1b (11)
为了实现大容量的实时对齐；每个计算线程计算每像素值，使用公式(9)和(10)将其简化为单个矩阵。
其中，所述的球型拼接，为了使用测试跟踪，开发一个实时球型拼接系统；它跟踪旋转相机运动，并产生一个关键帧图，渲染成一个球形全景图；对于纯旋转相机运动，由矩阵R描述的由旋转分隔的具有本征矩阵K的两个相机帧之间的单应性由下式给出：KRK-1；因此，生成变形函数的形式如下：
其中，是均匀化像素位置x，π是投影函数；用ω∈R3参数化增量旋转R(ω)；矢量ω描述的增量旋转映射到组元素：
R(ω)＝exp(ω×) (13)
要优化的最终损失函数的形式如下：
关键帧图像投影到最终组合曲面上，使用球形投影，其将每个关键帧投影到单位球体上，随后将其展开到2D表面以供查看；使用大小为224×224的图像来提取特征并对齐所有级别。
进一步地，所述的实时球型拼接系统，该系统使用整个金字塔实时运行15-20帧/秒；提取13层卷积特征每帧需要大约1ms；从GPU复制数据需要10ms，这可以通过进一步修改软件来避免；执行对齐所花费的时间取决于在不同级别执行的迭代次数，通常在40-60ms左右。
附图说明
图1是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的系统框架图。
图2是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的直接每像素损失函数。
图3是本发明一种基于卢卡斯-卡纳德图像对齐的用卷积神经网络特征图替换金字塔。
图4是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的球型拼接。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的系统框架图。主要包括直接每像素损失函数，卢卡斯-卡纳德算法，粗略对齐，用卷积神经网络(CNN)特征图替换金字塔，球型拼接。
卢卡斯-卡纳德算法，在LK对齐中，在每次迭代中，使用公式(6)中的损失函数相对于变形参数向量p的梯度，并确定使更接近函数最小值的参数更新Δp；
以下更新法则：
W(x；p)←W(x；p)οW(x；p)-1 (2)
线性化公式(1)导致一个封闭形式的解决方案：
其中，
r＝Ir(W(x；p))-It(x) (5)
会聚处的形状在很大程度上取决于图像内容，即图像中存在的纹理和模糊度的数量和类型；由于损失格局通常在实际转化附近局部凸起，因此优化需要良好的初始化才能成功地收敛于正确的解决方案。
使用一个简单的卢卡斯-卡纳德图像对齐方式，其中有一个迭代次数超过了一个金字塔的粗糙度水平，并且通过预先训练的CNN的卷积特征图的层次简单地替换了图像金字塔。
粗略对齐，为了增加收敛处的大小，可以使用高斯模糊平滑原始图像，通过去除图像中的细节来简化损失；高斯平滑图像通常被下采样，因为它不会导致信息丢失并会减少要处理的像素数量；由于下采样图像中的像素对应于原始图像中的多重像素，所以两者之间的距离缩短，从而增加了收敛处的大小；出于同样的原因，在较小版本的图像上执行的对准的精度也降低；
常见的方法是使用高度低采样和模糊图像来开始优化，以获得初始估计，使用更详细的图像版本进行细化，这可以被认为是图像的退化版本的金字塔。
图2是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的直接每像素损失函数。图像对齐(配准)需要移动和变形常量模板图像以找到与参考图像的最佳匹配；图像配准的核心是生成的变形模型，其被参数化以表示相对相机场景运动的自由度；通过迭代地找到更好的参数集来使图像变形成对应的模型，进行对齐；
为了评估一致性，必须定义图像相似度的度量；在卢卡斯-卡纳德(LK)的标准形式中，使用平方差(SSD)的和；这给出了以下目标函数：
其中，Ir是参考图像，It是模板图像，x是图像像素位置，是生成的变形模型，旨在解决的变形参数向量为p。
图3是本发明一种基于卢卡斯-卡纳德图像对齐的用卷积神经网络特征图替换金字塔。标准分类中的卷积输出CNN形成与基于RGB的LK图像对齐中使用的金字塔相似的金字塔；这种金字塔的连续层编码越来越多的语义信息，从第一层中的简单几何滤波器开始；
金字塔的每个级别采用多通道图像(张量)的形式，其中每个通道包含对某个学习卷积滤波器的响应；从粗略到精细的方式对齐，从最高的低分辨率层开始，并向下进行到较低的几何层，以细化对齐；这个过程包括特征提取和体积对齐。
金字塔是通过应用连续的卷积，随后是非线性激活函数创建的，偶尔下采样，非常类似于标准CNN；对于卷积的权重进行图像分类任务的训练；网络由13层卷积组成。
对于对齐体积，使用逆组合损失函数公式：
与普通图像类似，将深度N的体积定义为一个函数为了解决参数更新Δp，首先需要计算这个非线性最小二乘系统的雅可比矩阵和黑塞矩阵：
更新使用正常方程计算：
Δp＝H-1b (11)
为了实现大容量的实时对齐；每个计算线程计算每像素值，使用公式(9)和(10)将其简化为单个矩阵。
图4是本发明一种基于卢卡斯-卡纳德图像对齐的图像配准方法的球型拼接。为了使用测试跟踪，开发一个实时球型拼接系统；它跟踪旋转相机运动，并产生一个关键帧图，渲染成一个球形全景图；对于纯旋转相机运动，由矩阵R描述的由旋转分隔的具有本征矩阵K的两个相机帧之间的单应性由下式给出：KRK-1；因此，生成变形函数的形式如下：
其中，是均匀化像素位置x，π是投影函数；用ω∈R3参数化增量旋转R(ω)；矢量ω描述的增量旋转映射到组元素：
R(ω)＝exp(ω×) (13)
要优化的最终损失函数的形式如下：
关键帧图像投影到最终组合曲面上，使用球形投影，其将每个关键帧投影到单位球体上，随后将其展开到2D表面以供查看；使用大小为224×224的图像来提取特征并对齐所有级别。
实时球型拼接系统使用整个金字塔实时运行15-20帧/秒；提取13层卷积特征每帧需要大约1ms；从GPU复制数据需要10ms，这可以通过进一步修改软件来避免；执行对齐所花费的时间取决于在不同级别执行的迭代次数，通常在40-60ms左右。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于卢卡斯-卡纳德图像对齐的图像配准方法，其特征在于，主要包括直接每像素损失函数(一)；卢卡斯-卡纳德算法(二)；粗略对齐(三)；用卷积神经网络(CNN)特征图替换金字塔(四)；球型拼接(五)。
2.基于权利要求书1所述的直接每像素损失函数(一)，其特征在于，图像对齐(配准)需要移动和变形常量模板图像以找到与参考图像的最佳匹配；图像配准的核心是生成的变形模型，其被参数化以表示相对相机场景运动的自由度；通过迭代地找到更好的参数集来使图像变形成对应的模型，进行对齐；
为了评估一致性，必须定义图像相似度的度量；在卢卡斯-卡纳德(LK)的标准形式中，使用平方差(SSD)的和；这给出了以下目标函数：
<mrow>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>P</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Ir是参考图像，It是模板图像，x是图像像素位置，是生成的变形模型，旨在解决的变形参数向量为p。
3.基于权利要求书1所述的卢卡斯-卡纳德算法(二)，其特征在于，在LK对齐中，在每次迭代中，使用公式(1)中的损失函数相对于变形参数向量p的梯度，并确定使更接近函数最小值的参数更新Δp；
<mrow>
<mi>&Delta;</mi>
<mi>p</mi>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>P</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
以下更新法则：
线性化公式(2)导致一个封闭形式的解决方案：
<mrow>
<mi>&Delta;</mi>
<mi>p</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<msup>
<mi>J</mi>
<mi>T</mi>
</msup>
<mi>J</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<msup>
<mi>J</mi>
<mi>T</mi>
</msup>
<mi>r</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，
<mrow>
<mi>J</mi>
<mo>=</mo>
<mo>-</mo>
<mo>&dtri;</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mfrac>
<mrow>
<mi>d</mi>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>d</mi>
<mi>p</mi>
</mrow>
</mfrac>
<msub>
<mo>|</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
r＝Ir(W(x；p))-It(x) (6)
会聚处的形状在很大程度上取决于图像内容，即图像中存在的纹理和模糊度的数量和类型；由于损失格局通常在实际转化附近局部凸起，因此优化需要良好的初始化才能成功地收敛于正确的解决方案。
4.基于权利要求书3所述的LK对齐，其特征在于，使用一个简单的卢卡斯-卡纳德图像对齐方式，其中有一个迭代次数超过了一个金字塔的粗糙度水平，并且通过预先训练的CNN的卷积特征图的层次简单地替换了图像金字塔。
5.基于权利要求书1所述的粗略对齐(三)，其特征在于，为了增加收敛处的大小，可以使用高斯模糊平滑原始图像，通过去除图像中的细节来简化损失；高斯平滑图像通常被下采样，因为它不会导致信息丢失并会减少要处理的像素数量；由于下采样图像中的像素对应于原始图像中的多重像素，所以两者之间的距离缩短，从而增加了收敛处的大小；出于同样的原因，在较小版本的图像上执行的对准的精度也降低；
常见的方法是使用高度低采样和模糊图像来开始优化，以获得初始估计，使用更详细的图像版本进行细化，这可以被认为是图像的退化版本的金字塔。
6.基于权利要求书1所述的用卷积神经网络(CNN)特征图替换金字塔(四)，其特征在于，标准分类中的卷积输出CNN形成与基于RGB的LK图像对齐中使用的金字塔相似的金字塔；这种金字塔的连续层编码越来越多的语义信息，从第一层中的简单几何滤波器开始；
金字塔的每个级别采用多通道图像(张量)的形式，其中每个通道包含对某个学习卷积滤波器的响应；从粗略到精细的方式对齐，从最高的低分辨率层开始，并向下进行到较低的几何层，以细化对齐；这个过程包括特征提取和体积对齐。
7.基于权利要求书6所述的特征提取，其特征在于，金字塔是通过应用连续的卷积，随后是非线性激活函数创建的，偶尔下采样，非常类似于标准CNN；对于卷积的权重进行图像分类任务的训练；网络由13层卷积组成。
8.基于权利要求书6所述的体积对齐，其特征在于，对于对齐体积，使用逆组合损失函数公式：
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>e</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&Delta;</mi>
<mi>p</mi>
<mo>;</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>V</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>V</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>;</mo>
<mi>p</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
与普通图像类似，将深度N的体积定义为一个函数为了解决参数更新Δp，首先需要计算这个非线性最小二乘系统的雅可比矩阵和黑塞矩阵：
<mrow>
<msub>
<mi>J</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mi>x</mi>
</msub>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>&Delta;</mi>
<mi>p</mi>
</mrow>
</mfrac>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>&Delta;</mi>
<mi>p</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>&part;</mo>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>&Delta;</mi>
<mi>p</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>H</mi>
<mo>:</mo>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<msubsup>
<mi>J</mi>
<mi>x</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>J</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>&lsqb;</mo>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
<mi>T</mi>
</msubsup>
<mo>&rsqb;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>b</mi>
<mo>:</mo>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<msubsup>
<mi>J</mi>
<mi>x</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>e</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>&lsqb;</mo>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
<mi>T</mi>
</msubsup>
<mo>&rsqb;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msubsup>
<mi>J</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>c</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
更新使用正常方程计算：
Δp＝H-1b (11)
为了实现大容量的实时对齐；每个计算线程计算每像素值，使用公式(9)和(10)将其简化为单个矩阵。
9.基于权利要求书1所述的球型拼接(五)，其特征在于，为了使用测试跟踪，开发一个实时球型拼接系统；它跟踪旋转相机运动，并产生一个关键帧图，渲染成一个球形全景图；对于纯旋转相机运动，由矩阵R描述的由旋转分隔的具有本征矩阵K的两个相机帧之间的单应性由下式给出：KRK-1；因此，生成变形函数的形式如下：
<mrow>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>;</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mi>K</mi>
<mi>R</mi>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
<msup>
<mi>K</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mover>
<mi>x</mi>
<mo>&CenterDot;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，是均匀化像素位置x，π是投影函数；用ω∈R3参数化增量旋转R(ω)；矢量ω描述的增量旋转映射到组元素：
R(ω)＝exp(ω×) (13)
要优化的最终损失函数的形式如下：
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>V</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&pi;</mi>
<mo>(</mo>
<mrow>
<mi>K</mi>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>&omega;</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>K</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mover>
<mi>x</mi>
<mo>&CenterDot;</mo>
</mover>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>V</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>KRK</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
关键帧图像投影到最终组合曲面上，使用球形投影，其将每个关键帧投影到单位球体上，随后将其展开到2D表面以供查看；使用大小为224×224的图像来提取特征并对齐所有级别。
10.基于权利要求书9所述的实时球型拼接系统，其特征在于，该系统使用整个金字塔实时运行15-20帧/秒；提取13层卷积特征每帧需要大约1ms；从GPU复制数据需要10ms，这可以通过进一步修改软件来避免；执行对齐所花费的时间取决于在不同级别执行的迭代次数，通常在40-60ms左右。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711075930.3A CN107862707A (zh) | 2017-11-06 | 2017-11-06 | 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711075930.3A CN107862707A (zh) | 2017-11-06 | 2017-11-06 | 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107862707A true CN107862707A (zh) | 2018-03-30 |
Family
ID=61700856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711075930.3A Withdrawn CN107862707A (zh) | 2017-11-06 | 2017-11-06 | 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107862707A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147025A (zh) * | 2018-07-11 | 2019-01-04 | 北京航空航天大学 | 一种面向rgbd三维重建的纹理生成方法 |
| CN109771034A (zh) * | 2019-03-08 | 2019-05-21 | 安徽医科大学第二附属医院 | 一种新型骨科导航系统及方法、信息数据处理终端 |
| CN111047513A (zh) * | 2019-11-27 | 2020-04-21 | 中国人民解放军国防科技大学 | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 |
| CN111861888A (zh) * | 2020-07-27 | 2020-10-30 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113228104A (zh) * | 2018-11-06 | 2021-08-06 | 菲力尔商业系统公司 | 热图像和可见图像对的自动共配准 |
| CN113313147A (zh) * | 2021-05-12 | 2021-08-27 | 北京大学 | 一种基于深度语义对齐网络模型的图像匹配方法 |
| CN113379808A (zh) * | 2021-06-21 | 2021-09-10 | 昆明理工大学 | 一种多波段太阳图像配准的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184779A (zh) * | 2015-08-26 | 2015-12-23 | 电子科技大学 | 一种基于快速特征金字塔的车辆多尺度跟踪方法 |
| CN105894045A (zh) * | 2016-05-06 | 2016-08-24 | 电子科技大学 | 一种基于空间金字塔池化的深度网络模型的车型识别方法 |
| CN106991440A (zh) * | 2017-03-29 | 2017-07-28 | 湖北工业大学 | 一种基于空间金字塔的卷积神经网络的图像分类算法 |
-
2017
- 2017-11-06 CN CN201711075930.3A patent/CN107862707A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184779A (zh) * | 2015-08-26 | 2015-12-23 | 电子科技大学 | 一种基于快速特征金字塔的车辆多尺度跟踪方法 |
| CN105894045A (zh) * | 2016-05-06 | 2016-08-24 | 电子科技大学 | 一种基于空间金字塔池化的深度网络模型的车型识别方法 |
| CN106991440A (zh) * | 2017-03-29 | 2017-07-28 | 湖北工业大学 | 一种基于空间金字塔的卷积神经网络的图像分类算法 |
Non-Patent Citations (1)
| Title |
|---|
| JAN CZARNOWSKI ET AL.: "mantic Texture for Robust Dense Tracking", 《ARXIV》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109147025A (zh) * | 2018-07-11 | 2019-01-04 | 北京航空航天大学 | 一种面向rgbd三维重建的纹理生成方法 |
| CN109147025B (zh) * | 2018-07-11 | 2023-07-18 | 北京航空航天大学 | 一种面向rgbd三维重建的纹理生成方法 |
| CN113228104A (zh) * | 2018-11-06 | 2021-08-06 | 菲力尔商业系统公司 | 热图像和可见图像对的自动共配准 |
| CN109771034A (zh) * | 2019-03-08 | 2019-05-21 | 安徽医科大学第二附属医院 | 一种新型骨科导航系统及方法、信息数据处理终端 |
| CN111047513A (zh) * | 2019-11-27 | 2020-04-21 | 中国人民解放军国防科技大学 | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 |
| CN111047513B (zh) * | 2019-11-27 | 2024-01-23 | 中国人民解放军国防科技大学 | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 |
| CN111861888A (zh) * | 2020-07-27 | 2020-10-30 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113313147A (zh) * | 2021-05-12 | 2021-08-27 | 北京大学 | 一种基于深度语义对齐网络模型的图像匹配方法 |
| CN113313147B (zh) * | 2021-05-12 | 2023-10-20 | 北京大学 | 一种基于深度语义对齐网络模型的图像匹配方法 |
| CN113379808A (zh) * | 2021-06-21 | 2021-09-10 | 昆明理工大学 | 一种多波段太阳图像配准的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275518B (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| CN107862707A (zh) | 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法 | |
| Kwon et al. | Data-driven depth map refinement via multi-scale sparse representation | |
| Liu | Beyond pixels: exploring new representations and applications for motion analysis | |
| JP5830546B2 (ja) | 対象物のモデル変換に基づくモデルパラメータの決定 | |
| CN108171791B (zh) | 基于多深度摄像机的动态场景实时三维重建方法及装置 | |
| EP2710557B1 (en) | Fast articulated motion tracking | |
| CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| WO2018013495A1 (en) | Augmented reality methods and devices | |
| CN111524170B (zh) | 一种基于无监督深度学习的肺部ct图像配准方法 | |
| Riklin-Raviv et al. | Unlevel-sets: Geometry and prior-based segmentation | |
| CN112053447A (zh) | 一种增强现实三维注册方法及装置 | |
| Collins et al. | [POSTER] realtime shape-from-template: System and applications | |
| CN114429555A (zh) | 由粗到细的图像稠密匹配方法、系统、设备及存储介质 | |
| EP3185212B1 (en) | Dynamic particle filter parameterization | |
| Hering et al. | Unsupervised learning for large motion thoracic CT follow-up registration | |
| Yu et al. | A video-based facial motion tracking and expression recognition system | |
| Mitchell et al. | Siamese encoding and alignment by multiscale learning with self-supervision | |
| Yan et al. | Deep learning on image stitching with multi-viewpoint images: A survey | |
| CN117173012A (zh) | 无监督的多视角图像生成方法、装置、设备及存储介质 | |
| Suliman et al. | A deep-discrete learning framework for spherical surface registration | |
| JP2000099760A (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
| Lou et al. | WS-SfMLearner: self-supervised monocular depth and ego-motion estimation on surgical videos with unknown camera parameters | |
| Zhao et al. | Generative face parsing map guided 3D face reconstruction under occluded scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180330 |