CN107169922A - 基于张量稀疏表示的拓扑结构维持的图像配准方法 - Google Patents

基于张量稀疏表示的拓扑结构维持的图像配准方法 Download PDF

Info

Publication number
CN107169922A
CN107169922A CN201710341578.7A CN201710341578A CN107169922A CN 107169922 A CN107169922 A CN 107169922A CN 201710341578 A CN201710341578 A CN 201710341578A CN 107169922 A CN107169922 A CN 107169922A
Authority
CN
China
Prior art keywords
mrow
tensor
msub
index
potential function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710341578.7A
Other languages
English (en)
Other versions
CN107169922B (zh
Inventor
董恩清
亓玉佩
李宇森
薛鹏
纪慧中
熊文硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhiwei Zhicheng Electronic Technology Co Ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710341578.7A priority Critical patent/CN107169922B/zh
Publication of CN107169922A publication Critical patent/CN107169922A/zh
Application granted granted Critical
Publication of CN107169922B publication Critical patent/CN107169922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14—

Abstract

本发明公开了一种基于张量稀疏表示的拓扑结构维持的图像配准方法，属于图像处理领域，包括以下步骤：将数字图像转化为等价的张量模型；将张量分为数值和索引两部分来存储：利用具有同质性的势函数来计算张量的数值，并根据邻域系统来计算张量中非0元素的索引；利用高阶乘幂法求解形变场。本发明通过选取具有同质性的势函数和相应的邻域系统，可构造出稀疏张量，从而极大的减小了内存消耗，提升了高阶马尔可夫随机场中的图像配准技术在实际应用中的可行性。

Description

基于张量稀疏表示的拓扑结构维持的图像配准方法
技术领域
本发明属于图像处理领域，涉及基于马尔可夫随机场的图像配准方法，具体涉及一种基于张量稀疏表示的拓扑结构维持的图像配准方法。
背景技术
图像配准是寻求一种空间变换使得浮动图像与目标图像在结构上对齐的过程，被广泛应用于医学图像处理，遥感图像处理等方面。在实际应用中，通常要求图像配准输出的位移向量场(形变场)是规则的，拓扑结构不变性是衡量形变场是否规则的重要标准之一。在马尔可夫随机场模型中，可以利用三元团(如图1所示)来得到拓扑结构维持的形变场。基于高阶马尔可夫随机场张量密集表示的配准方法的空间复杂度很高，普通计算机硬件无法提供足够的存储空间，因而在实际应用中是不可实现的。
发明内容
本发明针对高阶马尔可夫随机场中的图像配准技术中存在需要存储的数据量过多，内存消耗过大的问题，提供了一种基于张量稀疏表示的拓扑结构维持的图像配准方法，该方法可有效减小图像配准过程中的内存消耗。
本发明的技术方案为：基于张量稀疏表示的拓扑结构维持的图像配准方法，包括以下步骤:
(1)对未配准的图像进行预处理，并得到由位移向量构成的标签集合：
(1-1)读入像素数为M的目标图像I和浮动图像J，并估计出两幅图像中所示物体的真实形变范围；
(1-2)根据形变范围来选取一组合适的位移向量d1,d2,...,dN，并将这些位移向量作为基于马尔可夫随机场的图像配准算法中的标签集合L＝{d1,d2,...,dN}；
(2)利用指派矩阵的概率意义图像配准问题转化为等价的张量表述，并选取势函数构造2阶张量H2、4阶张量H4和6阶张量在利用同质性势函数构造6阶张量时，只存储必要的数值以及非0元素对应的索引信息；
(3)利用对称张量高阶乘幂法求解目标函数f(X)的极大值问题，得到图像配准所需的形变场，其中
并根据X的概率意义选取每个像素最可能对应的位移向量，进而得到形变场D；
(4)利用形变场对浮动图像进行变换来实现图像配准。
所述步骤(2)中所述指派矩阵X是根据图像与标签集合随机构造出一个N×M的指派矩阵X，其中Xa,i表示i个像素是否对应于第a个标签da的概率。
所述步骤(2)中选取势函数按照以下方法构造张量：
(2-1)任意选取一个一元团势函数V1来构造2阶张量H2，其中H2是一个N×M的矩阵，是第i个像素取得第a个标签时V1输出的代价值；
(2-2)任意选取一个二元团势函数V2来构造4阶张量H4，其中H4的维度为N×M×N×M，表示当第i个像素取第a个标签时，第j个像素取第b个标签时V2输出的代价值；
(2-3)利用如下稀疏表示方法来构造6阶张量
(2-3-1)将张量H6分为数值与索引两部分存储，在存储设备中，密集张量仅存储数值，其索引信息隐含在存储的顺序中(比如按内存地址的顺序)，而稀疏张量只需存储必要的数值与相应的索引信息；
(2-3-2)任意选取一个同质性的三元团势函数V3来计算由于势函数具有同质性，对于任意的索引，张量中对应元素的数值皆相同，因此只需要存储单个索引对应的数值，实际上是一个N×N×N的3阶张量，且有其中是当像素构成的三元团分别取得第a,b,c个标签时，V3输出的代价值；
(2-3-3)选取合适的邻域系统来计算并存储张量中非0元素的索引如果像素索引为(i,j,k)构成的三元团在邻域系统之中，则将(i,j,k)存储进否则不存储，这等效为将H6中相应的元素设为0。
本发明基于张量稀疏表示的拓扑结构维持的图像配准方法只需要选择具有同质性的势函数和相应的邻域系统，便可构造出稀疏张量，从而极大的减小了内存消耗，进而提升了高阶马尔可夫随机场中的图像配准技术在实际应用中的可行性。
附图说明
图1是8-邻域系统中各元团示意图。
图2是基于密集表示的张量与基于稀疏表示的张量的存储方式对比图。
图3是基于本实施方式的图像配准之后的形变场对比图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。本发明实现基于张量稀疏表示的图像配准过程主要包括以下步骤：
(1)对未配准的图像进行预处理，并得到由位移向量构成的标签集合：
(1-1)读入像素数为M的目标图像I和浮动图像J，并估计出两幅图像中所示物体的真实形变范围；
(1-2)根据形变范围来选取一组合适的位移向量d1,d2,...,dN，并将这些位移向量作为基于马尔可夫随机场的图像配准算法中的标签集合L＝{d1,d2,...,dN}；
(2)利用指派矩阵的概率意义图像配准问题转化为等价的张量表述，并选取势函数构造张量，在利用同质性势函数构造6阶张量时，只存储必要的数值以及非0元素对应的索引信息；
(2-1)根据图像与标签集合随机构造出一个N×M的指派矩阵X，其中Xa,i表示i个像素是否对应于第a个标签da的概率；
(2-2)选取势函数按照以下方法构造张量：
(2-2-1)任意选取一个一元团势函数V1来构造2阶张量H2，其中H2是一个N×M的矩阵，是第i个像素取得第a个标签时V1输出的代价值；
(2-2-2)任意选取一个二元团势函数V2来构造4阶张量H4，其中H4的维度为N×M×N×M，表示当第i个像素取第a个标签时，第j个像素取第b个标签时V2输出的代价值；
(2-2-3)利用如下稀疏表示方法来构造6阶张量
(2-2-3-1)将张量H6分为数值与索引两部分存储，如图2所示，在存储设备中，密集张量仅存储数值，其索引信息隐含在存储的顺序中(比如按内存地址的顺序)，而稀疏张量只需存储必要的数值与相应的索引信息；
(2-2-3-2)任意选取一个同质性的三元团势函数V3来计算由于势函数具有同质性，对于任意的索引，张量中对应元素的数值皆相同，因此只需要存储单个索引对应的数值，实际上是一个N×N×N的3阶张量，且有其中是当像素构成的三元团分别取得第a,b,c个标签时，V3输出的代价值；
(2-2-3-3)选取合适的邻域系统来计算并存储张量中非0元素的索引如果像素索引为(i,j,k)构成的三元团在邻域系统之中，则将(i,j,k)存储进否则不存储，这等效为将H6中相应的元素设为0；
(3)利用对称张量高阶乘幂法求解目标函数f(X)的极大值问题：
并根据X的概率意义选取每个像素最可能对应的位移向量，进而得到形变场D，在图3中，(c)和(d)分别为未施加拓扑约束与施加拓扑约束的形变场，从局部放大图可以看出，施加拓扑约束的形变场更加规则，维持了拓扑结构不变性。
(4)利用形变场D对浮动图像J进行变换得到配准后的图像W。
最后应说明的是，以上实施实例仅用以说明本发明的技术方案而非限制，尽管参照较佳的实施实例对本发明进行了详细的说明，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的修改或等同替换，而不脱离本发明技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于张量稀疏表示的拓扑结构维持的图像配准方法，其特征是包括以下步骤:
(1)对未配准的图像进行预处理，并得到由位移向量构成的标签集合：
(1-1)读入像素数为M的目标图像I和浮动图像J，并估计出两幅图像中所示物体的真实形变范围；
(1-2)根据形变范围来选取一组合适的位移向量d1,d2,...,dN，并将这些位移向量作为基于马尔可夫随机场的图像配准算法中的标签集合L＝{d1,d2,...,dN}；
(2)利用指派矩阵的概率意义图像配准问题转化为等价的张量表述，并选取势函数构造2阶张量H2、4阶张量H4和6阶张量在利用同质性势函数构造6阶张量时，只存储必要的数值以及非0元素对应的索引信息；
(3)利用对称张量高阶乘幂法求解目标函数f(X)的极大值问题，得到图像配准所需的形变场，其中
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>X</mi> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> </mrow> </munder> <msubsup> <mi>H</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> </mrow> <mn>2</mn> </msubsup> <msub> <mi>X</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>+</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <msubsup> <mi>H</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <mi>j</mi> </mrow> <mn>4</mn> </msubsup> <msub> <mi>X</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>b</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>+</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>c</mi> <mo>,</mo> <mi>k</mi> </mrow> </munder> <msubsup> <mi>H</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> <mo>,</mo> <mi>b</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>c</mi> <mo>,</mo> <mi>k</mi> </mrow> <mn>6</mn> </msubsup> <msub> <mi>X</mi> <mrow> <mi>a</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>b</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <msub> <mi>X</mi> <mrow> <mi>c</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow>
并根据X的概率意义选取每个像素最可能对应的位移向量，进而得到形变场D；
(4)利用形变场对浮动图像进行变换来实现图像配准；
所述步骤(2)中所述指派矩阵X是根据图像与标签集合随机构造出一个N×M的指派矩阵X，其中Xa,i表示i个像素是否对应于第a个标签da的概率。
2.根据权利要求1所述基于张量稀疏表示的拓扑结构维持的图像配准方法，其特征是所述步骤(2)中选取势函数按照以下方法构造张量：
(2-1)任意选取一个一元团势函数V1来构造2阶张量H2，其中H2是一个N×M的矩阵，是第i个像素取得第a个标签时V1输出的代价值；
(2-2)任意选取一个二元团势函数V2来构造4阶张量H4，其中H4的维度为N×M×N×M，表示当第i个像素取第a个标签时，第j个像素取第b个标签时V2输出的代价值；
(2-3)利用如下稀疏表示方法来构造6阶张量
(2-3-1)将张量H6分为数值与索引两部分存储，在存储设备中，密集张量仅存储数值，其索引信息隐含在存储的顺序中，而稀疏张量只需存储必要的数值与相应的索引信息；
(2-3-2)任意选取一个同质性的三元团势函数V3来计算由于势函数具有同质性，对于任意的索引，张量中对应元素的数值皆相同，因此只需要存储单个索引对应的数值，实际上是一个N×N×N的3阶张量，且有其中是当像素构成的三元团分别取得第a,b,c个标签时，V3输出的代价值；
(2-3-3)选取合适的邻域系统来计算并存储张量中非0元素的索引如果像素索引为(i,j,k)构成的三元团在邻域系统之中，则将(i,j,k)存储进否则不存储，这等效为将H6中相应的元素设为0。
CN201710341578.7A 2017-05-16 2017-05-16 基于张量稀疏表示的拓扑结构维持的图像配准方法 Active CN107169922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710341578.7A CN107169922B (zh) 2017-05-16 2017-05-16 基于张量稀疏表示的拓扑结构维持的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710341578.7A CN107169922B (zh) 2017-05-16 2017-05-16 基于张量稀疏表示的拓扑结构维持的图像配准方法

Publications (2)

Publication Number Publication Date
CN107169922A true CN107169922A (zh) 2017-09-15
CN107169922B CN107169922B (zh) 2020-04-14

Family

ID=59815601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710341578.7A Active CN107169922B (zh) 2017-05-16 2017-05-16 基于张量稀疏表示的拓扑结构维持的图像配准方法

Country Status (1)

Country Link
CN (1) CN107169922B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857744A (zh) * 2019-02-13 2019-06-07 上海燧原智能科技有限公司 稀疏张量计算方法、装置、设备及存储介质
CN110443261A (zh) * 2019-08-15 2019-11-12 南京邮电大学 一种基于低秩张量恢复的多图匹配方法
CN111291240A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 处理数据的方法和数据处理装置
CN112085784A (zh) * 2020-09-15 2020-12-15 湖南华云数据湖信息技术有限公司 一种基于变形匹配能量函数的目标配准识别方法
CN113407975A (zh) * 2021-07-20 2021-09-17 北京百度网讯科技有限公司 数字签名方法、签名信息的验证方法、相关装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558073A (zh) * 2016-11-23 2017-04-05 山东大学 基于图像特征和tv‑l1的非刚性图像配准方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558073A (zh) * 2016-11-23 2017-04-05 山东大学 基于图像特征和tv‑l1的非刚性图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLIVIER DUCHENNE 等: "A Tensor-based Algorithm forHigh-Order Graph Matching", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
余丽玲 等: "基于马尔科夫随机场的乳腺DCE-MRI图像序列配准", 《计算机与现代化》 *
薛鹏 等: "基于平衡系数的Active Demons非刚性配准算法", 《自动化学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291240A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 处理数据的方法和数据处理装置
CN111291240B (zh) * 2018-12-06 2023-12-08 华为技术有限公司 处理数据的方法和数据处理装置
CN109857744A (zh) * 2019-02-13 2019-06-07 上海燧原智能科技有限公司 稀疏张量计算方法、装置、设备及存储介质
CN109857744B (zh) * 2019-02-13 2020-03-20 上海燧原智能科技有限公司 稀疏张量计算方法、装置、设备及存储介质
CN110443261A (zh) * 2019-08-15 2019-11-12 南京邮电大学 一种基于低秩张量恢复的多图匹配方法
CN110443261B (zh) * 2019-08-15 2022-05-27 南京邮电大学 一种基于低秩张量恢复的多图匹配方法
CN112085784A (zh) * 2020-09-15 2020-12-15 湖南华云数据湖信息技术有限公司 一种基于变形匹配能量函数的目标配准识别方法
CN113407975A (zh) * 2021-07-20 2021-09-17 北京百度网讯科技有限公司 数字签名方法、签名信息的验证方法、相关装置及电子设备

Also Published As

Publication number Publication date
CN107169922B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN107169922A (zh) 基于张量稀疏表示的拓扑结构维持的图像配准方法
Garbade et al. Two stream 3d semantic scene completion
US11593586B2 (en) Object recognition with reduced neural network weight precision
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
Dewi et al. Evaluation of robust spatial pyramid pooling based on convolutional neural network for traffic sign recognition system
Santa Cruz et al. Visual permutation learning
Song et al. A chaotic electromagnetic field optimization algorithm based on fuzzy entropy for multilevel thresholding color image segmentation
Zhao et al. Dense rgb-d semantic mapping with pixel-voxel neural network
Wang et al. Multi-view fusion-based 3D object detection for robot indoor scene perception
CN110188825A (zh) 基于离散多视图聚类的图像聚类方法、系统、设备及介质
CN115293919B (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
US20180032806A1 (en) Producing a flowchart object from an image
Iqbal et al. Comparative investigation of learning algorithms for image classification with small dataset
Tweit et al. A novel feature-selection method for human activity recognition in videos
Tang et al. Solution to solid wood board cutting stock problem
US20190122117A1 (en) Learning device, non-transitory computer readable storage medium, and learning method
Xie et al. Real-time LiDAR point-cloud moving object segmentation for autonomous driving
Yan et al. Comprehensive Visual Question Answering on Point Clouds through Compositional Scene Manipulation
Zhang et al. Rapid texture optimization of three-dimensional urban model based on oblique images
Gao et al. Buffer allocation via bottleneck-based variable neighborhood search
Liu et al. Internet+: A light network for hand pose estimation
Zhang et al. Improving pooling method for regularization of convolutional networks based on the failure probability density
Tang et al. A deep-learning model for semantic segmentation of meshes from UAV oblique images
Bei et al. Improved Hybrid Firefly Algorithm with Probability Attraction Model
CN113378934A (zh) 一种基于语义感知图神经网络的小样本图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200316

Address after: Room 913, block a, innovation and entrepreneurship base, No. 213, Torch Road, gaoqu District, Weihai City, Shandong Province

Applicant after: Shandong Zhiwei Zhicheng Electronic Technology Co., Ltd

Address before: 264200 No. 180, Wenhua West Road, Shandong, Weihai

Applicant before: SHANDONG University

GR01 Patent grant
GR01 Patent grant