CN111242169A - 一种基于图片相似度计算的脑纤维视角自动选择方法 - Google Patents

一种基于图片相似度计算的脑纤维视角自动选择方法 Download PDF

Info

Publication number
CN111242169A
CN111242169A CN201911409311.2A CN201911409311A CN111242169A CN 111242169 A CN111242169 A CN 111242169A CN 201911409311 A CN201911409311 A CN 201911409311A CN 111242169 A CN111242169 A CN 111242169A
Authority
CN
China
Prior art keywords
fiber
visual angle
data
similarity calculation
fibers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911409311.2A
Other languages
English (en)
Other versions
CN111242169B (zh
Inventor
刘义鹏
曾东旭
蒋哲臣
孙国道
蒋莉
梁荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911409311.2A priority Critical patent/CN111242169B/zh
Publication of CN111242169A publication Critical patent/CN111242169A/zh
Application granted granted Critical
Publication of CN111242169B publication Critical patent/CN111242169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种基于图片相似度计算的脑纤维视角自动选择方法,包括以下步骤:1)导入异常纤维样本数据和待判定纤维数据,使用ParaView软件绘制成三维图像;2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;3)通过计算每组图片的相似度,寻找差异最大的视角;4)获取差异最大的视角之后,对图片进行降维处理和聚类分析;5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。本发明可以帮助研究人员快速定位纤维异常区域并进行分析。

Description

一种基于图片相似度计算的脑纤维视角自动选择方法
技术领域
本发明涉及脑科学领域,是一种基于图片相似度计算的脑纤维视角自动选择方法,通过机器学习技术辅助脑神经纤维分析。
背景技术
水分子弥散是核磁共振技术的基础,DWI、DTI与HARDI无创检测技术均以水分子弥散扩散为基础发展而来。人们可以通过对纤维的跟踪获得脑部的大量纤维,但是由于纤维结构错综复杂,并且相互存在遮挡,通常无法直观分析脑纤维的组织结构。如何对大量纤维进行聚类和更直观地渲染是亟待解决的问题。纤维聚类为提升对脑纤维的特征分析提供了参考,更好地展示纤维束之间的空间关系。合理的纤维聚类方式可以在很大程度上去除信息干扰与噪声,准确地描述纤维束的走向,从而帮助人们理解相互混合纤维的空间联系,展示出不同纤维束之间的连接关系。
由于纤维是一种具有密集分布属性的数据,在三维空间中绘制之后通常会出现互相遮挡的情况,这会对寻找纤维异常区域、研究纤维空间结构特征造成巨大的影响。通常需要不停地调整观察的视角来获取最佳的观察角度,而手动旋转视角并观察正常纤维与异常纤维的对比需要耗费大量的时间,而且没有量化准则,不同人、同一个人不同次观察的结果都会有差异,对纤维的分析及疾病诊断都会有很大的影响。如何能够快速寻找最佳视角,使得正常纤维和异常纤维所展现出来的差异最明显,是亟待解决的问题。以这个视角为基准,定位异常区域会更加快捷。
发明内容
为了解决现有技术的不足,本发明提供一种基于图片相似度计算的脑纤维视角自动选择方法,利用图片相似度计算原理计算未知纤维和异常纤维相似度,从而获取适合医生的具有研究价值的观测角度,并通过降维聚类分析来进一步探索纤维结构特征,可以帮助研究人员快速定位纤维异常区域并进行分析。
本发明解决其技术问题所采用的技术方案是:
一种基于图片相似度计算的脑纤维视角自动选择方法,所述方法包括以下步骤:
1)导入异常纤维样本数据和待判定纤维数据,使用ParaView软件绘制成三维图像;
2)编写自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;
3)使用直方图计算方式法和尺度不变特征计算方法计算每组图片的相似度,寻找差异最大的视角;
4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;
5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。
进一步,所述步骤3)中,利用图片相似度计算来寻找与标准样本对比差异最大的视角,自动定位最有研究价值的三维空间视角,解决手动寻找最佳研究视角工作繁琐且无法定量的问题。
再进一步,所述步骤3)的过程如下:
3.1)图像直方图包含丰富的图像信息,能够用来描述图像中颜色的全局分布,它统计了每一个强度值具有的像素个数,直方图为图像的灰度直方图,总体分布规则为“左黑右白”,左边代表暗部,右边代表亮部,而中间则代表过度区域,纵向上的高度代表像素密集程度,其越高则代表的就是分布在这个亮度上的像素越多;
3.2)尺度不变特征转换是一种用来描述与检测影响局部性特征的视觉算法,它在空间尺度中寻找相应的极值点,提取旋转不变量、位置、尺度。
更进一步,所述步骤4)的过程如下:
4.1)数据预处理,假设有m条具有不同节点数量的纤维,为了能对其进行矩阵运算,需要将所有纤维的节点数量扩展或缩减成相同数量,系统将所有的纤维延展成相同的长度,但是需要保证添加的节点对现有的信息造成的影响要尽可能小;在扩展每一条纤维时,可按照纤维末端走向延长较小的长度,或者重复增加与末尾端点重合的点,这样在不会引入多余的信息的同时达到扩展数据长度的目的,经过处理后最终可得到n维样本集γn=(x(1),x(2),…,x(m)),
Figure BDA0002349531550000021
为列向量;
4.2)数据中心化,将坐标原点移动到样本数据的中心点,其公式为:
Figure BDA0002349531550000031
4.3)计算样本的协方差矩阵并进行特征值分解,协方差计算公式为:
Figure BDA0002349531550000032
4.4)得到特征值之后取出最大的Φ个特征值对应的特征向量,将其标准化组成特征向量矩阵W,对样本集中的每个数据进行z(i)=WTx(i)转换即可得新的数据集,也可不指定Φ,按照如下公式及设定的比重阈值进行自动计算:
Figure BDA0002349531550000033
本发明的有益效果:针对纤维数据设计一种面向脑神经纤维的可视化分析方法,重点研究基于脑纤维数据的图片差异分析、自动视角选择等内容,将脑纤维数据以最有研究价值的视角绘制在三维空间中。结合数据筛选、降维聚类等方法对脑纤维进行分析。并根据聚类结果对纤维进行抽象,提取主要结构走向,压缩数据量。另外,对于大量的纤维数据,运用降维的思想进行数据简化,并在此基础之上进行了进一步的聚类探讨。通过这个技术框架,可以帮助研究人员快速定位纤维异常区域并进行分析。
附图说明
图1为基于图片相似度计算的脑纤维视角自动选择方法逻辑框图。
图2为获取的两组不同视角的纤维成像图。
图3为计算所得的最大差异视角图。
图4为脑纤维PCA降维与K-means++聚类效果图,其中,(a)为三维空间点,(b)为PCA二维平面点图,(c)为三维空间点,(d)为聚类效果还原图。
图5为脑纤维逐步抽象效果图,其中,(a)为原始纤维,(b)为初步抽象结果,(c)为抽象第三类,(d)为最终结果。
具体实施方式
下面结合附图对本发明进一步说明。
本发明主要使用的工具为开源软件ParaView进行图像绘制成像,通过python进行数据处理与后续的聚类分析计算。由于本文要处理大量的文本数据,所以需要在研究的同时编写脚本程序处理原始数据,并将各种属性添加到原始数据之后。同时也需要编写对所有文件的降维、聚类批量处理程序,并且将结果用直观的散点图展示。
参照图1~图5,一种基于相似度计算的脑纤维视角自动选择方法,包括以下步骤:
1)导入纤维样本数据和待判定纤维数据,使用Paraview软件绘制成三维图像;
2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;
3)通过使用直方图和尺度不变特征计算方法,计算每组图片的相似度,寻找差异最大的视角;
4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;
5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。
图1是基于图片相似度计算的脑纤维视角自动选择方法逻辑图。对于两份空间坐标数据和属性数据的文件,运行脚本进行批量处理,得到vtk格式的数据,可用于计算最大视角差异或者聚类分析。通过自动旋转视角脚本来达到自动保存大量对比数据的目的,并通过计算这些对比图片的相似度差异来选定最大的差异视角,作为辅助研究人员分析的理想视角。
图2是为获取的两组不同视角的纤维成像图。通过编写ParaView可以载入的python脚本,实现自动对一组数据自动进行旋转,并保存为对比组数据用于后续的分析。可以设定不同的旋转方向和角度达到采集大量样本数据的目的,此处以采集两组图片对比样本为例。
图3是计算所得的最大差异视角图。进行多方向多角度的视角旋转来获取数据,然后通过计算多组不同视角下正常纤维和异常纤维图片的相似度,获取差异值最大的图片信息,并载入采集图片时的视角状态,从而达到快速定位理想视角的目的。所以可通过计算图3采集的每组对比数据的图片相似度,选取差异最大的一组做为辅助医务人员研究的视角。
图4是脑纤维PCA降维与K-means++聚类效果图。针对纤维数据,首先通过对数据进行PCA降维达到剔除冗余数据,压缩数据量的目的。并在此基础之上实施改进的K-means++聚类方法,计算每条脑神经纤维对应的投影点到聚类中心的距离,并分配到最近的聚类中心去。并重新计算聚类中心,直到聚类中心不再变化为止。
图5是脑纤维逐步抽象效果图。根据聚类结果,对图片进行逐类抽象,以粗管线来代替复杂的细线,尽管会损失一定精度与数据,但是能够以较小的损失来最直观地提取纤维特征,并压缩数据量,降低研究人员的视觉混杂体验,为大数据处理做铺垫。

Claims (4)

1.一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述方法包括以下步骤:
1)导入纤维样本数据和待判定纤维数据,使用Paraview软件绘制成三维图像;
2)运行自动视角旋转脚本,分别绕不同方向轴、以不同角度大小来进行图像旋转,并记录每次旋转之后的一组对比图片;
3)通过使用直方图和尺度不变特征计算方法,计算每组图片的相似度,寻找差异最大的视角;
4)获取差异最大的视角之后,对图片进行聚类分析。由于纤维数据量较大,此处通过降维处理以损失一些次要信息的代价换取更加精简的数据,然后进行后续的聚类分析;
5)获得聚类结果之后,根据结果来对纤维数据进行抽象,对原始的纤维数据进行抽象简化,提取重要信息,从而达到分析纤维结构特征的目的。
2.根据权利要求1所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤3)中,利用图片相似度计算来寻找与标准样本对比差异最大的视角,自动定位最有研究价值的三维空间视角,解决手动寻找最佳研究视角工作繁琐且无法定量的问题。
3.根据权利要求1或2所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤3)的过程如下:
3.1)图像直方图包含丰富的图像信息,能够用来描述图像中颜色的全局分布,它统计了每一个强度值具有的像素个数,直方图为图像的灰度直方图,总体分布规则为“左黑右白”,左边代表暗部,右边代表亮部,而中间则代表过度区域,纵向上的高度代表像素密集程度,其越高则代表的就是分布在这个亮度上的像素越多;
3.2)尺度不变特征转换是一种用来描述与检测影响局部性特征的视觉算法,它在空间尺度中寻找相应的极值点,提取旋转不变量、位置、尺度。
4.根据权利要求1或2所述的一种基于图片相似度计算的脑纤维视角自动选择方法,其特征在于,所述步骤4)的过程如下:
4.1)数据预处理,假设有m条具有不同节点数量的纤维,为了能对其进行矩阵运算,需要将所有纤维的节点数量扩展或缩减成相同数量,系统将所有的纤维延展成相同的长度,但是需要保证添加的节点对现有的信息造成的影响要尽可能小;在扩展每一条纤维时,可按照纤维末端走向延长较小的长度,或者重复增加与末尾端点重合的点,这样在不会引入多余的信息的同时达到扩展数据长度的目的,经过处理后最终可得到n维样本集γn=(x(1),x(2),…,x(m)),
Figure FDA0002349531540000021
为列向量;
4.2)数据中心化,将坐标原点移动到样本数据的中心点,其公式为:
Figure FDA0002349531540000022
4.3)计算样本的协方差矩阵并进行特征值分解,协方差计算公式为:
Figure FDA0002349531540000023
4.4)得到特征值之后取出最大的Φ个特征值对应的特征向量,将其标准化组成特征向量矩阵W,对样本集中的每个数据进行z(i)=WTx(i)转换即可得新的数据集,也可不指定Φ,按照如下公式及设定的比重阈值进行自动计算:
Figure FDA0002349531540000024
CN201911409311.2A 2019-12-31 2019-12-31 一种基于图片相似度计算的脑纤维视角自动选择方法 Active CN111242169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911409311.2A CN111242169B (zh) 2019-12-31 2019-12-31 一种基于图片相似度计算的脑纤维视角自动选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911409311.2A CN111242169B (zh) 2019-12-31 2019-12-31 一种基于图片相似度计算的脑纤维视角自动选择方法

Publications (2)

Publication Number Publication Date
CN111242169A true CN111242169A (zh) 2020-06-05
CN111242169B CN111242169B (zh) 2024-03-26

Family

ID=70865846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911409311.2A Active CN111242169B (zh) 2019-12-31 2019-12-31 一种基于图片相似度计算的脑纤维视角自动选择方法

Country Status (1)

Country Link
CN (1) CN111242169B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565549A (zh) * 2020-11-27 2022-05-31 英业达科技有限公司 基于密集度聚类演算的异常焊点即时分析系统及其方法
CN114723922A (zh) * 2022-02-24 2022-07-08 北京深势科技有限公司 基于数据降维的三维结构数据对比呈现方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067761A1 (en) * 2006-03-24 2010-03-18 Exini Diagnostics Ab Automatic interpretation of 3-d medicine images of the brain and methods for producing intermediate results
CN103761750A (zh) * 2014-02-14 2014-04-30 华中科技大学 一种心肌质点运动图像与心肌纤维走向图像配准方法
CN104134205A (zh) * 2014-07-11 2014-11-05 浙江工业大学 一种基于空间相似度的纤维分类方法及其系统
US20150324994A1 (en) * 2014-05-12 2015-11-12 National Taiwan University Method of Automatically Calculating Linking Strength of Brain Fiber Tracts
CN106446515A (zh) * 2016-08-31 2017-02-22 上海联影医疗科技有限公司 一种三维医学图像显示方法及装置
CN106510708A (zh) * 2015-09-15 2017-03-22 西门子保健有限责任公司 用于多对比度脑磁共振数据中异常检测的框架
CN106777982A (zh) * 2016-12-17 2017-05-31 浙江工业大学 一种基于空间路径相似性的脑纤维聚类方法
CN108289612A (zh) * 2015-11-12 2018-07-17 皇家飞利浦有限公司 用于分析脑白质病变的医学仪器
CN108648183A (zh) * 2018-05-04 2018-10-12 北京雅森科技发展有限公司 一种对spect脑部三维图像分析的方法
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术(北京)有限公司 三维模型的视角调整方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067761A1 (en) * 2006-03-24 2010-03-18 Exini Diagnostics Ab Automatic interpretation of 3-d medicine images of the brain and methods for producing intermediate results
CN103761750A (zh) * 2014-02-14 2014-04-30 华中科技大学 一种心肌质点运动图像与心肌纤维走向图像配准方法
US20150324994A1 (en) * 2014-05-12 2015-11-12 National Taiwan University Method of Automatically Calculating Linking Strength of Brain Fiber Tracts
CN104134205A (zh) * 2014-07-11 2014-11-05 浙江工业大学 一种基于空间相似度的纤维分类方法及其系统
CN106510708A (zh) * 2015-09-15 2017-03-22 西门子保健有限责任公司 用于多对比度脑磁共振数据中异常检测的框架
CN108289612A (zh) * 2015-11-12 2018-07-17 皇家飞利浦有限公司 用于分析脑白质病变的医学仪器
CN106446515A (zh) * 2016-08-31 2017-02-22 上海联影医疗科技有限公司 一种三维医学图像显示方法及装置
CN106777982A (zh) * 2016-12-17 2017-05-31 浙江工业大学 一种基于空间路径相似性的脑纤维聚类方法
CN108648183A (zh) * 2018-05-04 2018-10-12 北京雅森科技发展有限公司 一种对spect脑部三维图像分析的方法
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术(北京)有限公司 三维模型的视角调整方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
W. CHEN ET AL.,: "A Novel Interface for Interactive Exploration of DTI Fibers", vol. 15, no. 6, pages 1433 - 1440, XP011323736, DOI: 10.1109/TVCG.2009.112 *
刘义鹏等: "面向HARDI模型的脑纤维三维可视化系统", vol. 31, no. 2, pages 190 - 196 *
池华炯: "基于HARDI数据的脑纤维可视化系统设计", pages 060 - 26 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565549A (zh) * 2020-11-27 2022-05-31 英业达科技有限公司 基于密集度聚类演算的异常焊点即时分析系统及其方法
CN114565549B (zh) * 2020-11-27 2024-08-16 英业达科技有限公司 基于密集度聚类演算的异常焊点即时分析系统及其方法
CN114723922A (zh) * 2022-02-24 2022-07-08 北京深势科技有限公司 基于数据降维的三维结构数据对比呈现方法和装置
CN114723922B (zh) * 2022-02-24 2023-04-18 北京深势科技有限公司 基于数据降维的三维结构数据对比呈现方法和装置

Also Published As

Publication number Publication date
CN111242169B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
JP7458328B2 (ja) マルチ分解能登録を介したマルチサンプル全体スライド画像処理
You et al. GPU-accelerated Faster Mean Shift with euclidean distance metrics
US9959615B2 (en) System and method for automatic pulmonary embolism detection
US20220237788A1 (en) Multiple instance learner for tissue image classification
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
Schmidt et al. VAICo: Visual analysis for image comparison
US8076937B2 (en) Fibre tracking on the basis of macroscopic information
CN110837572B (zh) 图像检索方法、装置、可读存储介质及电子设备
WO2018107371A1 (zh) 图像搜索系统及方法
Foncubierta-Rodríguez et al. Using multiscale visual words for lung texture classification and retrieval
US10699156B2 (en) Method and a device for image matching
CN111242169B (zh) 一种基于图片相似度计算的脑纤维视角自动选择方法
EP2948925A1 (en) Medical image processing
CN105719333B (zh) 三维图像数据处理方法及装置
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
CN112703531A (zh) 生成组织图像的注释数据
US20240013867A1 (en) Computer device for detecting an optimal candidate compound and methods thereof
CN105678778A (zh) 一种图像匹配方法和装置
Zhou et al. Pad: A dataset and benchmark for pose-agnostic anomaly detection
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
US10176612B2 (en) System and method for retrieval of similar findings from a hybrid image dataset
CN111583281B (zh) 多模态连接模式的脑区划分方法
Zeng et al. A survey of deep learning-based methods for cryo-electron tomography data analysis
Duan et al. Bio-inspired visual attention model and saliency guided object segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant