CN106023094B - 基于图像的骨组织微观结构修复系统及其修复方法 - Google Patents

基于图像的骨组织微观结构修复系统及其修复方法 Download PDF

Info

Publication number
CN106023094B
CN106023094B CN201610304053.1A CN201610304053A CN106023094B CN 106023094 B CN106023094 B CN 106023094B CN 201610304053 A CN201610304053 A CN 201610304053A CN 106023094 B CN106023094 B CN 106023094B
Authority
CN
China
Prior art keywords
image
unit
bone tissue
area
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610304053.1A
Other languages
English (en)
Other versions
CN106023094A (zh
Inventor
廖胜辉
郑晚秋
梁毅雄
邹北骥
陈再良
刘熙尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201610304053.1A priority Critical patent/CN106023094B/zh
Publication of CN106023094A publication Critical patent/CN106023094A/zh
Application granted granted Critical
Publication of CN106023094B publication Critical patent/CN106023094B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像的骨组织微观结构修复系统及其修复方法。所述基于图像的骨组织微观结构修复系统包括图像处理模块、图像配准模块及填充模块,通过所述图像处理模块获得完整的具低精度的第一图像和具缺失部位的高精度的第二图像,通过位置映射关系获得缺失部位相对应的映射区域,再通过计算整体匹配度在第二图像中获得与所述映射区域相似度最高的匹配块,再通过位置映射关系将所述匹配块的填充区域填充至所述缺失部位完成修复。本发明的基于图像的骨组织微观结构修复系统及其修复方法具有修复精度高的优点。

Description

基于图像的骨组织微观结构修复系统及其修复方法
技术领域
本发明涉及数字图像处理与医学成像的交叉技术领域,具体地,涉及一种基于图像的骨组织微观结构修复系统及其修复方法。
背景技术
在生物医学领域,不同的成像技术可以观察到不同的现象和数据,可以综合考虑不同扫描设备的优势,获取真实生物软组织多种尺度下的细微观图像数据。最新的同步加速辐射X-射线CT分辨率达到0.1微米,能在不破坏的前提下,直接对组织内部结构进行三维成像,而其缺点在于扫描数据的细节质量明显不如组织切片,而且能分辨的组织类型有限。利用光学和电子显微镜对组织切片成像细节清晰,能观察的组织类型多样。因此,对同一软组织样本,先用非破坏的显微CT/MRI和同步辐射CT直接扫描获取骨组织的细微观多尺度图像数据;再对骨组织进行序列连续切片,利用光学和电子显微镜获取分辨清晰度更高、组织结构类型更丰富的细微观多尺度图像数据。而微观扫描尺度越小时,能扫描样本区域的范围越小,对骨组织样本进行细微观多尺度扫描获得的图像数据存在局部区域缺失,因此,需要对高分辨率精度扫描图像中的局部缺失区域进行修复填充。
微观骨组织图像为3D纹理图像,呈现类似蜂窝状的形态,“微观骨架”结构显著,正常的骨质较为密集,而当骨骼发生病变,骨量就会减少,就是通常所说的“骨质疏松”,它是导致骨脆性和骨折危险性增加的一种常见的代谢性疾病。而诊断骨质疏松,有赖于高分辨率的扫描图像。
所以,有必要提供一种针对有残缺的高精度微观骨组织扫描图像进行修复的技术方案。
发明内容
本发明通过映射位置关系和计算匹配度获取修复缺失部位的填充区域,通过填充区域修复缺失部位获得完整的高精度图像,具有修复精确度高的优点。
一种基于图像的骨组织微观结构修复系统,包括图像处理模块、图像配准模块及填充模块,其中:
所述图像处理模块包括第一获取单元及第二获取单元,所述第一获取单元用于获取第一图像及第二图像,所述第一图像为完整的骨组织图像,所述第二图像为具缺失部位的骨组织图像,所述缺失部位为待修复的目标区域,所述目标区域向外延伸获得立方体形的扩张区域,所述第二获取单元用于获得所述第一图像的第一前景图像和所述第二图像的第二前景图像;
所述图像配准模块包括映射单元及匹配单元,所述映射单元用于在所述第一前景图像中获取与所述扩张区域位置相对应且大小相同的映射区域,所述匹配单元用于在所述第二前景图像中获得与所述映射区域整体匹配度Sbone最大的匹配块,所述匹配块包括与所述目标区域位置相对应的填充区域。
所述填充模块用于将所述填充区域填充到所述目标区域并进行接缝处理。
在本发明提供的图像的骨组织微观结构修复系统的一种较佳实施例中,所述第二获取单元包括图像分割单元及边缘提取单元,所述图像分割单元用于获取所述第一图像的前景轮廓和所述第二图像的前景轮廓,所述边缘提取单元用于对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像。
在本发明提供的图像的骨组织微观结构修复系统的一种较佳实施例中,所述匹配单元包括划分单元、特征关键点提取单元、匹配度计算单元及排序单元,其中,所述划分单元用于将所述第二图像均分为多个与所述映射区域大小相同的侯选块,所述特征关键点提取单元用于提取所述映射区域和所述侯选块的特征关键点,所述匹配度计算单元用于计算所述映射区域和所述侯选块的整体匹配度Sbone,所述排序单元用于对所有侯选块的整体匹配度Sbone进行排序,选择整体匹配度Sbone最大的侯选块为匹配块。
在本发明提供的图像的骨组织微观结构修复系统的一种较佳实施例中,所述匹配度计算单元包括第一计算单元、第二计算单元及第三计算单元,所述第一计算单元、所述第二计算单元及所述第三计算单元分别用于计算所述映射区域和所述侯选块的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC,所述整体匹配度Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1。
在本发明提供的图像的骨组织微观结构修复系统的一种较佳实施例中,所述填充模块包括区域填充单元及接缝处理单元,所述区域填充单元用于将所述填充区域填充到所述目标区域,所述接缝处理单元用于对填充后的所述目标区域和环绕所述目标区域的邻近区域进行接缝处理。
本发明还提供一种基于上述图像的骨组织微观结构修复系统的修复方法,包括以下步骤:
步骤一、第一获取单元获取同一骨组织的第一图像及第二图像,所述第一图像为完整的骨组织图像,所述第二图像为具缺失部位的骨组织图像;
步骤二、第二获取单元分别处理所述第一图像和第二图像并获得所述第一图像的第一前景图像和所述第二图像的第二前景图像;
步骤三、映射单元识别映射区域:
确定所述第二前景图像中缺失部位为待修复的目标区域,从所述目标区域向外延伸获得立方体形的扩张区域,通过映射位置关系在所述第一前景图像中获得与所述扩张区域相对应且大小相同的映射区域;
步骤四、进行筛选匹配确定匹配块
在所述第二前景图像中获得与所述映射区域整体匹配度Sbone最大的匹配块,所述匹配块包括与所述目标区域位置相对应的填充区域;
步骤五、填充模块将所述填充区域填充到所述目标区域并进行接缝处理。
在本发明提供的基于图像的骨组织微观结构修复系统的修复方法一种较佳实施例中,所述步骤二包括:
分别对所述第一图像和所述第二图像进行图像阈值分割获取所述第一图像的前景轮廓和所述第二图像的前景轮廓;
分别对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像,所述边缘检测利用罗盘算子进行边缘检测。
在本发明提供的基于图像的骨组织微观结构修复系统的修复方法一种较佳实施例中,所述步骤四包括:
将所述第二前景图像均分为多个与所述映射区域大小相同的侯选块;
提取所述侯选块和所述映射区域的特征关键点;
计算所述侯选块和所述映射区域的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC
计算整体匹配度Sbone,Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1;
对所有侯选块的整体匹配度进行排序,将整体匹配度最大的侯选块作为匹配块。
在本发明提供的基于图像的骨组织微观结构修复系统的修复方法一种较佳实施例中,采用FAST算法提取特征关键点。
在本发明提供的基于图像的骨组织微观结构修复系统的修复方法一种较佳实施例中,所述步骤五包括:
结构填充:复制所述填充区域及环绕所述填充区域的第二相邻区域,将所述填充区域及环绕所述填充区域的第二相邻区域填充到所述目标区域及环绕所述目标区域的第一相邻区域;
接缝处理:所述填充区域修复所述目标区域,所述第一相邻区域和所述第二相邻区域形成重叠区域,通过SAD方法对所述重叠区域像素点的灰度差异进行计算,累积误差最小路径为最佳缝合路径,沿所述最佳缝合路径进行接缝处理得到修复后图像。
相较于现有技术,本发明提供的基于图像的骨组织微观结构修复系统及其修复方法,具有以下有益效果:
一、第二图像中包括扩张区域,待修复的目标区域位于所述扩张区域内,通过位置映射关系在第一图像中获得与所述扩张区域相对应的映射区域,然后通过计算整体匹配度在第二图像中获得与所述映射区域相似度最高的匹配块,再通过位置映射关系将所述匹配块中与所述目标区域相对应的填充区域填充于所述目标区域,并进行平滑性处理完成修复,修复的精确度高。
二、本发明通过阈值分割有效区分图像数据的前景和背景,可有效减少边缘检测、特征关键点识别以及灰度差异的计算量,提高修复效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1为基于图像的骨组织微观结构的修复过程示意图;
图2为本发明提供的基于图像的骨组织微观结构修复系统的结构框图;
图3为图2所示基于图像的骨组织微观结构修复系统的图像处理模块的结构框图;
图4(a)为在xoy平面设置罗盘示意图;
图4(b)为3D罗盘设置示意图;
图5(a)为边缘检测前骨组织结构图;
图5(b)为边缘检测后骨组织结构图;
图6为图2所示基于图像的骨组织微观结构修复系统的图像配准模块的结构框图;
图7为图6所示基于图像的骨组织微观结构修复系统的图像配准模块的匹配度计算单元的结构框图;
图8为图2所示基于图像的骨组织微观结构修复系统的填充模块的结构框图;
图9(a)为特征关键点提取示意图一;
图9(b)为特征关键点提取示意图二;
图10(a)为描述子采样区域平面示意图;
图10(b)为描述子采样区域立体示意图;
图11为本发明提供的图像的骨组织微观结构修复方法流程图;
图12为图11所示的图像的骨组织微观结构修复方法步骤S2的流程图;
图13为图11所示的图像的骨组织微观结构修复方法步骤S4的流程图;
图14为图11所示的图像的骨组织微观结构修复方法步骤S5的流程图;
图15(a)为待修复的一种骨组织结构图;
图15(b)为待修复的另一种骨组织结构图;
图16(a)为图15(a)所示修复后的骨组织结构图;
图16(b)为图15(b)所示修复后的骨组织结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明需解决的技术问题是修复具缺失部位的骨组织图像。首先获取待修复的第二图像以及用于修复所述第二图像需用到的第一图像,具体如下:通过光学电子显微镜获取同一骨组织的第一图像和第二图像,所述第一图像为完整的低精度骨组织图像,所述第二图像为具缺失部分的高精度骨组织图像,此低精度和高精度是相对概念,即第一图像的扫描精度低于所述第二图像的扫描精度。在本实施例中,具体如下:在不破坏样本骨组织的前提下,首先采用X-射线CT(分辨率0.1微米)对骨组织样本进行扫描,获得三维的第一图像,所述第一图像为完整的低精度骨组织图像,为了获得骨组织的微观多尺度图像数据,对骨组织进行序列连续切片,采用分辨率更高的光学电子显微镜进行扫描获得第二图像,由于分辨率越高,能扫描样本区域的范围越小,对骨组织样本进行细微观多尺度扫描获得的图像数据存在缺失部位,所述第二图像为具缺失部位的高精度的骨组织图像。
请参阅图1,为基于图像的骨组织微观结构的修复过程示意图。具体修复过程如下:
T1、定义所述第二图像的所述缺失部位为待修复的目标区域1,所述目标区域1向外延伸获得的立方体形扩张区域12,环绕所述目标区域1的为第一相邻区域14,所述目标区域1和所述第一相邻区域14的体积之和小于所述扩张区域12的体积;
T2、通过映射位置关系在所述第一图像中获得与所述扩张区域12相对应的映射区域3;
T3、然后在所述第二图像中搜索匹配与所述映射区域3最相似的匹配块5,再通过映射位置关系获得与所述目标区域1和所述第一相邻区域14相对应的填充区域52与第二相邻区域54;
T4、将所述填充区域52与所述第二相邻区域54填充至所述目标区域1和所述第一相邻区域14,所述填充区域52修复缺失部位,所述第一相邻区域14和所述第二相邻区域54形成重叠区域,对所述重叠区域进行接缝处理,得到自然过渡的纹理图像,完成修复,得到完整的高精度骨组织图像。
请参阅图2,为本发明提供的基于图像的骨组织微观结构修复系统的结构框图。所述基于图像的骨组织微观结构修复系统100包括图像处理模块110、图像配准模块130及填充模块150。
请参阅图3,为图2所示基于图像的骨组织微观结构修复系统的图像处理模块的结构框图。所述图像处理模块110包括第一获取单元111及第二获取单元113。所述第一获取单元111用于获取第一图像及第二图像,所述第一图像为完整的低精度骨组织图像,所述第二图像为具缺失部位的高精度骨组织图像,所述第一图像和所述第二图像均通过光学和电子显微镜扫描获得。所述第二获取单元113用于获得所述第一图像的第一前景图像和所述第二图像的第二前景图像。
在本实施例中,所述缺失部位定义为待修复的目标区域1,从所述目标区域1向外延伸获得立方体形的扩张区域12,环绕所述目标区域1的为第一相邻区域14,所述目标区域1和所述第一相邻区域14的体积之和小于所述扩张区域12的体积。
所述第二获取单元113包括图像分割单元1131及边缘提取单元1133。
所述图像分割单元1131通过阈值分割获取所述第一图像的前景轮廓和所述第二图像的前景轮廓。具体地,采用最大类间方差法进行阈值分割,通过有效区分图像数据的前景和背景,可以正确呈现所述第一图像的前景轮廓和所述第二图像的前景轮廓。
最大类间方差法是由日本学者大津(Nobuyuki Otsu)于1979年提出的,是一种自适应的阈值确定的方法,又叫大津法,简称OTSU。它是按图像的灰度特性,将图像分成背景和前景两部分。背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分目标错分为背景或部分背景错分为前景都会导致两部分差别变小。
所述边缘提取单元1133用于对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像。所述边缘检测利用罗盘算子进行边缘检测。
罗盘算子检测方法如下:
二维的罗盘边缘检测方法以每个像素为中心点,设置一个圆盘,从x轴开始,顺时针旋转,每隔45度得到下一个轴,每个轴将圆盘分为两部分,计算两部分相应像素和的差距,取最大距离;事先设置了一个距离范围[d1,d2],若该较大距离位于此范围之中,则此轴的方向即为边缘方向。当图像分辨率较低时,为提高鲁棒性,可以以中心点加所述中心点的三维26邻域点集表示一个像素单元。
请结合参阅图4(a)和图4(b),其中图4(a)为在xoy平面设置罗盘示意图,图4(b)为3D罗盘设置示意图。在3D图像数据中,对于每一个像素单元,令其作为半径为R的球的中心点,二维中的圆盘升级为球,轴升级为过球心的截面;类似的,使得两个半球距离最大的截面,即为边缘所在的面,进一步把该截面当作一个罗盘,使得两个半圆距离最大的轴的方向即为边缘方向。以R=4为例,在xoy平面上设置一个罗盘,并取得罗盘上以45度为间隔的4个轴axis1,axis2,axis3,axis4,得到上述4个轴与z轴组成的四个截面plane1,plane2,plane3,plane4。进一步将上述4个平面分别作为罗盘,设置3D罗盘图,以相同的方法设置4个轴,轴的数量为16,标记为AXISij(i=1,2,3,4,j=1,2,3,4),其中AXIS13,AXIS23,AXIS33,AXIS43是同一个方向,边缘的方向为13个方向的其中一个。在程序中,方向变量设为θ,它的取值标记为:θ123,...,θ13,它们依次代表13个方向。得到边缘点的边缘方向和强度(即为半罗盘距离差),边缘像素点表示为PE(x,y,z,g,D,θ),其中(x,y,z)为该边缘点坐标,g为该像素点灰度值,D为该点边缘强度,θ代表边缘指示的方向。通过计算两部分相应像素和的差距,取最大距离,若该较大距离位于事先设置的距离范围之中,则此轴的方向即为边缘方向。
请参阅图5(a)和图5(b),图5(a)为边缘检测前骨组织结构图,图5(b)为边缘检测后骨组织结构图。对比边缘前骨组织结构图和边缘检测后骨组织结构图可发现利用罗盘算子进行边缘检测具有较好的效果。
请参阅图6,为图2所示基于图像的骨组织微观结构修复系统的图像配准模块的结构框图。所述图像配准模块130包括映射单元131及匹配单元133,所述映射单元131用于在所述第一前景图像中获取与所述扩张区域12位置相对应且大小相同的映射区域3,所述匹配单元133用于在所述第二前景图像中获得与所述映射区域3整体匹配度Sbone最大的匹配块5,所述匹配块5包括与所述目标区域1位置相对应的填充区域52。
所述匹配单元133包括划分单元1331、特征关键点提取单元1333、匹配度计算单元1335及排序单元1337,其中,所述划分单元1331用于将所述第二图像均分为多个与所述映射区域3大小相同的侯选块,所述特征关键点提取单元1333用于提取所述映射区域3和所述侯选块的特征关键点,所述匹配度计算单元1335用于计算所述映射区域3和所述侯选块的整体匹配度Sbone,所述排序单元1337用于对所有侯选块的整体匹配度Sbone进行排序,选择整体匹配度Sbone最大的侯选块为匹配块。
请结合参阅图7,为图6所示基于图像的骨组织微观结构修复系统的图像配准模块的匹配度计算单元的结构框图。所述匹配度计算单元1335包括第一计算单元13351、第二计算单元13353及第三计算单元13355,所述第一计算单元13351、所述第二计算单元13353及所述第三计算单元13355分别用于计算所述映射区域和所述侯选块的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC,所述整体匹配度Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1。
对所述第一前景图像中的所述映射区域3及所述第二前景图像中的所述侯选块进行匹配度计算,以下边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC的计算过程中的两幅图分别指所述映射区域3和所述侯选块,具体计算方法如下。
边缘匹配度SE计算方法如下:
采用余弦定理的公式计算两幅图像数据的灰度、角度差、方向强度向量之间的余弦值,余弦定理的计算公式如下:
对于两个向量设它们的余弦为R,计算公式如下:
首先对两幅图像中的边缘点进行均匀抽样得到边缘点序列分别为C1(p1,p2,...,pn)和C2(p1',p2',...,pn'),对应的角度序列分别A112,...,αn)和A2(α'1,α'2,...,α'n);
然后计算得到长度为n-1的角度差序列分别为B112,...,βn-1)和B21',β2',...,βn-1'),其中,βm-1=αmm-1(m=1,2,...,n),β'm-1=α'm-α'm-1(m=1,2,...,n);
边缘点序列的灰度特征向量分别表示为方向差特征向量分别表示为方向强度特征向量分别表示为D1(D1,D2,...,Dn)和D2(D'1,D'2,...,D'n);
将两幅图的灰度特征向量代入余弦定理公式(1)得到灰度向量之间的余弦值RG,将两幅图的角度差特征向量代入余弦定理公式(1)得到角度差向量之间的余弦值RB,将两幅图的方向强度特征向量代入余弦定理公式(1)得到方向强度向量之间的余弦值RD
两幅图边缘匹配度SE=RG×RB×RD
全局匹配度SH计算方法如下:
首先分别将两幅图划分为W个完全相同的小立方块,对每一小立方块构建直方图,并将两幅图中对应位置的小立方块进行相似度计算,最后将W个小立方块的直方图相似度累积求平均值得到全局匹配度SH
小立方块的相似度表示为Sim(Mm1,Mm2),其中Mm1和Mm2代表两幅图中体位置相对应的小立方块。
对于两幅图的图像数据块M1,M2,(根据阈值分割)分别得到各自的“0-1”矩阵B1,B2,求取各自划分阈值的直方图H1(k),H2(k),定义函数u(x,y,z):
函数δ(x)定义如下:
本发明定义的直方图加入了阈值分割的信息,即当待匹配的两个数据块的位置像素点均属于前景区域,则u(x,y,z)=1和δ(x)=1,即只有当待匹配的小立方块均位于前景图像中才做有效点来统计。
其中,p(x,y,z)∈Sm表示图像数据中的像素点,G(x,y,z)表示像素点p(x,y,z)的灰度值,G(x,y,z)=k表示灰度值G(x,y,z)属于灰度等级k;将图像中的像素灰度划分为L个等级(分成L个段),H(k)是统计落在等级k中的像素点的个数,Nm表示L个等级的像素总个数。
相似度
全局匹配度
特征关键点匹配度SC计算方法如下:
(1)特征关键点识别
请结合参阅图9(a)和图9(b),其中,图9(a)为特征关键点提取示意图一;图9(b)为特征关键点提取示意图二。如图9所示骨组织图像分叉点通常有三个以上方向的连接,而一般的桥接线上的点可以看作只有两个方向的连接,根据上述特征,利用针对骨质图像的FAST算法进行特征关键点提取。FAST(Features from Accelerated Segment Test)是一种简单有效的关键点检测法,对于二维图像,它一般选取周围12或16个像素点,如果有足够多的像素点灰度都大于当前对象灰度,或者都小于当前对象灰度,则判定为关键点。
所述侯选块和所述映射区域的特征关键点识别方法相同,在此以所述映射区域的特征关键点识别为例进行介绍。将所述映射区域标记为Ms,其大小为n×n×n,矩阵中某一点(x,y,z)的值记为ms(x,y,z)。利用l×l×l大小的像素作为中心点,构造与其尺度大小相同的26邻域特征点。令该邻域块中的点标记为Nxyz,其中,中心点为N000;重新定义关键特征点检测规则:在邻域点中,计算关于中心点对称的一对邻域点的差值,关于中心点对称的点对有如下13对:
N001N00-1,N101N-10-1,N111N-1-1-1,N011N0-1-1,N-111N1-1-1,N-101N10-1,N-1-11N11-1,N0-11N01-1,N1-11N-11-1,N1-10N-110,N0-10N010,N-1-10N110,N100N-100
按上述点对顺序,每对点对差值依次为:d1~dm(m=13)。
对于理想的分支骨架,其邻域点对差应该基本都约为0,而对于关键特征点处,其邻域点对会有若干对差异较大。定义关于中心点对称的点对差有三种状态:“similar”,“different”和”unclear“,记为R,如下式所示:
其中,ε和ψ值的设定是为了提高鲁棒性,理想状态下similar,dm=0;different,dm>0。在本实施例中,ε取最大灰度值的1/20,Ψ取最大灰度值的1/10。
对于某一目标中心点,若其邻域点对状态有2个以上均为different,则判定为特征关键点。在矩阵Ms中标记为key。
(2)特征关键点匹配度计算
请结合参阅图10(a)和图10(b),其中,图10(a)为描述子采样区域平面示意图,图10(b)为描述子采样区域立体示意图。BRIEF(Binary Robust Independent ElementaryFeatures)描述子是一种效率比较高的特征描述方法,该方法从特征关键点周围的一定区域内随机地选取n对点,对于n个有序点对(p,q),计算每一对中像素p与像素q的差值,如果结果大于0,则该位标记为1,若结果相等,标记为0,若结果小于0,则标记为-1,这样,将n对点比较完毕,便得到了长度为n的描述子,两个描述子相对应位置上相同的个数越多,表明两个关键点越相似。
在本发明中,特征关键点进行匹配时,比较的是所述特征关键点周围骨质的结构分布情况,相比于普通图像,其分布相对有规则,所以不宜选取点对,而应该采取均匀采样的方法。在特征关键点的周围选择一个L×L×L的邻域块,特征关键点的邻域块可以看作是中心有空缺的立方体壳,L取为15,则特征点的邻域可以分为3层立方体壳,厚度T依次为20,21,22,根据上述划分的3层邻域厚度来进行采样,根据空间自相关性,采样频率反比于邻域层的厚度T。设最后采得的点集合为F,从其中取得2N个点,平均分成两个点序列,并有次序地组成N个点对,形成新的点对集合,S={(Si,ti),i=1,2,3,...,N},每个点对得到的二进制码对应二进制串中的2位,得到一个长度为2N的二进制串,每一位的规则如下:
其中b(i)表示点对的二进制码,V(si)和V(ti)代表体素点(在三维图像中,像素点称为体素点)的灰度,ε取最大灰度的1/2。
则一个二进制描述子为BN=b1b2b3…bN,其真正长度为2N。
对每个特征点建立描述子时,都采用位置对应的点对顺序。在比较两个特征点是否匹配时,只需统计它们的二进制串描述子相同的位数,以每两位为统计单位。
是两个特征点p和q的二进制串描述子,有
根据汉明距离来判断两个描述子的相似度,对进行同或运算,特征关键点匹配度如下:
其中,代表特征关键点匹配度,N代表点对数量,分别代表p和q两个特征点中某个点对的二进制串描述子。
整体匹配度的计算如下:
所述整体匹配度Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1。
请参阅图8,为图2所示基于图像的骨组织微观结构修复系统的填充模块的结构框图。所述填充模块150包括区域填充单元151及接缝处理单元153。所述区域填充单元151用于将所述填充区域52填充到所述目标区域1,所述接缝处理单元153用于对填充后的所述目标区域1和环绕所述目标区域1的邻近区域进行接缝处理,所述填充区域52覆盖所述目标区域1完成修复,为保护填充后的目标区域1与邻近区域平滑过渡,需进行接缝处理,本发明采用SAD算法计算最佳缝合路径。
请参阅图11,为本发明提供的图像的骨组织微观结构修复方法流程图。本发明提供一种图像的骨组织微观结构修复方法,包括如下步骤:
S1、第一获取单元111获取同一骨组织的第一图像及第二图像,所述第一图像为完整的骨组织图像,所述第二图像为具缺失部位的骨组织图像;
所述第一图像为低精度图像,所述第二图像为高精度图像,其中低精度和高精度为相对概念,即采用更高分辨率的光学和电子显微镜获得第二图像;
S2、第二获取单元113分别处理所述第一图像和第二图像并获得所述第一图像的第一前景图像和所述第二图像的第二前景图像;
S3、映射单元131识别映射区域:
确定所述第二前景图像中缺失部位为待修复的目标区域1,从所述目标区域1向外延伸获得立方体形的扩张区域12,通过映射位置关系在所述第一前景图像中获得与所述扩张区域12相对应且形状相同的映射区域3;
S4、进行筛选匹配确定匹配块:
在所述第二前景图像中获得与所述映射区域3整体匹配度Sbone最大的匹配块5,所述匹配块5包括与所述目标区域1位置相对应的填充区域52;
S5、填充模块150将所述填充区域52填充到所述目标区域1并进行接缝处理。
请参阅图12,为图11所示的图像的骨组织微观结构修复方法步骤S2的流程图。所述步骤S2包括:
S21、分别对所述第一图像和所述第二图像进行图像阈值分割获取所述第一图像的前景轮廓和所述第二图像的前景轮廓;
在本实施例中,具体采用最大方差法进行阈值分割区分前景轮廓和背景轮廓。
S22、分别对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像;
在本实施例中,所述边缘检测利用罗盘算子进行边缘检测。
请参阅图13,为图11所示的图像的骨组织微观结构修复方法步骤S4的流程图。所述步骤S4包括:
S41、将所述第二前景图像均分为多个与所述映射区域3大小相同的侯选块;
S42、采用FAST算法提取所述侯选块和所述映射区域3的特征关键点;
S43、计算所述侯选块和所述映射区域3的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC
S44、计算整体匹配度Sbone,Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1;
S45、对所有侯选块的整体匹配度进行排序,将整体匹配度最大的侯选块作为匹配块5。
请参阅图14,为图11所示的图像的骨组织微观结构修复方法步骤S5的流程图。所述步骤S5包括:
S51、结构填充:
复制所述填充区域52及环绕所述填充区域52的第二相邻区域54,将所述填充区域52及环绕所述填充区域52的第二相邻区域54填充到所述目标区域1及环绕所述目标区域1的第一相邻区域14;
S52、接缝处理:
所述填充区域52覆盖所述目标区域1完成待修复缺失部位的修复,所述第一相邻区域14和所述第二相邻区域54形成重叠区域,通过SAD方法对所述重叠区域像素点的灰度差异进行计算,累积误差最小路径为最佳缝合路径,沿所述最佳缝合路径进行接缝处理得到修复后图像。寻找最佳缝合路径的方法如下:
假设寻找沿y方向的缝合路径,设重叠区域y轴坐标范围为[ymin,ymax],则对于每个y坐标,遍历当前y坐标下属于重叠区域的像素点计算的像素灰度值差异从ymin→ymax,累积误差最小的路径为最佳的缝合路径。像素灰度值差异计算采用SAD算法。
SAD(sum of absolute difference)是通用的灰度差异计算方法之一,其思想是对于每个像素点,选取(2n+1)(2m+1)大小的邻域,在抑制噪声的前提下进行差异计算,公式如下:
其中SAD表示差异值,x和y表示像素点的坐标,i和j表示偏移量。
在本发明中,骨组织图像中有明显的蜂窝状纹理,利用常规的差异计算公式并未考虑此方面因素,很容易破坏纹理的结构性,因此,本文首先对利用最大类间方差设定自动的阈值,将图像二值化,得到骨架结构图IS1,IS2,即两组图像数据均分为了前景markF和背景markB,如果重叠区域的像素点分属于markF和markB,则给予它们一个很大的差异值,定义函数
其中DIFF为一个很大的值。
加入结构信息的SAD公式如下:
其中SAD表示差异值,x和y表示像素点的坐标,i和j表示偏移量。
对于三维图像数据的填充,假设z轴为增加的第三方向,则按照zmin→zmax的方向,寻找每一个xy平面上的拼缝,对于穿过填充区域的截面,可以将其分为若干个子连续区域来寻找接缝。
应用上述修复方法对骨组织进行修复,待修复前骨组织结构图和完成修复后的骨组织结构图详见图15(a)、图15(b)、图16(a)及图16(b),由效果图可以得知,应用该方法修复具缺失部位的骨组织的精度高。
本发明提供的基于图像的骨组织微观结构修复系统及修复方法具有以下有益效果:
一、第二图像中包括扩张区域12,待修复的目标区域1位于所述扩张区域12内,通过位置映射关系在第一图像中获得与所述扩张区域12相对应的映射区域3,然后通过计算整体匹配度在第二图像中获得与所述映射区域3相似度最高的匹配块5,再通过位置映射关系将所述匹配块5中与所述目标区域1相对应的填充区域52填充于所述目标区域1,并进行其与邻近区域的平滑性处理,完成修复,修复的精确性高。
二、本发明通过阈值分割有效区分图像数据的前景和背景,可有效减少边缘检测、特征关键点识别以及灰度差异的计算量,提高修复效率。
所属技术领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,并被处理器执行,前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中,所述处理器可以作为一个或多个处理器芯片实施,或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit,ASIC)的一部分;而前述的存储介质可以包括但不限于以下类型的存储介质:闪存(Flash Memory)、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的骨组织微观结构修复系统,其特征在于,包括图像处理模块、图像配准模块及填充模块,其中:
所述图像处理模块包括第一获取单元及第二获取单元,所述第一获取单元用于获取第一图像及第二图像,所述第一图像为完整的骨组织图像,所述第二图像为具缺失部位的骨组织图像,且所述第一图像的扫描精度低于所述第二图像的扫描精度,所述缺失部位为待修复的目标区域,所述目标区域向外延伸获得立方体形的扩张区域,所述第二获取单元用于获得所述第一图像的第一前景图像和所述第二图像的第二前景图像;
所述图像配准模块包括映射单元及匹配单元,所述映射单元用于在所述第一前景图像中获取与所述扩张区域位置相对应且大小相同的映射区域,所述匹配单元用于在所述第二前景图像中获得与所述映射区域整体匹配度Sbone最大的匹配块,所述匹配块包括与所述目标区域位置相对应的填充区域;
所述填充模块用于将所述填充区域填充到所述目标区域并进行接缝处理。
2.根据权利要求1所述的基于图像的骨组织微观结构修复系统,其特征在于,所述第二获取单元包括图像分割单元及边缘提取单元,所述图像分割单元用于获取所述第一图像的前景轮廓和所述第二图像的前景轮廓,所述边缘提取单元用于对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像。
3.根据权利要求1所述的基于图像的骨组织微观结构修复系统,其特征在于,所述匹配单元包括划分单元、特征关键点提取单元、匹配度计算单元及排序单元,其中,
所述划分单元用于将所述第二图像均分为多个与所述映射区域大小相同的侯选块;
所述特征关键点提取单元用于提取所述映射区域和所述侯选块的特征关键点;
所述匹配度计算单元用于计算所述映射区域和所述侯选块的整体匹配度Sbone
所述排序单元用于对所有侯选块的整体匹配度Sbone进行排序,选择整体匹配度Sbone最大的侯选块为匹配块。
4.根据权利要求3所述的基于图像的骨组织微观结构修复系统,其特征在于,所述匹配度计算单元包括第一计算单元、第二计算单元及第三计算单元,所述第一计算单元、所述第二计算单元及所述第三计算单元分别用于计算所述映射区域和所述侯选块的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC,所述整体匹配度Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1。
5.根据权利要求1所述的基于图像的骨组织微观结构修复系统,其特征在于,所述填充模块包括区域填充单元及接缝处理单元,所述区域填充单元用于将所述填充区域填充到所述目标区域,所述接缝处理单元用于对填充后的所述目标区域和环绕所述目标区域的邻近区域进行接缝处理。
6.一种如权利要求1所述的基于图像的骨组织微观结构修复系统的修复方法,其特征在于,包括如下步骤:
步骤一、第一获取单元获取同一骨组织的第一图像及第二图像,所述第一图像为完整的骨组织图像,所述第二图像为具缺失部位的骨组织图像,且所述第一图像的扫描精度低于所述第二图像的扫描精度;
步骤二、第二获取单元分别处理所述第一图像和第二图像并获得所述第一图像的第一前景图像和所述第二图像的第二前景图像;
步骤三、映射单元识别映射区域:
确定所述第二前景图像中缺失部位为待修复的目标区域,从所述目标区域向外延伸获得立方体形的扩张区域,通过映射位置关系在所述第一前景图像中获得与所述扩张区域相对应且大小相同的映射区域;
步骤四、进行筛选匹配确定匹配块
在所述第二前景图像中获得与所述映射区域整体匹配度Sbone最大的匹配块,所述匹配块包括与所述目标区域位置相对应的填充区域;
步骤五、填充模块将所述填充区域填充到所述目标区域并进行接缝处理。
7.根据权利要求6所述的基于图像的骨组织微观结构修复方法,其特征在于,所述步骤二包括:
分别对所述第一图像和所述第二图像进行图像阈值分割获取所述第一图像的前景轮廓和所述第二图像的前景轮廓;
分别对所述第一图像的前景轮廓和所述第二图像的前景轮廓进行边缘检测获得所述第一前景图像和所述第二前景图像,所述边缘检测利用罗盘算子进行边缘检测。
8.根据权利要求6所述的基于图像的骨组织微观结构修复方法,其特征在于,所述步骤四包括:
将所述第二前景图像均分为多个与所述映射区域大小相同的侯选块;
提取所述侯选块和所述映射区域的特征关键点;
计算所述侯选块和所述映射区域的边缘匹配度SE、全局匹配度SH以及特征关键点匹配度SC
计算整体匹配度Sbone,Sbone=λSE+μSH+ηSC,其中,λ、μ及η分别为SE、SH及SC的权重系数,且λ+μ+η=1;
对所有侯选块的整体匹配度进行排序,将整体匹配度最大的侯选块作为匹配块。
9.根据权利要求8所述的基于图像的骨组织微观结构修复方法,其特征在于,采用FAST算法提取特征关键点。
10.根据权利要求6所述的基于图像的骨组织微观结构修复方法,其特征在于,所述步骤五包括:
结构填充:复制所述填充区域及环绕所述填充区域的第二相邻区域,将所述填充区域及环绕所述填充区域的第二相邻区域填充到所述目标区域及环绕所述目标区域的第一相邻区域;
接缝处理:所述填充区域修复所述目标区域,所述第一相邻区域和所述第二相邻区域形成重叠区域,通过SAD方法对所述重叠区域像素点的灰度差异进行计算,累积误差最小路径为最佳缝合路径,沿所述最佳缝合路径进行接缝处理得到修复后图像。
CN201610304053.1A 2016-05-10 2016-05-10 基于图像的骨组织微观结构修复系统及其修复方法 Expired - Fee Related CN106023094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610304053.1A CN106023094B (zh) 2016-05-10 2016-05-10 基于图像的骨组织微观结构修复系统及其修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610304053.1A CN106023094B (zh) 2016-05-10 2016-05-10 基于图像的骨组织微观结构修复系统及其修复方法

Publications (2)

Publication Number Publication Date
CN106023094A CN106023094A (zh) 2016-10-12
CN106023094B true CN106023094B (zh) 2018-10-19

Family

ID=57100113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610304053.1A Expired - Fee Related CN106023094B (zh) 2016-05-10 2016-05-10 基于图像的骨组织微观结构修复系统及其修复方法

Country Status (1)

Country Link
CN (1) CN106023094B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491770B (zh) * 2018-03-08 2023-05-30 李书纲 一种基于骨折影像的数据处理方法
CN109472767B (zh) * 2018-09-07 2022-02-08 浙江大丰实业股份有限公司 舞台灯具缺失状态分析系统
CN110400268A (zh) * 2019-07-02 2019-11-01 上海工程技术大学 一种非单一视角下织物图像修复系统及其方法
CN117218091B (zh) * 2023-09-19 2024-03-29 徐州医科大学 面向骨折地图构建的骨折线提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN103473785A (zh) * 2013-09-29 2013-12-25 哈尔滨工业大学 一种基于三值化图像聚类的快速多目标分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065392B1 (en) * 2013-10-31 2018-08-22 Fujifilm Corporation Image processing device, image capture device, parameter generating method, image processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369342A (zh) * 2013-08-05 2013-10-23 重庆大学 一种dibr目标图像空洞填充修复处理方法
CN103473785A (zh) * 2013-09-29 2013-12-25 哈尔滨工业大学 一种基于三值化图像聚类的快速多目标分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"以TV 模型为例的西藏壁画数字图像修复技术研究";姜军等;《电子设计工程》;20130228;第21卷(第3期);论文136-138页 *
"基于CDD 模型的西藏壁画数字图像修复技术研究";姜军等;《电子设计工程》;20140131;第22卷(第2期);论文177-179页 *
"自适应样本块大小的图像修复方法";孟春芝等;《中国图象图形学报》;20120331;第17卷(第3期);论文337-341页 *
"高可信度图像修复方法";汪强等;《计算机应用》;20100530;第30卷(第5期);论文1331-1401页 *

Also Published As

Publication number Publication date
CN106023094A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
US11710242B2 (en) Methods and systems for image segmentation
CN105957063B (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN108053433B (zh) 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法
Yang et al. A two-stage convolutional neural network for pulmonary embolism detection from CTPA images
CN106023094B (zh) 基于图像的骨组织微观结构修复系统及其修复方法
CN106127849B (zh) 三维精细血管重建方法及其系统
US20070109299A1 (en) Surface-based characteristic path generation
CN113112609A (zh) 一种面向肺部活检支气管镜的导航方法和系统
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN108778134B (zh) 用于根据3d解剖图像表征骨骼的中心轴的系统和方法
CN111932492B (zh) 一种医学图像处理方法、装置及计算机可读存储介质
CN107633514B (zh) 一种肺结节周边血管量化评估系统及方法
WO2009045471A1 (en) System and method for organ segmentation using surface patch classification in 2d and 3d images
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
CN106981090B (zh) 一种管内步进单向光束扫描断层图像的三维重建方法
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN104240180A (zh) 一种实现图像自动调整的方法及装置
JP2006506163A (ja) 肺結節のコンピュータ支援検出
CN112950684B (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
Shi et al. Automatic localization and segmentation of vertebral bodies in 3D CT volumes with deep learning
Kamencay et al. 3D image reconstruction from 2D CT slices
JP2006042998A (ja) 領域抽出方法およびその装置
Han et al. Three dimensional nuclei segmentation and classification of fluorescence microscopy images
Staal et al. Automatic rib segmentation in CT data
CN109872353B (zh) 基于改进迭代最近点算法的白光数据与ct数据配准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181019

Termination date: 20210510

CF01 Termination of patent right due to non-payment of annual fee