CN109993773B - 一种系列截面图像多目标追踪方法及装置 - Google Patents
一种系列截面图像多目标追踪方法及装置 Download PDFInfo
- Publication number
- CN109993773B CN109993773B CN201910242995.5A CN201910242995A CN109993773B CN 109993773 B CN109993773 B CN 109993773B CN 201910242995 A CN201910242995 A CN 201910242995A CN 109993773 B CN109993773 B CN 109993773B
- Authority
- CN
- China
- Prior art keywords
- image
- series
- layer
- tracked
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种系列截面图像多目标追踪方法及装置,能够提高识别精度。所述方法包括:获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;根据追踪结果,得到追踪后的三维标记图像。本发明涉及测量显微镜技术领域。
Description
技术领域
本发明涉及测量显微镜技术领域,特别是指一种系列截面图像多目标追踪方法及装置。
背景技术
晶粒组织是广泛存在于自然界中的一种三维胞状结构。尤其在材料科学领域,大部分类型的金属和陶瓷材料均由晶粒组成。近年来,三维晶粒组织理论预测与实验观测取得了重要的进展和突破,由于相比于二维层次,在三维层次上进行晶粒组织结构表征与分析可以获得完整的、真实的晶粒结构信息,从而建立更为准确的材料组织和性能关系,因此越来越被材料领域研究人员所重视。由于绝大多数材料的不透明性,对其组织结构进行三维重建时需要通过实验技术得到显微组织沿某一方向的系列截面形貌,再使用计算机图像处理技术将各个截面依次连接起来,并将截面间信息补全,从而得到晶粒组织在三维空间连续的立体结构。经典的系列截面法可以测量几乎所有的三维晶粒尺寸分布和拓扑分布信息,一直以来都是材料领域三维表征的重要方法。
但是,通过系列截面法得到晶粒组织每个截面的图像分割结果后,需要将不同截面上同一晶粒的各个截面识别出来。对于图像序列而言,这实际上是一个目标追踪的过程。
薛维华针对上述问题,提出了一种多目标跟踪方法[薛维华.晶粒组织的三维模型构建与定量表征研究[D].北京科技大学,2017],采用区域面积和形状的相似程度进行晶粒追踪,但是该方法采用手工设计的特征进行目标追踪,识别精度较低,无法准确处理新增晶粒、面积和形状变化大的晶粒和分叉晶粒,需要人工辅助修正。
发明内容
本发明要解决的技术问题是提供一种系列截面图像多目标追踪方法及装置,以解决现有技术所存在的通过手工设计的特征进行多目标追踪而造成的识别精度低、需要人工辅助修正的问题。
为解决上述技术问题,本发明实施例提供一种系列截面图像多目标追踪方法,包括:
获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;
根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;
根据追踪结果,得到追踪后的三维标记图像。
进一步地,所述获取系列截面图像包括:
获取二值化的系列截面图像;
采用图像分割方法将每层图像都分割成n个二维连通区域,其中,区域间不连通,区域内部为前景,区域间连接部分为背景。
进一步地,所述图像分割方法包括:阈值法、分水岭法、图割法、基于卷积神经网络的分割方法中的一种或多种。
进一步地,所述二维连通区域为基于4邻接关系或8邻接关系的连通区域。
进一步地,所述根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪包括:
步骤21,对首层图像进行标记,将首层图像设为上层图像,并获得其标记区域集合Labellast;
步骤24,获得与待追踪的目标区域具有最大相似度的上层标记区域若最大相似度大于预设的阈值,则将上层标记区域的标记j赋值给待追踪的目标区域的标记i;否则,则将待追踪的目标区域的标记i赋值为一个新的标记,作为新增区域;
步骤25,将追踪后的本层图像设为上层图像,将本层图像的标记区域集合Labelthis作为上层标记集合(Labellast),迭代执行步骤22-步骤24追踪下层图像,直至所有层追踪完成;
步骤26,滤除追踪结果中仅占据单层的标记区域。
进一步地,所述三维连通的区域是指三维上基于6邻接关系、18邻接关系或26邻接关系的连通区域。
进一步地,所述机器学习方法包括:逻辑回归、支持向量机、人工神经网络、卷积神经网络中的一种或多种。
进一步地,所述滤除仅占据单层的标记区域包括:
对于每个仅占据单层的标记区域,获取其上下层截面中三维连通区域里重叠面积最大的区域标记,并将该标记赋值给所述仅占据单层的标记区域。
进一步地,所述根据追踪结果,得到追踪后的三维标记图像包括:
对追踪后的标记结果进行连续编号;
将不同编号赋予不同的颜色,得到追踪后的三维标记图像。
本发明实施例还提供一种系列截面图像多目标追踪装置,包括:
获取模块,用于获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;
追踪模块,用于根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;
确定模块,用于根据追踪结果,得到追踪后的三维标记图像。
本发明的上述技术方案的有益效果如下:
上述方案中,获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;根据追踪结果,得到追踪后的三维标记图像。这样,通过层间图像的相似性,采用机器学习的方法实现多目标追踪,能够解决现有技术中需要通过手工设计的特征进行多目标追踪而造成的识别精度低、需要人工辅助修正问题。
附图说明
图1为本发明实施例提供的系列截面图像多目标追踪方法的流程示意图;
图2为本发明实施例提供的系列截面图像多目标追踪方法的详细流程示意图;
图3为本发明实施例提供的纯铁晶粒系列截面示意图;
图4为本发明实施例提供的纯铁晶粒上层和本层图像的原图、分割和标记示意图;
图5为本发明实施例提供的基于卷积神经网络的晶粒追踪模型示意图;
图6为本发明实施例提供的追踪后的三维晶粒可视化效果示意图;
图7为本发明实施例提供的系列截面图像多目标追踪装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的通过手工设计的特征进行多目标追踪而造成的识别精度低、需要人工辅助修正的问题,提供一种系列截面图像多目标追踪方法及装置。
实施例一
如图1所示,本发明实施例提供的系列截面图像多目标追踪方法,包括:
S101,获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;
S102,根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;
S103,根据追踪结果,得到追踪后的三维标记图像。
本发明实施例所述的系列截面图像多目标追踪方法,获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;根据追踪结果,得到追踪后的三维标记图像。这样,通过层间图像的相似性,采用机器学习的方法实现多目标追踪,能够解决现有技术中需要通过手工设计的特征进行多目标追踪而造成的识别精度低、需要人工辅助修正问题。
本实施例中,根据得到的三维标记图像,可对显微组织进行三维微结构表征,如统计晶粒个数、晶粒棱长、晶粒平均尺寸等,所述三维微结构表征可与材料宏观性能建立联系,辅助材料知识发现,如探究纯铁宏观强度与微观晶粒平均尺寸间的关系。
本发明实施例所述的系列截面图像多目标追踪方法,能够用于材料显微组织和微生物组织等各种显微组织和结构三维成像的多目标追踪。
在前述系列截面图像多目标追踪方法的具体实施方式中,进一步地,如图2所示,所述获取系列截面图像包括:
步骤11,获取二值化的系列截面图像;
步骤12,采用图像分割方法将每层图像都分割成n个二维连通区域,其中,区域间不连通,区域内部为前景,区域间连接部分为背景。
本实施例中,系列截面图像是指通过实验技术获得的物体沿某一方向的系列截面形貌。
本实施例中,所述二值化的系列截面图像指将图像中每个像素分成两类,在晶粒边缘处的像素标为1(白色),其他区域的像素标为0(黑色)。
本实施例中,以纯铁晶粒组织为例,得到的纯铁晶粒系列截面示意图如图3所示,图4表示纯铁晶粒组织上层和本层图像的原图、分割和标记示意图,其中,Imagelast和Imagethis分别代表系列截面中两层(上层和本层)原始图像,其中存在晶粒长大、合并、缩小和消失等现象。
本实施例中,采用图像分割方法将每层图像都分割成n个二维连通区域,其中,所述图像分割方法包括阈值法、分水岭法、图割法、基于卷积神经网络的分割方法等一切可用于图像分割的方法;所述二维连通区域指基于4邻接关系或8邻接关系的连通区域。
本实施例中,可以采用8邻接关系,得到如图4所示的纯铁晶粒组织上层和本层图像的原图、分割和标记示意图,图4中Edgelast和Edgethis分别代表上层和本层经过图像分割后二值化的结果图像,其中,背景为白色(晶粒边缘),前景为黑色(晶粒内部),每个闭合区域代表一个晶粒截面,各个闭合区域之间不连通。
在前述系列截面图像多目标追踪方法的具体实施方式中,进一步地,如图2所示,所述根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪包括:
步骤21,对首层图像进行标记,将首层图像设为上层图像,并获得其标记区域集合Labellast;
步骤24,获得与待追踪的目标区域具有最大相似度的上层标记区域若最大相似度大于预设的阈值,则将上层标记区域的标记j赋值给待追踪的目标区域的标记i;否则,则将待追踪的目标区域的标记i赋值为一个新的标记,作为新增区域;
步骤25,将追踪后的本层图像设为上层图像,将本层图像的标记区域集合Labelthis作为上层标记集合(Labellast),迭代执行步骤22-步骤24追踪下层图像,直至所有层追踪完成;
步骤26,滤除追踪结果中仅占据单层的标记区域。
本实施例中,机器学习方法指逻辑回归、支持向量机、人工神经网络、卷积神经网络等一切可用于图像分类的方法。
本实施例中,可以采用卷积神经网络作为图像分类的方法,如图5所示,与和三维相连通,分别截取其上层和本层图像,其中,背景设为黑色(其像素值为0),前景设为白色(其像素值为1),将其在Z轴方向上组合(Concat操作),并采用最近邻插值的方式缩放为224*224*2的大小,将上述结果作为卷积神经网络的输入,最终输出经过Softmax层得到2个分类,分别代表追踪正确的概率(即相似度)和追踪错误的概率。
需要说明的是,采用卷积神经网络进行图像分类需要训练数据供给晶粒追踪模型学习,可采用人工标注数据或虚拟仿真数据进行训练。本发明实例中,可以采用仿真模型生成的虚拟三维组织作为训练数据。
本实施例中,假设,预设的阈值为0.5;获得与待追踪的目标区域具有最大相似度的上层标记区域若最大相似度>0.5,则将上层标记区域的标记j赋值给待追踪的目标区域的标记i,达到目标追踪的目的;若最大相似度<=0.5,则将待追踪的目标区域的标记i赋值为一个新的标记,作为新增区域。本实施例中,由于与之间的相似度最大且大于0.5,则将10的标记赋值给的标记20。
与单独的采用基于连通区域的图像标记方法相比,本实施例采用的通过层间图像的相似性进行图像标记,能够提高目标追踪的正确性;因为,基于连通区域的图像标记方法缺少三维信息,导致无法得到正确的匹配结果,例如,如图4中的和属于同一个晶粒的在两层截面中的不同形貌,但是其标记追踪错误,因此,需要通过层间图像的相似性,将的标记5赋值给
本实施例中,由于系列截面间的距离较小,出现仅占据单层的晶粒可能性非常低。因此,需要滤除追踪结果中仅占据单层的标记区域,具体可以包括以下步骤:
对于每个仅占据单层的标记区域,获取其上下层截面中三维连通区域里重叠面积最大的区域标记,并将该标记赋值给上述仅占据单层的标记区域。
在前述系列截面图像多目标追踪方法的具体实施方式中,进一步地,所述根据追踪结果,得到追踪后的三维标记图像包括:
对追踪后的标记结果进行连续编号;
将不同编号赋予不同的颜色,得到追踪后的三维标记图像。
本实施例中,对追踪后的标记结果从1开始连续编号,将不同编号赋予不同的颜色,得到追踪后的三维标记图像,如图6所示,以便于可视化展示和分析。
实施例二
本发明还提供一种系列截面图像多目标追踪装置的具体实施方式,由于本发明提供的系列截面图像多目标追踪装置与前述系列截面图像多目标追踪方法的具体实施方式相对应,该系列截面图像多目标追踪装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的,因此上述系列截面图像多目标追踪方法具体实施方式中的解释说明,也适用于本发明提供的系列截面图像多目标追踪装置的具体实施方式,在本发明以下的具体实施方式中将不再赘述。
如图7所示,本发明实施例还提供一种系列截面图像多目标追踪装置,包括:
获取模块11,用于获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;
追踪模块12,用于根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;
确定模块13,用于根据追踪结果,得到追踪后的三维标记图像。
本发明实施例所述的系列截面图像多目标追踪装置,获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;根据追踪结果,得到追踪后的三维标记图像。这样,通过层间图像的相似性,采用机器学习的方法实现多目标追踪,能够解决现有技术中需要通过手工设计的特征进行多目标追踪而造成的识别精度低、需要人工辅助修正问题。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种系列截面图像多目标追踪方法,其特征在于,包括:
获取系列截面图像,其中,所述系列截面图像是指物体沿某一方向的系列截面形貌;
根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪;
根据追踪结果,得到追踪后的三维标记图像;
其中,所述获取系列截面图像包括:
获取二值化的系列截面图像;
采用图像分割方法将每层图像都分割成n个二维连通区域,其中,区域间不连通,区域内部为前景,区域间连接部分为背景;
其中,所述根据层间图像的相似性,采用机器学习的方法对获取的系列截面图像逐层地进行多目标追踪包括:
步骤21,对首层图像进行标记,将首层图像设为上层图像,并获得其标记区域集合Labellast;
步骤24,获得与待追踪的目标区域具有最大相似度的上层标记区域若最大相似度大于预设的阈值,则将上层标记区域的标记j赋值给待追踪的目标区域的标记i;否则,则将待追踪的目标区域的标记i赋值为一个新的标记,作为新增区域;
步骤25,将追踪后的本层图像设为上层图像,将本层图像的标记区域集合Labelthis作为上层标记集合Labellast,迭代执行步骤22-步骤24追踪下层图像,直至所有层追踪完成;
步骤26,滤除追踪结果中仅占据单层的标记区域。
2.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述图像分割方法包括:阈值法、分水岭法、图割法、基于卷积神经网络的分割方法中的一种或多种。
3.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述二维连通区域为基于4邻接关系或8邻接关系的连通区域。
4.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述三维连通的区域是指三维上基于6邻接关系、18邻接关系或26邻接关系的连通区域。
5.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述机器学习方法包括:逻辑回归、支持向量机、人工神经网络、卷积神经网络中的一种或多种。
6.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述滤除仅占据单层的标记区域包括:
对于每个仅占据单层的标记区域,获取其上下层截面中三维连通区域里重叠面积最大的区域标记,并将该标记赋值给所述仅占据单层的标记区域。
7.根据权利要求1所述的系列截面图像多目标追踪方法,其特征在于,所述根据追踪结果,得到追踪后的三维标记图像包括:
对追踪后的标记结果进行连续编号;
将不同编号赋予不同的颜色,得到追踪后的三维标记图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910242995.5A CN109993773B (zh) | 2019-03-28 | 2019-03-28 | 一种系列截面图像多目标追踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910242995.5A CN109993773B (zh) | 2019-03-28 | 2019-03-28 | 一种系列截面图像多目标追踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109993773A CN109993773A (zh) | 2019-07-09 |
CN109993773B true CN109993773B (zh) | 2020-11-13 |
Family
ID=67130784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910242995.5A Active CN109993773B (zh) | 2019-03-28 | 2019-03-28 | 一种系列截面图像多目标追踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109993773B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915630B (zh) * | 2020-08-19 | 2023-06-23 | 陕西科技大学 | 一种基于数据与模型联合驱动的陶瓷材料晶粒分割算法 |
CN113313817B (zh) * | 2021-05-31 | 2022-10-11 | 齐鲁工业大学 | 一种基于mct切片图像的皮革纤维束的三维重构方法及应用 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271586A (zh) * | 2008-03-31 | 2008-09-24 | 大连交通大学 | 材料内部组织结构的准三维立体图像构成法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10875125B2 (en) * | 2017-06-20 | 2020-12-29 | Lincoln Global, Inc. | Machine learning for weldment classification and correlation |
-
2019
- 2019-03-28 CN CN201910242995.5A patent/CN109993773B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271586A (zh) * | 2008-03-31 | 2008-09-24 | 大连交通大学 | 材料内部组织结构的准三维立体图像构成法 |
Non-Patent Citations (1)
Title |
---|
基于图像序列间相似性的晶粒组织图像分割方法;薛维华等;《中国体视学与图像分析》;20151225;第20卷(第4期);第400-407页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109993773A (zh) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pan et al. | Accurate segmentation of nuclei in pathological images via sparse reconstruction and deep convolutional networks | |
Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
CN109815859B (zh) | 一种低等级道路自动提取及变化分析方法 | |
CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类系统 | |
Pan et al. | An accurate nuclei segmentation algorithm in pathological image based on deep semantic network | |
CN101826209B (zh) | 一种基于Canny模型的三维医学图像分割方法 | |
CN109493346A (zh) | 一种基于多损失的胃癌病理切片图像分割方法和装置 | |
CN106056118A (zh) | 一种用于细胞的识别计数方法 | |
CN104933707B (zh) | 一种基于多光子共焦显微细胞图像的超像素重构分割与重建方法 | |
CN106340016A (zh) | 一种基于细胞显微镜图像的dna定量分析方法 | |
Megjhani et al. | Population-scale three-dimensional reconstruction and quantitative profiling of microglia arbors | |
CN109492706A (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
CN111402267A (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
US20200193139A1 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
CN112489026B (zh) | 基于多分支并行卷积神经网络的沥青路面病害检测方法 | |
Wang et al. | A hybrid method for the segmentation of a ferrograph image using marker-controlled watershed and grey clustering | |
CN109993773B (zh) | 一种系列截面图像多目标追踪方法及装置 | |
CN112419452B (zh) | 一种胃癌pd-l1数字病理切片图像快速合并系统及方法 | |
CN110348435A (zh) | 一种基于裁剪区域候选网络的目标检测方法及系统 | |
Wang et al. | Cellular structure image classification with small targeted training samples | |
CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
Ma et al. | Fast-FineCut: Grain boundary detection in microscopic images considering 3D information | |
CN112270684B (zh) | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 | |
He et al. | Multiphase level set model with local K-means energy for histology image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |