CN109584368B - 生物样品三维结构的构建方法及装置 - Google Patents

生物样品三维结构的构建方法及装置 Download PDF

Info

Publication number
CN109584368B
CN109584368B CN201811213305.5A CN201811213305A CN109584368B CN 109584368 B CN109584368 B CN 109584368B CN 201811213305 A CN201811213305 A CN 201811213305A CN 109584368 B CN109584368 B CN 109584368B
Authority
CN
China
Prior art keywords
image
dimensional
biological sample
images
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811213305.5A
Other languages
English (en)
Other versions
CN109584368A (zh
Inventor
陈曦
舒畅
韩华
谢启伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201811213305.5A priority Critical patent/CN109584368B/zh
Publication of CN109584368A publication Critical patent/CN109584368A/zh
Application granted granted Critical
Publication of CN109584368B publication Critical patent/CN109584368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/06—
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种生物样品三维结构的构建方法及装置，所述方法包括，获取至少两个生物样品薄片的三维图像；修正所述薄片的三维图像表面生成三维图像块；将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；计算所述二维序列图像的图像变形位置坐标，确定所述生物样品的三维结构。本发明能够有效处理序列薄片的不规则形变和表面不平整，并将序列薄片的三维图像在三维空间中联接起来，实现对大体量生物样品的高分辨率整体三维结构构建。

Description

生物样品三维结构的构建方法及装置
技术领域
本发明涉及图像处理领域，具体涉及一种生物样品三维结构的构建方法及装置。
背景技术
近年来，显微成像技术不断创新，生物样品制备技术不断发展，以更高的空间分辨率和更大的成像深度进行三维成像，成为生物学家研究的热点。
目前针对生物组织的光学显微成像技术，如光片成像、X射线断层成像、透射电镜断层成像等方法，已能够获得生物样品的高分辨率整体三维图像。但由于成像信号激发深度和显微物镜视场有限等原因，该类方法对样品的厚度提出了限制。对于大体量生物样品的高分辨率整体三维结构，仍然需要切成具有一定厚度的生物组织序列薄片，再依次进行三维成像，在获得的三维成像结果后对其进行配准，以得到生物样品的整体三维结构。但生物样品在切片和成像过程中会产生不规则形变及每个序列薄片发生的形变各不相同等情况，所以，在构建生物样品三维结构的过程中存在薄片表面起伏不定、相邻薄片三维成像结果之间配准困难等一些亟待解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决生物样品在切片和成像过程中产生的不规则形变、表面不平整及每个序列薄片发生的形变等问题，本发明提供了一种生物样品三维结构的构建方法及装置，将序列薄片的三维图像在三维空间中联接起来，实现对大体量生物样品的高分辨率整体三维结构构建。
作为本发明实施例的一个方面，提供一种生物样品三维结构的构建方法，所述构建方法包括：
获取至少两个生物样品薄片的三维图像；
修正所述薄片的三维图像表面生成三维图像块；
将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
计算所述二维序列图像的图像变形位置坐标；
通过图像变形，确定所述生物样品的三维结构。
在一个实施例中，计算所述二维序列图像的图像变形位置坐标的方法包括：
在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点；
调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标。
在一个实施例中，所述在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点的方法包括：
根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
当相邻所述二维序列图像属于同一生物样品薄片时，分别选取所述二维序列图像上的网格顶点对应的位置点作为其对应点；
当相邻所述二维序列图像属于不同生物样品薄片时，采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点。
在一个实施例中，采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点的方法包括：
采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配；
在所述变形后的第一图像和第二图像上分别设置网格，且所述第一图像和第二图像中对应网格的位置坐标相同；
选取第一图像中与所述变形后的第一图像中网格顶点对应的位置点作为其对应点；
选取第二图像中网格顶点对应的位置点作为其对应点。
在一个实施例中，调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标的方法包括：
通过对应点位移向量的能量函数计算对应点的位置。
在一个实施例中，通过图像变形确定所述生物样品的三维结构的方法包括：
采用移动最小二乘法对所述二维序列图像进行图像形变，获取图像中新设网格顶点在图像形变后的位置坐标；
采用双线性插值法获取所述图像中除去新设网格顶点后所有对应点在图像形变后的位置坐标。
为了进一步减少计算量，构造新设网格，只利用移动最小二乘法计算新设网格顶点的形变后的位置坐标，其余像素点的形变后的位置坐标由所述新设网格顶点的形变后的位置坐标进行双线性插值得到。
在一个实施例中，所述修正所述薄片的三维图像表面生成三维图像块包括：
确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
将所述生物样品范围的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度。
在一个实施例中，所述确定所述三维图像的二维侧视图中生物样品与背景信息的范围的方法包括：
设定所述二维侧视图中限定上表面曲线和下表面曲线的位置范围；
按照预设规则读取所述位置范围内的图像像素，通过图像像素灰度值变化确定所述上表面曲线和下表面曲线。
所述二维侧视图中上表面曲线和下表面曲线之间的像素表示生物样品，所述二维侧视图中的剩余部分的为背景信息；
在一个实施例中，所述通过图像像素灰度值变化确定所述上表面曲线和下表面曲线的方法包括：
通过所述二维侧视图的边缘列确定像素灰度值变化最大的像素点为起始点，在所述起始点预定邻域与所述位置范围内选取相邻的像素灰度值变化临接点。
在一个实施例中，所述薄片厚度根据薄片的物理厚度及图像单个像素所代表的物理尺寸确定。
作为本发明实施例的一个方面，提供一种生物样品三维结构的构建装置，所述构建装置包括：
获取模块：用于获取至少两个生物样品薄片的三维图像；
修正模块：用于修正所述薄片的三维图像表面生成三维图像块；
图像转换模块：用于将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
计算模块：用于计算所述二维序列图像的图像变形位置坐标；
确定模块：用于通过图像变形确定所述生物样品的三维结构。
在一个实施例中，所述计算模块包括：
提取模块：用于在相邻所述二维序列图像上设置网格，根据所述网格顶点提取对应点；
计算子模块：用于调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标；
在一个实施例中，所述提取模块包括：
判断子模块：用于根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
选取子模块：用于选取原始二维序列图像和/或变形后的二维序列图像上的网格顶点对应的位置点作为其对应点；
匹配子模块：用于采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配。
在一个实施例中，所述修正模块包括：
范围确定子模块：用于确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
修正计算子模块：用于将所述生物样品范围的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度。
作为本发明实施例的再一个方面，提供一种服务器，所述服务器包括：
获取装置：用于获取显微成像装置生成的三维图像；
处理器：用于将三维图像通过如上述任意一项所述生物样品三维结构的构建方法的实施例生成生物样品的三维结构。
本发明实施例至少实现了如下技术效果：
1、通过对三维成像结构表面修平有效处理序列薄片的不规则形变和表面不平整，避免序列薄片合成为整体时薄片交界处的图像重叠或空洞。
2、采用SIFT flow算法获取总体二维序列图像中来自不同生物组织薄片相邻图像的对应点，保证在相邻薄片间找到真实可靠的对应点信息，避免了由于生物组织中存在许多相似结构造成的误匹配，从而提高生物组织序列薄片三维成像结果的配准精度。
3、将生物组织薄片的三维成像结果拆分为二维序列图像，对每幅二维图像单独进行对应点提取，对应点位置调整和图像形变，实现生物组织薄片三维成像结果的非线性形变，保证了整个生物组织序列薄片三维配准结果的连续性和平滑性。
本发明实施例能够有效处理序列薄片的不规则形变和表面不平整，将序列薄片三维图像在三维空间中联接起来，保证序列薄片三维图像配准结果的质量，重现大体量生物组织的三维形貌，实现对大体量生物样品的高分辨率整体三维图像库构建。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一实施例的构建方法流程图；
图2为本发明一实施例的三维图像块拆分为二维序列图像的示意图；
图3是本发明一实施例的生物样品三维结构示意图；
图4是本发明一实施例的生物组织样品的三维图像的二维侧视图；
图5是本发明一实施例的确定二维侧视图中上表面和下表面所表示的两个曲线位置范围的示意图；
图6是本发明一实施例的二维侧视图中上表面曲线和下表面曲线的示意图；
图7是本发明一实施例的构建装置示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围，相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面分别对本发明实施例提供的一种生物样品三维结构的构建方法、装置及服务器的各种具体实施方式进行详细的说明。
作为本发明实施例的一个方面，提供一种生物样品三维结构的构建方法，所述构建方法也可以理解为是一种生物组织序列薄片三维成像结果的配准方法，如图1，包括：
S100获取至少两个生物样品薄片的三维图像；
S200修正所述薄片的三维图像表面生成三维图像块；
S300将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
S400计算所述二维序列图像的图像变形位置坐标；
S500通过图像变形确定所述生物样品的三维结构。
在S100中，生物样品可以根据样品需要或设备限制被分割为多个薄片，例如5个、6个或7个等，被分割的薄片可以通过显微设备分别单独成像，其中的成像设备可以采用投射电镜等各种可以获得三维图像的设备。
在S200中，修正主要是为了对生物组织薄片的三维图像进行表面修平，可以通过对生物组织薄片三维成像结果的每个二维侧视图进行修正，如图2所示，修正后的每个二维侧视图生成了一个表面平整的三维图像块。
在S300中，其中生物组织薄片可以根据其厚度进行拆分，厚度为人工预设值；修平后的生物组织薄片转变为了三维图像块，在z方向上按照设定厚度将三维图像块拆分为不同z值的横切面，生成二维序列图像，并将所有薄片的二维序列图像根据薄片的上下位置关系排列合并，所述将三维图像块拆分为二维序列图像的示意图如图2。
在S400中，可以通过特征匹配、特征提取的算法对二维序列图像计算相邻图像的对应点，并通过对应点位移向量的能量函数计算对应点的位置。
在S500中，根据对应点调整前后的位置，对图像进行形变。将序列薄片三维图像在三维空间中联接起来，保证序列薄片三维图像配准结果的质量，重现大体量生物组织的三维形貌，如图3。
本实施例适用于生物样品的高分辨率整体三维结构构建，通过对生物组织序列薄片依次进行三维成像，再将获得的三维成像结果进行图像变形及位置坐标的计算，降低了样品三维结构构建的样品制备和数据获取的难度。
在一个实施例中，在S400中，计算所述二维序列图像的图像变形位置坐标的方法包括：
S410在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点；
S420调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标。
在一个实施例中，在S410中，所述在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点的方法包括：
S411根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
S412当相邻所述二维序列图像属于同一生物样品薄片时，分别选取所述二维序列图像上的网格顶点对应的位置点作为其对应点；
S413当相邻所述二维序列图像属于不同生物样品薄片时，采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点。
本实施例中根据相邻的二维图像是否来自同一个生物组织薄片，可分为两种情况，采用不同的方式计算其对应点。对于相邻的二维图像来自同一个生物组织薄片时，可直接获取其对应点；对于相邻的二维图像来自不同生物组织薄片时，采用设定算法获取其对应点。
在S411中，由于每个薄片的厚度已知，每个薄片由多少个序列二维图像构成是已知的，则可以根据二维图像在总体二维序列图像中所处的z方向位置推算出该图像属于哪个薄片。如图2所示。
在S412中，对于相邻的二维图像来自同一个生物组织薄片，这两幅图像无需配准，可直接在上述两幅图像上分别设置网格，选取各自图像上的网格顶点对应的位置点作为其对应点；
在S413中，对于相邻的二维图像来自不同生物组织薄片时，可以利用设定算法，如SIFT flow算法获取其对应点,SIFTFlow，也称SIFT流是参考了光流法，利用SIFT描述符实现了相似图像之间的像素的匹配。
在一个实施例中，在S413中，采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点的方法包括：
采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配；
在所述变形后的第一图像和第二图像上分别设置网格，且所述第一图像和第二图像中对应网格的位置坐标相同；
选取第一图像中与所述变形后的第一图像中网格顶点对应的位置点作为其对应点；
选取第二图像中网格顶点对应的位置点作为其对应点。
其中，相匹配是指两幅图像之间的某个能量函数最小，该能量函数表示为：
Figure BDA0001832933000000101
在一个实施例中，S420中，调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标的方法包括：
通过对应点位移向量的能量函数计算对应点的位置；可以按照公式(2)所示的方法调整所获取的各对应点的位置：
Figure BDA0001832933000000102
其中，所述i为序列图像的序号，所述k和l分别为图像中对应点的序号，且l≠k，所述
Figure BDA0001832933000000103
为第i个图像中的第k个对应点的位置坐标，所述
Figure BDA0001832933000000104
为所述位置坐标
Figure BDA0001832933000000105
的位移向量，所述E(w)为位移向量w的能量函数，所述α和β分别为常数。
在一个实施例中，S500中，通过图像变形确定所述生物样品的三维结构的方法包括：
S510采用移动最小二乘法对所述二维序列图像进行图像形变，获取图像中新设网格顶点在图像形变后的位置坐标；
S520采用双线性插值法获取所述图像中除去新设网格顶点后所有对应点在图像形变后的位置坐标。
其中，利用S500中进行图像形变所使用的对应网格是一个新设网格，和S400中，sift flow中所用的网格完全不同。
在S510、S520中，依据所述调整后的各对应点的位置，对总体二维序列图像进行图像形变，具体包括：采用移动最小二乘法对总体二维序列图像进行图像形变，按照公式(3)所示的方法获取图像中新设网格顶点在图像形变后的位置坐标：
Figure BDA0001832933000000111
其中，所述v为图像形变之前图像中新设网格顶点的位置坐标，所述k为图像中对应点的序号，所述pk为图像形变之前图像中第k个对应点的位置坐标，所述qk为图像形变之后图像中第k个对应点的位置坐标，qk＝pk+wk，所述wk为图像中第k个对应点的位移向量，所述λk为权重，且
Figure BDA0001832933000000112
所述α为常数，所述lv是位置坐标v对应位置点处的刚性变换矩阵；
采用双线性插值法获取所述图像中除去新设网格顶点后所有像素点在图像形变后的位置坐标。
在一个实施例中，所述S200，修正所述薄片的三维图像表面生成三维图像块包括：
S210确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
S220将所述生物样品范围的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度。
其中，如图4，S210通过将三维图像拆分为二维侧视图，再分别确定每张侧视图的像素分布，将侧视图中生物样品的像素与背景信息像素区分，如图3；S220将生物样品的图像像素按照每一列进行遍历，依次进行一维的三次插值，缩放至预先人工设定的薄片厚度。
经过调整后的生物组织薄片三维成像结果具有相同的厚度，实现了生物组织薄片三维成像结果的表面修平，并去除了三维图像中的背景信息。
在一个实施例中，所述S210，确定所述三维图像的二维侧视图中生物样品与背景信息的范围的方法包括：
S211设定所述二维侧视图中限定上表面曲线和下表面曲线的位置范围；
S212按照预设规则读取所述位置范围内的图像像素，通过图像像素灰度值变化确定所述上表面曲线和下表面曲线。
其中，S211中，所述位置范围是人工设定的，根据图像亮暗变化情况(表面曲线)设定大致范围，如图5；S212中的预设规则可以是按照侧视图中像素矩阵列进行读取，可以由左至右，也可以由右至左等。
所述二维侧视图中上表面曲线和下表面曲线之间的像素表示生物样品，所述二维侧视图中的剩余部分的为背景信息，如图6。
在一个实施例中，在S212中,所述通过图像像素灰度值变化确定所述上表面曲线和下表面曲线的方法包括：
通过所述二维侧视图的边缘列确定像素灰度值变化最大的像素点为起始点，在所述起始点预定邻域与所述位置范围内选取相邻的像素灰度值变化临接点。例如，确定上下表面曲线的方法如图5所示，从图像最左侧开始，在限定范围内选取图像像素灰度值变化最为剧烈的位置为起点，以该点为中心，在其右侧的邻域和表面曲线位置限定范围的交集内，选取图像像素灰度值变化最为剧烈的位置作为曲线的下一个点，直至到达图像的最右侧。或者也可以从右侧开始，其顺序依据技术人员的设定。
在一个实施例中，S220中所述薄片厚度根据薄片的物理厚度及图像单个像素所代表的物理尺寸确定。其中，薄片后为预先人工设定，单位可以是像素。
基于同一发明构思，本发明实施例还提供了一种生物样品三维结构的构建装置，由于该装置所解决问题的原理与前述实施例的构建方法相似，因此该装置的实施可以参见前述实施例的方法的实施，重复之处不再赘述。
作为本发明实施例的一个方面，提供一种生物样品三维结构的构建装置，如图7，所述构建装置包括：
获取模块11：用于获取至少两个生物样品薄片的三维图像；
修正模块12：用于修正所述薄片的三维图像表面生成三维图像块；
图像转换模块13：用于将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
计算模块14：用于计算所述二维序列图像的图像变形位置坐标；
确定模块15：用于通过图像变形确定所述生物样品的三维结构。
其中，确定模块15也可以对三维结构进行检测，当符合要求时输出生物样品的三维结构；当不符合要求时，对其三维图像进行重新校正、配准。
在一个实施例中，所述计算模块14包括：
提取模块：用于在相邻所述二维序列图像上设置网格，根据所述网格顶点提取对应点；
计算子模块：用于调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标；
在一个实施例中，所述提取模块包括：
判断子模块：用于根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
选取子模块：用于选取原始二维序列图像和/或变形后的二维序列图像上的网格顶点对应的位置点作为其对应点；
匹配子模块：用于采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配。
在一个实施例中，所述修正模块12包括：
范围确定子模块：用于确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
修正计算子模块：用于将所述生物样品范围的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度。
基于同一发明构思，本发明实施例还提供了一种服务器，由于该装置所解决问题的原理与前述实施例的构建方法相似，因此该装置的实施可以参见前述实施例的方法的实施，重复之处不再赘述。
作为本发明实施例的再一个方面，提供一种服务器，所述服务器包括：
获取装置：用于获取显微成像装置生成的三维图像；
处理器：用于将三维图像通过如上述任意一项所述生物样品三维结构的构建方法的实施例生成生物样品的三维结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种生物样品三维结构的构建方法，其特征在于，所述构建方法包括：
获取至少两个生物样品薄片的三维图像；
修正所述薄片的三维图像表面生成三维图像块；
将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
计算所述二维序列图像的图像变形位置坐标；
通过图像变形确定所述生物样品的三维结构；
所述修正所述薄片的三维图像表面生成三维图像块包括：
确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
将所述生物样品范围内的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度；
所述确定所述三维图像的二维侧视图中生物样品与背景信息的范围具体包括：
设定所述二维侧视图中限定上表面曲线和下表面曲线的位置范围；
按照预设规则读取所述位置范围内的图像像素，通过图像像素灰度值变化确定所述上表面曲线和下表面曲线；
所述通过图像像素灰度值变化确定所述上表面曲线和下表面曲线具体包括：
通过所述二维侧视图的边缘列确定像素灰度值变化最大的像素点为起始点，在所述起始点预定邻域与所述位置范围内选取相邻的像素灰度值变化临接点。
2.如权利要求1所述的构建方法，其特征在于，所述计算所述二维序列图像的图像变形位置坐标的方法包括：
在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点；
调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标。
3.如权利要求2所述的构建方法，其特征在于，所述在相邻所述二维序列图像上设置网格，根据所述网格顶点确定对应点的方法包括：
根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
当相邻所述二维序列图像属于同一生物样品薄片时，分别选取所述二维序列图像上的网格顶点对应的位置点作为其对应点；
当相邻所述二维序列图像属于不同生物样品薄片时，采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点。
4.如权利要求3所述的构建方法，其特征在于，所述采用设定算法使相邻二维序列图像相匹配，分别选取匹配后的所述二维序列图像上的网格顶点对应的位置点作为其对应点的方法包括：
采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配；
在所述变形后的第一图像和第二图像上分别设置网格，且所述第一图像和第二图像中对应网格的位置坐标相同；
选取第一图像中与所述变形后的第一图像中网格顶点对应的位置点作为其对应点；
选取第二图像中网格顶点对应的位置点作为其对应点。
5.如权利要求1所述的构建方法，其特征在于，通过图像变形确定所述生物样品的三维结构的方法包括：
采用移动最小二乘法对所述二维序列图像进行图像形变，获取图像中新设网格顶点在图像形变后的位置坐标；
采用双线性插值法获取所述图像中除去新设网格顶点后所有像素点在图像形变后的位置坐标。
6.如权利要求1所述的构建方法，其特征在于，所述薄片厚度根据薄片的物理厚度及图像单个像素所代表的物理尺寸确定。
7.一种生物样品三维结构的构建装置，其特征在于，所述构建装置包括：
获取模块：用于获取至少两个生物样品薄片的三维图像；
修正模块：用于修正所述薄片的三维图像表面生成三维图像块；
图像转换模块：用于将所述三维图像块拆分为二维序列图像，并根据所述至少两个生物样品薄片的位置排列所述二维序列图像；
计算模块：用于计算所述二维序列图像的图像变形位置坐标；
确定模块：用于通过图像变形确定所述生物样品的三维结构；
其中，所述修正模块还被配置成执行以下操作：
确定所述三维图像的二维侧视图中生物样品与背景信息的范围；
将所述生物样品范围内的图像像素按列进行三次插值，并缩放至预先设定的薄片厚度；
所述确定所述三维图像的二维侧视图中生物样品与背景信息的范围具体包括：
设定所述二维侧视图中限定上表面曲线和下表面曲线的位置范围；
按照预设规则读取所述位置范围内的图像像素，通过图像像素灰度值变化确定所述上表面曲线和下表面曲线；
所述通过图像像素灰度值变化确定所述上表面曲线和下表面曲线具体包括：
通过所述二维侧视图的边缘列确定像素灰度值变化最大的像素点为起始点，在所述起始点预定邻域与所述位置范围内选取相邻的像素灰度值变化临接点。
8.如权利要求7所述的构建装置，其特征在于，所述计算模块包括：
提取模块：用于在相邻所述二维序列图像上设置网格，根据所述网格顶点提取对应点；
计算子模块：用于调整所述对应点的位置，根据预设算法计算图像形变后的对应点的位置坐标。
9.如权利要求8所述的构建装置，其特征在于，所述提取模块包括：
判断子模块：用于根据所述二维序列图像的位置信息判断相邻二维序列图像是否属于同一个生物样品薄片；
选取子模块：用于选取原始二维序列图像和/或变形后的二维序列图像上的网格顶点对应的位置点作为其对应点；
匹配子模块：用于采用SIFT flow算法对两个相邻图像中的第一图像进行图像变形，使所述第一图像与所述相邻图像中的第二图像相匹配。
10.一种服务器，其特征在于，所述服务器包括：
获取装置：用于获取显微成像装置生成的三维图像；
处理器：用于将三维图像通过如权利要求1-6任意一项所述生物样品三维结构的构建方法生成生物样品的三维结构。
CN201811213305.5A 2018-10-18 2018-10-18 生物样品三维结构的构建方法及装置 Active CN109584368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811213305.5A CN109584368B (zh) 2018-10-18 2018-10-18 生物样品三维结构的构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811213305.5A CN109584368B (zh) 2018-10-18 2018-10-18 生物样品三维结构的构建方法及装置

Publications (2)

Publication Number Publication Date
CN109584368A CN109584368A (zh) 2019-04-05
CN109584368B true CN109584368B (zh) 2021-05-28

Family

ID=65920605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811213305.5A Active CN109584368B (zh) 2018-10-18 2018-10-18 生物样品三维结构的构建方法及装置

Country Status (1)

Country Link
CN (1) CN109584368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751680A (zh) * 2019-10-17 2020-02-04 中国科学院云南天文台 一种具有快速对齐算法的图像处理方法
CN112102469B (zh) * 2020-08-10 2023-07-25 上海联影医疗科技股份有限公司 三维建模系统、扫描系统及其控制方法
CN113112499B (zh) * 2021-04-29 2022-04-12 中国科学院深圳先进技术研究院 肝脏内部组织的位移预测方法、装置、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
CN107545567A (zh) * 2017-07-31 2018-01-05 中国科学院自动化研究所 生物组织序列切片显微图像的配准方法及装置
EP3276575A1 (en) * 2016-07-25 2018-01-31 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN108053433A (zh) * 2017-11-28 2018-05-18 浙江工业大学 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3276575A1 (en) * 2016-07-25 2018-01-31 Nuctech Company Limited Method, apparatus and system for reconstructing images of 3d surface
CN106725593A (zh) * 2016-11-22 2017-05-31 深圳开立生物医疗科技股份有限公司 超声三维胎儿面部轮廓图像处理方法系统
CN107545567A (zh) * 2017-07-31 2018-01-05 中国科学院自动化研究所 生物组织序列切片显微图像的配准方法及装置
CN108053433A (zh) * 2017-11-28 2018-05-18 浙江工业大学 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法

Also Published As

Publication number Publication date
CN109584368A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN109584368B (zh) 生物样品三维结构的构建方法及装置
Wilson et al. A correlation-based approach to calculate rotation and translation of moving cells
Gibbs et al. Plant phenotyping: an active vision cell for three-dimensional plant shoot reconstruction
RU2540829C2 (ru) Интерактивный итеративный алгоритм ближайших точек для сегментации органов
US8384716B2 (en) Image processing method
US20110150312A1 (en) Biodata model preparation method and apparatus, data structure of biodata model and data storage device of biodata model, and load dispersion method and apparatus of 3d data model
CN110009667B (zh) 基于罗德里格斯变换的多视点云全局配准方法
CN110992411B (zh) 图像配准模型的训练方法和装置
WO2007058993A2 (en) Surface-based characteristic path generation
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
CN104240180B (zh) 一种实现图像自动调整的方法及装置
WO2013069341A1 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
Schouten et al. Fast exact Euclidean distance (FEED): A new class of adaptable distance transforms
CN111916206A (zh) 一种基于级联的ct影像辅助诊断系统
KR20200099633A (ko) 영상의 질감 분석 방법 및 컴퓨터 프로그램
EP3937120B1 (en) Computer-implemented method, computer program product and system for processing images
CN111667486B (zh) 一种基于深度学习的多模态融合胰腺分割方法和系统
CN111862001B (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
CN113052166A (zh) 病理图像的显示方法及装置
CN111539999A (zh) 基于点云配准的3d地图构建方法、装置、计算机设备及存储介质
US20120313942A1 (en) System and method for digital volume processing with gpu accelerations
CN103377480A (zh) 医学影像成像系统
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
JP5457976B2 (ja) ３次元形状取得装置および３次元形状取得プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant