CN113706433B - 一种图片合成方法、装置、电子设备及存储介质 - Google Patents
一种图片合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113706433B CN113706433B CN202111258879.6A CN202111258879A CN113706433B CN 113706433 B CN113706433 B CN 113706433B CN 202111258879 A CN202111258879 A CN 202111258879A CN 113706433 B CN113706433 B CN 113706433B
- Authority
- CN
- China
- Prior art keywords
- image
- local
- sample
- dimensional
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims description 12
- 230000005284 excitation Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 14
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 27
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本申请提供了一种图片合成的方法、装置、电子设备及存储介质，包括：获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。解决了现有技术依靠人工获得图像合成参数导致的数据预处理过程重复性较差的问题，简化了操作流程，提高了图像合成过程的准确性，降低了时间成本和人力成本。
Description
技术领域
本申请涉及数字图像处理技术领域，尤其是涉及一种图片合成方法、装置、电子设备及存储介质。
背景技术
通常的光学显微镜只适用于极薄的样品，或者只能获取样品表面的清晰图像，对于体积较大，厚度较厚的样品，无法在不破坏样品的整体结构的前提下，对其表面和内部进行清晰的光学成像，并获得样品的三维结构。光片式显微镜通过激光和透镜系统，可以获得有限长度的直径为微米级的照明光源，配合透明化和荧光标记技术，能够在保持基本结构完整的前提下，可以对生物组织或器官内部的局部，实现微米级的三维成像。
为了得到较大样品整体高分辨率的三维图像，目前通常的做法时，使用光片式显微镜多次采集图像，每次获得样品不同局部清晰图像，选取清晰图像并拼接的方法，最终获得样品整体的清晰图像。但在这一过程中，图像拼接所需参数依靠人工识别，包括清晰图像的位置、范围、数量等参数，存在不同实验人员识别标准不统一、误差大，耗时长，步骤繁琐，人工成本高等缺点。
发明内容
有鉴于此，本申请的目的在于提供一种图片合成方法，所述方法包括：
获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；
对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。
可选的，所述获取样品不同区域的局部三维图像的步骤，包括：
获取样品的平面图像信息，所述平面图像信息包括时间戳标签数据和平面图像；
基于所述时间戳标签数据计算得到相邻平面图像之间的时间间隔；
根据所述时间间隔与样品位移台的位移数据，得到所述平面图像的物理位置；
根据所述时间间隔与拍摄设备的光学变焦数据，得到激发光光片目的束腰区域位置；
基于所述平面图像的物理位置和所述激发光光片目的束腰区域位置将所述平面图像重构为所述局部三维图像。
可选的，所述获取样品不同区域的局部三维图像的步骤，还包括：
基于所述时间戳标签数据计算得到所有相邻平面图像之间的时间间隔；
基于所有相邻平面图像之间的时间间隔采用支持向量机方法，对相邻图片生成间隔期间所述拍摄设备的光学变焦系统和样品位移台的位移进行聚类，得到所述平面图像的所有物理位置和所有激发光光片目的束腰区域位置；
基于所述平面图像的所有物理位置和所述所有激发光光片目的束腰区域位置将所述平面图像重构为局部三维图像。
可选的，所述获取样品不同区域的局部三维图像的步骤，包括：
将所述平面图像按照垂直于所述拍摄设备的光学变焦系统发出的光线的方向分割成至少两个小区域；
采用梯度函数对每一个所述小区域的清晰度进行评价，得到每个小区域的评价结果；
通过对比所述评价结果，得到所述平面图像的相对清晰度变化趋势；
分析所述平面图像的相对清晰度变化趋势，得到激发光光片目的束腰位置变化方向及变化周期；
根据样品位移台位移方向、所述激发光光片目的束腰位置变化方向及变化周期，得到所述平面图像所对应的样品物理位置；
基于所述样品物理位置将所述平面图像进行三维重构。
可选的，所述对所述局部三维图像进行相对可靠性筛选，得到拼接参数的步骤，包括：
基于所述三维图像的亮度和/或分辨率计算局部三维图像的相对可靠性数据；
选择所述可靠性数据中的最高值作为所述预设关键区域的边界，其中，所述预设关键区域为所述局部三维图像与相邻的三维图像之间的重合区域；
选择所述边界两侧相对可靠性差异在预设范围内的三维图像作为所述重合区域内的重合图像；
将所述边界和所述重合图像作为所述拼接参数。
可选的，所述基于所述三维图像的亮度计算局部三维图像的相对可靠性数据的步骤，包括：
获取所述三维图像的所有有效像素点，得出不同目的束腰区域在激发光照射下所有有效像素点的亮度比；
对所述三维图像的所有有效像素点的亮度比进行归一化处理，采用负指数幂项的正态分布对不同图像的激发光能量分布进行拟合，得到二维正态分布；
再由激发光能量密度服从二维正态分布的特性计算每个有效像素点激发光能量密度的方差；
将所述方差作为所述相对可靠性数据。
可选的，所述基于所述三维图像的分辨率计算局部三维图像的相对可靠性数据的步骤，包括：
使用梯度函数在垂直于激发光光轴的方向上比对不同三维图像在同一位置的图像分辨率；
将所述分辨率作为所述相对可靠性数据。
可选的，所述基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接的步骤，包括：
基于边界和所述重合图像采用插值法合成重叠三维图像；
基于所述重叠三维图像将所述三维图像进行拼接。
第二方面，本申请实施例提供了一种光片式成像显微镜的图片合成装置，所述装置包括：
重构模块，用于获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜下，在若干个激发光光片目的束腰位置不同的激发光源下拍摄的；
筛选模块，用于对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
拼接模块，用于基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上述的图片合成方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的图片合成方法的步骤。
本申请实施例提供的图片合成方法及装置，代替人工分析原始图像数据和计算图像合成参数，实现预处理流程自动化。与现有技术中的图片拼接方法相比，解决了现有技术依靠人工获得图像合成参数导致的数据预处理过程重复性较差，受实验人员差异影响较大的技术问题，而且显著简化了操作流程，降低了时间成本和人力成本。提高了图片拼接处的准确率，避免了人为误差，进而提高了通过光片式成像显微镜得到完整三维图像的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种图片合成方法的流程图；
图2示出了本申请实施例所提供的一种图片合成装置的结构示意图；
图3示出了本申请实施例所提供的一种电子设备的结构示意图；
图4示出了本申请实施例所提供的一种存储介质的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于光片式显微镜通过激光和透镜系统，可以获得有限长度的直径为微米级的照明光源，配合透明化和荧光标记技术，能够在保持基本结构完整的前提下，可以对生物组织或器官内部的局部，实现微米级的三维成像的场景。
经研究发现，为了得到较大样品整体高分辨率的三维图像，目前通常的做法时，使用光片式显微镜多次采集图像，每次获得样品不同局部清晰图像，选取清晰图像并拼接的方法，最终获得样品整体的清晰图像。但在这一过程中，图像拼接所需参数依靠人工识别，包括清晰图像的位置、范围、数量等参数，因此，存在不同实验人员识别标准不统一、误差大，耗时长，步骤繁琐，人工成本高等缺点。
基于此，本申请实施例提供了一种光片式成像显微镜的图片合成方法，采用计算机完全取代了图像合成步骤中所有的人工环节，提升了图像处理环节的一致性和准确性，提高了自动化程度，降低了人力成本和时间成本。
请参阅图1，图1为本申请实施例所提供的一种图片合成方法的流程图。所如图1中所示，本申请实施例提供的图片合成方法，包括：
S101、获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；
在一种可能的实施方式中，所述获取样品不同区域的局部三维图像的步骤，包括：
获取样品的平面图像信息，所述平面图像信息包括时间戳标签数据和平面图像；
基于所述时间戳标签数据计算得到相邻平面图像之间的时间间隔；
根据所述时间间隔与样品位移台的位移数据，得到所述平面图像的物理位置；
根据所述时间间隔与拍摄设备的光学变焦数据，得到激发光光片目的束腰区域位置；
基于所述平面图像的物理位置和所述激发光光片目的束腰区域位置将所述平面图像重构为所述局部三维图像。
示例性的，若平面图像信息的标签信息带有时间戳，得到相邻图片生成时间的时间间隔，根据显微镜的光学变焦及样品位移台的机械特征，判断该时间间隔光学变焦系统和样品位移台的动作，即可得到该张图片的物理位置和激发光光片目的束腰区域位置，基于图片的物理位置和激发光光片目的束腰区域位置将所述平面图像重构为所述局部三维图像。
在一种可能的实施方式中，所述获取样品不同区域的局部三维图像的步骤，还包括：
基于所述时间戳标签数据计算得到所有相邻平面图像之间的时间间隔；
基于所有相邻平面图像之间的时间间隔采用支持向量机方法，对相邻图片生成间隔期间所述拍摄设备的光学变焦系统和样品位移台的位移进行聚类，得到所述平面图像的所有物理位置和所有激发光光片目的束腰区域位置；
基于所述平面图像的所有物理位置和所述所有激发光光片目的束腰区域位置将所述平面图像重构为局部三维图像。
示例性的，对所有时间间隔应用SVM（直接向量机）方法，对相邻图片生成间隔期间光学变焦系统和样品位移台的动作进行聚类，在根据图片拍摄顺序，即可得到该张图片的物理位置和激发光光片目的束腰区域位置。然后，根据图片的对应物理位置，将激发光光片目的束腰区域位置相似的图片重构为三维图像，得到若干张同一视野下，目的束腰区域位置不同的三维图像。
在一种可能的实施方式中，所述获取样品不同区域的局部三维图像的步骤，包括：
将所述平面图像按照垂直于所述拍摄设备的光学变焦系统发出的光线的方向分割成至少两个小区域；
采用梯度函数对每一个所述小区域的清晰度进行评价，得到每个小区域的评价结果；
通过对比所述评价结果，得到所述平面图像的相对清晰度变化趋势；
分析所述平面图像的相对清晰度变化趋势，得到激发光光片目的束腰位置变化方向及变化周期；
根据样品位移台位移方向、所述激发光光片目的束腰位置变化方向及变化周期，得到所述平面图像所对应的样品物理位置；
基于所述样品物理位置将所述平面图像进行三维重构。
示例性的，若图像的标签信息中无时间戳信息或选择不使用时间戳作为三维图像重构依据，则使用图片的图像信息作为三维重构的依据，同一视野中，越靠近目的束腰区域位置中心的图像具有越高的分辨率，图像细节越清晰，峰值亮度越高。因此，将图片按照垂直于光线的方向分割成小区域，使用Tenengrad梯度函数对每一个部分的清晰度进行评价，对比全部图像中所有或者部分图片的相对清晰度变化趋势，即可得到激发光光片目的束腰位置变化方向以及周期，结合样品位移台位移方向，可知每张图片所对应的样品物理位置，从而实现图像的三维重构。其中，对每一个部分的清晰度进行评价时，有多种无参考的清晰度评价方法可供选择，包括但不限于Tenengrad梯度函数、Laplacian梯度函数、SMD（灰度方差）函数、Vollath函数、熵函数。
S102、对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
示例性的，激发光经过透镜系统，照射样品时存在一个汇聚较为集中的区域，该区域内光分布较为集中，分辨率较高，距离该区域越远，光越分散，分辨率越低，每一张三维图像中各个位置的分辨率不相同。
在一种可能的实施方式中，所述对所述局部三维图像进行相对可靠性筛选的步骤，包括：
基于所述三维图像的亮度和/或分辨率计算局部三维图像的相对可靠性数据；
选择所述可靠性数据中的最高值作为所述预设关键区域的边界，其中，所述预设关键区域为所述局部三维图像与相邻的三维图像之间的重合区域；
选择所述边界两侧相对可靠性差异在预设范围内的三维图像作为所述重合区域内的重合图像；
将所述边界和所述重合图像作为所述拼接参数。
示例性的，激发光光源是激光，激发光能量密度服从二维正态分布，分布方差越小处的分辨率越高，分布方差越大处的分辨率越低，因为成像时激发光在目镜焦平面内扫射，所以，在目镜焦平面上，激发光能量分布近似服从一维正态分布，考虑到在实际成像时，随着光线穿透样品，激发光的能量随光路的增长而减少，光线剩余能量与光路近似成负指数幂的关系，因此，可使用带负指数幂项的正态分布对目镜焦平面内的激发光能量分布进行拟合。为简化计算，这一步也可以直接用次数为负的多项式对其进行拟合。
在一种可能的实施方式中，所述基于所述三维图像的属性信息计算局部三维图像的相对可靠性数据的步骤，包括：
获取所述三维图像的所有有效像素点，得出不同目的束腰区域在激发光照射下所有有效像素点的亮度比；
对所述三维图像的所有有效像素点的亮度比进行归一化处理，采用负指数幂项的正态分布对不同图像的激发光能量分布进行拟合，得到二维正态分布；
再由激发光能量密度服从二维正态分布的特性计算每个有效像素点激发光能量密度的方差；
将所述方差作为所述相对可靠性数据。
示例性的，样品中某一微小区域在图片中的亮度，近似正比于激发光在该微小区域内的能量密度。排除背景荧光，取所有有效的像素点，计算不同目的束腰区域的激发光照射下所有有效像素点的亮度比，然后对整体亮度进行归一化处理，进而用上述分析得出的目镜焦平面内激发光能量分布对不同图像的激发光能量分布进行拟合，再由激发光能量密度服从二维正态分布的特性计算每个位置激发光能量密度的方差，方差越小，该处图像信息的相对可靠性越高，方差越大，该处图像信息的相对可靠性越低。从而获得所有三维图像在任意位置的相对可靠性数据。
在一种可能的实施方式中，所述基于所述三维图像的属性信息计算局部三维图像的相对可靠性数据的步骤，包括：
使用梯度函数在垂直于激发光光轴的方向上比对不同三维图像在同一位置的图像清晰度；
将所述清晰度作为所述相对可靠性数据。
示例性的，激发光在目镜焦平面内平行扫射，目镜光轴与激发光扫射平面垂直，所以从样品的照明厚度分析，激发光光片目的束腰区域的照明厚度较薄，越远离目的束腰区域照明厚度越大，所以，样品不同位置图像分辨率的差异更多的体现在平行与目镜光轴的方向上，越靠近激发光光片目的束腰区域，分辨率越高，越远离激发光光片目的束腰区域，分辨率越低。使用Tenengrad梯度函数在垂直于激发光光轴的方向上比对不同三维图像在同一位置的图像清晰度，清晰度的差异与分辨率的差异具有近似相同的趋势，因此以Tenengrad梯度函数计算得出的不同位置的清晰度也可作为图像信息相对可靠性数据。其中，对每一个部分的清晰度进行评价时，有多种无参考的清晰度评价方法可供选择，包括但不限于Tenengrad梯度函数、Laplacian梯度函数、SMD（灰度方差）函数、Vollath函数、熵函数。
S103、基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。
在一种可能的实施方式中，所述基于所述拼接参数对应的样品不同区域将所述三维图像进行拼接的步骤，包括：
基于所述边界和所述重合图像采用插值法合成重叠三维图像；
基于所述重叠三维图像将所述三维图像进行拼接。
示例性的，对于样品的任意位置区域都取所述局部三维图像上相对可靠性最高处的图像，得到来自不同图像数据之间的边界，根据边界数据附近像素点的图像相对可靠性，向两侧各取部分像素点作为拼接边界的重叠区域，本例采用取到图像相对可靠性差异达到30%到60%处作为重叠区域的结束点，根据成像实际情况亦可做调整。
示例性的，用插值法合成重叠区域的图像。可以对两侧区域分别进行插值，图像合成的边界点处，来自两个图像的数据插值权重相等，重叠区域边缘处以可靠性较高的数据权重为1，可靠性较低的数据权重为0，位于边界点和边缘之间的数据按两侧权重的线性插值分别计算权重，也可以采用其他插值法分别计算权重。接着，其他非重叠区域取该位置图像相对可靠性最高的数据，得到合成后的图像。
采用计算机进行自动化处理，各个步骤可以连续进行，因此，对于同一图像文件的处理只需从存储器读取和写入一次，能够显著的节约网络带宽和处理时间。利用计算机计算拼接参数，同一图像数据所得的拼接参数可以保证稳定，不因时间、空间、实验人员的差异而发生变化，显著的减少误差来源，保证了实验数据的高可重复性。计算拼接参数的同时比对了所有图像在全部局部的图像信息相对可靠性，因而可以评价拼接参数的相对可靠性，为评价该样品的成像质量提供参考。在图像合成步骤中，不同区域的重叠部分可以依据该区域的图像可靠性差异进行调整，使得在保证图像平滑性的前提下尽量保存更多的图像原始信息，更好的还原样品三维结构。
在一种可能的实施方式中，如图2所示，本申请实施例提供了一种图片合成装置200，所述装置包括：
重构模块201，用于获取样品不同区域的局部三维图像，其中，所述局部三维图像为光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；
筛选模块202，用于对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
拼接模块203，用于基于所述拼接参数对应的样品不同区域将所述目标三维图像进行拼接，得到所述样品的完整三维图像。
在一种可能的实施方式中，如图3所示，本申请实施例提供了一种电子设备300，包括：处理器310、存储器320和总线330，所述存储器320存储有所述处理器310可执行的机器可读指令，当电子设备运行时，所述处理器310与所述存储器320之间通过总线330通信，所述处理器310执行所述机器可读指令，以执行时执行获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。
在一种可能的实施方式中，如图4所示，本申请实施例提供了一种计算机可读存储介质400，该计算机可读存储介质上存储有计算机程序411，该计算机程序411被处理器运行时执行获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜若干个光片目的束腰位置不同的激发光源下拍摄的；对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；基于所述拼接参数对应的样品不同区域，将所述三维图像进行拼接，得到所述样品的完整三维图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图片合成方法，其特征在于，所述方法包括：
获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜下，在若干个激发光光片目的束腰位置不同的激发光源下拍摄的；其中，所述样品不同区域的局部三维图像是基于样品三维平面图像信息确定的，所述平面图像信息包括时间戳标签数据和平面图像；
对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
基于所述拼接参数对应的样品不同区域，将所述局部三维图像进行拼接，得到所述样品的完整三维图像；
所述获取样品不同区域的局部三维图像的步骤，包括：
将所述平面图像按照垂直于拍摄设备的光学变焦系统发出的光线的方向分割成至少两个小区域；
采用梯度函数对每一个所述小区域的清晰度进行评价，得到每个小区域的评价结果；
通过对比所述评价结果，得到所述平面图像的相对清晰度变化趋势；
分析所述平面图像的相对清晰度变化趋势，得到激发光光片目的束腰位置变化方向及变化周期；
根据样品位移台位移方向、所述激发光光片目的束腰位置变化方向及变化周期，得到所述平面图像所对应的样品物理位置；
基于所述样品物理位置将所述平面图像进行三维重构。
2.根据权利要求1所述的方法，其特征在于，所述获取样品不同区域的局部三维图像的步骤，包括：
基于所述时间戳标签数据计算得到相邻平面图像之间的时间间隔；
根据所述时间间隔与样品位移台的位移数据，得到所述平面图像的物理位置；
根据所述时间间隔与拍摄设备的光学变焦数据，得到激发光光片目的束腰区域位置；
基于所述平面图像的物理位置和所述激发光光片目的束腰区域位置将所述平面图像重构为所述局部三维图像。
3.根据权利要求2所述的方法，其特征在于，所述获取样品不同区域的局部三维图像的步骤，还包括：
基于所述时间戳标签数据计算得到所有相邻平面图像之间的时间间隔；
基于所有相邻平面图像之间的时间间隔采用支持向量机方法，对相邻图片生成间隔期间所述拍摄设备的光学变焦系统和样品位移台的位移进行聚类，得到所述平面图像的所有物理位置和所有激发光光片目的束腰区域位置；
基于所述平面图像的所有物理位置和所述所有激发光光片目的束腰区域位置将所述平面图像重构为局部三维图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述局部三维图像进行相对可靠性筛选，得到拼接参数的步骤，包括：
基于所述三维图像的亮度和/或分辨率计算局部三维图像的相对可靠性数据；
选择所述可靠性数据中的最高值作为预设关键区域的边界，其中，所述预设关键区域为所述局部三维图像与相邻的三维图像之间的重合区域；
选择所述边界两侧相对可靠性差异在预设范围内的三维图像作为所述重合区域内的重合图像；
将所述边界和所述重合图像作为所述拼接参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述三维图像的亮度计算局部三维图像的相对可靠性数据的步骤，包括：
获取所述三维图像的所有有效像素点，得出不同激发光光片目的束腰区域在激发光照射下所有有效像素点的亮度比；
对所述三维图像的所有有效像素点的亮度比进行归一化处理，采用负指数幂项的正态分布对不同图像的激发光能量分布进行拟合，得到二维正态分布；
再由激发光能量密度服从二维正态分布的特性计算每个有效像素点激发光能量密度的方差；
将所述方差作为所述相对可靠性数据。
6.根据权利要求4所述的方法，其特征在于，所述基于所述三维图像的分辨率计算局部三维图像的相对可靠性数据的步骤，包括：
使用梯度函数在垂直于激发光光轴的方向上比对不同三维图像在同一位置的图像分辨率；
将所述分辨率作为所述相对可靠性数据。
7.根据权利要求4所述的方法，其特征在于，所述基于所述拼接参数对应的样品不同区域，将所述局部三维图像进行拼接的步骤，包括：
基于所述边界和所述重合图像采用插值法合成重叠三维图像；
基于所述重叠三维图像将所述三维图像进行拼接。
8.一种图片合成装置，其特征在于，所述装置包括：
重构模块，用于获取样品不同区域的局部三维图像，其中，所述局部三维图像为在光片式成像显微镜下，在若干个激发光光片目的束腰位置不同的激发光源下拍摄的；其中，所述样品不同区域的局部三维图像是基于样品三维平面图像信息确定的，所述平面图像信息包括时间戳标签数据和平面图像；
筛选模块，用于对所述局部三维图像进行相对可靠性筛选，得到拼接参数，其中，所述相对可靠性由所述局部三维图像的亮度和/或分辨率计算得出；
拼接模块，用于基于所述拼接参数对应的样品不同区域，将所述局部三维图像进行拼接，得到所述样品的完整三维图像；
重构模块，还用于通过以下步骤获取样品不同区域的局部三维图像：
将所述平面图像按照垂直于拍摄设备的光学变焦系统发出的光线的方向分割成至少两个小区域；
采用梯度函数对每一个所述小区域的清晰度进行评价，得到每个小区域的评价结果；
通过对比所述评价结果，得到所述平面图像的相对清晰度变化趋势；
分析所述平面图像的相对清晰度变化趋势，得到激发光光片目的束腰位置变化方向及变化周期；
根据样品位移台位移方向、所述激发光光片目的束腰位置变化方向及变化周期，得到所述平面图像所对应的样品物理位置；
基于所述样品物理位置将所述平面图像进行三维重构。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至7任一所述的图片合成方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的图片合成方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258879.6A CN113706433B (zh) | 2021-10-28 | 2021-10-28 | 一种图片合成方法、装置、电子设备及存储介质 |
| PCT/CN2022/105773 WO2023071302A1 (zh) | 2021-10-28 | 2022-07-14 | 一种图片合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258879.6A CN113706433B (zh) | 2021-10-28 | 2021-10-28 | 一种图片合成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706433A CN113706433A (zh) | 2021-11-26 |
| CN113706433B true CN113706433B (zh) | 2022-02-08 |
Family
ID=78647122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111258879.6A Active CN113706433B (zh) | 2021-10-28 | 2021-10-28 | 一种图片合成方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113706433B (zh) |
| WO (1) | WO2023071302A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
| CN116912429B (zh) * | 2023-09-13 | 2023-12-08 | 江苏普旭科技股份有限公司 | 高清晰度视景ig材质三维重建方法与系统 |
| CN117495984B (zh) * | 2023-12-27 | 2024-03-29 | 临沂大学 | 一种同轴式混合光学变焦针孔镜头智能标定方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150371420A1 (en) * | 2014-06-19 | 2015-12-24 | Samsung Electronics Co., Ltd. | Systems and methods for extending a field of view of medical images |
| EP3610451B1 (en) * | 2017-04-14 | 2021-09-29 | Ventana Medical Systems, Inc. | Local tile-based registration and global placement for stitching |
| CN107764204A (zh) * | 2017-11-30 | 2018-03-06 | 苏州优函信息科技有限公司 | 基于光片显微镜的三维表面形貌仪及三维图像拼接方法 |
| CN110581956A (zh) * | 2019-08-26 | 2019-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111626933B (zh) * | 2020-05-14 | 2023-10-31 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
| CN112750078B (zh) * | 2020-12-28 | 2023-06-02 | 广州市明美光电技术有限公司 | 基于面向电动平台的显微图像实时拼接方法及存储介质 |
| CN113470167B (zh) * | 2021-06-28 | 2024-04-19 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
| CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
-
2021
- 2021-10-28 CN CN202111258879.6A patent/CN113706433B/zh active Active
-
2022
- 2022-07-14 WO PCT/CN2022/105773 patent/WO2023071302A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706433A (zh) | 2021-11-26 |
| WO2023071302A1 (zh) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706433B (zh) | 一种图片合成方法、装置、电子设备及存储介质 | |
| JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
| Hugonnet et al. | Multiscale label-free volumetric holographic histopathology of thick-tissue slides with subcellular resolution | |
| US9881373B2 (en) | Image generating apparatus and image generating method | |
| JP2022513494A (ja) | 病理標本の自動撮像および分析のための計算顕微鏡ベースシステムおよび方法 | |
| US7873193B2 (en) | Serial section analysis for computer-controlled microscopic imaging | |
| Kandel et al. | Label-free tissue scanner for colorectal cancer screening | |
| CN102481117B (zh) | 用于探测在三维重建中的不良质量的系统和方法 | |
| Legesse et al. | Seamless stitching of tile scan microscope images | |
| US20100074486A1 (en) | Reconstruction and visualization of neuronal cell structures with bright-field mosaic microscopy | |
| JP2009512927A (ja) | 画像処理方法 | |
| US20110091125A1 (en) | System and method for imaging with enhanced depth of field | |
| Blasse et al. | PreMosa: extracting 2D surfaces from 3D microscopy mosaics | |
| JP7244706B2 (ja) | 生体試料の合成デジタル画像を生成するシステム | |
| Piccinini et al. | Extended depth of focus in optical microscopy: Assessment of existing methods and a new proposal | |
| US20110115896A1 (en) | High-speed and large-scale microscope imaging | |
| Zhao et al. | Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation | |
| Manandhar et al. | 3D flow field estimation and assessment for live cell fluorescence microscopy | |
| CN114365179A (zh) | 无载玻片组织学成像方法和系统 | |
| JP6362062B2 (ja) | 画像生成装置および画像生成方法 | |
| JP2015057682A (ja) | 画像生成装置および画像生成方法 | |
| Murtin et al. | Image processing for precise three-dimensional registration and stitching of thick high-resolution laser-scanning microscopy image stacks | |
| Štajduhar et al. | 3d localization of neurons in bright-field histological images | |
| Shuvo et al. | Multi-focus image fusion for confocal microscopy using u-net regression map | |
| Lang et al. | Multichannel correlation improves the noise tolerance of real-time hyperspectral microimage mosaicking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |