CN117876236B - 一种荧光扫描仪多层图像合成方法和荧光扫描仪 - Google Patents
一种荧光扫描仪多层图像合成方法和荧光扫描仪 Download PDFInfo
- Publication number
- CN117876236B CN117876236B CN202311838844.9A CN202311838844A CN117876236B CN 117876236 B CN117876236 B CN 117876236B CN 202311838844 A CN202311838844 A CN 202311838844A CN 117876236 B CN117876236 B CN 117876236B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- comparison
- basic
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000000052 comparative effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 14
- 239000002131 composite material Substances 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 6
- 210000005013 brain tissue Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种荧光扫描仪多层图像合成方法和荧光扫描仪,本申请涉及生物领域,该方法包括获取图像序列;根据该图像序列对每一帧图像进行打分,获得多个内容得分;将该图像序列中该内容得分最高的一帧图像确定为基础帧,该基础帧之外的图像确定为比较帧;在将该图像序列中的非基础帧确定为比较帧后,将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域;将该清晰区域融合到该基础帧上,得到标准帧;在将该标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,将该多次融合后基础帧作为合成图像结果输出,这样可以使多层图像的合成图像更加清晰和真实。
Description
技术领域
本申请涉及生物领域,尤其涉及一种荧光扫描仪多层图像合成方法和荧光扫描仪。
背景技术
在生物医学研究中,需要观察和分析细胞、组织或小动物个体的生物结构。这些样品本身存在三维的立体结构,而不是简单的二维平面,针对于这样的情况亟需一些新型的层扫描显微技术来实现更清晰准确的样品研究。
相关技术中,普通的显微镜观察样品只能观察到样品的二维状态,但往往样品大多不是二维状态,而是有起伏的三维状态,在这种情况下,相关技术使用可以进行层间扫描的显微技术,如激光共聚焦扫描技术,在样品的不同高度平面上扫描采集图像,对采集的图像进行去噪、增强等预处理,提高质量。在每个图像上提取显著的特征点或区域,如轮廓、角点等。这些特征用于图像配准,通过匹配不同层面的图像上的特征点,计算图像间的转换关系,实现精确的几何配准。
然而,不同层面图像存在在三维重建过程中会存在形变,从而导致获得的图像不够清晰。
发明内容
本申请提供了一种荧光扫描仪多层图像合成方法和荧光扫描仪,用于使多层图像的合成图像更加清晰和真实。
第一方面,本申请提供了一种荧光扫描仪多层图像合成方法,该方法包括:获取图像序列;一种荧光扫描仪多层图像合成方法和荧光扫描仪对该图像序列中的每一帧图像进行打分,获得多个内容得分,该内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;一种荧光扫描仪多层图像合成方法和荧光扫描仪将该图像序列中该内容得分最高的一帧图像确定为基础帧,该基础帧之外的图像确定为比较帧;一种荧光扫描仪多层图像合成方法和荧光扫描仪在将该图像序列中的非基础帧确定为比较帧后,将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域;一种荧光扫描仪多层图像合成方法和荧光扫描仪将该清晰区域融合到该基础帧上,得到标准帧;一种荧光扫描仪多层图像合成方法和荧光扫描仪在将该标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,该n为用户设定的数值;一种荧光扫描仪多层图像合成方法和荧光扫描仪将该多次融合后基础帧作为合成图像结果输出。
在上述实施例中,通过对图像序列进行打分,根据图像像素均值与图像像素方差值的乘积来评估每一帧图像的质量。通过确定得分最高的一帧图像作为基础帧,可以提高合成图像的清晰度和质量。该方法通过对多次融合后基础帧的区域运算,实现了自动化的图像合成过程。这可以减少人工干预,提高合成效率,同时保证了合成图像的质量和准确性,同时,这样的多次融合可以使合成图像更加清晰和真实,有效地提高了合成效果。
结合第一方面的一些实施例,在一些实施例中,在将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域的步骤,具体包括:在确定第一输入参数后,根据设定计算方式分别确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图,该第一输入参数包括该基础帧、该比较帧和滑动窗口尺寸参数;将该比较帧均值图和该基础帧均值图之比确定为比例图;根据该基础帧方差图、该比较帧方差图和该比例图确定差值图;将该差值图大于零的区域确定为该清晰区域。
在上述实施例中,将差值图大于零的区域确定为清晰区域,能够有效地识别出比基础帧更清晰的部分,通过找出清晰区域,可以在合成图像时将这些清晰区域融合到基础帧上,提高合成图像的整体清晰度和质量,该步骤采用了计算方式确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图等自动化计算方法,能够高效地确定清晰区域,减少了人工干预的需要,提高了处理的自动化程度。
结合第一方面的一些实施例,在一些实施例中,在根据设定计算方式分别确定该基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图的步骤,具体包括:根据滑动窗口尺寸参数计算该基础帧均值图和该比较帧均值图;根据该滑动窗口尺寸参数计算该基础帧方差图和该比较帧方差图。
在上述实施例中,根据设定计算方式分别确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图的步骤主要作用是为了识别图像中的清晰区域,以提高图像合成质量和实现自动化处理。
结合第一方面的一些实施例,在一些实施例中,在将该清晰区域融合到该基础帧上,得到标准帧的步骤,具体包括:确定第二输入参数,该第二输入参数包括该基础帧对应的清晰掩膜区域、该比较帧对应的清晰掩膜区域和该基础帧的非掩膜区域;根据该基础帧的清晰掩膜区域、该比较帧的清晰掩膜区域和该基础帧的非掩膜区域确定标准帧。
在上述实施例中,基于基础帧对应的清晰掩膜区域和比较帧对应的清晰掩膜区域,可以确定在图像中哪些区域是清晰的,这有助于识别图像中的重要细节和边缘。结合清晰掩膜和非清晰区域,可以确定标准帧,即在合成图像时要保留清晰细节并将比较帧的其他信息合并的参考帧。
结合第一方面的一些实施例,在一些实施例中,在将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域的步骤,还包括:将该设定滑动窗口尺寸参数从大到小进行排序,获得计算顺序;根据该计算顺序对该比较帧进行区域运算。
在上述实施例中,根据不同尺寸的滑动窗口进行区域运算,可以实现对图像的多尺度处理。较大的窗口可以捕捉到图像中的整体结构信息,而较小的窗口可以捕捉到图像中的局部细节信息,从而更全面地了解图像的特征,有助于提高算法对图像特征的准确性和精度。
结合第一方面的一些实施例,在一些实施例中,在按照n个设定滑动窗口尺寸参数重复n次的比较帧的区域运算,获得多次融合后基础帧的步骤之后,还包括:对该设定滑动窗口尺寸参数进行更新。
在上述实施例中,更新滑动窗口尺寸参数可以使算法更好地捕捉图像中的特征信息。合适的窗口尺寸可以更好地适应图像中的不同尺度和特征,从而提高特征提取的效果。
结合第一方面的一些实施例,在一些实施例中,在该对该图像序列中的每一帧图像进行打分,获得多个内容得分,该内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积的步骤,具体包括:根据公式N=∑I,mask≠01,确定该图像像素均值,其中,该N是掩膜区域像素数量,该I是图像区域,该mean为像素均值,该mask为像素包括0或1的二值图像。
在上述实施例中,通过使用公式计算,可以确定图像区域内指定掩膜区域的像素均值,这对于图像处理和分析是非常重要的,计算出的像素均值可以用于图像增强和滤波,帮助去除噪音并改善图像质量。
第二方面,本申请实施例提供了荧光扫描仪,该荧光扫描仪包括:
图像序列获取模块,用于获取图像序列;
多个内容得分获得模块,用于对该图像序列中的每一帧图像进行打分,获得多个内容得分,该内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;
基础帧确定模块,用于将该图像序列中该内容得分最高的一帧图像确定为基础帧,该基础帧之外的图像确定为比较帧;
清晰区域获得模块,用于在将该图像序列中的非基础帧确定为比较帧后,将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域;
标准帧确定模块,用于将该清晰区域融合到该基础帧上,得到标准帧;
多次融合后基础帧获得模块,用于在将该标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,该n为用户设定的数值;合成图像结果输出模块,用于将该多次融合后基础帧作为合成图像结果输出。
第三方面,本申请实施例提供了荧光扫描仪,该荧光扫描仪包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该荧光扫描仪执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在荧光扫描仪上运行时,使得上述荧光扫描仪执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在荧光扫描仪上运行时,使得上述荧光扫描仪执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地,上述第二方面、第三方面提供的荧光扫描仪,第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、由于采用了根据图像序列对每一帧图像进行打分,获得多个内容得分的方式,其中内容得分为图像像素均值和方差的乘积,所以可以评估每一帧图像的质量,选取最佳帧作为基础帧,有效解决了现有技术中无法有效评估图像质量导致合成图像清晰度不高的问题,进而实现了获得质量高、清晰完整的基础图像,为后续的多帧图像融合合成奠定基础。
2、由于采用了根据滑动窗口尺寸参数计算基础帧均值图、比较帧均值图以及基础帧方差图、比较帧方差图的方式,所以可以通过自动化的计算方法获得图像的均值图和方差图,有效解决了现有技术中需要手动提取图像统计特征的问题,进而实现了基于滑动窗口的图像均值和方差的高效自动化计算,降低了特征提取的人工操作,提高了处理速度。
3、由于采用了在获得多个内容得分后,确定得分最高的一帧图像作为基础帧,并将其他帧作为比较帧进行区域运算检测的方式,所以可以自动选取图像序列中信息最完整、清晰度最高的图像作为基础,避免手动选择的主观误差,有效解决了现有技术中无法自动选取最佳基础图像的问题,进而实现了基于图像内容评估的基础帧智能确定与后续处理。
附图说明
图1是本申请实施例中一种荧光扫描仪多层图像合成方法的一个流程示意图;
图2是本申请实施例中一种荧光扫描仪多层图像合成方法的另一个流程示意图;
图3是本申请实施例中荧光扫描仪的功能模块结构示意图;
图4是本申请实施例中荧光扫描仪的实体装置结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为便于理解,下面介绍本申请实施例的一个相关应用场景。
张博士在实验室进行脑组织样品的研究,他使用显微镜对样品进行了层间扫描,获取了多个不同深度的组织图像。但是直接拼接这些层间图像,由于视角、缩放等方面的差异,不同切片中的细胞轮廓存在错位,三维关系不连贯,细胞边界模糊,致使三维重建结果出现明显的形变失真,导致一些重要的细胞结构边界轮廓在三维视图中模糊不清。
而采用本申请实施例中的一种荧光扫描仪多层图像合成方法,可以使多层图像的合成图像更加清晰和真实。下面介绍本申请实施例的一个应用场景。
假设张博士在使用本申请实施例中的一种荧光扫描仪多层图像合成方法,承接上例,张博士使用显微镜拍摄了不同层面脑组织切片的图像序列,总共获得100帧图像。荧光扫描仪在获取到这些图像序列后,对每帧图像进行评分,选取评分最高的一帧图像作为基础帧图像,将其他99张层面图像作为比较帧。按照10×10像素的滑动窗口大小,比较每个比较帧的区域与基础帧的清晰程度。对比出比基础帧更清晰的局部区域,将清晰的局部区域与原有的基础帧进行融合,生成新的标准帧。再以标准帧为基础帧,重复上述区域检测、清晰片段融合过程5次。最终获得复合了不同层面清晰区域信息的融合图像,显示脑组织的关键细胞结构更加连贯清晰。
可见,采用本申请实施例中的荧光扫描仪多层图像合成方法,在实现脑组织多层面关键细胞结构的清晰连贯呈现的同时,还可以有效解决单一扫描图像由于视角、缩放等方面的差异而造成的三维结构失真的问题,进而实现了脑组织图像的清晰还原。具体来说,本申请通过获取不同窗口大小的图像序列,评估每帧的图像清晰情况,选取清晰最高的图像作为基础帧,再检测其他帧的局部清晰区域,迭代地将清晰区域融合到基础帧中,可以保证合成结果中每一位置都是序列帧堆栈中该位置的局部最优,这种多帧的融合合成,相比单一扫描图像,可以提供更丰富的层次感和细节信息,显示关键细胞结构的清晰连贯性。
为便于理解,下面结合上述场景,对本实施提供的方法进行流程叙述。请参阅图1,图1是本申请实施例中一种荧光扫描仪多层图像合成方法的一个流程示意图。
S101、获取图像序列;
用户使用数字相机或者光学显微镜作为拍摄设备,对需要扫描的样品进行拍摄。拍摄设备安装在可以控制移动的样品平台上,用户可以通过控制样品平台纵向和深度方向的移动,以及控制样品与镜头之间的距离,来获取不同焦距下的样品图像。通过控制样品平台的纵向移动来改变样品与镜头之间的垂直距离,可以改变焦距。通过调整垂直距离,用户可以获取不同焦距下的样品图像,这对于获得不同深度处的清晰图像非常重要。比如,用户在不同的焦距下获得多组不同焦平面的图像,如在不同教具下移动拍摄5次,则获得5帧图像,组成一个图像序列。获得图像序列后,拍摄设备通过数据线或者无线网络与荧光扫描仪建立连接通信。用户可以在拍摄设备的控制软件中,选择刚获得的图像序列,发送给荧光扫描仪,也可以在拍摄设备拍摄结束后,直接将拍摄结果发送能够给荧光扫描仪,此处不做限定。
在一些实施例中,拍摄设备可以通过专用的固定装置进行固定,以免在拍摄样品过程中出现颤抖而造成拍摄误差。
S102、对该图像序列中的每一帧图像进行打分,获得多个内容得分,该内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;
其中,图像像素均值可以由公式N=∑I,mask≠01,来确定,图像像素方差值由公式N=∑I,mask≠01,图像像素方差值=stddev2,其中N是掩膜区域像素数量,I是图像区域,mean为像素均值,mask为像素包括0或1的二值图像,stddev为图像的标准差。在获得每一帧图像的图像像素均值与图像像素方差值之后,将两者的乘积确定为每一帧图像对应的内容得分。例如一帧1000×1000像素图像,mean计算得120分,stddev计算得50,则该帧的内容得分为120*502=300000,依次计算图像序列中所有帧图像的内容得分。
S103、将该图像序列中该内容得分最高的一帧图像确定为基础帧,该基础帧之外的图像确定为比较帧;
在前面步骤S102中,图像序列的每一帧图像都计算出一个内容得分,用来评估图像清晰完整度。荧光扫描仪会从多个内容得分中选择最大值,将其对应的图像作为基础帧。比如对100帧图像序列打分,假设第50帧图像的内容得分最高,则确认第50帧为基础帧。确定基础帧图像的原因是其信息完整率高,可为后续图像处理提供参考。基础帧图像本身也会在后续步骤中进行保留和融合。确定基础帧后,荧光扫描仪可以将该基础帧存储下来,以便于后续的使用。
S104、在将该图像序列中的非基础帧确定为比较帧后,将该比较帧按照设定窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域;
首先,将除了基础帧之外的所有其他帧确认为比较帧。然后遍历每一个比较帧图像,对每个比较帧进行区域运算,来获取每个比较帧的清晰度情况。如果确定某个区域比基础帧清晰,则确定该区域为清晰区域。
S105、将该清晰区域融合到该基础帧上,得到标准帧;
在前面步骤中已经获得了基础帧图像和比较帧的清晰区域位置信息。荧光扫描仪根据这些数据,通过混合运算将清晰区域融合到基础帧上,生成标准帧。荧光扫描仪将生成的标准帧存储下来,作为下一轮处理的新的基础帧。
举例来说,假设基础帧大小为1000×1000像素,比较帧A中坐标为(100,100)至(200,200)的区域比基础帧清晰,则标准帧确定模块直接将该100×100像素区域的图像与基础帧进行混合运算,重复进行所有清晰区域的融合,最终形成标准帧。
具体来说,混合运算的具体过程如下:确定第二输入参数,第二输入参数包括基础帧对应的清晰掩膜区域、比较帧对应的清晰掩膜区域和基础帧的非掩膜区域;根据基础帧的清晰掩膜区域、比较帧的清晰掩膜区域和基础帧的非掩膜区域确定标准帧,更具体地,输出图像G=(1-a)f0(X)+af1(X),
其中,f0和f1为输入图像,包括基础帧与比较帧,X为图像上的像素,该图像包括像素为0和1的二值像素图像,值为1表示清晰,0表示不清晰,a为混合比例,G为输出图像,在这里,输出图像可以为标准帧。
举例说明,基础帧对应的清晰掩膜区域:这是在前面步骤中已经获得的基础帧中清晰区域。比较帧对应的清晰掩膜区域:同样在前面步骤获得,表示比较帧中检测出来的清晰区域,基础帧的非掩膜区域:指基础帧中除清晰掩膜区域之外的其他区域,那么通过混合运算后的基础帧即标准帧=基础帧的清晰掩膜区域×0.5+比较帧的清晰掩膜区域×0.5+基础帧的非掩膜区域。
S106、在将该标准帧作为新的基础帧后,按照n个设定窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,该n为用户设定的数值;
获得标准帧后,将其作为新的基础帧。然后重复前述的比较帧区域运算和清晰区域与基础帧融合的过程,其中区域运算的参数可以是不同的窗口大小,例如用户设置区域运算重复4次,窗口尺寸依次为31×31、15×15、7×7、3×3像素。这样每次都是在上一次的标准帧基础上,使用更小窗口继续进行区域检测和清晰融合,最终获得多次迭代优化后的复合基础帧。
需要说明的是,荧光扫描仪将设定滑动窗口尺寸参数从大到小进行排序,获得计算顺序;根据计算顺序对比较帧进行区域运算。具体而言,用户可以按照滑动窗口尺寸的顺序对样品进行拍摄,比如按照窗口大小顺序31×31、15×15、7×7、3×3像素对样品进行拍摄,也可以不按照窗口大小顺序对样品进行拍摄,而是随意使用窗口大小对样品拍摄,在拍摄结束后,荧光扫描仪自动将之前用户使用的窗口大小进行排序,按照这个排序的顺序对对应的比较帧进行区域运算,在进行一次区域运算之后,对滑动窗口尺寸参数进行更新,以便于进行下一次区域运算。采用依次减小窗口尺寸的计算顺序,可以使荧光扫描仪快速且精确地检测到清晰区域。
在一些实施例中,区域运算的次数n可以设置为自适应模式,由算法根据每轮迭代的清晰度提升程度来自动确定,当标准帧的清晰度提升小于某个阈值时,就自动停止迭代,输出当前最优结果。这种自适应方式可以免去用户根据样本结构复杂程度调整参数的步骤,使图像合成更加智能高效。
在一些实施例中,窗口大小可以不仅限于例子中的窗口尺寸,还可以设置为2n-1的其他尺寸。
S107、将该多次融合后基础帧作为合成图像结果输出。
多次融合后基础帧即为最终合成的图像结果,它经过多轮迭代地融合了不同帧的清晰度信息,输出图像清晰度和细节更好。荧光扫描仪可以将该融合结果存储为一张图像文件,也可以在显示器上展示结果。
在一些实施例中,为了获得更清晰准确的合成图像,可在对合成图像进行预处理,比如进行图像增强,提高对比度和颜色饱和度,使细胞和组织结构更加明显,或者进行图像锐化,增强边缘轮廓,这可以使组织切片的细胞边界更加清晰可辨,或者进行图像配准,进一步优化不同层面清晰区域的拼接效果,使组织结构更加自然连贯。
上面实施例中,采用依次减小窗口尺寸的计算顺序,可以使荧光扫描仪快速且精确地获取图像序列对应的清晰合成图像。在实际应用中,用户可以根据样本的具体情况和要求,设定窗口尺寸的参数范围,以及区域运算的重复次数n。一般来说,样本结构较为简单的情况下,可以使用较大窗口间隔和较少重复计算次数,以提高处理速度。对于结构复杂的样本,可以设置更小窗口尺寸和更多重复运算次数,以获取更精细和准确的清晰区域信息。
在结合上述流程后,下面对本实施提供的方法进行进一步的更具体的流程叙述。请参阅图2,图2是本申请实施例中一种荧光扫描仪多层图像合成方法的另一个流程示意图。
S201、获取图像序列;
该步骤与步骤S101类似,此处不再赘述。
S202、确定基础帧;
该步骤与步骤S103类似,此处不再赘述。
S203、将图像序列中非基础帧图像的图像序列确定为比较帧;
在前面步骤中已经确定了基础帧图像,荧光扫描仪将图像序列中除基础帧之外的所有其他帧标记并记录为比较帧。
S204、在确定第一输入参数后,根据滑动窗口尺寸参数计算基础帧均值图和比较帧均值图,该第一输入参数包括该基础帧、该比较帧和滑动窗口尺寸参数;
荧光扫描仪将基础帧图像、比较帧图像和设定的滑动窗口尺寸(如15x15像素)作为第一输入参数,其中滑动窗口尺寸可由用户按照需求自行设置。然后利用滑动窗口在基础帧和每个比较帧上计算均值图,具体地,基础帧和比较帧的均值可由公式N=∑I,mask≠01,来获取。
S205、根据该滑动窗口尺寸参数计算基础帧方差图和比较帧方差图;
具体地,基础帧方差图和比较帧方差图可由公式N=∑I,mask≠01,图像像素方差值=stddev2来获取。
S206、将该比较帧均值图和该基础帧均值图之比确定为比例图;
在前面步骤中已经计算得到基础帧均值图和各个比较帧均值图。荧光扫描仪将基础帧均值图作为分母,一个比较帧均值图作为分子,进行逐比例计算,得到一个比例图。比例图中的每个像素值,反映了该位置比较帧均值相对于基础帧均值的倍数关系。举例来说,假设基础帧某位置像素均值为80,比较帧相同位置均值是100,则该位置的比例值为100/80=1.25,重复进行所有像素位置的计算,得到一个比较帧的整体比例图。
S207、根据该基础帧方差图、该比较帧方差图和该比例图确定差值图;
将前面获得的基础帧方差图、比较帧方差图与该比例图进行运算,得到差值图。计算方法是:差值图=比较帧方差图*比例图-基础帧方差图。通过这样的计算,得到每个像素位置上两个帧的方差差异,方差值越大表示该位置的清晰度越高。
S208、将该差值图大于零的区域确定为该清晰区域;
遍历差值图,将所有差值图大于0的像素位置确定为清晰区域,这表示在这些区域内,比较帧的清晰度更好。
S209、通过混合运算获得该基础帧与该清晰区域融合后的标准帧;
在前面步骤已经获得基础帧和比较帧的清晰区域位置。荧光扫描仪依次访问每个清晰区域,并采用图像混合算法,将清晰区域的像素信息融合到基础帧对应的位置。
具体来说,可以遍历每个清晰区域的坐标范围,并直接将该区域的像素值复制到基础帧的对应坐标位置,覆盖原有像素值。这里可以采用图像拼接技术,根据清晰区域边界的连续性,可选择融合边界进行平滑处理。
重复对所有清晰区域执行混合运算,最终获得一张标准帧图像,它由基础帧和所有比较帧的清晰区域组合构成,呈现出最佳的图像清晰度。
在执行完步骤S209之后,可以按照用户设定的循环次数n来执行难步骤S202。
S210、在循环结束后,根据多次循环后获得的多次融合后基础帧获得合成图像结果。
在多轮迭代后,获得多次融合的基础帧图像,将多次融合后基础帧进行合成来获得合成图像结果。荧光扫描仪可以将该合成图像结果在显示器上展示给用户。
在上述实施例中,该通过获取多帧图像序列,评估每帧图像质量并选择基础帧,再通过多轮区域检测与清晰片段融合,可以实现更优质的图像合成。
下面从模块的角度介绍本申请实施例中的荧光扫描仪。请参阅图3,图3是本申请实施例中荧光扫描仪的功能模块结构示意图。
图像序列获取模块301,用于获取图像序列;
多个内容得分获得模块302,用于对该图像序列中的每一帧图像进行打分,获得多个内容得分,该内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;
基础帧确定模块303,用于将该图像序列中该内容得分最高的一帧图像确定为基础帧,该基础帧之外的图像确定为比较帧;
清晰区域获得模块304,用于在将该图像序列中的非基础帧确定为比较帧后,将该比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比该基础帧清晰度高的的清晰区域;
标准帧确定模块305,用于将该清晰区域融合到该基础帧上,得到标准帧;
多次融合后基础帧获得模块306,用于在将该标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,该n为用户设定的数值;合成图像结果输出模块307,用于将该多次融合后基础帧作为合成图像结果输出。
在一些实施例中,该清晰区域获得模块具体包括:
在确定第一输入参数后,根据设定计算方式分别确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图,该第一输入参数包括该基础帧、该比较帧和滑动窗口尺寸参数;
将该比较帧均值图和该基础帧均值图之比确定为比例图;
根据该基础帧方差图、该比较帧方差图和该比例图确定差值图;
将该差值图大于零的区域确定为该清晰区域。
在一些实施例中,该清晰区域获得模块还包括:
根据滑动窗口尺寸参数计算该基础帧均值图和该比较帧均值图;
根据该滑动窗口尺寸参数计算该基础帧方差图和该比较帧方差图。
在一些实施例中,该标准帧确定模块包括:
确定第二输入参数,该第二输入参数包括该基础帧对应的清晰掩膜区域、该比较帧对应的清晰掩膜区域和该基础帧的非掩膜区域;
根据该基础帧的清晰掩膜区域、该比较帧的清晰掩膜区域和该基础帧的非掩膜区域确定标准帧。
在一些实施例中,该清晰区域获得模块具体包括:
将该设定滑动窗口尺寸参数从大到小进行排序,获得计算顺序;
根据该计算顺序对该比较帧进行区域运算。
在一些实施例中,该多次融合后基础帧获得模块具体包括:
对该设定滑动窗口尺寸参数进行更新。
在一些实施例中,该多个内容得分获得模块具体包括:
根据公式N=∑I,mask≠01,确定该图像像素均值,其中,该N是掩膜区域像素数量,该I是图像区域,该mean为像素均值,该mask为像素包括0或1的二值图像。
上面从模块化功能实体的角度对本申请实施例中的荧光扫描仪进行描述,下面从硬件处理的角度对本发明申请实施例中的荧光扫描仪进行描述,请参阅图4,图4是本申请实施例中荧光扫描仪的实体装置结构示意图。
该用户终端400包括:一个或多个处理器401(图4以一个处理器401为例)、存储器402、输入设备403和输出设备404。在本发明的一些实施例中,处理器401、存储器402、输入设备403和输出设备404可通过总线或其它方式连接,其中,图4中以通过总线连接为例。
其中,处理器401通过调用该计算机指令以使得该计算机程序被处理器执行时以实现本申请实施例中的一种荧光扫描仪多层图像合成方法。
存储器402用于存储计算机程序代码,该计算机程序代码包括计算机指令。
输入设备403用于输入图像序列。
输出设备404用于输出合成图像结果。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站的站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站的站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (8)
1.一种荧光扫描仪多层图像合成方法,应用于荧光扫描仪,其特征在于,所述方法包括:
获取图像序列;
对所述图像序列中的每一帧图像进行打分,获得多个内容得分,所述内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;
将所述图像序列中所述内容得分最高的一帧图像确定为基础帧,所述基础帧之外的图像确定为比较帧;
将所述比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比所述基础帧清晰度高的清晰区域;
将所述清晰区域融合到所述基础帧上,得到标准帧;
在将所述标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,所述n为用户设定的数值;
将所述多次融合后基础帧作为合成图像结果输出;
在将所述比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比所述基础帧清晰度高的清晰区域的步骤,具体包括:
在确定第一输入参数后,根据设定计算方式分别确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图,所述第一输入参数包括所述基础帧、所述比较帧和滑动窗口尺寸参数;
将所述比较帧均值图和所述基础帧均值图之比确定为比例图;
根据所述基础帧方差图、所述比较帧方差图和所述比例图确定差值图;
将所述差值图大于零的区域确定为所述清晰区域。
2.根据权利要求1所述的方法,其特征在于,在根据设定计算方式分别确定所述基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图的步骤,具体包括:
根据滑动窗口尺寸参数计算所述基础帧均值图和所述比较帧均值图;
根据所述滑动窗口尺寸参数计算所述基础帧方差图和所述比较帧方差图。
3.根据权利要求1所述的方法,其特征在于,在将所述清晰区域融合到所述基础帧上,得到标准帧的步骤,具体包括:
确定第二输入参数,所述第二输入参数包括所述基础帧对应的清晰掩膜区域、所述比较帧对应的清晰掩膜区域和所述基础帧的非掩膜区域;
根据所述第二输入参数确定标准帧。
4.根据权利要求1所述的方法,其特征在于,将所述比较帧按照设定滑动窗口尺寸参数分别进行区域运算,包括:
将所述设定滑动窗口尺寸参数从大到小进行排序,获得计算顺序;
根据所述计算顺序对所述比较帧进行区域运算。
5.根据权利要求1所述的方法,其特征在于,在按照n个设定滑动窗口尺寸参数重复n次的比较帧的区域运算,获得多次融合后基础帧的步骤之后,还包括:
对所述设定滑动窗口尺寸参数进行更新。
6.一种荧光扫描仪,其特征在于,包括:
图像序列获取模块,用于获取图像序列;
多个内容得分获得模块,用于根据所述图像序列对每一帧图像进行打分,获得多个内容得分,所述内容得分为每一帧图像的图像像素均值与图像像素方差值的乘积;
基础帧确定模块,用于根据所述多个内容得分确定得分最高的一帧图像为基础帧;
清晰区域获得模块,用于在将所述图像序列中的非基础帧确定为比较帧后,将所述比较帧按照设定滑动窗口尺寸参数分别进行区域运算,得到比所述基础帧清晰的清晰区域;在确定第一输入参数后,根据设定计算方式分别确定基础帧均值图、比较帧均值图、基础帧方差图和比较帧方差图,所述第一输入参数包括所述基础帧、所述比较帧和滑动窗口尺寸参数;
将所述比较帧均值图和所述基础帧均值图之比确定为比例图;
根据所述基础帧方差图、所述比较帧方差图和所述比例图确定差值图;
将所述差值图大于零的区域确定为所述清晰区域;
标准帧确定模块,用于将所述清晰区域融合到所述基础帧上,得到标准帧;
多次融合后基础帧获得模块,用于在将所述标准帧作为新的基础帧后,按照n个设定滑动窗口尺寸参数重复n次比较帧的区域运算,获得多次融合后基础帧,所述n为用户设定的数值;
合成图像结果输出模块,用于将所述多次融合后基础帧作为合成图像结果输出。
7.一种荧光扫描仪,其特征在于,包括:
一个或多个处理器和存储器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述荧光扫描仪执行如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在荧光扫描仪上运行时,使得所述荧光扫描仪执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311838844.9A CN117876236B (zh) | 2023-12-28 | 2023-12-28 | 一种荧光扫描仪多层图像合成方法和荧光扫描仪 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311838844.9A CN117876236B (zh) | 2023-12-28 | 2023-12-28 | 一种荧光扫描仪多层图像合成方法和荧光扫描仪 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117876236A CN117876236A (zh) | 2024-04-12 |
CN117876236B true CN117876236B (zh) | 2024-07-19 |
Family
ID=90578589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311838844.9A Active CN117876236B (zh) | 2023-12-28 | 2023-12-28 | 一种荧光扫描仪多层图像合成方法和荧光扫描仪 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117876236B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821280A (zh) * | 2022-04-28 | 2022-07-29 | 西安交通大学 | 一种基于滑动窗口的slam局部实时重定位方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101446774B1 (ko) * | 2008-03-10 | 2014-10-01 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
US20100121172A1 (en) * | 2008-11-12 | 2010-05-13 | Siemens Corporate Research, Inc. | Microscopic and macroscopic data fusion for biomedical imaging |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN113992861B (zh) * | 2020-07-27 | 2023-07-21 | 虹软科技股份有限公司 | 一种图像处理方法及图像处理装置 |
-
2023
- 2023-12-28 CN CN202311838844.9A patent/CN117876236B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821280A (zh) * | 2022-04-28 | 2022-07-29 | 西安交通大学 | 一种基于滑动窗口的slam局部实时重定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117876236A (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7134303B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
CN109377445B (zh) | 模型训练方法、替换图像背景的方法、装置和电子系统 | |
RU2734447C2 (ru) | Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости | |
CN113962976B (zh) | 用于病理玻片数字图像的质量评估方法 | |
CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
Piccinini et al. | Extended depth of focus in optical microscopy: Assessment of existing methods and a new proposal | |
CN112184606A (zh) | 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法 | |
CN109001902A (zh) | 基于图像融合的显微镜聚焦方法 | |
US11803978B2 (en) | Generating composite image from multiple images captured for subject | |
WO2024117192A1 (ja) | 検体を撮影した画像の分解能を向上させる画像処理 | |
CN117876236B (zh) | 一种荧光扫描仪多层图像合成方法和荧光扫描仪 | |
EP3937120B1 (en) | Computer-implemented method, computer program product and system for processing images | |
Zhou et al. | Parameter-free Gaussian PSF model for extended depth of field in brightfield microscopy | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
RU2647645C1 (ru) | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени | |
CN113191949B (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 | |
CN112363309B (zh) | 一种用于显微镜下病理图像的自动寻焦方法和系统 | |
CN110569943B (zh) | 一种基于三维码的优化方法及系统 | |
CN108564559B (zh) | 一种基于两尺度聚焦图的多聚焦图像融合方法 | |
Khoddami et al. | Depth map super resolution using structure-preserving guided filtering | |
CN107490850B (zh) | 一种稀疏标本快速聚焦方法 | |
CN112184611A (zh) | 图像生成模型训练方法以及装置 | |
Mehendale et al. | Image fusion using adaptive thresholding and cross filtering | |
CN110717908B (zh) | 病理图片的处理方法 | |
Sigdel et al. | Autofocusing for microscopic images using Harris Corner Response Measure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |