CN105765625B - 荧光图像处理装置和方法 - Google Patents
荧光图像处理装置和方法 Download PDFInfo
- Publication number
- CN105765625B CN105765625B CN201480066273.4A CN201480066273A CN105765625B CN 105765625 B CN105765625 B CN 105765625B CN 201480066273 A CN201480066273 A CN 201480066273A CN 105765625 B CN105765625 B CN 105765625B
- Authority
- CN
- China
- Prior art keywords
- image processing
- fluorescence
- processing device
- background
- fluorescence image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 106
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims description 35
- 230000002708 enhancing effect Effects 0.000 claims abstract description 57
- 238000003709 image segmentation Methods 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 22
- 238000000799 fluorescence microscopy Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 3
- 238000004043 dyeing Methods 0.000 abstract description 12
- 230000009467 reduction Effects 0.000 abstract description 10
- 230000011218 segmentation Effects 0.000 abstract description 9
- 239000011521 glass Substances 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 7
- 230000005764 inhibitory process Effects 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000011410 subtraction method Methods 0.000 description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- MURGITYSBWUQTI-UHFFFAOYSA-N fluorescin Chemical compound OC(=O)C1=CC=CC=C1C1C2=CC=C(O)C=C2OC2=CC(O)=CC=C21 MURGITYSBWUQTI-UHFFFAOYSA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及用于增强荧光图像的荧光图像处理装置（100）。荧光图像处理装置（100）包括图像分段单元（110）、背景确定单元（120）、背景降低单元（130）和图像增强单元（140）。提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
Description
技术领域
本发明涉及荧光图像处理装置和用于增强荧光图像的方法、荧光成像系统和方法、荧光图像处理计算机程序以及荧光成像计算机程序。
背景技术
在生命科学中，荧光显微镜是强大的工具，其允许样品的特定和敏感染色以便检测蛋白质或其它感兴趣的分子的分布。由于背景保持未被染色，因此典型的荧光图像是暗的，其中数个区域发亮。
通过数字病理学的引入，使用图像分析工具的辅助成为可能。为了实现高吞吐量，需要低扫描和染色时间。该趋势还适用于荧光显微镜，其将在不久的将来越来越多地应用。较低扫描和染色时间将导致明显较低的SNR。尽管这对于图像分析工具而言仍旧是可接受的，但是要求特殊增强以实现针对人类操作者的舒适对比度。这在人类操作员（仍旧）负责时是所需要的。
US2006149479A1描述了一种用于通过选择性地消除或减少来自除感兴趣的荧光团之外的荧光团的不想要的荧光来增强诸如生物组织之类的对象的荧光图像的方法。该方法基于荧光团的寿命的测量而同时存留涉及感兴趣的荧光团的荧光强度的信息。
YANG L等人的“An adaptive non-local means filter for denoising live-cell images and improving particle detection”，JOURNAL OF STRUCTURAL BIDLDGV，ACADEMIC PRESS，美国，也描述了一种用于增强对象的荧光图像使得增强感兴趣的对象并且抑制背景的方法，其中利用非局部自适应滤波器来全局地处理每一个完整图像。
存在对于处理荧光图像时的改进的图像增强技术的需要。
发明内容
本发明的目的是提供用于增强荧光图像的荧光图像处理装置和方法、荧光成像系统和方法、荧光图像处理计算机程序以及荧光成像计算机程序，其以用于处理荧光图像的改进的图像增强技术为特征。
在本发明的第一方面中，提供了一种用于增强荧光图像的荧光图像处理装置。荧光图像处理装置包括图像分段单元，其适配成将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；背景确定单元，其适配成测量荧光图像中的背景信号；背景降低单元，其适配成响应于背景信号的测量而降低一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及图像增强单元，其适配成增强一个或多个感兴趣的区域而非一个或多个背景区域。
本发明的关键想法涉及首先对单个图像分段（基于单个图像），然后基于分段测量背景信号，然后基于所测量的背景信号抑制（或降低）背景信号，并且最终增强对象信号。为了增强对象，优选地提出使用例如背景中的噪声量。因此，本发明优选地利用测量背景信号与增强对象信号之间的关联。要指出的是，背景测量和抑制以及增强对象信号的次序可以互换，使得在图像分段之后，在测量和抑制背景信号之前首先增强对象信号。另外，可以与对象信号增强并行地实施背景测量和抑制。本发明因而提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
在本发明的优选实施例中，图像增强单元的输出被用作用于图像分析算法的输入。
在本发明另外的优选实施例中，背景信号用于控制图像增强单元。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于接收荧光图像的输入；以及适配用于输出经增强的荧光图像的输出。通过提供适配用于接收荧光图像的输入，荧光图像处理装置可以以直接的方式与常见荧光显微镜一起使用而不必修改显微镜。另外，通过提供适配用于输出经增强的荧光图像的输出，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要被更新以与本发明的荧光图像处理装置一起使用。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于存储荧光图像的图像存储单元。通过提供用于存储荧光图像的图像存储单元，荧光图像处理装置提供在稍后阶段重复对比度增强过程的可能性。以类似方式，荧光图像处理装置提供针对图像分段、背景确定、背景抑制和/或对象图像增强的相应不同选择而实施对比度增强的可能性。
在本发明另外的优选实施例中，存储在图像存储单元中的荧光图像可以用作对图像分段单元的输入信号。由此，质量改进算法可以应用于所存储的荧光图像。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于存储所测量的背景信号的背景存储单元。通过提供适配用于存储所测量的背景信号的背景存储单元，荧光图像处理装置提供针对所确定的背景信号测试各种背景减除方法的可能性。优选地，将各种背景减除方法的最终结果彼此比较。优选地，基于比较的结果来选择一个背景减除方法。
在本发明另外的优选实施例中，存储在背景存储单元中的背景信号可以用作对背景降低单元的输入信号。由此，质量改进算法可以应用于所存储的背景信号。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
在本发明另外的优选实施例中，荧光图像处理装置还包括用于向显示单元传送经增强的荧光图像的传送单元。通过提供用于向显示单元传送经增强的荧光图像的传送单元，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，传送单元适配用于以无线方式传送经增强的荧光图像，诸如例如通过WLAN网络。优选地，传送单元是天线。然后，荧光图像处理装置甚至不必物理耦合到显示单元。事实上，荧光图像处理装置可以在与显示单元不同的另一房间中、另一建筑物中或甚至另一城市中。这使得荧光显微学专家可能从远程监视荧光图像处理装置，并且因而增强本发明的灵活性。
在本发明另外的优选实施例中，荧光图像处理装置还包括用于从荧光显微镜接收所获取的荧光图像的接收单元。通过提供用于从荧光显微镜接收所获取的荧光图像的接收单元，荧光图像处理装置可以与常见荧光显微镜一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，接收单元适配用于以无线方式接收所获取的荧光图像，诸如例如通过WLAN网络。优选地，接收单元是天线。然后，荧光图像处理装置甚至不必物理耦合到荧光显微镜。事实上，荧光图像处理装置可以在与荧光显微镜不同的另一房间中、另一建筑物中或甚至另一城市中。这使得可能从远程利用特定荧光显微镜训练荧光图像处理装置，诸如例如当荧光图像处理装置仍旧在工厂时。
在本发明另外的优选实施例中，图像分段单元适配成通过应用动态阈值处理和/或通过应用基于局部直方图的方法来对荧光图像分段。相比于使用针对所有像素的全局阈值的常规阈值处理技术，自适应或动态阈值处理在图像之上动态地改变阈值。通过此，方法对局部变化（例如由于染色强度中的局部变化）较不敏感。
在本发明另外的优选实施例中，背景确定单元适配成从荧光图像创建经平滑的直方图。经平滑的直方图用于测量背景信号的特性（例如均值和方差）。该经平滑的直方图一般将更加精确地反映背景信号中的底层变化。
在本发明另外的优选实施例中，背景降低单元适配成通过平滑一个或多个背景区域和/或通过修剪一个或多个背景区域来降低背景信号。应用平滑背景信号以便降低背景信号中的噪声。本质上，降低和/或抑制信号的高频分量，而同时保留低频分量。
在本发明另外的优选实施例中，图像增强单元适配成通过提升一个或多个感兴趣的区域和/或通过峰值化一个或多个感兴趣的区域来增强。可以应用峰值化以便使感兴趣的区域和/或对象的边缘更加清楚并且使对象和/或感兴趣的区域更加不同于背景信号。可以应用提升以便增强对象和/或感兴趣的区域的对比度。
在本发明的第二方面中，提供了一种荧光成像系统，包括适配用于获取荧光图像的荧光显微镜；用于增强荧光图像的荧光图像处理装置，其中荧光图像处理装置是根据本发明的第一方面的荧光图像处理装置；以及用于显示经增强的荧光图像的显示单元。
在本发明的第三方面中，提供了一种用于增强荧光图像的荧光图像处理方法。荧光图像处理方法包括将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；测量荧光图像中的背景信号；响应于背景信号的测量而降低一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及增强一个或多个感兴趣的区域而非一个或多个背景区域。
在本发明的第四方面中，提供了一种荧光成像方法，包括获取荧光图像；根据本发明的第三方面的荧光图像处理方法处理荧光图像；以及显示经增强的荧光图像。
在本发明的第五方面中，提供了一种用于增强荧光图像的荧光图像处理计算机程序。荧光图像处理计算机程序包括程序代码构件，所述程序代码构件用于在荧光图像处理计算机程序运行于控制荧光图像处理装置的计算机上时使荧光图像处理装置实施荧光图像处理方法的步骤。
在本发明的第六方面中，提供了一种荧光成像计算机程序，荧光成像计算机程序包括程序代码构件，所述程序代码构件用于在荧光成像计算机程序运行于控制荧光成像系统的计算机上时使荧光成像系统实施荧光成像方法的步骤。
应当理解的是，权利要求1的荧光图像处理装置、权利要求11的荧光成像系统、权利要求12的荧光图像处理方法、权利要求13的荧光成像方法、权利要求14的荧光图像处理计算机程序和权利要求15的荧光成像计算机程序具有如从属权利要求中限定的类似和/或等同的优选实施例。
应当理解的是，本发明的优选实施例还可以是从属权利要求或以上实施例与相应独立权利要求的任何组合。
本发明的这些和其它方面将从以下描述的实施例显现并且将参照这些实施例进行阐述。
附图说明
在以下附图中：
图1示意性且示例性地示出荧光图像处理装置，
图2示意性且示例性地示出具有可选存储单元的荧光图像处理装置，
图3示意性且示例性地示出具有可选传送和接收单元的荧光图像处理装置，
图4示意性且示例性地示出荧光成像系统，
图5示意性且示例性地示出荧光图像处理方法，
图6示意性且示例性地示出荧光成像方法，
图7示意性且示例性地示出典型的荧光图像，
图8示意性且示例性地示出全局增强的效果，
图9示意性且示例性地示出图7的荧光图像的分段图，
图10示意性且示例性地示出依照本发明的实施例的图像分段之后的背景抑制和局部增强的效果，以及
图11A和11B分别示意性且示例性地示出仅局部增强和仅背景抑制的效果。
具体实施方式
图1示意性且示例性地示出用于增强荧光图像的荧光图像处理装置100的实施例。荧光图像处理装置100包括图像分段单元110，其适配成将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；背景确定单元120，其适配成测量荧光图像中的背景信号；背景降低单元130，其适配成响应于背景信号的测量而降低一个或多个背景区域而非一个或多个感兴趣的区域中的背景信号；以及图像增强单元140，其适配成增强一个或多个感兴趣的区域而非一个或多个背景区域。可选地，还可以存在背景确定单元120与图像增强单元140之间的链路。换言之，测量噪声量，并且该量可以用作控制感兴趣的对象的增强的输入参数。
本发明的关键想法涉及首先对单个图像分段（基于单个图像），然后基于分段测量背景信号，然后基于所测量的背景信号抑制（或降低）背景信号，并且最终增强对象信号。要指出的是，背景测量和抑制以及增强对象信号的次序可以互换，使得在图像分段之后，在测量和抑制背景信号之前首先增强对象信号。另外，可以与对象信号增强并行地实施背景测量和抑制。本发明因而提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
在图1中，荧光图像处理装置100还包括适配用于接收荧光图像的（可选）输入100a和适配用于输出经增强的荧光图像的（可选）输出100b。通过提供适配用于接收荧光图像的输入，荧光图像处理装置可以以直接的方式与常见荧光显微镜一起使用而不必修改显微镜。另外，通过提供适配用于输出经增强的荧光图像的输出，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要被更新以与本发明的荧光图像处理装置一起使用。
图2示意性且示例性地示出具有可选存储单元210,220的荧光图像处理装置100的实施例。图像存储单元210适配用于存储荧光图像。可选地，在随后的处理步骤中，存储在图像存储单元210中的荧光图像可以用作对图像分段单元110的输入信号。由此，质量改进算法可以应用于所存储的荧光图像。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。背景存储单元220适配用于存储来自背景确定单元120的所测量的背景信号。可选地，在随后的处理步骤中，存储在背景存储单元220中的背景信号可以用作对背景降低单元130的输入信号。由此，质量改进算法可以应用于所存储的背景信号。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
通过提供用于存储荧光图像的图像存储单元，荧光图像处理装置提供在稍后阶段重复对比度增强过程的可能性。以类似方式，荧光图像处理装置提供针对图像分段、背景确定、背景抑制和/或对象图像增强的相应不同选择而实施对比度增强的可能性。
通过提供适配用于存储所测量的背景信号的背景存储单元，荧光图像处理装置提供针对所确定的背景信号测试各种背景减除方法的可能性。优选地，将各种背景减除方法的最终结果彼此比较。优选地，基于比较的结果来选择一个背景减除方法。
图3示意性且示例性地示出具有可选传送和接收单元320,310的荧光图像处理装置100的实施例。接收单元310适配用于从荧光显微镜接收所获取的荧光图像。传送单元320适配用于向显示单元传送经增强的荧光图像。
通过提供用于向显示单元传送经增强的荧光图像的传送单元，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，传送单元适配用于以无线方式传送经增强的荧光图像，诸如例如通过WLAN网络。优选地，传送单元是天线。然后，荧光图像处理装置甚至不必物理耦合到显示单元。事实上，荧光图像处理装置可以在与显示单元不同的另一房间中、另一建筑物中或甚至另一城市中。这使得荧光显微学专家可能从远程监视荧光图像处理装置，并且因而增强本发明的灵活性。
通过提供用于从荧光显微镜接收所获取的荧光图像的接收单元，荧光图像处理装置可以与常见荧光显微镜一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，接收单元适配用于以无线方式接收所获取的荧光图像，诸如例如通过WLAN网络。优选地，接收单元是天线。然后，荧光图像处理装置甚至不必物理耦合到荧光显微镜。事实上，荧光图像处理装置可以在与荧光显微镜不同的另一房间中、另一建筑物中或甚至另一城市中。这使得可能从远程利用特定荧光显微镜训练荧光图像处理装置，诸如例如当荧光图像处理装置仍旧在工厂时。
图4示意性且示例性地示出荧光成像系统400的实施例。荧光成像系统400包括适配用于获取荧光图像的荧光显微镜410；用于增强荧光图像的荧光图像处理装置100；以及用于显示经增强的荧光图像的显示单元420。要指出的是，该方案还可以用作用于图像分析工具的预处理步骤，诸如例如用于FISH（荧光原位杂交）分析的预处理步骤。
图5示意性且示例性地示出用于增强荧光图像的荧光图像处理方法500的实施例。荧光图像处理方法500包括将荧光图像分段510成一个或多个感兴趣的区域和一个或多个背景区域；测量520荧光图像中的背景信号；响应于背景信号的测量而降低530一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及增强540一个或多个感兴趣的区域而非一个或多个背景区域。
图6示意性且示例性地示出荧光成像方法600的实施例。荧光成像方法600包括获取610荧光图像；根据荧光图像处理方法500处理荧光图像；以及显示620经增强的荧光图像。
荧光显微镜是取代于或附加于反射和吸收而使用荧光和磷光以研究有机或无机物质的性质的光学显微镜。样品利用（一个或多个）特定波长的光来光照，所述光被荧光团（在光激发时能够再发射光的荧光化学化合物）吸收，使它们发射更长波长（即与所吸收的光不同颜色）的光。为了使样本适合于荧光显微镜，其必须是荧光的。存在创建荧光样本的若干方法；主要的技术是利用荧光染色剂来标记，或者在生物样本的情况下，荧光蛋白的表达。在生命科学中，荧光显微镜是强大的工具，其允许样品的特定和敏感染色以便检测蛋白质或其它感兴趣的分子的分布。由于背景保持未被染色，因此典型的荧光图像是暗的，其中数个区域发亮，如图7中所示。
目前，染色过程主要针对视觉分析来进行优化。整个过程聚焦于背景与感兴趣的区域之间的对比度。信噪比（SNR）应当足够大以通过人类操作者得到快速且迅速的解释。
通过数字病理学的引入，使用图像分析工具的辅助成为可能。为了实现高吞吐量，需要低扫描和染色时间。对于以等于40x放大物镜的分辨率和0.75 NA的具有15x15mm²扫描区域的一个玻璃载玻片，典型的扫描时间为近似60秒。这是常规（亮场）显微镜的情况。该趋势还适用于荧光显微镜，其将在不久的将来越来越多地应用。较低扫描和染色时间将导致明显较低的SNR。尽管这对于图像分析工具而言仍旧是可接受的，但是要求特殊增强以实现针对人类操作者的舒适对比度。这在人类操作员（仍旧）负责时是所需要的。
人眼对暗区域中的小光照差异不是非常敏感。标准（全局）图像增强技术将不起作用（如可以在图8中看到的），因为这些技术不针对特定内容。为了得到描述标准全局图像增强技术的参考文献，参见例如Gonzalez，Woods，Digital Image Processing： International Edition，第三版，Pearson，2008，ISBN-13: 9780132345637。通过此，还将增强背景信号中的噪声，这是应当避免的。
然而，通过使用图像分析，可以增强或降低图像中的特定区域。通过创建针对感兴趣的区域的分段图，并且通过增强感兴趣的区域并且降低背景信号，可以增强背景与感兴趣的区域之间的对比度。然后，所测量的SNR可以明显更小。通过此，更小的染色和扫描时间是可能的。
全局噪声降低技术典型地向整个图像应用低通滤波器，使得也平滑感兴趣的区域。
比如边缘存留滤波那样的局部噪声降低技术尝试降低信号中的噪声，而同时存留相关边缘。（为了得到描述边缘存留滤波的参考文献，参见例如Gonzalez，Woods，Digital Image Processing：International Edition，第三版，Pearson，2008，ISBN-13:9780132345637中关于自适应滤波器的章节5.3.3）。通过此，还将平滑感兴趣的区域（例如荧光点）内的小差异。另外，问题是如何确定正确的阈值以区分相关边缘（即感兴趣的区域的边界）和由背景信号中的噪声导致的边缘。
本发明通过首先创建分段来解决该问题。这可以是适用的，例如不仅看向边缘，而且使用关于内容的知识来寻找感兴趣的区域。接着，测量背景信号。接着，该所测量的噪声级用于尽可能多地抑制背景噪声。另外，提升经分段的感兴趣的区域以进一步增加对比度水平。
比如非局部均值（基于图像中的所有像素的非局部平均的图像去噪过程）那样的局部噪声降低技术基于局部斑块和斑块集合之间的类似性程度对像素进行滤波。再次，不使用关于内容（例如荧光点）的特定知识，使得还将平滑感兴趣的区域内的小差异。
提出以下步骤：
1. 背景和感兴趣的区域分段（还可能使用机器学习或双边滤波）
2. 测量背景信号
3. 降低/抑制背景信号
4. 增强感兴趣的区域。
步骤三和四的次序可以互换。另外，感兴趣的区域与背景之间的边界可以通过若干方法来确定。首先，可以基于背景强度水平确定局部阈值。其次，可以使用基于感兴趣的区域的强度生成的种子来应用区生长。
在第一步骤中，要求背景与感兴趣的区域之间的分段。图像分段涉及将数字图像划分成多个段。作为动态阈值处理的技术是适用的，其对于抵挡背景信号中的局部差异是鲁棒的。此外或可替换地，可以应用基于（局部）直方图的方法。分段的示例在图9中示出。动态阈值处理和基于（局部）直方图的方法是标准技术，其对（数字病理学）图像处理应用的开发者是已知的。在第二步骤中，测量背景信号。简单方案是创建背景信号的经平滑的直方图，以便确定背景信号中的噪声量。该措施然后用于控制背景信号中的信号降低和感兴趣的区域的增强的量。
在第三步骤中，将噪声降低技术（例如平滑、修剪）应用于背景。如本文以上所解释的，本发明提出不是将噪声降低应用于整个图像（全局噪声降低），而是仅应用于“非感兴趣”区域（诸如例如没有荧光点的区域）。特别地，向整个图像应用噪声降低还将降低感兴趣的信号（即荧光点）并且这恰恰是本发明力图避免的。因此，本发明提出首先对图像进行分段并且仅抑制背景信号。另外，要指出的是，在仅选择背景的情况下，测量背景信号更加精确。
在第四步骤中，将增强技术（例如提升、峰值化）应用于感兴趣的区域。
图10示出根据本发明的优选实施例的输出的示例。特别地，图10示出背景降低和感兴趣的区域增强的组合效果。如可以看到的，降低背景信号，而同时改进对比度。另外，仍旧存留并且甚至增强相关区域的精细细节。使用经平滑的直方图来确定背景信号。通过此，该方法对一些局部背景波动是鲁棒的。参照图11A和11B，论证了组合地使用背景降低和感兴趣的区域增强的优点。即，图11A示出根据实施例的输出的示例，其中仅应用感兴趣的区域增强而不应用背景降低，而图11B示出根据实施例的输出的示例，其中仅应用背景降低而不应用感兴趣的区域增强。
本发明的示例应用是在分子病理学和数字病理学中。
尽管在以上描述的实施例中，荧光图像处理装置包括并联耦合到图像增强单元的背景确定单元和背景降低单元，但是这些实施例仅仅是优选实施例，并且在另一实施例中，背景确定单元、背景降低单元和图像增强单元可以串联耦合。
本领域技术人员在实践所要求保护的发明时，通过研究附图、公开内容和随附权利要求，可以理解和实现对所公开的实施例的其它变形。
在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。
单个单元或设备可以履行权利要求中叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实不指示这些措施的组合不能用于获益。
由一个或若干单元或设备执行的比如背景确定等的确定可以由任何其它数目的单元或设备执行。例如，荧光图像中的背景信号的确定可以由单个单元或者由任何其它数目的不同单元执行。依照以上描述的荧光图像处理方法的荧光图像处理装置的确定和/或控制可以实现为计算机程序的程序代码构件和/或专用硬件。
计算机程序可以存储/分布在合适的介质上，诸如光学存储介质或固态介质，其与其它硬件一起供给或者作为其它硬件的部分，但是还可以以其它形式分布，诸如经由因特网或其它有线或无线电信系统。
权利要求中的任何参考标记不应当解释为限制范围。
本发明涉及用于增强荧光图像的荧光图像处理装置。荧光图像处理装置包括图像分段单元、背景确定单元、背景降低单元和图像增强单元。提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
Claims (15)
1.一种用于增强荧光图像的荧光图像处理装置（100），荧光图像处理装置（100）包括：
图像分段单元（110），其适配成将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；
背景确定单元（120），其适配成测量荧光图像中的背景信号；
背景降低单元（130），其适配成响应于背景信号的测量而降低一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及
图像增强单元（140），其适配成增强一个或多个感兴趣的区域而非一个或多个背景区域。
2.根据权利要求1所述的荧光图像处理装置（100），其中荧光图像处理装置（100）还包括：
适配用于接收荧光图像的输入（100a）；以及
适配用于输出经增强的荧光图像的输出（100b）。
3.根据权利要求1所述的荧光图像处理装置（100），其中荧光图像处理装置（100）还包括适配用于存储荧光图像的图像存储单元（210）。
4.根据权利要求1所述的荧光图像处理装置（100），其中荧光图像处理装置（100）还包括适配用于存储所测量的背景信号的背景存储单元（220）。
5.根据权利要求1所述的荧光图像处理装置（100），其中荧光图像处理装置（100）还包括用于向显示单元传送经增强的荧光图像的传送单元（320）。
6.根据权利要求1所述的荧光图像处理装置（100），其中荧光图像处理装置（100）还包括用于从荧光显微镜接收所获取的荧光图像的接收单元（310）。
7.根据权利要求1所述的荧光图像处理装置（100），其中图像分段单元（110）适配成通过应用动态阈值处理和/或通过应用基于局部直方图的方法来对荧光图像分段。
8.根据权利要求1所述的荧光图像处理装置（100），其中背景确定单元（120）适配成从荧光图像创建平滑直方图。
9.根据权利要求1所述的荧光图像处理装置（100），其中背景降低单元（130）适配成通过平滑一个或多个背景区域和/或通过修剪一个或多个背景区域来降低背景信号。
10.根据权利要求1所述的荧光图像处理装置（100），其中图像增强单元（140）适配成通过提升一个或多个感兴趣的区域和/或通过峰值化一个或多个感兴趣的区域来增强。
11.一种荧光成像系统（400），包括：
适配用于获取荧光图像的荧光显微镜（410）；
用于增强荧光图像的荧光图像处理装置（100），其中荧光图像处理装置（100）是如权利要求1中限定的荧光图像处理装置（100）；以及
用于显示经增强的荧光图像的显示单元（420）。
12.一种用于增强荧光图像的荧光图像处理方法（500），荧光图像处理方法（500）包括：
将荧光图像分段（510）成一个或多个感兴趣的区域和一个或多个背景区域；
测量（520）荧光图像中的背景信号；
响应于背景信号的测量而降低（530）一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及
增强（540）一个或多个感兴趣的区域而非一个或多个背景区域。
13.一种荧光成像方法（600），包括：
获取（610）荧光图像；
根据权利要求12的荧光图像处理方法（500）处理（500）荧光图像；以及
显示（620）经增强的荧光图像。
14.一种计算机存储介质，存储用于增强荧光图像的荧光图像处理计算机程序，荧光图像处理计算机程序包括程序代码构件，所述程序代码构件用于在荧光图像处理计算机程序运行于控制荧光图像处理装置（100）的计算机上时使如权利要求1中限定的荧光图像处理装置（100）实施如权利要求12中限定的荧光图像处理方法（500）的步骤。
15.一种计算机存储介质，存储荧光成像计算机程序，荧光成像计算机程序包括程序代码构件，所述程序代码构件用于在荧光成像计算机程序运行于控制荧光成像系统（400）的计算机上时使如权利要求11中限定的荧光成像系统（400）实施如权利要求13中限定的荧光成像方法的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13195598 | 2013-12-04 | ||
| EP13195598.1 | 2013-12-04 | ||
| PCT/EP2014/075931 WO2015082340A1 (en) | 2013-12-04 | 2014-11-28 | Fluorescence image processing apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105765625A CN105765625A (zh) | 2016-07-13 |
| CN105765625B true CN105765625B (zh) | 2019-06-04 |
Family
ID=49712981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480066273.4A Active CN105765625B (zh) | 2013-12-04 | 2014-11-28 | 荧光图像处理装置和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9672629B2 (zh) |
| EP (1) | EP3077987B1 (zh) |
| JP (1) | JP6113925B2 (zh) |
| CN (1) | CN105765625B (zh) |
| WO (1) | WO2015082340A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7063680B2 (ja) * | 2018-03-29 | 2022-05-09 | 住友化学株式会社 | 画像処理装置、異物検査装置、画像処理方法、および異物検査方法 |
| CN109949238B (zh) * | 2019-03-07 | 2022-11-25 | 北京麦哲科技有限公司 | 图像的磨白优化方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1336760A (zh) * | 2000-06-23 | 2002-02-20 | 汤姆森许可公司 | 图像增强的动态控制 |
| CN1475969A (zh) * | 2002-05-31 | 2004-02-18 | ��˹���´﹫˾ | 用于增强人像图像的方法和系统 |
| CN101989351A (zh) * | 2010-11-16 | 2011-03-23 | 西安理工大学 | 一种肺部疑似结节图像增强方向尺度滤波方法 |
| CN102436648A (zh) * | 2011-08-11 | 2012-05-02 | 上海交通大学 | 基于背景荧光消除的目标荧光光谱解混方法 |
| JP2012163777A (ja) * | 2011-02-07 | 2012-08-30 | Nikon Corp | 画像処理装置、撮像装置およびプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020186874A1 (en) | 1994-09-07 | 2002-12-12 | Jeffrey H. Price | Method and means for image segmentation in fluorescence scanning cytometry |
| US5790692A (en) | 1994-09-07 | 1998-08-04 | Jeffrey H. Price | Method and means of least squares designed filters for image segmentation in scanning cytometry |
| DE19801400C2 (de) | 1998-01-16 | 2001-10-18 | Petra Perner | Verfahren zur automatischen Erkennung, Eigenschaftsbeschreibung und Interpretation von Hep-2-Zellmustern |
| US7756305B2 (en) | 2002-01-23 | 2010-07-13 | The Regents Of The University Of California | Fast 3D cytometry for information in tissue engineering |
| US20060149479A1 (en) | 2004-12-30 | 2006-07-06 | Art, Advanced Research Technologies Inc. | Method for improving fluorescence image contrast |
| US8086006B2 (en) | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
| US8712139B2 (en) * | 2008-03-21 | 2014-04-29 | General Electric Company | Methods and systems for automated segmentation of dense cell populations |
| US8605973B2 (en) * | 2012-03-17 | 2013-12-10 | Sony Corporation | Graph cuts-based interactive segmentation of teeth in 3-D CT volumetric data |
-
2014
- 2014-11-28 EP EP14803161.0A patent/EP3077987B1/en active Active
- 2014-11-28 WO PCT/EP2014/075931 patent/WO2015082340A1/en active Application Filing
- 2014-11-28 CN CN201480066273.4A patent/CN105765625B/zh active Active
- 2014-11-28 JP JP2016529949A patent/JP6113925B2/ja active Active
- 2014-11-28 US US15/100,773 patent/US9672629B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1336760A (zh) * | 2000-06-23 | 2002-02-20 | 汤姆森许可公司 | 图像增强的动态控制 |
| CN1475969A (zh) * | 2002-05-31 | 2004-02-18 | ��˹���´﹫˾ | 用于增强人像图像的方法和系统 |
| CN101989351A (zh) * | 2010-11-16 | 2011-03-23 | 西安理工大学 | 一种肺部疑似结节图像增强方向尺度滤波方法 |
| JP2012163777A (ja) * | 2011-02-07 | 2012-08-30 | Nikon Corp | 画像処理装置、撮像装置およびプログラム |
| CN102436648A (zh) * | 2011-08-11 | 2012-05-02 | 上海交通大学 | 基于背景荧光消除的目标荧光光谱解混方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9672629B2 (en) | 2017-06-06 |
| CN105765625A (zh) | 2016-07-13 |
| WO2015082340A1 (en) | 2015-06-11 |
| JP2016538542A (ja) | 2016-12-08 |
| EP3077987B1 (en) | 2017-07-05 |
| US20160314594A1 (en) | 2016-10-27 |
| EP3077987A1 (en) | 2016-10-12 |
| JP6113925B2 (ja) | 2017-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7496389B2 (ja) | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 | |
| JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
| US11232354B2 (en) | Histopathological image analysis | |
| JP6086949B2 (ja) | 色原体分離に基づく画像解析の方法 | |
| US8909508B2 (en) | Petrographic image analysis for determining capillary pressure in porous media | |
| JP2024038396A (ja) | 画像解析方法、画像解析装置、およびプログラム | |
| US20080253642A1 (en) | Method of Processing an Image | |
| WO2013164103A1 (en) | Method and apparatus for single-particle localization using wavelet analysis | |
| Goceri et al. | Quantitative validation of anti‐PTBP1 antibody for diagnostic neuropathology use: Image analysis approach | |
| Eldaly et al. | Deconvolution and restoration of optical endomicroscopy images | |
| CN111656393A (zh) | 组织学图像分析 | |
| CN105765625B (zh) | 荧光图像处理装置和方法 | |
| Marcelino et al. | An evaluation of 2D‐image analysis techniques for measuring soil microporosity | |
| US11830622B2 (en) | Processing multimodal images of tissue for medical evaluation | |
| Schumacher et al. | THUNDER imagers: how do they really work | |
| Neuman et al. | Equalisation of archival microscopic images from immunohistochemically stained tissue sections | |
| LEE et al. | Intensity correction of fluorescent confocal laser scanning microscope images by mean‐weight filtering | |
| Silberberg et al. | pawFLIM: reducing bias and uncertainty to enable lower photon count in FLIM experiments | |
| Longfils et al. | Single particle raster image analysis of diffusion | |
| Wright et al. | mtFRC: depth-dependent resolution quantification of image features in 3D fluorescence microscopy | |
| WO2021070372A1 (ja) | 細胞画像解析方法及び細胞解析装置 | |
| CN117236462A (zh) | 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统 | |
| Romanowska-Pawliczek et al. | A novel 3D histogram equalization algorithm for stacks of confocal microscope images | |
| Pölönen et al. | Automatic intensity quantification of fluorescence targets from microscope images with maximum likelihood estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |