CN112799224B - 用于生成输出图像数据的系统和方法以及显微镜 - Google Patents

用于生成输出图像数据的系统和方法以及显微镜 Download PDF

Info

Publication number
CN112799224B
CN112799224B CN202011266633.9A CN202011266633A CN112799224B CN 112799224 B CN112799224 B CN 112799224B CN 202011266633 A CN202011266633 A CN 202011266633A CN 112799224 B CN112799224 B CN 112799224B
Authority
CN
China
Prior art keywords
image data
image
color space
linear color
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011266633.9A
Other languages
English (en)
Other versions
CN112799224A (zh
Inventor
塔萨·克里希南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN112799224A publication Critical patent/CN112799224A/zh
Application granted granted Critical
Publication of CN112799224B publication Critical patent/CN112799224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种系统，包括一个或多个处理器和一个或多个存储设备。所述系统配置为从第一图像传感器接收对象的第一图像的第一图像数据，以及从第二图像传感器接收对象的荧光图像的第二图像数据。此外，所述系统配置为处理第一图像数据和第二图像数据，并基于经处理的第一图像数据和经处理的第二图像数据，在线性颜色空间中生成对象的输出图像的组合图像数据。额外地，所述系统配置为将组合图像数据转换为输出图像的非线性颜色空间表示。

Description

用于生成输出图像数据的系统和方法以及显微镜
技术领域
本发明涉及基于包括荧光图像的图像数据的至少两个图像传感器输出的输出图像数据的生成。
背景技术
荧光图像通常需要重叠到另一个图像上，以定位荧光区域。例如，可以将有机组织的荧光图像重叠在有机组织的白光图像上，以便能够识别有机组织的荧光部分。当为用户显示时，重叠图像的对比度和/或亮度、和/或荧光部分的可见性有时较低。
发明内容
因此，需要一种用于生成图像的图像数据的改进的概念，使得当为用户显示时，改善了重叠图像的对比度和/或亮度、和/或荧光部分的可见性。
实施例涉及一种系统，包括一个或多个处理器以及一个或多个存储设备。所述系统配置为从第一图像传感器接收对象的第一图像的第一图像数据，以及从第二图像传感器接收对象的荧光图像的第二图像数据。此外，所述系统配置为处理第一图像数据和第二图像数据，并基于经处理的第一图像数据和经处理的第二图像数据，在线性颜色空间中生成对象的输出图像的组合图像数据。额外地，所述系统配置为将组合图像数据转换为输出图像的非线性颜色空间表示。
另一实施例涉及一种用于生成输出图像数据的方法。所述方法包括：从第一图像传感器接收对象的第一图像的第一图像数据，以及从第二图像传感器接收对象的荧光图像的第二图像数据。此外，所述方法包括处理第一图像数据和第二图像数据，以及基于经处理的第一图像数据和经处理的第二图像数据，在线性颜色空间中生成对象的输出图像的组合图像数据。额外地，所述方法包括将组合图像数据转换为输出图像的非线性颜色空间表示。
附图说明
将在下面仅通过示例的方式并参考附图描述装置和/或方法的一些示例，其中
图1是用于生成输出图像数据的系统的示意图；
图2是将线性RGB与sRGB进行比较的图；
图3是指示白光图像的像素值相对于照度计值的图；
图4是指示白光图像的线性像素值相对于照度计值的图；
图5是指示荧光图像的线性像素值相对于照度计值的图；
图6是由以sRGB格式的图像传感器提供的图像数据的处理的示意图；
图7是用于生成输出图像数据的系统的示意图；以及
图8是用于生成输出图像数据的方法的流程图。
附图标记列表
100 用于生成输出图像数据的系统
102 第一图像数据
104 第二图像数据
110 一个或多个处理器
120 一个或多个存储设备
210 sRGB
220 RGB
700 系统
710 显微镜
720 计算机系统
800 用于生成输出图像数据的方法
810 接收第一图像数据
820 接收第二图像数据
830 处理第一图像数据和第二图像数据
840 生成组合图像数据
850 转换组合图像数据
具体实施方式
现在将参考图示一些示例的附图更全面地描述各种示例。
图1示出用于生成输出图像数据的系统。系统100包括一个或多个处理器110和一个或多个存储设备120。系统100配置为从第一图像传感器接收对象的第一图像的第一图像数据102，以及从第二图像传感器接收对象的荧光图像的第二图像数据104。此外，系统100配置为处理第一图像数据102和第二图像数据104，并基于经处理的第一图像数据和经处理的第二图像数据，在线性颜色空间中生成对象的输出图像的组合图像数据。额外地，系统100配置为将组合图像数据转换为输出图像的非线性颜色空间表示。
通过将第一图像与荧光图像重叠，可以使得能够识别对象上的荧光部分的位置。通过将组合图像转换为非线性颜色空间表示，可以改善组合图像的整体可视化。此外，通过所述转换，可以改善第一图像(例如白光图像)的颜色再现。此外，通过所述转换，可以在更大范围的设置(例如，用于获取荧光图像的设置)上改善荧光可视化。
所述对象可以是有机组织(例如脑组织)，或包括可以被刺激发射荧光的部分的其他对象。
第一图像数据102可以是通过用白光照射对象导致的白光图像的图像数据，或者是通过用特定光谱的可见光照射导致的图像的图像数据。第一图像数据102可包括针对图像的每个颜色维度(例如，针对RGB表示的三个颜色维度)的第一图像的每个像素的像素值。第一图像可以是对象的白光图像和/或可见光图像。
第一图像传感器可以在可见光的波长范围内具有至少一个最大灵敏度。例如，第一图像传感器在575nm和650nm之间的波长(例如，针对红光的像素)处具有最大灵敏度，在500nm和550nm之间的波长(例如，针对绿光的像素)处具有最大灵敏度，和/或在440nm和480nm之间的波长(例如，针对蓝光的像素)处具有最大灵敏度。第一图像传感器可以是可见光图像传感器(例如，拜耳传感器)。第一图像传感器可以是可见光相机(例如，拜耳相机)的一部分。第一图像传感器可以是连接至系统100或系统100的一部分的外部组件。第一图像传感器可以是显微镜的第一相机的一部分。
第二图像数据104是例如由对象的荧光部分发射的光导致的荧光图像(第二图像)的图像数据。通过用来自刺激光源的刺激光照射对象，可以导致由对象的荧光部分进行的荧光发射。例如，刺激光可以在600nm和800nm之间(或在650nm和750nm之间)的波长范围内具有最大强度。第二图像数据104可以包括荧光图像的每个像素的像素值。从荧光图像传感器获取的最终值可以是每个像素的单个荧光值。
第二图像传感器可以在至少800nm(或至少820nm)和/或至多900nm(或至多880nm)的波长处具有最大灵敏度。第二图像传感器可以是红外光图像传感器。第二图像传感器可以是连接至系统100或系统100的一部分的外部组件。第二图像传感器可以是显微镜的第二相机的一部分。
第一图像数据102可以由第一图像传感器生成，并且提供给系统100以进行处理。第一图像数据102可以具有线性颜色空间表示(例如，线性RGB格式)或具有非线性颜色空间表示(例如，sRGB格式；标准RGB格式)。换句话说，第一图像数据102可以是第一图像的线性颜色空间图像数据或第一图像的非线性颜色空间图像数据。
如果第一图像数据102是线性颜色空间图像数据，则可以在不进行格式转换的情况下处理第一图像数据102，因为图像处理可以在线性颜色空间中进行。例如，第一图像数据102的处理包括去马赛克(例如，解拜耳(debayering))和/或渐晕补偿。对第一图像数据102进行解拜耳可以将拜耳图案像素信息转换为每个像素的R(红色)、G(绿色)和B(蓝色)值。渐晕补偿可以补偿图像上的不均匀照射。
如果第一图像数据102是非线性颜色空间图像数据，则可以通过将第一图像数据102转换为线性颜色空间表示(例如，线性RGB格式)来处理第一图像数据102。例如，第一图像数据102的处理可以包括，在进一步处理第一图像的线性颜色空间图像数据之前，将第一图像的非线性颜色空间图像数据转换为第一图像的线性颜色空间图像数据。例如，第一图像的线性颜色空间图像数据的进一步处理包括去马赛克(例如解拜耳)和/或渐晕补偿。
例如，第一图像的线性颜色空间图像数据可以通过以下方式确定：
ClinRGB＝Cl*Cmax (3)
CsRGB是第一图像数据的像素值，Cmax是第一图像数据的最大可能像素值，Cn是基于第一图像的非线性颜色空间图像数据的归一化像素值，C1是第一图像的线性颜色空间表示的归一化像素值，以及ClinRGB是第一图像的线性颜色空间图像数据的像素值。C表示R、G或B的元素。
等式1可用于将第一图像数据102的像素值映射到等式(2)的输入值范围(例如0至1)。等式3可用于将由等式(2)提供的像素值映射到由图像数据的进一步处理所使用的输入值范围(例如0至1)。如果等式(2)已经可以处理第一图像数据102的值范围和/或进一步处理已经可以处理由等式(2)输出的值范围，则可以跳过等式1和/或3。在该情况下，C1可以已经是第一图像的线性颜色空间图像数据的像素值，和/或可以基于等式2获得第一图像的线性颜色空间图像数据，而无需在应用等式2之前对像素值进行归一化。例如，等式(1)-(3)可用于将sRGB转换为线性RGB。
第二图像数据104可以由第二图像传感器生成，并且提供给系统100以进行处理。第二图像数据104可以具有线性颜色空间表示(例如，线性RGB格式)或具有非线性颜色空间表示(例如，sRGB；标准RGB格式)。换句话说，第二图像数据104可以是荧光图像的线性颜色空间图像数据或荧光图像的非线性颜色空间图像数据。
如果第二图像数据104是线性颜色空间图像数据，则可以在不进行格式转换的情况下处理第二图像数据104，因为图像处理可以在线性颜色空间中进行。例如，第二图像数据104的处理包括去马赛克(例如，解拜耳)、渐晕补偿和/或伪彩色自适应。伪彩色自适应可以根据荧光像素的强度将用户选择的或预设的人工颜色添加到荧光像素。
如果第二图像数据104是非线性颜色空间图像数据，则可以通过将第二图像数据104转换为线性颜色空间表示(例如，线性RGB格式)来处理第二图像数据104，如结合第一图像数据102所描述的(例如，等式1-3)。之后，第二图像数据104的进一步处理可以包括去马赛克(例如，解拜耳)、渐晕补偿和/或伪彩色自适应。
可以通过将经处理的第一图像数据和经处理的第二图像数据的像素值或加权像素值相加，来生成输出图像的组合图像数据。例如，可以在转换(如果需要)、去马赛克和/或渐晕补偿之后获得经处理的第一图像数据。例如，可以在转换(如果需要)、去马赛克、渐晕补偿和/或伪彩色自适应之后获得经处理的第二图像数据。输出图像可以是第一图像和荧光图像的组合或重叠。
组合图像数据可以是线性颜色空间图像数据。例如，为了提供与显示器期望或支持的输入格式相匹配的输出格式，将组合图像数据转换为输出图像的非线性颜色空间表示。非线性颜色空间表示可以是sRGB格式，也可以是用于显示输出图像的显示器所支持的其他格式。例如，组合图像数据可以转换为非线性颜色空间图像输出格式。非线性颜色空间图像输出格式(例如，sRGB格式)可以对应于用于显示输出图像的显示器的显示输入格式。输出图像的非线性颜色空间表示可以是由系统100生成的输出图像数据。可以在系统100的用于显示器的输出接口处提供输出图像的非线性颜色空间表示。
例如，输出图像的非线性颜色空间表示可以通过以下方式确定：
CsRGB＝Ct*Cmax (6)
Clinear是组合图像数据的像素值，Cmax是组合图像数据的最大可能像素值，Ck是基于输出图像的组合图像数据的归一化像素值，Ct是输出图像的非线性图像数据表示的归一化像素值，以及CsRGB是输出图像的非线性颜色空间表示的像素值。C表示R、G或B的元素。
等式4可用于将组合图像数据的像素值映射到等式(5)的输入值范围(例如0至1)。等式6可以用于将由等式(5)提供的像素值映射到输出图像的非线性颜色空间表示的输出值范围(例如0至1)。如果等式(5)已经可以处理组合图像数据的值范围和/或非线性颜色空间表示已经使用由等式(5)输出的值范围，则可以跳过等式4和/或6。在该情况下，Ct可以已经是输出图像的非线性颜色空间表示的像素值，和/或可以基于等式5获得组合图像数据，而无需在应用等式5之前对像素值进行归一化。例如，等式(4)-(6)可用于将线性RGB转换为sRGB。
线性颜色空间可以是这样的表示：其中，像素值增加特定数量(例如x+1(例如20+1))所导致的强度(例如亮度)的增加，与另一像素值增加相同的特定数量(例如y+1(例如30+1))所导致的强度(例如亮度)的增加相同。例如，如果图像数据的两个像素值之间的差与由图像传感器的两个对应像素检测到的光的强度之间的差成正比，则颜色空间可以是线性的。线性颜色空间可以是其中像素值变化与所感知的光强度的变化成正比的颜色空间。
结合所提出的概念和/或上面或下面描述的一个或多个示例，提及系统100的更多细节和方面。系统100可以包括与所提出的概念和/或上面或下面描述的一个或多个示例的一个或多个方面相对应的一个或多个额外可选特征。
例如，图2是将线性RGB 220与sRGB 210进行比较的图。此外，图3示出针对提供sRGB输出的图像传感器(例如，第一图像传感器)的不同照度计值(以任意单位)的白光图像的像素值的示例。该图示出所获取的像素值与光强度呈非线性关系。图4示出在线性化后(例如，通过使用等式2)的图3的像素值。图4示出线性化变换后的像素值与光强度具有线性关系。此外，图5示出提供线性RGB输出的荧光图像传感器(例如第二图像传感器)的不同照度计值(以任意单位)的荧光图像的像素值的示例。在本示例中，针对与图3和图4中相同的单个像素，从使用显微镜捕获的荧光图像中获取相对于对应的照度计值绘制的像素值。对于荧光图像的本示例，所获取的像素值与光强度具有线性关系。
在图3-5中所示的示例中，仅白光图像采集具有sRGB格式。荧光图像采集是线性的，并且在图像处理之前不需要线性化。
图6示出由相机以sRGB格式提供的图像数据的处理的示例。例如，第一图像传感器可以以sRGB格式提供所获取的第一图像的第一图像数据，它是非线性颜色空间表示。在步骤A中，通过转换为线性RGB格式(例如，通过使用等式1-3)来线性化第一图像数据。然后处理线性RGB图像数据(例如去马赛克和/或渐晕补偿)。图像处理算法可以仅在线性颜色空间中可用。在图像处理之后，可以将第一图像的经处理的线性RGB图像数据与荧光图像的线性RGB图像数据进行组合(例如，组合或重叠)。在步骤B中，将组合图像数据转换为sRGB。可以将组合图像的非线性sRGB图像数据发送到显示器(例如，显示器期望以sRGB格式的图像)。
一些实施例涉及用于更好的图像质量的图像处理管线的线性化。从显微镜的相机获取的白光图像可以是以sRGB格式。例如，sRGB是本质上为非线性、并且通常使用颜色空间表示图像的颜色空间。图2示出sRGB 210与线性RGB 220的光强度之间的关系的示意图。
根据一个方面，可以在对此类图像执行任何图像处理步骤之前将其转换到线性颜色空间。例如，将由相机获取的图像从sRGB转换为线性RGB，然后执行图像处理操作，并且然后在渲染之前将图像转换回sRGB。这可产生更好的图像质量和在屏幕上看到更灵敏的荧光图像。
例如，线性化可以由图6中的步骤A表示。图6示出图像处理管线中可能的线性化的示意图。在完成所有图像处理之后，恰恰在渲染之前(例如通过显示器)，可以将图像转换回sRGB格式，因为大多数显示器(例如，作为显微镜整体的一部分的监视器)都期望以sRGB格式的图像。该转换可以由图6中的步骤B表示。在这些转换中使用的非线性功率因数可以称为伽马(gamma)。例如，伽马值可以是2.2或显示器接受的其他值。步骤A可以通过停用图像传感器或相机的sRGB转换来实现。步骤B可以在完成所有处理之后并且在发送图像以进行渲染之前(例如在显示器处)，通过将步骤B的等式应用于图像来实现。
一些实施例涉及包括结合图1-6描述的系统的显微镜。此外，显微镜包括配置为生成第一图像数据的第一图像传感器和配置为生成第二图像数据的第二图像传感器。
结合所提出的概念和/或上面或下面描述的一个或多个示例来提及系统、第一图像传感器和第二图像传感器的更多细节和方面。显微镜可以包括与所提出的概念和/或上面或下面描述的一个或多个示例的一个或多个方面相对应的一个或多个附加可选特征。
一些实施例涉及一种显微镜，该显微镜包括结合图1至图6中的一个或多个图所描述的系统。可替代地，显微镜可以是结合图1至图6中的一个或多个图所描述的系统的一部分或连接至该系统。图7示出配置为执行本文描述的方法的系统700的示意图。系统700包括显微镜710和计算机系统720。显微镜710配置为拍摄图像并且连接至计算机系统720。计算机系统720配置为执行本文描述的方法的至少一部分。计算机系统720和显微镜710可以是单独的实体，但是也可以被集成在一起在一个共同的壳体中。计算机系统720可以是显微镜710的中央处理系统的一部分，和/或计算机系统720可以是显微镜710的子组件的一部分，诸如显微镜710的传感器、执行器、相机或照明单元等。
计算机系统720可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，具有分布在各个位置处(例如在本地客户端和/或一个或多个远程服务器场和/或数据中心处)的一个或多个处理器和一个或多个存储设备的云计算系统)。计算机系统720可以包括任何电路或电路的组合。在一个实施例中，计算机系统720可以包括可以是任何类型的一个或多个处理器。如本文所使用的，处理器可以指任何类型的计算电路，诸如但不限于例如显微镜或显微镜组件(例如相机)的微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、非常长的指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)或任何其它类型的处理器或处理电路。可以包括在计算机系统720中的其它类型的电路可以是定制电路、专用集成电路(ASlC)等，诸如例如，用于无线设备如移动电话、平板计算机、膝上型计算机、双向无线电和类似的电子系统的一个或多个电路(诸如通信电路)。计算机系统720可以包括一个或多个存储设备，该存储设备可以包括适合于特定应用的一个或多个存储器元件，诸如以随机存取存储器(RAM)形式的主存储器、一个或多个硬盘驱动器，和/或处理可移动媒体诸如光盘(CD)、闪存卡、数字视频磁盘(DVD)等的一个或多个驱动器。计算机系统720还可包括显示设备、一个或多个扬声器以及键盘和/或控制器，该键盘和/或控制器可包括鼠标、轨迹球、触摸屏、语音识别设备或允许系统用户向计算机系统720输入信息或从计算机系统720接收信息的任何其它设备。
图8示出用于生成输出图像数据的方法的流程图。方法800包括：从第一图像传感器接收810对象的第一图像的第一图像数据；以及从第二图像传感器接收820对象的荧光图像的第二图像数据。此外，方法800包括处理830第一图像数据和第二图像数据，并基于经处理的第一图像数据和经处理的第二图像数据，在线性颜色空间中生成840对象的输出图像的组合图像数据。额外地，方法800包括将组合图像数据转换850为输出图像的非线性颜色空间表示。
结合所提出的概念和/或上面或下面描述的一个或多个示例(例如，图1-7)，提及方法800的更多细节和方面。方法800可以包括与所提出的概念和/或上面或下面描述的一个或多个示例的一个或多个方面相对应的一个或多个附加可选特征。
方法步骤中的一些或全部可以通过(或使用)硬件装置(如例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，此类装置可以执行一些最重要的方法步骤中的一个或多个方法步骤。
取决于某些实现要求，本发明的实施例可以以硬件或软件来实现。可以使用如下非暂态存储介质执行该实现方式：诸如具有存储在其上的电子可读控制信号的数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器，该电子可读控制信号与可编程计算机系统协作(或能够合作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，使得执行本文描述的方法之一。
通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当所述计算机程序产品在计算机上运行时，所述程序代码可操作以执行所述方法之一。所述程序代码可以例如被存储在机器可读载体上。
其它实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
换句话说，因此，本发明的实施例是一种具有程序代码的计算机程序，用于当在计算机上运行所述计算机程序时执行本文描述的方法之一。
因此，本发明的进一步的实施例是一种存储介质(或数据载体，或计算机可读介质)，包括存储在其上的计算机程序，所述计算机程序用于在其由处理器执行时执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂态的。本发明的进一步的实施例是如本文所述的包括处理器和存储介质的装置。
因此，本发明的进一步的实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以配置为经由数据通信连接，例如经由互联网来传送。
进一步的实施例包括处理手段，例如计算机或可编程逻辑设备，配置为或适配为执行本文描述的方法之一。
进一步的实施例包括一种计算机，在所述计算机上安装有用于执行本文描述的方法之一的计算机程序。
根据本发明的进一步的实施例包括配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收机的装置或系统。接收机可以是例如计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将所述计算机程序传送到接收机的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常，该方法优选地由任何硬件装置执行。
如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合，并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面，但是很明显，这些方面也表示对对应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对对应装置的对应框或项目或特征的描述。

Claims (12)

1.一种系统（100），包括一个或多个处理器（110）和一个或多个存储设备（120），其中，所述系统（100）配置为：
从第一图像传感器接收对象的第一图像的第一图像数据（102）；
从第二图像传感器接收所述对象的荧光图像的第二图像数据（104）；
处理所述第一图像数据（102）和所述第二图像数据（104），以获得第一图像的线性颜色空间图像数据和荧光图像的线性颜色空间图像数据；
在线性颜色空间中对所述第一图像的线性颜色空间图像数据和所述荧光图像的线性颜色空间图像数据进行组合，以生成所述对象的输出图像的组合图像数据；以及
将所述组合图像数据转换为所述输出图像的非线性颜色空间表示，
其中，所述第一图像数据（102）是所述第一图像的非线性颜色空间图像数据，处理所述第一图像数据（102）包括在进一步处理所述第一图像的所述线性颜色空间图像数据之前，将所述第一图像的所述非线性颜色空间图像数据转换为所述第一图像的线性颜色空间图像数据。
2.根据权利要求1所述的系统，其中，所述第二图像数据（104）是所述荧光图像的线性颜色空间图像数据。
3.根据权利要求1所述的系统，其中，所述第一图像的所述线性颜色空间图像数据是基于以下获得的：
其中，Cn是基于所述第一图像的所述非线性颜色空间图像数据的归一化像素值，以及C1是线性颜色空间表示的归一化像素值。
4.根据权利要求1至3中任一项所述的系统，其中，处理所述第一图像数据（102）包括去马赛克或渐晕补偿中的至少一种。
5.根据权利要求1至3中任一项所述的系统，其中，处理所述第二图像数据（104）包括去马赛克、渐晕补偿或伪彩色自适应中的至少一种。
6.根据权利要求1至3中任一项所述的系统，其中，所述输出图像的所述非线性颜色空间表示是基于以下获得的：
其中，Ck是基于所述组合图像数据的归一化像素值，以及Ct是非线性图像数据表示的归一化像素值。
7.根据权利要求1至3中任一项所述的系统，其中，所述非线性颜色空间表示是sRGB格式。
8.根据权利要求1至3中任一项所述的系统，其中，所接收的第二图像数据（104）具有线性RGB格式。
9.根据权利要求1至3中任一项所述的系统，其中，所接收的第一图像数据（102）具有sRGB格式。
10.一种显微镜，包括：
根据前述权利要求中的一项所述的系统；
第一图像传感器，配置为生成所述第一图像数据（102）；以及
第二图像传感器，配置为生成所述第二图像数据（104）。
11.一种用于生成输出图像数据的方法（800），所述方法包括：
从第一图像传感器接收（810）对象的第一图像的第一图像数据；
从第二图像传感器接收（820）所述对象的荧光图像的第二图像数据；
处理（830）所述第一图像数据和所述第二图像数据，以获得第一图像的线性颜色空间图像数据和荧光图像的线性颜色空间图像数据；
在线性颜色空间中对所述第一图像的线性颜色空间图像数据和所述荧光图像的线性颜色空间图像数据进行组合，以生成（840）所述对象的输出图像的组合图像数据；以及
将所述组合图像数据转换（850）为所述输出图像的非线性颜色空间表示，
其中，所述第一图像数据是所述第一图像的非线性颜色空间图像数据，处理所述第一图像数据包括在进一步处理所述第一图像的所述线性颜色空间图像数据之前，将所述第一图像的所述非线性颜色空间图像数据转换为所述第一图像的线性颜色空间图像数据。
12.一种包括程序代码的计算机可读存储介质，所述程序代码用于在处理器上执行时执行根据权利要求11所述的方法。
CN202011266633.9A 2019-11-14 2020-11-13 用于生成输出图像数据的系统和方法以及显微镜 Active CN112799224B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019130785.6 2019-11-14
DE102019130785 2019-11-14

Publications (2)

Publication Number Publication Date
CN112799224A CN112799224A (zh) 2021-05-14
CN112799224B true CN112799224B (zh) 2023-10-27

Family

ID=73343880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011266633.9A Active CN112799224B (zh) 2019-11-14 2020-11-13 用于生成输出图像数据的系统和方法以及显微镜

Country Status (3)

Country Link
US (1) US11733503B2 (zh)
EP (1) EP3822909A1 (zh)
CN (1) CN112799224B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801976A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 视频处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054582A1 (en) * 2006-07-25 2010-03-04 Nikon Corporation Conversion Matrix Determining Method, Image Processing Device, Image Processing Program and Imaging Apparatus
CN102638688A (zh) * 2011-02-09 2012-08-15 三星电子株式会社 用于亮度控制图像转换的方法和装置
CN105101861A (zh) * 2013-03-29 2015-11-25 奥林巴斯株式会社 荧光观察装置
US20180220052A1 (en) * 2017-01-31 2018-08-02 Karl Storz Imaging, Inc. Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005099892A (ja) 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置およびその方法
DE102004034956A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Verfahren zur Erfassung mindestens eines Probenbereiches mit einem Lichtrastermikroskop mit linienförmiger Abtastung
US8570396B2 (en) 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
CN102844177B (zh) 2010-02-22 2015-08-19 Nok株式会社 氟橡胶金属层压板
US9258549B2 (en) 2012-05-14 2016-02-09 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
US9860504B2 (en) * 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
EP3205254B1 (en) 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US9936129B2 (en) * 2016-06-15 2018-04-03 Obsidian Sensors, Inc. Generating high resolution images
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054582A1 (en) * 2006-07-25 2010-03-04 Nikon Corporation Conversion Matrix Determining Method, Image Processing Device, Image Processing Program and Imaging Apparatus
CN102638688A (zh) * 2011-02-09 2012-08-15 三星电子株式会社 用于亮度控制图像转换的方法和装置
CN105101861A (zh) * 2013-03-29 2015-11-25 奥林巴斯株式会社 荧光观察装置
US20180220052A1 (en) * 2017-01-31 2018-08-02 Karl Storz Imaging, Inc. Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination

Also Published As

Publication number Publication date
US11733503B2 (en) 2023-08-22
CN112799224A (zh) 2021-05-14
US20210149176A1 (en) 2021-05-20
EP3822909A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
Meylan et al. Model of retinal local adaptation for the tone mapping of color filter array images
Sumner Processing raw images in matlab
Akyüz et al. Color appearance in high-dynamic-range imaging
US8014027B1 (en) Automatic selection of color conversion method using image state information
US9135888B2 (en) System and method for converting an image to an intensity based colormap
JP6700880B2 (ja) 情報処理装置および情報処理方法
US11587491B1 (en) System and method for a multi-primary wide gamut color system
CN109891869B (zh) 视频信号处理设备、视频信号处理方法和视频信号处理系统
CN112799224B (zh) 用于生成输出图像数据的系统和方法以及显微镜
CN107665480A (zh) 图像处理装置、其控制方法、显示装置及存储介质
JP2016173477A (ja) 画像表示装置及びその制御方法
US20130155254A1 (en) Imaging apparatus, image processing apparatus, and image processing method
Khan Two layer scheme for encoding of high dynamic range images
US20160093066A1 (en) Saturation compensation method
TWI672951B (zh) 產生單色影像
JP2012028973A (ja) 照明光推定装置、照明光推定方法および照明光推定プログラム
US11543644B2 (en) Digital imaging device and method for generating a digital color image
EP4055811B1 (en) A system for performing image motion compensation
WO2015146084A1 (ja) Ｐｏｓ端末、情報処理装置、ホワイトバランス調整方法および記録媒体
JP2012199804A (ja) 画像処理装置および画像処理方法
Thomas et al. HDR imaging pipeline for spectral filter array cameras
CN108885788B (zh) 图像处理方法
GB2583905A (en) Method and system for generating optical spectra
JP2019149106A (ja) 画像処理装置、画像処理方法およびプログラム
JP2015138258A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant