CN111508007A - 图像处理装置和方法、医学观察装置以及执行图像处理方法的计算机程序 - Google Patents

图像处理装置和方法、医学观察装置以及执行图像处理方法的计算机程序 Download PDF

Info

Publication number
CN111508007A
CN111508007A CN202010079131.9A CN202010079131A CN111508007A CN 111508007 A CN111508007 A CN 111508007A CN 202010079131 A CN202010079131 A CN 202010079131A CN 111508007 A CN111508007 A CN 111508007A
Authority
CN
China
Prior art keywords
digital
image
input
intensity
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010079131.9A
Other languages
English (en)
Other versions
CN111508007B (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN111508007A publication Critical patent/CN111508007A/zh
Application granted granted Critical
Publication of CN111508007B publication Critical patent/CN111508007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

公开了一种用于医学观察装置(102)，诸如显微镜(104)或内窥镜，的图像处理装置(100)。图像处理装置包括图像处理器(106)。图像处理器(106)被配置为获取数字伪彩色图案(116)，该数字伪彩色图案具有图案特性(118)并且包括伪彩色(120)。图像处理器(106)还适于将数字伪彩色图案(116)与所检索的数字输入图像(108、110)的输入区域(122)组合，由此形成图案化区域(124)。而且，图像处理器(106)适于根据数字输入图像(108、110)和所检索的数字输入图像(108、110)中的至少一个的输入区域(122)中的对应位置(128)处的强度(I)和亮度(B)之一，来改变图案化区域(124)中的位置(126)处的图案特性；并且输出包括图案化区域(124)的至少一个数字输出图像(130)。

Description

图像处理装置和方法、医学观察装置以及执行图像处理方法 的计算机程序
技术领域
本发明涉及用于诸如显微镜或内窥镜的医学观察装置的图像处理装置、包括这种图像处理装置的医学观察装置、以及诸如显微镜术或内窥镜术的图像处理方法。
背景技术
当前需要能够自动确定感兴趣区域的、诸如显微镜或内窥镜的医学观察装置或者与这种医学观察装置结合使用的图像处理装置。感兴趣区域可以例如是被观察组织或被观察细胞的一部分，该组织或细胞可以通过其光学特性(诸如反射率或荧光)来辨别，并且需要进行识别，以便进行进一步的处理步骤。感兴趣区域可以例如是诸如血管或肿瘤的结构。假如是肿瘤，则进一步的处理步骤可以是活检或切除。
然而，经常模棱两可的是：所观察的区域是否真的是感兴趣区域或它是否属于当前不感兴趣的背景。在区域不满足用于明确定义感兴趣区域的所有标准时可能尤其如此。例如，区域中的荧光强度可能刚好低于将该区域清楚地标记为肿瘤的阈值。在另一个示例中，区域的强度或亮度颜色可能刚好低于将该区域清楚地标记为血管的阈值。
因此，根据本发明的一个方面，提供了用于识别和/或显示这种模糊的感兴趣区域的图像处理装置、医学观察装置以及图像处理方法。
发明内容
上述需求通过一种包括图像处理器的图像处理装置来解决，其中，图像处理器被配置为：获取数字伪彩色图案，该数字伪彩色图案具有图案特性并且包括规则变化的伪彩色；将数字伪彩色图案与所检索的数字输入图像的输入区域组合，由此形成图案化区域；根据在数字输入图像和另外所检索的数字输入图像中的至少一个的输入区域中的对应位置处的强度和亮度之一，改变图案化区域中的位置处的图案特性；并且输出包括图案化区域的至少一个数字输出图像。
上述需求通过一种医学观察方法进一步解决，该医学观察装置包括：这种图像处理装置；照相机系统，该照相机系统被配置为记录一个或更多个数字输入图像；以及至少一个显示装置，显示装置被配置为显示至少一个数字输出图像。医学观察装置的优选实施方式是：可以用于研究细胞结构的显微镜，诸如实验室显微镜；手术显微镜，该手术显微镜用于特别是对人体执行手术(例如，神经外科手术或眼科手术)；或内窥镜，特别是外科内窥镜。
最后，上述需求通过一种图像处理方法来解决，该图像处理方法包括以下步骤：检索一个或更多个数字输入图像；从一个或更多个数字输入图像生成至少一个数字输出图像；以及输出至少一个数字图像，以便进行显示和进一步处理中的至少一项；其中，从数字输入图像生成至少一个数字输出图像的步骤包括以下步骤：将数字伪彩色与一个或更多个数字输入图像中的至少一个的至少一个输入区域组合，以产生图案化区域，其中，数字伪彩色图案具有图案特性；以及根据一个或更多个数字输入图像中的至少一个的输入区域中的对应位置处的强度和亮度之一，调节图案化区域的位置处的图案特性。
上述方法和装置允许快速地区分模糊与明确的感兴趣区域。当显示模糊的感兴趣区域 (其不满足当前为感兴趣区域设置的所有标准)时，必须注意将其与满足感兴趣区域的所有标准的区域不同地标记。如果以相同方式标记模糊的感兴趣区域和明确的感兴趣区域，则用户可能无法识别差异并且可能得出关于进一步步骤的错误结论。例如，如果医学观察装置是手术显微镜或内窥镜，则外科医生可能错误地确定模糊的感兴趣区域是需要切除的肿瘤。如果模糊的感兴趣区域实际上不是肿瘤，而是伪影，则去除错误标记的肿瘤可能对患者造成严重风险。进一步地，如果需要手动确认所有可疑的感兴趣区域，例如通过改变用于显示感兴趣区域的标准，则对于外科医生而言，外科手术将变得更耗时且繁重。
通过根据输入区域的对应位置处的强度和亮度之一来改变图案化区域中的位置处的图案特性，数字伪彩色图案不是均匀地应用，而是根据应用该图案的区域的内容改变。这允许模糊的感兴趣区域与明确的感兴趣区域不同地显示。
例如，如果感兴趣区域基于在感兴趣区域中收集的荧光团的荧光，则输入区域中的荧光强度可能取决于区域是否被分类为感兴趣区域。在强度或亮度上改变伪彩色图案允许用户立即识别可能不是肿瘤的感兴趣区域。
另一个示例是例如血管，该血管可以通过其颜色识别。由此，血管可以用不同的伪彩色图案特性进行标记，在这些血管中，在特定颜色范围内的强度不够高，以至于不能明确地作为血管。
由此，上述图像处理装置、医学观察装置以及方法通过利用技术效果与用户积极交互大大改善了医学观察装置的处理。
通过包括下文中描述的一个或更多个另外的特征，可以进一步改进上述图像处理装置、医学观察装置以及方法。如下所述，这些另外特征中的每一个都具有其自己的技术效果，并且可以与其他另外特征中的任意一个独立地组合。另外特征可以不加区别地应用于图像处理装置、医学观察装置和/或图像处理方法。要理解的是，每当在下文中说明处理步骤而未明确提及图像处理系统时，图像处理装置可以被对应地配置为执行该处理步骤。反之亦然，如果声明图像处理器被配置为执行处理步骤，则该处理步骤也可以是包括或需要图像处理装置的图像处理方法的实施方式的一部分。
例如，在一个实施方式中，图像处理器可以被配置为通过从照相机系统和存储装置中的至少一个检索一个或更多个数字输入图像来获取它们。照相机系统可以包括CMOS或CCD相机。替代地或累积地，照相机系统可以包括RGB照相机、多光谱照相机和/或高光谱照相机。照相机系统还可以包括照相机，该照相机被配置为记录包括白光、IR、NIR和/ 或UV光的一个或更多个波长带中的一个或更多个数字输入图像。存储装置可以包括硬盘驱动器、存储卡、记忆棒、存储体和/或磁盘和光盘中的至少一个。存储装置还可以包括易失性和/或非易失性存储器。
确定输入区域中的强度和亮度之一的位置可以是一个或更多个数字输出图像之一中的单个像素。该位置也可以是一个或更多个数字输入图像中的一组优选连续的像素。如果输入区域中的位置具有至少一个数字输入图像内的和如源于至少一个数字输入图像的至少一个数字输出图像内的相同几何位置和/或如由图案识别算法从一个或更多个数字输入图像提取的相同图像特征内的相同几何位置中的至少一个，则该位置可以被认为与图案化区域中的位置对应。输入区域可以是(特别是由图像处理装置)使用图案识别算法提取的一个或更多个数字输入图像中的特征。图案化区域中和输入区域中的位置匹配提高了一个或更多个数字输出图像中的演示准确度，并且确保伪彩色图案忠实地呈现在输入区域中所观察到的。
在一个实施方式中，获取数字伪彩色图案可以包括例如从存储装置检索数字伪彩色图案和例如使用存储在图像处理装置中的函数生成数字伪彩色图案中的至少一个步骤。图像处理器可以例如包括存储器，在该存储器中，存储了预定义的数字伪彩色图案或用于生成一个或更多个数字伪彩色图案的预定义函数。
在另一个实施方式中，数字伪彩色图案可以包括伪彩色，该伪彩色可以被存储在存储装置中或者可以使用函数来生成。函数可以存储在图像处理装置中。例如，图像处理器可以被配置为从一组存储的伪彩色中自动确定数字伪彩色图案的伪彩色。伪彩色优选是一个或更多个数字输出图像所基于的一个或更多个数字输入图像中的任何一种都不包含的颜色。
图案特性将一种数字伪彩色图案与另一种区分开来。图案特性可以包括数字伪彩色图案的伪彩色、强度、亮度、透明度、对比度、几何形状、时间变化率以及空间变化率中的至少一个。这些图案特性中的任意一个都可以根据输入区域中的对应位置处的强度和亮度之一在位置处改变。
数字伪彩色图案可以是时间和空间变化的数字伪彩色图案中的至少一个。时间变化的数字伪彩色图案具有时间规律性，例如，主导的时间频率或等效地为变化率，该时间规律性支配数字伪彩色图案随时间的规则变化或重复。这种主导的时间频率的一个示例是图案化区域中的伪彩色的强度随时间变化的速率。这种时间规律性可能例如导致数字伪彩色图案以特定频率闪烁。主导的空间频率或等效地为变化率的示例是例如阴影线的宽度或反复出现的几何设计之间的空间距离。时间和空间变化可以例如通过具有时间和空间变化的图案(诸如闪烁和/或移动的阴影线)结合起来。图案化区域中的位置处的伪彩色强度可以随频率周期性地变化，该频率取决于输入区域中的对应位置处的强度或亮度。伪彩色强度随时间的变化可以是连续的，例如，正弦的或突变的，例如阶梯式的。时间变化的幅度和/或最大或最小强度或亮度还可以取决于输入区域中的对应位置处的强度或亮度。
根据另一个实施方式，可以根据输入区域中的匹配位置处的强度或亮度确定图案化区域中的位置的数字伪彩色图案的第一图案特性，并且图案化区域中的数字伪彩色图案的第二不同图案特性可以取决于输入区域中的平均强度或亮度。更一般地说，图案化区域中的伪彩色图案的位置处的第一图案特性可以取决于输入区域中的匹配位置处的局部特性，并且图案化区域中的伪彩色图案的第二不同图案特性可以取决于输入区域的全局特性。全局特性可以基于大于局部特性的区域的图像区域。例如，局部特性可以仅使用单个像素来确定，而全局特性可以使用多个像素来确定，其中，多个像素可以包括用于局部特性的单个像素。
例如，第一图案特性可以是数字伪彩色图案的伪彩色的强度或亮度以及对比度中的至少一个，并且第二图案特性可以是数字伪彩色图案的空间和时间变化率中的至少一个，诸如图案的尺寸和闪烁频率。
数字输入图像可以包括一个或更多个颜色通道。单个颜色通道可以构成数字输入图像。
替代地或累积地，空间变化的伪彩色图案的位置可以在随后的数字输出图像中周期性地移位。空间变化图案的几何结构或拓扑结构可以例如在随后的数字输出图像中随时间保持恒定，几何结构或拓扑结构包括例如数字伪彩色图案的宽度、距离和/或形状。这种时间和空间变化的图案可以被观察者感知为沿一个方向移动。
根据另一个实施方式，可以从单个数字输出图像计算或导出数字输出图像的时间序列。例如，可以为一个或更多个静止输入图像计算并显示时间变化的图案。替代地，基于一个或更多个随后的数字输入图像，为数字输入图像的时间序列中的每个图像计算时间变化图案。
优选的是图像处理器被配置为实时计算包括数字伪彩色图案的至少一个数字输出图像。这允许观察者对数字输入图像中的临界变化迅速且及时地做出反应，特别是在数字输入图像表示数字输入图像的实时流时。在一个实施方式中，可以为每个数字输入图像计算单个数字输出图像。在该实施方式中，数字输出图像的帧速率可以对应于数字输入图像的帧速率。
在另一个实施方式中，数字伪彩色图案可以包含反复出现的几何元素，例如，多边形、条纹和/或圆形。根据替代或累积的实施方式，数字伪彩色图案可以包括伪彩色区域和非伪彩色区域，和/或数字伪彩色图案可以包括伪彩色区域和确实包含不同伪彩色的区域、或者包含不同强度或亮度的伪彩色的区域。例如，可能适合两个不同种类的感兴趣区域的模糊的感兴趣区域可以用两种分别分配给两个不同种类的伪彩色来标记。例如，如果在输入区域中，两个荧光团的荧光重叠并且两个荧光团中的每一个都分配了不同的伪彩色，则图案化区域中的伪彩色图案可以包含两个荧光团的两个伪彩色，例如，用双色阴影线。同样的情况可以适用于静脉和动脉血管：在无法确定无疑地区分静脉血管与动脉血管的情况下，可以使用双色(例如，红色和蓝色)的数字伪彩色图案。
在更广义的意义上，图案化区域中的伪彩色图案可以包括第一图案成分和第二图案成分中的至少一个，第一图案成分具有与第二图案成分不同的形式、伪彩色、伪彩色强度以及伪彩色亮度之一。例如，第二图案成分可以具有比第一图案成分更低的伪彩色强度或亮度和/或与第一图案成分不同的伪彩色。
例如，第一图案成分可以是包括伪彩色区域的阴影线伪彩色图案的一部分，而第二图案成分包括阴影线之间的区域，因此具有更小的伪彩色强度或亮度或没有伪彩色强度或亮度。第一图案成分和第二成分的伪彩色强度或亮度之间的差异、或者第一图案成分与第二图案成分之间的对比度，可以取决于一个或更多个数字输入图像的输入区域中的强度和亮度中的一个。因此，对比度(即伪彩色图案的可见度)取决于输入区域的强度或亮度。数字伪彩色图案的对比度可以随着输入区域中的强度或亮度而增加。
在这种实施方式中，仅具有低强度或亮度并因此几乎不可见或不可辨别的输入区域将包含具有低对比度的图案。虽然与未图案化的输入区域相比，图案的可见度由于图案中的空间和/或时间频率而提高，但并不过度夸大。由此，在该实施方式中，进一步降低了将基于强度或亮度弱的输入区域的伪彩色图案与基于强度或亮度高的输入区域的输入图案混淆的风险。
在另一个实施方式中，图像处理器可以被配置为将图案化区域中的位置处的至少一种伪彩色的亮度和强度之一设置为与在输入区域中的对应位置处的亮度和强度之一成比例。由此，伪彩色图案的对比度取决于输入区域中的对应位置的亮度和强度。这允许观察者立即得出关于输入区域的结论，由此得出关于图案化区域作为感兴趣位置的任何歧义的结论。例如，随着亮度和强度降低，至少一种伪彩色的亮度和强度可能降低。
如果伪彩色图案包括第一图案成分和第二图案成分这两者，则可以优选的是第二图案成分不包括任何伪彩色。由此，在该实施方式中，输入区域中的对应位置的强度或亮度越低，则图案化区域中的伪彩色图案将自动变得越不可见。
在一个实施方式中，图像处理装置可以被配置为计算除图案化区域之外的一个或更多个数字输出图像中的伪彩色区域。可以在不使用数字伪彩色图案的情况下用伪彩色对伪彩色区域着色。更具体地，可以使用EP 3205254的装置和方法来计算伪彩色区域，因此以引证的方式将该文献全文并入。一个或更多个数字输出图像中的伪彩色区域可以位于一个或多更个数字输入图像中的对应输入区域的强度或亮度高于预定下限阈值的位置处。
EP 3205254的装置和方法还可以用于将伪彩色图案与一个或更多个数字输入图像合并。
例如，如果使用结合到肿瘤细胞的荧光团，则可以在许多肿瘤细胞集中的区域中生成高荧光强度或亮度。由此，超过荧光强度或亮度的特定预定阈值，则可以肯定的是高荧光强度标记肿瘤。低于该上限阈值，是否存在肿瘤的统计不确定性可能增大。在该实施方式中，强度或亮度高于阈值的输入区域将使用没有图案的伪彩色来均匀地着色。这可以例如通过以下方式来进行：通过根据一个或更多个数字输入图像中的另一个的强度或亮度设置伪彩色的强度或亮度，来将伪彩色与一个或更多个数字输入图像之一合并，如EP 3205254所述。强度或亮度低于阈值的输入区域可以用于生成如上所述的图案化区域。由此，图案化区域标记模糊的感兴趣区域。
在另外的实施方式中，可以优选通过包括一个或更多个优选连续的像素来分别确定输入区域或图案化区域，该像素的强度或亮度都低于预定的上限阈值且高于预定的下限阈值。预定的下限阈值可以用于避免在输入区域中包含小的强度或亮度，这可能受到噪声或测量误差的影响。
如果在不同位置处满足阈值标准，则数字输入图像可以包括多个单独的输入区域。
一个或更多个数字输入图像可以包括已经用至少一个荧光团的荧光光谱记录的荧光图像；用白光记录的数字白光图像；数字CT图像；数字MRT图像(数字显微拉曼(Raman)光谱图像)；数字超声图像；及其任意组合。
图像处理器还可以被配置为仅在数字输入图像的区域包括多个优选连续的像素时将该区域选择作为输入区域。例如，输入区域可以被选择为大于数字伪彩色图案的预定几何形状。
在一个实施方式中，图像处理器可以被配置为仅在数字输入区域的区域包括预定最小数量的像素时将该区域选择作为输入区域，其中，强度或亮度是在各自的上限阈值以下和下限阈值以上中的至少一项。例如，输入区域的最小尺寸可以是3x3、4x4或5x5像素。
图像处理器可以还被配置为根据输入区域中的一个或更多个数字输入图像的平均强度或亮度和/或根据输入区域与其紧邻区域之间的对比度，来应用输入区域的不同的最小尺寸标准或滤波器。在该实施方式中，据认为，较小的明亮区域与较大的较不明亮的区域一样可见，并且与感兴趣区域相关。由此，输入区域的尺寸可以取决于其平均强度或亮度。平均强度越大，输入的尺寸可能越小。
平均强度或亮度可以是中位值；算术平均值、几何平均值、调和平均值、二次方平均值、三次方平均值、广义平均值、加权平均值、截断平均值、缩尾均值以及四分位平均值；众数；中列数中的任意一个；以及这些值的任意组合。
在另一个实施方式中，图像处理器可以被配置为计算输入区域中和输入区域周围的区域中的平均强度，特别是计算输入区域与其周围环境之间的对比度。图像处理器可以被配置为根据该差异将阈值调整为输入区域的最小尺寸。使用该标准，据认为，强度或亮度与其周围环境明显不同的输入区域可以更有可能作为真正的感兴趣区域。
周围区域可以位于与输入区域所位于的数字输入图像相同或不同的数字输入图像中。例如，输入区域的强度或亮度可以从数字荧光图像计算。
周围环境的强度或亮度可以从数字白光图像确定。替代地，输入区域中的强度或亮度可以从单个颜色通道确定，而周围环境的强度或亮度从另一个颜色通道或颜色通道的组合确定。
用于确定输入区域并由此确定感兴趣区域的上限和/或下限阈值可以由图像处理装置根据输入区域的平均强度或亮度、在相同或不同数字输入图像中的输入区域和/或周围区域的平均强度或亮度之间的对比度来计算。例如，与具有较低的平均强度或亮度的输入区域相比，上限阈值可以在具有高平均强度或亮度的输入区域中增大。替换地或附加地，与在相同或不同数字输入图像中与周围区域具有较低对比度的输入区域相比，上限阈值可以在与这些周围环境具有较高对比度的输入区域中增大。上限和/或下限阈值还可以由图像处理装置根据输入区域所位于的数字输入图像或另一个数字输入图像中的总平均强度或亮度来确定。例如，如果输入区域所位于的数字输入图像的总强度较大，则上限和/或下限阈值可以增大。相反，如果输入区域所位于的数字输入图像的总强度较小，则上限和/或下限阈值可以减小。
在另一个实施方式中，图像处理装置可以包括表或函数，该表或函数用于根据输入区域中的平均强度、相同或不同数字输入图像的周围区域中的平均强度以及输入区域与相同或不同数字输入图像中的周围区域的强度之间的差异或对比度中的至少一项，来确定上限阈值和/或下限阈值的值以及输入区域的尺寸中的至少一项。这些值和尺寸可以通过实验确定并存储在存储装置中。进一步地，可以确定神经网络以在图像处理装置的操作期间示教这些值和尺寸。
在另一个实施方式中，图像处理器可以被配置为根据输入区域的尺寸来改变图案特性。例如，图像处理器可以被配置为使数字伪彩色图案的几何形状适应输入区域的尺寸，使得伪彩色图案的一个以上实例适合输入区域。在另一个示例中，图像处理装置可以被配置为根据具有最小尺寸的输入区域来选择伪彩色图案。在另一个附加或累积的实施方式中，图像处理器可以适于根据输入区域的最小或平均尺寸在时间与空间变化的图案化之间自动选择。例如，如果输入区域较小，则可以使用没有空间规律性的闪烁伪彩色。
在另一个实施方式中，图像处理装置可以被配置为仅在图案化区域包括至少预定数量的像素时在图案化区域中应用伪彩色图案。图像处理器可以被配置为确定像素数量、诸如宽度和/或长度的维数以及输入区域和/或图案化区域的纵横比中的至少一项。图像处理器可以被配置为将该值与预定值进行比较，以确定图案化区域是否具有最小数量的像素、维数和纵横比中的至少一项。
如果在其他方面将不被图案化的区域被输入区域包围并且不超过预定尺寸，则图案化区域或输入区域可以包括该区域。例如，如果在其他方面明亮的输入区域包括深色斑点，则为了更容易识别，优选也对该深色斑点(如果该深色斑点较小)进行图案化。
在另一个有利实施方式中，图像处理器还可以被配置为根据在至少一个数字输出图像的图案化区域之外的至少一个相邻位置的强度和亮度中的一个，来调节图案化区域的边界处的位置处的图案特性。例如，伪彩色的强度和亮度可以由图像处理装置根据至少一个相邻位置处的强度或亮度来改变。这允许使图案化区域的强度或亮度平滑地适应输入区域的周围环境。图案化区域之外的至少一个相邻位置不必一定位于与输入区域相同的数字输入图像中，而是可以位于不同的数字输入图像中。这防止了强度或亮度在图案化区域的边界处突然改变，实际上，在该边界处，输入区域的强度或亮度平滑地逐渐减小。由此，边界不被人为地突出。
在另一个实施方式中，图像处理器可以被配置为产生在图案化区域的边界处的位置处的至少一种伪彩色的强度和亮度之一与在图案化区域之外的至少一个相邻位置之间的预定差异或对比度。这允许维持特定的对比度，由此维持图案化区域与其周围环境之间的可见度。
图像处理器还可以被配置为：检索一个或更多个数字输入图像中的一个，作为表示白光中记录的对象的数字白光图像，并且检索一个或更多个数字输入图像中的另一个，作为表示在至少一个荧光团的荧光光谱中记录的对象的数字荧光图像；确定数字荧光图像中的输入区域；将伪彩色图案与数字白光图像合并，根据数字荧光图像中的对应位置的亮度和强度之一，来改变图案化区域中的位置处的伪彩色图案的亮度和强度之一。再次，如上所述，可以使用EP 3205254中描述的装置和方法来执行合并。
图像处理器还可以被配置为产生在图案化区域的边界处的位置与图案化区域之外的边界处的相邻位置之间的亮度和强度之一的连续过渡。
在医学观察装置中，照相机系统可以被配置为用至少一个荧光团的荧光光谱记录一个或更多个数字输入图像中的至少一个，作为数字荧光输入图像，并且用白光记录一个或更多个数字输入图像之一，作为数字白光输入图像。
虽然已经在设备的背景下描述了一些方面，但是清楚的是这些方面也表示对应方法的描述，其中，方框或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的背景下描述的方面也表示对应设备的对应方框或项或特征的描述。方法步骤中的一些或全部可以通过(或使用)硬件设备(像例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施方式中，最重要的方法步骤中的某一个或多个可以由这种设备执行。
根据某些实施要求，本发明的实施方式可以在硬件或软件中实施。实施可以使用上面存储有电子可读控制信号的非暂时存储介质来执行，诸如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或闪存，这些控制信号与可编程计算机系统协作(或能够协作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施方式包括具有电子可读控制信号的数据载体，这些控制信号能够与可编程计算机系统协作，使得执行此处描述的方法中的一种。
通常，本发明的实施方式可以被实施为具有程序代码的计算机程序产品，该程序代码可操作为当计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施方式包括存储在机器可读载体上的、用于执行此处描述的方法之一的计算机程序。
因此，换言之，本发明的实施方式是一种具有程序代码的计算机程序，该程序代码用于当计算机程序在计算机上运行时执行此处描述的方法之一。
因此，本发明的另外实施方式是一种存储介质(或数据载体或计算机可读介质)，该存储介质包括存储在上面的计算机程序，该计算机程序用于当它由处理器执行时执行此处描述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的另外实施方式是一种如此处描述的设备，该设备包括处理器和存储介质。
因此，本发明的另外实施方式是一种数据流或信号序列，该数据流或信号序列表示用于执行此处描述的方法之一的计算机程序。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)来传送。
另外实施方式包括处理手段，例如，计算机或可编程逻辑装置，该处理手段被配置为或适于执行此处描述的方法之一。
在下文中，参照附图描述示例性实施方式。任意附图所示的特征的特定组合仅用于说明。可以将不包含在特定特征中的上述任何特征添加到图中示出的实施方式。相反，可以从特定附图所示的实施方式省略上述任意可选特征。
附图说明
在附图中：
图1示出了医学观察的可能实施方式的示意图；
图2至图6示出了数字伪彩色图案的示意图；
图7示出了合并数字输入图像和数字伪彩色图案以获得输出图像的示意图；
图8示出了输入区域的示意图；
图9示出了输入区域的另一个实施方式的示意图；
图10示出了沿着图案化区域中的线的伪彩色强度和/或亮度变化的示意图；
图11示出了沿着图案化区域中的线的伪彩色强度和/或亮度变化的另一个实施方式的示意图；
图12示出了数字输入图像中的输入区域的示意图；
图13示出了数字伪彩色图案的变型例的示意图；以及
图14示出了流程图的示意图。
具体实施方式
在图1中，示出了如在医学观察装置102(诸如显微镜104或内窥镜)中使用的图像处理装置100。图像处理装置100包括图像处理器106，该图像处理器可以是通用计算机的一部分。图像处理器106可以包括硬件、软件或硬件和软件的组合。它可以包括CPU、GPU、向量处理器、FPA和/或ASIC。
图像处理器106被配置为获取数字伪彩色图案116。数字伪彩色图案116具有图案特性 118，并且包括规则变化的伪彩色120。
图像处理器106还被配置为将数字伪彩色图案116与所检索的数字输入图像108、110 的输入区域122组合。数字输入图像可以包括一个或更多个颜色通道。单个颜色通道可以已经构成数字输入图像。
数字伪彩色图案116与数字输入图像108、110之一的输入区域122和/或匹配区域的组合产生图案化区域124。图像处理器106还被配置为根据数字输入图像和另外检索的数字输入图像中的至少一个的输入区域122中的对应位置128处的强度和亮度之一，来改变图案化区域124中的位置126处的图案特性118。图案特性118可以包括数字伪彩色图案116 的伪彩色、强度、亮度、透明度、对比度、几何形状、时间变化率以及空间变化率中的至少一个。具体地，图案特性118可以是光学或视觉特性，使得各种数字伪彩色图案116可以在视觉上彼此辨别。
不同的图案特性118允许将不同的伪彩色图案116与可以在一个数字输出图像130中同时使用的另一种伪彩色图案区分开。这些图案特性118中的任意一个图案特性或任意组合可以根据输入区域122中的对应位置128处的强度和亮度之一在位置126处改变。
图像处理器106还被配置为输出包括图案化区域124的至少一个数字输出图像130。
图像处理器106可以被配置为在输入区域122中生成图案化区域124，在该输入区域中，一个或更多个数字输入图像108、110中的强度或亮度之一是在相应的上限阈值以下和下限阈值以上中的至少一项。输入区域122中的强度或亮度可以由图像处理装置100使用输入区域122上的平均强度来计算。平均强度可以使用中位值；算术平均值、几何平均值、调和平均值、二次方平均值、三次方平均值、广义平均值、加权平均值、截断平均值、缩尾均值以及四分位平均值；众数；中列数；及其任意组合中的至少一种来计算。
输入区域122优选地包括多个像素128c。多个像素128c优选是连续的，即形成连接区域。区域可以包围一个或更多个像素128c，这些像素不是输入区域122的一部分，因为它们的强度或亮度不满足作为输入区域的标准。例如，如果强度或亮度低于预定的下限阈值或者如果强度或亮度高于预定的上限阈值，则可能是这种情况。
图像处理器106还可以被配置为根据在至少一个数字输出图像130的图案化区域124 之外的至少一个相邻位置136处的强度和亮度中的一个，来调节图案化区域124的边界134 处的位置132处的图案特性118。
在位置128处，确定输入区域122中的强度和亮度之一，该位置128可以是单个像素128c。对应地，图案化区域124中的匹配位置126也可以是单个像素126c。在另一个实施方式中，位置128可以包括一个或更多个数字输入图像108、110中的一组优选连续的像素 126c。在这种情况下，可以确定横跨多个像素的平均强度或亮度。如果使用多于一个的数字输入图像108、110来确定强度或亮度，则使用匹配位置126。在另一个实施方式中，位置128可以包括整个输入区域122。
如果输入区域122中的位置128在至少一个数字输入图像108、110内具有与至少在数字输出图像130中相同的几何位置，则该位置128对应于或等效地匹配图案化区域124中的位置126。替代地，如果两个位置126、128在相同图像特征内具有相同的几何位置，如通过图案识别算法从一个或更多个数字输入图像108、110提取的一样，则可以认为它们匹配。
输入区域122可以是特征154，该特征已经由图像处理器106使用图案识别算法提取。这种特征154的示例是已经用白光记录的数字白光图像142中的血管，或者在数字荧光图像148中已经用荧光团150的荧光光谱记录的肿瘤。
在另一个实施方式中，图像处理器106还可以被配置为产生在图案化区域124的边界 134处的位置132处的至少一种伪彩色120的强度或亮度与在图案化区域124之外的至少一个相邻位置136的强度和亮度之一之间的预定差异。
在另一个实施方式中，图像处理器106还可以被配置为将图案化区域124中的位置126 处的至少一种伪彩色120的亮度和强度之一设置为与在输入区域122中的对应位置128处的亮度和强度之一成比例。
图案化区域124中的数字伪彩色图案116可以包括第一图案成分138和第二图案成分 140。第一图案成分138的伪彩色亮度或强度优选地不同于第二图案成分140的伪彩色亮度或强度。在另一个变型例中，第一图案成分138和第二图案成分140可以包括不同的伪彩色。
第一图案成分138和第二图案成分140中的至少一个中的伪彩色亮度或强度可以分别取决于输入区域122中的亮度或强度。具体地，在位置126处的第一成分的伪彩色强度或亮度与第二图案成分的伪彩色强度或亮度之间的差异可以取决于输入区域122中的匹配位置128处的强度和亮度。为此，位置126可以具有包括两个图案成分138、140的尺寸。
图2至图6示出了被指示为116a、116b、116c、116d、116e的各种数字伪彩色图案116的示例。图案116a至116e全部具有空间和/或时间规律性。图2和图6的图案不应被解释为以任何方式限制可以由图像处理装置100使用的伪彩色图案116的种类。
伪彩色图案116a至116d都具有空间规律性。由此，数字图案116a至116d的基本组成以某个空间频率重复自身。基本组成可以具有任意形状，诸如图2的伪彩色图案116a中的多边形形状。伪彩色图案116可以为如同伪彩色图案116b至116d的阴影线。
如图2至图6进一步所示，伪彩色图案116a至116e的图案成分138、140具有不同的伪彩色亮度或强度。图2至图6中的两个成分138、140之一可以具有比另一个更小的伪彩色强度或亮度。在图2、图4、图6中，第一图案成分138可以不包含任何伪彩色，而第二图案成分140包括伪彩色。在图案116b中，第一图案成分138包括强度低于第二图案成分 140的伪彩色。
图5和图6的伪彩色图案116d至116e具有时间规律性。在图5的伪彩色图案116d中，伪彩色图案116d的形状(此处以阴影线为例)不改变形状，但随着时间t改变位置。通过将位置从一帧556逐渐移至下一帧，可以产生在方向558上传播的伪彩色116d的印象。通过以某一时间速率或等效地为频率重复随后帧556的序列，获得随时间t的规律性。由此，图5的数字伪彩色图案116d具有空间和时间规律性。
在图6中，数字伪彩色图案116e的时间规律性仅表现在：第一图案成分138和第二图案成分140分别以某一时间变化率或频率显示。这产生闪烁的伪彩色图案116e。
图像处理器106可以被配置为根据输入区域122中的强度和亮度之一来改变数字伪彩色图案116的时间和空间变化率中的至少一个。例如，第一和第二图案成分138、140中的一个之间的距离460或其宽度可以取决于输入区域122中的强度或亮度。例如，如果输入区域122中的强度或亮度增加，则具有更高伪彩色强度或亮度的第二图案成分140之间的距离460可以增加。
图像处理器106可以被配置为检索一个或更多个数字输入图像108、110中的至少一个，作为数字白光图像142。数字白光图像142表示用白光146记录的对象144。白光146包含在可见光频率下忠实地呈现对象144的任意颜色的足够波长。例如，数字白光图像142可以是RGB格式。
图像处理器106还可以被配置为检索一个或更多个数字输入图像108、110中的至少另一个，作为数字荧光图像148。数字荧光图像表示用至少一个荧光团150的荧光光谱记录的对象144。如果对象包含多个荧光团，则可以提供多个数字荧光图像148，每个数字荧光图像148优选包含不同荧光团150的荧光波长。
图像处理装置100还可以被配置为确定至少一个数字荧光图像148中的输入区域122。例如，输入区域122可以被确定为与数字荧光图像148中的区域相对应，在该区域中，荧光亮度或强度高于下限阈值而低于上限阈值。替代地，输入区域可以被确定为数字荧光图像148中的、强度或亮度高于下限阈值的区域、或者强度或亮度低于上限阈值的区域。在确定输入区域之前，可以对数字荧光图像148进行归一化和/或低通滤波。
如果图像处理器106检索到一个以上的数字荧光图像148，则可以在每个数字荧光图像 148中独立地确定输入区域122。例如，如果一个数字荧光图像148记录结合到富氧红血球的荧光团150的荧光光谱，则可以使用通过利用至少一个亮度或强度阈值进行的输入区域 122的确定，使得输入区域122将对应于动脉血管。如果使用另一个荧光团150a(图1)来标记肿瘤细胞，则可以使用包含该另一个荧光团150a的荧光光谱的数字荧光图像148来将肿瘤定义为输入区域122。优选地，向这两个不同的输入区域122分配两个不同的数字伪彩色图案，这两个输入区域具体基于不同的数字输入图像108、110或数字荧光图像148。该两个不同的数字伪彩色图案在至少一个图案特性118(例如，伪彩色)方面不同。
图像处理器106还可以被配置为将伪彩色图案116与数字白光图像142合并，其中，根据数字荧光图像148的输入区域122中的对应位置128a的亮度或强度来设置伪彩色图案116(例如，图案化区域124中的位置126处的该伪彩色图案的成分138、140中的至少一个)的亮度或强度。
图像处理器106可以被配置为从照相机系统112或存储装置114检索一个或更多个数字输入图像108、110，照相机系统或存储装置中的每一个可以是医学观察装置102的一部分。存储装置114中的一个或更多个数字输入图像108、110可以具有用于存储图像信息的任意适当的数据格式，诸如PDF、GIF、TIF、JPEG、TGA和/或MPG格式。存储装置114 可以为易失性或非易失性存储器。它可以是医学观察装置102的固定部分，或者它可以是可移动的。存储装置114可以例如是硬盘、存储体、光盘、存储卡或记忆棒。
照相机系统112优选地被配置为记录一个或更多个数字输入图像108、110。例如，照相机系统112可以被配置为记录一个或更多个数字白光图像142和一个或更多个数字荧光图像148中的至少一个。照相机系统112可以包括至少一个照相机112a。照相机系统112可以包括用于记录白光图像的RGB照相机，诸如CCD或CMOS照相机。附加地或替代地，照相机系统112可以包括用于记录UV、NIR和/或IR图像的照相机。照相机系统112可以包括多光谱或高光谱照相机。医学观察装置102还可以包括至少一个显示装置152，该显示装置被配置为显示至少一个数字输出图像130。
例如，医学观察装置102可以包括监视器152a、VR护目镜152b和/或目镜152c，作为显示装置152。显示装置152中的任意一个可以是立体的或全息的。这允许显示三维的数字输入图像108、110，诸如立体数字输入图像108、110。
在图7中，示出了如何将数字伪彩色图案116与表示例如数字白光图像142的数字输入图像108和表示例如数字荧光图像148的数字输入图像110组合或合并。数字白光图像142可以是彩色图像或单色图像；数字荧光图像148可以是彩色图像或单色图像。在数字荧光图像148中，输入区域122已经由图像处理装置100(图1)确定。数字伪彩色图案和一个或更多个数字输入图像108、110的组合产生至少一个数字输出图像130。组合或合并功能在附图标记762处示例性地示出，并且可以通过使用数字伪彩色图案而不是(恒定) 伪彩色来采用在EP 3205254中描述的装置和方法。
输入区域122可以被确定为数字荧光图像148中的、强度I或亮度B高于下限阈值764 的区域。为了说明的目的，示意性地示出了沿着线768的伪彩色的强度或亮度变化766。在另一个数字输入图像108(数字白光图像142)中也指示了输入区域122。
在合并两个数字输入图像108、110之前，位置126和128匹配。这可以例如通过确保视野且优选是记录数字输入图像108、110的各个传感器的视野相同来完成。在这种情况下，如果位置126和128在它们各自的数字输入图像108、110中的相同几何位置内，则它们匹配。在合并762中，仅对于输入区域122中的位置128生成数字伪彩色图案116。在一个或更多个数字输出图像中，优选地不向区域770分配伪彩色图案116，该区域可以被输入区域122包围或位于输入区域122之外，并且该区域的强度或亮度不高于最低下限阈值764。因此，区域770可以被认为是背景。
图像处理装置100根据输入区域122中的数字荧光图像148中的位置128处的强度或亮度来改变数字伪彩色图案116的至少一个图案特性118。例如，至少一个数字输出图像130中的位置126处的第一和第二成分138、140中的至少一个的强度可以取决于位置128 处的亮度或强度。如果数字荧光图像148中的匹配位置128处的强度或亮度大于另一个位置处的强度或亮度，则图案成分140、138中的至少一个的伪彩色的强度或亮度在至少一个数字输出图像130中的位置126处可以更大。替代地，图案成分138、140之间的对比度可以根据位置128处的强度或亮度而变化。例如，具有较大强度或亮度的位置128可能导致图案化区域124中的伪彩色图案116具有比强度或亮度较低的数字荧光图像148的输入区域122中的位置更高的对比度。由此，图案化区域124的可见度可以随着数字荧光图像中的匹配位置128处的强度或亮度的增加而增加。替代地或累积地，位置128处的时间和/或空间变化率可以取决于匹配位置126的强度或亮度。
至少一个数字输出图像130的线768a与数字荧光图像148中的线768匹配。沿着线768a，图案化区域124的至少一个图案成分138、140的伪彩色的强度或亮度的变化766a 反映了数字荧光输入图像148中的强度分布766。
代替数字荧光图像148，可以在图7的变型例中使用另一个数字白光彩色图像或者一个或更多个颜色通道作为白光图像142。例如，图7中的数字输入图像110可以是RGB数字输入图像108的红色通道。在这种情况下，红色通道的强度或亮度可以例如用于识别动脉血管。代替数字白光图像142或除了数字白光图像142之外，可以使用用不同荧光团150a (图1)的荧光光谱记录的另一个数字荧光图像148。在这个另外的荧光图像中，可以确定输入区域，以便与数字伪彩色图案组合，该数字伪彩色图案具有与在荧光团150的数字荧光图像148中使用的伪彩色图案不同的伪彩色，以便可以在视觉上区分荧光团。
在图8中，示意性地示出了数字输入图像108、110的输入区域122。输入区域122由所有这些位置128来定义，在这些位置中，强度I或亮度B高于下限阈值764，这里也低于上限阈值872。另一个输入区域122a可以由位置128来确定，在该位置中，强度I或亮度B高于上限阈值872。
优选地，两个不同的输入区域122、122a被分配有不同的数字伪彩色图案116。输入区域122被分配有数字伪彩色图案116，该数字伪彩色图案在至少一个图案特性118方面与在至少一个数字输出图像130中分配给输入区域122a的数字伪彩色图案116不同。在变型例中，输入区域122a可以被分配有均匀伪彩色，优选为与基于输入区域122用于图案化区域124中的数字伪彩色图案116相同的伪彩色。
再次，输入区域122可以包含一个或更多个区域770，这些区域包含强度I或亮度B低于较低或最低下限阈值764的位置或由其构成。
图8所示的基本概念可以扩展到数字输入图像108、110中的两个以上的输入区域122。对于每个区域，可以存在相应的下限阈值764和相应的上限阈值872。图9中示意性地示出了这一点，其中，已经通过使用第二对阈值764、872确定了另外的第三输入区域122b。
输入区域122、122a、122b优选地被分配有不同的数字伪彩色图案116。具体地，具有较低阈值764、872的输入区域122可以被分配有伪彩色图案，该伪彩色图案具有比被分配给具有较高阈值764、872的输入区域122b的数字伪彩色图案116更低的对比度和/或更低的伪彩色强度或亮度、和/或更低的空间和/或时间变化率。
在图8和图9中，分配给相应的输入区域122、122a、122b的不同数字伪彩色图案116表示与感兴趣区域对应的输入区域122的不同置信级。较低的置信级通过改变图案特性中的至少一个而导致相应区域中的伪彩色图案的可见度降低。
例如，在图8、图9中强度和亮度高于最高上限阈值872的输入区域122a可以表示非常有可能表示肿瘤的区域。因此，输入区域122a在至少一个数字输出图像130中可以用均匀的伪彩色标记，而随着阈值减小，输入区域122、122b被分配有越来越少的可见伪彩色图案，以将它们标记为不太可能的肿瘤轮廓。
在图10和图11中，示出了图案化区域124、124a，它们可以例如由如图8所示的两个输入区域122、122a产生。在图10中，伪彩色的强度I或亮度B在两个相邻图案化区域124、124a的伪彩色图案116之间的边界134上连续变化。至少在图案成分138、140之一中，跨边界134的两个相邻图案化区域124的强度或亮度没有跳跃。
在图11中，跨边界134自动生成伪彩色的强度或亮度的预定跳跃1176。平滑过渡将避免过度注意相邻输入区域122之间的过渡而不是输入区域122本身。由此，例如，如果医学观察装置102是手术显微镜或内窥镜，则外科医生的注意力没有朝向边界134分散。在边界134处引入预定跳跃1176将允许对边界134施加预定的强调。
在图10中，示出了沿着线1076的示意伪彩色强度分布1074，该线横过图案化区域124 和相邻的图案化区域124a。图案化区域124a可以但不需要位于图案化区域124内。在该示例中，图案化区域124仅以示例的方式包括被形成为阴影线的伪彩色图案116。
线1076遵循具有两个图案成分138、140的伪彩色的较高强度或亮度的阴影线的图案成分140。如果使用除了阴影线以外的数字伪彩色图案116，诸如多边形或圆形，则同样的考虑也适用。唯一的区别是，强度或亮度分布1074在图10中将展示两个成分138、140之间沿着线1076的强度或亮度跳跃，即数字伪彩色图案116的对比度。如果图案化区域124 包括由于例如包含均匀分布的伪彩色而仅具有时间规律性的伪彩色图案，则这同样适用。
如可以在图10中看到的，图案化区域124中与边界134相邻的位置132具有强度或亮度，该强度或亮度形成跨边界134的、到图案化区域124a中的相邻位置136处的强度或亮度的平滑且连续的过渡。在此，图案化区域124a可以具有均匀的伪彩色。平滑且连续的过渡可以通过例如创建跨边界134的强度或亮度梯度的平滑变化或者通过在边界134两侧上的位置132、136处分配相同的强度或亮度来形成。
在图10中，数字伪彩色图案的第二强度或亮度分布1074a被示出为强度或亮度分布 1074的替代方案。在强度或亮度分布1074a中，可以使用另外的因子，诸如到边界的距离或与输入区域122中的位置128处的强度或亮度成比例的因子，来放大图案化区域124中的强度朝向背景770的衰减。在另一个变型例中，强度或亮度分布1074被计算为具有跨边界134到相邻区域124的平滑过渡，并且在到背景770的边界134处衰减到预定值。
根据另一个示例，可以通过使用位置128处的强度或亮度的平方来计算图案化区域124 中的图案成分138的强度，该强度或亮度的平方已经被归一化为最大值1。平方强度或亮度将夸大强度或亮度的任何衰减。
图11示出了一种变型例，其中，在边界134处，图像处理装置100引入了跨边界134的两个相邻位置132、136之间的伪彩色强度或亮度的预定跳跃1176。引入跨边界134的强度或亮度的这种跳跃1176使得边界比图10所示的平滑过渡更加可见。图像处理装置100 可以被配置为允许用户例如通过例如经由图形用户界面与图像处理装置100交互来设置预定的跳跃1176。
图像处理装置100可以被配置为仅在输入区域122具有最小尺寸时对其进行识别。最小尺寸可以包括需要包含在输入区域122中的最小数量的像素128c、最小面积、输入区域的最小纵横比及其任意组合中的任意一个。最小尺寸不需要恒定，而可以是适应性的。参照图12示出了这一点。
图像处理装置100可以被配置为根据输入区域122中的平均强度或亮度、输入区域122 和至少部分背景770的平均强度或亮度与输入区域122中的平均强度或亮度之间的差异(例如，对比度)中的至少一个，来确定最小尺寸。
为了确定输入区域的对比度，不必计算整个背景770或包含输入区域122的数字输入图像108、110的整个剩余部分的平均强度和亮度。为了加速由图像处理装置100进行的计算过程，计算输入区域122中的平均强度或亮度与输入区域122的紧邻的周围环境1278中的平均输入强度或亮度之间的对比度可能就足够了。例如，紧邻的周围环境1278具有预定的深度，即远离输入区域122延伸预定数量的像素，诸如三至十个像素。替代地或累积地，紧邻的周围环境1278可以被计算为包含与输入区域122相同数量的像素。如果输入区域 122在一个或更多个其他输入区域122b、122a上接壤，则紧邻的周围环境1278可以包括这些输入区域122b、122a的像素。
而且，下限阈值764和上限阈值872中的至少一个可以取决于输入区域122中的绝对平均强度或亮度、输入区域122与剩余数字输入图像108、110或相应输入区域122的紧邻的周围环境1278之间的平均强度或亮度之间的对比度。例如，可以自动确定上限阈值764和下限阈值872中的至少一个，使得由输入区域122中的平均强度或亮度及其紧邻的周围环境1278的平均强度或亮度确定的对比度是恒定的。
如图12所示，具有非常高的绝对强度或亮度的输入区域122c可以被图像处理装置100 分配有比具有更小的绝对平均强度或亮度的输入区域122d更低的最小尺寸。同样的情况在考虑相应的输入区域122c、122d与数字输入图像108、110的剩余部分或紧邻的周围环境 1278之间的对比度时可以适用。如果输入区域122d的绝对平均强度或亮度和/或其与其周围环境或与数字输入图像108、110的剩余部分的对比度低于阈值，则可以丢弃输入区域122d，虽然它具有与输入区域122c相同的尺寸。如果输入区域122e的纵横比例如由于它太细长而不在预定范围内，则还可以丢弃该输入区域。
在图13中，示出了可以如何根据输入区域122的位置的强度或亮度修改时间变化的伪彩色图案116的图案特性，诸如例如图8和图9所示。
在图13所示的示例中，通过随着时间的过去交替且周期性地显示第一图案成分138和第二图案成分140来实现时间规律性，如(a)所描绘的。两个图案成分138与140之间的过渡，即图案成分138、140中的伪彩色的强度或亮度之间的过渡，可以是逐步的，如(b)、(d)、(f)以及(h)所示，或者该过渡可以为平滑的，例如锯齿状、正弦的，如(c)、(e)、 (g)以及(i)所示。根据位置128处的强度和亮度，可以改变幅度1380或等效地为图案成分138与140之间的对比度、或频率中的至少一个。
在另一个实施方式中，一个图案特性可以取决于输入区域122中的平均强度和亮度，而另一个图案特性可以取决于输入区域122内的位置126处的强度或亮度。例如，数字伪彩色图案116的时间变化率、周期或频率1382可以取决于输入区域122的平均强度和亮度。由此，整个输入区域122将具有均匀的闪烁速率。图案化区域124中的位置128处的幅度1380可以取决于输入区域122中的匹配位置126处的强度或亮度。
如果例如时间变化率被空间变化率代替且幅度被局部对比度或局部强度或亮度代替，则这当然也可以适用于空间变化的数字伪彩色图案116。在这种情况下，数字伪彩色图案116的几何形状(空间变化率)可以取决于输入区域122中的平均强度或亮度，而局部对比度可以取决于输入区域122中的位置126的强度或亮度。
图14示出了上述方法的流程图的示意图。
在第一步骤1484中，获取数字输入图像108、110。例如，在步骤1484中，可以获取用第一荧光团150的荧光光谱记录的数字荧光输入图像148。在第二可选步骤1484a中，可以获取用第二荧光团150a的荧光光谱记录的第二数字荧光输入图像148。优选地，两个荧光团150、150a的荧光光谱不同。在步骤1484b中，可以获取数字白光图像142。获取数字输入图像108、110的步骤可以包括以下至少一项：用至少一个照相机112记录数字输入图像108、110、以及从存储装置114检索数字输入图像108、110。步骤1484、1484a以及1484b 可以并行或顺序地执行。
在步骤1486中，可以进行数字输入图像108、110的预处理。对于每个不同类型的数字输入图像，预处理1486可以是不同的。例如，预处理1486可以包括任意类型的归一化、校正光学失真、非锐化屏蔽、解卷积以及任意类型的滤波。
在步骤1490中，例如可以通过应用亮度和强度上限阈值和下限阈值中的至少一个在相应的数字输入图像中确定一个或更多个输入区域122。该步骤可以在一个或更多个所获取的数字输入图像108、110中进行。可以存在其中没有确定输入区域122的一个或更多个数字输入图像108、110，例如，在图14中，为数字白光图像。然而，在另一个实施方式中，还可以在一个或更多个数字白光图像中确定输入区域122。
在下一步骤1492中，获取数字伪彩色图案并将其与一个或更多个数字输入图像108、 110中的至少一个中的至少一个输入区域122组合，以产生图案化区域124。数字伪彩色图案116可以从存储装置114检索到或使用函数生成，该函数存储在存储装置114中。
在步骤1494中，根据一个或更多个数字输入图像108、110中的至少一个的输入区域 122中的对应位置处的强度和亮度之一，调节在图案化区域124的位置处的至少一个图案特性118。
可以注意到，步骤1492和1494可以作为单个步骤执行。例如，调节可以是组合步骤的一部分。
在步骤762中，合并数字输入图像和数字伪彩色图案116，以生成至少一个数字输出图像130。
再次，步骤762可以与步骤1492和1494中的任意一个同时发生。例如，当获得并调节数字伪彩色图案116时，可以在至少一个数字输出图像130中在一个步骤中生成图案化区域124。在步骤1496中，输出至少一个数字输出图像，以便进一步处理或显示。
附图标记
100 图像处理装置
102 医学观察装置
104 显微镜
106 图像处理器
108 数字输入图像
110 数字输入图像
112 照相机系统
112a 照相机
114 存储装置
116 数字伪彩色图案
116a-e 数字伪彩色图案
118 图案特性
120 伪彩色
122 输入区域
122a-e 各种输入区域
124 图案化区域
124a 图案化区域
126 图案化区域中的位置
126c 像素
128 输入区域中的匹配位置
128c 像素
130 数字输出图像
132 输入区域的边界处的位置
134 输入区域的边界
136 跨边界的相邻位置
138 第一图案成分
140 第二图案成分
142 数字白光图像
144 对象
146 白光
148 数字荧光图像
150 荧光团
150a 另外荧光团
152 显示装置
152a 监视器
152b VR护目镜
152c 目镜
154 图像特征
460 距离
556 帧
558 传播方向
762 合并功能
764 下限阈值
766 强度分布
766a 强度分布的变化
768 线
770 背景
872 上限阈值
1074 强度或亮度分布
1074a 强度或亮度分布
1076 线
1176 跨边界的亮度或强度跳跃
1278 输入区域的周围环境
1380 幅度
1382 频率
1484 获取数字输入图像
1484a 获取数字输入图像
1484b 获取数字输入图像
1486 预处理
1490 确定输入区域
1492 获取数字伪彩色图案
1494 调节图案特性
1496 进一步处理和/或显示
I 强度
B 亮度
t 时间

Claims (15)

1.一种用于医学观察装置(102)的图像处理装置(100)，医学观察装置(102)诸如是显微镜(104)或内窥镜，其中，所述图像处理装置包括图像处理器(106)，
所述图像处理器被配置为：
获取数字伪彩色图案(116)，所述数字伪彩色图案具有图案特性(118)并且包括伪彩色(120)；
将所述数字伪彩色图案与检索到的数字输入图像(108、110)的输入区域(122)组合，由此形成图案化区域(124)；
根据所述输入区域中的对应位置(128)处的强度(I)和亮度(B)之一，改变所述图案化区域中的位置(126)处的所述图案特性；并且
输出包括所述图案化区域的至少一个数字输出图像(130)。
2.根据权利要求1所述的图像处理装置(100)，其中，所述图像处理器(106)被配置为：
在输入区域(122)中生成所述图案化区域(124)，在所述输入区域中，所述获取的数字输入图像(108、110)中的强度(I)或亮度(B)之一是在上限阈值(872)以下和在下限阈值(764)以上中的至少一项。
3.根据权利要求1或2所述的图像处理装置(100)，其中，所述图像处理器(106)被配置为：
选择具有最小数量的像素(128c)、所述输入区域(122)和所述输入区域(122)的紧邻的周围环境(1278)的至少一部分的平均强度或亮度之间的最小差异、以及最小平均强度(I)或亮度(B)中的至少一个的区域，作为所述输入区域(122)。
4.根据权利要求1至3中任意一项所述的图像处理装置(100)，其中，所述图像处理器(106)还被配置为：
根据在所述至少一个数字输出图像(130)的所述图案化区域之外的至少一个相邻位置(136)的所述强度(I)和亮度(B)中的一项，来调节所述图案化区域(124)的边界(134)处的位置(132)处的所述图案特性(118)。
5.根据权利要求1至4中任意一项所述的图像处理装置(100)，其中，所述图像处理器(106)还被配置为：
产生在所述图案化区域(124)的所述边界(134)处的位置(132)处的所述伪彩色(120)的所述强度(I)和亮度(B)之一与在所述图案化区域(124)之外的至少一个相邻位置(136)处的所述强度和亮度之一之间的预定差异。
6.根据权利要求1至5中任意一项所述的图像处理装置(100)，其中，所述图像处理器(106)还被配置为：
将所述图案化区域(124)中的位置(126)处的所述至少一种伪彩色(120)的所述亮度(B)和强度(I)之一设置为与在所述输入区域(122)中的对应位置(128)处的所述亮度(B)和强度(I)之一成比例。
7.根据权利要求1至6中任意一项所述的图像处理装置(100)，其中，所述图案化区域(124)中的所述伪彩色图案(116)包括第一图案成分(138)和第二图案成分(140)，所述第一图案成分具有与所述第二图案成分差异的伪彩色强度和伪彩色亮度中的一个，所述差异取决于所述输入区域(122)中的强度和亮度之一。
8.根据权利要求1至7中任意一项所述的图像处理装置(100)，其中，所述图像处理器(106)被配置为：
根据所述输入区域(122)中的强度和亮度之一，来改变所述数字伪彩色图案(116)的时间和空间变化率中的至少一个。
9.根据权利要求1至8中任意一项所述的图像处理装置(100)，其中，所述图像处理器(106)被配置为：
检索所述或另一个数字输入图像(108、110)，作为表示用白光(146)记录的对象(144)的数字白光图像(142)，并且检索另一个或所述数字输入图像，作为表示用至少一个荧光团(150)的荧光光谱记录的所述对象(144)的数字荧光图像(148)；
确定所述数字荧光图像中的所述输入区域(122)；
合并所述伪彩色图案(116)与所述数字白光图像(142)，根据所述数字荧光图像的所述输入区域(122)中的对应位置(128a)的亮度和强度之一，改变所述图案化区域(124)中的位置(126)处的所述伪彩色图案的亮度和强度之一。
10.一种医学观察装置(102)，所述医学观察装置包括：
根据权利要求1至9中任意一项所述的图像处理装置(100)；
照相机系统(112)，所述照相机系统被配置为记录一个或更多个数字输入图像(108、110)；以及
至少一个显示装置(152)，所述显示装置被配置为显示所述至少一个数字输出图像(130)。
11.根据权利要求10所述的医学观察装置(102)，其中，所述照相机系统(112)被配置为进行以下各项中的至少一项：用至少一个荧光团(150)的荧光光谱记录所述或另一个数字输入图像(110)，作为数字荧光图像(146)；以及用白光记录另一个或所述数字输入图像(108)，作为数字白光输入图像(142)。
12.根据权利要求10或11所述的医学观察装置(102)，其中，所述医学观察装置包括显微镜(104)或内窥镜中的至少一个。
13.一种图像处理方法，包括以下步骤：
检索一个或更多个数字输入图像(108、110)；
基于所述一个或更多个数字输入图像生成至少一个数字输出图像(130)；以及
输出所述至少一个数字输出图像，用于显示和进一步处理中的至少一项；
其中，从所述数字输入图像生成所述至少一个数字输出图像的所述步骤包括以下步骤：
将数字伪彩色图案(116)与所述一个或更多个数字输入图像中的至少一个的至少一个输入区域(122)组合，以产生图案化区域(124)，其中，所述数字伪彩色图案具有图案特性(118)；以及
根据所述一个或更多个数字输入图像中的至少一个的所述输入区域中的对应位置(128)处的强度和亮度之一，调节在所述图案化区域的位置(126)处的所述图案特性(118)。
14.根据权利要求13所述的方法，其中，在所述图案化区域(124)的边界(124)处的位置(132)和在所述图案化区域(124)之外的相邻位置(136)的强度和强度之一中产生连续的过渡。
15.一种包括指令的计算机程序，当由计算机执行所述程序时，所述指令使得所述计算机执行根据权利要求13或14所述的方法。
CN202010079131.9A 2019-01-31 2020-02-03 图像处理装置和方法、医学观察装置以及执行图像处理方法的计算机程序 Active CN111508007B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19154875.9A EP3690819B1 (en) 2019-01-31 2019-01-31 Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic
EP19154875.9 2019-01-31

Publications (2)

Publication Number Publication Date
CN111508007A true CN111508007A (zh) 2020-08-07
CN111508007B CN111508007B (zh) 2024-06-07

Family

ID=65324162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010079131.9A Active CN111508007B (zh) 2019-01-31 2020-02-03 图像处理装置和方法、医学观察装置以及执行图像处理方法的计算机程序

Country Status (4)

Country Link
US (1) US11196942B2 (zh)
EP (1) EP3690819B1 (zh)
JP (1) JP7078656B2 (zh)
CN (1) CN111508007B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149558A (ja) * 2020-03-19 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システムおよび画像処理方法
JP2022116440A (ja) * 2021-01-29 2022-08-10 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150276602A1 (en) * 2012-12-13 2015-10-01 Olympus Corporation Fluorescence observation apparatus
CN107137053A (zh) * 2016-02-15 2017-09-08 徕卡仪器（新加坡）有限公司 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
EP3248531A1 (en) * 2016-05-23 2017-11-29 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
JP2001257218A (ja) * 2000-03-10 2001-09-21 Sony Corp 微細チップの実装方法
US7846322B2 (en) * 2005-03-11 2010-12-07 Uop Llc Integrated refinery with enhanced olefin and reformate production
EP3410394B1 (en) * 2017-06-01 2020-01-15 Leica Instruments (Singapore) Pte. Ltd. Method, image processor and device for observing an object containing a bolus of a fluorophore

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150276602A1 (en) * 2012-12-13 2015-10-01 Olympus Corporation Fluorescence observation apparatus
CN107137053A (zh) * 2016-02-15 2017-09-08 徕卡仪器（新加坡）有限公司 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
EP3248531A1 (en) * 2016-05-23 2017-11-29 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation

Also Published As

Publication number Publication date
JP7078656B2 (ja) 2022-05-31
JP2020124495A (ja) 2020-08-20
EP3690819B1 (en) 2023-09-13
US20200252554A1 (en) 2020-08-06
CN111508007B (zh) 2024-06-07
EP3690819A1 (en) 2020-08-05
US11196942B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
JP6633641B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
EP3540494B1 (en) Augmented reality surgical microscope and microscopy method
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US10674892B2 (en) Image processor, image processing method, and endoscope system
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
EP2499956B1 (en) Image processing device, electronic apparatus, endoscope system, and program
JP7282796B2 (ja) 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2015045576A1 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
US20180206738A1 (en) Endoscope system and method of operating endoscope system
JPWO2017057414A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11064864B2 (en) Processor device, endoscope system, and method of operating processor device
CN111508007B (zh) 图像处理装置和方法、医学观察装置以及执行图像处理方法的计算机程序
EP3527123A1 (en) Image processing method and apparatus using elastic mapping of vascular plexus structures
JP6695414B2 (ja) 蛍光体を用いて血流方向を測定するための装置および方法
CN112584746A (zh) 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
CN115361898A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序
CN113038868B (zh) 医疗图像处理系统
JP6389299B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
CN109526203B (zh) 图像处理装置以及电子内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant