CN113219644A - 用于显微镜系统的装置、方法和计算机程序产品 - Google Patents

用于显微镜系统的装置、方法和计算机程序产品 Download PDF

Info

Publication number
CN113219644A
CN113219644A CN202110170127.8A CN202110170127A CN113219644A CN 113219644 A CN113219644 A CN 113219644A CN 202110170127 A CN202110170127 A CN 202110170127A CN 113219644 A CN113219644 A CN 113219644A
Authority
CN
China
Prior art keywords
image data
view
field
output signal
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110170127.8A
Other languages
English (en)
Other versions
CN113219644B (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN113219644A publication Critical patent/CN113219644A/zh
Application granted granted Critical
Publication of CN113219644B publication Critical patent/CN113219644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种用于显微镜系统的装置、方法和计算机程序产品。装置(110)包括接口(112)。接口(112)适于从第一光学成像模块(120a)获取样本的第一图像数据。第一图像数据具有第一视野。接口(112)适于从第二光学成像模块(120b)获取样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。装置(110)包括处理模块(114)。处理模块用于生成用于显微镜系统的显示器(130)的图像输出信号。处理模块(114)用于处理第一图像数据以检测第二视野外部的异常。关于异常的信息被重叠在图像输出信号内的第二图像数据上。处理模块用于将图像输出信号提供给显示器(130)。

Description

用于显微镜系统的装置、方法和计算机程序产品
技术领域
本发明涉及用于显微镜系统的装置、方法和计算机程序产品，更具体地，但非排他性地，涉及使用两个光学成像模块以获取具有第一视野和第二视野的图像数据。
背景技术
通常，显微镜是一种光学仪器，适用于检查太小而无法被人眼(单独)检查的物体。例如，显微镜可以提供诸如有机组织样本的物体的光学放大率。因此，通过显微镜目镜的观察可以提供非常狭窄的视野的高放大倍率图像。例如，在外科手术显微镜中，狭窄的视野可能导致对更宽的手术腔以及患者整体的感知降低。外科医生可能暂时无法感知到事件，例如出血。为了减轻这种情况，外科医生可以将眼睛从目镜上移开并用裸眼看。但是，这可能会导致注意力丧失，并且可能无法按需要频繁地执行。
在JP 2017 038285A中，示出了一种医疗观察设备，其使用第一成像部分和第二成像部分来对第一视野和第二视野进行成像。第一视野和第二视野的图像可以在同一显示设备上使用不同的显示设备或使用同一显示设备的不同区域交替显示。
发明内容
可能需要一种用于在显微镜系统中感知样本的改进概念，此概念允许外科医生对显微镜系统的放大视图外的事件有更好的感知。
通过独立权利要求的主题内容解决了该需求。
实施例是基于此发现：围绕相机的放大视图的区域中的事件，可以在用于查看通过显微镜观察的样本的放大视图的同一显示器内可见。这是通过使用两个光学成像模块的图像数据来实现的，其中一个具有第一(较宽)视野，另一个具有第二(较窄)视野，第一视野包含第二视野。在一些实施例中，可以通过检测较宽视野内的异常并提供重叠在显示器上较窄视野上的视觉指示来使事件可视化。在一些其他实施例中，可以通过将较宽视野的概览图重叠在显示器上的较窄视野的一部分上来可视化事件。在这两种情况下，显微镜的使用者(即显微镜的操作员，例如外科医生)都能够检测到较宽视野内的异常事件，而不必将注意力集中在较窄视野上，从而提高了他们在更宽的视野内发生的事件的感知。
本公开的实施例提供一种用于显微镜系统的装置。装置包括用于从第一光学成像模块获取样本的第一图像数据的接口。第一图像数据具有第一视野。接口适于从第二光学成像模块获取样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。装置包括处理模块，由于为处理第一图像数据以检测第二视野外部的异常。处理模块由于为生成用于显微镜系统的显示器的图像输出信号。关于异常的信息被重叠在图像输出信号内的第二图像数据上。处理模块配置为将图像输出信号提供给显示器。通过将有关异常的信息重叠在第二图像数据上，显微镜的用户(即显微镜的操作员，例如外科医生)能够检测较宽视野内的异常事件，而无需放弃他/她在更窄的视野上的注意力，从而提高了对在较宽视野内发生的事件的感知。
例如，显示器可以是显微镜系统的目镜的目镜显示器。换句话说，可以将目镜的显示器内的异常通知给用户/外科医生，从而使用户/外科医生能够专注于样本。
在各种实施例中，样本是手术部位的有机组织的样本。处理模块可以被配置为检测第二视野外部的出血。关于出血的信息可以重叠在第二图像数据上。因此，当使用手术显微镜放大手术部位的一部分时，可以使外科医生注意到出血。
例如，关于出血的位置的信息可以重叠在第二图像数据上。这可以使外科医生使用显微镜或通过离开显微镜并在不借助显微镜的情况下集中注意力于出血，而定位到出血源。
在一些实施例中，样本是待检查的材料的样本。处理模块可以配置为检测第二视野外部的材料内的不规则性。关于不规则性的信息可以重叠在第二图像数据上。这可以进行材料的现场检查，而不会遗漏用于现场检查的现场外部的不规则现象。
如果在第二视野外部检测到异常，则第一图像数据的概览图可以重叠在第二图像数据上。这可以警报用户/外科医生异常，并向用户提供有关异常的位置的信息。
例如，可以在第一图像数据的概览图中突出强调异常的位置。这可以向用户提供关于异常的位置的信息，这可以提高对异常做出反应所需的反应时间。
在一些实施例中，接口适于从一个或多个另外的光学成像模块获取另外的图像数据。处理模块可以配置为检测另外的图像数据内的异常。关于另外的图像数据内的异常的信息可以重叠在图像输出信号内的第二图像数据上。这可以使显微镜系统的用户感知到样本周围发生的事件。
本公开的实施例还提供了用于显微镜系统的另一装置。此装置包括用于从第一光学成像模块获取样本的第一图像数据的接口。第一图像数据具有第一视野。接口还适于从第二光学成像模块获取样本的第二图像数据。第二图像数据具有第二视野，第一视野包括第二视野。此装置包括处理模块，配置为生成用于显微镜系统的显示器的图像输出信号。第一图像数据的概览图重叠在图像输出信号内的第二图像数据上。处理模块配置为将图像输出信号提供给显示器。通过将第一图像数据重叠在第二图像数据上，显微镜的用户(即显微镜的操作员，例如外科医生)能够监视更宽的视野内的事件，而无需丢弃他/她在更窄的视野上的注意力，提高了对在更宽的视野内发生的事件的意识。
再次，显示器可以是显微镜系统的目镜的目镜显示器。换句话说，可以将目镜的显示器内的异常通知给用户/外科医生，从而使用户/外科医生能够专注于样本。
例如，样本可以是手术部位的有机组织的样本。第一图像数据可以包括手术部位的概览图。第二图像数据可以包括手术部位的一部分的放大图。手术部位的概览图可以重叠在放大视图的一部分上。因此，在使用手术显微镜观察放大视图的同时，可以使外科医生意识到放大视图外部的事件，例如出血。
在一些实施例中，接口适于从显微镜系统的输入设备获取触发信号。处理模块可以用于生成图像输出信号，使得第一图像数据的概览图响应于输入设备的触发信号而被重叠在图像输出信号内的第二图像数据之上。使用触发信号，用户/外科医生可以选择何时显示第一图像数据，例如为了有选择地将其重叠在第二图像数据上，或为了临时移除重叠。
例如，第二视野在第一视野内的位置可以在第一图像数据的概览图内突出强调。这可以向用户提供关于两个视野的相对位置的信息，并因此提高了用户的空间意识。
在各种实施例中，此接口适于从显微镜系统的输入设备获取转向信号。接口可以适于为显微镜系统的机器调整系统提供控制信号。处理模块可以用于基于转向信号来控制机器调整系统。在第一图像数据的概览图中可以突出强调第二视野在第一视野内的位置的改变。当第二视野被移动时，这可以向用户提供关于两个视野的相对位置的信息，并且因此提高了用户的空间意识。
实施例还提供一种显微镜系统，例如手术显微镜系统，其包括至少一个装置。通过将装置包括在显微镜系统中，显微镜系统的用户可以监视较宽视野内的事件，而不必将注意力集中在较窄视野上，从而提高了对在更宽的视野内发生的事件的意识。
本公开的实施例还提供用于显微镜系统的方法的实施例。方法包括从第一光学成像模块获取样本的第一图像数据。第一图像数据具有第一视野。方法包括从第二光学成像模块获取样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。方法包括处理第一图像数据以检测第二视野外部的异常。方法包括生成用于显微镜系统的显示器的图像输出信号。关于异常的信息被重叠在图像输出信号内的第二图像数据上。方法包括将图像输出信号提供给显示器。
本公开的实施例还提供了用于显微镜系统的方法的另一实施例。方法包括从第一光学成像模块获取样本的第一图像数据。第一图像数据具有第一视野。方法包括从第二光学成像模块获取样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。方法包括生成用于显微镜系统的显示器的图像输出信号。第一图像数据的概览图重叠在图像输出信号内的第二图像数据上。方法包括将图像输出信号提供给显示器。
本公开的实施例还提供一种具有程序代码的计算机程序产品，用于当在处理器上执行计算机程序产品时执行此方法的实施例中的至少一个。
附图说明
装置和/或方法的一些示例将在下面仅通过示例的方式并参考附图进行描述，其中
图1a和图1b分别示出了用于显微镜系统和显微镜系统中的装置的实施例的框图；
图2a示出了用于显微镜系统的方法的实施例的流程图；
图2b示出了用于显微镜系统的方法的另一实施例的流程图；
图3a至图3d示出了针对不同类型的图像输出信号的显示器的输出示例；以及
图4示出了包括显微镜和计算机系统的系统的示意图。
具体实施方式
现在将参考示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。
图1a和图1b分别示出了用于显微镜系统的和显微镜系统100中的装置110的实施例的框图。装置110包括接口112。接口112适于(例如配置为)从第一光学成像模块120a获取/获取样本的第一图像数据。第一图像数据具有第一视野。接口112适于(例如配置为)从第二光学成像模块120b获取/获取(相同)样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。装置110包括处理模块114，其耦接到接口112。处理模块用于分别从第一光学成像模块120a和第二光学成像模块120b获取第一图像数据和第二图像数据。处理模块还配置为生成用于显微显微镜系统的显示器130的图像输出信号。在一些实施例中，处理模块114配置为处理第一图像数据以检测第二视野外部的异常。在这种情况下，关于异常的信息可以重叠在图像输出信号内的第二图像数据上。附加地或可替代地，第一图像数据的概览图被重叠在图像输出信号内的第二图像数据之上。处理模块114配置为(经由接口112)将图像输出信号提供给显示器130。
图1b示出了显微镜系统100的实施例的框图。显微镜系统100包括装置110、第一光学成像模块120a和第二光学成像模块120b以及显示器130，其经由装置110的接口112耦接到装置110的处理模块114上。可选地，显微镜系统100包括输入设备140，一个或多个另外的光学成像模块，和/或机器调整系统150，它们也通过装置110的接口112耦接到装置110的处理模块114上。
本公开的实施例涉及用于显微镜系统的装置、方法和计算机程序产品。通常，显微镜是一种光学仪器，适用于检查太小而无法被人眼(单独)检查的物体。例如，显微镜可以提供诸如上述样本的物体的光学放大。在现代显微镜中，通常为相机或成像传感器(例如，图1b的显微镜系统的第一和/或第二光学成像模块)提供光学放大。显微镜系统100可以进一步包括一个或多个光学放大组件，其用于放大样本上的视图。在本申请的上下文中，使用术语“显微镜系统”，以便重叠系统中不属于实际显微镜(包括光学组件)的部分，但将其结合使用用显微镜，例如显示器和装置。
如果显微镜系统用于医学或生物领域，则物体可以是有机组织的样本，例如置于有盖培养皿内的或存在于患者身体的某一部分的。例如，显微镜系统100可以是用于实验室的显微镜系统，例如可以用来检查有盖培养皿中有机组织样本的显微镜。可替代地，显微镜100可以是手术显微镜系统的一部分，例如在外科手术过程中使用的显微镜。尽管结合显微镜系统描述了实施例，但是它们也可以以更普遍的方式应用于任何光学设备。例如，显微镜系统可以是用于执行材料的材料测试或材料的完整性测试的系统，例如，金属或复合材料。在这种情况下，样本可以是要使用显微镜系统检查的材料样本。
在本公开中，使用第一光学成像模块和第二光学成像模块的第一图像数据和第二图像数据。通常，每个第一光学成像模块和第二光学成像模块可以是或包括一个或多个光学(静态图像或视频)相机传感器，用于生成第一或第二图像数据。例如，每个光学成像模块可以包括基于APS(有源像素传感器)或基于CCD(电荷耦接器件)的成像传感器。例如，在基于APS的成像传感器中，使用像素的光电检测器和有源放大器在每个像素处记录光。基于APS的成像传感器通常基于CMOS(互补金属氧化物半导体)或S-CMOS(科学CMOS)技术。在基于CCD的成像传感器中，入射光子在半导体-氧化物接口处转换为电子电荷，随后通过传感器成像模块的控制电路在成像传感器模块中的电容仓之间移动，以执行成像。在实施例中，单独的光学成像模块用于生成第一图像数据和第二图像数据。换句话说，第一图像数据和第二图像数据可以源自彼此不同的成像传感器。
第一和第二图像数据具有不同的视野-第一图像数据具有第一视野，第二图像数据具有第二视野，其中第一视野包括第二视野。换句话说，第一视野包围第二视野，使得第二视野(仅)重叠第一视野的一部分。第一视野也大于第二视野。在显微镜系统的背景下，可以使用术语“更宽的视野”或“更窄的视野”。例如，第一图像数据可以具有更宽的视野(即，第一视野)，第二图像数据可以具有更窄的视野(即，第二视野)。例如，第一视野可以至少是第二个视野两倍(或至少5倍、至少10倍、至少20倍、至少50倍、至少100倍)大(即，至少重叠2x/5x/10x/20x/50x/100x的区域)。可以通过显微镜的光学组件提供的放大来获取第二个或更窄的视野。换句话说，第二视野可以是放大的视野，并且第一视野可以是未放大或概览图的视野。因此，第一成像传感器模块可以与显微镜系统的显微镜的光学组件平行布置，而第二成像传感器模块可以被布置为使得它们采用显微镜的光学组件来生成第二图像数据。
处理模块114用于生成用于显微镜系统的显示器130的图像输出信号。通常，显微镜系统的显示器130可以是任何显示器，例如除显微镜系统的目镜外还使用的辅助显示器。例如，显微镜系统可以是手术显微镜系统。在这种情况下，显示器130可以是附接到显微镜系统的基本单元的显示器，或者是布置在显微镜系统(即，在手术显微镜系统的手术显微镜处)的目镜(目镜)附近的显示器。在一些实施例中，显微镜系统可以是实验室显微镜系统。在这种情况下，除了实验室显微镜的目镜外，辅助显示器还可以是(物理或逻辑上)耦接到显微镜系统的显示器。
然而，在至少一些实施例中，显示器130可以是显微镜系统的目镜的目镜显示器。换句话说，显示器130可以被集成在显微镜系统的目镜(即，目镜)内。通常，显示器130可以用于向显微镜系统的用户(例如，外科医生)显示显微镜系统的放大视图。另外，辅助信息可以显示在显示器上，例如，基于图像输出信号。
在至少一些实施例中，图像输出信号可以包括或基于第二图像数据。换句话说，图像输出信号可以示出第二图像数据。另外，图像输出信号可以包括或基于辅助信息，例如第一图像数据或将要重叠在第二图像数据上的信息。在任何情况下，第二图像数据可能总是显示在显示器上，并且在某些情况下，可能会显示辅助信息，例如，应显微镜系统用户的要求，或在第二视野外部发现异常的情况。
因此，在一些实施例中，第一图像数据的概览图被重叠在图像输出信号内的第二图像数据之上。换句话说，处理模块可以用于生成图像输出信号，使得第一图像数据被重叠在图像输出信号内的第二图像数据之上。这样的实施例的示例可在图3a至图3c中看到，例如，其中第二图像数据由312表示，并且第一图像数据的概览图由314表示。图像输出信号可以用于使显示器将第一图像数据显示为重叠在第二图像数据上。在一些实施例中，第一图像数据可以(暂时)重叠显示器130的显示区域的全部或至少60％(或至少70％、至少80％、至少90％)。换句话说，第一图像数据可以(暂时地、近似地)在显示器130的显示区域内取代第二图像数据，或者第一图像数据可以被叠加在显示器130的显示区域内的第二图像数据之上。可替代地或除此外部，第一图像数据可以(临时地)重叠(即叠加)在第二图像数据的较小部分上。例如，第一图像数据可以被(临时地)重叠(即叠加)在显示器130的显示区域的超过至少5％(或至少10％)上，和/或显示器130的显示区域的至多30％(或至多25％、至多20％、至多15％)。例如，第一图像数据可以重叠在第二图像的中央区域外部的第二图像数据上，即，朝向第二图像数据的外围区域偏移。在一些实施例中，处理模块可以用于处理第二图像数据以检测第二图像数据的一部分，其比第二图像数据的其他部分更少关注的部分(例如，基于使用在第二图像数据内可见的手术器械，或基于在第二图像数据中可见的样本特征)，并将第一图像数据重叠在第二图像数据的更少关注的部分上。
在一些实施例中，可以在显示器上显示出第一图像数据和第二图像数据之间的空间关系。例如，如图3b所示，第二视野在第一视野内的位置可以在第一图像数据的概览图内突出强调。换句话说，第二视野的位置可以重叠在第一图像数据的概览图上。例如，第二视野的位置可以被示为在第一图像数据的概览图内的几何形式，诸如椭圆/圆形或矩形。
如上述，如图3a至图3d所示，样本可以是手术部位的有机组织的样本。因此，第一图像数据可以包括手术部位的概览图。例如，第一图像数据可以示出整个手术部位或包括第二视野的手术部位的一部分。第二图像数据可以包括手术部位的一部分的放大视图(这也由第一图像数据示出)。手术部位的概览图可以重叠在放大视图的一部分上。换句话说，手术部位的概览图(即第一图像数据)可以重叠在图像输出信号内放大视图(即第二图像数据)的一部分上。
在一些实施例中，可以处理第一图像数据，以检测发生在第二视野外部的事件，例如，为了在用户专注于第二视野的同时向用户/外科医生警报事件。这些事件可能会有所不同–例如，在手术显微镜中，仅在第二视野外部可见的出血可能会成为此类事件，或协助主要外科医生操作手术显微镜的其他外科医生的行为。此类事件也可能被称为“异常”，因为它们偏离无事件的规范。因此，处理模块可以配置为处理第一图像数据以检测第二视野外部的异常。例如，可以使用图像处理算法或使用机器学习模型/人工智能来处理第一图像数据，以便检测异常。例如，可以训练机器学习模型以检测图像数据中的异常，例如，检测图像数据内诸如出血的异常的发生和/或位置。例如，如以上所暗示的，处理模块可以配置为检测第二视野外部的出血。在这种情况下，关于出血的信息可被重叠在第二图像数据上，例如，如图3c和图3d所示。例如，视觉指示器，诸如象形图、箭头、变色、闪烁效果或文本(例如图3c和图3d的文本警报336)可以作为出血的信息重叠在第二图像数据上。在一些实施例中，关于出血的位置的信息被重叠在第二图像数据上，例如，在第二图像数据的一侧的重叠表示相对于第二视野的不规则性的位置，例如，如在图3c和3d中箭头334和342所示，或者通过图3c的矩形332所示。例如，关于出血的信息可以重叠在第二图像数据的指示出血的位置的一部分上。例如，如果出血位于相对于第二视野的右侧，则关于出血的信息可以重叠在第二图像数据等的右侧。替代地或另外，此出血位置部位可能会在手术部位概览图中突出强调，例如如图3c中的矩形332所示。换句话说，在检测到出血时，手术部位的概览图可以重叠在图像输出信号内的放大视图的一部分(即第二图像数据)上。出血的位置可以在手术部位的概览图中突出强调。更普遍地说，如果在第二视野外部检测到异常，则第一图像数据的概览图可以重叠在第二图像数据上。异常的位置可以在第一图像数据的概览图中突出强调。
本公开的实施例还可以在医学领域外部的其他领域中使用。例如，实施例可以用于材料测试中。因此，样本可以是待检查的材料的样本。在材料测试中，通常会进行抽查，以观察材料在样本表面随机或预先定义的点。在某些系统中，将忽略样本的其他点。然而，在实施例中，可以处理第一图像数据以便检测用于抽查的位置外部的异常。换句话说，处理模块可以用于检测第二视野外部的材料内的不规则性(这属于异常)。例如，处理模块可以用于通过将第一图像数据与适于当前材料的参考图像数据进行比较来检测不规则性。如果第一图像数据和参考图像数据之间的偏差大于阈值，则可以检测到不规则性。在一些实施例中，参考图像数据可以基于先前的第一图像数据，即，处理模块可以用于基于先前的第一图像数据生成参考图像数据。关于不规则性的信息可以被重叠在第二图像数据上(即，在检测到不规则性时)，例如，象形文字、文本、闪烁效果或显示屏上显示的信息变色。再次，关于不规则性的位置的信息可以重叠在第二图像数据上，例如，作为第一图像数据概览图的一部分，或作为第二图像数据一侧的重叠，用于指示相对于第二视野的不规则性的位置。
通常，实施例不限于图像数据的两个源。例如，可以使用任意数量的光学成像模块来生成图像数据，可以对其进行处理以检测异常。换句话说，此接口可以适于从一个或多个另外的光学成像模块(除了第一和第二光学成像模块外部)获取另外的图像数据。例如，一个或多个另外的光学成像模块可以被布置在显微镜的外部，并且可以在样本上或包括显微镜系统(例如手术室)的房间中提供一个或多个另外的视野。处理模块可以用于检测另外的图像数据内的异常。关于另外的图像数据内的异常的信息可以重叠在图像输出信号内的第二图像数据上，例如，与关于第一图像数据中的异常的信息的重叠相似。
在一些实施例中，用户/外科医生可能更喜欢仅按需显示重叠图。换句话说，(关于异常的信息或第一图像数据的)重叠图仅在由显微镜系统的用户/外科医生触发时才显示。这种触发可以经由显微镜系统的输入设备140获取。因此，接口112可以适于从显微镜系统的输入设备140获取触发信号。例如，输入设备可以是按钮、基于触摸的接口(例如触摸屏或电容开关)、基于光的输入设备(例如，通过阻挡光源和接收器之间的路径，输入设备被激活)、基于超声的输入设备(例如，通过将手或物体靠近基于超声的输入设备，输入设备被激活)和语音激活的输入设备。为响应于输入设备的触发信号，处理模块可以用于生成图像输出信号，使得第一图像数据的概览图或关于异常的信息被重叠在图像输出信号内的第二图像数据之上。例如，处理模块可以用于生成图像输出信号，使得仅当和/或只要从输入设备获取触发信号时，第一图像数据的概览图或关于异常的信息被重叠在图像输出信号内的第二图像数据之上。
在一些实施例中，第一图像数据和第二图像数据还可用于示出显微镜系统的控制。许多显微镜系统，例如许多外科手术显微镜系统，具有机器调整系统，例如机器臂，用于相对于要使用该显微镜系统观察的样本，来定位显微镜系统的显微镜。机器调整系统可以用于调整显微镜系统的臂以便相对于样本移动显微镜。例如，机器调整系统可以是(手术)显微镜系统的机器臂。当使用机器调整系统时，第一图像数据和第二图像数据可用于示出显微镜位置的变化，以及第一和/或第二视野的相应变化。这样的位置变化可以由转向信号触发。因此，接口112可以适于(或配置为)从显微镜系统(例如，如上所述的输入设备)的输入设备140获取/获取转向信号。此外，此接口可以适于(例如配置为)为显微镜系统的机器调整系统150提供/提供控制信号。处理模块可以配置为基于转向信号来控制机器调整系统。换句话说，转向信号可以指示显微镜将在其中移动的方向，并且处理模块可以使用转向信号为机器调整系统生成相应的控制信号，可以用于指示机器调整系统将显微镜移至所需位置。显微镜的移动可以影响第一和/或第二视野的视野变化。可以在第一图像数据(由处理模块)的概览图内突出强调第二视野在第一视野内(即相对于第一视野)的位置变化。换句话说，处理模块可以用于指示图像输出信号内第二视野相对于第一视野的位置的改变。
处理模块114还用于将图像输出信号提供给显示器130。换句话说，处理模块114可以用于将图像输出信号发送给显示器130，例如，为了向显示器130提供图像输出信号。
接口112可以对应于一个或多个用于接收和/或发送信息的输入和/或输出，此信息可以是模块内、模块之间或不同实体的模块之间的，根据指定代码的数字(比特)值。例如，接口112可以包括用于接收和/或发送信息的接口电路。在实施例中，处理模块114可以使用一个或多个处理单元、一个或多个处理设备、用于处理的任何方法(例如处理器、计算机或可编程硬件组件，可以与相应适配的软件一起操作)来实现。换句话说，处理模块114的描述的功能也可以在软件中实现，然后在一个或多个可编程硬件组件上执行。这样的硬件组件可以包括通用处理器、数字信号处理器(DSP)、微控制器等。
结合提出的概念或上面或下面描述的一个或多个示例(例如，图2a至图4)提及了显微镜系统或用于显微镜系统的装置的更多细节和方面。显微镜系统或用于显微镜系统的装置可包括与提出的概念的一个或多个方面或上面或下面所述的一个或多个示例相对应的一个或多个另外的可选特征。
图2a示出了用于显微镜系统的(对应)方法的实施例的流程图。例如，显微镜系统可以类似于图1b的显微镜系统来实现。方法包括从第一光学成像模块获取210样本的第一图像数据。第一图像数据具有第一视野。方法包括从第二光学成像模块获取220样本的第二图像数据。第二图像数据具有第二视野。第一视野包括第二视野。方法的实施例包括处理230第一图像数据，检测第二视野外部的异常。方法的实施例包括生成240用于显微镜系统的显示器130的图像输出信号。关于异常的信息被重叠在图像输出信号内的第二图像数据上。方法包括将图像输出信号提供250到显示器。
如上所述，可以将图1a和/或图1b中结合装置110和显微镜系统100描述的特征同样地应用于图2a的方法。
结合提出的概念或上面或下面描述的一个或多个示例(例如，图1a至图1b，图2b至图4)提及此方法的更多细节和方面。方法可以包括与提出的概念的一个或多个方面或上面或下面描述的一个或多个示例相对应的一个或多个另外的可选特征。
图2b示出了用于显微镜系统的(对应)方法的另一实施例的流程图。例如，显微镜系统可以类似于图1b的显微镜系统来实现。方法包括从第一光学成像模块获取210样本的第一图像数据。第一图像数据具有第一视野。方法包括从第二光学成像模块获取220样本的第二图像数据。第二图像数据具有第二视野，第一视野包括第二视野。方法包括生成240用于显微镜系统的显示器130的图像输出信号。第一图像数据的概览图重叠在图像输出信号内的第二图像数据上。方法包括将图像输出信号提供250到显示器。
如上所述，可以将图1a和/或图1b中结合装置110和显微镜系统100描述的特征同样地应用于图2b的方法。
结合提出的概念或上面或下面描述的一个或多个示例(例如，图1a至图2a，图3a至图4)提及此方法的更多细节和方面。方法可以包括与提出的概念的一个或多个方面或上面或下面描述的一个或多个示例相对应的一个或多个另外的可选特征。
通过显微镜目镜进行的观察可提供非常狭窄的视野的高放大倍率图像，这可能会损害对更广阔的手术腔(即手术部位)以及整个患者的感知。在某些情况下，这可能导致对放大视图外部的事件的延迟识别。另一方面，外科医生可能会从目镜上移开眼睛并用裸眼看，但这可能对集中注意力不利，并且可能不会按需经常执行。
实施例可以使用具有宽视野(FOV，例如第一视野)的二次相机来提供关于患者的感知。例如，此二次图像(即，第一图像数据)可以在目镜中或在任何其他显示器(显微镜系统的)上数字显示。例如，可以根据请求显示二次图像，例如，按下按钮时，或连续画中画(作为重叠)。例如，AI(人工智能)或其他图像处理算法可以实时分析图像并在某些事件中(例如，在检测到异常时)提供警报，例如出血。例如，宽的FOV图像(即第一图像数据)可用于提供手术腔(即第一视野)的概览图，以及显微镜视野(即第二视野)的确切位置，例如计算机游戏中的迷你概览图图。概览图图可用于使用显微镜的机器功能(即机器调整系统)来控制显微镜成像的区域。额外的外部相机(例如一个或多个另外的光学成像模块)可以捕获其他视野，例如手术点宽视野和用于手术室感知的360°相机。
结合提出的概念或上面或下面描述的一个或多个示例(例如，图1a至图4)提及此显微镜系统的更多细节和方面。显微镜系统可以包括与提出的概念的一个或多个方面或上面或下面描述的一个或多个示例相对应的一个或多个另外的可选特征。
图3a至图3d示出了针对不同类型的图像输出信号的显示器的输出的示例。在图3a至图3d中，示出了手术部位的图像数据。在图3a中，示出了显示器的输出310，其中第一图像数据314的概览图被重叠在第二图像数据312上。在图3a(以及图3b和图3c)中，第一图像数据示出包括第二图像数据的视野的视野。在一些实施例中，可以在第一图像数据的概览图中示出关于异常的信息。在图3b中，示出了显示器的输出320，其中相对于第一图像数据的第二图像数据的位置322在第一图像数据的概览图内被突出强调。在图3c中，示出了显示器的输出330，其中第一图像数据的另一部分332被突出强调，以突出强调异常的位置。另外，并且可选地，在图3c中，示出了箭头334，指示异常相对于第二视野的位置，和/或文本警报336被示为向用户发出警报，例如，提醒外科医生出血的发生。在图3d中，示出了显示器的输出340，其中未示出第一图像数据重叠在第一图像数据上。相反，关于异常的信息被显示为箭头，指示异常相对于第二视野的位置。
结合提出的概念或上面或下面描述的一个或多个示例(例如，图1a至图2b、图4)提及此示例的更多细节和方面。显微镜系统可以包括与提出的概念的一个或多个方面或上面或下面描述的一个或多个示例相对应的一个或多个另外的可选特征。
图4示出了包括一个显微镜和一个计算机系统的系统的示意图。一些实施例涉及一种显微镜，此显微镜包括结合一个或多个图1至图3d中描述的系统。可替代地，显微镜可以是如结合图1至图3d中的一个或多个描述的系统的一部分或连接到此系统。图4示出了配置为执行本文描述的方法的系统400的示意图。系统400包括显微镜410和计算机系统420。显微镜410用于拍摄图像并且连接到计算机系统420。计算机系统420用于执行本文描述的方法的至少一部分。例如，计算机系统可以实现装置110。计算机系统420可以用于执行机器学习算法。计算机系统420和显微镜410可以是分开的实体，但是也可以在一个共同的壳体中被集成在一起。计算机系统420可以是显微镜410的中央处理系统的一部分，和/或计算机系统420可以是显微镜410的子部件的一部分，例如传感器、执行器、相机或照明单元等。
计算机系统420可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、笔记本电脑、平板电脑或移动电话)，或者可以是分布式计算机系统(例如，具有一个或多个处理器和分布在各个位置的一个或多个存储设备的云计算系统，例如，在本地客户端和/或一个或多个远程服务器场和/或数据中心)。计算机系统420可以包括任何电路或电路的组合。在一个实施例中，计算机系统420可以包括一个或多个可以是任何类型的处理器。如本文使用的，处理器可以指任何类型的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)，例如，显微镜或显微镜组件(例如相机)的或任何其他类型的处理器或处理电路。可以包括在计算机系统420中的其他类型的电路可以是定制电路、专用集成电路(ASlC)等，或类似，例如，用于无线设备的一个或多个电路(例如通信电路)，例如移动电话、平板电脑、笔记本电脑、双向无线电和类似的电子系统。计算机系统420可以包括一个或多个存储设备，其可以包括一个或多个适合特定应用的存储元件，例如随机存取存储器(RAM)形式的主存储器、一个或多个硬盘驱动器、和/或一个或多个处理可移动媒体的驱动器，例如光盘(CD)、闪存卡、数字视频光盘(DVD)，以及类似的。计算机系统420还可以包括显示设备、一个或多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别设备，或任何其他设备，其允许系统用户将信息输入到计算机系统420并从计算机系统420接收信息。
方法步骤中的一些或全部可以通过(或使用)硬件装置(例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，这种装置可以执行一些最重要的方法步骤中的一个或多个。
取决于某些实施要求，本发明的实施例可以以硬件或软件来实施。可以使用非暂时性存储介质执行该实现，例如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器，其具有存储在其上的电子可读控制信号，与可编程计算机系统配合(或能够配合)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，能够与可编程计算机系统协作，从而执行本文描述的方法之一。
通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码可用于执行一种方法。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的，用于执行本文描述的方法之一的计算机程序。
换句话说，因此，本发明的实施例是一种计算机程序，当计算机程序在计算机上运行时，计算机程序具有用于执行本文描述的方法之一的程序代码。
因此，本发明的进一步实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，用于在由处理器执行时执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的进一步实施例是如本文所述的装置，其包括处理器和存储介质。
因此，本发明的进一步实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列例如可以配置为经由数据通信连接，例如经由互联网来传输。
进一步实施例包括处理装置，例如计算机或可编程逻辑器件，配置为或适于执行本文描述的方法之一。
进一步实施例包括一种计算机，其上安装了用于执行本文描述的方法之一的计算机程序。
根据本发明的进一步实施例包括配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)转移到接收器的装置或系统。接收器可以是例如计算机、移动设备、存储设备或类似的。此装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常，此方法优选地由任何硬件装置执行。
实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指代计算机系统可以用来执行特定任务而不使用明确的指令，而是依靠模型和推理的算法和统计模型。例如，在机器学习中，不使用对数据的基于规则的变换，可以使用对历史和/或训练数据的分析推断出的数据的变换。例如，可以使用机器学习模型或使用机器学习算法来分析图像的内容。为了使机器学习模型分析图像的内容，可以使用训练图像作为输入并且训练内容信息作为输出来训练机器学习模型。通过使用大量的训练图像和/或训练序列(例如单词或句子)和相关的训练内容信息(例如标签或注释)训练机器学习模型，机器学习模型“学习”以识别图像的内容，因此可以使用机器学习模型识别训练数据中未包含的图像的内容。同样的原理也可以用于其他类型的传感器数据：通过使用训练传感器数据和所需输出来训练机器学习模型，机器学习模型可以“学习”传感器数据和输出之间的转换，可以用于基于提供给机器学习模型的非训练传感器数据提供输出。提供的数据(例如，传感器数据、元数据和/或图像数据)可以被预处理以获取特征向量，特征向量被用作机器学习模型的输入。
可以使用训练输入数据来训练机器学习模型。上面指定的示例使用一种称为“监督学习”的训练方法。在监督学习中，使用多个训练样本来训练机器学习模型，其中每个样本可以包括多个输入数据值和多个期望的输出值，即每个训练样本与一个期望的输出值相关联。通过指定训练样本和期望的输出值，机器学习模型会根据类似于训练过程中提供的样本的输入样本“学习”要提供的输出值。除了监督学习外部，还可以使用半监督学习。在半监督学习中，一些训练样本缺少相应的期望的输出值。监督学习可以基于监督学习算法(例如，分类算法、回归算法或相似性学习算法)。当输出被限制为一组有限的值(分类变量)，即输入被分类为有限的一组值中的一个，可以使用分类算法。当输出可能具有任何数值(在一个范围内)时，可以使用回归算法。相似性学习算法可能与分类和回归算法都相似，但基于从示例中学习的，此示例是使用衡量两个对象相似性或相关程度的相似性函数。除了监督学习或半监督学习外部，还可以使用无监督学习来训练机器学习模型。在无监督学习中，可以提供(仅)输入数据，且可以使用无监督学习算法来查找输入数据中的结构(例如，通过对输入数据进行分组或聚簇，查找数据中的共同点)。聚簇是将包含多个输入值的输入数据分配到子集(簇)中，以便根据一个或多个(预定义的)相似性标准，同一簇中的输入值是相似的，而与包含在其他簇中的输入值不相似。
强化学习是第三组机器学习算法。换句话说，可以使用强化学习来训练机器学习模型。在强化学习中，训练一个或多个软件参与者(称为“软件代理”)以在环境中采取动作。基于采取的动作，计算奖励。强化学习基于对一个或多个软件代理进行选择动作的培训，从而增加累积奖励，从而使软件代理在完成其接收到的任务时变得更好(通过增加奖励来证明)。
此外，一些技术可以应用于某些机器学习算法。例如，可以使用特征学习。换句话说，可以使用特征学习来至少部分地训练机器学习模型，和/或机器学习算法可以包括一个特征学习组件。特征学习算法(可以称为表示学习算法)可以将信息保留在其输入中，但也以使其有用的方式对其进行转换，通常作为执行分类或预测之前的预处理步骤。特征学习例如可以基于主组件分析或聚簇分析。
在一些示例中，可以使用异常检测(即，异常值检测)，其目的是通过与大多数输入或训练数据明显不同，来提供对引起怀疑的输入值的识别。换句话说，可以使用异常检测来至少部分地训练机器学习模型，和/或机器学习算法可以包括异常检测组件。
在一些示例中，机器学习算法可以将决策树用作预测模型。换句话说，机器学习模型可以基于决策树。在决策树中，关于项目(例如一组输入值)的观察可以由决策树的分支表示，并且与此项目相对应的输出值可以由决策树的叶子表示。决策树可以支持离散值和连续值作为输出值。如果使用离散值，则决策树可以表示为分类树，如果使用连续值，则决策树可以表示为回归树。
关联规则是可以在机器学习算法中使用的另一种技术。换句话说，机器学习模型可以基于一个或多个关联规则。通过识别大量数据中变量之间的关系来创建关联规则。机器学习算法可以识别和/或利用一个或多个关联规则，这些关联规则表示从数据中得出的知识。规则可以例如用于存储、操纵或应用知识。
机器学习算法通常基于机器学习模型。换句话说，术语“机器学习算法”可以表示可以用于创建、训练或使用机器学习模型的一组指令。术语“机器学习模型”可以表示代表学习的知识(例如，基于由机器学习算法执行的训练)的一个数据结构和/或一组规则。在实施例中，机器学习算法的使用可以暗示一个潜在的机器学习模型(或多个潜在的机器学习模型)的使用。机器学习模型的使用可能意味着机器学习模型和/或作为机器学习模型的数据结构/一组规则由机器学习算法训练。
例如，机器学习模型可以是人工神经网络(ANN)。人工神经网络是受生物神经网络启发的系统，例如可以在视网膜或大脑中发现的系统。ANN包括多个互连的节点以及节点之间的多个连接，所谓的边缘。通常有三种类型的节点：接收输入值的输入节点，(仅)连接到其他节点的隐藏节点以及提供输出值的输出节点。每个节点可以代表一个人工神经元。每个边缘可以从一个节点到另一节点传输信息。节点的输出可以被定义为其输入(例如其输入之和)的(非线性)函数。可以基于提供输入的边缘或节点的“权重”在函数中使用节点的输入。节点和/或边缘的权重可以在学习过程中进行调整。换句话说，人工神经网络的训练可以包括调整人工神经网络的节点和/或边缘的权重，即，对于给定输入实现期望的输出。
可替代地，机器学习模型可以是支持向量机、随机森林模型或梯度提升模型。支持向量机(即支持向量网络)是具有相关学习算法的监督学习模型，可用于分析数据(例如，在分类或回归分析中)。可以通过向输入提供属于两个类别之一的多个训练输入值，来训练支持向量机。可以训练支持向量机以将新的输入值分配给两个类别之一。可替代地，机器学习模型可以是贝叶斯网络，其是概率有向非循环图形模型。贝叶斯网络可以使用有向非循环图表示一组随机变量及其条件依存关系。可替代地，机器学习模型可以基于遗传算法，遗传算法是模仿自然选择过程的搜索算法和启发式技术。
如本文所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合，并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面，但是很明显，这些方面也代表了对应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应框或项目或特征。
参考标志列表
100 显微镜系统
110 装置
112 接口
114 处理模块
120a 第一光学成像模块
120b 第二光学成像模块
130 显示器
140 输入设备
150 机械调整系统
210 获取第一图像数据
220 获取第二图像数据
230 处理第一图像数据
240 生成图像输出信号
250 提供图像输出信号
310 显示器的输出
312 第二图像数据
314 第一图像数据的概览图
320 显示器的输出
322 第二图像数据的位置
330 显示器的输出
332 异常的位置
334 指示异常的位置的箭头
336 文本警报
340 显示器的输出
342 指示异常的位置的箭头
400 系统
410 显微镜
420 计算机系统

Claims (15)

1.一种用于显微镜系统(100；400)的装置(110；420)，所述装置包括：
接口(112)，用于从第一光学成像模块(120a)获取样本的第一图像数据，所述第一图像数据具有第一视野，以及用于从第二光学成像模块(120b)获取所述样本的第二图像数据，所述第二图像数据具有第二视野，所述第一视野包括所述第二视野；以及
处理模块(114)，被配置为：
处理所述第一图像数据，以检测所述第二视野外部的异常，
生成用于所述显微镜系统的显示器(130)的图像输出信号，其中关于所述异常的信息被重叠在所述图像输出信号内的第二图像数据上，以及
将所述图像输出信号提供给所述显示器。
2.根据权利要求1所述的装置，其中，所述显示器(130)是所述显微镜系统的目镜的目镜显示器。
3.根据权利要求1或2所述的装置，其中，所述样本是手术部位的有机组织的样本，其中，所述处理模块被配置为检测所述第二视野外部的出血，其中，关于出血的信息被重叠在所述第二图像数据上。
4.根据权利要求3所述的装置，其中，关于出血的位置的信息被重叠在所述第二图像数据上。
5.根据权利要求1至4中的任一项所述的装置，其中，所述样本是待检查的材料的样本，其中，所述处理模块被配置为检测所述第二视野外部的材料内的不规则性，其中，关于所述不规则性的信息被重叠在所述第二图像数据上。
6.根据权利要求1至5中的任一项所述的装置，其中，如果在所述第二视野外部检测到异常，则将所述第一图像数据的概览图重叠在所述第二图像数据上。
7.根据权利要求6所述的装置，其中，在所述第一图像数据的所述概览图中突出强调所述异常的位置。
8.根据权利要求1至7中的任一项所述的装置，其中，所述接口适于从一个或多个另外的光学成像模块获取另外的图像数据，其中，所述处理模块被配置为检测所述另外的图像数据内的异常，其中，关于所述另外的图像数据内的所述异常的信息被重叠在所述图像输出信号内的所述第二图像数据上。
9.一种用于显微镜系统(100；400)的装置(110；420)，所述装置包括：
接口(112)，用于从第一光学成像模块(120a)获取样本的第一图像数据，所述第一图像数据具有第一视野，以及用于从第二光学成像模块(120b)获取所述样本的第二图像数据，所述第二图像数据具有第二视野，所述第一视野包括所述第二视野；以及
处理模块，被配置为：
生成用于所述显微镜系统的显示器(130)的图像输出信号，其中所述第一图像数据的概览图被重叠在所述图像输出信号内的所述第二图像数据上，以及
将所述图像输出信号提供给所述显示器。
10.根据权利要求9所述的装置，其中，所述样本是手术部位的有机组织的样本，其中，所述第一图像数据包括所述手术部位的概览图，其中，所述第二图像数据包括所述手术部位的一部分的放大视图，其中，所述手术部位的所述概览图被重叠在所述放大视图的一部分上。
11.根据权利要求9或10所述的装置，其中，所述接口(112)适于从所述显微镜系统的输入设备(140)获取触发信号，其中，所述处理模块被配置为生成所述图像输出信号，使得响应于所述输入设备的所述触发信号，所述第一图像数据的所述概览图被重叠在所述图像输出信号内的所述第二图像数据上，
和/或其中在所述第一图像数据的所述概览图内突出强调所述第二视野在所述第一视野内的位置。
12.根据权利要求11所述的装置，其中，所述接口(112)适于从所述显微镜系统的输入设备(140)获取转向信号，以及适于为所述显微镜系统的机器调整系统(150)提供控制信号，其中，所述处理模块被配置为基于所述转向信号来控制所述机器调整系统，并且其中，在所述第一图像数据的所述概览图内突出强调所述第二视野在所述第一视野内的位置的变化。
13.一种用于显微镜系统的方法，所述方法包括：
从第一光学成像模块获取(210)样本的第一图像数据，所述第一图像数据具有第一视野；
从第二光学成像模块获取(220)所述样本的第二图像数据，所述第二图像数据具有第二视野，所述第一视野包括所述第二视野；
处理(230)所述第一图像数据，以检测所述第二视野外部的异常；
生成(240)用于所述显微镜系统的显示器(130)的图像输出信号，其中关于所述异常的信息被重叠在所述图像输出信号内的第二图像数据上；以及
将所述图像输出信号提供(250)给所述显示器。
14.一种用于显微镜系统的方法，所述方法包括：
从第一光学成像模块获取(210)样本的第一图像数据，所述第一图像数据具有第一视野；
从第二光学成像模块获取(220)所述样本的第二图像数据，所述第二图像数据具有第二视野，所述第一视野包括所述第二视野；
生成(240)用于所述显微镜系统的显示器(130)的图像输出信号，其中所述第一图像数据的概览图被重叠在所述图像输出信号内的第二图像数据上；以及
将所述图像输出信号提供(250)给所述显示器。
15.一种具有程序代码的计算机程序产品，所述程序代码用于当在处理器上执行所述计算机程序产品时执行根据权利要求13或14所述的方法之一。
CN202110170127.8A 2020-02-05 2021-02-05 用于显微镜系统的装置、方法和计算机程序产品 Active CN113219644B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20155554.7 2020-02-05
EP20155554.7A EP3862804A1 (en) 2020-02-05 2020-02-05 Apparatuses, methods and computer programs for a microscope system

Publications (2)

Publication Number Publication Date
CN113219644A true CN113219644A (zh) 2021-08-06
CN113219644B CN113219644B (zh) 2023-12-29

Family

ID=69500559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170127.8A Active CN113219644B (zh) 2020-02-05 2021-02-05 用于显微镜系统的装置、方法和计算机程序产品

Country Status (3)

Country Link
US (1) US11588986B2 (zh)
EP (1) EP3862804A1 (zh)
CN (1) CN113219644B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102809808A (zh) * 2012-08-15 2012-12-05 深圳市麟静科技有限公司 医用3d影像手术显微镜系统
US20190324252A1 (en) * 2018-04-24 2019-10-24 Siu Wai Jacky Mak Surgical microscope system with automatic zoom control

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
US8064663B2 (en) * 2004-12-02 2011-11-22 Lieven Van Hoe Image evaluation system, methods and database
EP2149067A1 (en) * 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
DE102010043370B4 (de) * 2010-11-04 2014-03-13 Siemens Aktiengesellschaft Kombination von MR-Signalen mit Unterdrückung unerwünschter Signalanteile
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置
US10924668B2 (en) * 2011-09-19 2021-02-16 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
US20140066700A1 (en) * 2012-02-06 2014-03-06 Vantage Surgical Systems Inc. Stereoscopic System for Minimally Invasive Surgery Visualization
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
WO2014160819A1 (en) * 2013-03-27 2014-10-02 Bae Systems Information And Electronic Systems Integration Inc. Multi field-of-view multi sensor electro-optical fusion-zoom camera
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9451185B2 (en) * 2014-03-07 2016-09-20 Raytheon Company Multi-spectral optical tracking system and methods
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US9881368B2 (en) * 2014-11-07 2018-01-30 Casio Computer Co., Ltd. Disease diagnostic apparatus, image processing method in the same apparatus, and medium storing program associated with the same method
US20160203263A1 (en) * 2015-01-08 2016-07-14 Imbio Systems and methods for analyzing medical images and creating a report
JP6654006B2 (ja) 2015-08-11 2020-02-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
WO2017191487A1 (en) * 2016-05-02 2017-11-09 Novartis Ag Overlay imaging for registration of a patient eye for laser surgery
EP3351992B1 (en) * 2017-01-24 2019-10-23 Horiba France SAS Micro-spectrometry measurement method and system
EP3575847A4 (en) * 2017-01-26 2020-01-08 Sony Olympus Medical Solutions Inc. DEVICE FOR MEDICAL OBSERVATION AND CONTROL METHOD
JP7095693B2 (ja) * 2017-05-30 2022-07-05 ソニーグループ株式会社 医療用観察システム
US10659848B1 (en) * 2019-03-21 2020-05-19 International Business Machines Corporation Display overlays for prioritization of video subjects
US11196943B2 (en) * 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102809808A (zh) * 2012-08-15 2012-12-05 深圳市麟静科技有限公司 医用3d影像手术显微镜系统
US20190324252A1 (en) * 2018-04-24 2019-10-24 Siu Wai Jacky Mak Surgical microscope system with automatic zoom control

Also Published As

Publication number Publication date
EP3862804A1 (en) 2021-08-11
US20210243387A1 (en) 2021-08-05
US11588986B2 (en) 2023-02-21
CN113219644B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
O’Connor et al. Deep learning-based cell identification and disease diagnosis using spatio-temporal cellular dynamics in compact digital holographic microscopy
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
US20220133215A1 (en) Method for evaluating skin lesions using artificial intelligence
CN113219644B (zh) 用于显微镜系统的装置、方法和计算机程序产品
Leopold et al. Segmentation and feature extraction of retinal vascular morphology
EP2834775B1 (en) Method and system for assisting the visual exploration of an image during a target search
US20230169698A1 (en) Microscope system and corresponding system, method and computer program for a microscope system
US11978199B2 (en) Optical imaging system and related apparatus, method and computer program
Raghavan Attention guided grad-CAM: an improved explainable artificial intelligence model for infrared breast cancer detection
Shichi et al. Automated detection of fundic gland polyps from endoscopic images using SSD
US20240041320A1 (en) Device for a Surgical Imaging System, Surgical Imaging System, Method and Computer Program
EP4174553A1 (en) System, method and computer program for a microscope of a surgical microscope system
WO2023053991A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
EP3879328A1 (en) Systems, methods and computer programs for a microscope and microscope system
Acharya et al. Enhanced efficientnet network for classifying laparoscopy videos using transfer learning technique
EP4338699A1 (en) System, method, and computer program for a surgical imaging system
EP4223250A1 (en) Surgical microscope system and system, method and computer program for a microscope of a surgical microscope system
US20230301507A1 (en) Control system for an imaging system, imaging system and method for imaging
Lanza et al. Gesture recognition for Healthcare 4.0: a machine learning approach to reduce clinical infection risks
WO2022168216A1 (ja) 推定装置、顕微鏡システム、処理方法、及び記憶媒体
Abdullah et al. Medical Steel Fault Prediction Using Deep Learning Techniques.
US20240070537A1 (en) Microscopy System and Method for Generating a Machine-Learned Model for Processing Microscope Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant