CN104641634A - 检查成像系统、以及医学成像系统、设备和方法 - Google Patents

检查成像系统、以及医学成像系统、设备和方法 Download PDF

Info

Publication number
CN104641634A
CN104641634A CN201380048155.6A CN201380048155A CN104641634A CN 104641634 A CN104641634 A CN 104641634A CN 201380048155 A CN201380048155 A CN 201380048155A CN 104641634 A CN104641634 A CN 104641634A
Authority
CN
China
Prior art keywords
image
pixel
scene
distance
range information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380048155.6A
Other languages
English (en)
Inventor
萨拉·伊丽莎白·威特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104641634A publication Critical patent/CN104641634A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种手术成像系统，包括：图像获取装置，能操作以获取场景的图像；距离提取装置，能操作以从场景中的点提取距离信息，距离信息是图像获取装置与场景中的点之间的距离；图像生成装置，能操作以生成像素，生成像素与所获取的图像中的像素相关，并且从距离信息得出生成像素的值；图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关的所获取的图像的像素以形成合成图像；以及图像显示装置，能操作以显示合成图像。

Description

检查成像系统、以及医学成像系统、设备和方法
技术领域
本发明涉及检查成像系统、以及医学成像系统、设备及方法。
背景技术
本文中所提供的“背景技术”描述是为了整体地呈现本公开的背景的目的。对在背景技术部分描述的本发明人的工作、以及在申请时不能另作为现有技术的说明书的方面既没有明示也没有暗示被认为是本发明的现有技术。
当对人体的内部区域进行手术时，减少对身体的切口或侵入的次数和尺寸是有利的。为了完成这个，经常利用涉及内窥镜检查法的手术方法。内窥镜检查法是利用直接被插入身体以获取和显示身体在显示装置(诸如，电视监控器)上的内部图像的内窥镜的医学成像方法。使用内窥镜进行手术的外科医生观看由内窥镜获取的在显示装置上的图像以便为他们的动作进行指导。涉及内窥镜检查法的手术(诸如开腹手术)，也称作锁孔手术(key-hole surgery)或微创手术，通常需要比常规方法小的切口，因为进行手术的区域不需要直线的视线。
由于手术的精密和准确的特征，从而希望为外科医生提供进行手术的区域的准确图像。通常，由内窥镜在显示装置上再现的图像是二维的，因此没有为外科医生提供足够的景深感。因此，最近已生产了能够为外科医生呈现S3D图像的体视三维(S3D)内窥镜。然而，当使用S3D内窥镜检查法时可能出现许多问题。例如，由于内窥镜通常操作的小的遮蔽空间，要成像的区域的内窥镜之间的距离与S3D内窥镜的光圈之间的距离相比可能小。因此，所得到的S3D图像可能不方便看，因而可能减小外科医生移动的准确度并增大外科医生疲劳度。此外，不同的外科医生应具有恰当观看由S3D内窥镜产生的S3D图像的能力，因此不同的外科医生在进行手术时会体会观看S3D图像带来的不同程度的好处。
发明内容
根据本发明的一个方面，提供外科手术成像系统，外科手术成像系统包括能操作以获取场景图像的图像获取装置以及能操作以从场景中的点提取距离信息的距离提取装置，其中，提取距离信息是图像获取装置与场景中的点之间的距离。手术图像系统也包括能操作以生成像素的图像生成装置，其中，生成像素与所获取的图像中的像素相关，并且由距离信息获得生成像素值。图像结合装置能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关联的所获取的图像的像素以形成合成图像。接下来图像显示装置能操作以显示合成图像。手术成像系统为外科医生提供可替换手段以观看进行手术的场景的深度信息而不观看体视3D(S3D)图像。在合成图像中显示深度信息并通过生成和显示像素传达，像素的值基于从场景中提取的距离。以这种方式显示距离和深度信息避免与向外科医生显示S3D图像相关的问题。问题可能包括图像具有过高的深度，在显示装置前出现所有场景特征，以及个别外科医生舒适地观看S3D图像的能力不等。
在本发明的另一实施方式中，手术成像系统包括S3D图像获取装置，其能操作以获取场景的一对体视图像。S3D图像获取装置的使用允许从获取图像提取有关场景中点的深度信息并用于生成像素。包含S3D内窥镜也允许使用现有的内窥镜以及在S3D图像旁示出合成图象，以便外科医生能够选择要观看的场景图像。
在本发明另一个实施方式中，手术成像装置包括图像选择装置，能操作以选择一对获取S3D图像中的一个图像以便形成与生成像素结合的获取图像。包含图像选择装置允许在图像获取装置已获取多个图像时将单个图像用作获取图像。
在本发明的另一实施方式中，其中图像获取装置是S3D图像获取装置，手术成像系统的距离提取装置能操作以提取图像获取装置与一对获取S3D图像中场景中的点之间的距离。提取距一对S3D图像的距离使系统获得距离信息而无需专用距离测量装置，因此使现有S3D图像获取装置用于手术图像系统。
在本发明的另一实施方式中，手术成像系统的图像生成装置能操作以生成多个像素，多个像素构成数值距离测量，并且数值距离测量是场景中的点与基准点之间的测量。生成构成数值距离测量的多个像素为外科医生易于解释场景中的两个点之间的合成图象中的距离测量做准备。这在外科医生试图定位患者中的物体或者尝试确保场景中的两个特征不紧密接近时是有利的。
在本发明的另一实施方式中，手术成像系统的图像生成装置能操作以生成多个像素，从距离信息中得出多个像素中各个像素的颜色。场景中距离的合成图像中基于颜色的显像为外科医生提供直觉并容易解释距离信息而不用观看S3D图像或者将数值测量放在合成图像中。
在本发明的另一实施方式中，手术成像系统的图像生成装置能操作以生成多个像素，其中从距离信息中得出多个像素中各个像素的色度饱和度。场景中距离的合成图像中基于色度的显像为外科医生提供直觉并容易解释距离信息而不用观看S3D图像或者将数值测量放在合成图像中。除此之外，根据距离改变图像的色度保存合成图像中场景的颜色，因而确保外科医生可轻易识别具有区别性颜色的场景的特征。
在本发明的另一实施方式中，手术成像系统的距离提取装置包括距离传感器，能操作以直接测量图像获取装置与场景中点之间的距离，测量距离形成距离信息。包含专用距离测量装置允许测量场景中特征的距离而不需S3D图像及使用相关距离提取技术。因此，与S3D图像获取装置相比图像获取装置的尺寸可以减小，因为仅需要一个光圈。
在本发明的另一实施方式中，手术成像系统包括能操作以变换距离信息的距离确定装置。变换的距离信息形成距离信息并且对应基准点与场景中的点之间的距离，与图像获取装置和场景中的点之间的距离相反。距离确定装置允许测量点而非图像获取装置之间的距离并且显示给外科医生，由此为外科医生提供附加信息，这些附加信息在其他情况下不可用。提供附加信息可进而改善外科医生进行的手术的准确度和质量。
在本发明的另一实施方式中，使用手术成像系统的外科医生可相对于基准点定义用其测量的距离。基准点的手动定义允许外科医生相对于他们选择的点测量场景中的距离，例如，该基准点可以是场景中的切口。因此，该实施方式允许外科医生定制他们需要的合成图像，从而可能改善他们进行手术的质量和准确度。
根据另一方面，提供一种医学成像装置，包括：图像获取装置，能操作以获取场景的图像；距离提取装置，能操作以从场景中的点提取距离信息，距离信息是图像获取装置与场景中的点之间的距离；图像生成装置，能操作以生成像素，生成像素与所获取的图像中的像素相关，并且从距离信息中得出生成像素的值；图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关的所获取的图像的像素以形成合成图像；以及输出端，能操作以向图像显示装置提供合成图像。
根据另一方面，提供一种图像检查装置，包括：图像获取装置，能操作以获取场景的图像；距离提取装置，能操作以从场景中的点提取距离信息，距离信息是图像获取装置与场景中的点之间的距离；图像生成装置，能操作以生成像素，生成像素与所获取的图像中的像素相关，并且从距离信息得出生成像素的值；图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关的所获取的图像的像素以形成合成图像；以及输出端，能操作以提供合成图像到图像显示装置。
在此以上特征涉及设备、系统或装置特征，具体要视情况而定，在其他实施方式中也预见了方法特征。也预见其他适当软件代码和存储介质特征。
以概述方式提供了上述段落，而不旨在限制以下权利要求的范围。通过参照以下结合附图所做的详细描述，可更好地理解所描述的实施方式和另外的优点。
附图说明
通过参照以下结合附图所做的详细描述，对本公开更全面的理解及其许多附带的优点将会很容易地获得并且变得更好理解，附图中：
图1示出了实例手术成像系统的示意图。
图2a和图2b示出了实例二维图像获取装置的示意图。
图3a和3b示出了实例体视三维图像获取装置的示意图。
图4示出了根据本发明实施方式的手术成像系统的示意图。
图5示出了根据本发明实施方式的处理器结构的示意图。
图6示出了根据本发明实施方式的手术成像系统的操作方法的流程图。
图7a和7b示出了由图3a和3b的图像获取装置捕获的实例体视图像的示意图。
图8示出了根据本发明实施方式的实例图像获取装置的示意图。
图9示出了根据本发明实施方式的合成图像的示意图。
图10示出了根据本发明实施方式的合成图像的示意图。
图11示出了根据本发明实施方式的合成图像的示意图。
具体实施方式
现参考附图，其中，相同的参考标号指代通篇几个附图中相同或者相应部分。
当进行手术时，如果外科医生配有所进行手术的区域的精确而详尽的图像会是有益的。因此，手术成像是促进外科医生进行准确和成功的外科手术的因素。在本文中术语手术是指外科手术的范围，包括非侵入性(包括观察)、微创和侵入性手术。因此，手术成像是指与这些外科技术结合使用的成像。
手术成像技术的一个实例是内窥镜检查法。虽然内窥镜本身是图像观看和获取装置，他们常常被用于称作微创手术的外科手术中。使用内窥镜的手术克服了对进行手术的区域的直线视线的需要。因此，需要较小的切口，进而可能会使得减少恢复时间而且降低侵染可能性。由于这些优势，内窥镜手术或微创手术是流行外科技术。
虽然下面讨论在内窥镜的背景下的手术成像和图像获取装置，本发明不限于此。例如，以下讨论同样适用于腹窥镜和其他形式的手术成像及装置，诸如，手术显微镜。
图1示出了实例手术成像系统的示意图。在图1中，图像获取装置通过切口11或管口被放置在患者10中从而允许外科医生在不需要直线视线的情况下观看患者的内部场景。图像获取装置通过通信线路12获取患者内场景的数字图像并且将所获取的图像传送至处理器13。在图1所示的系统中可以使用若干可替换通信线路12。例如，可由任何适合于向处理器13传送表示获取图像的信息的材料(诸如电缆或光纤)形成线路。可使用任何合适的无线接入协议(诸如，蓝牙或WIFI)无线地实施通信线路。处理器13能操作以处理所获取的图像，将已处理图像输出至图像显示装置并在图像显示装置14上呈现已处理图像15供外科医生观看。该图像获取和显示过程可实时出现因此由显示装置显示由一系列捕获图像形成的场景的实时视频。在一些实例中，显示装置14可以构成外科医生所穿戴的头戴式显示器(HMO)的一部分。通过HMO呈现所获取的图像可带来许多优势，例如，可以减小外科医生在手术过程中经历的外部干扰并为外科医生提供更沉浸的观看体验。在其他实例中，所获取的图像可在广域网(诸如，因特网)上流式传输因此所进行手术的不同位置的外科医生能够进行远程咨询。例如，当对于特定操作专业外科医生人数有限时，流式传输捕获图像可意指专业外科医生无须为了或资源到进行手术的地方。许多装置可用作图1所示的手术成像系统中的图像获取装置。图2a和图2b示出两个可替换二维(2D)图像获取装置。在图2a中，图像获取装置包括数字图像装置20和单光圈21。数字图像装置数字化场景中的光携带的信息以产生通过通信线路12传送至处理器13的一系列捕获图像。尽管图像获取装置被示出为包含在直的主体22内，主体也是灵活的因此能够在患者内更容易地操纵图像获取装置。数字图像装置可以是适合于从场景中光产生一系列的数字获取图像，例如，数字成像装置20可以是电耦合装置或主动像素传感器。
在图2b中，与图2a中的数字成像装置20相比，图像获取装置包括形成单光圈24的一个或多个光纤23，以及位于距手术成像系统的患者端的距离更长的数字成像装置25。光纤将场景的光传达到数字成像装置25，数字成像装置数字化光携带的信息以形成一系列捕获图像。然后这些图像通过通信线路12传送至处理器13。如图2a所示，虽然图像获取装置被示出为包含在直的主体22内，主体可以是灵活的以便可更容易地在患者内操纵。也如图2a所示，数字成像装置可以是适合于从场景中的光产生一系列数字获取图像的任何装置。
由于与使用图1、图2a和图2b所描述的系统和装置有关的切口尺寸缩小以及人类组织明显的不透明性，患者的外部环境中几乎没有或没有光会照亮患者内的场景。因此，如果图像获取装置提供有用的获取图像那么需要内部光源12。因此，虽然在图2a和图2b中未示出，光源能操作以照亮位于图像获取装置的患者端的场景。例如，光源可以是能操作以将光从外部源携带到场景的光纤。虽然在图2a和图2b中也未示出，图像获取装置也可包括光学调整器件，诸如，一个或多个镜头，能操作以将场景的光聚焦使得数字成像装置能够获取清晰准确的场景图像。
如先前所述，最近已制备体视三维(S3D)手术成像系统。S3D手术成像系统基本上与图1所描述的手术成像系统相似，然而，处理器13和显示装置14能操作以分别处理和显示一系列S3D图像。在S3D手术成像系统中，由图像获取装置获取一系列成对的体视图像并传输到处理器。一对图像对应于右眼图像和左眼图像，并且处理器13利用本领域已知的方法处理所获取的图像以便图像适合于显示在显示装置14上。可根据本领域用于显示S3D视频的众所周知的许多技术中任一项向外科医生显示一系列图像对，例如，基于立体照片、极化、主动式快门或自动体视显示的技术。
图3a和3b示出了3D图像获取装置的示意图。在图3a和3b中示出的装置的元件基本上与图2a和图2b中示出的相似，然而，在图3b的情况下，图3a和3b中的图像获取装置具有两个光圈，两个数字成像装置，两组光纤。除了获取一对体视图像的场景并被传输到处理器以外，这些装置基本上与图2a和图2b的图像获取装置类似地运行。图2a的两个光圈32、33和图2b的36、37按与S3D电视摄像机类似的方式水平地分开并且由于光圈的不同位置由图像获取装置获取的场景的图像的体视对呈现为在相互之间转移。
如参考图2a和图2b所描述的，光学调整器件(诸如，透镜)也可存在于图3a和3b的图像获取装置中并且也可使用数字成像装置的合适的替换装置。在图3a和3b中所示的实例中，由于存在两个光圈，将需要两组光学调整器件以便确保数字成像装置获取聚焦的清晰准确的图像的体视对(stereoscopic pair of images)并传送至处理器。图3a和3b的图像获取装置也可包括类似于参考图2a和图2b的图像获取装置所描述的光源。
最小化诸如图2a和图2b所示的图像获取装置的截面区域，图3a和4b可参与减小需要将图像获取装置引入患者的切口的尺寸。包括单光圈的2D图像获取装置和数字成像装置的截面区域主要由光圈的尺寸和数字成像装置来确定。然而，当图像获取装置包括两个光圈和两个数字成像装置时，控制相互之间的光圈位置所需的光圈间间隔和机制也有助于截面区域。因此，虽然S3D图像获取装置在手术成像系统中的主要操作与S3D电视摄像机的类似，为了最小化其尺寸在手术S3D图像获取装置中可能不会发现常基于S3D电视摄像机的许多特征。例如，可以固定光圈32、33、36、37的位置使得它们的分离、倾斜、转动和偏转是恒定的，并且可平行地固定光圈使得它们的汇聚点无穷远。在传统的S3D电视摄像机中，响应于许多因素控制上述属性以便确保观看者能够舒适地观看获取的S3D图像。例如，可响应于要成像的场景的距离和场景特征的期望相对深度控制属性。
由于对光圈的相对位置和手术S3D图像获取装置中数字成像装置的控制的水平降低，可能出现许多问题。例如，S3D图像获取装置在使场景成像时很可能在人体内的小空间内运行。因此，与标准S3D相机相比，光圈间隔与场景距光圈的距离之比很可能大。因此，场景的获取S3D图像具有大范围的深度，这可能使外科医生在观看图像时不舒服因为人眼观看体视图像舒服的集中和散度范围有限。第二问题可能来源于光圈和数字图像装置的平行度调准。如前所述，光圈的平行度调准为图像获取装置提供无限汇聚点。因此，当向观看者呈现所获取的图像时，场景中的所有特征似乎都在显示S3D图像的显示装置前方。这又使外科医生观看起来不舒服。
诸如图1所描述的处理器可以使用本领域已知的后续处理方法调整获取图像的表观深度但能够完成的程度限于人类能够舒适地观看的最大深度范围。因此，上述因素可以减小向外科医生显示的S3D图像的准确度，因而可能减小手术的准确度。此外，如果未正确地调整获取S3D图像的参数，观看图像可能导致增加外科医生疲劳并且连着手术质量降低。因此，需要手术成像系统呈现缓和以上详述问题的深度信息的方法。
根据本发明的第一实施方式，通过合成2D图像向手术成像系统的用户呈现以迭代方法将关于场景中点的深度和距离信息提供至S3D图像的距离可视化，其中合成2D图像已由场景的获取图像形成。
图4示意性地示出根据本发明第一实施方式的手术成像系统。手术成像系统具有与图1所示的系统共同的许多特征，因此在下面仅描述与图1中那些不同的特征。
手术成像系统也包括但不限于第二显示装置40，第二显示装置40能操作以显示直接显示图像获取装置的2D或S3D图像的显示器14旁的合成2D图像。直接来自图像获取装置的图像可以是图2a和图2b的图像获取装置获取的2D图像，图3a和3b的图像获取装置获取的图像的体视对之一或者图3a和3b的图像获取装置获取的S3D图像。在一些实施方式中，系统也可包括第三显示装置因此可同时显示2D图像、合成2D图像和S3D图像。手术成像系统也包括对应于图1的处理器件13的处理器41，其附加处理性能描述如下。处理器可以是如图4所示的通用个人计算机，计算机至少包括中央处理器、图形处理器和存储器。可替换地，处理器可实现为专用特定应用图像处理装置，诸如，3D处理设备。
图5示意性地示出根据本发明第一实施方式由处理器41处理所获取的图像。处理器41包括距离提取装置50、距离确定装置51、图像选择装置52、图像生成装置53、以及图像结合装置54中至少一个。以下更详细地描述这些装置中的每个装置。处理器的特征取决于图像获取装置的类型，即，2D或S3D以及系统实施，因此，在本发明的一些实施方式中，可能仅需要在图5中所描述的处理的子集。
图6示出根据本发明实施方式的包括S3D图像获取装置的手术成像系统的操作方法。处理步骤对应图像获取装置的操作、图5的处理器和显示装置14和40。现应参考图5和6描述图6的处理步骤。
在步骤S1中，图像获取装置获取参考图3a和3b的图像获取装置所描述的场景的图像的体视对。获取图像可以是形成视频的一系列对之一并且所获取的图像通过通信线路12被传递至处理器41。一旦获取图像已被传送至处理器，它们被发送至距离提取装置50。
在步骤S2中，距离提取装置50从获取图像提取距离信息。距离信息包括图像获取装置与场景中的点之间的距离测量以及图像获取装置与场景中的点之间的仰角角度和旋转。然后提取距离信息被传递到距离确定装置51。
距离提取装置50使用一对获取的体视图像中等同于场景中的点的相应像素之间的视差提取图像获取装置与场景中的点之间的距离测量。
体视图像是彼此的移位版并且图像间的移位被称为视差。图7a和7b示出场景的获取图像的体视对中像素之间的视差，其中图7a描述右手获取图像以及图7b描述左手获取图像。图7a和7b之间的虚线示出图像中相应像素70和72、以及71和73之间的视差。右手和左手获取图像与通过人的左眼和右眼呈现至人类大脑的图像相似。人类大脑利用视差以及其他信息提供关于场景的景深感。
距离提取装置50使用等同于点的像素之间的视差从一对体视图像提取图像获取装置与场景中点之间的距离测量。然而，为了抽取场景中点的深度或距离信息，除了相应像素之间的视差以外也需要许多测量和图像获取装置参数。图像获取装置与场景中的点之间的距离是图像获取装置参数的函数，包括光圈的轴向间间隔、水平视野(FOV)，该函数可由焦距和数字成像装置传感器尺寸以及光圈的汇聚点得出。因此，对于距离提取装置计算图像获取装置与场景中的点之间的距离测量，除了视差以外需要所有上述参数。
例如，如果就一小部分屏幕(d.r)宽度而言已知光圈(i)的轴向距离、图像获取装置(FOV)的水平FOV、光圈的汇聚点、以及相应像素之间的水平视差，根据能够计算从图像获取装置到在Z维度中的图像平面的距离(d)。图像获取装置的参数可预先知道或从通过图像获取装置传送的元数据中获得，例如，光圈间间隔和汇聚点很可能是固定的并且是已知的并且能够从未固定装置的元数据获得焦距。由于医学成像装置(诸如，内窥镜)的尺寸限制条件，例如，可能固定焦距并且因此可能不需要元数据。在另一装置中，诸如，手术显微镜，例如，存在预设置焦距和放大倍率的范围，因此可能需要元数据。
为了获得一对体视图像中相应像素之间的视差，需要识别等同于场景中相同点的一对图像中的相应像素并设立它们的位置之间的差值。存在用于识别图像中相应像素或特征的方法和产品范围，例如，区块匹配(blockmatching)应当是适当的方法。另一实例是通过比较单个像素值或像素值集合识别一个或多个图像中的类似特征来操作的特征匹配。一旦已获得相应像素，能够计算这些像素之间的视差并且提取图像获取装置与场景中等当点之间的距离。在本发明的一些实施方式中，将对获取图像中的所有单个像素进行特征匹配因此能够提取关于场景中所有点的距离测量。然而，这种任务很可能计算量比较大。因此，更大范围的特征匹配呈现了高分辨距离信息和计算复杂性之间的权衡。此外，不可能匹配图像中所有的像素从而抽取场景中所有点的距离信息。在这种情形中，为了提取场景中所有点的距离信息，也许需要在已知相应像素之间进行内插以便获得关于中间像素和它们等同的点的距离信息。可能内插的计算量没有特征匹配的计算量大，因此，如果计算能力不足也可应用上述方法来对所获取的图像中每个像素实施特征匹配。然而，虽然相对于对每个像素进行特征匹配内插可以减小计算要求，但其可能导致距离信息准确度降低因为内插法可能不能够说明两个已知像素和他们等同的场景中的点之间的距离的急剧变化。
在步骤S3中，当需要不包括图像获取装置的两个点之间的距离信息和测量时，可通过距离确定装置变换由距离提取装置提取的距离信息。距离确定装置变换距离信息使得距离信息相关于不同于图像获取装置并可能不在场景中的点。在本发明的一个实施方式中，图像距离确定装置变换距离信息以便在不是图像获取装置的基准点与场景中的点之间提供距离测量。例如，外科医生可以选择基准点作为场景中的血管并且归于场景中的点的所有距离信息相对于血管而非图像获取装置。为了变换距离信息，距离确定装置需要进一步的信息，诸如，基准点和场景中的点相对于图像获取装置的角度或者基准点相对于图像获取装置的位置。距离确定装置然后可以使用标准三角法实现所需变换和距离信息。例如，距离确定装置可能希望确定场景中两个点A和B之间的距离，两个点中没有一个是图像获取装置。现在说明执行这种方法的步骤。距离确定装置从距离提取装置接收距离信息，该距离信息包括场景中的点A和B和图像获取装置之间基于Z维度的距离测量。距离确定装置也从距离提取装置接收点A和B相对于图像获取装置的仰角角度和旋转。由距离确定装置根据所获取的图像中等同于点A和B的像素的位置以及图像获取装置的FOV计算仰角角度和旋转，借此所获取的图像等同于FOV的角度分数。在了解和距离的情况下，能够计算点A和B相对于图像获取装置的30个坐标。与毕达哥拉斯定理的3D版本结合的这些坐标然后用于计算点A和B之间的距离，因而形成变换距离信息。例如，如果按厘米算点A的3D直角坐标是(2、6、7)并且点B的坐标是(4、8、10)，可以发现坐标之间的差值并且应用毕达哥拉斯定理。在该实例中，点A和B的该组坐标之间的差值是(2、2、3)cm，这给出接近4.123cm的点之间的距离。
在步骤S4中，图像选择装置52从一对最近获取的体视图像选择一个图像。当S3D图像获取装置同时获取一对图像时，图像生成装置和图像结合装置需要对其进行处理的单个图像，必需选择右手图像或左手图像中任一个。如果没有记录用户喜好，图像选择装置根据用户输入或者预定义标准选择图像。在距离确定装置之后进行处理的选择图像叫做“选择图像”或“重复选择图像”。
在步骤S5中，由图像生成装置53生成形成距离可视化的像素。至少部分地由距离信息得出生成像素的值并且距离可视化传达距离和深度信息。生成像素被传送至图像结合装置，该图像结合装置利用生成像素形成外科医生在显示装置40上观看的合成图像因此距离和深度信息通过距离可视化被传达至外科医生。距离可视化为S3D图像提供可替换器件以向外科医生提供场景的距离和深度信息。从以下中至少一个得出生成像素的值：由距离提取装置提供的距离信息、由距离确定装置提供的变换距离信息、距离可视化的形式以及所选择图像中相关像素的像素值。图像生成器生成与选择图像中的像素相关的一个或多个像素的像素值。例如，图像生成装置可以生成与选择图像中的选择像素相关的像素，其中，生成像素的值是通过距离确定装置归于选择像素的距离数据、选择像素的值以及距离可视化中至少一个的函数。在另一个实施方式中，生成像素的值可能取决于归于非常接近于生成像素相关的选择像素的像素的距离数据。生成像素的颜色也可部分取决于所选择的图像中相关像素的颜色或其他值。下面参考图9至图11更详细地描述距离可视化和生成形成它们的像素的方法的实例。
在步骤S6中，图像结合装置54能操作以从图像生成装置接收生成像素并且将所生成的像素与选择图像副本结合。生成像素和重复选择图像的结合形成包括由生成像素形成的距离可视化的合成图像。结合过程包括用它们的相关所生成的像素取代重复选择图像的像素以形成合成图像。一旦已形成合成图像接下来传输到显示装置40以向外科医生显示。
在步骤S7中，从图像结合装置接收合成图像并在显示装置40上显示合成图像。如前所述，可在选择图像和S3D图像旁或者代替S3D图像显示合成图像。在系统的一些实施方式中，可在独立显示器上或者单个分割屏幕显示器上显示图像。
参考图6所描述的方法是指S3D手术成像系统的操作方法。因此，技术人员应当理解为了形成2D手术成像系统的操作方法图6许多的步骤将会不同。具体地，在步骤S1中，图像获取装置将获取单个图像，在步骤S2中将通过距离传感器提取距离信息，并且不需要步骤S4因为在步骤S1过程中仅获取一个。
在图6所示的方法的步骤S2中，在包括2D图像获取装置的实施方式中，距离提取装置50从距离传感器或等效距离测量装置获得关于场景中的点的距离信息。在本领域中已知这种传感器并且直接测量场景中的点与图像获取装置之间的距离。使用专用距离测量传感器规避了对S3D图像获取装置的需要因为不需要视差信息来获得距离信息。因此，该实施方式的距离提取装置能操作以与2D图像获取装置一起使用。此外，借助于2D图像获取装置中的距离测量传感器，图像获取装置也许能获得距离信息同时维持小的截面区域因为不需要第二光圈和数字成像装置。然而，去除光圈得到的节省空间可为距离测量装置的传输器和接收器的尺寸抵消。图8示出根据本发明该实施方式的图像获取装置。图像获取装置与图2a中所描述的相似，但另外包括距离测量传感器80。距离测量传感器被示出为图8中的分立装置，但其也可整合到数字成像装置20以便减小图像获取装置的截面区域。适于实现如上所述的本领域已知的各种距离测量传感器，例如，红外线距离传感器。
由于合成图像相对于选择图像增强的本质，在合成图像中场景的点可能是模糊的。因此，如上参考图4和步骤S7所述，除了选择图像和/或S3D图像以外可以显示合成图像使得图像两者都显示给外科医生。显示除了选择图像或S3D图像以外的合成图像也为外科医生提供选择将合成图像用作参考图像而将另一图像(2D或S3D)用作根据其引导他们的工作的主像。可以显示几个不同的图像组合以便为外科医生提供深度和距离信息，图像中至少一个应当是S3D图像或合成图像。在进行远程咨询的情况下，合成图像可被流式传输至与进行手术的不同位置以便另一外科医生观看和咨询正在进行的手术。在一些实施方式中，仅外科医生可用于进行操作的图像子集可被流式传输至远程咨询外科医生。例如，进行操作的外科医生能够观看场景的S3D、复合和2D图像的同时2D和合成图像可被流式传输到远程咨询外科医生。
在本发明的一些实施方式中，处理器41也可包括记录装置，该记录装置能操作以记录获取图像、选择图像和合成图像中至少一个。由于手术的实时性质，以上所描述的特征50、51、52、53和54以及图6的方法基本可实时操作使得合成图像和选择图像形成场景的实时视频的一帧。在这种实施方式中，应当最小化由处理器件引入的任何延迟以使得对于系统的用户不明显。例如，本领域已知在观看实时视频时延迟超过3帧是显而易见的。因此，处理器件引入的任何延迟应当低于每秒30帧的视频系统的三帧的等效周期。
在本发明的手术成像系统包括S3D图像获取装置的实施方式中，在这种情况下S3D图像很可能变得看着不舒服。例如，当图像深度变得大于人类能够看着舒服的深度时可能会发生这种情况。当场景的所有特征都出现在屏幕前方或后方时发生这种情况的可能性增大因为大约仅深度预算的一半可用。例如，由于平行度调准，以及因而图像获取装置的光圈的无线汇合距离可能会发生场景的特征全部出现在前方的情况。如前所述，也可同时在另一屏幕上显示2D图像并且因此外科医生仍将能访问场景的至少一个图像。然而，当S3D图像变得看着不舒服时，外科医生可能会失去关于场景的所有深度信息，因为他们仅能够浏览同时显示的2D图像。当发生这种情况时，在步骤S7中，如果合成图像还没显示在另一显示装置上，那么处理器可被配置为显示合成图像而非S3D图像。使用系统的外科医生可在S3D图像和合成图像之间开始切换或者可在处理器检测到S3D图像的深度超过自动定义的或外科医生通过用户界面定义的某个阈值时自动执行切换。
在本发明的一些实施方式中，处理器能操作以接受用户输入以便外科医生能够根据它们的需要配置系统。例如，外科医生也许能选择距离确定装置相对于其变换距离的基准点以控制在显示器上显示合成图像或S3D图像之间的切换并且选择由合成图像显示的距离可视化。可通过连接到处理器的键盘和鼠标装置输入用户输入，其中指针叠加在显示的合成图像上向外科医生表示它们的输入。可替换地，显示装置能操作以接收基于手势的输入，诸如触摸显示装置的屏幕。触摸屏用户界面输入将允许外科医生迅速并容易地选择复合图像中他们希望距离确定装置相对其提供的距离信息的基准点。由于手术室无菌的性质，基于触摸屏的用户界面也提供易于清洁的表面，因而与诸如键盘和鼠标的输入装置相比也提供了清洁优势。
在图6的步骤S5中，图像生成装置53生成形成可替换距离可视化的范围的像素。每个距离可视化使用不同的视觉器件向观看合成图像的外科医生传达距离和深度信息。因此，这些距离可视化提供S3D图像的替换手段以将深度信息传递至使用手术成像系统的外科医生。可以选择合成图像呈现的距离可视化并被配置为通过外科医生经由之前描述的用户输入器件传达具体距离信息。
在本发明的一个实施方式中，图像生成装置生成形成数值距离可视化的多个像素的像素值，像素值取决于距离提取装置或距离确定装置任一者提供的距离数据。在生成像素已与选择图像的副本结合之后，生成像素形成数值距离可视化，该数值距离可视化呈现传达场景中的点之间的距离的数值距离测量。图9示出当在显示装置上显示合成图像时通过生成像素形成的数值距离测量。数值距离可视化呈现等同场景中的点的一对像素90、91之间的距离测量。点的实例包括场景内的两个点，场景外的基准点和场景内的点，以及场景内的点和图像获取装置。也可由图像生成器生成对应多对点90、91和92、93的数值距离可视化的像素。数值距离测量可指代场景所有三维的距离因此数值距离可视化可传达深度、宽度和高度信息。由图像生成装置生成的像素值与他们在选择图像中与其相关的像素值不同，并且外科医生可以选择生成像素的颜色。例如，如果与生成像素相关的像素颜色是红色，那么生成像素可以是黄色或者任何其他适当不同的颜色。外科医生也可根据他们的偏好选择数值距离测量的单位，其中由距离确定装置在测量单元之间进行任何转换。图像生成装置也能操作以生成在合成图像中的两个像素90、91之间形成线条95的像素，线条协助外科医生识别合成图像中数值距离测量所指的像素。
通过合成图像提供数值距离测量允许外科医生迅速并容易掌握场景中难以手动确定的距离和尺寸。例如，当外科医生将卫生器材定位于患者内并且要求器材定位在距组织区域预定距离时可使用数值距离可视化。可替换地，如果外科医生正在切开，数值距离可视化可被配置为显示切口的尺寸或面积。这使得外科医生能够准确地设定任何切口的尺寸，这在之前需要外科医生估计切口尺寸的来设定。在这种情况下，可能需要外科医生将图像生成装置配置为呈现两个或多个动态基准点之间的距离测量，即，限定区域的切口的开始点和结束点或者三个以上点，其中可使用本领域已知的图像跟踪技术跟踪或者通过用户手动跟踪一个或多个动态基准点。
在本发明的一个实施方式中，图像生成装置能操作以如果两个点之间的测量超过某个限制通过使警报发出声音或者显示可视通知告知外科医生。例如，重要的是在外科手术过程中组织裂口不超过某个尺寸，图像生成装置可被配置为告知外科医生是否裂口接近该限制。
在可替换的实施方式中，可通过图像生成器监测场景中点之间的数值距离测量但如果它们接近阈值可仅显示出来。这确保外科医生在进行手术时不会被不必要的距离可视化分心。总的说来，数值距离可视化为观看合成图像的外科医生提供关于进行手术的区域的改善的信息而不会对外科医生的注意力产生不利的影响。
在本发明的另一个实施方式中，图像生成装置生成形成基于颜色的距离可视化的多个像素的像素值，像素值至少取决于距离提取装置或距离确定装置任一者提供的距离数据。基于颜色的距离可视化根据它们在场景中等当点距基准点(诸如，图像获取装置)的距离通过对生成像素着色传达场景中点之间的距离。生成像素的颜色可完全取决于场景中的距离信息，但在一些实施方式中，它们的颜色也可部分地取决于距离信息和生成像素与其相关的选择图像中像素的颜色。对该本质的部分依赖给人的印象是传达距离信息的颜色已被叠加在选择图像上，因此部分保留选择图像的原始颜色。图10示出当在显示装置上显示合成图像时通过生成像素形成的基于颜色的距离可视化。图像结合装置用它们的相关所生成的像素取代重复选择图像的像素以形成合成图像。生成像素根据距离信息的颜色产生色彩图，在该色彩图中合成图像的颜色反应场景与基准点之间的距离。
在图10中，不同的阴影图案表示不同颜色以及距基准点的不同距离。在图10中，基准点是图像获取装置并且单线阴影100表示以递增排列离图像获取装置最近的场景的面积，点阴影101、粗略用交叉线画成的阴影102、精细交叉线阴影103和圆形阴影104表示从图像获取装置进一步的区域。当合成图像呈现基于颜色的距离可视化时，也可呈现定义每个颜色表示的距离的图例105。
可根据它们的量值，即，0-5mm组、5-l0mm组等将点之间的距离形成组，并且等同每个组中点的像素可具有相同值使得合成图像呈现相同颜色的明显区域。可替换地，等同于与距基准点的距离不同的场景中点的每个像素可被分配不同颜色因此合成图像中存在连续色谱。例如，等同于离图像获取装置最近的点的生成像素可被涂成红色并且等同于离基准点最远的点的像素可被涂成蓝色。因此，等同于中间距离的点的像素将根据他们距基准点的距离具有从红色到黄色到绿色到蓝色的颜色范围。
色彩图的分辨率也可适配为适合它们正显示的场景的环境，因而提供调整适合观看合成图像的外科医生的要求的信息。例如，获取图像的像素可组成组并且组中像素的颜色取决于像素等同的场景中的点与基准点之间的平均距离。可替换地，每个单个像素的颜色可仅取决于场景中其等当点与基准点之间的距离。
在本发明的另一个实施方式中，图像生成装置生成形成基于色度饱和度的距离可视化的多个像素的像素值，像素值取决于距离提取装置或距离确定装置任一者提供的距离数据。生成像素形成基于色度饱和度的距离测量使得在生成像素已与选择图像的副本结合之后组合的像素的色度饱和度取决于它们在场景中的等当点距基准点的距离。图11示出当在显示装置上显示合成图像时通过生成像素形成的基于色度饱和度的距离可视化。
在图11中，色度饱和度(示出为阴影级别)表示场景中的点与图像获取装置之间的距离。因此，等同于场景中接近图像获取装置的点的像素具有高饱和度110以及等同于离图像获取装置更远的点的像素具有低饱和度111。参考基于颜色的距离可视化的上述优势可同样应用于色度饱和度距离可视化，但也可出现许多其他优势。例如，调整像素的色度饱和度以反映它们在场景中的等当点与基准点之间的距离保持场景的颜色。在手术环境中，这可能是有利的因为具有明显颜色的场景的特征可更容易识别。例如，如果组织(诸如，静脉)破裂，极其重要的是外科医生尽快地意识到这事件。如果已调整了场景的颜色，那么血液的颜色可能没那么明显，因此在通知破裂之前要经过的时间可能延长。如果像素的色度饱和度是变动事件，诸如，静脉破裂，与调整像素的颜色时相比可更迅速地识别相关血液。
上述用户控制为外科医生提供控制在场景中放置基准点并且允许外科医生在上述可替换深度可视化之间进行切换的手段。例如，如果外科医生主要关心的是外科医生可以选择数值距离测量可视化的切口的尺寸。可替换地，如果外科医生希望主要集中于接近手术工具的场景的特征，那么外科医生可以选择基于色度饱和度的可视化并在手术工具上定位基准点，因此在非常接近手术工具中的场景区域将会是最明显的因为它们具有较高饱和度。选择距离可视化的能力进一步使外科医生能够将合成图像调整为适合他们的偏好，因此可能改善手术准确度。在该实例中，可使用在本领域已知的图像跟踪技术再次跟踪基准点或者用户手动跟踪基准点。
在本发明的一些实施方式中，用户可定义基准点并且距离确定装置变换提取距离信息使得数值距离可视化传达的距离可相当于距场景中重要特征的距离。除此之外，也可动态地重新配置基准点以便可以使基准点与正在移动的图像中的特征相关。[g2]例如，在一些情况下，对外科医生来说了解操作工具与患者中的组织之间的距离是有用的。在这种情形中，外科医生可以选择使基准点与手术到尖相关，并且所得到的距离可视化将传达手术刀尖与场景中其他点之间的距离。在这种情况下，手术到与摄像机之间的关系将是固定的或已知的。
除了上述实施方式以外，其他距离可视化也可由图像生成装置生成的像素形成。例如，在一些实施方式中，可从沿着彩色球体的尺寸的位置中得到生成像素值，其中像素等同于场景中的点与基准点之间的距离确定沿着彩色球体的尺寸的位置。
在本发明的另一实施方式中，图像生成装置生成的像素值可能取决于生成像素等同于场景中的点与基准点之间的距离的变化率。例如，在避免组织面积尺寸突然发生变化时，由这些生成像素形成的距离可视化可对外科医生有用处。以与之前所描述的数值距离可视化类似的方式，如果距离或面积的变化率超过阈值可以告知外科医生。例如，经历其尺寸发生急剧变化的组织的面积可能会通过用明显的颜色突出来使外科医生注意。
虽然已参考外科医生的使用描述本发明的实施方式，也可使用在上文中所描述的本发明或者由可称作用户的任何资历合适的个人操作。此外，虽然已参考人体的手术成像描述本发明的实施方式，但本发明同样适用于兽医或其他资历合适的人员对动物身体进行手术成像。
此外，虽然已参考手术成像装置和手术描述本发明的实施方式，但它们也可被用于可替换情形中。本发明的实施方式可以包括管道镜或非手术3D显微镜并可用于需要特写3D工作和摄像的工业和情形中，例如，生命科学、半导体制造、以及机械和结构检查。换言之，虽然实施方式涉及手术成像装置和系统，其他实施方式可涉及图像检查装置和/或系统。
明显地，根据以上教导，本发明可有多个修改和变化。因此应当理解，在所附权利要求的范围内，本发明可按不同于本文具体描述的方式来实践。[g3]
迄今为止，已经描述了至少部分通过软件控制的数据处理设备来实施的本发明的实施方式，应理解，也可考虑用诸如光盘、磁盘、半导体存储器等载有这种软件的非临时性机器可读介质来表示本发明的实施方式。

Claims (33)

1.一种手术成像系统，包括：
图像获取装置，能操作以获取场景的图像；
距离提取装置，能操作以从所述场景中的点提取距离信息，所述距离信息是所述图像获取装置与所述场景中的所述点之间的距离；
图像生成装置，能操作以生成像素，所生成的像素与所获取的图像中的像素相关，并且从所述距离信息得出所生成的像素的值；
图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代所获取的图像中的与其相关的所述像素以形成合成图像；以及
图像显示装置，能操作以显示所述合成图像。
2.根据权利要求1所述的手术成像系统，其中，所述图像获取装置是三维图像获取装置，所述三维图像获取装置能操作以获取所述场景的一对体视图像。
3.根据权利要求2所述的手术成像装置，进一步包括图像选择装置，能操作以选择获取的所述一对体视图像中的一个，所选择的图像形成与所生成的像素结合的所获取的图像。
4.根据权利要求3所述的手术成像系统，其中，所述距离提取装置能操作以利用对至少一个图像获取装置参数的了解从所述一对体视图像中提取所述图像获取装置与所述场景中的所述点之间的距离。
5.根据权利要求4所述的手术成像系统，其中，所述至少一个图像获取装置参数包括选自由焦距、光圈间隔、水平视野、光圈汇聚点以及数字成像装置的尺寸组成的组中的一个或多个参数。
6.根据任意前述权利要求所述的手术成像系统，其中，所述图像生成装置能操作以生成多个像素，所述多个像素构成数值距离测量，并且所述数值距离测量是所述场景中的点与基准点之间的测量。
7.根据权利要求1至5中任一项所述的手术成像系统，其中，所述图像生成装置能操作以生成多个像素，从所述距离信息得出所述多个像素中每个像素的颜色。
8.根据权利要求1至5中任一项所述的手术成像系统，其中，所述图像生成装置能操作以生成多个像素，从所述距离信息得出多个像素中每个像素的色度饱和度。
9.根据权利要求1所述的手术成像系统，其中，所述图像显示装置是头戴式显示器。
10.根据任意前述权利要求所述的手术成像系统，其中，所述图像获取装置、所述距离提取装置、所述图像生成装置、所述图像结合装置以及所述图像显示装置基本实时操作以便所显示的合成图像构成实时视频的一部分。
11.根据权利要求1所述的手术成像系统，其中，所述距离提取装置包括距离传感器，能操作以直接测量所述图像获取装置与所述场景中的所述点之间的距离，所述测量距离形成所述距离信息。
12.根据任意前述权利要求所述的手术成像系统，所述系统进一步包括距离确定装置，能操作以变换所述距离信息，所变换的距离信息形成所述距离信息并且是基准点与所述场景中的所述点之间的距离。
13.根据权利要求12所述的手术成像系统，其中由所述系统的用户限定所述基准点。
14.根据任意前述权利要求所述的手术成像系统，其中，所生成的像素及其在所获取的图像中的相关像素等同于所述场景中的所述点。
15.一种手术成像方法，包括：
获取场景的图像；
从所述场景中的点提取距离信息，所述距离信息为图像获取装置与所述场景中的所述点之间的距离；
生成像素，所生成的像素与所获取的图像中的像素相关，并且从所述距离信息得出所生成的像素的值；
将所生成的像素与所获取的图像结合，其中，所生成的像素取代所获取的图像中的与其相关的所述像素以形成合成图像；以及
显示所述合成图像。
16.根据权利要求15所述的手术成像方法，所述方法包括获取所述场景的一对体视图像。
17.根据权利要求16所述的手术成像装置，所述方法包括选择所述一对获取的体视图像中的一个，所选择的图像形成与所生成的像素结合的所获取的图像。
18.根据权利要求17所述的手术成像方法，所述方法包括利用对至少一个图像获取装置参数的了解从所述一对体视图像中提取所述图像获取装置与所述场景中的所述点之间的距离。
19.根据权利要求18所述的手术成像方法，其中，所述至少一个图像获取装置参数包括选自由焦距、光圈间隔、水平视野、光圈汇聚点以及数字成像装置的尺寸组成的组中的一个或多个参数。
20.根据权利要求15至19中任一项所述的手术成像方法，所述方法包括生成多个像素，所述多个像素构成数值距离测量，并且所述数值距离测量是所述场景中的所述点与基准点之间的测量。
21.根据权利要求15至19中任一项所述的手术成像方法，所述方法包括生成多个像素，从所述距离信息得出所述多个像素的每个像素的颜色。
22.根据权利要求15至19中任一项所述的手术成像方法，所述方法包括生成多个像素，从所述距离信息得出所述多个像素的每个像素的色度饱和度。
23.根据权利要求15至22中任一项所述的手术成像方法，所述方法包括在头戴式显示器上显示所述合成图像。
24.根据权利要求15至23中任一项的手术成像方法，所述方法包括获取所述场景的所述图像、提取距离信息、生成像素、将所生成的像素与所获取的图像结合以及基本实时显示所述合成图像使得所显示的合成图像构成实时视频的一部分。
25.根据权利要求15所述的手术成像方法，所述方法包括使用距离传感器测量图像获取装置与所述场景中的点之间的距离，所述测量距离形成所述距离信息。
26.根据权利要求15至26中任一项所述的手术成像方法，所述方法包括变换所述距离信息，所变换的距离信息形成所述距离信息并且是基准点与所述场景中的所述点之间的距离。
27.根据权利要求26所述的手术成像方法，所述方法包括用户定义所述基准点。
28.根据权利要求15至27中任一项所述的手术成像方法，所述方法包括使所生成的像素与其在所获取的图像中的相关像素等同于所述场景中的所述点。
29.一种计算机程序，当在计算机上执行时被设置为实施在权利要求15至28中任一项中定义的方法
30.一种计算机可读存储介质，其上存储在权利要求29中定义的计算机程序。
31.一种医学成像装置，包括：
图像获取装置，能操作以获取场景的图像；
距离提取装置，能操作以从所述场景中的点提取距离信息，所述距离信息是所述图像获取装置与所述场景中的所述点之间的距离；
图像生成装置，能操作以生成像素，所生成的像素与所获取的图像中的像素相关，并且从所述距离信息得出所生成的像素的值；
图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关的所获取的图像的所述像素以形成合成图像；以及
输出端，能操作以提供所述合成图像到图像显示装置。
32.一种图像检查装置，包括：
图像获取装置，能操作以获取场景的图像；
距离提取装置，能操作以从所述场景中的点提取距离信息，所述距离信息是所述图像获取装置与所述场景中的所述点之间的距离；
图像生成装置，能操作以生成像素，所生成的像素与所获取的图像中的像素相关，并且从所述距离信息得出所生成的像素的值；
图像结合装置，能操作以将所生成的像素与所获取的图像结合，其中，所生成的像素取代与其相关的所获取的图像的所述像素以形成合成图像；以及
输出端，能操作以提供所述合成图像到图像显示装置。
33.一种基本如上文中参考附图所描述的系统或方法或计算机软件或计算机可读存储介质。
CN201380048155.6A 2012-09-14 2013-08-14 检查成像系统、以及医学成像系统、设备和方法 Pending CN104641634A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1216484.4A GB2505926A (en) 2012-09-14 2012-09-14 Display of Depth Information Within a Scene
GB1216484.4 2012-09-14
PCT/GB2013/052162 WO2014041330A2 (en) 2012-09-14 2013-08-14 Inspection imaging system, and a medical imaging system, apparatus and method

Publications (1)

Publication Number Publication Date
CN104641634A true CN104641634A (zh) 2015-05-20

Family

ID=47144325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048155.6A Pending CN104641634A (zh) 2012-09-14 2013-08-14 检查成像系统、以及医学成像系统、设备和方法

Country Status (6)

Country Link
US (1) US20150215614A1 (zh)
EP (1) EP2896204A2 (zh)
JP (1) JP2015531271A (zh)
CN (1) CN104641634A (zh)
GB (1) GB2505926A (zh)
WO (1) WO2014041330A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135354A (zh) * 2016-02-26 2017-09-05 苏州速迈医疗设备有限公司 3d摄像装置的连接控制组件
CN109246412A (zh) * 2017-05-25 2019-01-18 阿里健康信息技术有限公司 一种手术室记录系统及方法、手术室
CN110298256A (zh) * 2019-06-03 2019-10-01 Oppo广东移动通信有限公司 静脉识别方法及相关装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984474B2 (en) 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
US9875574B2 (en) 2013-12-17 2018-01-23 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
US10019812B2 (en) 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US10157495B2 (en) 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US11382492B2 (en) * 2013-02-05 2022-07-12 Scopernicus, LLC Wireless endoscopic surgical device
US9818039B2 (en) 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9842430B2 (en) 2013-12-17 2017-12-12 General Electric Company Method and device for automatically identifying a point of interest on a viewed object
US9600928B2 (en) 2013-12-17 2017-03-21 General Electric Company Method and device for automatically identifying a point of interest on the surface of an anomaly
US20150346115A1 (en) * 2014-05-30 2015-12-03 Eric J. Seibel 3d optical metrology of internal surfaces
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
CN107408307A (zh) * 2015-03-17 2017-11-28 通用电气公司 用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置
US10401611B2 (en) 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
JPWO2017130567A1 (ja) * 2016-01-25 2018-11-22 ソニー株式会社 医療用安全制御装置、医療用安全制御方法、及び医療用支援システム
WO2018135041A1 (ja) * 2017-01-17 2018-07-26 オリンパス株式会社 内視鏡挿入形状観測装置
JP2018156617A (ja) * 2017-03-15 2018-10-04 株式会社東芝 処理装置および処理システム
WO2019213432A1 (en) * 2018-05-03 2019-11-07 Intuitive Surgical Operations, Inc. Systems and methods for measuring a distance using a stereoscopic endoscope
JP2020005745A (ja) 2018-07-04 2020-01-16 富士フイルム株式会社 内視鏡装置
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
WO2021181508A1 (ja) * 2020-03-10 2021-09-16 オリンパス株式会社 内視鏡システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1132470A (zh) * 1993-10-06 1996-10-02 巴依奥桑斯股份有限公司 位置和取向的磁方式确定
CN1438614A (zh) * 2002-02-15 2003-08-27 西门子公司 用检查体的三维体数据显示投影图像或截面图像的方法
US20060268257A1 (en) * 2005-05-24 2006-11-30 Olympus Corporation Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
CN101002205A (zh) * 2004-04-16 2007-07-18 皇家飞利浦电子股份有限公司 数据集可视化
CN102595998A (zh) * 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612816A (en) * 1992-04-28 1997-03-18 Carl-Zeiss-Stiftung Endoscopic attachment for a stereoscopic viewing system
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JP2000148983A (ja) * 1998-11-13 2000-05-30 Toshiba Iyo System Engineering Kk 仮想化内視鏡装置
JP4646384B2 (ja) * 2000-11-21 2011-03-09 オリンパス株式会社 計測用内視鏡装置及び目盛表示方法
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP4195574B2 (ja) * 2002-04-05 2008-12-10 日本放送協会 立体内視鏡
DE10340544B4 (de) * 2003-09-01 2006-08-03 Siemens Ag Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
JP4323288B2 (ja) * 2003-10-31 2009-09-02 オリンパス株式会社 挿入支援システム
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4885479B2 (ja) * 2004-10-12 2012-02-29 オリンパス株式会社 計測用内視鏡装置及び内視鏡用プログラム
JP4916114B2 (ja) * 2005-01-04 2012-04-11 オリンパス株式会社 内視鏡装置
US9492240B2 (en) * 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP4152402B2 (ja) * 2005-06-29 2008-09-17 株式会社日立メディコ 手術支援装置
US20070156021A1 (en) * 2005-09-14 2007-07-05 Bradford Morse Remote imaging apparatus having an adaptive lens
JP5026769B2 (ja) * 2006-11-14 2012-09-19 オリンパス株式会社 計測用内視鏡装置、プログラム、および記録媒体
JP2008229219A (ja) * 2007-03-23 2008-10-02 Hoya Corp 電子内視鏡システム
JP5186286B2 (ja) * 2007-06-04 2013-04-17 オリンパス株式会社 計測用内視鏡装置およびプログラム
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
JP5284731B2 (ja) * 2008-09-02 2013-09-11 オリンパスメディカルシステムズ株式会社 立体画像撮影表示システム
JP5361592B2 (ja) * 2009-07-24 2013-12-04 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
JP2011206435A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 撮像装置、撮像方法、撮像プログラム、及び内視鏡
JP2012004693A (ja) * 2010-06-15 2012-01-05 Clarion Co Ltd 運転支援装置
JP2012075508A (ja) * 2010-09-30 2012-04-19 Panasonic Corp 手術用カメラ
JP2012147857A (ja) * 2011-01-17 2012-08-09 Olympus Medical Systems Corp 画像処理装置
WO2012100002A1 (en) * 2011-01-18 2012-07-26 Massachusetts Institute Of Technology Deployable barbed microneedle array and uses thereof
US9013469B2 (en) * 2011-03-04 2015-04-21 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
JP5965726B2 (ja) * 2012-05-24 2016-08-10 オリンパス株式会社 立体視内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1132470A (zh) * 1993-10-06 1996-10-02 巴依奥桑斯股份有限公司 位置和取向的磁方式确定
CN1438614A (zh) * 2002-02-15 2003-08-27 西门子公司 用检查体的三维体数据显示投影图像或截面图像的方法
CN101002205A (zh) * 2004-04-16 2007-07-18 皇家飞利浦电子股份有限公司 数据集可视化
US20060268257A1 (en) * 2005-05-24 2006-11-30 Olympus Corporation Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
CN102595998A (zh) * 2009-11-04 2012-07-18 皇家飞利浦电子股份有限公司 利用距离传感器的碰撞避免和检测

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135354A (zh) * 2016-02-26 2017-09-05 苏州速迈医疗设备有限公司 3d摄像装置的连接控制组件
CN109246412A (zh) * 2017-05-25 2019-01-18 阿里健康信息技术有限公司 一种手术室记录系统及方法、手术室
CN110298256A (zh) * 2019-06-03 2019-10-01 Oppo广东移动通信有限公司 静脉识别方法及相关装置
CN110298256B (zh) * 2019-06-03 2021-08-24 Oppo广东移动通信有限公司 静脉识别方法及相关装置

Also Published As

Publication number Publication date
WO2014041330A2 (en) 2014-03-20
US20150215614A1 (en) 2015-07-30
WO2014041330A3 (en) 2014-05-08
JP2015531271A (ja) 2015-11-02
GB2505926A (en) 2014-03-19
GB201216484D0 (en) 2012-10-31
EP2896204A2 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
CN104641634A (zh) 检查成像系统、以及医学成像系统、设备和方法
JP7124011B2 (ja) システム、及び出血検出システムの作動方法
US11412993B2 (en) System and method for scanning anatomical structures and for displaying a scanning result
US7102634B2 (en) Apparatus and method for displaying virtual endoscopy display
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
JP5893808B2 (ja) 立体内視鏡画像処理装置
US9639928B2 (en) Method and device for simplifying information obtained from electrical impedance tomography
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
WO2022267573A1 (zh) 裸眼3d显示模式的切换控制方法、介质和系统
US20140184760A1 (en) Three-dimensional video display apparatus and three-dimensional video display method
US20200093350A1 (en) Image processing device, image processing method, program, and endoscope system
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
JPWO2005091649A1 (ja) 単一の撮像装置で連続取得したビデオ映像による立体表示方法
US10855980B2 (en) Medical-image display control device, medical image display device, medical-information processing system, and medical-image display control method
WO2019198128A1 (ja) 内視鏡業務支援システムおよび内視鏡業務支援方法
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
US20140139646A1 (en) Method and apparatus for outputting image, method and system for providing image using the same, and recording medium
US11445165B1 (en) Method, system and computer readable storage media for visualizing a magnified dental treatment site
CN114356088B (zh) 一种观看者跟踪方法、装置、电子设备及存储介质
State et al. Dynamic virtual convergence for video see-through head-mounted displays: Maintaining maximum stereo overlap throughout a close-range work space
WO2023145503A1 (ja) 医療用情報処理システム、医療用情報処理方法、及びプログラム
JP2018125727A (ja) 顔画像処理装置
US10762715B2 (en) Information processing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150520