CN115699782A - 医疗观察系统、图像处理方法和程序 - Google Patents

医疗观察系统、图像处理方法和程序 Download PDF

Info

Publication number
CN115699782A
CN115699782A CN202180043119.5A CN202180043119A CN115699782A CN 115699782 A CN115699782 A CN 115699782A CN 202180043119 A CN202180043119 A CN 202180043119A CN 115699782 A CN115699782 A CN 115699782A
Authority
CN
China
Prior art keywords
image
wide
display
angle image
trimming area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043119.5A
Other languages
English (en)
Inventor
户松景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115699782A publication Critical patent/CN115699782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Geometry (AREA)

Abstract

本公开涉及能够实现更适合操作者的图像显示的医疗观察系统、图像处理方法和程序。校正处理单元对通过捕获医疗目标获得的广角图像执行校正处理，裁切处理单元移动从广角图像裁切的显示图像的裁切区域，校正控制单元根据裁切区域相对于广角图像的状态控制校正处理。本公开可以应用于例如内窥镜手术系统。

Description

医疗观察系统、图像处理方法和程序
技术领域
本公开涉及医疗观察系统、图像处理方法和程序，并且更具体地涉及能够提供对外科医生更有帮助的图像显示的医疗观察系统、图像处理方法和程序。
背景技术
传统上，如PTL 1所公开的，例如，为了确保视角，内窥镜在其远端设有广角的透镜。
在广角图像中，越靠近其边缘，越失真。因此，通常，从失真校正的广角图像裁切的图像被作为显示图像显示在显示器等上。
[引用列表]
[专利文献]
[PTL 1]
JPH10-290777A
发明内容
[技术问题]
然而，对于在观察作为裁切图像而不是整个广角图像的显示图像的同时进行手术的外科医生，不容易识别在整个广角图像中用于裁切显示图像的裁切区域的位置。
鉴于这种情况做出本公开，并且本公开提供对外科医生更有帮助的图像显示。
[问题的解决方案]
根据本发明的医疗观察系统是一种医疗观察系统，包括：校正处理单元，其对作为医疗目标的捕获图像的广角图像执行校正处理；裁切处理单元，移动从所述广角图像裁切的显示图像的裁切区域；以及校正控制单元，根据裁切区域相对于广角图像的相对状态来控制校正处理。
本发明的图像处理方法是由医疗观察系统执行的图像处理方法，包括：对作为医疗目标的捕获图像的广角图像执行校正处理；移动从所述广角图像裁切的显示图像的裁切区域；以及根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
根据本公开的程序是使计算机执行以下操作的程序：对作为医疗目标的捕获图像的广角图像执行校正处理；移动从所述广角图像裁切的显示图像的裁切区域；以及根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
在本公开中，对作为医疗目标的捕获图像的广角图像执行校正处理，移动从广角图像裁切的显示图像的裁切区域，并且根据裁切区域相对于广角图像的相对状态来控制校正处理。
附图说明
图1是应用根据本公开的技术的内窥镜手术系统的示意图。
图2是应用根据本公开的技术的显微手术系统的示意图。
图3是示出根据本公开的实施例的医疗观察系统的配置实例的方框图。
图4是示出医疗观察系统的基本操作的流程的流程图。
图5是示出根据第一实施例的校正控制单元的操作的流程的流程图。
图6是示出裁切显示图像的实例的示意图。
图7是示出裁切显示图像的实例的示意图。
图8是示出根据第二实施例的校正控制单元的操作的流程的流程图。
图9是用于解释根据裁切区域的移动速度的校正量的示意图。
图10是示出裁切区域的移动速度与广角图像的校正量之间的关系的示意图。
图11是示出根据第三实施例的显示控制单元的操作的流程的流程图。
图12是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图13是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图14是示出根据第四实施例的显示控制单元的操作的流程的流程图。
图15是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图16是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图17是示出根据本公开的实施例的医疗观察系统的另一个配置实例的方框图。
图18是示出根据第五实施例的显示控制单元的操作的流程的流程图。
图19是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图20是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图21是示出根据第六实施例的显示控制单元的操作的流程的流程图。
图22是示出根据裁切区域的位置在显示模式下显示图像的实例的示意图。
图23是示出控制装置的硬件配置实例的方框图。
具体实施方式
在下文中，将描述用于执行本公开的模式(在下文中称为实施例)。这里，将按照以下顺序进行描述。
1.根据本公开的技术适用的实施例
2.医疗观察系统的配置实例和基本操作
3.第一实施例(根据裁切区域的移动状态的校正控制1)
4.第二实施例(根据裁切区域的移动状态的校正控制2)
5.第三实施例(根据裁切区域的位置的显示控制1)
6.第四实施例(根据裁切区域的位置的显示控制2)
7.医疗观察系统的其他配置实例
8.第五实施例(根据裁切区域的位置的显示控制3)
9.第六实施例(根据裁切区域的位置的显示控制4)
10.硬件配置
<1.根据本公开的技术适用的实例>
根据本公开的技术适用于能够移动从广角图像裁切的显示图像的裁切区域的医疗观察系统。
(内窥镜手术系统)
图1是应用了根据本公开的技术的内窥镜手术系统1的示意图。
图1示出了外科医生(医生)SG在患者床BD上对患者PT进行手术的状态。
如图1所示，内窥镜手术系统1包括内窥镜10、其他手术器械20以及用于支撑内窥镜10的支撑臂装置30。内窥镜手术系统1虽未图示，但包括用于内窥镜手术的各种类型的装置。
在内窥镜手术中，多个称为套管针41a-41d的管状剖腹手术器械被刺入腹壁，而不是切开腹壁而打开腹部。然后，从套管针41a-41d向患者PT的体腔内插入内窥镜10的透镜镜筒11和其他手术器械20。在图1的例子中，作为其他手术器械20，在患者PT的体腔内插入有气腹管21、用于利用高频电流或超声波振动切开、剥离组织并封闭血管的能量处理器械22以及钳子23。但是，图示的手术器械20仅是一例，作为手术器械20，也可以使用钳子、收缩器等在内窥镜手术中通常使用的各种类型的手术器械。
由内窥镜10捕获的患者PT的体腔内的手术部位的图像显示在显示装置50上。外科医生SG一边实时观察显示装置50上显示的手术部位的图像，一边使用能量处理器械22或钳子23进行患部的切除等处理。虽未图示，但是手术操作者SG或手术中的助手支承气腹管21、能量处理器械22以及钳子23。
支撑臂装置30包括从基座部分31延伸的臂部32。在图1的示例中，臂部32包括接合部33a、33b和33c以及连杆34a和34b，并且在控制装置(未示出)的控制下被驱动。内窥镜10由臂部32支撑，并且控制其位置和方向。由此，内窥镜10能够稳定地固定就位。
内窥镜10包括透镜镜筒11和连接至透镜镜筒11的底端的摄像头12，透镜镜筒11的从其远端具有预定长度的一部分插入患者PT的体腔内。尽管在图1的实例中示出了被配置为具有刚性透镜镜筒11的所谓的刚性内窥镜的内窥镜10，但是内窥镜10可被配置为具有柔性透镜镜筒11的所谓的柔性内窥镜。
透镜镜筒11的远端设置有开口，用作物镜的广角透镜嵌入该开口中。在内窥镜10上连接有光源装置(未图示)，该光源装置产生的光由在透镜镜筒11的内部延伸的光导引导至透镜镜筒11的前端，经由广角透镜对患者PT的体腔内的观察对象进行照射。内窥镜10可以是直视型内窥镜，或者可以是透视型内窥镜或侧视型内窥镜。
光学系统和成像元件被设置在摄像头12的内部，并且从观察目标反射的光(观察光)通过光学系统聚焦在成像元件上。通过捕获元件对观察光进行光电转换，生成与该观察光对应的电信号、即与观察图像对应的图像信号。图像信号作为RAW数据被发送至照相机控制单元(CCU)(未示出)。摄像头12具有通过视情况驱动光学系统来调节放大率和焦距的功能。
例如，为了应付立体视觉(3D显示)等，摄像头12可设置有多个成像元件。在这种情况下，在透镜镜筒11的内部设置多个中继光学系统，以将观察光引导至多个成像元件中的每个。
虽未图示，但是在内窥镜手术系统1中设置有作为内窥镜手术系统1的输入接口的输入装置。输入装置例如包括鼠标、键盘、触摸面板、开关、脚踏开关61、杠杆等。在输入装置被配置为触摸面板的情况下，触摸面板可以设置在显示装置50的显示表面上。
输入装置可以包括由外科医生佩戴的装置，诸如眼镜型可佩戴装置或头戴式显示器(HMD)、可以检测外科医生的移动的照相机等，以能够根据外科医生的手势或视线来接收各种类型的输入。
利用这种配置，外科医生SG可以在观看显示在显示装置50上的手术部位的显示图像的同时执行各种处理。
(显微手术系统)
图2是应用根据本公开的技术的显微手术系统100的示意图。
图2示出外科医生SG使用手术刀、镊子、镊子等手术器械121对病床BD上的患者PT进行手术的状态。
手术视频显微镜装置110安装在病床BD旁边。
手术视频显微镜装置110包括用作基座的基部111、从基部111延伸的臂部112、以及连接至臂部112的远端的成像单元115。手术视频显微镜装置110可以是外窥镜。
臂部112具有多个关节部113a、113b、113c、通过关节部113a、113b连接的多个连杆114a、114b、以及安装于臂部112的前端的捕获部115。
在图2的实例中，为了简单起见，臂部112具有三个接合部分113a至113c以及两个连杆114a和114b。实际上，考虑到成像单元115的位置和姿势的自由度，可以适当地设置接合部113a至113c以及连杆114a和114b的数量和形状、接合部113a至113c的驱动轴的方向等，以便实现期望的自由度。
关节部113a-113c具有将连杆114a、114b旋转自如地连接的功能，通过驱动关节部113a-113c的旋转来控制臂部112的驱动。
成像单元115是包括用于获取对象的光学图像以获取成像目标的图像的光学系统的单元，并且例如被配置为配备有能够捕捉运动图像和静止图像的照相机的显微镜。在本公开的实施方式中，应用广角透镜作为光学系统。如图2所示，成像单元115的取向和位置由手术视频显微镜装置110控制，使得附接至臂部112的远端的成像单元115可以捕获患者PT的手术部位的状态。成像单元115可被配置为从臂部112可拆卸。
显示装置150安装在面向外科医生SG的位置。例如，通过内置或外置于手术视频显微镜装置110的图像处理装置经受各种类型的图像处理之后，由成像单元115获取的手术部位的图像显示在显示装置150上。
利用这种配置，外科医生SG可以在观看显示装置150上显示的手术部位的显示图像的同时执行各种治疗。
<2.医疗观察系统的配置实例和基本操作>
接着，说明能够应用于上述内窥镜手术系统1或显微手术系统100的医疗观察系统的配置实例和基本操作。
(医疗观察系统的配置实例)
图3是示出本发明的实施方式的医疗观察系统的配置实例的框图。
图3中示出的医疗观察系统200包括照相机210、输入装置220、显示装置230和控制装置240。
照相机210对应于内窥镜手术系统1的内窥镜10(摄像头12)或显微手术系统100的显微镜(成像单元115)，并且包括光学系统和成像元件。广角镜头用作照相机210中包括的光学系统。具体地，照相机210获取治疗目标的广角图像并将广角图像提供至控制装置240。广角图像是实时捕获的手术部位的运动图像，但可以是静止图像。作为广角镜头，例如，使用能够获得135度或140度的视角的超广角镜头，但是可应用能够获得较大视角(例如，接近180度的视角)的鱼眼镜头。作为广角透镜，可应用能够获得约60度至100度的视角的广角透镜。
输入装置220包括按钮、开关、鼠标、操纵杆、触摸面板等操作装置、麦克风等声音输入装置，将表示来自医疗观察系统200的用户、具体地说是手术操作者的操作的操作信号提供给控制装置240。
显示装置230被配置为用于显示从控制装置240输出的图像的监视器。用户(外科医生)观察显示装置230上显示的图像。
控制装置240被配置为应用根据本公开的技术的图像处理装置，并被配置为例如包括中央处理单元(CPU)、图形处理单元(GPU)等的相机控制单元(CCU)。
控制装置240通常基于来自输入装置220的操作信号来控制利用照相机210的图像捕获和利用显示装置230的显示。例如，控制装置240裁切从相机210获得的广角图像的一部分，并将裁切图像作为显示图像输出到显示装置230。
控制装置240包括校正处理单元241、裁切处理单元242、显示控制单元243和校正控制单元244。
校正处理单元241对从照相机210获得的广角图像执行校正处理。具体地，校正处理单元241对失真广角图像执行失真校正，以生成没有失真的校正广角图像，并且将校正广角图像提供至裁切处理单元242。
在已知的广角图像中，越靠近其边缘，则越暗，即，光量越小。在该视点中，校正处理单元241可对广角图像执行亮度校正，以产生具有恒定亮度的校正后的广角图像。
在后面将描述的校正控制单元244的控制下，校正处理单元241还可照原样将未进行校正处理的广角图像提供给裁切处理单元242。
裁切处理单元242裁切从校正处理单元241中获得的一部分广角图像，并且将裁切图像作为显示图像提供给显示控制单元243。基于检测到用于移动裁切区域的触发器，用于从广角图像裁切显示图像的裁切区域在广角图像上移动。例如，裁切区域基于通过输入装置220指示用户操作的操作信号在广角图像上实时移动。例如，在识别广角图像中的手术器械的图像并且移动裁切区域以跟随其图像已经被识别的手术器械的移动的情况下，裁切区域基于指示已经检测到要被跟随的手术器械的移动的检测信号在广角图像上实时移动。
裁切处理单元242还将指示裁切区域相对于广角图像的相对状态的相对状态信息提供给显示控制单元243和校正控制单元244。该相对状态包括广角图像中的裁切区域的移动状态(移动的存在或不存在、移动速度、移动方向等中的至少一个)和广角图像中的裁切区域的位置中的至少一个。
显示控制单元243通过控制显示装置230使显示装置230显示从裁切处理单元242获得的显示图像。显示控制单元243还可根据裁切区域相对于广角图像的相对状态控制显示图像的显示，该相对状态由从裁切处理单元242获得的相对状态信息表示。
校正控制单元244根据由从裁切处理单元242获得的相对状态信息表示的裁切区域与广角图像的相对状态，控制校正处理单元241的校正处理。
在后述实施方式中描述校正处理的控制的细节。简言之，当裁切区域的相对状态改变时，校正控制单元244根据相对状态的改变禁用校正处理或者调整用于校正处理的校正量。当裁切区域的相对状态不变而没有变化时，校正控制单元244启用校正处理。
(医疗观察系统的基本操作)
接着，参照图4的流程图说明医疗观察系统200的基本操作的流程。
例如，在裁切区域与广角图像的相对状态恒定的情况下，即，在对来自照相机210的广角图像进行校正处理并且然后在显示装置230上显示从校正的广角图像裁切的显示图像的情况下，开始图4的处理。
在步骤S1中，控制装置240的裁切处理单元242确定是否已经检测到用于移动裁切区域的触发器。例如，重复步骤S1，直到接收到用于移动裁切区域的用户操作，并且当接收到用于移动裁切区域的操作时，处理进行至步骤S2。
可基于指示裁切区域的移动的语音来接收用于移动裁切区域的用户操作，或者可通过操作装置(诸如操纵杆)来接收用于移动裁切区域的用户操作。可基于检测用户的视线的结果来接收用于移动裁切区域的用户操作。如上所述，在步骤S1中，可以检测广角图像中要跟随的手术器械的移动，然后处理可以进入步骤S2。
在步骤S2中，控制装置240的裁切处理单元242基于用户操作开始移动裁切区域以移动裁切区域。这将改变裁切区域相对于广角图像的相对状态。
因而，在步骤S3中，控制装置240的校正控制单元244根据裁切区域与广角图像的相对状态来控制校正处理单元241的校正处理。
具体地，当裁切区域的相对状态改变时，校正控制单元244根据相对状态的改变禁用校正处理或者调整用于校正处理的校正量。当裁切区域的相对状态不改变时，校正控制单元244启用校正处理。
在步骤S4中，控制装置240的裁切处理单元242从通过校正处理单元241进行了校正处理的广角图像或原始的广角图像中切出显示图像。
在步骤S5中，控制装置240的显示控制单元243使显示装置230显示从广角图像裁切的显示图像。
如上所述，当裁切区域相对于广角图像的相对状态改变时，至少显示图像被从其上没有完全进行校正处理的广角图像剪裁。
在不可能识别整个广角图像中的裁切区域的位置的情况下，即使裁切区域处于广角图像的边缘处，外科医生也不能识别阻止裁切区域进一步移动，从而导致妨碍手术的进展的风险。
相反，根据上述处理，当外科医生移动裁切区域使得裁切区域处于广角图像的边缘处时，显示图像的失真或暗度使得外科医生能够认识到阻止裁切区域进一步移动。因此，可以提供对外科医生更有帮助的图像显示。
以下将描述根据裁切区域与广角图像的相对状态的校正控制的具体实施例。在以下描述的实施方式中，假设通过校正处理单元241对广角图像执行失真校正。然而，可以如上所述对其执行亮度校正。
<3.第一实施方式(根据裁切区域的移动状态的校正控制1)>
图5是示出根据第一实施方式的校正控制单元244的操作流程的流程图。本实施例的校正控制单元244根据广角图像中裁切区域是正在移动还是停止来使校正处理单元241的校正处理无效或启用。
在步骤S11中，校正控制单元244确定裁切区域是否正在移动。
如果在步骤S11中确定裁切区域正在移动，则处理进行到步骤S12，然后校正控制单元244使校正处理单元241的校正处理无效。
另一方面，如果在步骤S11中确定裁切区域没有移动，即，如果裁切区域停止，则处理进行到步骤S13，然后校正控制单元244启用校正处理单元241的校正处理。
现在将参照图6和7描述根据本实施例的显示图像的裁切。为了便于说明，广角图像的对象被假定为棋盘图案，其中易于识别失真图像，并且这同样适用于以下实施例。
如图6所示，在裁切区域CA位于广角图像310的中心的情况下，裁切区域CA向上、向下、向左和向右可移动。从该状态，当基于移动裁切区域CA的用户操作将裁切区域CA移动到右下方时，对应于裁切区域CA的显示图像311照原样从广角图像310裁切，而没有经受校正处理(失真校正)。
另一方面，如图7所示，在裁切区域CA停止在广角图像310的右下方的情况下，从已经对广角图像310进行了校正处理(失真校正)的校正后的广角图像310c裁切与裁切区域CA对应的显示图像312。
根据上述处理，当外科医生移动裁切区域时，裁切区域越靠近广角图像的边缘，显示图像越扭曲，使得可以容易地识别裁切区域接近广角图像的边缘。当外科医生停止裁切区域时，即使裁切区域位于广角图像的边缘附近，也显示没有失真的显示图像，使得手术可以平稳进行。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
<4.第二实施例(根据裁切区域的移动状态的校正控制2)>
图8是示出根据第二实施例的校正控制单元244的操作流程的流程图。本实施例的校正控制单元244根据广角图像中的裁切区域的移动速度来设置校正处理单元241的校正处理的校正量。
在步骤S21中，校正控制单元244确定裁切区域的移动速度是否超过第一速度。
如果在步骤S21中确定裁切区域的移动速度超过第一速度，则处理进行到步骤S22，然后校正控制单元244将用于校正处理单元241的校正处理的校正量设置为0％。
另一方面，如果在步骤S21中确定裁切区域的移动速度不超过第一速度，则处理进行到步骤S23，然后校正控制单元244确定裁切区域的移动速度是否超过第二速度。第二速度是比第一速度低的移动速度。
如果在步骤S23中确定裁切区域的移动速度超过第二速度，则处理进行到步骤S24，然后校正控制单元244将用于校正处理单元241的校正处理的校正量设置为50％。在步骤S24中设置的校正量不限于50％，并且可以是0％和100％之间的另一个值。
另一方面，如果在步骤S23中确定裁切区域的移动速度没有超过第二速度，则处理进行到步骤S24，然后校正控制单元244将用于校正处理单元241的校正处理的校正量设定为100％。
现在将参照图9描述根据本实施方式的显示图像的裁切。在图9中，裁切区域CA的移动速度由块箭头的长度和厚度表示。
如在图9的左部中示出的，当裁切区域CA相对快地移动时，从通过具有0％的校正量的校正处理获得的广角图像320中裁切对应于裁切区域CA的显示图像(照原样没有经过校正处理)。
如图9的中心所示，当裁切区域CA相对缓慢地移动时，对应于裁切区域CA的显示图像从已经对广角图像320进行了具有50％的校正量的校正处理的校正广角图像320c1中裁切。
如图9的右侧所示，当裁切区域CA的位置被微调整或停止时，对应于裁切区域CA的显示图像从已经对广角图像320进行了具有100％校正量的校正处理的校正广角图像320c2中裁切。
根据上述处理，当外科医生快速移动裁切区域时，可以从从未对其进行校正处理的广角图像裁切的显示图像中确定裁切区域位于广角图像中的粗略位置。此外，当外科医生缓慢地移动裁切区域时，可以根据从具有较少失真的广角图像裁切的显示图像确定裁切区域位于广角图像中的位置，然后确定裁切区域的准确位置。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
在图8的处理中，根据裁切区域的移动速度是否超过预定阈值(第一速度或第二速度)，逐步地设置用于校正处理的校正量。然而，用于校正处理的校正量可以根据裁切区域的移动速度而改变。例如，用于校正处理的校正量可以线性改变。
例如，如图10所示，当裁切区域的移动速度低于第一速度v1并且高于第二速度v2时，可以根据移动速度的减小(增大)增大(减小)用于校正处理的校正量。
上面已经描述了校正控制单元244根据广角图像中的裁切区域的移动状态来控制校正处理单元241的校正处理的实施方式。校正控制单元244不限于这种实施方式，并且可以根据广角图像中的裁切区域的位置来控制校正处理单元241的校正处理。
如上所述，显示控制单元243还可根据裁切区域与广角图像的相对状态控制显示图像的显示。现在，以下将描述显示控制单元243根据裁切区域与广角图像的相对状态控制显示图像的显示的实施例。
<5.第三实施方式(根据裁切区域的位置的显示控制1)>
图11是示出根据第三实施方式的显示控制单元243的操作的流程的流程图。根据本实施方式的显示控制单元243根据裁切区域与广角图像的边缘之间的距离改变显示图像的显示模式。
在步骤S31中，显示控制单元243确定裁切区域是否在由广角图像的外周的20％限定的区域内。这里，如果裁切区域不包括由广角图像的外周的20％限定的区域，则确定裁切区域在由广角图像的外周的20％限定的区域内。
如果在步骤S31中确定裁切区域在由广角图像的外周的20％限定的区域内，则处理进行到步骤S32，然后显示控制单元243使显示装置230以第一显示模式显示对应的显示图像。第一显示模式是通知裁切区域靠近广角图像的中心的显示。
另一方面，如果在步骤S31中确定裁切区域不在由广角图像的外周的20％限定的区域内，则处理进行到步骤S33，然后显示控制单元243确定裁切区域与广角图像的边缘之间的距离是否大于或等于预定阈值。
如果在步骤S33中确定裁切区域与广角图像的边缘之间的距离大于或等于预定阈值，则处理进行到步骤S34，然后显示控制单元243使显示装置230以第二显示模式显示对应的显示图像。第二显示模式是通知裁切区域接近广角图像的边缘的显示。
另一方面，如果在步骤S33中确定裁切区域与广角图像的边缘之间的距离不大于或等于预定阈值，则处理进行到步骤S35，然后显示控制单元243使显示装置230以第三显示模式显示相应的显示图像。第三显示模式是通知裁切区域处于非常靠近广角图像的边缘的位置的显示。
现在将参考图12和图13描述根据本实施方式的根据裁切区域的位置的显示模式中的显示图像。在图12中，假设裁切区域在广角图像中移动。因而，从未执行校正处理的广角图像裁切显示图像。
如图12所示，例如，当裁切区域CA_1基本上在未进行校正处理的广角图像330的中心时，如箭头#1所示，显示具有添加的预定帧的显示图像331。
当裁切区域CA_2处于偏离广角图像330的中心的位置并且裁切区域包括由广角图像330的外周的20％限定的区域时，如箭头#2所示，显示具有添加的双行框的显示图像332。
当裁切区域CA_3处在非常靠近广角图像330的边缘的位置时，如箭头#3所示，显示具有添加的三线帧的显示图像333。
在图13中，假设裁切区域在广角图像中停止。因此，从已经执行校正处理的校正后的广角图像中裁切显示图像。
如图13所示，例如，当裁切区域CA_11大致处于已进行校正处理的校正广角图像330c的中心时，如箭头#11所示，显示具有添加的预定帧的显示图像336。
当裁切区域CA_12处于偏离广角图像330c的中心的位置并且裁切区域包括由校正的广角图像330c的外周的20％限定的区域时，如箭头#12所示，显示具有添加的双行框的显示图像337。
当裁切区域CA_13位于非常靠近校正的广角图像330c的边缘的位置时，如箭头#13所示，显示具有添加的三线帧的显示图像338。
在图12和图13中，根据裁切区域与广角图像的边缘之间的距离改变显示图像的帧的线条类型。然而，可改变显示图像的框架的颜色和厚度。
例如，要被添加到显示图像的帧可以是用于广角图像的中心附近的裁切区域的蓝色，用于在包括由广角图像的外周的20％限定的区域的位置处的裁切区域的黄色，以及用于在非常靠近广角图像的边缘的位置处的裁切区域的红色。
代替或除了改变添加至显示图像的整个帧的显示模式之外，添加至显示图像的帧的靠近广角图像的边缘或者与广角图像的边缘接触的部分(侧)可以根据裁切区域与广角图像的边缘之间的距离而改变。在这种情况下，外科医生可以在照顾广角图像的边缘所处的方向的同时移动裁切区域。
代替或除了改变显示图像的帧的显示模式之外，可以例如通过改变显示图像的亮度或分辨率来改变整个显示图像的显示模式。
根据上述处理，可以从用于相应显示图像的显示模式容易地确定裁切区域位于广角图像中的位置。
例如，对于从已经执行失真校正的校正的广角图像裁切显示图像的情况，或者对于即使在尚未执行失真校正的广角图像中也出现失真难以识别的对象的情况，可能无法确定裁切区域是否位于广角图像的边缘附近。
例如，对于腹腔内的手术部位的图像是广角图像的情况，不容易根据出现在显示图像中的器官的形状等确定裁切区域是否位于广角图像的边缘附近。
尤其即使对于这种情况，也能够从用于相应显示图像的显示模式容易地确定裁切区域位于广角图像中的位置。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
<6.第四实施方式(根据裁切区域的位置的显示控制2)>
图14是示出根据第四实施例的显示控制单元243的操作流程的流程图。在裁切区域到达广角图像的边缘的状态下，如果从裁切的显示图像不能确定裁切区域位于广角图像的边缘处，那么外科医生可尝试将裁切区域进一步移动到广角图像的边缘之外。因此，当外科医生可能将裁切区域移动到广角图像的边缘之外时，根据本实施方式的显示控制单元243改变显示图像的显示模式。作为此处所使用的移动裁切区域的用户操作，可能移动裁切区域超出广角图像的边缘的操作(注意，裁切区域实际上没有放置在广角图像的边缘之外)被称为裁切区域超出广角图像的边缘。
在步骤S41中，显示控制单元243确定裁切区域是否位于广角图像中的未遮蔽区域的边缘之外。
包括在上述实施方式中示出的广角图像的内窥镜图像在成像元件(图像尺寸)大于透镜的图像圈的部分(屏幕上的左侧和右侧)中包括称为“渐晕”的黑色阴影。另一方面，不成像图像尺寸小于图像圈的部分(屏幕上的上部和下部)，并且切断被摄体。并且，根据内窥镜的镜体直径，在内窥镜图像的周边部合成黑色图像作为遮蔽图像。广角图像中的黑色阴影或黑色图像区域在本文中被称作遮蔽区域。
换句话说，在步骤S41中，确定裁切区域是否位于屏幕上广角图像的上边缘或下边缘之外。
如果在步骤S41中确定裁切区域没有位于广角图像中未遮蔽区域的边缘之外，则处理进行到步骤S42，然后显示控制单元243使显示装置230显示包括遮蔽区域的裁切显示图像。
另一方面，如果在步骤S41中确定裁切区域位于广角图像中的未遮蔽区域的边缘之外，则处理进行到步骤S43，然后显示控制单元243将伪遮蔽区域添加到裁切的显示图像并且使显示装置230显示所产生的图像。
图15是示出通过常规方法从广角图像裁切的显示图像的图。
如图15所示，例如，当裁切区域CA_21在未进行校正处理的广角图像340的左端时，如箭头#21所示显示包括遮蔽区域的显示图像341。在这种情况下，遮蔽区域的存在使得可以容易地确定裁切区域位于广角图像的边缘处。
另一方面，当裁切区域CA_22在广角图像340的下端中时，如箭头#22所示显示不包括遮蔽区域的显示图像342。在这种情况下，因为不存在遮蔽区域，所以不可能容易地确定裁切区域位于广角图像的边缘处。
图16是示出通过根据本实施例的方法从广角图像裁切的显示图像的图。
在根据本实施例的方法中，作为对象被切断的画面上的上部和下部中的广角图像340中添加伪遮蔽区域BK340(伪遮蔽区域)。裁切区域CA在包括伪遮蔽区域BK340的广角图像340上是可移动的。
在图16中，从广角图像340中裁切的对应于裁切区域CA_21的显示图像341与图15的实例中相同，并且因此，将省略其描述。
当裁切区域CA_23在包括伪遮蔽区域BK340的广角图像340的下端中时，如箭头#23所示，显示包括伪遮蔽区域BK340的显示图像343。结果，即使当裁切区域接近广角图像340中的未遮蔽区域的边缘时，伪遮蔽区域BK340也能够容易地确定裁切区域位于广角图像的边缘处。
代替在广角图像340的上部和下部中添加伪遮蔽区域BK340，当检测到裁切区域CA位于广角图像340的上边缘或下边缘之外时，可合成伪遮蔽图像并将其显示在显示图像的上端或下端。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
<7.医疗观察系统的其他配置实例>
图17是表示本发明的实施方式所涉及的医疗观察系统的其他配置实例的框图。
图17所示的医疗观察系统400包括照相机410、臂部420、输入装置430、显示装置440和控制装置450。
照相机410、输入装置430、和显示装置440分别与图3中的照相机210、输入装置220、和显示装置230相同，因此，将省略对其的描述。
臂部420对应于内窥镜手术系统1的臂部32或显微手术系统100的臂部112，并且支撑照相机410。
控制装置450包括校正处理单元451、裁切处理单元452、显示控制单元453、校正控制单元454以及驱动控制单元455。
校正处理单元451、显示控制单元453和校正控制单元454分别与图3中的校正处理单元241、显示控制单元243和校正控制单元244相同，因此，将省去其描述。
裁切处理单元452与图3中的裁切处理单元242的相同之处在于，基于来自输入装置430的操作信号，裁切处理单元实时移动广角图像上的裁切区域。当裁切区域被置于广角图像的范围之外时，裁切处理单元452指示驱动控制单元455驱动臂部420。
驱动控制单元455通过基于来自裁切处理单元452的指令控制臂部420的驱动，来控制由臂部420支撑的照相机410的位置和方位。驱动控制单元455还将表示臂部420在驱动范围内的当前位置的信息实时输出至裁切处理单元452。
使用来自驱动控制单元455的信息，裁切处理单元452基于臂部420的驱动范围向显示控制单元453和校正控制单元454提供指示裁切区域与用于捕捉广角图像的允许范围的相对状态的相对状态信息。该相对状态包括在用于捕捉广角图像的允许范围内的裁切区域的移动状态(存在或不存在移动、移动速度等)和在用于捕捉广角图像的允许范围内的裁切区域的位置。
以下将描述实施方式，其中，显示控制单元453根据裁切区域与用于捕捉广角图像的允许范围的相对状态控制显示图像的显示。在以下实施例中，校正控制单元454还可以根据裁切区域与用于捕获广角图像的允许范围的相对状态来控制校正处理单元241的校正处理。
<8.第五实施方式(根据裁切区域的位置的显示控制器3)>
图18是示出根据第五实施方式的显示控制单元453的操作流程的流程图。根据本实施方式的显示控制单元453根据裁切区域与捕获允许范围的边缘之间的距离改变显示图像的显示模式。
在步骤S51中，显示控制单元453确定裁切区域是否在由捕获允许范围的外周的20％限定的区域内。这里，如果裁切区域不包括由捕获允许范围的外周的20％限定的区域，则确定裁切区域在由捕获允许范围的外周的20％限定的区域内。
如果在步骤S51中确定裁切区域在由捕获允许范围的外周的20％限定的区域内，则处理进行至步骤S52，并且然后显示控制单元453使显示装置440以第一显示模式显示相应的显示图像。
另一方面，如果在步骤S51中确定裁切区域不在由捕获允许范围的外周的20％限定的区域内，则处理进行到步骤S53，然后显示控制单元243确定裁切区域与捕获允许范围的边缘之间的距离是否大于或等于预定阈值。
如果在步骤S53中确定裁切区域与捕获允许范围的边缘之间的距离大于或等于预定阈值，则处理进行至步骤S54，并且然后显示控制单元453使显示装置440以第二显示模式显示相应的显示图像。
另一方面，如果在步骤S53中确定裁切区域和捕获允许范围的边缘之间的距离不大于或等于预定阈值，则处理进行至步骤S54，并且然后显示控制单元453使显示装置440以第三显示模式显示相应的显示图像。
现在将参照图19描述根据本实施方式的根据裁切区域的位置的显示模式中的显示图像。在图19中，假设裁切区域在广角图像中停止。因此，从已经执行校正处理的校正后的广角图像中裁切显示图像。可在广角图像中移动裁切区域，并且可从未执行校正处理的广角图像中裁切显示图像。
在图19的实例中，广角图像510是在捕获SA的允许范围的下端捕获的对象的图像。
如图19所示，例如，当裁切区域CA_31在广角图像510的上端但是基本上在捕捉SA的可允许范围的中心时，如箭头#31所示显示具有添加的预定帧的显示图像511。
当裁切区域CA_32在稍微偏离用于捕捉SA的可允许范围的中心的位置时，如箭头#32所示，显示具有添加的预定帧的显示图像512。
当裁切区域CA_33位于偏离允许捕捉SA的范围的中心的位置处并且其包括由允许捕捉SA的范围的外周的20％限定的区域时，如箭头#33所示，显示具有添加的双行框的显示图像513。
当裁切区域CA_34在非常接近捕捉SA的允许范围的边缘的位置时，如箭头#34所示，显示具有添加的三线帧的显示图像514。
在图19中，显示图像的帧的线条类型根据裁切区域和捕获允许范围的边缘之间的距离而改变。然而，可改变显示图像的框架的颜色和厚度。
例如，要被添加到显示图像的帧对于靠近捕获允许范围的中心的裁切区域为蓝色，对于裁切区域在包括由捕获允许范围的外周的20％限定的区域的位置处的黄色以及对于裁切区域在非常靠近捕获允许范围的边缘的位置处的红色。
代替或除了改变添加至显示图像的整个帧的显示模式之外，添加至显示图像的帧的一部分(侧)(其接近或接触广角图像的边缘)可以根据裁切区域和捕获允许范围的边缘之间的距离而改变。在这种情况下，外科医生可以在考虑允许捕获范围的边缘所在的方向的同时移动裁切区域。
代替或除了改变显示图像的帧的显示模式之外，可以例如通过改变显示图像的亮度或分辨率来改变整个显示图像的显示模式。
根据上述处理，可以从用于相应显示图像的显示模式容易地确定裁切区域位于捕获允许范围内的何处。
在上述第三实施例应用于可以通过驱动臂部420来控制照相机410的位置和姿势的配置的情况下，即使可以通过驱动臂部420来移动裁切区域，用于显示图像的显示模式根据裁切区域与广角图像的边缘之间的距离而改变，使得不可能精确地呈现裁切区域的移动的限制。
另一方面，根据本实施例，裁切区域的显示模式根据裁切区域和捕获允许范围的边缘之间的距离而改变，使得可以更精确地呈现裁切区域的移动的限制。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
<9.第六实施方式(根据裁切区域的位置的显示控制器4)>
在上述第五实施方式中，仅根据裁切区域与捕获允许范围的边缘之间的距离改变裁切区域的显示模式。因此，例如，不可能确定裁切区域CA_31位于广角图像510的边缘处，如图19中的显示图像511。
因此，如图20所示，例如，当裁切区域CA_41基本上在广角图像520的中心时，如箭头#41所示，显示没有帧的显示图像521。
当裁切区域CA_42位于偏离广角图像520的中心的位置时，如箭头#42所示，显示没有帧的显示图像332。
当裁切区域CA_43在非常靠近广角图像520的边缘的位置时，如箭头#43所示，显示具有添加的预定帧的显示图像523。此时，如后面将描述的，用于显示图像523的帧的显示模式根据裁切区域和用于捕捉的可允许范围的边缘之间的距离而改变。
结果，可以确定裁切区域是否位于广角图像的边缘，以及裁切区域位于允许捕获范围内的位置。
在图20的实例中，即使当裁切区域CA_42在远离广角图像520的边缘的位置处时，如果裁切区域CA_42包括由捕获SA的可允许范围的外周的20％限定的区域，则显示以相应的显示模式添加了帧的显示图像532。
图21是示出根据第六实施方式的显示控制单元453的操作流程的流程图。根据本实施方式的显示控制单元453根据裁切区域与捕捉的可允许范围的边缘之间的距离以及裁切区域与广角图像的边缘之间的距离来改变显示图像的显示模式。图21的流程图中的步骤S61和S65至S67的处理与图18的流程图中的步骤S51和S53至S55的处理相同，因此，将省略其描述。
因而，如果在步骤S61中确定裁切区域在由捕获允许范围的外周的20％限定的区域内，则处理进行到步骤S62，然后显示控制单元453确定裁切区域与广角图像的边缘之间的距离是否大于或等于预定阈值。
如果在步骤S62中确定裁切区域与广角图像的边缘之间的距离大于或等于预定阈值，则处理进行到步骤S63，然后显示控制单元453使显示装置440原样显示裁切的显示图像。
另一方面，如果在步骤S62中确定裁切区域和广角图像的边缘之间的距离不大于或等于预定阈值，则处理进行到步骤S64，然后显示控制单元453使显示装置440以第一显示模式显示相应的显示图像。
现在将参照图22描述根据本实施方式的根据裁切区域的位置的显示模式中的显示图像。在图22中，假设裁切区域在广角图像中停止。因此，从已经执行校正处理的校正后的广角图像中裁切显示图像。可在广角图像中移动裁切区域，并且可从未执行校正处理的广角图像中裁切显示图像。
如图22所示，即使当裁切区域CA基本上在捕捉SA_51的可允许范围的中心时，如果裁切区域CA在非常靠近广角图像530的边缘的位置处，则如箭头#51所示显示具有添加的预定帧的显示图像531。
当裁切区域CA在其包括由捕获SA_52的可允许范围的外周的20％限定的区域的位置处时，与裁切区域CA在广角图像530中的位置无关，如箭头#52所示，显示具有添加的双行框的显示图像532。
当裁切区域CA在非常接近捕捉SA_53的允许范围的末端的位置时，与裁切区域CA在广角图像530中的位置无关，如箭头#53所示，显示具有添加的三线帧的显示图像533。
在图22中，如图19中所示，根据裁切区域与捕捉的可允许范围的边缘之间的距离改变显示图像的帧的线条类型。然而，可改变显示图像的帧的颜色和厚度、添加到显示图像的帧的一部分(侧)(其靠近或接触广角图像的边缘)或整个显示图像的显示模式。
根据上述处理，可以根据对应显示图像的显示模式以及裁切区域位于允许捕获范围内的位置，容易地确定裁切区域是否位于非常靠近广角图像的边缘。
如上所述，根据本实施方式，能够提供对外科医生更有帮助的图像显示。
上面已经描述了实施方式，其中，显示控制单元243或显示控制单元453根据裁切区域在广角图像中的位置或捕捉的可允许范围控制显示图像的显示。显示控制单元243或显示控制单元453不限于这种实施方式，并且可控制在广角图像或捕捉的可允许范围内显示裁切区域的显示图像(存在或不存在移动、移动速度、移动方向等)。
例如，用于显示图像的显示模式和/或用于显示图像的帧的显示模式可以根据广角图像中的裁切区域的移动速度或捕获允许范围(换言之，到达广角图像的边缘的时间或捕获允许范围)而改变。
<10.硬件配置>
最后，参照图23对本发明的实施方式的医疗观察系统所具有的控制装置的硬件配置实例进行说明。
如图23所示，控制装置600具有中央处理器601、只读存储器603以及随机存取存储器605。控制装置600还包括主机总线607、桥接器609、外部总线611、接口613、输入装置615、输出装置617和存储装置619。控制装置600可以包括驱动器621、连接端口623和通信装置625。
中央处理器601用作运算处理装置和控制装置，并且根据记录在只读存储器603、随机存取存储器605、存储装置619或可移动记录介质627上的各种程序来控制控制装置600中的所有或一些操作。
只读存储器603存储由中央处理器601使用的程序、算术参数等。随机存取存储器605主要存储由中央处理器601使用的程序、在程序执行期间适当改变的参数等。这些单元通过包括内部总线(诸如中央处理器总线)的主机总线607彼此连接。图3中的控制装置240和图17中的控制装置450的每个配置例如由中央处理器601实现。
主机总线607通过桥接器609连接到外部总线611，例如外围组件互连/接口(PCI)总线。输入装置615、输出装置617、存储装置619、驱动器621、连接端口623和通信装置625经由接口613连接到外部总线611。
输入装置615例如是手术操作者操作的鼠标、键盘、触摸面板、按钮、开关、杆、踏板等操作部件。输入装置615可以是例如使用红外光或其他无线电波的远程控制装置(所谓的遥控器)，或者可以是支持控制装置600上的操作的外部连接装置629，诸如移动电话或PDA。
输入装置615包括输入控制电路等，该输入控制电路等基于外科医生使用操作装置输入的信息生成输入信号并且将该输入信号输出至中央处理器601。
手术师能够操作输入装置615以向控制装置600输入各种类型的数据并且指示控制装置600执行处理操作。
输出装置617构成为能够将取得的信息在视觉上或者听觉上通知给手术操作者的装置。具体地，例如，输出装置617被配置为诸如CRT显示装置、液晶显示装置、等离子体显示装置、EL显示装置、以及灯的显示装置、诸如扬声器和耳机的声音输出装置、和/或打印机装置。
例如，输出装置617输出通过由控制装置600执行的各种类型的处理所获得的结果。具体地，显示装置将通过由控制装置600执行的各种类型的处理所获得的结果显示为文本或图像。另一方面，声音输出装置将由再现的声音数据、声音数据等形成的音频信号转换成模拟信号，并输出转换后的模拟信号。
存储装置619是被配置为控制装置600的存储单元的实例的数据存储装置。存储装置619包括例如诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储装置619存储由中央处理器601执行的程序或各种类型的数据。
驱动器621是记录媒质读取器/写入器，并且内置或外接到控制装置600。驱动器621读取安装在其上的记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质627上的信息，并将该信息输出至随机存取存储器605。驱动器621还可以将信息记录在安装在其上的可移除记录介质627(诸如磁盘、光盘、磁光盘或半导体存储器)上。
可移除记录介质627是例如DVD介质、HD-DVD介质或蓝光(注册商标)介质。可移除记录介质627可以是紧凑型闪存(注册商标)、闪存、安全数字(SD)存储卡等。可移除记录介质627可以是例如其上安装有非接触型IC芯片的集成电路(IC)卡或电子装置。
连接端口623是用于将外部连接装置629直接连接至控制装置600的端口。连接端口623的实例包括通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口623的其他实例包括RS-232C端口、光学音频端子和高清多媒体接口(HDMI)(注册商标)端口。当外部连接装置629连接至连接端口623时，控制装置600直接从外部连接装置629获取各种类型的数据或者将各种类型的数据提供至外部连接装置629。
通信装置625例如是包括用于连接至通信网络(网络)631的通信装置等的通信接口。通信装置625例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线USB(WUSB)的通信卡。通信装置625可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、或任何各种类型的通信调制解调器。
通信装置625例如可以按照预定协议(诸如TCP/IP)将信号等发送到互联网或另一通信装置以及从互联网或另一通信装置接收信号等。连接至通信装置625的通信网络631可以由以无线或有线方式连接的网络等构成。通信网络631可以是例如互联网、家庭LAN、或通过其执行红外通信、无线电波通信、或卫星通信的通信网络。
控制装置600的每个部件可以使用通用构件来配置，或者可以使用专用于每个部件的功能的硬件来配置。因此，当实现上述实施方式中的任一个时，可以根据技术水平适当地改变要使用的硬件配置。
能够生成用于实现上述实施方式所涉及的医疗观察系统所具有的控制装置600的各功能的计算机程序，该计算机程序搭载在个人计算机等中。还可提供存储计算机程序的计算机可读记录介质。记录介质的实例包括磁盘、光盘、磁光盘以及闪存。计算机程序可以经由例如网络分布，而不使用记录介质。
在本说明书中，系统意味着一组多个组成元件(装置、模块(部件)等)，并且所有组成元件可位于同一壳体中或不位于同一壳体中。因此，容纳在分开的壳体中并且经由网络连接的多个装置，以及其中多个模块容纳在一个壳体中的一个装置都是系统。
要注意的是，本公开的实施方式不限于上述实施方式，并且在不背离本公开的范围和精神的前提下，可通过各种方式进行修改。
例如，本公开可以被配置为云计算，其中多个装置经由网络共享和协作地处理一个功能。
另外，上述流程图中描述的每个步骤可以由一个装置执行或者由多个装置以共享方式执行。
此外，在单个步骤中包括多种处理的情况下，包含在单个步骤中的多种处理可以由一个装置或者由多个装置以共享方式执行。
本公开可以如下配置。
(1)一种医疗观察系统，包括：
校正处理单元，其对作为医疗目标的捕获图像的广角图像执行校正处理；
裁切处理单元，移动从所述广角图像裁切的显示图像的裁切区域；以及校正控制单元，根据裁切区域相对于广角图像的相对状态来控制校正处理。
(2)根据(1)所述的医疗观察系统，其中，所述校正处理单元对所述广角图像执行失真校正。
(3)根据(1)所述的医疗观察系统，其中，所述校正处理单元对所述广角图像执行亮度校正。
(4)根据(1)-(3)中任一项所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在所述广角图像中的移动状态。
(5)根据(4)所述的医疗观察系统，其中，
所述校正控制单元
在所述裁切区域移动时，禁用所述校正处理，以及
在所述裁切区域停止时，启用所述校正处理。
(6)根据(4)所述的医疗观察系统，其中，所述校正控制单元根据所述裁切区域的移动速度设置用于所述校正处理的校正量。
(7)根据(6)所述的医疗观察系统，其中，所述校正控制单元根据所述裁切区域的移动速度是否超过预定阈值来逐步地设置所述校正量。
(8)根据(6)所述的医疗观察系统，其中，所述校正控制单元线性地改变与所述裁切区域的所述移动速度对应的所述校正量。
(9)根据(1)-(8)中任一项所述的医疗观察系统，还包括，显示控制单元，所述显示控制单元根据所述裁切区域相对于所述广角图像的相对状态来控制显示图像的显示。
(10)根据(9)所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在所述广角图像中的位置和移动状态中的至少一个。
(11)根据(10)所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述广角图像的边缘之间的距离改变所述显示图像的显示模式。
(12)根据(11)所述的医疗观察系统，其中，所述显示控制单元根据所述距离改变所述显示图像的帧的显示模式。
(13)根据(10)所述的医疗观察系统，其中，当所述裁切区域位于所述广角图像的边缘之外时，所述显示控制单元改变所述显示图像的显示模式。
(14)根据(13)所述的医疗观察系统，其中，所述显示控制单元显示具有在所述裁切区域位于所述广角图像中的未遮蔽区域的边缘之外时添加的伪遮蔽区域的所述显示图像。
(15)根据(1)至(14)中任一项所述的医疗观察系统，还包括，显示控制单元，所述显示控制单元基于用于支撑捕获所述广角图像的照相机的臂部的驱动范围，根据所述裁切区域相对于所述广角图像的允许范围的相对状态来控制所述显示图像的显示。
(16)根据(15)所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在所述捕获允许范围内的位置和移动状态中的至少一个。
(17)根据(16)所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述捕获允许范围的边缘之间的距离改变所述显示图像的显示模式。
(18)根据(17)所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述捕获允许范围的边缘之间的距离以及所述裁切区域与所述广角图像的边缘之间的距离来改变所述显示图像的显示模式。
(19)一种由医疗观察系统执行的图像处理方法，所述图像处理方法包括：
对作为医疗目标的捕获图像的广角图像执行校正处理；
移动从所述广角图像裁切的显示图像的裁切区域；以及
根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
(20)一种程序，使计算机执行以下处理：
对作为医疗目标的捕获图像的广角图像执行校正处理；
移动从所述广角图像裁切的显示图像的裁切区域；以及
根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
[参考标号列表]
1 内窥镜手术系统
100 显微手术系统
200 医疗观察系统
210 照相机
220 输入装置
230 显示装置
240 控制装置
241 校正处理单元
242 裁切处理单元
243 显示控制单元
244 校正控制单元
400 医疗观察系统
410 照相机
420 臂部
430 输入装置
440 显示装置
450 控制装置
451 校正处理单元
452 裁切处理单元
453 显示控制单元
454 校正控制单元
455 驱动控制单元。

Claims (20)

1.一种医疗观察系统，包括：
校正处理单元，对作为医疗目标的捕获图像的广角图像执行校正处理；
裁切处理单元，移动从所述广角图像裁切的显示图像的裁切区域；以及
校正控制单元，根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
2.根据权利要求1所述的医疗观察系统，其中，所述校正处理单元对所述广角图像执行失真校正。
3.根据权利要求1所述的医疗观察系统，其中，所述校正处理单元对所述广角图像执行亮度校正。
4.根据权利要求1所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在所述广角图像中的移动状态。
5.根据权利要求4所述的医疗观察系统，其中，
所述校正控制单元
在所述裁切区域移动时，禁用所述校正处理，以及
在所述裁切区域停止时，启用所述校正处理。
6.根据权利要求4所述的医疗观察系统，其中，所述校正控制单元根据所述裁切区域的移动速度设置用于所述校正处理的校正量。
7.根据权利要求6所述的医疗观察系统，其中，所述校正控制单元根据所述裁切区域的移动速度是否超过预定阈值来逐步地设置所述校正量。
8.根据权利要求6所述的医疗观察系统，其中，所述校正控制单元线性地改变与所述裁切区域的所述移动速度对应的所述校正量。
9.根据权利要求1所述的医疗观察系统，还包括：显示控制单元，根据所述裁切区域相对于所述广角图像的所述相对状态来控制所述显示图像的显示。
10.根据权利要求9所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在所述广角图像中的位置和移动状态中的至少一个。
11.根据权利要求10所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述广角图像的边缘之间的距离改变所述显示图像的显示模式。
12.根据权利要求11所述的医疗观察系统，其中，所述显示控制单元根据所述距离改变所述显示图像的帧的显示模式。
13.根据权利要求10所述的医疗观察系统，其中，当所述裁切区域位于所述广角图像的边缘之外时，所述显示控制单元改变所述显示图像的显示模式。
14.根据权利要求13所述的医疗观察系统，其中，所述显示控制单元显示具有在所述裁切区域位于所述广角图像中的未遮蔽区域的边缘之外时添加的伪遮蔽区域的所述显示图像。
15.根据权利要求1所述的医疗观察系统，还包括：显示控制单元，基于用于支撑捕获所述广角图像的照相机的臂部的驱动范围，根据所述裁切区域相对于所述广角图像的允许范围的相对状态来控制所述显示图像的显示。
16.根据权利要求15所述的医疗观察系统，其中，所述相对状态包括所述裁切区域在捕获允许范围内的位置和移动状态中的至少一个。
17.根据权利要求16所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述捕获允许范围的边缘之间的距离改变所述显示图像的显示模式。
18.根据权利要求17所述的医疗观察系统，其中，所述显示控制单元根据所述裁切区域与所述捕获允许范围的边缘之间的距离以及所述裁切区域与所述广角图像的边缘之间的距离来改变所述显示图像的显示模式。
19.一种由医疗观察系统执行的图像处理方法，所述图像处理方法包括：
对作为医疗目标的捕获图像的广角图像执行校正处理；
移动从所述广角图像裁切的显示图像的裁切区域；以及
根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
20.一种程序，使计算机执行以下处理：
对作为医疗目标的捕获图像的广角图像执行校正处理；
移动从所述广角图像裁切的显示图像的裁切区域；以及
根据所述裁切区域相对于所述广角图像的相对状态来控制所述校正处理。
CN202180043119.5A 2020-06-22 2021-06-08 医疗观察系统、图像处理方法和程序 Pending CN115699782A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-106973 2020-06-22
JP2020106973 2020-06-22
PCT/JP2021/021664 WO2021261236A1 (ja) 2020-06-22 2021-06-08 医療用観察システム、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN115699782A true CN115699782A (zh) 2023-02-03

Family

ID=79282549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043119.5A Pending CN115699782A (zh) 2020-06-22 2021-06-08 医疗观察系统、图像处理方法和程序

Country Status (3)

Country Link
US (1) US12070183B2 (zh)
CN (1) CN115699782A (zh)
WO (1) WO2021261236A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070022B2 (ja) * 1997-04-18 2000-07-24 工業技術院長 超広角内視鏡
JP4182569B2 (ja) * 1998-10-06 2008-11-19 ソニー株式会社 通信システムおよび方法、被制御撮影装置並びに端末装置
JP2012156672A (ja) * 2011-01-25 2012-08-16 Clarion Co Ltd 車両周辺監視装置
JP6150968B1 (ja) * 2016-02-10 2017-06-21 オリンパス株式会社 内視鏡システム
WO2019026929A1 (ja) * 2017-08-03 2019-02-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置

Also Published As

Publication number Publication date
US20230218143A1 (en) 2023-07-13
US12070183B2 (en) 2024-08-27
WO2021261236A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
US11642004B2 (en) Image processing device, image processing method and recording medium
CN108697304B (zh) 医疗用信息处理装置、信息处理方法、医疗用信息处理系统
US10904437B2 (en) Control apparatus and control method
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US10537233B2 (en) Medical observation device and medical observation method
WO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JPWO2018173681A1 (ja) 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
US11523729B2 (en) Surgical controlling device, control method, and surgical system
CN115699782A (zh) 医疗观察系统、图像处理方法和程序
US12053151B2 (en) Medical observation system, apparatus, control method, and imaging apparatus using different wobbling operation for different observation modes
WO2021010193A1 (ja) 医療機器制御システム、制御装置、および制御方法
US20220160217A1 (en) Medical observation system, method, and medical observation device
US20210228061A1 (en) Medical observation system, medical observation apparatus, and drive method of medical observation apparatus
US20240335238A1 (en) Surgical system, control method, and program
JP7571722B2 (ja) 医療用観察システムおよび方法、並びに医療用観察装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination