CN108601511B - 医疗图像处理装置、系统、方法以及程序 - Google Patents

医疗图像处理装置、系统、方法以及程序 Download PDF

Info

Publication number
CN108601511B
CN108601511B CN201680081276.4A CN201680081276A CN108601511B CN 108601511 B CN108601511 B CN 108601511B CN 201680081276 A CN201680081276 A CN 201680081276A CN 108601511 B CN108601511 B CN 108601511B
Authority
CN
China
Prior art keywords
depth
image
parallax
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680081276.4A
Other languages
English (en)
Other versions
CN108601511A (zh
Inventor
上森丈士
林恒生
高桥健治
杉江雄生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108601511A publication Critical patent/CN108601511A/zh
Application granted granted Critical
Publication of CN108601511B publication Critical patent/CN108601511B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

问题：在减轻因用于立体观察的视差校正而对图像的准确性产生的影响时，允许实现将对象作为医疗操作的工作深度的希望视差。解决方案：提供一种医疗图像处理装置，包括：深度评估单元，评估所成像的医疗操作的工作深度；视差评估单元，使用呈现操作过程中观察的视野的捕获图像评估视差并且产生视差信息；以及校正单元，根据通过深度评估单元评估的工作深度校正视差信息。

Description

医疗图像处理装置、系统、方法以及程序
技术领域
本公开涉及一种医疗图像处理装置、系统、方法、以及程序。
背景技术
通常，为了立体地显示展示真实空间的图像，使用一种确定来自立体照相机的所捕获的两个图像之间的视差并且通过使用所确定的视差产生立体图像的方法。例如，下面引用的专利文献1公开了一种转化通过使用所捕获图像而确定的视差、以增强主要对象的立体感并且然后执行立体显示的技术。
现有技术文献
专利文献
专利文献1：JP 2011-250059A
发明内容
技术问题
然而，基于视差校正的立体图像的立体感的校正产生了由于图像中的对象的移位而引起的像素缺陷。即使基于邻近的像素插入缺陷性像素的像素值，上述显示的图像也不能准确地反映真实世界的情形。具体地，在诸如手术或诊断等医疗情境中，希望尽可能多地避免不准确图像的显示。
问题的解决方案
根据本公开，提供一种医疗图像处理装置，包括：深度确定单元，被配置为确定要被捕获图像的医疗操作的操作深度；视差确定单元，被配置为通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；以及校正单元，被配置为根据通过深度确定单元确定的操作深度校正视差信息。
此外，根据本公开，提供一种医疗图像处理系统，包括：上述医疗图像处理装置；和成像装置，被配置为捕获视野的图像并且生成所捕获的图像。
此外，根据本公开，提供一种由医疗图像处理装置执行的图像处理方法，图像处理方法包括：确定要被捕获图像的医疗操作的操作深度；通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；并且根据所确定的操作深度校正视差信息。
此外，根据本公开，提供一种用于使控制医疗图像处理装置的处理器行使下列单元的功能的程序：深度确定单元，被配置为确定要被捕获图像的医疗操作的操作深度；视差确定单元，被配置为通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；以及校正单元，被配置为根据通过深度确定单元确定的操作深度校正视差信息。
发明的有利效果
根据本公开的技术，在减少立体视觉的视差校正对图像的准确性的影响的同时，通过将医疗操作的操作深度设置为目标可以实现有利的视差。
应注意，上面描述的效果并无需具有限制性。与上述效果一起或代替上述效果，可以实现本说明书中描述的任意一种效果或从本说明书中掌握的其他效果。
附图说明
图1是用于描述根据实施方式的医疗图像处理系统的示意性配置的说明性示图。
图2A是用于描述复眼立体照相机的基线长度、对象的深度、以及视差之间的关系的说明性示图。
图2B是用于描述单眼立体照相机的基线长度、对象的深度、以及视差之间的关系的说明性示图。
图3是示出对象的深度与视差之间的关系的实施方式的曲线图。
图4是用于描述通过视差校正而获得的立体效果的增强的说明性示图。
图5是用于描述利用统一的校正因数校正视差的说明性示图。
图6是用于描述因视差校正而产生的像素缺陷的说明性示图。
图7是用于描述医疗操作的操作深度的实施方式的说明性示图。
图8是示出根据第一实施方式的图像处理装置的配置的实施方式的框图。
图9是用于描述根据操作深度减小用于强化立体感的校正因数的实施方式的说明性示图。
图10是示出根据第一实施方式的立体图像生成处理的流程的实施方式的流程图。
图11A是示出图10所示的操作深度确定处理的细节流程的第一实例的流程图。
图11B是示出图10所示的操作深度确定处理的细节流程的第二实例的流程图。
图11C是示出图10所示的操作深度确定处理的细节流程的第三实例的流程图。
图12A是示出图10所示的曲线图导出处理的细节流程的第一实例的流程图。
图12B是示出图10所示的曲线图导出处理的细节流程的第二实例的流程图。
图12C是示出图10所示的曲线图导出处理的细节流程的第三实例的流程图。
图13是示出根据第二实施方式的图像处理装置的配置的实例的框图。
图14是示出根据第二实施方式的立体图像生成处理的流程的实例的流程图。
图15A是示出根据第二实施方式的操作深度确定处理的细节流程的第一实例的流程图。
图15B是示出根据第二实施方式的操作深度确定处理的细节流程的第二实例的流程图。
图16是示出根据第三实施方式的图像处理装置的配置的实例的框图。
图17是示出根据第三实施方式的立体图像生成处理的流程的实例的流程图。
图18是示出根据第三实施方式的操作深度确定处理的细节流程的实例的流程图。
图19是用于描述根据操作深度减小用于降低立体感的校正因数的实例的说明性示图。
具体实施方式
在下文中，将参考所附附图详细描述本公开的优选实施方式。应注意，在本说明书和所附附图中，以相同的参考标号表示具有大致相同功能和结构的结构元件，并且省去这些结构元件的重复性说明。
进一步地，将按照下列顺序展开描述。
1.引言
1-1.系统的概况
1-2.问题描述
2.第一实施方式
2-1.图像处理装置的配置例
2-2.处理流程
3.第二实施方式
3-1.图像处理装置的配置例
3-2.处理流程
4.第三实施方式
4-1.图像处理装置的配置例
4-2.处理流程
5.立体感降低
6.结论
<1.引言>
【1-1.系统的概况】
在该部分中，将描述应用根据本公开的技术的示例性系统的概况。图1示出了根据实施方式的医疗图像处理系统1的示意性配置的实例。医疗图像处理系统1是内窥镜手术系统。在图1的实例中，执业者(医生)3通过使用医疗图像处理系统1对病床(patient bed)5上的患者7执行内窥镜手术。医疗图像处理系统1包括内窥镜10、其他手术仪器(手术仪器)30、支撑内窥镜10的支撑臂装置40、以及安装了用于内窥镜手术的各种装置的手推车50。
在内窥镜手术中，利用被称为套针的多个圆柱形开腔工具(openingtools)37a至37d刺穿腹壁，而非切割来打开腹部。然后，通过套针37a至37d将内窥镜10的镜筒11与其他手术仪器30插入到患者7的体腔中。在图1的实例中，示出了气腹管31、能量处理装置33、以及镊子35作为其他手术仪器30。能量治疗装置33用于利用高频电流或超声波振动对诸如组织进行切割或分离或者对血管进行缝合等治疗。应注意，示出的手术仪器30仅是实例，并且可以使用其他类型的手术仪器(例如，按捏钳、牵开器等)。
由显示装置53显示通过内窥镜10捕获的患者7的体腔的内部的图像。例如，在实时观察显示图像的同时，执业者3通过使用能量治疗装置33和镊子35执行诸如受感染部位的切除等治疗。应注意，尽管未示出，然而，在手术过程中，由诸如执业者3或助理等用户支撑气腹管31、能量治疗装置33、以及镊子35。
支撑臂装置40包括从基部41延伸的臂部43。在图1的实例中，臂部43包括接合部45a、45b、及45c、以及联杆47a和47b并且支撑内窥镜10。由于在臂控制装置57的控制下驱动臂部43，可控制内窥镜10的位置和姿势，并且还可实现内窥镜10的稳定位置的固定。
内窥镜10包括镜筒11和连接至镜筒11的底端(base end)的摄像头13。镜筒11的一部分(具有从其尖端起的一定长度)插入到患者7的体腔内。在图1的实例中，内窥镜10被配置成具有刚性镜筒11的所谓刚性内窥镜。然而，内窥镜10可被配置成所谓的柔性内窥镜。
固定有物镜的开口设置在镜筒11的尖端处。光源装置55连接至内窥镜10，并且由光源装置55产生的光通过在镜筒11中延伸的光导而被引导至镜筒的尖端，并且利用经由物镜的光照射患者7的体腔内的观察目标。应注意，内窥镜10可以是直视内窥镜、斜视内窥镜、或侧视内窥镜。
摄像头13是包括光学系统、驱动系统、以及图像传感器的成像装置。光学系统通常包括透镜单元并且收集来自对象的观察光(照射光的反射光)，通过镜筒11的尖端朝向图像传感器收集观察光。透镜单元中的变焦距透镜与聚焦透镜的位置通过驱动系统的驱动而变化，以可变地控制诸如放大倍率和焦距等成像条件。摄像头13的图像传感器对通过光学系统收集的观察光执行光电转换并且产生用作电信号的图像信号。图像传感器可以是包括产生相应的三个颜色分量的图像信号的单个成像元件的3CCD传感器或者可以是诸如1CCD图像传感器或2CCD图像传感器等另一种类型的图像传感器。例如，图像传感器可以包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)等任意类型的成像元件。通过图像传感器产生的图像信号作为RAW数据被传输至照相机控制单元(CCU)51。在实施方式中，通过摄像头13产生的图像信号显示的捕获图像包括用于立体视觉的右眼图像和左眼图像。通过复眼照相机的右眼图像传感器和左眼图像传感器可以分别产生右眼图像和左眼图像。相反，通过单眼照相机的单个图像传感器(例如，通过快门切换方法)可以产生右眼图像和左眼图像。
CCU 51经由信号线和通信接口连接至摄像头13。例如，摄像头13与CCU 51之间的信号线是诸如光缆的能够支持等双向通信的高速传输线。CCU 51包括诸如中央处理单元(CPU)等处理器和诸如随机访问存储器(RAM)等存储器并且全面控制内窥镜10和显示装置53的操作。CCU 51可以进一步包括用于暂时存储图像信号的帧存储器和执行图像处理的一个或多个图形处理单元(GPU)。例如，CCU 51基于从摄像头13输入的捕获图像产生立体图像并且使显示装置53显示所产生的立体图像。在实施方式中，CCU 51通过处理右眼图像和左眼图像而产生右眼显示图像和左眼显示图像，以增强通过立体图像表现的立体效果。在另一实施方式中，CCU 51通过处理右眼图像和左眼图像而产生右眼显示图像和左眼显示图像，以降低通过立体图像表现的立体效果。然后，CCU 51将显示右眼显示图像和左眼显示图像的显示图像信号输出至显示装置53。一系列的显示图像可形成移动图像(视频)。例如，在CCU 51中执行的图像处理可以包括诸如显影和降噪等一般处理。进一步地，CCU 51将控制信号传输至摄像头13来控制摄像头13的驱动。例如，控制信号可包括指定上述成像条件的信息。
显示装置53在CCU 51的控制下基于输入的显示图像信号显示立体图像。显示装置53可以通过诸如主动式快门方法、被动式方法、或无玻璃方法等任意方法显示立体图像。
例如，光源装置55包括LED、氙气灯、激光光源、或与其组合对应的光源，并且经由光导将照射光(利用照射光照射观察目标)供应至内窥镜10。
例如，臂控制装置57包括诸如CPU等处理器并且根据预定程序进行操作以控制支撑臂装置40的臂部43的驱动。
输入装置59包括接受用户向医疗图像处理系统1的输入的一个或多个输入界面。用户可经由输入装置59将各条信息或各个指令输入至医疗图像处理系统1。例如，用户可以经由输入装置59输入下面所述的设置信息或其他参数。进一步地，例如，用户经由输入装置59输入驱动臂部43的指令、改变内窥镜10中的成像条件(照射光的类型、放大倍率、焦距等)的指令、驱动能量治疗装置33的指令等。
输入装置59可以处理任意类型的用户输入。例如，输入装置59可以经由诸如鼠标、键盘、开关(例如，脚踏开关69)、或控制杆等机构检测用户的物理输入。输入装置59可以经由触摸屏检测触摸输入。可以通过诸如眼镜类型的装置或头戴显示器(HMD)等可穿戴式装置的形式来实现输入装置59，并且输入装置59可以检测用户的视线或姿势。进一步地，输入装置59可以包括能够获取用户的语音的麦克风并且可以经由麦克风检测音频命令。
治疗工具控制装置61控制用于诸如组织的烧灼或切除或者血管的缝合等治疗的能量治疗装置33的驱动。气腹装置63确保通过使用内窥镜10观察的视野，并且出于确保执业者的操作空间的目的，经由气腹管31将气体传送至体腔内，以使得患者7的体腔膨胀。记录器65将关于医疗操作的各条信息(例如，设置信息、图像信息、以及来自重要传感器(未示出)的测量信息中的一条或多条)记录在记录介质上。打印机67以诸如文本、图像、或图表等的一些格式打印关于医疗操作的各条信息。
【1-2.问题描述】
在该医疗图像处理系统中，因为插入到患者的体腔内的摄像头的直径受限制，所以右眼图像与左眼图像之间的基线长度比非医疗立体照相机中的基线长度短。此外，在对象的深度不改变的情况下，视差由于基线长度缩短而更小。因此，存在基于右眼图像和左眼图像显示的立体图像不能给出用户足够的立体感的可能性。
图2A是用于描述复眼立体照相机的基线长度、对象的深度、以及视差之间的关系的说明性示图。当参考图2A时，各自以倒三角形示出了右眼图像传感器101a和左眼图像传感器101b。每个倒三角形的上侧对应于图像传感器的成像表面并且底部顶点对应于焦点。在图2A中，F表示焦距，并且Lbase表示图像传感器之间的基线长度(例如，两个光学中心103之间的距离)。在图2A的实例中，对象B0存在于距右眼图像传感器101a与左眼图像传感器101b之间的基线为距离Z的位置处。在本说明书中，将该距离Z称之为“深度”。对象B0出现在右眼图像传感器101a的成像表面上的水平位置uR处。进一步地，对象B0出现在左眼图像传感器101b的成像表面上的水平位置uL处。在出于简化说明而假设使用针孔照相机模型的情况下，通过下列表达式给出基于右眼图像传感器101a的视差d：
【数学式1】
d＝uL-uR (1)
进一步地，当深度Z具有可变值时，通过使用基线长度Lbase和焦距F的下列表达式能够表达作为深度Z的函数的视差d(Z)：
【数学式2】
Figure BDA0001753259350000091
例如，基于右眼图像和左眼图像，通过立体匹配方法可导出视差d(Z)，并且通过使用导出的视差d(Z)及已获知的基线长度Lbase和焦距F可计算对象的深度Z。
图2B是用于描述单眼立体照相机的基线长度、对象的深度、以及视差之间的关系的说明性示图。当参考图2B时，以倒三角形示出了单个图像传感器102。进一步地，不仅一对透镜104，而且能够选择性地屏蔽透镜的右半部分或左半部分的快门105也设置在图像传感器102的前面。当捕获右眼的图像时，快门105屏蔽透镜的左半部分并且通过图像传感器102捕获通过透镜的右半部分收集的观察光的图像。当捕获左眼的图像时，快门105屏蔽透镜的右半部分并且通过图像传感器102捕获通过透镜的左半部分收集的观察光的图像。通过在暂时重复快门的这种切换的同时捕获图像，通过图像传感器102产生右眼图像和左眼图像的序列。例如，可将右眼图像与左眼图像之间的基线长度Lbase定义为快门105的位置处的瞳孔(与光学系统的光圈的图像对应)的右半部分的重心与其左半部分的重心之间的距离。此外，在单眼立体照相机中，通过上述使用基线长度Lbase和焦距F的作为对象的深度Z的函数的表达式(2)可表达出视差d(Z)。
此处，以dref表示特定的非零参考深度Zref处的视差(参考视差)，并且以参考视差dref与其残差d(Z)的和代替表达式(2)的左边。然后，通过移动参考视差dref的项导出下列表达式：
【数学式3】
Figure BDA0001753259350000101
在下列描述中，表达式(3)中的残差d(Z)还被简称为“视差”。图3是示出参考深度Zref＝40mm的情况下的对象的深度Z与视差d(Z)之间的关系的实例的曲线图G1。根据曲线图G1，在深度Z等于参考深度Zref的情况下，视差d(Z)也等于零。视差d随着深度Z接近于零而增加至无穷大，因此，当深度Z增加至超过参考深度Zref时，视差d逼近-dref。
如上所述，在医疗图像处理系统中，右眼图像与左眼图像之间的基线长度由于摄像头的直径而受限制，并且因此，存在所显示的立体图像不能给出用户足够的立体感的可能性。鉴于此，考虑了一种人工放大在所捕获的右眼图像与左眼图像中出现的视差并且然后处于增强立体感的目的而产生立体图像的方法。
图4是用于描述通过视差校正而获得的立体感的增强的说明性示图。图4再次示出了图2A中所示的右眼图像传感器101a、左眼图像传感器101b、以及对象B0。右眼图像传感器101a与左眼图像传感器101b之间的实际基线长度(以下称之为“实际基线长度”)等于Lbase。此处，右眼图像传感器101a的成像表面上的对象B0的水平位置uR向左移位值Δu(uR→uR-Δu)，并且左眼图像传感器101b的成像表面上的对象B0的水平位置uL向右移位值Δu(uL→uL+Δu)，并且因此，可以模拟实现与以更大基线长度Lext捕获的立体图像的效应相似的立体感。该移位表示表达式(3)中的视差d(Z)向上或向下改变。应注意，对象的移位并不局限于图4中的实施例并且可以仅在右眼图像与左眼图像中的一个图像中执行。在这种情况下，移位量可与对象在两个图像中移位的情况下的移位量的两倍相对应。
作为实施例，以k表示用于模拟放大基线长度Lbase的比例。此处，例如，将用于腹部手术的内窥镜的基线长度设置为0.7mm。在校正因数k＝3的情况下，通过视差移位，基线长度可被模拟地放大成具有2.1mm，并且相应地，可增强立体图像的立体感。图5是用于描述以统一的校正因数校正视差的说明性示图。通过将图3所示的曲线图G1的绘图条件下的基线长度放大为具有三倍的值而生成图5所示的曲线图G2。此外，在曲线图G2中，在深度Z等于参考深度Zref(＝40mm)的情况下，视差d(Z)等于零。应注意，在曲线图G2中，随着深度Z逼近零，视差d以比曲线图G1中的步调更快的步调增加。进一步地，当深度Z增加至超过参考深度Zref时，视差d逼近比曲线图G1中的值更低的值。
从图5中发现，如图5中的箭头所示，例如，如同通过具有基线长度＝2.1mm(即，校正因数k＝3)的照相机模拟捕获的右眼图像和左眼图像，用于强化通过具有基线长度＝0.7mm的照相机捕获的右眼图像和左眼图像的立体感所必须的移位量在深度Z＝20mm时为dshift(20)＝约95个像素并且在深度Z＝70mm时的移位量dshift(70)＝约-40个像素。这些移位量尤其比参考深度附近所需的移位量大。即，使用从曲线图G1到曲线图G2的统一校正因数增强立体感过度地增加了特别是距参考深度较远的深度范围内的所需移位量。
出于增强(或降低)立体感之目的而校正视差的对象的移位引起像素的缺陷。图6是用于描述通过视差校正而引起的像素缺陷的说明性示图。图6的左侧部分示出了作为由图像传感器产生的实例的(未校正)右眼图像IMR1。第一对象B1、第二对象B2、以及第三对象B3出现在右眼图像IMR1中。关于这三个对象确定的深度(例如，作为与左眼图像(未示出)匹配的结果)彼此不同。例如，第一对象B1存在于比参考深度浅的深度处(即，具有比参考深度小的深度)并且为了增强立体感而向左移位Δu1。第二对象B2存在于比参考深度深的深度处并且为了增强立体感而向右移位Δu2。由于视差的这种校正，产生了图6的右侧部分中示出的右眼显示图像IMR2。在右眼显示图像IMR2中，在第一对象B1与第二对象B2之间产生缺陷性区域(其中，由于移位，像素信息存在缺陷)。例如，可基于邻近的像素来插入缺陷性区域的该像素信息。然而，所插入的像素信息可能是不能准确地反映真实的视野的情形的人工产物。例如，另一对象可能存在于由图6中的倾斜线的影线指示的第一对象B1与第二对象B2之间的缝隙中。然而，通过插入不能恢复未出现在所捕获的图像中的该对象的图像。甚至在人工插入该缝隙的图像信息的情况下，该图像信息也仅仅是不准确的信息。在诸如手术或诊断等医疗情境中，希望尽可能多地避免该不准确图像的显示。
鉴于此，根据本公开的技术的下述实施方式提供了这样的机构，即，在显示深度的灰度特别重要的操作深度范围内，利用希望的校正因数校正视差，并且在操作深度范围之外，减小校正因数。在本说明书中，操作深度指用户(例如，执业者)在医疗操作中主要进行密切观察时的深度。图7是用于描述医疗操作的操作深度的实施方式的说明性示图。当参考图7时，在内窥镜手术的情境中，将内窥镜10的镜筒、气腹管31、能量治疗装置33、以及镊子35插入到患者7的体腔内。体腔内的手术空间被确保，并且例如，将镊子35带至与受感染部位39接触，并且内窥镜10捕获该手术的视野的图像。例如，操作深度Zwork可与内窥镜10和镊子35的尖端之间的距离对应。实际上，通过各种方法可以确定操作深度Zwork，并且下面将具体描述这些方法的若干实施方式。操作深度范围可以是与该操作深度Zwork具有相对小的深度差的深度范围。通过根据本公开的技术在操作深度范围内充分增强立体感并且在操作深度范围之外减少视差校正，可以在有效减少图像信息的缺陷的同时给出用户所需的立体感。
<2.第一实施方式>
在图1示例的医疗图像处理系统1的组成元件中，具体地，用作图像处理装置的CCU51主要涉及通过视差校正而获得的立体感的增强。鉴于此，在该部分中，将详细描述根据实施方式的CCU 51的具体配置。
【2-1.图像处理装置的配置例】
图8是示出用作根据第一实施方式的图像处理装置的CCU 51的配置的实例的框图。当参考图8时，CCU 51包括成像控制单元110、图像获取单元120、视差确定单元130、深度确定单元140、校正单元150、存储单元160、3D图像生成单元170、以及设置单元180。
(1)成像控制单元
成像控制单元110基于通过输入装置59检测的用户输入和设置信息控制内窥镜10的操作，以使得在用户需要时捕获图像。例如，当开始捕获图像时，成像控制单元110可通过诸如相位差方法或对比度方法等任意自动聚焦方法确定最佳焦距并且将指定所确定的焦距的控制信号传输至摄像头13。进一步地，成像控制单元110可将指定由用户指示的放大倍率的控制信号传输至摄像头13。
(2)图像获取单元
图像获取单元120获取通过摄像头13中包括的立体视觉图像传感器而产生的捕获图像。捕获图像是示出在医疗操作中观察的手术视野的图像。捕获图像通常包括右眼图像和左眼图像。通过参考图2A和图2B描述的图像传感器可产生右眼图像和左眼图像。图像获取单元120将获取的捕获图像输出至视差确定单元130和3D图像生成单元170。
(3)视差确定单元
视差确定单元130通过使用从图像获取单元120输入的捕获图像确定视差并且产生视差信息。例如，视差确定单元130可根据立体匹配方法针对右眼图像的每个像素位置(或每个像素块)搜索左眼图像中的对应点并且计算距发现的对应点的水平位置上的差异作为视差。例如，通过视差确定单元130产生的视差信息可以是示出每个像素位置(或每个像素块位置)的所确定视差的布局(例如，视差图)。视差确定单元130将上述产生的视差信息输出至校正单元150。
(4)深度确定单元
深度确定单元140确定要被捕获图像的医疗操作的操作深度并且将所确定的操作深度输出至校正单元150。作为实例，深度确定单元140可以基于在医疗图像处理系统1中执行的操作的类型确定操作深度。以手术为例，例如，可以基于诸如腹腔镜手术或胸腔镜手术等手术部位来区分操作的类型。作为非限制性实例，在腹部手术中，在许多情况下，在15mm至100mm的典型范围内的特别是50mm的深度处执行操作。同时，在耳鼻喉科手术中，典型的范围为2mm至50mm并且相应地减小了主要操作的深度。进一步地，例如，可以基于诸如心脏搭桥手术、胃切除术、胆囊切除术、或阑尾切除术等手术形式来区分操作的类型。例如，可以基于开始操作之前的用户输入来通过设置单元180设置操作的类型。基于将设置的操作类型与对应的操作深度关联的设置信息，深度确定单元140可确定校正视差时所考虑的操作深度。深度确定单元140可以基于用户输入调整与操作的类型对应的操作深度(由设置信息指示的预定操作深度)。
作为另一实例，深度确定单元140可以基于操作中使用的仪器的类型确定操作深度。作为非限制性实例，使用具有10mm的直径的镜的典型的操作深度是50mm，并且如同在耳鼻喉科手术中，使用具有4mm的直径的镜的典型的操作深度更小。仪器类型可以为镜的类型(内窥镜或其镜筒)。除此之外，仪器类型可以指其他各种类型的仪器。例如，使用镊子、针、以及线的结扎术中的期望操作深度可与使用诸如电刀等能量治疗装置的息肉切除术中的期望操作深度不同。例如，基于用户输入通过设置单元180可以设置或可以自动确定所使用的仪器类型。基于将所使用的仪器的类型与对应的操作深度关联的设置信息，深度确定单元140可确定校正视差时所考虑的操作深度。深度确定单元140可以基于用户输入调整与仪器类型对应的操作深度(由设置信息指示的预定操作深度)。
作为另一实例，例如，深度确定单元140可以经由用户界面获取直接指定操作深度的用户输入并且基于所获取的用户输入确定校正视差时所应用的操作深度。此处，用户输入可以是诸如关于输入装置59描述的物理输入、触摸输入、姿势输入、或音频输入等任意类型的输入。
(5)校正单元
校正单元150根据通过深度确定单元140确定的操作深度校正从视差确定单元130输入的视差信息，以增强通过基于捕获图像而产生的立体图像所表达的立体感。
在某实例中，校正单元150首先基于捕获图像时使用的照相机的实际基线长度确定显示深度与视差之间的关系的初始曲线图。图9示出了与图5所示的曲线图相同的曲线图G1作为初始曲线图。基于诸如实际基线长度和焦距等照相机的特征可确定初始曲线图G1。初始曲线图G1的参考深度可以等于通过深度确定单元140确定的操作深度或可以与该操作深度不同。进一步地，校正单元150确定基本校正因数。例如，基本校正因数可以是实际基线长度与模拟基线长度之比。然后，校正单元150导出通过在初始曲线图G1的整个深度范围内统一应用基本校正因数所形成的中间曲线图G2。图9示出了与图5所示的曲线图相同的曲线图G2作为中间曲线图。然后，校正单元150基于初始曲线图G1和中间曲线图G2产生校正曲线图G3。作为实例，在与操作深度具有小的深度差的操作深度范围R1内，校正曲线图G3具有与中间曲线图G2匹配的轨迹，并且随着与操作深度的深度差的增加，校正曲线图G3与中间曲线图G2分离并且逼近初始曲线图G1。根据使用该校正曲线图G3的视差的校正，在操作深度范围R1内应用基本校正因数(根据实际基线长度确定的)，而在操作深度范围R1之外的深度范围R2和R3内应用从基板校正因数相对减小的校正因数。例如，与基于中间曲线图G2的校正的情况相比(参见图5)，在由图9中的阴影箭头指示的深度Z＝20mm(|dshift(20)|>|d′shift(20)|)处，用于基于校正曲线图G3校正视差所必需的移位量的绝对值明显减小。同样适用于深度Z＝70mm的情况。
应注意，图9所示的校正曲线图G3仅是实例，并且可以使用具有另一轨迹的校正曲线图。作为实例，在单个校正曲线图中可以设置两个或更多个操作深度范围。作为另一实例，在与操作深度具有较小深度差的操作深度内，并非使校正曲线图与中间曲线图匹配，校正单元150可以在操作深度范围内生成使得立体感感受度(例如，对于深度的视差的倾斜)并不下降至所需下限以下的校正曲线图。通过在如上所述的操作深度范围内设置立体感感受度的下限，可以防止由于减小视差的校正因数而获得的立体感的增强不足。在操作深度范围之外未设置该下限。
作为另一实例，校正单元150可以产生这样一种校正曲线图，即，在操作深度范围之外的深度范围内减小校正因数使得关于通过视差校正引起的像素信息的缺陷量的指标不超过上限。例如，关于像素信息的缺陷量的指标可以是缺陷性区域中的像素数目与整个或部分图像中的像素数目的比例、缺陷性区域的最大宽度等。通过对上述校正曲线图施加关于像素信息的缺陷量的指标的限制，在校正立体感之后，在图像中获得至少一定水平的准确性。
在某实例中，校正单元150可以动态地产生校正曲线图。通过成像控制单元110或设置单元180可提供产生曲线图所必需的照相机的特征(例如，实际基线长度和焦距)。可以提前限定或通过用户输入指定确定校正曲线图所必需的诸如伪基线长度或基本校正因数、操作深度范围的宽度、操作深度范围的立体感感受度的下限、以及关于像素信息的缺陷量的指标的上限等参数。
在另一实例中，校正单元150可以获取提前设置并且存储在存储单元160中的校正曲线图。例如，校正单元150可以基于用户输入选择与操作深度、照相机的特征、以及其他可变参数(例如，伪基线长度或基本校正因数)的多个组合对应的多个可能曲线图中的一个。进一步地，如下所述，例如，用户经由图形用户界面(GUI)可以提前设置示出深度与校正视差之间的关系的校正曲线图。
应注意，在任意实例中，除校正曲线图之外或代替校正曲线图，可以设置或产生示出每个深度的校正曲线图与初始曲线图之间的差异(即，移位量)的表格。在下列描述中，将该表格格式的数据称之为“校正文件”。
校正单元150根据通过上述任意一种方法导出的校正曲线图(或校正文件)校正从视差确定单元130输入的视差信息。例如，基于由视差信息指示的每个像素位置的视差，校正单元150首先确定在像素位置处出现的对象的深度。然后，校正单元150将与校正曲线图和初始曲线图之间的差异对应的移位量(移位量与所确定的对象的深度对应)相加到像素位置处的视差(或从视差中减去移位量)。由于对每个像素位置(或每个像素块)的这种计算的重复，结果可产生校正视差信息。校正单元150将校正的视差信息输出至3D图像生成单元170。
(6)存储单元
存储单元160可存储各条设置信息。例如，设置信息可以包括将多种可能类型的操作中的每种与对应的操作深度关联的操作信息。进一步地，设置信息可以包括将操作时使用的每种可能的类型的仪器与对应的操作深度关联的仪器信息。进一步地，设置信息可以包括直接指定操作深度的操作深度信息。
进一步地，存储单元160可存储用于导出初始曲线图和校正曲线图的参数。例如，存储单元160可以存储摄像头13中的诸如实际基线长度和焦距等照相机特征参数。进一步地，存储单元160可以存储与曲线图有关的参数，包括伪基线长度、基本校正因数、操作深度范围的宽度、操作深度范围内的立体感感受度的下限、以及关于像素信息的缺陷量的指标的上限中的一个或多个。进一步地，存储单元160可以存储初始曲线图和校正曲线图(或校正文件)。
(7)3D图像生成单元
3D图像生成单元170通过使用从校正单元150输入的校正视差信息产生与在医疗操作中观察的视野对应的立体图像。例如，3D图像生成单元170根据由校正视差信息指示的视差来移位从图像获取单元120输入的右眼图像和左眼图像中的至少一个图像中的像素的水平位置，由此产生立体图像。在像素信息具有缺陷性的缺陷性区域中，因为像素的水平位置发生移位，所以3D图像生成单元170可以基于无任何缺陷的邻近像素插入像素信息。在本实施方式中，由于视差的校正因数减小，所以仅产生小的缺陷性区域，并且因此，由插入像素信息引起的人工因素的比例比现有技术中的比例小。立体图像包括右眼显示图像和左眼显示图像。3D图像生成单元170将显示所产生的立体图像的显示图像信号输出至显示装置53(和/或记录器65)。
(8)设置单元
设置单元180根据经由输入装置59检测的用户输入和通过成像控制单元110控制的成像条件来管理用于在医疗图像处理系统1中生成并且显示立体图像的各种设置。例如，在开始使用医疗图像处理系统1之前，设置单元180可以从用户(例如，执业者)接受指定操作类型的用户输入。进一步地，设置单元180可以接受指定操作时所使用的仪器的类型的用户输入或可以自动确定仪器的类型。进一步地，设置单元180可以接受指定操作深度(在该操作深度处，用户操作时主要进行密切观察)的用户输入。例如，设置单元180可以提供呈现这多种可能设置的用户界面(例如，在显示装置53或另一屏幕上显示多种可能的设置)并且使用户选择一种可能的设置。
进一步地，设置单元180可以接受指定或选择可用于导出初始曲线图和校正曲线图的与曲线图有关的参数的用户输入。例如，提供了这样的用户界面，即，用于使用户设置诸如操作深度范围内的立体感感受度的下限或关于像素信息的缺陷量的指标的上限等限制条件，并且因此，用户可根据目的(例如，希望的感受度、容许人工因素的比例等)灵活地调整立体视觉的显示。进一步地，例如，设置单元180可以提供用于使用户编辑在产生立体图像时所应用的校正曲线图的图形用户界面(GUI)(例如，允许通过触摸或拖拽移动所显示的曲线图的轨迹的GUI)。
【2-2.处理流程】
在此部分中，将参考若干流程图描述通过上面实施方式中的CCU 51执行的处理的流程的实例。应注意，尽管在流程图中示出了多个处理步骤，然而，并不一定必须按照流程图中所示的顺序执行这些处理步骤。可以并行执行若干处理步骤。进一步地，可以采用额外处理步骤，或可以省去处理步骤的一部分。同样适用于下列部分中的实施方式的描述。
(1)立体图像生成处理
图10是示出根据第一实施方式的由CCU 51执行的立体图像生成处理的流程的实例的流程图。当参考图10时，首先，在开始捕获图像之前，深度确定单元140执行操作深度确定处理来确定要被捕获图像的医疗操作的操作深度(步骤S110)。下面将进一步描述此处执行的操作深度确定处理的更详细流程的若干实例。
然后，图像获取单元120获取通过立体视觉图像传感器产生的右眼图像和左眼图像并且显示操作视野(步骤S120)。然后，视差确定单元130通过使用由图像获取单元120获取的右眼图像和左眼图像确定每个像素位置的视差并且产生视差信息(步骤S130)。视差确定单元130将可如上所述产生的视差信息输出至校正单元150。
然后，校正单元150执行曲线图导出处理以确定如何根据操作深度来校正通过视差确定单元130产生的视差信息(步骤S150)。下面将进一步描述此处执行的曲线图导出处理的更为详细的流程的若干实例。
然后，校正单元150通过使用作为曲线图导出处理的结果导出的校正曲线图(或示出校正曲线图与初始曲线图之间的差异的校正文件)根据操作深度执行视差信息的校正(步骤S170)。
然后，3D图像生成单元170通过使用由校正单元150校正的视差信息移位通过图像获取单元120获取的右眼图像和左眼图像中的至少一个图像中的对象的每个像素的水平位置，由此产生立体图像(步骤S180)。例如，显示由3D图像生成单元170产生的立体图像的显示图像信号可以输出至显示装置53，以显示立体图像，或显示图像信号可以输出至记录器65，以记录图像或视频。
重复上述步骤S120至S180，直至满足立体图像生成处理的终止条件(步骤S190)。例如，当经由输入装置59检测到给出终止处理的指令的用户输入时，终止上述立体图像生成处理。应注意，在继续立体图像生成处理的同时，可以再次执行步骤S110中的操作深度确定处理，并且可以更新操作深度。
(2)操作深度确定处理
图11A是示出图10所示的操作深度确定处理的详细流程的第一实例的流程图。当参考图11A时，首先，深度确定单元140指定在医疗图像处理系统1中执行的操作的类型(步骤S111)。例如，可通过提前存储在存储单元160上的设置信息指示或可通过用户输入指定操作的类型。然后，深度确定单元140从设置信息中获取提前限定的与指定的操作类型关联的操作深度(步骤S116)。
图11B是示出图10所示的操作深度确定处理的详细流程的第二实例的流程图。当参考图11B时，首先，深度确定单元140指定在医疗图像处理系统1中执行操作时所使用的仪器的类型(步骤S112)。然后，深度确定单元140从设置信息中获取提前限定的与所确定的仪器类型关联的操作深度(步骤S117)。
图11C是示出图10所示的操作深度确定处理的详细流程的第三实例的流程图。当参考图11C时，例如，深度确定单元140经由通过设置单元180提供的用户界面检测直接指定操作深度的用户输入(步骤S113)。然后，深度确定单元140确定在产生立体图像时参考由所检测的用户输入指定的操作深度(步骤S118)。
(3)曲线图导出处理
图12A是示出图10所示的曲线图导出处理的详细流程的第一实例的流程图。当参考图12A时，首先，校正单元150基于诸如实际基线长度和焦距等照相机的特征确定示出未经校正的深度与视差之间的关系的初始曲线图(步骤S151)。进一步地，例如，校正单元150获取包括基本校正因数(即，实际基线长度与模拟基线长度之比)的参数(步骤S154)。然后，校正单元150产生这样的校正曲线图，即，在与由深度确定单元140确定的操作深度具有小的深度差的操作深度范围内应用基本校正因数，并且在操作深度范围之外，减小校正因数(步骤S157)。
图12B是示出图10所示的曲线图导出处理的详细流程的第二实施方式的流程图。当参考图12B时，首先，校正单元150基于诸如实际基线长度和焦距等照相机的特征确定示出未经校正的深度与视差之间的关系的初始曲线图(步骤S151)。进一步地，校正单元150获取包括立体感感受度的下限和关于像素信息的缺陷量的指标的上限中的至少一个的参数(步骤S155)。然后，校正单元150产生满足由所获取的参数指示的限制条件的校正曲线图(步骤S158)。例如，此处产生的校正曲线图可在与操作深度具有小的深度差的操作深度范围内具有并不下降至由上述参数指示的下限以下的立体感感受度(例如，对于深度的视差的倾斜)。进一步地，校正曲线图的整个深度范围内的关于像素信息的缺陷量的指标不超过由上述参数指示的上限。
图12C是示出图10所示的曲线图导出处理的详细流程的第三实例的流程图。当参考图12A时，首先，校正单元150获取诸如实际基线长度和焦距等照相机的特征(步骤S152)。进一步地，例如，校正单元150获取可包括基本校正因数的参数(步骤S156)。然后，校正单元150从存储单元160获取基于取决于操作深度的校正因数并且提前限定的与所获取的特征和参数相关的校正曲线图(步骤S159)。
<3.第二实施方式>
在第一实施方式中，在开始捕获图像之前，基于用户输入或设置信息确定医疗操作的操作深度。同时，在此部分将要描述的第二实施方式中，基于对捕获图像的分析确定医疗操作的操作深度。
【3-1.图像处理装置的配置例】
图13是示出根据第二实施方式的用作图像处理装置的CCU 51的配置的实例的框图。当参考图13时，CCU 51包括成像控制单元110、图像获取单元220、视差确定单元130、深度确定单元240、校正单元150、存储单元260、3D图像生成单元170、以及设置单元280。
图像获取单元220获取通过摄像头13中包括的立体视觉图像传感器产生的捕获图像。捕获图像是显示在医疗操作中观察到的操作视野的图像并且通常包括右眼图像和左眼图像。图像获取单元220将获取的捕获图像输出至视差确定单元130、深度确定单元240、以及3D图像生成单元170。
深度确定单元240确定要被捕获图像的医疗操作的操作深度并且将确定的操作深度输出至校正单元150。作为第一实例，深度确定单元240基于关于在捕获图像中识别的仪器所确定的深度确定操作深度。具体地，深度确定单元240从存储单元260获取通过设置单元280设置的、待识别的目标仪器的已知图像特征值。然后，深度确定单元240将针对被捕获图像(例如，右眼图像和左眼图像中的一个)的每个块提取的图像特征值与目标仪器的上述已知图像特征值进行比较，由此确定目标仪器出现在捕获图像中的哪一位置。进一步地，深度确定单元240基于通过视差确定单元130确定的、目标仪器出现的位置处的视差来确定目标仪器存在的深度。深度确定单元240可以确定如上所述确定的深度是用户操作时主要进行密切观察的操作深度。应注意，可以将多个目标仪器设置为待识别的仪器。在捕获图像中检测多个目标仪器的情况下，深度确定单元240可以基于这些目标仪器的深度计算诸如平均值、中间值、或最小值等相应的值并且确定相应的值作为操作深度。
作为第二实例，深度确定单元240识别对象(即，在捕获图像中，位于焦点上)并且基于关于所识别的对象而确定的深度确定操作深度。具体地，深度确定单元240针对捕获图像(例如，右眼图像和左眼图像中的一个)的每个块评估对比度指标并且确定存在于指示最高指标值的块的位置上的对象位于焦点上。然后，深度确定单元240基于通过视差确定单元130确定的、对象所在的位置处的视差来确定位于焦点上的对象所存在的深度。深度确定单元240可以确定如上所述确定的深度是用户操作时主要进行密切观察的操作深度。
存储单元260不仅存储关于根据第一实施方式的存储单元160描述的设置信息和参数，而且，在上面第一实例中，还将确定操作深度时所使用的一个或多个仪器中的每个仪器的已知图像特征值与每个仪器的标识符一起存储。
设置单元280不仅管理关于根据第一实施方式的设置单元180描述的设置，而且还管理用于确定操作深度的图像分析的设置。具体地，在上面第一实例中，设置单元280将用于确定操作深度的在捕获图像中识别的一个或多个仪器设置为目标仪器。例如，在开始使用医疗图像处理系统1之前，设置单元280可以接受来自用户(例如，执业者)的指定待识别的仪器的用户输入。设置单元280可以确定与系统连接的仪器并且将用户选择的或根据某一规则从确定的仪器中自动选择的仪器设置为目标仪器。
通过基于根据本实施方式的捕获图像的分析来确定医疗操作的操作深度，即使在实际操作的深度随着时间而改变的情况下，也可以使操作深度遵循变化。例如，在用户密切观察的目标仪器或位于焦点上的对象的深度处以及在该深度附近的操作深度范围内，可以持续增强立体感，无论深度是否变化，并且可以减少距其较远的深度范围内的像素信息的缺陷性。
【3-2.处理的流程】
(1)立体图像生成处理
图14是示出由根据第二实施方式的CCU 51执行的立体图像生成处理的流程的实例的流程图。当参考图14时，首先，图像获取单元220获取通过立体视觉图像传感器产生的右眼图像和左眼图像并且显示操作视野(步骤S120)。
然后，视差确定单元130通过使用由图像获取单元120获取的右眼图像和左眼图像确定每个像素位置的视差并且产生视差信息(步骤S130)。视差确定单元130将如上所述产生的视差信息输出至深度确定单元240和校正单元150。
然后，深度确定单元240执行操作深度确定处理来确定要被捕获图像的医疗操作的操作深度(步骤S240)。下面将进一步描述此处执行的操作深度确定处理的详细流程的若干实例。
然后，校正单元150执行曲线图导出处理来确定如何根据操作深度校正通过视差确定单元130产生的视差信息(步骤S150)。例如，此处执行的曲线图导出处理可以与参考图12A至图12C描述的处理相似。
然后，校正单元150通过使用作为曲线图导出处理的结果导出的校正曲线图(或示出校正曲线图与初始曲线图之间的差异的校正文件)而根据操作深度执行视差信息的校正(步骤S170)。
然后，3D图像生成单元170通过使用由校正单元150校正的视差信息移位通过图像获取单元220获取的右眼图像和左眼图像中的至少一个图像中的对象的每个像素的水平位置，由此产生立体图像(步骤S180)。
重复上述步骤S120至S180，直至满足立体图像生成处理的终止条件(步骤S190)。例如，当经由输入装置59检测到给出终止处理的指令的用户输入时，终止上述立体图像生成处理。
(2)操作深度确定处理
图15A是示出图14所示的操作深度确定处理的详细流程的第一实例的流程图。当参考图15A时，首先，深度确定单元240指定通过设置单元280提前设置的、待识别的目标仪器(步骤S241)。然后，深度确定单元240执行用于识别捕获图像中的目标仪器的图像识别(步骤S243)。此处，例如，重复图像识别，直至在捕获图像中检测到目标仪器(步骤S245)。然后，当检测到目标仪器作为图像识别的结果时，深度确定单元240在检测位置获取由视差信息指示的视差(步骤S247)。然后，深度确定单元240确定基于所获取的目标仪器的视差计算的深度是用户主要进行密切观察时的操作深度(步骤S249)。
图15B是示出图14所示的操作深度确定处理的详细流程的第二实例的流程图。当参考图15B时，首先，深度确定单元240评估所捕获的每个图像块的对比度指标(步骤S242)。然后，深度确定单元240确定存在于指示最高对比度指标值的块的位置处的对象位于焦点上(步骤S244)。然后，深度确定单元240在对象位于焦点上的位置处获取由视差信息指示的视差(步骤S246)。然后，深度确定单元240确定对象位于焦点上的位置处的视差作为用户主要进行密切观察时的操作深度(步骤S248)。
<4.第三实施方式>
在此部分将要描述的第三实施方式中，基于捕获操作视野的图像时所确定的成像条件确定医疗操作的操作深度，而非在开始捕获图像之前确定操作深度。
【4-1.图像处理装置的配置例】
图16是示出用作根据第三实施方式的图像处理装置的CCU 51的配置的实例的框图。当参考图16时，CCU 51包括成像控制单元310、图像获取单元120、视差确定单元130、深度确定单元340、校正单元150、存储单元160、3D图像生成单元170、以及设置单元180。
成像控制单元310基于通过输入装置59检测的用户输入和设置信息控制内窥镜10的操作，以使得在用户需要时捕获图像。例如，当开始捕获图像时，成像控制单元310可基于例如多个可能的焦点之间的相位差的评估确定最佳的焦距并且将指定所确定的焦距的控制信号传输至摄像头13。进一步地，在本实施方式中，成像控制单元310将指示最佳焦距和选择的焦点位置(即，位于焦点上)的成像条件信息输出至深度确定单元340。
深度确定单元340确定要被捕获图像的医疗操作的操作深度并且将所确定的操作深度输出至校正单元150。在本实施方式中，深度确定单元340基于捕获操作视野的图像时所确定的成像条件确定操作深度。作为实例，深度确定单元340可以通过由从成像控制单元310输入的成像条件信息指示的焦距与系数相乘而粗略地评估对象的深度。此处的系数可以提前被固定地定义。除此之外，深度确定单元340可以根据例如诸如图像传感器的直径等照相机的特征动态地确定系数。作为另一实例，深度确定单元340可以在由成像条件信息指示的已选择焦点位置处基于由视差确定单元130确定的视差来确定位于焦点上的对象所存在的深度。然后，深度确定单元340可将通过任意一种方法确定的对象的深度确定为是用户主要进行密切观察时的操作深度。
通过基于根据本实施方式捕获操作视野的图像时所确定的成像条件确定操作深度，可以易于跟踪操作过程中随着操作深度而改变的对象的深度，而无需执行需要比较多的计算成本的图像分析。此外，可以在对象的深度处以及在该深度附近的操作深度范围内连续增强的立体感并且在操作深度范围之外的深度范围内减少像素信息的缺陷。
【4-2.处理的流程】
(1)立体图像生成处理
图17是示出由根据第三实施方式的CCU 51执行的立体图像生成处理的流程的实例的流程图。当参考图17时，首先，例如，成像控制单元310通过执行诸如自动聚焦和曝光控制等控制功能而控制成像条件(步骤S300)。例如，作为自动聚焦的执行结果，可以确定焦点位置和焦距作为成像条件。
然后，图像获取单元120获取显示操作视野的右眼图像和左眼图像(步骤S120)。然后，视差确定单元130通过使用由图像获取单元120获取的右眼图像和左眼图像确定每个像素位置的视差并且产生视差信息(步骤S130)。
然后，深度确定单元340执行操作深度确定处理来确定要被捕获图像的医疗操作的操作深度(步骤S340)。下面将进一步描述此处执行的操作深度确定处理的详细流程的实例。
然后，校正单元150执行曲线图导出处理来确定如何根据操作深度校正通过视差确定单元130产生的视差信息(步骤S150)。例如，此处执行的曲线图导出处理与参考图12A至图12C描述的处理相似。
然后，校正单元150通过使用作为曲线图导出处理的结果导出的校正曲线图(或示出校正曲线图与初始曲线图之间的差异的校正文件)根据操作深度执行视差信息的校正(步骤S170)。
然后，3D图像生成单元170通过使用由校正单元150校正的视差信息移位通过图像获取单元120获取的右眼图像和左眼图像中的至少一个图像中的对象的每个像素的水平位置，由此产生立体图像(步骤S180)。
重复上述步骤S300至S180，直至满足立体图像生成处理的终止条件(步骤S190)。例如，当经由输入装置59检测到给出终止处理的指令的用户输入时，终止上述立体图像生成处理。
(2)操作深度确定处理
图18是示出图17所示的操作深度确定处理的详细流程的实例的流程图。当参考图18时，首先，深度确定单元340获取指示从成像控制单元310捕获操作视野的图像时所确定的成像条件的成像条件信息(步骤S341)。然后，深度确定单元340基于由所获取的成像条件信息(诸如焦距或焦点位置等)指示的成像条件计算对象的深度并且确定所计算的深度是操作深度(步骤S346)。
<5.立体感降低>
根据本公开的技术的以上实施方式不仅适用于增强立体感，而且还适用于例如出于减少用户的视线负担之目的而执行降低立体感。除了视差的校正方向(或图4所示的移位量Δu的符号)反向，可通过以增强立体感的相似方式校正视差来实现立体感降低。
图19是用于描述根据操作深度减小用于降低立体感的校正因数的实例的说明性示图。图19再次示出了参考图5描述的曲线图G1和G2。然而，尽管曲线图G1是初始曲线图并且曲线图G2是增强立体感的情况下的中间曲线图，然而，此处，曲线图G2是初始曲线图并且曲线图G1是中间曲线图。进一步地，参考深度与操作深度两者具有40mm。例如，在降低立体感的情况下，在与操作深度具有小的深度差的操作深度范围R1内，CCU 51导出具有与中间曲线图G1匹配的轨迹的校正曲线图G4，并且随着与操作深度的深度差的增加，校正曲线图G4与中间曲线图G1分离并且逼近初始曲线图G2。根据使用该校正曲线图G4的视差的校正，在操作深度范围R1内应用将实际基线长度减少至更短的伪基线长度的基本校正因数，而在操作深度范围R1之外的深度范围R2和R3内应用从基本校正因数相对减小的校正因数。例如，基于校正曲线图G4的深度Z＝30mm处的移位量d′shift(30)尤其比校正因数不减小的情况下深度Z＝30mm所需的移位量dshift(30)小。
<6.结论>
在上文中，已参考图1至图19详细描述根据本公开的技术的实施方式。根据上述实施方式，确定要被捕获图像的医疗操作的操作深度，并且根据所确定的操作深度来校正指示通过使用捕获图像而确定的视差的视差信息。这使得可以校正视差来满足医疗操作的需求，由此在不极大地降低所显示图像的准确性的情况下适应地改变立体感。
进一步地，根据上述实施方式，执行视差信息的校正来增强或降低基于捕获图像产生的立体图像的立体感。应注意，当执行校正时，不使用统一的校正因数，并且取而代之，与操作深度具有小的深度差的第一深度范围相比，在与操作深度具有大的深度差的第二深度范围内，可减小视差的校正因数。因此，通过校正视差信息可以充分实现特别是在用户进行密切观察的操作深度处或该操作深度附近增强或降低立体感的目的，并且有效地减少容易产生像素信息的缺陷的外围范围内的该缺陷。
进一步地，根据某实例，在与操作深度具有小的深度差的第一深度范围内设置立体感的感受度的下限。在这种情况下，可以在主要执行用户操作的操作深度范围内确保所需的最小立体感并且帮助用户执行准确的操作。进一步地，根据某实例，第二深度范围内的视差的校正因数减小为使得通过视差校正引起的关于像素信息的缺陷量的指标满足预定的条件。在这种情况下，在校正其视差的图像中确保了至少一定水平的准确性，并且避免了图像出现明显的缺陷。
进一步地，根据某实例，在第一深度范围内应用根据形成立体图像的右眼显示图像与左眼显示图像之间的基线长度所确定的基本校正因数，并且在第二深度范围内应用从基本校正因数相对减小的校正因数。在这种情况下，在操作深度处及其附近，可以给出使用户感觉如同立体图像的实际基线长度被放大(或减小)至希望的伪基线长度的立体感，同时，可以减少像素信息的缺陷。
进一步地，根据某实例，可基于所执行的操作的类型确定操作深度。在这种情况下，容易设置操作深度，并且即使在用户未获知所设置的操作深度的值的情况下，系统也可仅通过用户指定操作类型来确定适当的操作深度。进一步地，根据某实例，可基于所使用的仪器类型确定操作深度。此外，在这种情况下，容易设置操作深度。例如，在重复使用同一类型的仪器的情况下，系统可再次自动设置操作深度设置。在经由用户界面直接输入操作深度的情况下，用户可根据用户自身的需要随意设置最佳的操作深度。
进一步地，根据某实例，可基于在捕获图像的时间段内获得的图像分析结果或成像条件来动态地调整操作深度。在这种情况下，可以在遵循随着时间改变的操作的状况的同时，在适当的操作深度范围内连续地校正立体感，并且减少像素信息的缺陷。
应注意，在本说明书中已经主要描述了包括手术内窥镜的图像处理系统的实例。然而，根据本公开的技术并不局限于该实施方式并且还适用于诸如显微镜等其他类型的医疗观察装置。进一步地，根据本公开的技术可以实现为安装在该医疗观察装置上的图像处理模块(例如，图像处理芯片)或照相机模块。
通过使用软件、硬件、以及软件与硬件的组合中的任意一个可以实现在本说明书中描述的图像处理。例如，可以将形成软件的程序提前存储在设置在每个装置内或外的存储介质(非易失性介质)上。此外，在例如执行时将每个程序读入到随机访问存储器(RAM)中并且通过诸如CPU等处理器执行每个程序。
上面已经参考所附附图描述了本公开的优选实施方式，然而，本公开并不局限于上述实施方式。本领域技术人员可以发现所附权利要求内的范围内的各种变形与改造，并且应当理解的是，各种变形与改造自然落在本公开的技术范围内。
进一步地，本说明书中描述的效果仅是说明性的或示例性的并且并非限制性。即，与上述效果一起或替代上述效果，根据本公开的技术可以实现从本说明书的描述中对本领域技术人员显而易见的其他效果。
此外，本技术还可以配置成如下。
(1)一种医疗图像处理装置，包括：
深度确定单元，被配置为确定要被捕获图像的医疗操作的操作深度；
视差确定单元，被配置为通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；以及
校正单元，被配置为根据通过深度确定单元确定的操作深度校正视差信息。
(2)根据(1)所述的医疗图像处理装置，其中，
校正单元校正视差信息，以增强基于捕获图像生成的立体图像所表现的立体感。
(3)根据(2)所述的医疗图像处理装置，其中，
校正单元减小第二深度范围内的视差的校正因数，和与操作深度具有小的深度差的第一深度范围相比，第二深度范围与操作深度具有大的深度差。
(4)根据(3)所述的医疗图像处理装置，其中，
在第一深度范围内设置立体感的感受度的下限，并且在第二深度范围内不设置下限。
(5)根据(3)或(4)所述的医疗图像处理装置，其中，
校正单元减小第二深度范围内的视差的校正因数，以使得关于因校正视差而产生的像素信息的缺陷量的指标不超过容许上限。
(6)根据(1)至(5)中任一项所述的医疗图像处理装置，其中，深度确定单元基于操作的类型确定操作深度。
(7)根据(1)至(6)中任一项所述的医疗图像处理装置，其中，深度确定单元基于操作中使用的仪器的类型确定操作深度。
(8)根据(1)至(7)中任一项所述的医疗图像处理装置，其中，深度确定单元基于经由用户界面获取的用户输入确定操作深度。
(9)根据(1)至(5)中任一项所述的医疗图像处理装置，其中，深度确定单元基于捕获图像的分析确定操作深度。
(10)根据(1)至(5)中任一项所述的医疗图像处理装置，其中，深度确定单元基于当捕获视野的图像时的成像条件确定操作深度。
(11)根据(1)至(10)中任一项所述的医疗图像处理装置，其中，捕获图像包括右眼图像和左眼图像；并且
校正单元在第一深度范围内应用根据右眼图像与左眼图像之间的基线长度确定的基本校正因数并且在第二深度范围内应用从基本校正因数相对地减小的校正因数。
(12)根据(5)所述的医疗图像处理装置，进一步包括：
设置单元，被配置为提供用户界面，用户界面允许用户设置关于像素信息的缺陷量的指标的容许上限。
(13)根据(1)至(12)中任一项所述的医疗图像处理装置，其中，操作包括手术。
(14)根据(1)至(13)中任一项所述的医疗图像处理装置，其中，经由医疗内窥镜的摄像头中包括的图像传感器获取捕获图像。
(15)根据(1)至(14)中任一项所述的医疗图像处理装置，进一步包括：
生成单元，被配置为通过使用通过校正单元校正的视差信息、基于捕获图像生成立体图像。
(16)根据(1)所述的医疗图像处理装置，其中，
校正单元校正视差信息，以降低基于捕获图像生成的立体图像所表现的立体感。
(17)根据(16)所述的医疗图像处理装置，其中，
校正单元减小第二深度范围内的视差的校正因数，和与操作深度具有小的深度差的第一深度范围相比较，第二深度范围与操作深度具有大的深度差。
(18)一种医疗图像处理系统，包括：
根据(1)至(17)中任一项所述的医疗图像处理装置；和
成像装置，被配置为捕获视野的图像并且生成捕获图像。
(19)一种通过医疗图像处理装置执行的图像处理方法，图像处理方法包括：
确定要被捕获图像的医疗操作的操作深度；
通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；并且
根据确定的操作深度校正视差信息。
(20)一种用于使控制医疗图像处理装置的处理器行使下列单元的功能的程序：
深度确定单元，被配置为确定要被捕获图像的医疗操作的操作深度；
视差确定单元，被配置为通过使用显示操作中观察的视野的捕获图像确定视差并且生成视差信息；以及
校正单元，被配置为根据通过深度确定单元确定的操作深度校正视差信息。
标号说明
1 医疗图像处理系统
13 摄像头(成像装置)
51 CCU(图像处理装置)
53 监视器(显示装置)
110，310 成像控制单元
120，220 图像获取单元
130 视差确定单元
140，240，340 深度确定单元
150 校正单元
160，260 存储单元
170 3D图像生成单元
180，280 设置单元。

Claims (16)

1.一种医疗图像处理装置，包括：
深度确定单元，被配置为确定要被捕获图像的医疗操作的操作深度；
视差确定单元，被配置为通过使用示出在操作中观察到的视野的捕获图像确定视差并且生成视差信息；以及
校正单元，被配置为根据通过所述深度确定单元确定的所述操作深度来校正所述视差信息；
其中，所述校正单元校正所述视差信息，以增强基于所述捕获图像生成的立体图像所表现的立体感；
其中，和与所述操作深度具有小的深度差的第一深度范围相比，所述校正单元减小与所述操作深度具有大的深度差的第二深度范围内的视差的校正因数。
2.根据权利要求1所述的医疗图像处理装置，其中，
在所述第一深度范围内设置所述立体感的感受度的下限，并且在所述第二深度范围内不设置所述下限。
3.根据权利要求1所述的医疗图像处理装置，其中，
所述校正单元减小所述第二深度范围内的所述视差的校正因数，使得关于因校正所述视差而产生的像素信息的缺陷量的指标不超过容许上限。
4.根据权利要求1所述的医疗图像处理装置，其中，
所述深度确定单元基于所述操作的类型确定所述操作深度。
5.根据权利要求1所述的医疗图像处理装置，其中，
所述深度确定单元基于在所述操作中使用的仪器的类型确定所述操作深度。
6.根据权利要求1所述的医疗图像处理装置，其中，
所述深度确定单元基于经由用户界面获取的用户输入确定所述操作深度。
7.根据权利要求1所述的医疗图像处理装置，其中，
所述深度确定单元基于所述捕获图像的分析确定所述操作深度。
8.根据权利要求1所述的医疗图像处理装置，其中，
所述深度确定单元基于捕获所述视野的图像时的成像条件确定所述操作深度。
9.根据权利要求1所述的医疗图像处理装置，其中，
所述捕获图像包括右眼图像和左眼图像；并且
所述校正单元在所述第一深度范围内应用根据所述右眼图像与所述左眼图像之间的基线长度确定的基本校正因数，并且在所述第二深度范围内应用从所述基本校正因数相对地减小的校正因数。
10.根据权利要求3所述的医疗图像处理装置，进一步包括：
设置单元，被配置为提供用户界面，所述用户界面允许用户设置关于所述像素信息的缺陷量的所述指标的所述容许上限。
11.根据权利要求1所述的医疗图像处理装置，其中，
所述操作包括手术。
12.根据权利要求1所述的医疗图像处理装置，其中，
经由包括在医疗内窥镜的摄像头中的图像传感器获取所述捕获图像。
13.根据权利要求1所述的医疗图像处理装置，进一步包括：
生成单元，被配置为使用由所述校正单元校正的所述视差信息基于所述捕获图像生成立体图像。
14.一种医疗图像处理系统，包括：
根据权利要求1所述的医疗图像处理装置；和
成像装置，被配置为捕获所述视野的图像并且生成所述捕获图像。
15.一种由医疗图像处理装置执行的图像处理方法，所述图像处理方法包括：
确定要被捕获图像的医疗操作的操作深度；
通过使用示出在操作中观察到的视野的捕获图像来确定视差并且生成视差信息；并且
根据所确定的操作深度校正所述视差信息，以增强基于所述捕获图像生成的立体图像所表现的立体感；
其中，校正所述视差信息还包括：和与所述操作深度具有小的深度差的第一深度范围相比，减小与所述操作深度具有大的深度差的第二深度范围内的视差的校正因数。
16.一种其上存储有程序的计算机可读存储介质，所述程序用于使计算机设备用作如权利要求1至13任一项所述的医疗图像处理装置。
CN201680081276.4A 2016-02-12 2016-11-15 医疗图像处理装置、系统、方法以及程序 Expired - Fee Related CN108601511B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-024865 2016-02-12
JP2016024865 2016-02-12
PCT/JP2016/083868 WO2017138209A1 (ja) 2016-02-12 2016-11-15 医療用画像処理装置、システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108601511A CN108601511A (zh) 2018-09-28
CN108601511B true CN108601511B (zh) 2021-07-27

Family

ID=59563744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081276.4A Expired - Fee Related CN108601511B (zh) 2016-02-12 2016-11-15 医疗图像处理装置、系统、方法以及程序

Country Status (5)

Country Link
US (1) US10609354B2 (zh)
EP (1) EP3415076B1 (zh)
JP (1) JP6828695B2 (zh)
CN (1) CN108601511B (zh)
WO (1) WO2017138209A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792534B2 (en) 2018-08-30 2023-10-17 Sony Corporation Signal processing device, signal processing method, and image capture device
CN109316162A (zh) * 2018-10-26 2019-02-12 深圳市儿童医院 一种儿童用腹腔镜系统
JP7375022B2 (ja) * 2019-08-29 2023-11-07 オリンパス株式会社 画像処理装置の作動方法、制御装置、および内視鏡システム
CN115666406A (zh) * 2020-02-06 2023-01-31 维卡瑞斯外科手术公司 在外科手术机器人系统中确定体内深度感知的系统和方法
CN113499094B (zh) * 2021-07-08 2023-07-25 中山大学 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法
US20230298250A1 (en) * 2022-03-16 2023-09-21 Meta Platforms Technologies, Llc Stereoscopic features in virtual reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
CN105009581A (zh) * 2013-03-29 2015-10-28 奥林巴斯株式会社 立体内窥镜系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4875762B2 (ja) 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
KR20140063993A (ko) * 2012-11-19 2014-05-28 삼성메디슨 주식회사 의료 영상 생성 장치 및 방법
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
CN105009581A (zh) * 2013-03-29 2015-10-28 奥林巴斯株式会社 立体内窥镜系统

Also Published As

Publication number Publication date
EP3415076A4 (en) 2019-02-20
US20190037202A1 (en) 2019-01-31
JPWO2017138209A1 (ja) 2018-12-13
EP3415076A1 (en) 2018-12-19
CN108601511A (zh) 2018-09-28
US10609354B2 (en) 2020-03-31
WO2017138209A1 (ja) 2017-08-17
EP3415076B1 (en) 2022-03-30
JP6828695B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
CN108601511B (zh) 医疗图像处理装置、系统、方法以及程序
JP2023083547A (ja) 画像処理装置、画像処理方法、及び記録媒体
JPWO2019044328A1 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
JP7226325B2 (ja) 焦点検出装置および方法、並びにプログラム
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
EP3151719B1 (en) Image processing apparatus and program
JP5893808B2 (ja) 立体内視鏡画像処理装置
JP7115467B2 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
WO2017145531A1 (ja) 医療用画像処理装置、システム、方法及びプログラム
WO2019092950A1 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2017221507A1 (ja) 内視鏡システム
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
WO2016114155A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム
JP2014175965A (ja) 手術用カメラ
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2018168578A1 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP7207296B2 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
JP2020534050A (ja) ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体
WO2022019057A1 (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置
CN114269218A (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210727

CF01 Termination of patent right due to non-payment of annual fee