CN105517482B - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN105517482B
CN105517482B CN201480048649.9A CN201480048649A CN105517482B CN 105517482 B CN105517482 B CN 105517482B CN 201480048649 A CN201480048649 A CN 201480048649A CN 105517482 B CN105517482 B CN 105517482B
Authority
CN
China
Prior art keywords
image
operation tool
seizure
region
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480048649.9A
Other languages
English (en)
Other versions
CN105517482A (zh
Inventor
林恒生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105517482A publication Critical patent/CN105517482A/zh
Application granted granted Critical
Publication of CN105517482B publication Critical patent/CN105517482B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00831—Material properties
    • A61B2017/00902—Material properties transparent or translucent
    • A61B2017/00907—Material properties transparent or translucent for light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

例如，为了提高使用诸如透明手术工具等的透明物体的手术的手术效率。当捕捉图像是通过捕捉对于第一波段的光是透明的并且对于第二波段的光是不透明的物体而获取时，以及当通过选择性接收第一波段的光而获取的捕捉图像作为第一捕捉图像，并且通过选择性接收第二波段的光而获取的捕捉图像作为第二捕捉图像时，基于第二捕捉图像检测其中存在物体的图像区域作为目标区域。随后，根据关于检测的目标区域的信息，在第一捕捉图像上叠加该物体的轮廓。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及图像处理装置、图像处理方法和程序的技术领域，其对通过捕捉可见的透光物体(诸如透明的手术工具)的图像而获取的捕捉图像执行图像处理。
参考文献列表
专利文献
专利文献1：JP 2009-291358A
专利文献2：JP 2011-35853A
背景技术
已知的是所谓的微创外科手术用于减少患者的生理负担。在微创外科手术中，外科医生在确认通过内窥镜捕捉的体内图像时进行外科手术，以便在不打开胸部或腹部的情况下进行外科手术并且减少外科手术中的患者的生理负担。
发明内容
技术问题
当在微创外科手术中通过使用内窥镜进行外科手术时，想到的是使用透明的手术工具作为手术工具，诸如，手术刀和镊子。如果手术工具是透明的，则位于更深侧的观察物体(诸如，器官)的可见度有望提高。
然而，如果使用透明的手术工具，对于诸如外科医生的观察者来说难以确认手术工具在所捕捉的图像中的位置，并且担心外科手术变得更困难。
因此，本技术的目的是克服以上问题，并且提高关于使用诸如透明的手术工具的透明物体的工作的工作效率。
技术方案
第一，根据本技术，一种图像处理装置包括：目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的所述目标物体而获取；以及轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
如上所述，其中物体的更深侧在视觉上是可确认的并且物体的位置在视觉上是可确认的捕捉图像是通过在第一捕捉图像上叠加物体的轮廓而获取。
第二，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图像检测所述目标区域。从而，基于透明地显示物体的图像以及不透明地显示物体的图像来检测目标区域。
第三，在根据本技术的图像处理装置中，目标检测单元优选通过关于所述第二捕捉图像和所述第一捕捉图像中的每一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像并且基于所述第一捕捉图像生成第一边缘图像，使用所述目标物体的模板针对所述第二边缘图像和所述第一边缘图像中的每一个执行模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述第一边缘图像的所述模板匹配所检测的图像区域重叠的图像区域。从而，可以排除在用于第二捕捉的模板匹配中错误检测的图像区域。
第四，在根据本技术的图像处理装置中，目标检测单元优选地针对所述第二捕捉图像以及针对通过选择性接收所述第一波段中的不同波段的光而获取的多个第一捕捉图像执行所述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图像以及基于所述多个第一捕捉图像生成多个第一边缘图像，针对每一个所述生成的边缘图像执行所述模板匹配，并且检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述多个第一边缘图像的所述模板匹配所检测的图像区域中的任一个重叠的图像区域。通过针对选择性接收第一波段中的不同波段的光而获取的多个第一捕捉图像执行模板匹配，在可见光图像侧中更容易地检测与物体具有类似形状的不同于物体的部分。
第五，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像之间的视差所计算的距离信息而检测所述目标区域。如上所述，通过使用距离信息可以检测目标区域。
第六，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对所述第二捕捉图像和所述第一捕捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的距离图像以及所述第一捕捉图像的距离图像，生成所述第二捕捉图像的所述距离图像与所述第一捕捉图像的所述距离图像之间的差值图像，并且基于所述差值图像检测所述目标区域。如上所述，通过在第二捕捉图像的距离图像与第一捕捉图像的距离图像之间生成差值图像，在差值图像中仅提取物体存在的图像区域。
第七，在根据本技术的图像处理装置中，优选地，所述目标检测单元基于针对多个帧图像的所述目标区域的检测结果，确定所述轮廓叠加单元进行的所述轮廓的叠加中使用的所述目标区域。从而，即使由于一时噪音的影响所造成的将不同于物体的显示内容的部分错误地检测为目标区域，该影响也不会反应在轮廓叠加中。
第八，根据本技术的图像处理装置优选地包括光学畸变校正单元，该光学畸变校正单元被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。从而，校正在第一捕捉图像中的目标区域中生成的光学畸变。
第九，在根据本技术的图像处理装置中，目标检测单元优选地所述目标检测单元基于所述第二捕捉图像识别所述目标物体的类型，并且所述光学畸变校正单元利用根据所述目标检测单元识别的所述目标物体的所述类型的校正特性来校正所述光学畸变。从而，通过根据物体的类型的适当的校正特性执行光学畸变校正。
第十，在根据本技术的图像处理装置中，优选地，当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是借助于选择性接收所述第二波段光的图像传感器立体捕捉所述目标物体的图像而获取的左眼图像和右眼图像时，所述检测单元基于所述左眼侧第二捕捉图像和所述右眼侧第二捕捉图像生成所述目标物体的三维位置信息，并且基于所述三维位置信息检测所述目标物体的方位，并且所述光学畸变校正单元利用根据所述目标检测单元检测的所述目标物体的所述方位的校正特性来校正所述光学畸变。从而，通过根据物体的方位的适当的校正特性执行光学畸变校正。
第十一，在根据本技术的图像处理装置中，所述光学畸变校正单元优选地利用根据所述目标物体的距离的校正特性来校正所述光学畸变。从而，通过根据物体的距离的适当的校正特性执行光学畸变校正。
本发明的技术效果
根据本技术，提高关于使用透明物体(诸如，透明的手术工具)的工作的工作效率。应注意，本文中描述的效果不必是限制性的，而且可以是本公开内容中所描述的效果中的一个。
附图说明
[图1]图1是在实施方式中假定的微创外科手术和透明手术工具的说明性示图。
[图2]图2是用于描述第一实施方式的图像捕捉装置的内部构造的框图。
[图3]图3是第一实施方式的图像捕捉装置中包括的图像传感器的结构的说明性示图。
[图4]图4是用于描述第一实施方式的图像捕捉装置中包括的信号处理单元(图像处理装置)的内部构造的框图。
[图5]图5是示出了在叠加轮廓图像之后的可见光图像的示图。
[图6]图6是由第一实施方式的图像处理装置使用的光学畸变信息DB的信息详情的说明性示图。
[图7]图7是当通过软件执行根据第一实施方式的图像处理装置的操作时的构造和处理程序的说明性示图。
[图8]图8是用于描述第二实施方式的图像捕捉装置的内部构造的框图。
[图9]图9是使用红外光图像和可见光图像检测手术工具区域的意义的说明性示图。
[图10]图10是用于描述第三实施方式的图像捕捉装置的内部构造的框图。
[图11]图11是三维位置信息的说明性示图。
[图12]图12是由第三实施方式的图像处理装置使用的光学畸变信息DB的信息详情的说明性示图。
具体实施方式
在下文中，接下来将描述实施方式。
<1.第一实施方式>
(1-1.假设)
(1-2.图像捕捉装置的总体构造)
(1-3.关于信号处理单元)
(1-4.关于程序)
(1-5.总结和效果)
<2.第二实施方式>
(2-1.构造和操作)
(2-2.总结和效果)
<3.第三实施方式>
(3-1.构造和操作)
(3-2.总结和效果)
<4.示例性变形例>
<5.本技术>
<1.第一实施方式>
(1-1.假设)
图1是在实施方式中假定的微创外科手术和透明手术工具的说明性示图。如图1A中所示，在本实施方式中假定的微创外科手术中，手术工具J和稍后描述的图像捕捉装置1的刚性内窥镜(内窥镜)1a被插入到患者H的身体的内部中。这个示图示出了两种类型的手术工具J被插入到身体的内部中的情况，这两种手术工具是手术工具J1和手术工具J2。手术工具J和刚性内窥镜1a插入到身体的内部中是分别通过在患者H中的微创口执行的。
手术工具J是诸如手术刀和镊子的外科手术工具，并且在本实施方式中使用所谓的透明的手术工具。透明手术工具指的是对于可见光是透明的手术工具。
图1B示意性地示出了当如图1A中所示的将手术工具J和刚性内窥镜1a插入时，经由刚性内窥镜1a所获取的捕捉图像。在这种情况下，尽管手术工具J1和手术工具J2存在于体内物体X(诸如图像捕捉视野中的器官)的前侧，但是这些手术工具J1和手术工具J2在捕捉图像中不能完全显示，并且透过手术工具J1和手术工具J2中的每一个的更深侧看到体内物体X，这是因为手术工具J1和手术工具J2是透明的手术工具。
尽管透过手术工具J的更深侧察看以便提高体内物体X的可见度并且提高外科手术的容易度，但是如上所述，透明手术工具的位置在捕捉图像中难以确认，并且担心外科手术变得更困难。
因此，在本实施方式中，提供了使手术工具J的更深侧在视觉上可确认的以及手术工具J的位置在视觉上可确认的捕捉图像，以便提高关于使用透明手术工具的外科手术工作的工作效率，并且提高外科手术的容易度。
因此，在本实施方式中，对于可见光是透明的并且对于红外光是不透明的手术工具被用作手术工具J。具体地，本实例中的手术工具J被透射可见光但是反射或吸收红外光的膜所覆盖。例如，该膜是3M公司等制成的“多层纳米系列(Multi Layer Nano Series)”。应注意，手术工具J可以由透射可见光但是反射或吸收红外光的玻璃材料制成。例如，该玻璃是以下网页等中示出的产品(由Central Glass Co.,Ltd.生产)。
·http://www.cg-glass.jp/pro/sub_technique/pdf/180-181.pdf
(1-2.图像捕捉装置的总体构造)
图2是示出了如第一实施方式的图像捕捉装置1的内部构造的框图。应注意，图1还示出了用于显示通过图像捕捉装置1获取的捕捉图像的显示装置2。图像捕捉装置1是利用如第一实施方式的图像处理装置进行配置的图像捕捉装置。
图像捕捉装置1包括刚性内窥镜1a和主体1b。在刚性内窥镜1a中，提供了光学纤维12、照明光学系统13、左眼光学系统14-L、右眼光学系统14-R、图像传感器15-L以及图像传感器15-R。在主体1b中，提供了第一光源11-1、第二光源11-2、信号处理单元16、显示控制单元17以及端子Td。
第一光源11-1发射可见光。在本实例的情况下，第一光源11-1发射白色光。第二光源11-2发射红外光。
从第一光源11-1发射的可见光以及通过第二光源11-2发射的红外光通过光学纤维12进入照明光学系统13。照明光学系统13在作为观察目标的对象上投射经由光学纤维12进入的可见光和红外光。
左眼光学系统14L和右眼光学系统14R被设置为生成用于呈现立体观看图像的左眼图像GL和右眼图像GR。左眼光学系统14L从该对象收集光以在图像传感器15-L的成像捕捉表面上形成图像。右眼光学系统14-R从该对象收集光以在图像传感器15-R的成像捕捉表面上形成图像。
在本实例中，图像传感器15-L和图像传感器15-R具有图3中示出的结构以能够同时接收可见光和红外光。在图像传感器15-L和图像传感器15-R的每一个中，一个单元U由总共4个像素组成，包括水平方向上的2个像素×垂直方向上的2个像素。在这种情况下，单元U包括形成选择性透过红光的波长滤波器的像素(在附图中由“R”表示)、形成选择性透过绿光的波长滤波器的像素(在附图中由“G”表示)、形成选择性透过蓝光的波长滤波器的像素(在附图中由“B”表示)、以及形成选择性透过红外光的波长滤波器的像素(在附图中由“IR”表示)。在图像传感器15-L和图像传感器15-R中，多个单元U在水平方向和垂直方向上排列。因此，在图像传感器15-L和图像传感器15-R的每一个中，红光、绿光、蓝光和红外光在成像捕捉表面上的不同位置处被选择性接收到。
返回至图2，通过图像传感器15-L获取的捕捉图像信号由“捕捉图像信号gL”表示，并且通过图像传感器15-R获取的捕捉图像信号由“捕捉图像信号gR”表示。捕捉图像信号gL和捕捉图像信号gR被输入到信号处理单元16中。
信号处理单元16分别基于捕捉图像信号gL生成左眼图像GL，并且基于捕捉图像信号gR生成右眼图像GR。信号处理单元16与第一实施方式的图像处理装置相对应，并且稍后将描述它的内部构造。
显示控制单元17执行控制以使得经由端子Td连接的显示装置2以立体视图方式显示左眼图像GL和右眼图像GR。在本实例中，例如，显示装置2是通过透镜方法呈现立体观看图像的显示器，并且显示控制单元17执行与透镜方法相对应的显示控制。
(1-3.关于信号处理单元)
图4是用于描述信号处理单元16的内部构造的框图。尽管该示图仅提取和示出了信号处理单元16的内部构造中的用于生成左眼图像GL的构造，但是用于生成左侧图像GL的构造与用于生成右眼图像GR的构造相同，并且因此，用于生成右眼图像GR的构造的描述被省略，以在此避免重复描述。
在信号处理单元16中，提供了可见红外图像生成处理单元21L、光学畸变校正处理单元22L、叠加处理单元23L、手术工具检测处理单元24L、轮廓图像生成处理单元25L以及存储器26。
可见红外图像生成处理单元21L基于从图像传感器15-L输入的捕捉图像信号gL生成可见光图像和红外光图像。在本实例的情况下，可见光图像是包括每一个像素的红光、绿光、蓝光的亮度值的彩色图像。红外光图像是包括每一个像素的红外光的亮度值的图像。可见红外图像生成处理单元21L通过针对捕捉图像信号gL执行去马赛克处理来生成可见光图像和红外光图像。关于图像传感器15-L上的水平方向上的第i位置和垂直方向上的第j位置处的像素，去马赛克处理使用利用波长滤波器(所述波长滤波器透过位于像素(i,j)附近的相同波段的光)形成的像素的亮度值，插入(例如，线性插入等)其他波段中的每一个的亮度值，所述其他波段不同于经由像素的波长滤波器接收到的波段。例如，如果像素(i，j)是接收红光的像素，通过使用利用波长滤波器(所述波长滤波器透过位于像素(i，j)附近的相同波段的光)形成的像素的亮度值，插入除了红光之外的绿光、蓝光和红外光的亮度值。通过该去马赛克处理获取每一个像素的红光、绿光、蓝光和红外光的亮度值。可见红外图像生成处理单元21L输出具有每一个像素的红光、绿光和蓝光的亮度值的图像，作为可见光图像。另外，可见红外图像生成处理单元21L输出具有每一个像素的红外光的亮度值的图像作为红外光图像。
从可见红外图像生成处理单元21L输出的可见光图像作为左眼图像GL经由光学畸变校正处理单元22L和叠加处理单元23L被输出至图1中示出的显示控制单元17。应注意，稍后将描述光学畸变校正处理单元22L和叠加处理单元23L。
另一方面，从可见红外图像生成处理单元21L输出的红外光图像被输入到手术工具检测处理单元24L中。手术工具检测处理单元24L基于输入的红外光图像检测手术工具J存在的图像区域，作为手术工具区域Aj。另外，手术工具检测处理单元24L识别手术工具J的类型。
如下文中，本实施方式的手术工具检测处理单元24L执行手术工具区域Aj的检测以及手术工具J的类型的识别。首先，针对输入的红外光图像执行边缘提取(边缘检测)。此后，通过模板匹配从边缘提取后的图像中检测手术工具区域Aj。即，具有的边缘形状与手术工具J的模板中呈现的边缘形状的相似度等于或大于预定值的图像区域被检测为手术工具区域Aj。在这种情况下，例如，模板匹配是基于手术工具J的整个形状(轮廓)或者基于手术工具J的一部分的特征形状。在本实例的情况下，假定使用多种类型的手术工具J，并且因此，为每一种类型的手术工具J准备以上模板，并且通过使用所有这些模板执行该匹配，以便检测手术工具区域Aj。
应注意，当假设手术工具J的位置在深度方向(平行于图像捕捉方向的方向)上改变时，即，当假设手术工具J的大小不同于捕捉图像时，不同标度尺寸的多个模板可被制备为模板，并且可通过使用这些模板中的每一个执行匹配来检测手术工具区域Aj。
在本实施方式的情况下，显示手术工具J的类型的手术工具ID的信息与每个模板关联。通过获取与检测手术工具区域Aj时所使用的模板关联的手术工具ID，手术工具检测处理单元24L识别关于所检测的手术工具区域Aj的手术工具J的类型。
通过手术工具检测处理单元24L检测的手术工具区域Aj的信息被输入到轮廓图像生成处理单元25L中。轮廓图像生成处理单元25L生成表示手术工具区域Aj的轮廓Sj的轮廓图像，并且将其输出至叠加处理单元23L。
叠加处理单元23L在经由光学畸变校正单元22L输入的可见光图像上叠加从轮廓图像生成处理单元25L输入的轮廓图像。
图5示出了通过叠加处理单元23L叠加轮廓图像之后的可见光图像。图5示出了手术工具J1和手术工具J2存在于图像捕捉视野中的情况。在这种情况下，作为手术工具J1存在的图像区域的手术工具区域Aj1以及作为手术工具J2存在的图像区域的手术工具区域Aj2被检测为手术工具区域Aj。然后，表示这些手术工具区域Aj1和手术工具区域Aj2的轮廓(在附图中，Sj1、Sj2)的轮廓图像被生成作为轮廓图像，并且该轮廓图像被叠加在可见光图像上。
在此，如上所述，手术工具J对于可见光是透明的，透过可见光图像中的手术工具J的更深侧看到体内物体X。另一方面，因为以上轮廓图像被叠加，所以手术工具J的位置在可见光图像中在视觉上被确认。因此，如上所述，通过在可见光图像上叠加手术工具J的轮廓，获取捕捉图像，其中手术工具J的更深侧在视觉上是可确认的并且手术工具J的位置在视觉上是可确认的。
应注意，关于每个帧图像执行通过上述手术工具检测处理单元24L检测手术工具区域Aj和识别手术工具J的类型、通过轮廓图像生成处理单元25L执行的轮廓图像的生成流程，以及通过叠加处理单元23L执行的轮廓图像的叠加流程的每个流程。
返回至图4，通过手术工具检测处理单元24L检测的手术工具ID以及手术工具区域Aj的信息被输入到光学畸变校正处理单元22L中。光学畸变校正处理单元22L利用根据手术工具J的类型的校正特性为目标的可见光图像中的手术工具区域Aj执行光学畸变校正。应注意，在这种情况下，光学畸变指的是由作为透明的手术工具的手术工具J生成的光学畸变。
在此，尽管随着如上所述通过使用透明的手术工具，透过手术工具J的更深侧观看而提高可见度，但是担心光学畸变使存在于手术工具J更深侧处的体内物体X的细节在视觉上是不可确认的。因此，如上所述，校正由手术工具J生成的光学畸变。
存储器26是可以通过光学畸变校正处理单元22L读取的存储器，并且光学畸变信息数据库(DB)26a被存储在该存储器中。如图6中所示，在光学畸变特性信息DB 26a中，光学畸变特性信息与每个手术工具ID相对应。在本实例的情况下，光学畸变特性信息是用函数表示光学畸变特性的信息。
在图4中，因为光学畸变特性信息中的输入手术工具ID存储在光学畸变信息DB26a中，光学畸变校正处理单元22L获取与相同的手术工具ID相对应的光学畸变特性信息，并且基于所获取的光学畸变特性信息为可见光图像中的手术工具区域Aj执行光学畸变校正。即，基于所获取的光学畸变特性信息执行校正以消除光学畸变。具体地，在本实例中，通过使用所获取的光学畸变特性信息的函数的逆函数执行光学畸变校正。
执行光学畸变校正以提高位于手术工具J的更深侧的体内物体X的可见度。另外，根据以上光学畸变校正流程，通过使用根据手术工具J的类型的校正特性执行光学畸变校正。
应注意，存储器26和光学畸变信息DB 26a可以与生成右眼图像GL相关联的构造共享，这未在附图中进行描述。
另外，关于每个帧图像执行通过上述光学畸变校正处理单元22L的光学畸变校正流程。
(1-4.关于程序)
在此，尽管通过在上述中已经示出的硬件执行根据本实施方式的图像处理装置的操作的情况，但是也可通过软件执行。图7A是示出了与通过软件执行根据本实施方式的图像处理装置的操作的情况相对应的构造的示图。在这种情况下，代替信号处理单元16，提供了配置有信号处理装置的信号处理单元16'，诸如，数字信号处理器(DSP)或者包括中央处理单元(CPU)的微型计算机。为信号处理单元16'提供了存储器27，并且光学畸变信息DB26a和程序28被存储在存储器27中。信号处理单元16'根据程序28执行以图7B的流程图示出的流程，以便根据第一实施方式执行图像处理装置的操作。
在图7B中，信号处理单元16'执行可见红外图像生成流程(S101)、手术工具检测流程(S102)、光学畸变校正流程(S103)、轮廓图像生成流程(S104)以及叠加流程(S105)。在可见红外图像生成流程中，通过执行与可见红外图像生成处理单元21L关于输入的捕捉图像信号gL和捕捉图像信号gR中的每一个相同的流程生成可见光图像和红外光图像，。
在手术工具检测流程中，通过执行与手术工具检测处理单元24L关于从捕捉图像信号gL和捕捉图像信号gR(左眼侧的红外光图像、右眼侧的红外光图像)生成的每一个红外光图像的相同流程来执行手术工具区域Aj的检测和手术工具J的类型的识别。
在光学畸变校正流程中，根据手术工具J的类型，基于手术工具ID和光学畸变信息DB 26a，以与光学畸变校正单元22L关于从捕捉图像信号gL和捕捉图像信号gR(左眼侧的红外光图像、右眼侧的红外光图像)生成的每一个可见光图像的相同方式，针对在手术工具检测流程中检测的手术工具区域Aj执行光学畸变校正。
在轮廓图像生成流程中，基于在手术工具检测流程中检测的左眼侧和右眼侧的手术工具区域Aj的信息，针对左眼侧和右眼侧中的每一个生成手术工具J的轮廓图像。在叠加流程中，分别地，在轮廓图像生成流程中生成的左眼侧的轮廓图像被叠加在左眼侧的可见光图像上，并且右眼侧的轮廓图像被叠加在右眼侧的可见光图像上。从而，获取左眼图像GL和右眼图像GR。
应注意，在执行光学畸变校正流程之前可以执行叠加流程。
(1-5.总结和效果)
如上所述，当通过捕捉(对于可见光(第一波段的光)是透明的并且对于红外光(第二波段的光)是不透明)的手术工具J(物体)而获取的的捕捉图像是通过选择性接收可见光而获取的捕捉图像的可见光图像(第一捕捉图像)以及通过选择性接收红外光而获取的捕捉图像的红外光图像(第二捕捉图像)时，第一实施方式的信号处理单元16(图像处理装置)包括：手术工具检测处理单元24L(目标检测单元)，其基于红外光图像检测手术工具J存在的图像区域作为手术工具区域Aj(目标区域)；以及叠加处理单元23L(轮廓叠加单元)，其基于由手术工具检测处理单元24L检测的手术工具区域Aj的信息在可见光图像上叠加手术工具J的轮廓。
如上所述，通过在可见光图像上叠加手术工具J的轮廓，获取其中手术工具J的更深侧在视觉上是可确认以及手术工具J的位置在视觉上是可确认的捕捉图像。因此，使用透明的手术工具J执行的外科手术工作的工作效率被提高，以提高外科手术的容易度，以便执行更安全的外科手术。
另外，第一实施方式的信号处理单元16包括光学畸变校正处理单元22L(光学畸变校正单元)，其校正手术工具J关于可见光图像中的手术工具区域Aj而生成的光学畸变。从而，校正在可见光图像中的手术工具区域Aj中生成的光学畸变。因此，更能提高位于手术工具J的更深侧的物体(体内物体X)的可见度。
进一步地，在第一实施方式的信号处理单元16中，手术工具检测处理单元24L基于红外光图像识别手术工具J的类型，并且光学畸变校正处理单元22L根据由手术工具检测处理单元24L识别的手术工具J的类型的校正特性来校正光学畸变。从而，以根据手术工具J的类型的适当的校正特性来执行光学畸变校正。因此，不管手术工具J的类型，位于手术工具J的更深侧的物体的可见度被提高。
<2.第二实施方式>
(2-1.构造和操作)
图8是用于描述第二实施方式的图像捕捉装置的内部构造的框图。应注意，第二实施方式的图像捕捉装置与第一实施方式的图像捕捉装置1的不同仅在于具有信号处理装置16A而不是信号处理单元16，并且其他部分的构造相同。因此，图8仅示出了信号处理单元16A的内部构造。同样在第二实施方式中，与生成右侧图像GR相关的构造与生成左眼图像GL相关的构造相同，并且因此，在此仅示出了与生成左眼图像GL相关的构造，以避免重复描述。在以下描述中，相同部分作为已经描述的部分由相同参考标号进行表示，并且将省略它们的描述。
信号处理单元16A与信号处理单元16的不同在于具有手术工具检测处理单元24AL，而不是手术工具检测处理单元24L。不仅通过可见红外图像生成处理单元21L生成的红外光图像被输入到手术工具检测处理单元24AL中，而且可见光图像也被输入到手术工具检测处理单元24AL中。手术工具检测处理单元24AL基于红外光图像和可见光图像执行检测手术工具区域Aj和识别手术工具J的类型。
具体地，通过关于红外光图像和可见光图像中的每一个执行边缘提取，手术工具检测处理单元24AL基于红外光图像生成边缘图像(在下文中，由“红外边缘图像Gir”表示)以及基于可见光图像生成边缘图像(在下文中，由“可见边缘图像Gv”表示)。此后，关于红外边缘图像Gir和可见边缘图像Gv中的每一个以与第一实施方式相同的方式执行使用手术工具J的模板的模板匹配。然后，通过用于红外边缘图像Gir的模板匹配所检测的并且不与通过用于可见边缘图像Gv的模板匹配所检测的图像区域重叠的图像区域被检测为手术工具区域Aj。
在此，手术工具J对于红外光是不透明的，并且因此，仅如第一实施方式中，基于红外光图像肯定可以检测手术工具区域Aj。然而，例如，根据作为对象的体内物体X的类型和图像捕捉环境，具有与红外光图像中的手术工具J相似形状的不同于手术工具J的部分被显示的可能性不为零，并且如果仅基于红外光图像通过模板匹配执行手术工具区域Aj的检测，则可以假设不同于手术工具J的该部分被错误地检测为手术工具区域Aj。
因此，在第二实施方式中，如上所述，同样通过使用可见光图像执行检测手术工具区域Aj。图9是使用红外光图像和可见光图像这两者检测手术工具区域Aj的意义的说明性示图，并且图9A示出了红外线边缘图像Gir，以及图9B示出了可见边缘图像Gv。如图9A中所述，在这个情况的红外边缘图像Gir中，显示了手术工具J(在附图中，阴影线区域)和与手术工具J具有相似形状的不同于手术工具J的部分(在附图中，“I1'”、“I2'”)。在这种情况下，如果为红外边缘图像Gir执行模板匹配，则这两个图像区域被检测为手术工具区域Aj。应注意，具有与手术工具J相似形状的不同于手术工具J I1'、I2'的部分不是对于红外光是不透明的部分(如手术工具J)，并且因此不仅在红外光图像侧中而且在可见光图像侧中以很高的概率显示(参考图9B)。另一方面，手术工具J对于可见光是透明的，并且因存在此手术工具J图像区域不通过针对可见边缘图像Gv执行的模板匹配进行检测。因此，如果关于这种情况的可见边缘图像Gv执行模板匹配，则只有部分I1'、I2'的图像区域以很高概率被检测
考虑到这一点，在第二实施方式中，如上所述，通过用于红外边缘图像Gir的模板匹配所检测的并且不与通过用于可见边缘图像Gv的模板匹配所检测的图像区域重叠的图像区域被检测为手术工具区域Aj。从而，可以提高手术工具区域Aj的检测准确性。
在此，在本实例中，可见光图像是彩色图像，并且因此，可以说是红色、绿色和蓝色的相应颜色的图像。在这种情况下，在某个颜色的图像中可以显示部分I1'、I2'，但是在其他颜色的图像中不能显示是可能的。因此，针对多个颜色的图像执行可见光图像侧的模板匹配。具体地，在本实例中，通过分别关于红色图像、绿色图像和蓝色图像执行边缘提取而基于红色图像、绿色图像和蓝色图像生成红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb，并且针对红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb中的每一个执行使用手术工具J的模板的模板匹配。然后，通过针对红外边缘图像Gir的模板匹配所检测的并且不与通过针对红色边缘图像Gvr、绿色边缘图像Gvg和蓝色边缘图像Gvb的模板匹配所检测的任一个图像区域重叠的图像区域被检测为手术工具区域Aj。
通过针对通过选择性接收可见光频带中的红色、绿色和蓝色的不同波段的光而获取的相应图像来执行模板匹配，在可见光图像侧中更容易检测部分I1'、I2'。因此，通过检测不与在关于这些红色、绿色、蓝色的多个图像的模板匹配中检测的图像区域重叠的图像区域作为手术工具区域Aj，更能提高手术工具区域Aj的检测准确性。
尽管，在上文中，使用了针对组成可见光图像的所有红色图像、绿色图像和蓝色图像执行的模板匹配的结果，但是如果使用了针对红色、绿色和蓝色的这些图像中的至少两种颜色的图像所执行的模板匹配的结果，则与当针对一个颜色的图像所执行的模板匹配时相比，以更高概率检测到部分I1'、I2'，并且可以提高手术工具区域Aj的检测准确性。
在此，同样在第二实施方式中，通过以与第一实施方式相同的方式将手术工具ID与手术工具J的模板关联来执行手术工具J的类型的识别。
应注意，可以与第一实施方式相同的方式通过软件执行上述信号处理单元16A的操作。在那种情况下，可以执行上述手术工具检测处理单元24AL的流程，如图7B中示出的步骤S102的手术工具检测流程，。
(2-2.总结和效果)
如上所述，在第二实施方式的信号处理单元16A(图像处理装置)中，手术工具检测处理单元24AL(目标检测单元)基于红外光图像(第二捕捉图像)和可见光图像(第一捕捉图像)检测手术工具区域Aj(目标区域)。从而，基于透明显示手术工具J(物体)的图像以及不透明地显示手术工具J的图像来检测手术工具区域Aj。因此，可以提高手术工具区域Aj的检测准确性。
另外，在第二实施方式的信号处理单元16A中，手术工具检测处理单元24AL通过执行针对红外光图像和可见光图像的每一个的边缘提取而生成红外边缘图像Gir(第二边缘图像)和可见边缘图像Gv(第一边缘图像)，并且使用手术工具J的模板针对红外边缘图像Gir和可见边缘图像Gv的每一个执行模板匹配，并且将通过针对红外边缘图像Gir的模板匹配检测的并且不与通过针对可见边缘图像Gv检测的图像区域重叠的图像区域检测为手术工具区域Aj。从而，可以排除在红外光图像侧(显示部分I1'、I2'的图像区域)的模板匹配中被错误检测的图像区域。因此，可以提高手术工具区域Aj的检测准确性。
进一步地，在第二实施方式的信号处理单元16A中，手术工具检测处理单元24AL基于红外边缘图像Gir(第二边缘图像)、红色图像、绿色图像和蓝色图像中的多个图像，通过关于红外光图像、红色图像、绿色图像和蓝色图像中(通过选择性接收第一波段中的不同波段的相应光所获取的多个第一捕捉图像)的多个图像执行边缘提取来生成边缘图像(多个第一边缘图像)，以及针对所生成的边缘图像中的每一个执行模板匹配，并且将通过针对红外边缘图像Gir的模板匹配所检测的，且不与通过针对边缘图像的模板匹配(基于红色图像、绿色图像和蓝色图像中的多个图像)所检测的任一个图像区域重叠的图像区域检测为手术工具区域Aj。通过关于红色图像、绿色图像和蓝色图像中的多个图像执行模板匹配，更容易检测具有与可见光图像中的手术工具J的相似形状的不同于手术工具J的部分(I1'、I2')。因此，更加提高手术工具区域Aj的检测准确性。
<3.第三实施方式>
(3-1.构造和操作)
图10是用于描述第三实施方式的图像捕捉装置的内部构造的框图。应注意，第三实施方式的图像捕捉装置与第二实施方式的图像捕捉装置的不同仅在于具有信号处理装置16B而不是信号处理单元16A，并且其他部分的构造相同。因此，图10仅示出了信号处理单元16B的内部构造。同样在第三实施方式中，与生成右侧图像GR相关的构造与生成左眼图像GL相关的构造相同，并且因此，在此仅示出了与生成左眼图像GL相关的构造(除了可见红外图像生成处理单元21R)，以避免重复描述。
信号处理单元16B与信号处理单元16A的不同在于具有手术工具检测处理单元24BL而不是手术工具检测处理单元24AL以及光学畸变校正处理单元22AL而不是光学畸变校正处理单元22L，并且在于存储器26不存储光学畸变信息DB 26a而是存储光学畸变信息DB 26aA。如在附图中，通过可见红外图像生成处理单元21L生成的红外光图像和可见光图像被输入到手术工具检测处理单元24BL中，并且通过可见红外图像生成单元21R生成的红外光图像被输入到手术工具检测处理单元24BL中。可见红外图像生成处理单元21R通过关于捕捉图像信号gR执行与可见红外图像生成处理单元21L相同的处理来生成红外光图像和可见光图像。应注意，在下文中，通过可见红外图像生成处理单元21L生成的红外光图像和可见光图像由“左眼侧红外光图像”和“左眼侧可见光图像”表示，并且通过可见红外图像生成处理单元21R生成的红外光图像和可见光图像由“右眼侧红外光图像”和“右眼侧可见光图像”表示。
手术工具检测处理单元24BL执行手术工具区域Aj的检测、手术工具J的类型的识别以及手术工具J的方位的检测。通过与第二实施方式相同的方法基于左眼侧红外光图像和左眼侧可见光图像执行手术工具区域Aj的检测和手术工具J类型的识别。所检测的手术工具区域Aj的信息被输入到轮廓图像生成处理单元25L和光学畸变校正处理单元22AL中，并且表示手术工具J类型的手术工具ID的信息被输入到光学畸变校正处理单元22AL中。
通过基于左眼侧红外光图像和右眼侧红外光图像关于手术工具J生成三维位置信息来执行手术工具J的方位的检测。
图11是三维位置信息的说明性示图。附图中的x轴和y轴是在与图像传感器15-L的成像捕捉表面平行的平面中具有垂直关系的轴线。x轴是与图像传感器15-L的水平方向平行的轴线，并且y轴是与图像捕捉装置15的垂直方向平行的轴线。z轴是与以上成像捕捉表面平行的平面相垂直的轴线。三维位置信息是通过坐标(x，y，z)表示的位置信息。即，在该信息中，在图像中显示的对象的位置由图像中的水平方向和垂直方向上的位置(x，y)以及在现实空间中到达该对象的距离(z)来表示。
从左眼侧的图像与右眼侧的图像之间生成的视差值来计算到达该对象的距离信息。在本实例中，手术工具检测处理单元24BL通过所谓的相应点搜索方法计算视差值。即，被认为是左眼侧红外光图像和右眼侧红外光图像中的相同点的图像区域被检测作为相应点，并且针对每个相应点计算视差。此后，手术工具检测处理单元24BL根据视差的计算值计算距离(z)。即，每一个视差值基于图像传感器15-L的像素间距的和左眼光学系统14-L的焦距以及其他信息被转换为距离(z)。如上所述，通过检测左眼侧红外光图像和右眼侧红外光图像的相应点并且根据每个相应点的视差值计算距离，为每个相应点计算三维位置信息(x，y，z)。通过计算三维位置信息获取基于红外光图像的距离图像(三维图，深度图)。
手术工具检测处理单元24BL根据如上所述获取的距离图像中的手术工具区域Aj的三维位置信息检测手术工具J的方位。在此，方位指的是x轴、y轴和z轴这三个轴线的斜率。通过手术工具检测处理单元24BL检测的方位信息被输入到光学畸变校正处理单元22AL中。
光学畸变校正处理单元22AL基于光学畸变信息DB 26aA以及从手术工具检测处理单元24BL输入的手术工具ID和方位的信息针对可见光图像中的手术工具区域Aj执行光学畸变校正。
如图12中所示，在光学畸变信息DB 26aA中，光学畸变特性信息与手术工具ID和方位中的每个组合相关联。为了构造光学畸变信息DB 26aA，假定手术工具J是“透镜”，针对每种类型的手术工具J计算每个方位的光学畸变特性信息作为光学畸变特性信息。然后，所计算的光学畸变特性信息与手术工具J的类型(手术工具ID)和方位的每个组合相关联。
光学畸变校正处理单元22AL获取通过输入的(存储在光学畸变信息DB 26aA中的光学畸变特性信息中的)手术工具ID和方位信息所识别的光学畸变特性信息，并且基于所获取的光学畸变特性信息针对可见光图像中的手术工具区域Aj执行光学畸变校正。即，执行该校正以消除光学畸变。从而，以根据手术工具J的类型和方位的校正特性来执行光学畸变校正。
应注意，还以与第一实施方式相同的方式通过软件执行上述信号处理装置16B的操作。在那种情况下，光学畸变信息DB 26aA被存储在图7A中示出的存储器27。然后，可以使得上述手术工具检测处理单元24BL的流程被执行作为图7B中示出的步骤S102的手术工具检测流程，并且上述光学畸变校正处理单元22AL的流程被执行作为步骤S103的光学畸变校正流程。
(3-2.总结和效果)
如上所述，在第三实施方式的信号处理单元16B(图像处理装置)中，手术工具检测处理单元24BL(目标检测单元)基于左眼侧红外光图像(左眼侧第二捕捉图像)和右眼侧红外光图像(右眼侧第二捕捉图像)生成手术工具J(物体)的三维位置信息，并且基于三维位置信息检测手术工具J的方位。然后，光学畸变校正处理单元22AL(光学畸变校正单元)利用根据(由手术工具检测处理单元24BL检测的)手术工具J的方位的校正特性来校正光学畸变。从而，以根据手术工具J的方位的适当的校正特性来执行光学畸变校正。因此，不管手术工具J的方位，位于手术工具J的更深侧的物体的可见度被提高。
<4.示例性变形例>
应注意，本技术不限于上述具体实例，而是构思了各种示例性变形例。例如，尽管在上述实例中通过模板匹配检测手术工具区域Aj，但是可基于左眼侧红外光图像与右眼侧红外光图像之间的视差所计算的距离信息来检测手术工具区域Aj。在外科手术期间，手术工具J在正常时间位于体内物体X的前侧。利用这一点根据距离信息检测手术工具区域Aj。例如，存在方法一检测图像区域作为手术工具区域Aj，其中在该图像区域处所述距离位于上述距离图像(三维图)中的预定范围内。如上所述，通过使用距离信息可以检测手术工具区域Aj。
在此，通过使用距离信息结合通过模板匹配的检测来提高手术工具区域Aj的检测准确性。具体地，存在方法，其中通过执行第一实施方式和第二实施方式中描述的模板匹配检测具有与手术工具J相似形状的图像区域，并且只有其距离在预定范围内的图像区域被检测为手术工具区域Aj。从而，与仅通过模板匹配执行检测时相比，可以更好地提高手术工具区域Aj的检测准确性。
另外，作为使用距离信息检测手术工具区域Aj的方法，存在方法，其中关于红外光图像和可见光图像中的每一个生成距离图像，并且获取这些距离图像之间的差值。具体地，关于红外光图像和可见光图像中的每一个生成距离图像，并且在红外光图像的距离图像与可见光图像的距离图像之间生成差值图像，并且基于差值图像检测手术工具区域Aj。仅在红外光图像中显示手术工具J，并且在可见光图像中不显示。另外，手术工具J位于其他对象的更前侧。因为这点，如上所述，通过在红外光图像的距离图像与可见光图像的距离图像之间生成差值图像，在差值图像中仅提取其中存在手术工具J的图像区域。因此，基于差值图像适当地检测手术工具区域Aj。
另外，在上文中，尽管已经示出了为每个帧图像执行的手术工具区域Aj的检测结果被顺序地输出至轮廓图像生成处理单元25L的情况(换言之，被输出为手术工具J的轮廓叠加中使用的信息)，但是可替代地，基于针对多个帧图像执行的手术工具区域Aj的检测结果可以确定轮廓叠加中所使用的手术工具区域Aj。例如，连续多次作为针对多个帧图像执行的手术工具区域Aj的检测结果而检测到的手术工具区域Aj，被输出作为轮廓叠加中使用的手术工具区域Aj的信息。从而，即使由于诸如临时噪音的影响而导致显示不同于手术工具J的物体的一部分被错误地检测为手术工具区域Aj，该影响也不会反应在轮廓叠加中。因此，手术工具J的轮廓图像被正确地显示。
另外，在上文中，尽管已经示出了基于手术工具J的形状作为标准来执行通过模板匹配的手术工具区域Aj的检测的情况，但是该标准可以是其他特征点，诸如手术工具J的颜色变化，或者可以基于形状和另一特征点这两者作为标准来执行该检测。
进一步地，在上文中，尽管边缘提取之后的图像被用在手术工具区域Aj的检测中，但是执行边缘提取不是实质的。例如，作为仅使用红外光图像进行检测的实例，存在方法，其中具有比预定值更大(或更小)的亮度值的部分被检测为手术工具区域Aj。当使用相对于红外光来说具有较大反射比(或吸收比)的手术工具J时，这是优选方法。即，如果相对于红外光的反射比(或吸收比)较大(或较小)，显示手术工具J的部分的像素值明显较大(或较小)。因此，通过以上检测方法可以检测手术工具区域Aj。
可替代地，因为方法不能执行边缘提取，所以存在基于红外光图像与可见光图像之间的差值图像的检测方法。在红外光图像与可见光图像之间，图像模式之间的差值在其中存在手术工具J的部分中较大，并且图像模式之间的差值在其他部分中较小。因此，在红外光图像与可见光图像之间的差值图像中，亮度值(差值)在其中存在手术工具J的部分中较大，并且亮度值在其他部分中较小。即，其中存在手术工具J的部分在红外光图像与可见光图像之间的差值图像中被加重。因此，如果加重部分被提取，即，如果具有等于或大于差值图像中的预定值的亮度值的图像区域被提取，则可以检测手术工具区域Aj。
另外，在上文中，尽管已经示出了红外光(第二波段的光)和可见光(第一波段的光)被相同的图像传感器(15-L或15-R)接收到的情况，但是也可通过不同的图像传感器接收这些光。即，可以单独提供用于生成红外光图像的图像传感器以及用于生成可见光图像的图像传感器。
另外，在上文中，尽管已经示出了红外光和可见光被相同图像传感器同时接收到的实例，但是可以分时方式接收红外光和可见光。在那种情况下，使用图像传感器，该图像传感器包括利用透过红光和红外光的波长滤波器形成的阵列像素、利用透过绿光和红外光的波长滤波器形成的像素、以及利用透过蓝光和红外光的波长滤波器形成的像素。此外，交替执行通过第一光源11-1的可见光的光发射以及通过第二光源11-2的红外光的光发射，并且在可见光的光发射时期以及红外光的光发射时期期间，图像传感器分别获取捕捉图像信号。从而，以分时方式获取可见光图像和红外光图像。在上述分时获取方法中，在图像传感器的每一个像素接收红外光，并且因此在生成红外光图像中可以省略插入流程。
另外，在上文中，尽管已经示出了利用根据手术工具J的类型和方位的校正特性执行光学畸变校正的情况，但是可以利用根据距离的校正特性执行光学畸变校正。具体地，根据所检测的手术工具区域Aj的距离校准校正特性(光学畸变特性信息的逆函数)，并且利用校准之后的校正特性针对手术工具区域Aj执行光学畸变校正。从而，利用根据手术工具J的距离的适当的校正特性执行光学畸变校正。因此，不管手术工具J的距离，提高放置在手术工具J的更深侧的物体的可见度。
另外，在上文中，尽管已经示出了针对手术工具J执行轮廓叠加和光学畸变校正的情况，但是本技术可以优选地应用于针对不同于手术工具的其他物体执行轮廓叠加和光学畸变校正的情况。例如，不同于手术工具的物体是在外科手术期间被手术工具处理的物体，诸如，人造血管和人造骨。当本技术应用于使用不同于手术工具的其他物体的情况时，可以提高关于使用透明物体的工作的工作效率。
另外，在上文中，尽管已经示出了执行手术工具J的轮廓叠加和光学畸变校正这两者的情况，但是该构造可使得仅执行光学畸变校正，而不执行轮廓叠加。
应注意，本说明书中描述的效果仅是说明性的而不是限制性的，并且也可执行其他效果。
<5.本技术>
此外，还可以如下配置本技术。
(1)一种图像处理装置，包括：
目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在目标物体的图像区域作为目标区域，所述捕捉图像通过捕捉对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的所述目标物体而获取；以及
轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
(2)根据(1)所述的图像处理装置，其中
所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图像检测所述目标区域。
(3)根据(1)或(2)所述的图像处理装置，其中
所述目标检测单元：
通过关于所述第二捕捉图像和所述第一捕捉图像中的每一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像并且基于所述第一捕捉图像生成第一边缘图像，
使用所述目标物体的模板针对所述第二边缘图像和所述第一边缘图像中的每一个执行模板匹配，并且
检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述第一边缘图像的所述模板匹配所检测的图像区域重叠的图像区域。
(4)根据(3)所述的图像处理装置，其中
所述目标检测单元：
针对所述第二捕捉图像以及针对通过选择性接收所述第一波段中的不同波段的光而获取的多个第一捕捉图像执行所述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图像以及基于所述多个第一捕捉图像生成多个第一边缘图像，
针对每一个所述生成的边缘图像执行所述模板匹配，并且
检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述多个第一边缘图像的所述模板匹配所检测的图像区域中的任一个重叠的图像区域。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像之间的视差所计算的距离信息而检测所述目标区域。
(6)根据(5)所述的图像处理装置，其中
所述目标检测单元基于针对所述第二捕捉图像和所述第一捕捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的距离图像以及所述第一捕捉图像的距离图像，生成所述第二捕捉图像的所述距离图像与所述第一捕捉图像的所述距离图像之间的差值图像，并且基于所述差值图像检测所述目标区域。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中
所述目标检测单元基于针对多个帧图像的所述目标区域的检测结果，确定所述轮廓叠加单元进行的所述轮廓的叠加中使用的所述目标区域。
(8)根据(1)至(7)中任一项所述的图像处理装置，包括：
光学畸变校正单元，被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。
(9)根据(8)所述的图像处理装置，其中
所述目标检测单元基于所述第二捕捉图像识别所述目标物体的类型，并且
所述光学畸变校正单元利用根据所述目标检测单元识别的所述目标物体的所述类型的校正特性来校正所述光学畸变。
(10)根据(8)或(9)所述的图像处理装置，其中，
当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是借助于选择性接收所述第二波段光的图像传感器立体捕捉所述目标物体的图像而获取的左眼图像和右眼图像时，
所述检测单元基于所述左眼侧第二捕捉图像和所述右眼侧第二捕捉图像生成所述目标物体的三维位置信息，并且基于所述三维位置信息检测所述目标物体的方位，并且
所述光学畸变校正单元利用根据所述目标检测单元检测的所述目标物体的所述方位的校正特性来校正所述光学畸变。
(11)根据(10)所述的图像处理装置，其中
所述光学畸变校正单元利用根据所述目标物体的距离的校正特性来校正所述光学畸变。
参考标号列表
1 图像捕捉装置
1a 刚性内窥镜
1b 主体
J1、J2 手术工具
16、16'、16A、16B 信号处理单元
22L、22AL 光学畸变校正处理单元
23L 叠加处理单元
24L、24AL、24BL 手术工具检测处理单元
25L 轮廓图像生成处理单元
26、27 存储器
26a、26aA 光学畸变信息数据库(DB)

Claims (14)

1.一种图像处理装置，包括：
目标检测单元，被配置为当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的目标物体的图像区域作为目标区域，所述第一捕捉图像和所述第二捕捉图像通过捕捉所述目标物体而获取；以及
轮廓叠加单元，被配置为基于由所述目标检测单元检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
2.根据权利要求1所述的图像处理装置，其中
所述目标检测单元基于所述第二捕捉图像和所述第一捕捉图像检测所述目标区域。
3.根据权利要求1所述的图像处理装置，其中
所述目标检测单元：
通过关于所述第二捕捉图像和所述第一捕捉图像中的每一个执行边缘提取，基于所述第二捕捉图像生成第二边缘图像并且基于所述第一捕捉图像生成第一边缘图像，
使用所述目标物体的模板针对所述第二边缘图像和所述第一边缘图像中的每一个执行模板匹配，并且
检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述第一边缘图像的所述模板匹配所检测的图像区域重叠的图像区域。
4.根据权利要求3所述的图像处理装置，其中
所述目标检测单元：
针对所述第二捕捉图像以及针对通过选择性接收所述第一波段中的不同波段的光而获取的多个第一捕捉图像执行所述边缘提取，并且基于所述第二捕捉图像生成所述第二边缘图像以及基于所述多个第一捕捉图像生成多个第一边缘图像，
针对每一个所述生成的边缘图像执行所述模板匹配，并且
检测图像区域作为所述目标区域，该图像区域是通过针对所述第二边缘图像的所述模板匹配所检测，并且不与通过针对所述多个第一边缘图像的所述模板匹配所检测的图像区域中的任一个重叠的图像区域。
5.根据权利要求1所述的图像处理装置，其中，
当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是通过借助于选择性接收所述第二波段的光的图像传感器而立体捕捉所述目标物体的图像从而而获取的左眼图像和右眼图像时，所述目标检测单元基于根据所述左眼侧第二捕捉图像与所述右眼侧第二捕捉图像之间的视差所计算的距离信息而检测所述目标区域。
6.根据权利要求5所述的图像处理装置，其中
所述目标检测单元基于针对所述第二捕捉图像和所述第一捕捉图像中的每一个所计算的所述距离信息生成所述第二捕捉图像的距离图像以及所述第一捕捉图像的距离图像，生成所述第二捕捉图像的所述距离图像与所述第一捕捉图像的所述距离图像之间的差值图像，并且基于所述差值图像检测所述目标区域。
7.根据权利要求1所述的图像处理装置，其中
所述目标检测单元基于针对多个帧图像的所述目标区域的检测结果，确定所述轮廓叠加单元进行的所述轮廓的叠加中使用的所述目标区域。
8.根据权利要求1所述的图像处理装置，包括：
光学畸变校正单元，被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。
9.根据权利要求8所述的图像处理装置，其中
所述目标检测单元基于所述第二捕捉图像识别所述目标物体的类型，并且
所述光学畸变校正单元利用根据所述目标检测单元识别的所述目标物体的所述类型的校正特性来校正所述光学畸变。
10.根据权利要求8所述的图像处理装置，其中，
当左眼侧第二捕捉图像和右眼侧第二捕捉图像分别是借助于选择性接收所述第二波段光的图像传感器立体捕捉所述目标物体的图像而获取的左眼图像和右眼图像时，
所述检测单元基于所述左眼侧第二捕捉图像和所述右眼侧第二捕捉图像生成所述目标物体的三维位置信息，并且基于所述三维位置信息检测所述目标物体的方位，并且
所述光学畸变校正单元利用根据所述目标检测单元检测的所述目标物体的所述方位的校正特性来校正所述光学畸变。
11.根据权利要求10所述的图像处理装置，其中
所述光学畸变校正单元利用根据所述目标物体的距离的校正特性来校正所述光学畸变。
12.一种图像处理方法，包括：
目标检测流程，用于当第一捕捉图像是通过选择性接收第一波段的光而获取的捕捉图像，并且第二捕捉图像是通过选择性接收第二波段的光而获取的捕捉图像时，基于所述第二捕捉图像检测其中存在对于所述第一波段的所述光是透明的并且对于所述第二波段的所述光是不透明的目标物体的图像区域作为目标区域，所述第一捕捉图像和所述第二捕捉图像通过捕捉所述目标物体而获取；以及
轮廓叠加流程，用于基于由所述目标检测流程所检测的所述目标区域的信息在所述第一捕捉图像上叠加所述目标物体的轮廓。
13.根据权利要求12所述的图像处理方法，其中进一步包括：
光学畸变校正流程，被配置为校正由所述目标物体关于所述第一捕捉图像中的所述目标区域而产生的光学畸变。
14.存储介质，包括存储的程序，在所述程序由一个或多个计算装置运行时，使得所述一个或多个计算装置执行根据权利要求12或13所述的方法包括的操作。
CN201480048649.9A 2013-09-10 2014-07-24 图像处理装置、图像处理方法和程序 Expired - Fee Related CN105517482B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-187248 2013-09-10
JP2013187248 2013-09-10
PCT/JP2014/069617 WO2015037340A1 (ja) 2013-09-10 2014-07-24 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
CN105517482A CN105517482A (zh) 2016-04-20
CN105517482B true CN105517482B (zh) 2018-04-27

Family

ID=52665462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048649.9A Expired - Fee Related CN105517482B (zh) 2013-09-10 2014-07-24 图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (1) US9824443B2 (zh)
EP (1) EP3031386B1 (zh)
JP (1) JP6458732B2 (zh)
CN (1) CN105517482B (zh)
WO (1) WO2015037340A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP6176191B2 (ja) * 2014-06-19 2017-08-09 株式会社Ｊｖｃケンウッド 撮像装置及び赤外線画像生成方法
WO2016174775A1 (ja) * 2015-04-30 2016-11-03 オリンパス株式会社 撮像装置
WO2017117710A1 (zh) * 2016-01-05 2017-07-13 秀传医疗社团法人秀传纪念医院 内视镜成像系统及方法
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
JP2017205292A (ja) * 2016-05-18 2017-11-24 オリンパス株式会社 画像ファイル作成方法、画像ファイル作成プログラム及び画像ファイル作成装置
US10104313B2 (en) * 2016-07-08 2018-10-16 United Technologies Corporation Method for turbine component qualification
US20200126220A1 (en) * 2017-06-26 2020-04-23 Sony Corporation Surgical imaging system and signal processing device of surgical image
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN111065314B (zh) * 2017-09-07 2022-06-07 富士胶片株式会社 诊断支持系统、内窥镜系统、处理器及诊断支持方法
US11944887B2 (en) * 2018-03-08 2024-04-02 Sony Corporation Information processing device and information processing method
JPWO2019225231A1 (ja) 2018-05-22 2021-07-15 ソニーグループ株式会社 手術用情報処理装置、情報処理方法及びプログラム
JP2019212962A (ja) * 2018-05-31 2019-12-12 オリンパス株式会社 作業支援制御装置および作業画像制御装置
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
CN109493386B (zh) * 2018-11-26 2022-05-06 刘伟民 一种基于图像识别的手术器械传递装置及控制方法
JP7354608B2 (ja) * 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置
WO2021158305A1 (en) * 2020-02-04 2021-08-12 Covidien Lp Systems and methods for machine readable identification of surgical tools in-situ
JP2022044155A (ja) * 2020-09-07 2022-03-17 株式会社Subaru 画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5203767A (en) * 1991-01-08 1993-04-20 Cloyd David W Laparoscopic surgical gauze and the like
FR2737560B1 (fr) * 1995-08-02 1997-09-19 Sofie Instr Procede et dispositif pour quantifier in situ, par reflectometrie, la morphologie d'une zone localisee lors de la gravure de la couche superficielle d'une structure a couches minces
JP2008136671A (ja) * 2006-12-01 2008-06-19 Pentax Corp 二眼式立体内視鏡用レーザープローブ
JP5159442B2 (ja) 2008-06-04 2013-03-06 オリンパスメディカルシステムズ株式会社 手術用顕微鏡
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5391914B2 (ja) 2009-08-06 2014-01-15 ソニー株式会社 撮像装置および映像記録再生システム
WO2011118287A1 (ja) 2010-03-24 2011-09-29 オリンパス株式会社 内視鏡装置
EP2735257A4 (en) * 2011-07-22 2015-05-27 Olympus Corp FLUORESCENCE ENDOSCOPE SYSTEM
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置

Also Published As

Publication number Publication date
EP3031386A4 (en) 2017-04-05
EP3031386A1 (en) 2016-06-15
CN105517482A (zh) 2016-04-20
EP3031386B1 (en) 2021-12-29
JP6458732B2 (ja) 2019-01-30
US20160203602A1 (en) 2016-07-14
US9824443B2 (en) 2017-11-21
WO2015037340A1 (ja) 2015-03-19
JPWO2015037340A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
CN105517482B (zh) 图像处理装置、图像处理方法和程序
CN111772792B (zh) 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
US5967979A (en) Method and apparatus for photogrammetric assessment of biological tissue
US8939892B2 (en) Endoscopic image processing device, method and program
TWI589271B (zh) 呼吸運動測定裝置
EP3616595B1 (en) Medical observation device such as a microscope or an endoscope, and method for displaying medical images
CN106535806A (zh) 来自多端口视角的手术场景的定量三维成像
CN106535736B (zh) 图像处理装置、图像处理方法以及图像处理程序
CN107949863A (zh) 使用生物体信息的认证装置以及认证方法
WO2020102584A2 (en) Convolutional neural networks for efficient tissue segmentation
CN106456267A (zh) 器械在视野中的定量三维可视化
Wisotzky et al. Interactive and multimodal-based augmented reality for remote assistance using a digital surgical microscope
CN103458765B (zh) 图像处理装置
CN106999024A (zh) 摄像系统、处理装置、处理方法以及处理程序
KR20150143703A (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
CN107049489A (zh) 一种手术导航方法及系统
US20190045170A1 (en) Medical image processing device, system, method, and program
CN109091099A (zh) 双目视觉的高清微型电子内窥镜系统
CN104732586B (zh) 一种三维人体动态形体和三维运动光流快速重建方法
Long et al. A marching cubes algorithm: application for three-dimensional surface reconstruction based on endoscope and optical fiber
CN115252992B (zh) 基于结构光立体视觉的气管插管导航系统
CN113421231A (zh) 一种出血点检测方法、装置及系统
CN112263331A (zh) 一种体内医疗器械视觉呈现系统及方法
ES2622485T3 (es) Sistema y método de medición estereoscópicos
CN115317747B (zh) 一种自动气管插管导航方法及计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180427

CF01 Termination of patent right due to non-payment of annual fee