CN110944566B - 3d内窥镜装置和3d影像处理装置 - Google Patents

3d内窥镜装置和3d影像处理装置 Download PDF

Info

Publication number
CN110944566B
CN110944566B CN201880047947.4A CN201880047947A CN110944566B CN 110944566 B CN110944566 B CN 110944566B CN 201880047947 A CN201880047947 A CN 201880047947A CN 110944566 B CN110944566 B CN 110944566B
Authority
CN
China
Prior art keywords
image
video signal
unit
image signal
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880047947.4A
Other languages
English (en)
Other versions
CN110944566A (zh
Inventor
井田孝之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110944566A publication Critical patent/CN110944566A/zh
Application granted granted Critical
Publication of CN110944566B publication Critical patent/CN110944566B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/127—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements with means for preventing fogging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

具备：影像信号输入部(41)，其用于输入L图像信号和R图像信号；2D/3D探测部(52)，其识别用L图像信号和R图像信号生成的2D用影像信号和3D用影像信号；判断部(542)，其基于2D用影像信号对显示2D图像的显示区域进行分析，来检测模糊区域；ch切换指示部(543)，在检测到模糊区域的情况下，该ch切换指示部(543)请求切换到另一方的图像信号来作为2D用影像信号；图像生成部(545)，在L图像信号和R图像信号中均检测到模糊区域的情况下，该图像生成部(545)将L图像信号与R图像信号进行合成，来生成减少了模糊区域的合成图像；以及影像显示部，其显示2D用影像信号和3D用影像信号。

Description

3D内窥镜装置和3D影像处理装置
技术领域
本发明的实施方式涉及一种3D内窥镜装置和3D影像处理装置，特别是涉及一种将2D影像和3D影像切换地输出的3D内窥镜装置和3D影像处理装置。
背景技术
以往，在医疗领域中，在体腔内的脏器的观察、使用处置器具的治疗处置、内窥镜观察下的手术等中广泛地使用内窥镜装置。一般来说，内窥镜装置将由电子内窥镜得到的被摄体的摄像信号传送到处理器来对该摄像信号实施图像处理，其中，该电子内窥镜在插入部的顶端搭载有电荷耦合元件(CCD)等摄像元件。通过图像处理得到的内窥镜图像从处理器输出到内窥镜监视器来进行显示。
通常的内窥镜装置用1个摄像元件对观察部位进行拍摄，来得到2D的内窥镜图像。另一方面，在进行手术的情况下，有时使用具备2个摄像元件的3D的电子内窥镜。即，正在开发如下一种3D内窥镜装置：通过得到由于2个摄像元件的位置的不同而产生的图像的偏差也即视差，来取得3D的内窥镜图像，通过将这些图像独立地呈现给人的双眼，来赋予立体感觉。存在如下情况：当使用3D内窥镜装置时，能够得到具有纵深感的3D的内窥镜图像，因此施术者易于进行手术等(例如，参照日本特开2015-226216号公报)。
在进行激光切除手术等体腔内的脏器的处置的情况下，在处置中产生水蒸气、烟等。由此，当在设置于电子内窥镜的插入部顶端的物镜上产生了模糊或者附着了污垢时，导致在内窥镜图像中产生不清晰的部分，无法确保手术区。在这种状况下，如果利用以往的3D内窥镜装置，是从体腔内暂时取出电子内窥镜，通过清洗、加温处理来去除模糊、污垢，使电子内窥镜再次返回到体腔内来进行手术。即，存在如下问题：对物镜的净化处理需要时间，因此导致手术的进行延迟。
因此，本发明的目的在于，提供一种即使在物镜上产生了模糊或者附着了污垢的情况下也能够不将手术中断而输出清晰的内窥镜图像的3D内窥镜装置和3D影像处理装置。
发明内容
本发明的一个方式的3D内窥镜装置具有：影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；影像信号识别部，其识别从所述影像信号输入部获得的影像信号是2D用影像信号还是3D用影像信号；图像状态检测部，在所述影像信号识别部识别为2D用影像信号的情况下，该图像状态检测部对显示2D图像的显示区域进行分析，来检测模糊区域。另外，3D内窥镜装置还具有图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统中的至少一方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像。
本发明的一个方式的3D内窥镜装置具有：影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；以及图像状态检测部，其对所述第一影像信号中的第一图像的显示区域和/或所述第二影像信号中的第二图像的显示区域进行分析，来检测模糊区域。另外，3D内窥镜装置还具有图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统中的至少一方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像。并且，3D内窥镜装置还具有：模拟3D转换部，其将从所述第一摄像系统和所述第二摄像系统中的任一方的摄像系统获得的不存在模糊区域的影像信号或者由所述图像合成部生成的合成图像模拟地转换为3D用影像信号；以及显示部，其显示由所述第一影像信号、所述第二影像信号以及所述合成图像中的任一者形成的2D用影像信号和所述3D用影像信号。
本发明的一个方式的3D影像处理装置具有：影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；以及图像状态检测部，其对所述第一影像信号中的第一图像的显示区域和/或所述第二影像信号中的第二图像的显示区域进行分析，来检测模糊区域。另外，3D影像处理装置还具有：图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统双方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像；以及输出部，其输出由所述第一影像信号、所述第二影像信号以及所述合成图像中的任一者形成的2D用影像信号。
附图说明
图1是示出包括本发明的实施方式所涉及的3D内窥镜装置的内窥镜系统的整体结构的一例的立体图。
图2是说明第一实施方式所涉及的处理器及显示装置的结构的一例的框图。
图3A是说明产生了模糊的图像的一例的图。
图3B是说明产生了模糊的图像的一例的图。
图3C是说明产生了模糊的图像的一例的图。
图4是说明检测图像内的模糊的过程的一例的流程图。
图5是说明从产生了模糊的双眼图像中去除了所生成的模糊所得到的图像的一例的图。
图6是说明第一实施方式所涉及的生成2D图像的过程的一例的流程图。
图7是说明生成3D图像的过程的一例的流程图。
图8是说明第二实施方式所涉及的处理器及显示装置的结构的一例的框图。
图9是说明第二实施方式所涉及的生成2D图像的过程的一例的流程图。
图10是说明第三实施方式所涉及的处理器的结构的一例的框图。
具体实施方式
下面，参照附图来说明实施方式。
(第一实施方式)
图1是示出包括本发明的实施方式所涉及的3D内窥镜装置的内窥镜系统的整体结构的一例的立体图。如图1所示，内窥镜系统1主要由作为内窥镜观测器的3D电子内窥镜(以下简称为内窥镜)2、光源装置3、作为3D影像处理装置的处理器4以及作为显示装置的监视器5构成。
内窥镜2构成为具有长条且细长的插入部9、操作部10以及作为电线缆的通用线缆19。内窥镜2的插入部9构成为从顶端起依次具有顶端部6、弯曲部7以及挠性管部8。
在设置于顶端部6的2个观察窗上分别设置有一对物镜23R、23L。在各物镜23R、23L的成像位置配置有具备光电转换功能的摄像元件即CCD、CMOS等固体摄像元件(未图示)，来作为第一摄像系统和第二摄像系统。上述一对物镜23R、23L使相对于前方的被摄体而言具有视差的左右的被摄体像在配置于各自的成像位置的固体摄像元件上成像。
在操作部10上，以旋转自如的方式配设用于对插入部9的弯曲部7进行弯曲操作的弯曲操作部14，并且设置有各种内窥镜功能的开关类等。作为该开关类之一，在操作部10上设置有2D/3D切换开关15，该2D/3D切换开关15用于将显示于监视器5的图像在2D内窥镜图像/3D内窥镜图像之间进行切换。此外，弯曲操作部14被配设成UD弯曲操作旋钮12与RL弯曲操作旋钮13重叠，其中，该UD弯曲操作旋钮12用于沿上下方向对弯曲部7进行弯曲操作，该RL弯曲操作旋钮13用于沿左右方向对弯曲部7进行弯曲操作。
另外，插入部9与操作部10之间的连结部构成为具有：把持部11，其兼用作由用户把持的把持部；以及处置器具通道插通部18，其配设于被设置在该把持部11与插入部9的挠性管部8的一端之间的防折断部，成为用于插通配设于插入部9的各种处置部的处置器具通道的开口部。
从操作部10延伸出的通用线缆19在延伸端具有相对于光源装置3装卸自如的观测器连接器19a。另外，观测器连接器19a延伸设置有线圈状的线圈线缆20，在该线圈线缆20的延伸端设置有作为相对于处理器4装卸自如的连接器的观测器连接器20a。此外，本实施方式的内窥镜2利用通用线缆19、操作部10以及配设于插入部9的照明单元的光导线缆来将照明光从光源装置3传送到顶端部6。
作为3D影像处理装置的处理器4与用于显示内窥镜图像的监视器5电连接，处理器4对由搭载于内窥镜2的CCD等摄像单元进行光电转换得到的摄像信号进行处理后作为图像信号输出到监视器5。
图2是说明第一实施方式所涉及的处理器及显示装置的结构的一例的框图。处理器4具有影像信号输入部41、R图像处理部42R以及L图像处理部42L。另外，处理器4还具有2D/3D切换部43、2D处理部44、3D处理部45、输出部46以及通信部47。
影像信号输入部41由R信号输入部41R和L信号输入部41L构成。向影像信号输入部41输入从内窥镜2输出的被摄体的像。具体地说，向R信号输入部41R输入与右眼对应的图像信号(以下，表示为R图像信号)，来作为利用固体摄像元件对由物镜23R拍摄到的被摄体的像进行光电转换得到的第一影像信号。向L信号输入部41L输入与左眼对应的图像信号(以下，表示为L图像信号)，来作为利用固体摄像元件对由物镜23L拍摄到的被摄体的像进行光电转换得到的第二影像信号。
R图像处理部42R对从R信号输入部41R输入的R图像信号施加各种处理，来将R图像信号转换为能够显示于监视器5的信号。L图像处理部42L对从L信号输入部41L输入的L图像信号施加各种处理，来将L图像信号转换为能够显示于监视器5的信号。R图像处理部42R和L图像处理部42L例如由CDS电路、低通滤波器、钳位电路、A/D转换器、白平衡校正电路、色调调整电路、γ校正电路、轮廓增强电路等构成。
2D/3D切换部43按照由施术者等利用2D/3D切换开关15输入的指示内容来切换从R图像处理部42R输入的R图像信号及从L图像处理部42L输入的L图像信号的输出目的地。即，在进行了使2D内窥镜图像显示于监视器5的指示的情况下，2D/3D切换部43将R图像信号和L图像信号输出到2D处理部44。另一方面，在进行了使3D内窥镜图像显示于监视器5的指示的情况下，2D/3D切换部43将R图像信号和L图像信号输出到3D处理部45。另外，2D/3D切换部43将经由通信部47从监视器5输入的指示内容输入到2D处理部44。
2D处理部44在从2D/3D切换部43输入了L图像信号和R图像信号的情况下，生成显示于监视器5的2D内窥镜图像用的图像信号。2D处理部44具有ch切换部441。ch切换部441选择从2D/3D切换部43输入的R图像信号和L图像信号中的某一个图像信号输出到输出部46。通常，ch切换部441选择L图像信号输出。在从2D/3D切换部43输入了图像信号的切换指示的情况下，ch切换部441停止输出当前正在输出的图像信号，而输出另一方的图像信号。例如，在正在输出L图像信号时输入了图像信号的切换指示的情况下，停止输出L图像信号，而输出R图像信号。
3D处理部45在从2D/3D切换部43输入了L图像信号和R图像信号的情况下，生成显示于监视器5的3D内窥镜图像用的图像信号。3D处理部45具有图像合成部451。图像合成部451基于所输入的R图像信号和L图像信号来生成与监视器5的3D显示方式对应的图像信号，将该图像信号输出到输出部46。例如，监视器5是与偏光式对应的3D显示器，在使用专用的偏光眼镜观察图像的情况下，需要以逐行方式(也称为隔行扫描方式)传送图像信号。因而，图像合成部451提取各帧的偶数行的R图像信号和奇数行的L图像信号，并将这些偶数行的R图像信号与奇数行的L图像信号交替地输出。即，第1行、第3行、第5行、…、第2n-1行的图像信号使用L图像信号，第2行、第4行、第6行、…、第2n行的图像信号使用R图像信号，来生成各帧的图像信号后输出。
此外，在监视器5的3D显示方式是其它方式的情况下，图像合成部451生成与该方式对应的图像信号并输出。例如，在监视器5是与帧时序方式对应的3D显示器并且使用专用的主动快门(active shutter)眼镜来观察图像的情况下，需要以帧封装(frame packing)方式来传送图像信号。因而，图像合成部451将L图像信号的帧与R图像信号的帧交替地输出。
输出部46将从2D处理部44或3D处理部45输入的图像信号输出到监视器5的输入部51。
通信部47接收来自监视器5的指示内容，并向2D/3D切换部43输出该指示内容。
作为显示装置的监视器5具有输入部51、2D/3D探测部52、2D处理部54、3D处理部55以及影像显示部56。输入部51接收从处理器4输出的图像信号，并向2D/3D切换部43输出该图像信号。
作为2D/3D识别部的2D/3D探测部52对所输入的图像信号进行分析，来识别该图像信号是2D内窥镜图像用的图像信号还是3D内窥镜图像用的图像信号。即，在所输入的图像信号是仅基于L图像信号和R图像信号中的某一方生成的情况下，判断为是2D内窥镜图像用的图像信号。另一方面，在所输入的图像信号是使用L图像信号和R图像信号双方生成的情况下，判断为是3D内窥镜图像用的图像信号。
2D/3D探测部52在判断为所输入的图像信号是2D内窥镜图像用的图像信号的情况下，将该图像信号输出到2D处理部54。在判断为所输入的图像信号是3D内窥镜图像用的图像信号的情况下，将该图像信号输出到3D处理部55。
2D处理部54检测所输入的2D内窥镜图像用的图像信号中有无镜头的模糊、污垢的区域(以下，表示为模糊区域)，在检测到模糊区域的情况下，对模糊区域进行补充来生成不存在模糊、污垢的图像。2D处理部54由图像检测部541、ch切换指示部543、通信部544、图像生成部545以及记录部546构成。
图像检测部541具有作为图像状态检测部的判断部542。判断部542判定在显示出所输入的图像信号的内窥镜图像中有无模糊区域。图3A、图3B、图3C是说明产生了模糊的图像的一例的图。图3A、图3B、图3C是以规定间隔依次拍摄到的2D的内窥镜图像。即，首先拍摄到图3A的内窥镜图像，之后每隔规定间隔(例如1秒)拍摄到的内窥镜图像是图3B所示的图像。另外，在拍摄完图3B的内窥镜图像之后进一步每隔规定间隔拍摄到的内窥镜图像是图3C所示的图像。此外，被输入到图像检测部541的图像信号被作为内窥镜图像以规定间隔记录到记录部546中。图4是说明检测图像内的模糊的过程的一例的流程图。使用图3A、图3B、图3C以及图4来说明内窥镜图像中有无模糊区域的判定。
首先，将如图3A、图3B、图3C所示那样的按时间序列输入的多个内窥镜图像分割成多个区域，对各分割区域的图像信息(RGB像素值、亮度信息、色相信息等)进行分析(S11)。接着，使分析处理的结果所得到的各分割区域的图像信息存储到未图示的存储器中(S12)。在该存储器中针对各分割区域存储例如规定帧的图像信息，在经过固定时间后依次废弃。
在存储器中存储了规定帧数(或规定时间)的图像信息的阶段，判断部542按每个分割区域进行帧之间(图像之间)的图像信息的比较(S13)。在比较时，通常使用RGB像素值，但也可以使用不易受到摄影场所、摄影条件等影响的色调信息。比较的结果是，将图像信息持续规定帧数(或者与规定时间相应的图像数)没有发生变化、也就是帧之间或图像之间的图像信息的差分值实质上为零的分割区域检测为模糊产生区域，对检测出的模糊产生区域的数量进行计数(S14)。例如，在图3A、图3B、图3C中，在图像上部的阴影部21产生了模糊的情况下，包括阴影部21的6个分割区域作为模糊产生区域被进行计数。
在S14中进行计数所得到的模糊产生区域的数量为预先设定的规定的阈值以上的情况下(S15：“是”)，判定为在内窥镜图像中存在模糊区域(S16)。另一方面，在S14中进行计数所得到的模糊产生区域的数量少于预先设定的规定的阈值的情况下(S15：“否”)，判定为在内窥镜图像中不存在模糊区域(S17)。此外，用于判定的阈值是根据分割区域的大小、数量适当设定的。例如，在图3A、图3B、图3C的情况下，当阈值被设定为3时，由于模糊产生区域为6，因此判定为存在模糊区域。
在判断部542判定为不存在模糊区域的情况下，图像检测部541将所输入的图像信号输出到影像显示部56。另一方面，在判断部542判定为存在模糊区域的情况下，图像检测部541将所输入的图像信号存储到记录部546中。
在图像检测部541中判定为在输入图像中存在模糊区域的情况下，ch切换指示部543生成输出不同于当前正在输入的图像信号的另一通道的图像信号的意思的指示信号，并将该指示信号输出到通信部544。例如，在从处理器4向监视器5输入了L图像信号且判定为在基于L图像信号得到的内窥镜图像中产生了模糊区域的情况下，生成使L图像信号的输出中止且输出R图像信号来代替L图像信号的指示信号，将该指示信号输出到通信部544。通信部544当从ch切换指示部543输入了指示信号时，向处理器4的通信部47输出该指示信号。
作为图像合成部的图像生成部545使用所输入的图像信号和记录部546中保存的图像，来生成对模糊区域进行了补充的图像。图5是说明从产生了模糊的双眼图像中去除了所生成的模糊所得到的图像的一例的图。图5的(A)示出基于L图像信号得到的左眼的内窥镜图像，图5的(B)示出基于R图像信号得到的右眼的内窥镜图像，图5的(C)示出使用图5的(A)、(B)这2个图像生成的对模糊区域进行了补充的合成图像。
如图5的(A)所示，在基于L图像信号得到的左眼的内窥镜图像中存在模糊区域21a的情况下，指示处理器4获取R图像信号来代替L图像信号。在基于所获取到的R图像信号得到的右眼的内窥镜图像(图5的(B))中也存在模糊区域21b、21c的情况下，图像生成部545将记录部546中保存的左眼的内窥镜图像(图5的(A))与当前正在获取的右眼的内窥镜图像(图5的(B))进行比较，选择模糊区域少的图像作为基础图像。在图5所示的一例的情况下，在左眼的内窥镜图像(图5的(A))中存在1个模糊区域，在右眼的内窥镜图像(图5的(B))中存在2个模糊区域，因此基础图像为图5的(A)所示的左眼的内窥镜图像。
图像生成部545从另一方的内窥镜图像中提取出与基础图像中的模糊区域对应的区域。在图5所示的一例的情况下，从另一方的内窥镜图像即右眼的内窥镜图像(图5的(B))中提取出与图5的(A)的模糊区域21a对应的区域21a'。在所提取出的区域不是模糊区域的情况下，用所提取出的区域21a'的图像补充基础图像中的模糊区域，来生成合成图像(不存在模糊区域的图像)。另一方面，在所提取出的区域也是模糊区域的情况下，无法补充基础图像中的模糊区域，因此生成错误消息(例如，催促清洗镜头的消息)。图像生成部545将所生成的合成图像或错误消息输出到影像显示部56。
3D处理部55检测所输入的3D内窥镜图像用的图像信号中有无模糊区域，在检测到模糊区域的情况下，对模糊区域进行补充来生成不存在模糊、污垢的图像。3D处理部55由图像检测部551、图像生成部553以及模拟3D转换部554构成。
图像检测部551将所输入的图像信号分离为L图像信号和R图像信号。图像检测部551具有判断部552。判断部552判定在分别使用L图像信号和R图像信号生成的内窥镜图像(左眼内窥镜图像和右眼内窥镜图像)中有无模糊区域。判断部552中的判定有无模糊区域的判定方法与判断部542中的模糊区域的判定方法相同。
在判断部552中判定为左眼内窥镜图像、右眼内窥镜图像中均不存在模糊区域的情况下，图像检测部551将所输入的图像信号(分离为L图像信号和R图像信号之前的图像信号)保持原样地输出到影像显示部56。
另一方面，在判断部552中判定为仅在左眼内窥镜图像和右眼内窥镜图像中的某一方存在模糊区域的情况下，图像检测部551将被判定为不存在模糊区域的图像用的图像信号输出到模拟3D转换部554。例如，在判定为左眼内窥镜图像中不存在模糊区域且右眼内窥镜图像中存在模糊区域的情况下，将左眼内窥镜图像用的L图像信号输出到模拟3D转换部554。
并且，在判断部552中判定为在左眼内窥镜图像和右眼内窥镜图像双方存在模糊区域的情况下，图像检测部551将L图像信号和R图像信号输出到图像生成部553。
图像生成部553使用L图像信号和R图像信号来生成对模糊区域进行了补充的图像。具体地说，按照与使用图5说明的图像生成部545中的补充图像的生成过程相同的过程，来生成对模糊区域进行了补充的合成图像。此时，在将左眼内窥镜图像用作基础图像的情况下，由图像生成部553生成的合成图像为左眼内窥镜图像。另一方面，在将右眼内窥镜图像用作基础图像的情况下，由图像生成部553生成的合成图像为右眼内窥镜图像。在无法补充基础图像中的模糊区域的情况下，生成错误消息(例如，催促清洗镜头的消息)。
图像生成部553在生成了合成图像的情况下，将该合成图像的图像信号输出到模拟3D转换部554。在将左眼内窥镜图像生成为合成图像的情况下，将合成图像的图像信号作为L图像信号输出。在将右眼内窥镜图像生成为合成图像的情况下，将合成图像的图像信号作为R图像信号输出。另外，图像生成部553在生成了错误消息的情况下，将该消息输出到影像显示部56。
模拟3D转换部554基于所输入的图像信号来模拟地生成另一方的图像信号。即，在输入了L图像信号的情况下，使用L图像信号来生成R图像信号。在输入了R图像信号的情况下，使用R图像信号来生成L图像信号。关于基于2D图像信号来生成模拟3D图像信号的方法，能够使用一般使用的公知的方法。例如，在基于L图像信号生成R图像信号的情况下，使基于L图像信号生成的左眼内窥镜图像的各像素的像素位置向水平右方向移动与视差相应的量。例如，在左眼内窥镜图像与右眼内窥镜图像的视差为10个像素的情况下，使左眼内窥镜图像中的配置在第n列的像素移动到相同行的第n+10列。此外，不仅针对图像整体使像素位置沿水平方向移动与视差相应的量，而且针对图像中存在的壁面的褶皱、血管、肿瘤等局部的像素区域施加强调了前后关系的校正，来模拟地生成图像信号，此时，能够得到更具有立体感的模拟3D内窥镜图像信号。
这样，通过使用不存在模糊区域的L图像信号模拟地生成R图像信号(或者使用不存在模糊区域的R图像信号模拟地生成L图像信号)，来得到构成不存在模糊区域的3D内窥镜图像所需要的L图像信号和R图像信号。然后，基于所输入的图像信号和模拟地生成的图像信号，与图像合成部451同样地生成与监视器5的3D显示方式对应的图像信号，将该图像信号输出到影像显示部56。
作为显示部的影像显示部56使所输入的图像信号以图像形式显示在画面上。
接着，说明在本实施方式的3D内窥镜装置的监视器5中生成2D/3D内窥镜图像的过程。图6是用于说明第一实施方式所涉及的生成2D图像的过程的一例的流程图。首先，使用图6来说明生成2D内窥镜图像的过程。首先，图像检测部541以预先设定的规定时间间隔记录从处理器4输入的图像信号(例如，L图像信号)(S1)。
接着，图像检测部541检测所记录的图像中的模糊区域(S2)。通过执行图3A、图3B、图3C所示的S11至S17的一系列的过程来进行S2中的模糊检测处理。
在S2中在图像中未检测到模糊区域的情况下(S3：“否”)，将当前正在输入的图像信号输出到影像显示部56(S9)，结束处理。另一方面，在S2中在图像中检测到模糊区域的情况下(S3：“是”)，指示处理器4停止输出当前正在输入的图像信号，而输出另一方的图像信号(S4)。例如，在正在输入L图像信号且在该图像中检测到模糊区域的情况下，ch切换指示部543经由通信部544向处理器4输入指示，使得输出R图像信号来代替L图像信号。
当从处理器4输入了另一只眼的图像信号(例如R图像信号)时，图像检测部541检测该图像信号中的模糊区域(S5)。S5中的模糊检测处理与S2中的模糊检测处理相同。在S5中在图像中未检测到模糊区域的情况下(S6：“否”)，将当前正在输入的图像信号输出到影像显示部56(S9)，结束处理。另一方面，在S5中在图像中检测到模糊区域的情况下(S6：“是”)，图像生成部545判定是否能够将当前正在输入的图像信号与记录部546中保存的另一只眼的图像信号进行叠加来生成对模糊区域进行了补充的合成图像(S7)。
在判定为能够将双眼的图像信号进行叠加来生成合成图像的情况下(S7：“是”)，图像生成部545使用L图像信号和R图像信号，针对基础图像上的模糊区域，通过叠加另一方的图像来进行补充，生成不存在模糊区域的合成图像，将该合成图像输出到影像显示部56(S8)，结束一系列的处理。另一方面，在判定为不能生成合成图像的情况下(S7：“否”)，图像生成部545向影像显示部56输出催促清洗镜头的意思的错误消息(S10)，结束处理。
图7是说明生成3D图像的过程的一例的流程图。接着，使用图7来说明生成3D内窥镜图像的过程。首先，图像检测部551以预先设定的规定时间间隔记录从处理器4输入的图像信号(S21)。
接着，图像检测部551将所记录的图像信号分离为L图像信号和R图像信号，并检测双眼的图像中的模糊区域(S22)。通过执行图3A、图3B以及图3C所示的S11至S17的一系列的过程来执行S22中的模糊检测处理。
在S22中在双眼的图像中均没有检测到模糊区域的情况下(S23：“否”)，将当前正在输入的图像信号输出到影像显示部56(S27)，结束处理。另一方面，在S22中在图像中检测到模糊区域的情况下(S23：“是”)，判定检测出模糊区域的图像是单眼的图像信号还是双眼的图像信号(S24)。
在仅从单眼的图像信号中检测出模糊区域的情况下(S24：“是”)，图像检测部551将不存在模糊区域的一方的图像信号输出到模拟3D转换部554。模拟3D转换部554基于所输入的图像信号来虚拟地生成另一只眼的图像信号。然后，基于所输入的图像信号和模拟地生成的图像信号，来生成与监视器5的3D显示方式对应的图像信号，将该图像信号输出到影像显示部56(S28)。
另一方面，在从双眼的图像信号中检测到模糊区域的情况下(S24：“否”)，图像检测部551将双眼的图像信号输出到图像生成部553。图像生成部553判定是否能够将双眼的图像信号进行叠加来生成对模糊区域进行了补充的合成图像(S25)。
在判定为能够将双眼的图像信号进行叠加来生成合成图像的情况下(S25：“是”)，图像生成部553使用双眼的图像信号，针对基础图像上的模糊区域，通过叠加另一方的图像来进行补充，生成不存在模糊区域的合成图像，将该合成图像输出到模拟3D转换部554(S26)。
此时，作为合成图像输出的图像信号被作为基础图像侧的图像信号输出。例如，在选择了左眼内窥镜图像作为基础图像的情况下，合成图像被输出为L图像信号。关于被输入到模拟3D转换部554的图像信号，基于所输入的图像信号来模拟地生成另一只眼的图像信号。然后，基于所输入的图像信号和模拟地生成的图像信号，来生成与监视器5的3D显示方式对应的图像信号，将该图像信号输出到影像显示部56(S28)。
另一方面，在判定为不能生成合成图像的情况下(S25：“否”)，图像生成部553向影像显示部56输出催促清洗镜头的意思的错误消息(S29)，结束处理。
像这样，本实施方式的3D内窥镜装置设置有基于所输入的图像信号来检测有无模糊区域的判断部542、552。当在显示2D内窥镜图像的期间由判断部542在显示图像中检测到模糊区域时，使用另一只眼的图像信号来生成2D内窥镜图像。另外，在2个镜头均产生了模糊的情况下，图像生成部545对左眼内窥镜图像和右眼内窥镜图像中的没有产生模糊的区域彼此进行补充，来生成1个2D内窥镜图像。因而，即使在物镜上产生了模糊或者附着了污垢的情况下，也能够不将手术中断而输出清晰的内窥镜图像。
另外，当在显示3D内窥镜图像的期间由判断部552在显示图像中检测到模糊区域时，模拟3D转换部554对未产生模糊的另一只眼的图像信号进行转换，来生成产生了模糊的镜头侧的图像信号。使用所生成的图像信号和另一只眼的图像信号来生成3D内窥镜图像。
另外，在2个镜头均产生了模糊的情况下，图像生成部553对左眼内窥镜图像和右眼内窥镜图像中的没有产生模糊的区域彼此进行补充，来生成模糊区域少的一方的镜头侧的图像信号。然后，使用在图像生成部553中生成的图像信号，来在模拟3D转换部554中生成另一只眼的图像信号。使用在图像生成部553中生成的图像信号和在模拟3D转换部554中生成的图像信号来生成3D内窥镜图像。因而，即使在物镜上产生了模糊或者附着了污垢的情况下，也能够不将手术中断而输出清晰的内窥镜图像。
此外，在图像生成部545、553中，针对由模糊区域少的一方的镜头拍摄到的内窥镜图像中的模糊区域，使用另一只眼的内窥镜图像来进行补充，因此所生成的内窥镜图像的图像质量有可能降低。因而，期望的是，本发明的3D内窥镜装置不是用于详查，而是用于俯瞰手术区的场景、筛选的场景等不需要比较细致的检查的场面。
(第二实施方式)
在上述的第一实施方式的3D内窥镜装置中，是向处理器4输入由施术者等使用2D/3D切换开关15输入的使2D内窥镜图像和3D内窥镜图像中的哪一个显示于监视器5的指示，处理器4按照该指示来生成2D用的图像信号和3D用的图像信号后输出到监视器5。与此相对地，在本实施方式中，不同点在于：从处理器4始终向监视器5输出3D用的图像信号；以及向监视器5输入使2D内窥镜图像和3D内窥镜图像中的哪一个显示于监视器5的指示，并在监视器5内生成按照该指示的图像。
图8是说明第二实施方式所涉及的处理器及显示装置的结构的一例的框图。本实施方式的3D内窥镜装置从处理器4'的构成要素中删除了2D/3D切换部43、2D处理部44以及通信部47，从监视器5'的2D处理部54'的构成要素中删除了ch切换指示部543和通信部544，以及设置了2D/3D切换部53来代替2D/3D探测部52，除此以外与使用图2所说明的第一实施方式的3D内窥镜装置相同。对相同的结构标注相同的附图标记，并省略说明。
处理器4'在对从内窥镜2输入的L图像信号和R图像信号施加各种图像处理之后，在3D处理部45中生成3D内窥镜图像用的图像信号(例如隔行扫描方式的图像信号)。3D内窥镜图像用的图像信号经由输出部46输入到监视器5'的输入部51。
监视器5'的2D/3D切换部53按照由施术者等利用2D/3D切换开关15输入的指示内容，来切换被输入到输入部51的3D内窥镜图像用的图像信号的输出目的地。即，在进行了使得显示2D内窥镜图像的指示的情况下，2D/3D切换部53将3D内窥镜图像用的图像信号输出到2D处理部54'。另一方面，在进行了使得显示3D内窥镜图像的指示的情况下，2D/3D切换部53将3D内窥镜图像用的图像信号输出到3D处理部55。
2D处理部54'从所输入的3D内窥镜图像用的图像信号中分离出L图像信号和R图像信号。在2个图像信号中检测有无镜头的模糊、污垢的区域(以下，表示为模糊区域)，在检测到模糊区域的情况下，对模糊区域进行补充，来生成不存在模糊、污垢的图像。2D处理部54'由图像检测部541'和图像生成部545构成。
图像检测部541'针对预先指定的一方的图像信号(通常，将左眼内窥镜图像作为2D内窥镜图像进行显示，因此指定了L图像信号)判定有无模糊区域。在判断部542判定为不存在模糊区域的情况下，将该图像信号(L图像信号)输出到影像显示部56。另一方面，在判断部542判定为存在模糊区域的情况下，针对另一方的图像信号(在上述情况下为R图像信号)判定有无模糊区域。在判断部542判定为不存在模糊区域的情况下，将该图像信号(R图像信号)输出到影像显示部56。
另一方面，在判定为另一方的图像信号中也存在模糊区域的情况下，图像检测部541'将双眼的图像信号输出到图像生成部545。图像生成部545使用所输入的L图像信号和R图像信号来生成对模糊区域进行了补充的图像。图像生成部545将所生成的合成图像或错误消息输出到影像显示部56。
3D处理部55的结构及功能与使用图2所说明的第一实施方式相同。
接着，说明在本实施方式的3D内窥镜装置的监视器5中生成2D内窥镜图像的过程。(生成3D内窥镜图像的过程与使用图7的流程图所说明的过程相同。)图9是说明第二实施方式所涉及的生成2D图像的过程的一例的流程图。首先，图像检测部541'将从处理器4输入的3D图像信号分离为L图像信号和R图像信号，并将两图像信号以预先设定的规定时间间隔进行记录(S1)。
接着，图像检测部541检测预先指定的一方的图像信号(例如，L图像信号)中的模糊区域(S2)。在S2中在图像中未检测到模糊区域的情况下(S3：“否”)，将当前正在输入的图像信号输出到影像显示部56(S9)，结束处理。另一方面，在S2中在图像中检测到模糊区域的情况下(S3：“是”)，检测另一只眼的图像信号(例如，R图像信号)中的模糊区域(S5)。S5中的模糊检测处理与S2中的模糊检测处理相同。在S5中在图像中未检测到模糊区域的情况下(S6：“否”)，将当前正在输入的图像信号输出到影像显示部56(S9)，结束处理。另一方面，在S5中在图像中检测到模糊区域的情况下(S6：“是”)，图像生成部545判定是否能够将当前正在输入的图像信号与记录部546中保存的另一只眼的图像信号进行叠加来生成对模糊区域进行了补充的合成图像(S7)。
在判定为能够将双眼的图像信号进行叠加来生成合成图像的情况下(S7：“是”)，图像生成部545使用对所输入的3D图像信号进行分离所得到的L图像信号和R图像信号，针对基础图像上的模糊区域，通过叠加另一方的图像来进行补充。生成不存在模糊区域的合成图像，将该合成图像输出到影像显示部56(S38)，结束一系列的处理。另一方面，在判定为不能生成合成图像的情况下(S7：“否”)，图像生成部545向影像显示部56输出催促清洗镜头的意思的错误消息(S10)，结束处理。
这样，根据本实施方式，即使在物镜上产生了模糊或者附着了污垢的情况下，也能够在2D处理部54'和3D处理部55中选择性地输出不存在模糊的一方的内窥镜图像，或者对左眼内窥镜图像和右眼内窥镜图像中的没有产生模糊的区域彼此进行补充来生成不存在模糊的合成图像，或者使用合成图像或者不存在模糊的一方的内窥镜图像来生成模拟3D图像，因此能够不将手术中断而输出清晰的内窥镜图像。
另外，根据本实施方式，从处理器4'对监视器5'始终输入3D内窥镜图像用的图像信号、即L图像信号和R图像信号双方。因而，在2D处理部54'中生成不存在模糊的图像信号时，在单眼的图像信号中检测到模糊区域的情况下，不需要向处理器4'请求另一只眼的图像信号。因此能够减少处理器4'与监视器5'之间的通信，简化处理过程，能够实现处理时间的缩短。另外，处理器4'、监视器5'均能够削减构成要素，能够实现装置的小型化。
(第三实施方式)
在上述的第二实施方式的3D内窥镜装置中，使用从处理器4'输入的图像信号，来在监视器5'的2D处理部54'和3D处理部55中生成不存在模糊的图像信号。与此相对地，本实施方式的不同点在于，是在处理器4"的2D处理部44'和3D处理部45'中生成不存在模糊的图像信号。
图10是说明第三实施方式所涉及的处理器的结构的一例的框图。在本实施方式中的作为3D影像处理装置的处理器4"中，具有2D/3D切换部43，2D处理部44'的结构与图8所示的监视器5'的2D处理部54'的结构相同，以及3D处理部45'的结构与图8所示的监视器5'的3D处理部55'的结构，除此之外与使用图8所说明的第二实施方式的处理器4'相同。对相同的结构标注相同的附图标记，并省略说明。
在利用2D/3D切换开关15进行了使2D内窥镜图像显示于监视器5的指示的情况下，从内窥镜2输出并被施加各种图像处理后的R图像信号和L图像信号从2D/3D切换部43输入到2D处理部44'。
2D处理部54'在所输入的L图像信号和R图像信号中检测有无镜头的模糊、污垢的区域(以下，表示为模糊区域)，在检测到模糊区域的情况下，对模糊区域进行补充，来生成不存在模糊、污垢的图像。2D处理部44'由图像检测部541'和图像生成部545构成。
图像检测部541'针对预先指定的一方的图像信号(通常，将左眼内窥镜图像作为2D内窥镜图像进行显示，因此指定了L图像信号)判定有无模糊区域。在判断部542判定为不存在模糊区域的情况下，将该图像信号(L图像信号)输出到输出部46。另一方面，在判断部542判定为存在模糊区域的情况下，针对另一方的图像信号(在上述情况下为R图像信号)判定有无模糊区域。在判断部542判定为不存在模糊区域的情况下，将该图像信号(R图像信号)输出到输出部46。
另一方面，在判定为另一方的图像信号中也存在模糊区域的情况下，图像检测部541'将双眼的图像信号输出到图像生成部545。图像生成部545使用所输入的L图像信号和R图像信号来生成对模糊区域进行了补充的图像。图像生成部545将所生成的合成图像或错误消息输出到输出部46。
在利用2D/3D切换开关15进行了使3D内窥镜图像显示于监视器5的指示的情况下，从内窥镜2输出并被施加各种图像处理后的R图像信号和L图像信号从2D/3D切换部43输入到3D处理部45'。
关于3D处理部45'的结构和功能，除了图像信号(或错误消息)的输出目的地是输出部46之外，与使用图8所说明的第二实施方式中的监视器5'的3D处理部55'相同。
输出部46将从2D处理部54'或3D处理部45'输入的图像信号输出到监视器5"的输入部51。
在监视器5"中，被输入到输入部51的图像信号被输出到影像显示部56，显示2D或3D的内窥镜图像。
这样，根据本实施方式，即使在物镜上产生了模糊或者附着了污垢的情况下，也能够在2D处理部44'和3D处理部45'中选择性地输出不存在模糊的一方的内窥镜图像，或者对左眼内窥镜图像和右眼内窥镜图像中的没有产生模糊的区域彼此进行补充来生成不存在模糊的合成图像，或者使用合成图像或者不存在模糊的一方的内窥镜图像来生成模拟3D图像，因此能够不将手术中断而输出清晰的内窥镜图像。
另外，根据本实施方式，在处理器4"中，从由内窥镜2输入的L图像信号和R图像信号中的模糊区域的检测进行到对模糊区域进行了补充的合成图像的生成。因而，监视器5"将从处理器4"输入的图像信号保持原样地进行显示即可，因此能够使用以往结构的3D内窥镜图像显示用的监视器。
根据本发明的3D内窥镜装置和3D影像处理装置，即使在物镜上产生了模糊或者附着了污垢的情况下，也能够不将手术中断而输出清晰的内窥镜图像。
本说明书中的各“部”是与实施方式的各功能对应的概念性的部件，未必一定与特定的硬件或软件程序一一对应。因而，在本说明书中，假定具有实施方式的各功能的虚拟电路模块(部)来对实施方式进行了说明。
对本发明的几个实施方式进行了说明，但这些实施方式只是作为例子进行了例示，并非意图限定发明的范围。这些新的实施方式能够以其它各种各样的方式来实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、主旨内，并且包含在权利要求书所记载的发明及其等同的范围内。
本申请是以2017年5月19日向日本申请的日本特愿2017-99552号为优先权主张基础的申请，上述的公开内容被引用到本申请说明书、权利要求书。

Claims (15)

1.一种3D内窥镜装置，其特征在于，具备：
影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；
影像信号识别部，其识别从所述影像信号输入部获得的影像信号是2D用影像信号还是3D用影像信号；
图像状态检测部，在所述影像信号识别部识别为2D用影像信号的情况下，该图像状态检测部对显示2D图像的显示区域进行分析，来检测模糊区域；以及
图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统中的至少一方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像。
2.根据权利要求1所述的3D内窥镜装置，其特征在于，
还具有通道切换指示部，在所述图像状态检测部的检测结果为仅在从所述第一摄像系统和所述第二摄像系统中的某一方的摄像系统获得的影像信号中检测到模糊区域的情况下，所述通道切换指示部进行指示，使得切换到从另一方的摄像系统获得的影像信号。
3.根据权利要求2所述的3D内窥镜装置，其特征在于，
还具有显示部，其显示所述2D用影像信号和所述3D用影像信号。
4.根据权利要求1所述的3D内窥镜装置，其特征在于，
所述模糊区域是具有模糊和污垢中的至少一方的区域。
5.根据权利要求1所述的3D内窥镜装置，其特征在于，
所述图像状态检测部将以规定的间隔拍摄到的多个所述2D图像中的各个2D图像分割成多个区域，将进行所述分割所得到的各区域的图像信息在多个所述2D图像之间相互进行比较来计算差分，对进行所述分割所得到的不存在所述差分的区域的数量进行计数，在进行所述计数所得到的区域的数量为第一阈值以上的情况下，判定为在所述2D图像中检测到模糊区域。
6.根据权利要求1所述的3D内窥镜装置，其特征在于，
在所述影像信号识别部识别为所述3D用影像信号的情况下，所述图像状态检测部对显示3D图像的显示区域进行分析，来检测模糊区域，
所述3D内窥镜装置还具有模拟3D转换部，该模拟3D转换部将从所述第一摄像系统和所述第二摄像系统中的任一方的摄像系统获得的不存在模糊区域的影像信号或者由所述图像合成部生成的合成图像模拟地转换为所述3D用影像信号。
7.根据权利要求5所述的3D内窥镜装置，其特征在于，
所述图像状态检测部将以规定的间隔拍摄到的多个所述3D图像中的各个3D图像分割成多个区域，将进行所述分割所得到的各区域的图像信息在多个所述3D图像之间相互进行比较来计算差分，对进行所述分割所得到的不存在所述差分的区域的数量进行计数，在进行所述计数所得到的区域的数量为第一阈值以上的情况下，判定为在所述3D图像中检测到模糊区域。
8.根据权利要求5或7所述的3D内窥镜装置，其特征在于，
所述图像信息是RGB像素值。
9.一种3D内窥镜装置，其特征在于，具备：
影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；
图像状态检测部，其对所述第一影像信号中的第一图像的显示区域和/或所述第二影像信号中的第二图像的显示区域进行分析，来检测模糊区域；
图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统中的至少一方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像；
模拟3D转换部，其将从所述第一摄像系统和所述第二摄像系统中的任一方的摄像系统获得的不存在模糊区域的影像信号或者由所述图像合成部生成的合成图像模拟地转换为3D用影像信号；以及
显示部，其显示由所述第一影像信号、所述第二影像信号以及所述合成图像中的任一者形成的2D用影像信号以及所述3D用影像信号。
10.根据权利要求9所述的3D内窥镜装置，其特征在于，
所述图像状态检测部将以规定的间隔拍摄到的多个所述第一图像中的各个第一图像或者以规定的间隔拍摄到的多个所述第二图像中的各个第二图像分割成多个区域，将进行所述分割所得到的各区域的图像信息在多个所述第一图像之间或多个所述第二图像之间相互进行比较来计算差分，对进行所述分割所得到的不存在所述差分的区域的数量进行计数，在进行所述计数所得到的区域的数量为第一阈值以上的情况下，判定为在所述第一图像或所述第二图像中检测到模糊区域。
11.根据权利要求10所述的3D内窥镜装置，其特征在于，
所述图像信息是RGB像素值。
12.一种3D影像处理装置，其特征在于，具备：
影像信号输入部，其用于输入由第一摄像系统获得的第一影像信号和由第二摄像系统获得的第二影像信号；
图像状态检测部，其对所述第一影像信号中的第一图像的显示区域和/或所述第二影像信号中的第二图像的显示区域进行分析，来检测模糊区域；
图像合成部，在所述图像状态检测部的检测结果为在所述第一摄像系统和所述第二摄像系统双方的影像中检测到模糊区域的情况下，该图像合成部将所述第一影像信号与所述第二影像信号进行合成，来生成减少了模糊区域的合成图像；以及
输出部，其输出由所述第一影像信号、所述第二影像信号以及所述合成图像中的任一者形成的2D用影像信号。
13.根据权利要求12所述的3D影像处理装置，其特征在于，
还具备模拟3D转换部，该模拟3D转换部将从所述第一摄像系统和所述第二摄像系统中的任一方的摄像系统获得的不存在模糊区域的影像信号或者由所述图像合成部生成的合成图像模拟地转换为3D用影像信号，
所述输出部输出所述2D用影像信号或所述3D用影像信号。
14.根据权利要求13所述的3D影像处理装置，其特征在于，
所述图像状态检测部将以规定的间隔拍摄到的多个所述第一图像中的各个第一图像或者以规定的间隔拍摄到的多个所述第二图像中的各个第二图像分割成多个区域，将进行所述分割所得到的各区域的图像信息在多个所述第一图像之间或多个所述第二图像之间相互进行比较来计算差分，对进行所述分割所得到的不存在所述差分的区域的数量进行计数，在进行所述计数所得到的区域的数量为第一阈值以上的情况下，判定为在所述第一图像或所述第二图像中检测到模糊区域。
15.根据权利要求14所述的3D影像处理装置，其特征在于，
所述图像信息是RGB像素值。
CN201880047947.4A 2017-05-19 2018-04-06 3d内窥镜装置和3d影像处理装置 Expired - Fee Related CN110944566B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017099552 2017-05-19
JP2017-099552 2017-05-19
PCT/JP2018/014811 WO2018211854A1 (ja) 2017-05-19 2018-04-06 ３ｄ内視鏡装置、及び、３ｄ映像処理装置

Publications (2)

Publication Number Publication Date
CN110944566A CN110944566A (zh) 2020-03-31
CN110944566B true CN110944566B (zh) 2021-12-21

Family

ID=64273961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880047947.4A Expired - Fee Related CN110944566B (zh) 2017-05-19 2018-04-06 3d内窥镜装置和3d影像处理装置

Country Status (4)

Country Link
US (1) US10966592B2 (zh)
JP (1) JP6655756B2 (zh)
CN (1) CN110944566B (zh)
WO (1) WO2018211854A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
US11510561B2 (en) * 2018-08-21 2022-11-29 Verily Life Sciences Llc Endoscope defogging
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7255288B2 (ja) * 2019-03-29 2023-04-11 ソニーグループ株式会社 画像処理システム、画像処理装置、及び画像処理方法
CN110995997A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种单镜头内窥镜图像处理转换方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
EP4133991A4 (en) * 2020-04-08 2023-09-27 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM, DETECTION DATA PROCESSOR PROCESSOR, AND OPERATING METHODS FOR THE MEDICAL IMAGE PROCESSING SYSTEM
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
DE102022133166A1 (de) * 2022-12-13 2024-06-13 Karl Storz Se & Co. Kg Verfahren und Systeme zur Bildoptimierung für 3D-Endoskope

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160322A (ja) * 1994-12-05 1996-06-21 Terumo Corp 立体内視鏡システム
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
WO2015111263A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 立体内視鏡画像処理装置
CN205181290U (zh) * 2015-01-14 2016-04-27 白欣立 具有拍照后聚焦功能的光场式胶囊内窥镜相机

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829701A (ja) * 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JPH11318909A (ja) 1998-05-14 1999-11-24 Olympus Optical Co Ltd 煙除去システム
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
KR100813961B1 (ko) 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US20090192523A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
JP2011036582A (ja) 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
US10092164B2 (en) * 2011-08-21 2018-10-09 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
JP5816524B2 (ja) * 2011-11-04 2015-11-18 オリンパス株式会社 ワイヤレス内視鏡システム
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックＩｐマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
US9642606B2 (en) * 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
WO2014136140A1 (ja) * 2013-03-05 2014-09-12 パナソニック株式会社 映像処理装置および映像処理方法
JP5914765B2 (ja) * 2013-12-04 2016-05-11 オリンパス株式会社 ワイヤレス伝送システム
JP2015226216A (ja) 2014-05-28 2015-12-14 オリンパス株式会社 医療用画像記録装置
JP2016158886A (ja) 2015-03-02 2016-09-05 パナソニックＩｐマネジメント株式会社 内視鏡及び内視鏡システム
JP7094742B2 (ja) * 2018-03-20 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 三次元内視鏡システム
US20200054243A1 (en) * 2018-08-17 2020-02-20 Acclarent, Inc. Endoscope with anatomy elevation assembly
US11510561B2 (en) * 2018-08-21 2022-11-29 Verily Life Sciences Llc Endoscope defogging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160322A (ja) * 1994-12-05 1996-06-21 Terumo Corp 立体内視鏡システム
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
WO2015111263A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 立体内視鏡画像処理装置
CN205181290U (zh) * 2015-01-14 2016-04-27 白欣立 具有拍照后聚焦功能的光场式胶囊内窥镜相机

Also Published As

Publication number Publication date
US20200077869A1 (en) 2020-03-12
WO2018211854A1 (ja) 2018-11-22
US10966592B2 (en) 2021-04-06
JP6655756B2 (ja) 2020-02-26
CN110944566A (zh) 2020-03-31
JPWO2018211854A1 (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
CN110944566B (zh) 3d内窥镜装置和3d影像处理装置
JP5730339B2 (ja) 立体内視鏡装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
US20130208101A1 (en) Imaging apparatus
JP7449736B2 (ja) 医療用画像処理装置及び医療用観察システム
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
JP2019025082A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP2001104331A (ja) 医療用顔面装着型映像表示装置
US10729309B2 (en) Endoscope system
EP3247113B1 (en) Image processing device, image processing method, program, and endoscope system
JPH06254046A (ja) 映像表示装置
KR101071676B1 (ko) 다면 내시경과 다면 내시경의 영상 표시 시스템
JP7055624B2 (ja) 医療用撮像装置
JP5989283B1 (ja) 撮像システム及び信号処理装置
JP6802165B2 (ja) 医療用信号処理装置、医療用表示装置、及び医療用観察システム
JP5818265B2 (ja) 立体内視鏡装置
JPH11168717A (ja) ビデオスコープ
JP2014012037A (ja) 内視鏡装置
JP3506766B2 (ja) 立体内視鏡撮像装置
JP2019162301A (ja) 三次元内視鏡システム
JP6042798B2 (ja) 画像処理装置及び内視鏡システム
JPH10117362A (ja) 立体視映像表示装置
JP2017099599A (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法
CN114073067A (zh) 图像处理装置、成像装置、图像处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211221