CN107252299B - 内窥镜装置以及内窥镜装置的工作方法 - Google Patents
内窥镜装置以及内窥镜装置的工作方法 Download PDFInfo
- Publication number
- CN107252299B CN107252299B CN201710264032.6A CN201710264032A CN107252299B CN 107252299 B CN107252299 B CN 107252299B CN 201710264032 A CN201710264032 A CN 201710264032A CN 107252299 B CN107252299 B CN 107252299B
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- image
- light
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
- A61B1/2736—Gastroscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Gastroenterology & Hepatology (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
内窥镜装置包括图像取得部、关注区域设定部(413)、调光控制部。图像处理部取得包括被摄体像的摄像图像。关注区域设定部(413)根据来自内窥镜装置的信息对摄像图像设定关注区域。调光控制部根据所设定的关注区域,对照明光的光量进行调光控制。
Description
本申请是申请日为2012年05月22日,申请号为201280025678.4,发明名称为“内窥镜装置”的发明专利申请的分案申请。
技术领域
本发明涉及内窥镜装置以及内窥镜装置的工作方法等。
背景技术
广泛使用对体腔内的组织照射照明光、并使用对其反射光进行摄像而得到的图像来进行诊断/处置的内窥镜装置。在插入部的前端设有CCD或CMOS等摄像元件以及以光学方式形成被摄体像的物镜。一般情况下,作为内窥镜的物镜,为了防止病变部的漏看而使用广角的物镜。例如,使用具有170°的视野角的物镜。
另外,认为通过使用形成插入部的前端的侧方视野的物镜(例如专利文献1)能够观察更宽的视野。
现有技术文献
专利文献
专利文献1:日本特开2010-169792号公报
专利文献2:日本特开2002-263064号公报
专利文献3:日本特开平9-98943号公报
发明内容
发明要解决的课题
但是,当扩大视野时,与现有的内窥镜相比,图像中包含的信息量相对变多,所以,存在很难使整个图像确保良好的明亮度的课题。
另外,在专利文献2中公开了如下的调光处理的方法:根据镜体的掩模形状,将有效区域内的像素作为对象来计算亮度平均值,维持被摄体像的明亮度。在专利文献3中公开了如下的方法:在取得广角图像的内窥镜装置中,通过在摄像元件的摄像面的至少3边配设光导,确保良好的配光。
根据本发明的若干个方式,能够提供可使关注区域维持适当明亮度的内窥镜装置以及内窥镜装置的工作方法等。
用于解决课题的手段
本实施方式的一个方式涉及一种内窥镜装置,该内窥镜装置包括:图像取得部,其取得包括被摄体像的摄像图像;关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及调光控制部,其根据所设定的所述关注区域,对所述照明光的光量进行调光控制。
根据本实施方式的一个方式,根据来自内窥镜装置的信息对摄像图像设定关注区域,根据该关注区域进行照明光的光量的调光控制。由此,能够使手术医生关注的关注区域维持适当的明亮度。
另外,本发明的另一个方式涉及一种内窥镜装置的工作方法,其中,取得包括被摄体像的摄像图像,该被摄体像是通过对被摄体照射来自光源部的照明光而得到的,根据来自内窥镜装置的信息,对所述摄像图像设定关注区域,以及根据所设定的所述关注区域,对所述照明光的光量进行调光控制,其中,根据所述摄像图像计算特征量,根据具有规定的特征量的区域来设定关注区域。
附图说明
图1是物镜光学系统的结构例。
图2(A)~图2(D)是与本实施方式的概要有关的说明图。
图3是第1实施方式的内窥镜装置的结构例。
图4是旋转滤色镜的详细结构例。
图5是滤色镜的分光特性例。
图6是第1实施方式的图像处理部的详细结构例。
图7是灰度转换部的详细结构例。
图8是与关注区域设定部进行的处理有关的说明图。
图9(A)、图9(B)是与关注区域设定部进行的处理有关的说明图。
图10是与关注区域设定部进行的处理有关的说明图。
图11是与关注区域设定部进行的处理有关的说明图。
图12是与关注区域设定部进行的处理有关的说明图。
图13是与关注区域设定部进行的处理有关的说明图。
图14是图像处理部的变形结构例。
图15是与变倍处理部进行的处理有关的说明图。
图16是第2实施方式的内窥镜装置的结构例。
图17是第2实施方式的图像处理部的详细结构例。
图18是与第2实施方式的关注区域设定部进行的处理有关的说明图。
图19是第3实施方式的内窥镜装置的结构例。
图20是第3实施方式的状态信息取得部的详细结构例。
图21(A)~图21(C)是与弯曲操作有关的说明图。
图22是第3实施方式的图像处理部的详细结构例。
图23是第4实施方式的内窥镜装置的结构例。
图24(A)~图24(D)是与距离估计方法有关的说明图。
图25是内窥镜装置的变形结构例。
图26是第5实施方式的关注区域设定部的详细结构例。
图27是与第5实施方式的关注区域设定部进行的处理有关的说明图。
图28是与第5实施方式的变形例有关的说明图。
图29是第6实施方式的内窥镜装置的结构例。
图30是第2摄像元件的滤色镜的结构例。
图31是第2摄像元件的滤色镜的透射率特性例。
图32是第6实施方式的图像处理部的详细结构例。
图33是由第2摄像元件进行摄像而得到的单板图像信号的例子。
图34是第6实施方式的关注区域设定部的详细结构例。
图35是局部区域的设定例。
图36是与第6实施方式的关注区域设定部进行的处理有关的说明图。
图37是第7实施方式的内窥镜装置的结构例。
图38是第7实施方式的图像处理部的详细结构例。
图39是第8实施方式的关注区域设定部的详细结构例。
图40是失真校正处理前后的图像的例子。
图41是代表点的设定例。
图42(A)~图42(D)是与拔出状态的判定方法有关的说明图。
图43是第9实施方式的内窥镜装置的结构例。
图44是第9实施方式的状态信息取得部的详细结构例。
图45是与红晕区域有关的说明图。
图46(A)是与红晕区域有关的说明图。图46(B)是与第10实施方式的变倍处理有关的说明图。
图47是第10实施方式的图像处理部的详细结构例。
图48是第10实施方式的关注区域设定部的详细结构例。
图49是与第10实施方式的关注区域设定部进行的处理有关的说明图。
图50是红晕区域候选检测部的详细结构例。
图51是散焦检测部的详细结构例。
图52是与第10实施方式的关注区域设定部进行的处理有关的说明图。
图53是变倍参数设定部的详细结构例。
图54是相对于变倍前归一化距离的多个变倍后归一化距离的对应曲线的例子。
具体实施方式
下面,对本实施方式进行说明。另外,以下说明的本实施方式并不是不当限定权利要求书所记载的本发明的内容。并且,本实施方式中说明的全部结构不一定是本发明的必须结构要件。
1.本实施方式的概要
1.1.本实施方式的方法
首先,对本实施方式的概要进行说明。在上述专利文献1中公开了能够对镜体前端部的前方视野和侧方视野进行观察的物镜光学系统。图1示出该物镜光学系统的结构例。如图1所示,来自前方视野的光线LC1从面SF1入射,来自侧方视野的光线LC2从面SF3入射。这些光线LC1、LC2通过面SF1、SF2折射或反射,从而对前方视野和侧方视野进行成像。
如果使用这种物镜光学系统,则能够在比现有的内窥镜装置宽的视野内对体腔内进行观察。即,如图2(A)所示,在管腔状的脏器中筛查病变部的情况下,使镜体与脏器的轴向平行,一边插入或拔出镜体一边进行观察。在具有侧方视野的情况下,由于能够对位于褶皱背面的病变部进行观察,所以,能够减少病变的漏看。
但是,当这样扩大视野时,与现有的内窥镜相比,图像中包含的信息量相对变多,所以,存在很难使整个图像确保良好的明亮度的课题。使用图2(A)~图2(D)对这点进行说明。
如图2(A)所示,在内窥镜摄像部位于管腔状脏器的中心的情况下,在前方视野和侧方视野中,从内窥镜摄像部到被摄体的距离不同。因此,如图2(B)所示,图像中的各区域产生明亮度的差。并且,如图2(C)所示,为了对存在于管腔状脏器的壁面的病变部进行观察,要使内窥镜前端接近脏器的壁面。这样,如图2(D)所示,关注区域(例如病变部)产生光晕。在这种图像中,手术医生很难对希望关注的区域进行适当的观察/处置。
针对这种课题,在内窥镜装置中进行适当维持被摄体像的明亮度的调光处理。例如,在专利文献2中公开了如下的调光处理的方法:根据镜体的掩模形状,将有效区域内的像素作为对象来计算亮度平均值,维持被摄体像的明亮度。
但是,在该方法中,整个有效区域的平均值能够取适当的值,但是,无法对图像内的各区域进行调光。因此,在各区域产生明亮度的差的情况下,无法将手术医生希望关注的区域调整为适当的明亮度。
并且,在专利文献3中公开了如下的方法:在取得广角图像的内窥镜装置中,通过在摄像元件的摄像面的至少3边配设光导,确保良好的配光。
但是,在该方法中,如图2(C)所示,在相对于病变部从倾斜方向对被摄体进行摄像的情况下,无法解决在关注区域中产生光晕的课题。
因此,在本实施方式中,如图13所示,根据来自内窥镜装置的信息(例如摄像图像),在摄像图像中设定关注区域,将该关注区域作为调光对象区域进行调光控制。由此,能够使手术医生关注的区域维持适当的明亮度,能够减小手术医生进行诊断/处置时的负荷。
如以下说明的那样,在现有的调光处理中,将整个图像作为测光区域来计算亮度平均值,通过对光源光量进行调整以使该亮度平均值接近目标值,适当维持整个图像的明亮度。在本实施方式中,通过将关注区域作为测光区域来计算亮度平均值,如图2(D)所示,即使在明亮度存在偏差的情况下,也能够使手术医生关注的区域维持适当的明亮度。
1.2.调光处理
对现有的调光处理进行详细说明。在调光处理中,首先,进行测定被摄体的明亮度的测光处理。具体而言,计算从摄像元件依次得到的1帧或1场的图像信号中的亮度信号的平均值。这里,作为测光区域,一般使用图像信号的有效区域。图像信号的有效区域是指从图2(B)所示的图像信号中去除掩模区域后的前方区域和侧方区域。
接着,将所测定的被摄体的明亮度调整为目标明亮度。具体而言,通过对调整光源光量的光圈开度进行控制,使已测光的被摄体的明亮度与目标明亮度一致。
例如,在被摄体的整体与内窥镜前端的物镜分开比较远的情况下,上述亮度平均值暂时低于亮度参照值(目标明亮度),所以,此时,光源光圈开度扩大,照明光量增大。另一方面,在被摄体的整体接近内窥镜前端的物镜的情况下,上述亮度平均值高于亮度参照值(目标明亮度),所以,此时,光源光圈开度变窄,照明光量减少。并且,在通过光源光圈的调整而使亮度平均值未达到亮度参照值(目标明亮度)的情况下,通过对图像信号施加数字增益来对图像信号的明亮度进行调整。这样,与被摄体的远近无关,图像信号维持与亮度参照值一致的适当状态。
2.第1实施方式
2.1.内窥镜装置
如上所述,对在摄像图像中设定关注区域并通过调光来控制该关注区域的明亮度的本实施方式的内窥镜装置进行详细说明。
图3示出第1实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、操作部200、插入部300、控制装置400(处理器部)、显示部500、外部I/F部550。
光源部100具有白色光源101、光源光圈102、驱动光源光圈102的光源光圈驱动部103、具有多个分光透射率的滤镜的旋转滤色镜104。并且,光源部100包括驱动旋转滤色镜104的旋转驱动部105、使透射过旋转滤色镜104的光会聚到光导纤维301的入射端面的会聚透镜106。
光源光圈驱动部103根据来自控制装置400的控制部420的控制信号进行光源光圈102的开闭,从而进行光量的调整。
图4示出旋转滤色镜104的详细结构例。旋转滤色镜104由三原色的红色(以下简化为R)滤镜701、绿色(以下简化为G)滤镜702、蓝色(以下简化为B)滤镜703、旋转马达704构成。图5示出这些滤色镜701~703的分光特性例。
旋转驱动部105根据来自控制部420的控制信号,与摄像元件304的摄像期间同步地使旋转滤色镜104以规定转速旋转。例如,当使旋转滤色镜104在1秒间旋转20次时,各滤色镜以60分之一秒间隔横切入射白色光。该情况下,摄像元件304以60分之一秒间隔完成图像信号的摄像和转送。
这里,摄像元件304例如是单色用摄像元件。即,在本实施方式中,进行以60分之一秒间隔对3原色的各色光(R或G或B)的图像进行摄像的面顺次方式的摄像。
操作部200设有进行插入部300的弯曲操作的弯曲操作杆201、以及供例如钳子这样的处置器械插入的插入口202。
弯曲操作杆201与弯曲操作线306连结。弯曲操作线306贯穿插入到插入部300的内部并固定在插入部300前端。手术医生通过对弯曲操作杆201进行操作,使弯曲操作线306牵引或松弛,使插入部300弯曲。插入口202与供处置器械贯穿插入的贯穿插入通道307连通。
插入部300例如形成为细长且能够弯曲,使得能够插入体腔内。插入部300包括用于将光源部100所会聚的光引导至照明透镜314、315的光导纤维301、使由该光导纤维301引导到前端的光扩散而对观察对象进行照射的照明透镜314、315。照明透镜314是用于对前方视野的观察对象进行照明的透镜,照明透镜315是用于对侧方视野的观察对象进行照明的透镜。并且,插入部300包括使从观察对象返回的反射光会聚的物镜光学系统303、用于检测会聚后的反射光的摄像元件304、将通过摄像元件304的光电转换而得到的模拟图像信号转换为数字图像信号的A/D转换部305。并且,插入部300包括贯穿插入到插入部300的内部并固定在前端部的弯曲操作线306、供在操作部200中插入的处置器械贯穿插入的贯穿插入通道307。
物镜光学系统303(狭义地讲为物镜)从插入部300的前端部突出,对前方视野和侧方视野进行成像。例如,物镜光学系统303具有230°的视野角。
摄像元件304例如是单色单板摄像元件,例如由CCD或CMOS图像传感器等构成。
控制装置400进行内窥镜装置的各部的控制和图像处理。控制装置400包括进行关注区域的设定和测光处理的图像处理部410以及控制部420。
由A/D转换部305转换为数字信号的图像信号被转送到图像处理部410。由图像处理部410进行处理后的图像信号被转送到显示部500。控制部420进行内窥镜装置的各部的控制。具体而言,控制部420与光源光圈驱动部103、旋转驱动部105、图像处理部410、外部I/F部550连接,进行它们的控制。
显示部500是能够进行动态图像显示的显示装置,例如由CRT或液晶监视器等构成。
外部I/F部550是用于进行从用户向内窥镜装置输入等的接口。外部I/F部550例如包括用于进行电源的接通/断开的电源开关、用于切换摄影模式和其他各种模式的模式切换按钮等。外部I/F部550将所输入的信息转送到控制部420。
2.2.图像处理部
图6示出第1实施方式的图像处理部410的详细结构例。图像处理部410包括预处理部411、同时化部412、关注区域设定部413、后处理部415、测光部416、灰度转换部419。
A/D转换部305与预处理部411连接。预处理部411与同时化部412连接。同时化部412与灰度转换部419、关注区域设定部413、测光部416连接。灰度转换部419与后处理部415连接。后处理部415与显示部500连接。关注区域设定部413与测光部416连接。控制部420与预处理部411、同时化部412、灰度转换部419、后处理部415、关注区域设定部413、测光部416双向连接,对它们进行控制。
预处理部411针对从A/D转换部305输入的图像信号,使用控制部420中预先保存的OB钳位值、WB系数值、噪声降低系数值进行OB钳位处理、WB校正处理、噪声降低处理。预处理部411将预处理后的图像信号转送到同时化部412。
同时化部412针对由预处理部411处理后的图像信号,根据控制部420的控制信号对面顺次的图像信号进行同时化。具体而言,同时化部412一帧一帧地蓄积面顺次输入的各颜色光(R或G或B)的图像信号,同时读出所蓄积的各颜色光的图像信号。同时化部412将同时化后的图像信号转送到关注区域设定部413和测光部416。
灰度转换部419对同时化处理后的图像进行灰度转换处理。灰度转换处理例如是对整个图像的像素值的柱状图进行平坦化的处理。具体而言,灰度转换部419将图像分割为多个区域,求出各分割区域的灰度转换特性,通过该灰度转换特性进行各分割区域的灰度转换。灰度转换部419进行的处理在后面详细叙述。
关注区域设定部413根据同时化处理后的图像信号设定关注区域。具体而言,关注区域设定部413检测摄像出处置器械的区域,将处置器械的前端的周边区域设定为关注区域。关注区域设定部413进行的处理在后面详细叙述。
测光部416计算所设定的关注区域中的被摄体的亮度平均值(广义地讲为明亮度信息),将计算出的亮度平均值转送到控制部420。控制部420根据来自测光部416的亮度平均值对光源光圈驱动部103进行控制,从而对光源光圈102的开口面积进行调整。测光部416和控制部420进行的调光控制在后面详细叙述。
后处理部415针对灰度转换处理后的图像,使用控制部420中预先保存的颜色转换系数、轮廓强调系数、放大率进行颜色处理、轮廓强调处理、放大处理。后处理部415将后处理后的图像信号转送到显示部500。
2.3.灰度转换部
详细说明灰度转换部419进行的处理。图7示出灰度转换部419的详细结构例。灰度转换部419包括区域分割部445、柱状图计算部446、灰度转换特性计算部447、转换部448。
来自同时化部412的图像信号被输入到区域分割部445。区域分割部445与柱状图计算部446和转换部448连接。柱状图计算部446与灰度转换特性计算部447连接。灰度转换特性计算部447与转换部448连接。转换部448与后处理部415连接。控制部420与区域分割部445、柱状图计算部446、灰度转换特性计算部447、转换部448连接,进行它们的控制。
灰度转换部419按照图像信号的每个区域进行灰度转换处理。具体而言,区域分割部445将所输入的图像信号(最大值图像信号)按区域分割为局部区域。例如,区域分割部445将图像信号分割为规定尺寸的矩形区域,将分割后的各矩形区域作为局部区域。例如矩形区域的尺寸为16×16像素,但是不限于此,可以适当设定。区域分割部445将这些分割后的局部区域输出到柱状图计算部446和转换部448。另外,区域分割的方法不限于上述方法。例如,也可以构成为,应用以纹理(texture)解析为代表的公知的区域分割方法进行区域分割。
柱状图计算部446计算所输入的各局部区域的柱状图(像素值的柱状图),将计算出的各局部区域的柱状图输出到灰度转换特性计算部447。
灰度转换特性计算部447根据所输入的局部区域的柱状图计算局部区域的累积柱状图。另外,下面说明针对1个局部区域的处理,但是,对各局部区域进行同样的处理。灰度转换特性计算部447对累积柱状图进行归一化,使得所得到的累积柱状图的最大值符合转换部448的输出灰度宽度。灰度转换特性计算部447将归一化后的累积柱状图作为局部区域的灰度转换特性输出到转换部448。
转换部448针对从区域分割部445输入的局部区域,使从灰度转换特性计算部447输入的灰度转换特性发挥作用,进行灰度转换处理。转换部448将灰度转换后的各局部区域恢复成1帧的图像信号,将该图像信号输出到后处理部415。
2.4.关注区域设定部
详细说明关注区域设定部413进行的处理。关注区域设定部413从同时化处理后的图像信号中检测由具有处置器械的像的像素构成的处置器械区域,根据检测到的处置器械区域设定关注区域。下面,以检测钳子等高反射性的金属处置器械的情况为例进行说明。
由于处置器械放置在极其接近摄像元件304的位置,所以,处置器械的亮度信号值远远大于脏器。因此,将图像信号中的高亮度区域检测为处置器械区域。具体而言,设关注像素(处理对象像素)的坐标为(x,y),通过下式(1)计算关注像素的亮度信号值Y(x,y)。
【数学式1】
Y(x,y)=0.299·R(x,y)+0.587·G(x,y)+0.114·B(x,y) (1)
这里,R(x,y)、G(x,y)、B(x,y)是坐标(x,y)中的各颜色的图像信号。
接着,如图8所示,通过下式(2)计算比关注像素靠左侧的从坐标(x-a,y)到坐标(x-1,y)的亮度值的平均值Yave(x,y)。在图8中,设图像信号为N×M像素。并且,将位于图像信号的左上方的坐标表现为(0,0),将右方向表现为X轴的正方向,将下方向表现为Y轴的正方向。例如,X轴是沿着水平扫描线的轴,Y轴是与X轴正交的轴。
【数学式2】
这里,a是常数,根据图像信号的横向宽度N来设定。例如,常数a被设定为图像信号的横向宽度N的3%。
接着,使用下式(3)检测关注像素的亮度信号值是否远远大于周边的亮度平均值。
【数学式3】
Y(x,y)>Yave(x,y)+Yp (3)
这里,Yp是作为参数而预先设定的值。设上式(3)成立的像素为处置器械候选像素。例如,如图9(A)所示,在包含处置器械和亮点的像的图像信号的情况下,如图9(B)所示检测处置器械候选像素。
接着,提取多个处置器械候选像素相邻的区域作为处置器械候选区域。具体而言,从左上方起搜索图像信号,将关注像素(x,y)的值为“处置器械候选像素”、关注像素的左方(x-1,y)、左上方(x-1,y-1)、上方(x,y-1)、右上方(x+1,y-1)这4个像素不是“处置器械候选像素”的关注像素设定为始点像素。如图10所示,阴影的像素为始点像素。
接着,从始点像素(x,y)的左下方(x-1,y-1)起逆时针搜索处置器械候选像素。在始点像素的周边“未检测到处置器械候选像素”的情况下,从下一个始点像素起搜索处置器械候选像素。在始点像素的周边“检测到处置器械候选像素”的情况下,从检测到的处置器械候选像素的周边起再次逆时针搜索处置器械候选像素。持续进行搜索,直到检测到的处置器械候选像素再次返回到始点像素为止。在搜索的中途,在处置器械候选像素的Y坐标小于始点像素的Y坐标的情况下,中止搜索,搜索下一个始点像素。如图11所示,当处置器械候选像素再次返回到始点像素时,将检测到的处置器械候选像素所包围的区域作为处置器械候选区域。在图11中,阴影的像素是通过搜索而检测到的处置器械候选像素。
接着,分别对作为处置器械候选区域而提取出的各区域中包含的像素数进行计数,提取像素数最多的区域。在包含于像素数最多的区域中的像素数Tmax大于预先设定的阈值THt(Tmax>THt)的情况下,将该区域作为处置器械区域。另一方面,在包含于像素数最多的区域中的像素数Tmax为预先设定的阈值THt以下(包含该值)的情况下,视为图像信号中“不存在处置器械”,不在图像信号中设定处置器械区域。例如,如图11所示,在处置器械候选区域2中包含的像素数最多的情况下,判定处置器械候选区域2中包含的处置器械候选像素的数量是否大于预先设定的阈值。在大于阈值的情况下,将处置器械候选区域2设定为处置器械区域。
接着,从处置器械区域中提取处置器械的前端所处的区域,将该区域设定为处置器械前端像素。例如如图12所示,从处置器械区域所包含的像素中提取与图像中心最近的像素作为处置器械前端像素。在图12中,设图像中心的坐标为(N/2,M/2),设处置器械前端像素的坐标为(x0,y0)。另外,作为提取处置器械前端像素的其他方法,也可以从处置器械区域所包含的像素中选择接近图像中心的坐标(N/2,M/2)的多个像素,将选择出的多个像素的重心作为处置器械前端像素。
接着,如图13所示,将以处置器械前端像素(x0,y0)为中心的半径R的圆的内侧的像素设定为关注区域。这里,半径R为常数,根据图像信号的横向宽度N来设定。例如,半径R被设定为图像信号的横向宽度N的10%。通过下式(4)判定坐标(x,y)的像素是否包含在半径R的圆的内侧。
【数学式4】
R2>(x-x0)2+(y-y0)2 (4)
关注区域设定部413将所设定的关注区域和中心像素(x0,y0)转送到测光部416。
另外,上述将半径R设为常数,但是,本实施方式不限于此,例如也可以将半径R设为根据关注区域(x0,y0)与图像中心(N/2,M/2)之间的距离L而变化的变量。通过下式(5)计算关注区域的中心(x0,y0)与图像中心(N/2,M/2)之间的距离L。
【数学式5】
并且,上述将关注区域设为以坐标(x0,y0)为中心的圆形,但是,本实施方式不限于此,例如也可以将关注区域设为以坐标(x0,y0)为中心的矩形或椭圆形。
2.5.调光控制
接着,详细说明测光部416和控制部420进行的调光控制。
测光部416基于控制部420的控制信号,根据图像信号计算被摄体的明亮度。具体而言,在通过关注区域设定部413设定了关注区域的情况下,测光部416根据从同时化部412输入的图像信号计算关注区域的亮度平均值。另一方面,在关注区域设定部413未设定关注区域的情况下,测光部416计算从同时化部412输入的图像信号的有效像素区域的亮度平均值。测光部416将计算出的亮度平均值作为测光值Yd转送到控制部420。
另外,被摄体的明亮度的计算方法不限于上述方法,例如,也可以对关注区域的亮度平均值和关注区域以外的区域的亮度平均值分别乘以不同的权重系数,计算该加权相加平均值作为被摄体的明亮度。该情况下,作为关注区域的权重系数,设定比关注区域以外的权重系数大的系数。
控制部420使用由测光部416计算出的测光值Yd和预先设定的目标明亮度Ybase,通过下式(6)计算光源光圈调整系数Lc。
【数学式6】
控制部420使用计算出的光源光圈调整系数Lc来控制光源光圈驱动部103,从而对光源光圈102的开口进行控制。
通过进行以上处理,在插入处置器械的情况下,能够使存在于处置器械周边的病变部的明亮度维持最佳明亮度。由此,提高病变部的观察性能,能够得到适合于处置的图像。
2.6.变形例
在本实施方式中,也可以进行放大如上设定的关注区域的变倍处理。下面,对该变形例进行详细说明。
图14示出进行变倍处理的情况下的图像处理部410的变形结构例。图像处理部410包括预处理部411、同时化部412、关注区域设定部413、变倍处理部414、后处理部415、测光部416、灰度转换部419。另外,对与图6等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
变倍处理部414在维持(大致维持)视场角的同时进行图像的变倍处理,放大关注区域。具体而言,变倍处理部414进行放大关注区域并缩小其他区域的处理。或者,也可以仅进行以规定倍率放大关注区域的处理。
具体而言,变倍处理部414根据所设定的关注区域和中心像素(x0,y0),对图像信号进行局部变倍处理。另外,在关注区域设定部413未设定关注区域的情况下,不进行变倍处理,直接将所输入的图像信号输出到后处理部415。
如图15所示,变倍处理部414以放大率α(广义地讲为倍率)放大关注区域,将放大后的图像重叠在原来的图像上。具体而言,以圆的中心为基准在半径方向上以放大率α进行放大,使放大后的圆区域的中心与原来的关注区域的中心像素(x0,y0)一致而进行重叠。下面,将放大后的关注区域称为放大区域。通过下式(7)计算对坐标(x,y)的像素进行坐标转换而变为α倍后的坐标(x’,y’)。
【数学式7】
这里,α是预先设定的大于1的常数,例如设定为α=1.5。并且,放大率α不限于固定的常数,也可以由手术医生从外部自由输入。并且,如图14所示,放大率α也可以是根据关注区域的中心(x0,y0)与图像中心(N/2,M/2)之间的距离L而变化的变量。
在上述放大处理中,变倍处理部414生成包含在放大区域内的像素位置的插值像素。具体而言,针对放大区域内的像素位置,使用上式(7)的坐标转换后的附近4个像素进行线性插值。另外,插值处理不限于线性插值,例如也可以使用最近法、三次卷积内插法(双三次)等插值方法。
并且,变倍处理部414进行在上述放大区域的外侧设置缩小区域并对该缩小区域进行缩小转换的处理。具体而言,缩小区域是以坐标(x0,y0)为中心的半径Rs的内侧的区域,并且是放大区域的外侧的区域。变倍处理部414以缩小率β(广义地讲为倍率)缩小由半径R的圆和半径Rs的圆夹持的区域。缩小率β是根据处理对象像素(x,y)与中心坐标(x0,y0)的距离rd而变化的变量。通过下式(8)计算距离rd。缩小率β是距离rd越大则越小的系数,在距离rd为R时,β=α,在距离rd为Rs时,β=1。
【数学式8】
在缩小处理中,变倍处理部414生成包含在缩小区域内的像素位置的插值像素。具体而言,针对缩小区域内的像素位置,使用以缩小率β进行缩小处理后的像素进行线性插值。另外,插值处理不限于线性插值,例如也可以使用最近法、三次卷积内插法(双三次)等插值方法。
根据上述变形例,由于能够在维持视场角的同时放大关注区域,所以,能够一边确保镜体操作等所需要的宽视野一边提高关注区域的视觉辨认性。并且,通过在放大区域的外侧设置缩小区域,在放大区域的边界部分确保了图像的连续性,所以,能够得到没有不舒适感的实施了变倍处理后的图像信号。
另外,上述将缩小区域设为半径Rs内侧包含的像素,但是,本实施方式不限于此,例如也可以将放大区域的外侧全部设为缩小区域。该情况下,越是朝向图像端部,缩小率β越小,在图像端部,放大率为1。
并且,上述设置了缩小区域,但是,本实施方式不限于此,例如,也可以仅设置放大区域并以倍率α进行放大,将该放大区域重叠在原来的图像上。
根据以上的实施方式,如图6所示,内窥镜装置包括图像取得部(例如A/D转换部305)、关注区域设定部413、调光控制部(广义地讲为光量控制部)。图像取得部取得包括被摄体像的摄像图像。关注区域设定部413根据来自内窥镜装置的信息,对摄像图像设定关注区域。调光控制部根据所设定的关注区域,对照明光的光量进行调光控制。
这样,根据来自内窥镜装置的信息来设定关注区域,能够通过调光来控制该关注区域的明亮度。由此,手术医生能够以适当的明亮度观察要关注的区域,能够进行适当的诊断和处置。
例如,在本实施方式中,测光部416和控制部420对应于调光控制部。如上所述,测光部416进行所设定的关注区域的测光处理,控制部420根据该测光处理的结果来控制光源部100的射出光量,从而进行调光控制。
这里,来自内窥镜装置的信息是指由内窥镜装置的各部取得的信息,例如是摄像部的摄像图像、对摄像图像进行处理而得到的信号、对各部进行控制的控制信号、内窥镜装置中设置的各种传感器的读出信号。
并且,关注区域是指对于使用者来说观察的优先顺位与其他区域相比相对较高的区域,例如,在使用者是医生且希望进行治疗的情况下,是指拍摄出粘膜部或病变部的区域。并且,作为其他例子,如果医生希望观察的对象是泡或便,则关注区域是拍摄出该泡部分或便部分的区域。即,使用者应该关注的对象根据其观察目的而不同,但是,不管怎样,在该观察时,对于使用者来说观察的优先顺位与其他区域相比相对较高的区域成为关注区域。
并且,在本实施方式中,如上式(6)等说明的那样,调光控制部计算表示关注区域的明亮度的明亮度信息(测光值Yd。例如亮度平均值),根据计算出的明亮度信息进行调光控制。
具体而言,调光控制部进行调光控制,使得关注区域的明亮度成为规定明亮度(目标明亮度信息Ybase。例如目标亮度值)。例如,调光控制部进行调光控制,使得关注区域的明亮度与规定明亮度一致。
这样,能够通过调光控制使关注区域的明亮度接近目标明亮度,能够使关注区域维持适当的恒定的明亮度。
并且,在本实施方式中,关注区域设定部413将摄像图像作为来自内窥镜装置的信息来设定关注区域。
具体而言,关注区域设定部413具有未图示的处置器械检测部。如图13等说明的那样,处置器械检测部根据摄像图像来检测摄像出用于对被摄体实施处置的处置器械的处置器械区域。关注区域设定部413根据检测到的处置器械区域来设定关注区域。
这样,能够使认为是手术医生要关注的区域的处置器械的周边维持适当的明亮度。由此,在手术医生进行处置时,病变部不会产生光晕,能够对病变部进行处置,所以,能够减轻手术医生的负荷。并且,由于根据摄像图像来检测处置器械区域,所以,在内窥镜的插入部300中不需要设置新的处置器械检测器。
并且,在本实施方式中,处置器械检测部检测处置器械区域的前端。关注区域设定部413将从检测到的前端起的规定半径的圆内设定为关注区域。
具体而言,如图12中说明的那样,处置器械检测部将处置器械区域所包含的像素中的与摄像图像的中心(N/2,M/2)最近的像素设定为前端(处置器械前端像素(x0,y0))。
这样,将认为存在于处置器械前端部的处置对象区域设定为关注区域,能够对该关注区域的明亮度进行调光控制。
另外,设定为关注区域的圆(圆形区域)不限于正圆,只要是圆状的区域即可。例如,也可以是椭圆等。
并且,在本实施方式中,处置器械检测部具有未图示的亮度特征量计算部。亮度特征量计算部计算与摄像图像的像素的亮度有关的亮度特征量(例如亮度信号值Y(x,y))。处置器械检测部根据计算出的亮度特征量来检测处置器械区域。
具体而言,如图9(B)等中说明的那样,处置器械检测部根据亮度特征量检测作为处置器械区域的候选的处置器械候选像素,根据检测到的处置器械候选像素来决定处置器械区域。
更具体而言,处置器械检测部具有未图示的比较部。如图8等中说明的那样,比较部对处理对象像素的亮度特征量(亮度信号值Y(x,y))和处理对象像素的周边像素的平均亮度特征量(平均值Yave(x,y))进行比较。处置器械检测部将亮度特征量大于平均亮度特征量的像素设定为处置器械候选像素。
处置器械由金属等形成,照明光的反射率高,所以,与其他被摄体相比,作为高亮度的像进行摄像。因此,通过根据亮度特征量来设定处置器械候选像素,能够从图像中检测处置器械。
并且,在本实施方式中,如图11等中说明的那样,处置器械检测部根据处置器械候选像素的位置信息,将处置器械候选像素分类为1个或多个处置器械候选区域(例如处置器械候选区域1、2)(例如由未图示的分类部进行分类)。处置器械检测部从该1个或多个处置器械候选区域中选择处置器械区域。
具体而言,处置器械检测部从处置器械候选像素中提取作为处置器械候选区域与其他区域的边界的像素,通过将由该边界包围的处置器械候选像素设定为处置器械候选区域,设定1个或多个处置器械候选区域。
并且,处置器械检测部根据各处置器械候选区域中包含的处置器械候选像素的数量来决定处置器械区域。
具体而言,处置器械检测部将1个或多个处置器械候选区域中的包含数量最多的处置器械候选像素的区域、即包含比规定阈值(THt)多的处置器械候选像素的区域(例如处置器械候选区域2)决定为处置器械区域。
这样,根据由照明光在粘膜处反射而产生的亮点等高亮度区域,在产生多个处置器械候选区域的情况下,也能够从中选择摄像出处置器械的区域。
并且,在本实施方式中,如图14所示,内窥镜装置也可以包括变倍处理部414。变倍处理部414进行与其他区域相比相对放大关注区域的局部变倍处理。
这样,由于与其他区域相比能够相对放大关注区域,所以,针对微小的病变部也能够得到更加详细的信息,能够对关注区域进行适当的诊断和处置。
并且,在本实施方式中,如图15等中说明的那样,变倍处理部414在维持摄像图像的视场角的同时进行局部的变倍处理。
这样,手术医生能够一边掌握被摄体的整体像一边以适当大小观察希望关注的区域。并且,由于这些被摄体的整体像和希望关注的区域能够显示在同一图像中,所以,与观察多个图像的情况相比,能够减轻手术医生的负担。并且,由于不需要切换广角图像和放大图像,所以,手术医生不需要进行烦杂的作业。
这里,维持视场角是指图像中显示的被摄体的范围不会由于变倍处理而变化。视场角不需要严格地维持,实质上维持即可。
并且,在本实施方式中,如图3所示,包括1个光源部100、第1照射部(照明透镜314)、第2照射部(照明透镜315)。第1照射部在第1方向(例如沿着物镜光学系统的光轴的方向)上照射来自1个光源部100的射出光。第2照射部在第2方向(例如相对于物镜光学系统的光轴为规定角度的方向)上照射来自1个光源部100的射出光。调光控制部通过控制来自1个光源部100的射出光量,进行调光控制。
具体而言,第1方向是镜体(插入部300)的前方视野的方向,第2方向是镜体的侧方视野的方向。图像取得部取得包括前方视野和侧方视野的被摄体像的摄像图像。
如图2(A)~图2(D)中说明的那样,在共用1个光源部100作为前方视野和侧方视野的照明的情况下,由于在图像内产生明亮度的偏差,所以,有时未适当对手术医生的关注区域进行调光。关于这点,根据本实施方式,由于根据关注区域的明亮度进行调光控制,所以,能够将关注区域调整为适当的明亮度。
并且,在本实施方式中,如图1、图3等中说明的那样,图像取得部取得对镜体(插入部300)前端部的前方视野和侧方视野进行了摄像的摄像图像。
具体而言,摄像图像是通过对前方视野和侧方视野进行成像的物镜光学系统而得到的图像。
物镜光学系统具有大于180°的视野角(例如视野角230°)。
这样,如图2(A)等中说明的那样,能够在镜体前方的被摄体的观察的同时进行镜体侧方的被摄体的观察。由此,能够防止管腔状脏器中的壁面的病变部的漏看。
这里,物镜光学系统不限于物镜,可以是反射光学系统,也可以是如图1所示组合了透镜和反射光学系统的光学系统。另外,不限于图1的物镜光学系统,也可以使用视野角超过180°的鱼眼透镜。
并且,前方视野(前方的视野范围)是指包含物镜光学系统的光轴方向的视野范围,例如是相对于光轴为0度~45度的范围。侧方视野(侧方的视野范围)是指包含与光轴正交的方向的视野范围,例如是相对于光轴为45度~135度的范围。本实施方式的物镜光学系统303例如相对于光轴具有0度~115度的视野范围。
3.第2实施方式
对读出处置器械的插入并设定关注区域的第2实施方式进行说明。
图16示出第2实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
插入部300包括处置器械传感器308。处置器械传感器308设置在贯穿插入通道307中。处置器械传感器308检测贯穿插入到贯穿插入通道307中并向插入部300的前方突出的处置器械。处置器械传感器308与后述状态信息取得部430连接。
控制装置400包括状态信息取得部430。状态信息取得部430与图像处理部410连接。并且,控制部420与状态信息取得部430双向连接。
在由处置器械传感器308检测到处置器械从插入部300的前端突出的情况下,状态信息取得部430将表示“处置器械存在于图像信号中”的控制信号转送到图像处理部410。
图17示出第2实施方式的图像处理部410的详细结构例。状态信息取得部430与关注区域设定部413连接。
在第2实施方式中,关注区域设定部413进行的处理与第1实施方式不同。具体而言,关注区域设定部413在从状态信息取得部430接收到表示“处置器械存在于图像信号中”的控制信号的情况下,在图像信号中设定关注区域。例如如图18所示,将图像中心(N/2,M/2)作为关注区域的中心,将从关注区域的中心起的半径R以内(包含该值)的区域设定为关注区域。关注区域设定部413将设定的关注区域转送到测光部416。
另外,关注区域的中心不限于图像中心(N/2,M/2),可以根据摄像元件和贯穿插入通道的相对位置关系而预先设定。例如,在从图像中心观察贯穿插入通道设置在Y轴正方向上的情况下,可以将关注区域设定在比图像中心靠Y轴正方向侧。
根据以上的实施方式,如图16所示,内窥镜装置包括取得内窥镜装置的状态信息的状态信息取得部430。关注区域设定部413将状态信息作为来自内窥镜装置的信息来设定关注区域。
具体而言,状态信息取得部430检测(根据处置器械传感器308的读出信号检测)用于对被摄体实施处置的处置器械是否从镜体前端部突出,取得检测结果作为状态信息。关注区域设定部413根据检测结果来设定关注区域。
更具体而言,如图18等中说明的那样,关注区域设定部413在检测到处置器械的突出的情况下,将摄像图像的中央区域或比摄像图像的中心靠插入处置器械的一侧的区域(例如比图像中心靠Y轴正方向侧的区域)设定为关注区域。
这样,在手术医生对处置器械进行操作的情况下设定关注区域,能够对该关注区域的明亮度进行调光控制。并且,能够将手术医生通常认为是病变部所在的图像中心或图像下方设定为关注区域。由此,与图像信号的画质无关,能够以适当的明亮度显示作为处置对象的病变部,得到适合于手术医生的处置的图像。
这里,内窥镜装置的状态信息是表示内窥镜装置的各部的状态的信息,例如是对摄像图像进行处理而得到的镜体的行进方向等信息、对各部的状态进行控制的控制信号、读出各部的状态的各种传感器的读出信号。
4.第3实施方式
4.1.内窥镜装置
对根据镜体的弯曲角度或弯曲运动量来设定关注区域的第3实施方式进行说明。
图19示出第3实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包括白色光源101、光源光圈102、光源光圈驱动部103、会聚透镜106。
操作部200设有进行插入部300的弯曲操作的弯曲操作杆201、插入例如钳子这样的处置器械的插入口202、检测前端部的弯曲角度或弯曲运动量等弯曲操作的操作信息的操作量检测传感器203。操作量检测传感器203与状态信息取得部430连接,对状态信息取得部430发送弯曲操作的操作信息。
插入部300的摄像元件304是拜尔(Bayer)型排列的摄像元件,例如由CCD或CMOS图像传感器等构成。
控制装置400包括图像处理部410、控制部420、状态信息取得部430。图像处理部410的结构要素与图17中上述的结构例相同。
状态信息取得部430取得与操作部200中的内窥镜的操作有关的信息。具体而言,状态信息取得部430取得镜体前端部的弯曲角度和弯曲运动量中的至少一方作为状态信息。
4.2.弯曲角度检测部
图20示出第3实施方式的状态信息取得部430的详细结构例。状态信息取得部430包括弯曲角度检测部431和弯曲运动量检测部432中的至少一方。
弯曲角度检测部431检测通过操作部200进行了弯曲操作的插入部300的当前的弯曲角度。弯曲运动量检测部432检测通过操作部200进行了弯曲操作的插入部300的弯曲运动量。弯曲运动量是弯曲角度的每单位时间的变化量。
具体而言,弯曲操作杆201为转盘式,通过由手术医生对转盘进行旋转操作,与转盘连结的弯曲操作线306被拉拽或推送,与此相伴,插入部300的前端弯曲。操作量检测传感器203检测弯曲操作线306被拉拽或推送的“长度”作为操作量。状态信息取得部430根据检测到的操作量求出弯曲角度。例如,状态信息取得部430使用一览表或多项式等,根据操作量求出弯曲角度。
例如,如图21(A)所示,在线306的操作量为零时,弯曲角度θ=0度。如图21(B)所示,在线306被拉拽LWcm时,弯曲角度θ=45度。如图21(C)所示,在线306被推送2LWcm时,弯曲角度θ=-90度。
另外,弯曲角度作为表示弯曲角度的信息取得即可,也可以不是弯曲角度本身。例如,弯曲角度信息可以是线306被操作的长度。即,弯曲操作杆201的旋转方向的操作量与弯曲操作线306被拉拽或推送的长度一一对应,如果确定了该长度,则能够求出弯曲角度。
并且,操作量检测传感器203检测的操作量不限于长度,例如也可以是弯曲操作杆201的旋转方向的操作量。该情况下,弯曲角度信息可以是根据旋转操作量求出的弯曲角度,也可以是旋转操作量。
如前面图2(A)等中所述的那样,在使用宽视野内窥镜进行筛查的情况下,能够通过侧方视野发现位于褶皱背面的病变部。手术医生发现病变部后,由于前方视野容易进行观察,所以,为了使病变部进入前方视野,对弯曲操作杆201进行操作以使插入部300弯曲。
因此,在本实施方式中,关注区域设定部413根据由弯曲角度检测部431取得的弯曲角度,将侧方视野的区域设定为关注区域。例如,在弯曲角度为某个阈值以上的情况时,将侧方视野的区域设定为关注区域。
4.3.弯曲运动量检测部
接着,详细说明弯曲运动量检测部432进行的处理。操作量检测传感器203检测弯曲操作杆201的每单位时间的旋转操作量。弯曲运动量检测部432根据检测到的旋转操作量求出弯曲运动量。
另外,在本实施方式中,不限于此,也可以根据弯曲操作线306每单位时间被拉拽或推送的长度求出弯曲运动量。并且,弯曲运动量不限于每单位时间的弯曲角度的变化量,作为表示弯曲运动量的信息取得即可。例如,弯曲运动量信息可以是弯曲操作杆201的每单位时间的旋转操作量,也可以是弯曲操作线306每单位时间被拉拽或推送的长度。
如前面图2(A)等中所述的那样,在使用宽视野内窥镜进行筛查的情况下,能够通过侧方视野发现位于褶皱背面的病变部。手术医生发现病变部后,由于前方视野容易进行观察,所以,为了使病变部进入前方视野,对弯曲操作杆201进行操作以使插入部300弯曲。即,在弯曲操作中认为侧方视野中存在病变部。在病变部到达前方视野中后停止弯曲操作。
因此,在本实施方式中,开始弯曲时将侧方视野设定为关注区域,弯曲停止后将前方视野设定为关注区域。另外,在弯曲角度弯曲到最大角度而停止弯曲的情况下,由于能够推测到手术医生关注的区域未进入前方视野而位于侧方视野,所以,将侧方视野设定为关注区域。
具体而言,关注区域设定部413根据由弯曲运动量检测部432取得的弯曲运动量来设定关注区域。在弯曲运动量较大的情况下(急剧弯曲时),关注区域设定部413将侧方视野的区域设定为关注区域。例如,在弯曲运动量为某个阈值以上的情况时设定关注区域。
4.4.图像处理部
接着,详细说明进行关注区域设定处理和测光处理的图像处理部410。图22示出第3实施方式的图像处理部410的详细结构例。图像处理部410包括预处理部411、同时化部412、关注区域设定部413、后处理部415、测光部416、灰度转换部419。另外,对与图6等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
状态信息取得部430与关注区域设定部413和测光部416连接。同时化部412与灰度转换部419和测光部416连接。
同时化部412通过插值处理将拜尔型排列的单板图像转换为3板图像(RGB图像)。同时化部412将3板化的图像信号转送到灰度转换部419和测光部416。
关注区域设定部413根据由弯曲角度检测部431取得的弯曲角度和由弯曲运动量检测部432取得的弯曲运动量,设定关注区域。具体而言,在弯曲角度为规定阈值以上的情况下、或弯曲运动量(弯曲速度)为规定阈值以上的情况下,关注区域设定部413将侧方视野的区域设定为关注区域。关注区域设定部413将所设定的关注区域转送到测光部416。
测光部416根据图像信号计算被摄体的明亮度。具体而言,在通过关注区域设定部413设定了关注区域的情况下,测光部416对关注区域和关注区域以外的区域分别乘以不同的权重系数,计算下式(9)所示的加权相加平均值Ywa。
【数学式9】
这里,Yc(x,y)是前方视野中包含的像素的亮度信号值,Ya(x,y)是侧方视野中包含的像素的亮度信号值。Nc是前方视野中包含的像素的像素数,Na是侧方视野中包含的像素的像素数。A是前方视野的权重系数,B是侧方视野的权重系数。Rc是与前方视野对应的区域,Ra是与侧方视野对应的区域。和(Σ)是与属于各区域的像素有关的和。
测光部416将关注区域的权重系数设定为与关注区域以外的权重系数相比相对较大的系数。例如,在侧方区域为关注区域的情况下,A<B。并且,测光部416根据弯曲角度(或弯曲运动量)来设定权重系数。具体而言,弯曲角度(或弯曲运动量)越大,侧方视野的权重系数B越大于前方视野的权重系数A。
在关注区域设定部413未设定关注区域的情况下,测光部416计算从同时化部412输入的图像信号的有效像素区域的亮度平均值。测光部416将计算出的关注区域的亮度加算平均值Ywa转送到控制部420。
如上式(9)中说明的那样,调光控制部计算表示关注区域的明亮度的第1明亮度信息(亮度信号值Ya(x,y))和表示关注区域以外的区域的明亮度的第2明亮度信息(亮度信号值Yc(x,y))。调光控制部分别利用第1权重系数B和第2权重系数A对第1明亮度信息和第2明亮度信息进行加权相加,根据所得到的加权相加值进行调光控制。调光控制部使用比第2权重系数A大的系数作为第1权重系数B。
这样,主要通过调光来控制关注区域的明亮度,并且,还能够通过调光来控制整个图像的明亮度。由此,能够提高关注区域的视觉辨认性,并且还能够提高整个图像的视觉辨认性。
根据以上的实施方式,如图20所示,状态信息取得部430具有弯曲角度检测部431。弯曲角度检测部431取得表示镜体前端部的弯曲角度(图21(A)~图21(C)的角度θ)的弯曲角度信息作为状态信息。关注区域设定部413根据所取得的弯曲角度信息设定关注区域。
这样,能够根据弯曲角度来推测手术医生感兴趣的观察区域,通过对该区域的明亮度进行调光控制,能够提供手术医生容易观察的图像。
并且,在本实施方式中,关注区域设定部413在判断为弯曲角度大于阈值的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
这样,在侧方视野存在病变的情况下,手术医生认为要对镜体前端进行弯曲操作,所以,能够将该侧方视野设定为关注区域。并且,能够将弯曲角度较小的(阈值以下的)微小的弯曲操作推测为误差或前方视野的微调整。因此,通过进行阈值判定,能够防止不必要的测光对象区域的切换。
这里,与前方视野对应的区域是对前方视野的被摄体进行了摄像的区域,例如是对物镜光学系统的光轴方向的被摄体进行了摄像的区域。例如,在光轴与图像中心一致的情况下,与前方视野对应的区域是包含图像中心的中央区域。
并且,与侧方视野对应的区域是对侧方视野的被摄体进行了摄像的区域,例如是对与物镜光学系统的光轴正交的方向的被摄体进行了摄像的区域。例如,在光轴与图像中心一致的情况下,与侧方视野对应的区域是上述中央区域的周边区域。
并且,在本实施方式中,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。如上式(9)中说明的那样,弯曲角度越大,调光控制部越将第1权重系数B设为大于第2权重系数A。
这样,弯曲角度越大,越能够推测为手术医生正在关注侧方视野,所以,通过增大该区域的权重系数而进行测光处理,能够提供手术医生容易观察的图像。
并且,在本实施方式中,如图20所示,状态信息取得部430具有弯曲运动量检测部432。弯曲运动量检测部432取得表示镜体前端部的弯曲运动量(图21(A)~图21(C)的角度θ的每单位时间的变化)的弯曲运动量信息作为状态信息。关注区域设定部413根据所取得的弯曲运动量信息设定关注区域。
这样,能够根据弯曲运动量来推测手术医生感兴趣的观察区域,通过对该区域的明亮度进行调光控制,能够提供手术医生容易观察的图像。
并且,在本实施方式中,关注区域设定部在判断为弯曲运动量大于阈值的情况下,将摄像图像中的与侧方视野对应的区域设定为关注区域。
这样,在侧方视野存在病变的情况下,手术医生认为要对镜体前端进行弯曲操作,所以,能够将该侧方视野设定为关注区域。并且,能够将弯曲运动量较小的(阈值以下的)微小的弯曲操作推测为误差或前方视野的微调整。因此,通过进行阈值判定,能够防止不必要的测光对象区域的切换。
并且,在本实施方式中,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。如上式(9)中说明的那样,弯曲运动量越大,调光控制部越将第1权重系数B设为大于第2权重系数A。
这样,弯曲运动量越大,越能够推测为手术医生正在关注侧方视野,所以,通过增大该区域的权重系数而进行测光处理,能够提供手术医生容易观察的图像。
5.第4实施方式
5.1.内窥镜装置
对根据从光源的射出光量估计出的到被摄体的距离信息来设定关注区域的第4实施方式进行说明。
图23示出第4实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
控制装置400包括图像处理部410、控制部420、状态信息取得部430。状态信息取得部430与图像处理部410连接。控制部420与光源光圈驱动部103、旋转驱动部105、图像处理部410、状态信息取得部430、外部I/F部550连接,进行它们的控制。
在本实施方式中,在调光处理工作的状态下取得光源部100的射出光量的信息,根据该射出光量的信息来估计与被摄体之间的距离信息,根据该距离信息,自适应地控制关注区域或关注区域以外的区域的测光处理。
5.2.状态信息取得部
对估计与被摄体的距离并根据该距离设定关注区域的方法进行详细说明。
手术医生在使用内窥镜装置的观察中发现被推测为病变部的区域时,使插入部300的前端接近该区域。该情况下,来自被摄体的反射光量变强,摄像的图像信号变亮。在本实施方式中,状态信息取得部430进行调光处理,经由控制部420对光源光圈驱动部103进行控制,缩小光源光圈102的开口面积,直到图像成为目标观察明亮度为止。
另一方面,在插入部300的前端与观察区域分开的状态下,来自被摄体的反射光量变弱,所摄像的图像信号变暗。状态信息取得部430经由控制部420对光源光圈驱动部103进行控制,扩大光源光圈102的开口面积,直到图像成为目标观察明亮度为止。即,在调光处理中,光源光圈102的开口面积较小的情况是插入部300的前端和被摄体接近的状态,光源光圈102的开口面积较大的情况是插入部300的前端和被摄体分开的状态。
在本实施方式中,为了对被摄体的更宽的范围进行观察,如前面图1中所述的那样,使用能够在前方物体的观察的同时进行侧方(包含大致侧方)物体的观察的物镜光学系统。因此,如前面图2(B)中所述的那样,显示将图像中心的坐标(N/2,M/2)作为区域中心的前方视野(中央部)和侧方视野(周边部)。
如图24(A)、图24(B)所示,在手术医生发现被推测为病变部的区域的情况下,通常,该病变部与图像信号的中央部(前方视野)一致。但是,如图24(C)、图24(D)所示,在对肠等细长的管腔状部位进行诊察的情况下,由于空间区域的限制,很难使病变部与图像信号的前方视野一致。即,由于空间狭窄,很难使插入部300的前端旋转。因此,如图24(D)所示,病变部仅与图像信号的侧方视野一致。
因此,在本实施方式中,根据光源光圈102的开口信息来判定镜体前端是否接近被摄体。在判定为接近的情况下,根据测光模式将前方视野区域或侧方视野区域设定为关注区域,进行该关注区域的调光控制。
具体而言,状态信息取得部430经由控制部420取得光源光圈102的开口面积(广义地讲为开口信息),在开口面积为规定阈值以下的情况下,判定为处于插入部300的前端“接近”关注区域的状态。状态信息取得部430将判定结果作为状态信息转送到关注区域设定部413。
在本实施方式中,按照前面图24(A)等中所述的观察状况,准备多个测光模式。测光模式由手术医生经由外部I/F部550设定。例如,在手术医生希望关注图像信号的前方视野的情况下,将测光模式设定为“前方模式”。
关注区域设定部413根据从状态信息取得部430转送的状态信息、测光模式来设定关注区域。具体而言,在测光模式为“前方模式”、且判断为镜体前端“接近”被摄体的情况下,关注区域设定部413将以图像中心的坐标(N/2,M/2)为区域中心的前方视野设定为关注区域。并且,在测光模式为“侧方模式”、且判断为镜体前端“接近”被摄体的情况下,关注区域设定部413将侧方视野设定为关注区域。并且,在未判断为镜体前端“接近”被摄体的情况下,不设定关注区域。关注区域设定部413将所设定的关注区域转送到测光部416。
这样,根据光源的光圈状况,自适应地设定关注区域(前方视野或侧方视野),通过进行该关注区域的调光控制,提高手术医生对病变部的视觉辨认性。
5.3.变形例
在上述实施方式中,根据光源光圈102的开口状况而自适应地进行测光处理,但是,本实施方式不限于此。例如,也可以使用LED光源,根据该LED光源的光量控制信息(例如驱动电流)进行测光处理。
图25示出进行这种处理的情况下的内窥镜装置的变形结构例。内窥镜装置包括光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包括白色光源101、旋转滤色镜104、旋转驱动部105、会聚透镜106、对光源的射出光量进行控制的光源控制部107。白色光源101由LED光源构成。光源控制部107根据来自控制部420的控制信号对LED光源的射出光量的强度进行控制。控制部420根据上式(6)中说明的调整系数Lc对射出光量进行调整。
关注区域设定部413根据来自控制部420的射出光量的控制信号来设定关注区域。即,在射出光量小于阈值的情况下,判断为镜体前端接近被摄体,设定与测光模式对应的关注区域。测光部416进行所设定的关注区域的测光处理。
根据以上的实施方式,状态信息取得部430根据对被摄体进行照明的光源部100的射出光量取得表示被摄体与镜体前端部之间的距离的距离信息。关注区域设定部413将距离信息作为状态信息来设定关注区域。
具体而言,关注区域设定部413在判断为距离比阈值近的情况下设定关注区域。
更具体而言,内窥镜装置包括模式设定部(图23的控制部420)和调光控制部(图23的状态信息取得部430和控制部420)。模式设定部设定第1测光模式(前方模式)或第2测光模式(侧方模式)。调光控制部通过控制光源部100的光圈(图23的光源光圈102)的开口面积,对射出光量进行控制。距离信息是由调光控制部控制的开口面积。在第1测光模式中判断为开口面积小于阈值的情况下,关注区域设定部413将摄像图像中的与前方视野对应的区域设定为关注区域。在第2测光模式中判断为开口面积小于阈值的情况下,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。调光控制部根据所设定的关注区域的明亮度对开口面积进行控制。
这样,由于认为镜体前端接近的区域是手术医生希望观察的区域,所以,通过根据距离来设定关注区域,能够适当地对手术医生希望观察的区域进行调光控制。并且,由于通过调光控制使图像的明亮度保持恒定,所以,不是根据图像,而是根据调光控制来估计距离,由此,能够判定镜体前端是否接近被摄体。
6.第5实施方式
6.1.内窥镜装置
对根据从图像的明亮度估计出的到被摄体的距离信息来设定关注区域的第5实施方式进行说明。
第5实施方式的内窥镜装置包括光源部100、操作部200、插入部300、控制装置400、显示部500、外部I/F部550。另外,结构与图3中说明的第1实施方式相同。下面,适当省略动作或处理与第1实施方式相同的结构要素的说明。
图像处理部410包括预处理部411、同时化部412、关注区域设定部413、后处理部415、测光部416、灰度转换部419。另外,结构与图6中说明的第1实施方式相同。
认为图像信号中相对明亮的区域是插入部300的前端与被摄体的距离较近的区域。因此,在本实施方式中,按照图像信号中的每个局部区域计算明亮度,将该多个局部区域中的相对明亮的局部区域设定为关注区域。
6.2.关注区域设定部
图26示出第5实施方式的关注区域设定部413的详细结构例。关注区域设定部413包括亮度换算部441、加法部442、确定部443。同时化部412与亮度换算部441连接。亮度换算部441与加法部442连接。加法部442与确定部443连接。确定部443与测光部416连接。控制部420与亮度换算部441、加法部442、确定部443双向连接。
如图27所示,亮度换算部441通过上式(1)计算同时化后的图像信号的取样像素的亮度信号值Yi(x,y),将该取样像素的亮度信号值Yi(x,y)转送到加法部442。
加法部442分别在前方视野和侧方视野中通过下式(10)对取样像素的亮度信号Yi(x,y)进行相加平均,计算前方视野的明亮度测定值Ydf和侧方视野的明亮度测定值Yds。这里,设图像信号的中心坐标(N/2,M/2)为原点,将规定半径内的像素设定为前方视野,将除此以外的像素设定为侧方视野。
【数学式10】
这里,m是前方视野的取样像素数(常数),n是侧方视野的取样像素数(常数)。它们根据图像信号的视场角大小来设定。a(x,y)、b(x,y)是权重系数。
另外,在上述实施方式中,分割为前方视野和侧方视野这2个区域来计算各个视野的明亮度测定值,但是,本实施方式不限于此。例如,在使插入部300的前端的侧方接近被摄体进行观察的情况下,该侧方视野全部变亮的可能性较低。如图28所示,假定这种情况,例如也可以将侧方视野进一步分割为多个区域,对各区域中包含的取样像素的亮度信号Yi(x,y)进行相加平均,计算各区域的明亮度测定值。该情况下,设计算出的多个侧方区域的明亮度测定值中的最大值为侧方区域的明亮度测定值Yds。例如,在图28中,侧方视野3的明亮度测定值为最大值。该情况下,将侧方视野3的明亮度测定值作为侧方区域的明亮度测定值Yds转送到确定部443。
确定部443根据由加法部442计算出的明亮度测定值Ydf、Yds来设定关注区域。具体而言,在前方视野的明亮度测定值Ydf大于规定阈值的情况下,确定部443将与前方视野对应的区域设定为关注区域。并且,在侧方视野的明亮度测定值Yds大于规定阈值的情况下,确定部443将与侧方视野对应的区域设定为关注区域。在明亮度测定值Ydf、Yds均大于规定阈值的情况下,将更明亮的区域设定为关注区域。确定部443将所设定的关注区域信息转送到测光部416。
另外,在如图28中说明的那样分割侧方视野的情况下,将分割后的区域设定为关注区域。具体而言,在分割后的侧方视野中的测定值Yds最大的区域的测定值Yds大于规定阈值的情况下,确定部443将该区域设定为关注区域。
根据上述实施方式,根据图像信号的明亮度估计插入部300的前端与被摄体的距离,通过根据该距离自适应地对前方视野和侧方视野进行调光处理,能够提高手术医生对病变部的视觉辨认性。
根据以上的实施方式,关注区域设定部413具有距离信息取得部(图26的亮度换算部441、加法部442)。距离信息取得部根据摄像图像的明亮度(例如亮度信号Yi(x,y))取得表示被摄体与镜体前端部之间的距离的距离信息。关注区域设定部413根据所取得的距离信息来设定关注区域。
具体而言,距离信息取得部计算与摄像图像的像素的亮度有关的亮度特征量(例如由亮度换算部441(广义地讲为亮度特征量计算部)进行计算),根据计算出的亮度特征量取得距离信息。
更具体而言,距离信息取得部将摄像图像分割为多个区域(例如与前方视野对应的区域和与侧方视野对应的区域),取得分割后的各区域的明亮度(明亮度测定值Ydf、Yds)作为距离信息。关注区域设定部413将该多个区域中的最亮的区域作为与镜体前端部最近的区域而设定为关注区域。
这样,根据图像的明亮度设定关注区域,能够对该关注区域的明亮度进行调光控制。即,当镜体前端接近手术医生希望观察的区域时,该区域通过照明而变亮,所以,能够根据图像的明亮度来设定关注区域。
7.第6实施方式
7.1.内窥镜装置
对通过特殊光来检测病变区域并将检测到的病变区域设定为关注区域的第6实施方式进行说明。
图29示出第6实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
光源部100包括白色光源101、光源光圈102、光源光圈驱动部103、会聚透镜106。与第1实施方式相比,删除旋转滤色镜104、旋转驱动部105。
插入部300包括光导纤维301、照明透镜314、315、物镜光学系统303。并且,插入部300包括将由物镜光学系统303会聚的反射光分离为2个光的半透半反镜309、检测分离后的反射光的第1摄像元件304和第2摄像元件310、第1A/D转换部305、第2A/D转换部311。
A/D转换部311将由第2摄像元件310检测到的模拟图像信号转换为数字图像信号。
第1摄像元件304是Bayer型排列的摄像元件。如图30所示,第2摄像元件310是将2种滤色镜nB、nG配置在方格上的摄像元件。如图31所示,各滤色镜nB、nG具有透射窄带光的特性。例如,滤色镜nB具有透射390~445nm的光的特性,滤色镜nG具有透射530~550nm的光的特性。例如,第1摄像元件304和第2摄像元件310的像素数相同。
控制装置400包括图像处理部410和控制部420。A/D转换部305、311将转换为数字方式的图像信号转送到图像处理部410。图像处理部410将处理后的图像信号转送到显示部500。控制部420与光源光圈驱动部103、图像处理部410、外部I/F部550连接,进行它们的控制。
7.2.图像处理部
图32示出第6实施方式的图像处理部410的详细结构例。图像处理部410包括第1预处理部411、第2预处理部418、第1同时化部412、第2同时化部417、关注区域设定部413、后处理部415、测光部416、灰度转换部419。另外,由于预处理部411、灰度转换部419、后处理部415、测光部416的处理与第1实施方式相同,所以省略说明。
同时化部412与灰度转换部419和测光部416连接。预处理部418与同时化部417连接。同时化部417与关注区域设定部413连接。关注区域设定部413与测光部416连接。并且,控制部420与预处理部418、同时化部417双向连接,进行它们的控制。
同时化部412对由预处理部411进行处理后的图像信号实施同时化处理。如上所述,由第1摄像元件304取得的图像信号是Bayer型排列的单板图像信号。同时化部412使用插值处理,根据单板图像信号生成RGB的3板图像信号。例如,作为插值处理,使用公知的双三次插值处理即可。下面,将同时化部412所输出的图像信号称为通常光图像。
预处理部418针对从A/D转换部311输入的图像信号,使用控制部420中预先保存的OB钳位值、增益校正值、WB系数值进行OB钳位处理、增益校正处理、WB校正处理。预处理部418将实施了预处理后的图像信号转送到同时化部417。
同时化部417对由预处理部418进行处理后的图像信号实施同时化处理。如前面图30中所述的那样,第2摄像元件310是将2种滤色镜nB、nG配置在方格上的摄像元件。因此,由预处理部418进行处理后的图像信号是图33所示的单板图像信号。在图33中,由滤色镜nB取得的图像信号表示为B2,由滤色镜nG取得的图像信号表示为G2。
同时化部417通过下式(11)、(12),根据该单板图像信号生成B2图像信号和G2图像信号。B2图像信号是全部像素中具有B2信号的图像信号,G2图像信号是全部像素中具有G2信号的图像信号。例如,图33的G2(1,1)的位置处的nB滤镜的图像信号B2(1,1)使用下式(11)计算即可。并且,图33的B2(1,2)的位置处的nG滤镜的图像信号G2(1,2)使用下式(12)计算即可。
【数学式11】
B2(1,1)={B2(0,1)+B2(1,0)+B2(1,2)+B2(2,1)}/4 (11)
【数学式12】
G2(1,2)={G2(0,2)+G2(1,1)+G2(1,3)+G2(2,2)}/4 (12)
同时化部417使用通过上式(11)、(12)生成的B2图像信号和G2图像信号,生成RGB的3板图像信号。具体而言,同时化部417使用G2图像信号作为R图像信号、使用B2图像信号作为G、B图像信号,从而生成3板图像信号。下面,将由同时化部417输出的图像信号称为窄带光图像(广义地讲为特殊光图像)。
关注区域设定部413通过后述方法,从窄带光图像中检测病变区域,根据该病变区域来设定关注区域。在窄带光图像上,具有扁平上皮癌等病变部被描绘成褐色区域的特征。因此,通过从窄带光图像中检测具有特定色相的区域(褐色区域),能够检测病变区域。
7.3.关注区域设定部
图34示出第6实施方式的关注区域设定部413的详细结构例。关注区域设定部413包括局部区域设定部451、特征量计算部452、病变区域检测部453、贴标签处理部454、区域选出部455、坐标计算部456、对应部457、测光处理条件设定部459。
同时化部417与局部区域设定部451连接。局部区域设定部451与特征量计算部452和对应部457连接。特征量计算部452与病变区域检测部453连接。病变区域检测部453与贴标签处理部454连接。贴标签处理部454与区域选出部455连接。区域选出部455与坐标计算部456连接。坐标计算部456与对应部457连接。对应部457与测光处理条件设定部459连接。测光处理条件设定部459与测光部416连接。
局部区域设定部451针对从同时化部417输出的窄带光图像设定多个局部区域。下面,以将窄带光图像分割为矩形区域并将分割后的各区域设定为局部区域的情况为例进行说明。
如图35所示,例如将5×5像素设为1个局部区域。设窄带图像信号由M×N个局部区域构成,用(m,n)表示各区域的坐标。并且,用a(m,n)表示坐标(m,n)的局部区域。并且,设位于图像的左上方的局部区域的坐标为(0,0),将右方向定义为m的正方向,将下方向定义为n的正方向。另外,为了削减计算量,将由多个相邻的像素群构成的区域作为一个局部区域,但是,也可以将1个像素作为1个局部区域。该情况下,后面的处理相同。
局部区域设定部451将局部区域的大小和全部局部区域的坐标输出到特征量计算部452。局部区域设定部451将全部局部区域的坐标和与该坐标对应的窄带光图像上的坐标输出到对应部457。这里,窄带光图像上的坐标是指存在于局部区域的中心的像素的坐标。
特征量计算部452根据由局部区域设定部451设定的全部局部区域计算特征量。下面,以使用色相作为特征量的情况为例进行说明。
将局部区域a(m,n)的色相表记为H(m,n)。为了计算H(m,n),特征量计算部452首先计算各局部区域中的R、G、B信号的平均值R_ave、G_ave、B_ave。这里,R_ave是各局部区域所包含的全部像素的R信号的平均值。G_ave、B_ave也同样。例如,各信号值为8比特(0~255)。
特征量计算部452例如使用下式(13)~(18),根据R_ave、G_ave、B_ave计算各局部区域的色相H(m,n)。首先,通过下式(13)求出max。
【数学式13】
max=MAX(R_ave,G_ave,B_ave) (13)
这里,MAX()函数是输出括弧内的多个自变量中的最大值的函数。
在max为0的情况下,通过下式(14)计算色相H。
【数学式14】
H=0 (14)
在max为0以外的情况下,通过下式(15)计算d。
【数学式15】
d=MAX(R_ave,G_ave,B_ave)-MIN(R_ave,G_ave,B_ave) (15)
这里,MIN()函数是输出括弧内的多个自变量中的最小值的函数。
在R_ave、G_ave、B_ave中的R_ave最大的情况下,通过下式(16)计算色相H。
【数学式16】
H=60×(G_ave-B_ave)÷d (16)
在R_ave、G_ave、B_ave中的G_ave最大的情况下,通过下式(17)计算色相H。
【数学式17】
H=60×{2+(B_ave-R_ave)}÷d (17)
在R_ave、G_ave、B_ave中的B_ave最大的情况下,通过下式(18)计算色相H。
【数学式18】
H=60×{2+(R_ave-G_ave)}÷d (18)
另外,在H<0的情况下,将H加上360。并且,在H=360的情况下,设H=0。
病变区域检测部453将具有特定色相H的局部区域检测为病变区域,将检测为病变区域的全部局部区域的坐标输出到贴标签处理部454。例如,病变区域检测部453将色相H具有5~35的值的区域(相当于褐色区域)检测为病变区域。
贴标签处理部454对由病变区域检测部453输出的病变区域中的相互相邻的病变区域赋予相同的标签。下面,将赋予相同标签的病变区域的集合称为病变区域群。贴标签处理部454计算赋予相同标签的病变区域群的大小。这里,病变区域群的大小只要设为赋予相同标签的病变区域的数量即可。另外,不限于此,病变区域群的大小也可以表示病变区域群的面积的信息。
使用图36详细说明贴标签处理部454进行的处理。例如在检测到图36所示的病变区域的情况下,对属于A1所示的区域的病变区域赋予标签1。同样,对属于A2所示的区域的病变区域赋予标签2,对属于A3所示的区域的病变区域赋予标签3。贴标签处理部454计算赋予相同标签的病变区域群的大小。赋予标签1的病变区域群1(A1)的大小为7。同样,病变区域群2(A2)的大小为3,病变区域群3(A3)的大小为2。
区域选出部455选出由贴标签处理部454赋予了标签的多个病变区域群中的具有最大尺寸的病变区域群作为关注区域。然后,将该关注区域中包含的全部局部区域的坐标输出到坐标计算部456。在图36的情况下,选出A1所示的病变区域群1作为关注区域。
坐标计算部456根据由区域选出部455输出的全部局部区域坐标计算局部区域坐标的最大值(mMAX,nMAX)和最小值(mMIN,nMIN),将计算出的值输出到对应部457。
具体而言,设由区域选出部455输出的全部局部区域的数量为K,为了简便,将该全部局部区域表示为a(m1,n1)~a(mK,nK)。该情况下,坐标计算部456通过下式(19)计算局部区域坐标的最大值(mMAX,nMAX)和最小值(mMIN,nMIN)。
【数学式19】
对应部457计算与该最大值(mMAX,nMAX)、最小值(mMIN,nMIN)对应的窄带光图像的坐标。具体而言,根据由局部区域设定部451输出的局部区域和窄带光图像的坐标的对应关系来计算该坐标。下面,将与(mMAX,nMAX)、(mMIN,nMIN)对应的窄带光图像的坐标表示为(xMAX,yMAX)、(xMIN,yMIN)。对应部457将坐标(xMAX,yMAX)、(xMIN,yMIN)输出到测光处理条件设定部459。
测光处理条件设定部459决定作为测光处理对象的关注区域的条件即测光处理条件,将该测光处理条件输出到测光部416。具体而言,测光处理条件设定部459通过下式(20)计算关注区域的中心坐标(x0,y0),通过下式(21)计算关注区域的半径R,将计算出的中心坐标(x0,y0)和半径R作为测光处理条件。在图36说明的例子中,如图所示,将半径R的圆内设定为测光对象的关注区域。
【数学式20】
【数学式21】
这里,int()是返回括弧内的实数的整数值的函数。
根据以上的实施方式,关注区域设定部413根据摄像图像计算特征量(例如色相值),根据具有规定特征量(例如色相值5~35的范围)的区域来设定关注区域。
这样,根据病变部中出现的特征性的图像的特征量来设定关注区域,能够对该关注区域的明亮度进行调光控制。由此,手术医生能够以适当的明亮度对病变部进行观察。
并且,在本实施方式中,如图36等中说明的那样,关注区域设定部413选择具有规定特征量的区域中的面积最大的区域,将包含选择出的区域的圆形区域设定为关注区域。
由于手术医生使镜体接近希望观察的病变部,所以,认为较大地显示该希望观察的病变部。因此,通过将大小最大的病变区域群设定为关注区域,能够以适当的明亮度显示认为手术医生正在关注的区域。
另外,在上述实施方式中,以特征量是色相值的情况为例进行了说明,但是,本实施方式不限于此。例如,只要特征量能够识别病变部与其他区域即可,例如在识别出血部位的情况下,R像素值也可以是特征量。
并且,在上述实施方式中,说明了根据由贴标签处理部454贴了标签的病变区域群中具有最大尺寸的病变区域群来设定关注区域的例子,但是,本实施方式不限于此。例如,也可以根据由病变区域检测部453检测到的全部病变区域来设定关注区域。该情况下,只要区域选出部455将由贴标签处理部454输出的全部病变区域群中包含的局部区域的坐标输出到坐标计算部456即可。
由此,在存在多个病变区域群的情况下,也能够以适当的明亮度显示全部病变区域群。
并且,在上述实施方式中,示出使用通常光图像作为显示图像的例子,但是,本实施方式不限于此。例如,也可以使用窄带光图像作为显示图像。
并且,在本实施方式中,摄像图像是对具有特定波段的信息的被摄体像进行摄像而得到的特殊光图像、以及对具有白色光的波段的信息的被摄体像进行摄像而得到的通常光图像(白色光图像)。关注区域设定部413根据特殊光图像来设定关注区域。
调光控制部根据所设定的关注区域进行通常光图像的调光控制。
这样,通过取得与希望检测的病变部对应的特殊光图像,容易提取该病变部的特征量,能够根据该提取出的特征量来设定关注区域。并且,对应于根据特殊光图像而设定的关注区域,能够进行观察中通常使用的通常光图像的调光控制。
并且,在本实施方式中,特定波段是比白色波段(例如380nm~650nm)窄的波段(NBI:Narrow Band Imaging:窄带成像)。例如,通常光图像和特殊光图像是拍摄出活体内的活体内图像,该活体内图像中包含的特定波段是被血液中的血红蛋白吸收的波长的波段。例如,该被血红蛋白吸收的波长是390nm~445nm(第1窄带光nB)或530nm~550nm(第2窄带光nG)。
由此,能够对位于活体的表层部和深部的血管的构造进行观察。并且,通过将所得到的信号输入到特定通道(G2→R、B2→G、B),能够以褐色等显示扁平上皮癌等通常光中难以视觉辨认的病变等,能够抑制病变部的漏看。另外,390nm~445nm或530nm~550nm是根据被血红蛋白吸收这样的特性、以及分别到达活体的表层部或深部这样的特性而得到的数字。但是,该情况下的波段不限于此,例如,根据与血红蛋白的吸收和到达活体的表层部或深部有关的实验结果等的变动原因,认为波段的下限值减少0~10%左右,上限值上升0~10%左右。
并且,在本实施方式中,也可以是,通常光图像和特殊光图像是拍摄出活体内的活体内图像,该活体内图像中包含的特定波段是荧光物质发出的荧光的波段。例如,特定波段也可以是490nm~625nm的波段。
由此,能够进行被称为AFI(Auto Fluorescence Imaging:自体荧光成像)的荧光观察。在该荧光观察中,通过照射激励光(390nm~470nm),能够对来自骨胶原等荧光物质的自体荧光(intrinsic fluorescence。490nm~625nm)进行观察。在这种观察中,能够以与正常粘膜不同的色调对病变进行强调显示,能够抑制病变部的漏看等。另外,490nm~625nm表示照射上述激励光时由骨胶原等荧光物质发出的自体荧光的波段。但是,该情况下的波段不限于此,例如,根据与荧光物质发出的荧光的波段有关的实验结果等的变动原因,认为波段的下限值减少0~10%左右,上限值上升0~10%左右。并且,也可以同时照射被血红蛋白吸收的波段(540nm~560nm),生成虚拟彩色图像。
并且,在本实施方式中,活体内图像中包含的特定波段也可以是红外光的波段。例如,特定波段也可以是790nm~820nm或905nm~970nm的波段。
由此,能够进行被称为IRI(Infra Red Imaging:红外成像)的红外光观察。在该红外光观察中,通过在静脉注射容易吸收红外光的红外标识药剂即ICG(吲哚菁绿)后照射上述波段的红外光,能够对肉眼难以视觉辨认的粘膜深部的血管或血流信息进行强调显示,能够进行胃癌的深度诊断和治疗方针的判定等。另外,790nm~820nm这样的数字是根据红外标识药剂的吸收最强这样的特性求出的,905nm~970nm这样的数字是根据红外标识药剂的吸收最弱这样的特性求出的。但是,该情况下的波段不限于此,例如,根据与红外标识药剂的吸收有关的实验结果等的变动原因,认为波段的下限值减少0~10%左右,上限值上升0~10%左右。
并且,在本实施方式中,也可以包括特殊光图像取得部,该特殊光图像取得部根据所取得的通常光图像生成特殊光图像。例如,在图29中,也可以省略半透半反镜309、摄像元件310、A/D转换部311,图32的预处理部418和同时化部417作为特殊光图像取得部,根据通常光图像生成特殊光图像。
具体而言,特殊光图像取得部包括信号提取部,该信号提取部从所取得的通常光图像中提取白色波段中的信号。而且,特殊光图像取得部也可以根据提取出的通常光的波段中的信号,生成包含特定波段中的信号的特殊光图像。例如,信号提取部根据通常光图像的RGB信号,按照每10nm估计被摄体的分光反射率特性,特殊光图像取得部在上述特定波段中乘以该估计出的信号成分,生成特殊光图像。
更具体而言,特殊光图像取得部也可以包括矩阵数据设定部,该矩阵数据设定部根据通常光的波段中的信号设定用于计算特定波段中的信号的矩阵数据。而且,特殊光图像取得部也可以使用所设定的矩阵数据,根据白色波段中的信号计算特定波段中的信号,生成特殊光图像。例如,矩阵数据设定部设定按照每10nm记述特定波段的照射光的分光特性的表数据作为矩阵数据。而且,在按照每10nm估计出的被摄体的分光反射率特性中乘以该表数据中记述的分光特性(系数)进行累积,生成特殊光图像。
由此,由于能够根据通常光图像生成特殊光图像,所以,仅通过照射通常光的1个光源和对通常光进行摄像的1个摄像元件就能够实现系统。因此,能够减小胶囊型内窥镜、镜体型内窥镜的插入部,并且,由于部件很少即可,所以,还能够期待降低成本的效果。
8.第7实施方式
8.1.内窥镜装置
对根据镜体ID来设定关注区域的第7实施方式进行说明。
图37示出第7实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、插入部300、控制装置400、显示部500、外部I/F部550。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
插入部300包括光导纤维301、照明透镜314、315、物镜光学系统303、摄像元件304、A/D转换部305、存储器313。由于存储器313以外的各部的结构与第1实施方式相同,所以省略说明。
插入部300一般被称为镜体。因此,下面将插入部300适当地称为镜体。在内窥镜诊断中,根据要诊断的部位而使用不同的镜体。例如,在食道或胃的诊断中使用上部消化器镜体,在大肠的诊断中使用下部消化器镜体。另一方面,在镜体的存储器313中保持各镜体固有的识别编号(镜体ID)。
控制装置400包括图像处理部410、控制部420、状态信息取得部430。状态信息取得部430参照存储器313中保持的各镜体固有的识别编号,识别所连接的镜体的种类。镜体的种类例如是上部消化器镜体或下部消化器镜体中的某一种。状态信息取得部430将识别到的镜体的种类输出到后述关注区域设定部413。
8.2.图像处理部
图38示出第7实施方式的图像处理部410的详细结构例。图像处理部410包括预处理部411、同时化部412、关注区域设定部413、后处理部415、测光部416、灰度转换部419。由于关注区域设定部413以外的处理与第1实施方式相同,所以省略说明。
关注区域设定部413根据由状态信息取得部430输出的镜体的种类来设定关注区域。关注区域的设定方法与第3实施方式相同。具体而言,在镜体的种类为下部消化器镜体的情况下,将侧方视野的区域设定为关注区域。在镜体的种类为上部消化器镜体的情况下,将前方视野的区域设定为关注区域。
根据以上的实施方式,如图37等中说明的那样,能够在内窥镜装置上装卸镜体(插入部300)。状态信息取得部430取得用于识别所装配的镜体的识别信息(镜体ID)。关注区域设定部413根据所取得的识别信息来设定关注区域。
这样,通过根据所连接的镜体来实施适当的调光控制,手术医生能够以适当的明亮度对病变区域进行观察。
具体而言,镜体具有对前方视野和侧方视野进行成像的物镜光学系统。在识别信息是表示下部消化道用镜体的识别信息的情况下,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。
在作为下部消化器镜体的诊断对象的大肠中,假设位于褶皱背面的病变显示在图像的侧方区域中。因此,通过对与侧方视野对应的区域的明亮度进行调光控制,能够改善病变漏看的危险性。
并且,在本实施方式中,在识别信息是表示上部消化道(例如胃或食道)用镜体的识别信息的情况下,关注区域设定部413将摄像图像中的与前方视野对应的区域设定为关注区域。
由于在作为上部消化器的诊断对象的食道或胃中褶皱较少,所以,与侧方视野相比,前方视野在诊断时更为重要。因此,通过对与前方视野对应的区域的明亮度进行调光控制,能够容易看到重要的视野。
9.第8实施方式
9.1.关注区域设定部
对根据图像计算被摄体的运动量(广义地讲为运动信息)并根据该运动量设定关注区域的第8实施方式进行说明。
由于内窥镜装置和图像处理部410的结构与前面图3、图6中所述的第1实施方式相同,所以适当省略说明。下面,对结构与第1实施方式不同的关注区域设定部413进行详细说明。
图39示出第8实施方式的关注区域设定部413的详细结构例。关注区域设定部413包括失真校正部471、图像存储器472、运动检测部473(广义地讲为运动信息取得部)、设定部474。
同时化部412将同时化后的图像信号输出到失真校正部471。失真校正部471与图像存储器472、运动检测部473、设定部474连接。运动检测部473与设定部474连接。设定部474与测光部416连接。控制部420与失真校正部471、图像存储器472、运动检测部473、设定部474双向连接,进行它们的控制。
失真校正部471针对同时化处理后的图像信号,对作为一种像差的畸变像差(以下适当称为失真)进行校正。图40示出失真校正处理前后的图像例。
具体而言,失真校正部471取得失真校正处理后的图像的像素坐标。根据光学系统的失真而预先取得失真校正处理后的图像尺寸。失真校正部471使用下式(22)将所取得的像素坐标(x,y)转换为以光轴中心为原点的坐标(x’,y’)。
【数学式22】
这里,(center_x,center_y)是失真校正处理后的光轴中心的坐标。例如,失真校正处理后的光轴中心是失真校正处理后图像的中心。
接着,失真校正部471根据转换后的像素坐标(x’,y’),使用下式(23)计算物体高r。
【数学式23】
r=(x′2+y′2)1/2/max_r (23)
这里,max_r是失真校正处理后的图像中的最大物体高。
接着,失真校正部471根据计算出的物体高r来计算像高与物体高之比(R/r)。具体而言,失真校正部471保持比R/r与物体高r之间的关系作为表,通过参照该表,取得与物体高r对应的比R/r。接着,失真校正部471使用下式(24)取得与失真校正处理后的像素坐标(x,y)对应的失真校正处理前的像素坐标(X,Y)。
【数学式24】
这里,(center_X,center_Y)是失真校正处理前的光轴中心的坐标。例如,失真校正处理前的光轴中心是失真校正处理前的图像的中心。
接着,失真校正部471根据计算出的失真校正处理前的像素坐标(X,Y),计算失真校正处理后的像素坐标(x,y)中的像素值。在(X,Y)不是整数的情况下,通过基于周围像素值的线性插值来计算像素值。失真校正部471对失真校正处理后的图像的全部像素进行以上处理。失真校正部471将这样进行失真校正后的图像输出到图像存储器472和运动检测部473。
图像存储器472保存由失真校正部471进行失真校正后的失真校正后图像。所保存的失真校正后图像与失真校正部471输出新的失真校正后图像的定时同步地输出到运动检测部473。
运动检测部473根据由失真校正部471进行失真校正后的失真校正后图像和图像存储器472中保存的失真校正后图像,检测图像的局部运动。下面,为了简化说明,设前者的失真校正后图像为当前帧图像,设后者的失真校正后图像为前帧图像。
具体而言,运动检测部473在当前帧图像上设定用于检测局部运动的点即代表点。例如如图41所示,在当前帧图像的像素中以一定间隔呈格子状设定代表点(图41所示的●)。运动检测部473计算当前帧图像与前帧图像之间的代表点的运动矢量作为局部运动量。例如,使用作为公知技术的块匹配来检测运动矢量。运动检测部473将所设定的代表点的坐标和在各代表点检测到的运动矢量输出到设定部474。
设定部474根据来自失真校正部471的当前帧图像以及来自运动检测部473的代表点的坐标和各代表点的运动矢量,设定关注区域。具体而言,设定部474根据当前帧图像和运动矢量判定是否是拔出状态,如果是拔出状态,则将侧方视野设定为关注区域,如果不是拔出状态,则将前方视野设定为关注区域。设定部474将所设定的关注区域输出到测光部416。
这里,拔出状态是指在将内窥镜插入到管腔状脏器的里面后一边拔出内窥镜一边进行观察的状态。由于一般针对大肠进行这种观察,所以,如果是拔出状态,则将侧方视野设定为关注区域,使得容易观察褶皱背面,如果不是拔出状态,则将前方视野设定为关注区域,使得容易进行内窥镜操作。
9.2.拔出状态的判定方法
使用图42(A)~图42(D)对拔出状态的判定方法进行说明。首先,根据代表点中的运动矢量来检测运动矢量的消失点。
具体而言,在图42(A)中,●表示代表点,实线箭头表示运动矢量,×表示消失点。消失点是以各代表点为始点在沿着各代表点的运动矢量的方向上延长的直线的交点。例如,当观察对象为内径恒定的圆筒状、运动矢量仅由内窥镜的运动产生时,在拔出状态的情况下,从各代表点延长的直线在消失点这一点交叉。实际上,作为观察对象的管腔状脏器的内径并不恒定,并且,运动矢量还由于活体脉动而产生,所以,即使在拔出状态下,直线也不会在消失点这一点交叉。因此,将与全部直线之间的距离的平方和作为第1评价值,将该第1评价值最小的点作为消失点候选。当设直线为ax+by+c=0、点为(p,q)时,通过下式(25)求出第1评价值D。
【数学式25】
这里,上式(25)中的和表示与从代表点延长的全部直线有关的距离的平方的总和。
通过最小二乘法,使用下式(26)计算第1评价值D最小的消失点候选的坐标(xsk,ysk)。
【数学式26】
这里,当设代表点的坐标为(Px,Py)、代表点处的运动矢量为(Mx,My)时,a=My、b=-Mx、c=MxPy-MyPx。
接着,在该消失点候选中的第1评价值D为规定第1阈值以下、该消失点候选存在于图像内的情况下,将该消失点候选作为消失点。在消失点候选不满足该条件的情况下,判定为无法检测消失点。
对在该条件下能够检测拔出状态的理由进行详细说明。这里,如图42(B)所示,定义内窥镜前端的移动方向。x方向、y方向、z方向在图像上分别对应于水平方向、铅直方向、与水平方向和铅直方向正交的进深方向。并且,关于x方向、y方向、z方向,将沿着箭头的运动定义为正运动,将相反的运动定义为负运动。在拔出状态下,内窥镜前端为z方向负运动。在不是拔出状态、例如内窥镜的前端的运动为x方向正运动的情况下,如图42(C)所示,由于运动矢量大致平行,所以,该消失点候选存在于图像外。或者,即使消失点候选存在于图像内,该消失点候选中的第1评价值D也成为较大的值。即,根据消失点候选存在于图像内、第1评价值D小于第1阈值这样的条件,能够检测z方向的运动。
接着,进行是否是拔出状态的判定。如图42(D)所示,在插入了内窥镜的情况下也能够检测消失点。因此,根据从各代表点朝向该消失点的矢量(虚线箭头)和运动矢量(实线箭头)进行判定。具体而言,在朝向该消失点的矢量和运动矢量的内积为负的代表点为规定个数以上的情况下,判定为未检测到消失点。在未检测到消失点的情况下,判定为不是拔出状态。
接着,设检测到的消失点坐标中的当前帧图像的像素值为第2评价值,根据该第2评价值判定观察对象是否是管腔状脏器。在消失点坐标不是整数的情况下,根据周围的像素值,通过线性插值来计算第2评价值。然后,在第2评价值为规定第2阈值以下的情况下,判定为管腔状脏器。在观察对象不是管腔状而是平坦的情况下,由于当内窥镜前端进行z方向负运动时检测消失点,所以,需要进行这种判定。
具体而言,在观察对象为管腔状的情况下,在当前帧图像上,由于消失点位于照明光不太能照射到的管腔状脏器的背面,所以,第2评价值变小。另一方面,在观察对象为平坦的情况下,在当前帧图像上,由于消失点位于照明光比较能照射到的区域,所以,第2评价值变大。由此,通过判定第2评价值是否为第2阈值以下,能够判定拔出状态,即一边相对于管腔状的观察对象拔出内窥镜一边进行观察。
另外,在上述实施方式中,在判定从拔出状态切换为非拔出状态的情况下,立即将前方视野设定为关注区域,但是,本实施方式不限于此。例如,也可以在非拔出状态这样的判定连续规定帧的情况下,将前方视野设定为关注区域。在判定从非拔出状态切换为拔出状态的情况下也同样,可以在拔出状态这样的判定连续规定帧的情况下,将侧方视野设定为关注区域。通过这样设定关注区域,能够防止在细细地反复进行插入和拔出的情况下频繁切换关注区域而使显示画面不稳定。
根据以上的实施方式,如图39所示,关注区域设定部413具有运动检测部473。运动检测部473根据摄像图像取得被摄体的运动量。关注区域设定部根据所取得的运动量来设定关注区域。
具体而言,如图42(A)等中说明的那样,内窥镜装置的特征在于,在根据运动量判定为处于拔出镜体的状态的情况下,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。
通常,在对大肠进行观察的情况下,一边拔出镜体一边进行观察。因此,通过在拔出时将与侧方视野对应的区域设定为关注区域而进行调光控制,能够适当地取得对大肠的褶皱背面等的诊断有用的信息。
并且,在本实施方式中,运动检测部473计算多个代表点的运动矢量作为运动量,求出计算出的运动矢量的消失点。在求出的消失点存在于摄像图像中、从代表点朝向消失点的矢量和运动矢量的内积为正的情况下,关注区域设定部413判定为处于拔出镜体的状态。
这样,通过判定消失点的位置,能够判定镜体插入或拔出的情况,通过判定运动矢量的朝向,能够判定是插入还是拔出。
并且,在本实施方式中,在判断为消失点的像素值小于阈值(第2阈值)的情况下,关注区域设定部413判定为处于拔出镜体的状态。
这样,如上所述,由于能够判定是处于镜体正对着壁面的状态还是处于镜体朝向沿着管腔的方向的状态,所以,能够判定拔出状态,即沿着管腔的方向的移动。
并且,在本实施方式中,在根据运动量判定为不是拔出镜体的状态的情况下,关注区域设定部413将摄像图像中的与前方视野对应的区域设定为关注区域。
这样,能够将认为主要在拔出时以外使用的前方视野设定为关注区域并进行调光控制。例如,由于在插入时使用前方视野对内窥镜进行操作,所以,能够提示包含大量对该操作有用的信息的前方的信息。
并且,在本实施方式中,如图39所示,运动检测部473具有失真校正部471。失真校正部471根据镜体的光学系统所具有的畸变像差来进行摄像图像的失真校正。运动检测部473根据失真校正后的摄像图像取得运动量。
这样,例如在使用了图1的物镜光学系统等视野范围较宽的光学系统的情况下,能够对因其畸变像差而导致的图像的失真进行校正。由此,能够减轻失真对运动量检测的影响。
10.第9实施方式
10.1.内窥镜装置
对通过形状检测部取得被摄体的形状信息并根据该形状信息设定关注区域的第9实施方式进行说明。
图43示出第9实施方式的内窥镜装置的结构例。内窥镜装置包括光源部100、插入部300、控制装置400、显示部500、外部I/F部550、形状检测部700(例如UPD(PositionDetecting Unit:位置检测单元))。另外,对与图3等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。
插入部300包括光导纤维301、照明透镜314、315、物镜光学系统303、摄像元件304、A/D转换部305、磁线圈312。由于磁线圈312以外与第1实施方式相同,所以省略说明。
例如在插入部300中设置十几个磁线圈312,分别向形状检测部700(广义地讲为形状信息取得部)发出磁。多个磁线圈312例如沿着插入部300的长度方向排列。
形状检测部700通过未图示的天线接收设于插入部300的各部中的磁线圈312发出的磁,实时取得各磁线圈的三维位置信息。形状检测部700根据所取得的磁线圈的三维位置信息,实时取得表示插入部300的形状的内窥镜形状信息。
控制装置400包括图像处理部410、控制部420、状态信息取得部430。由于控制部420与第1实施方式相同,所以省略说明。
10.2.状态信息取得部
图44示出第9实施方式的状态信息取得部430的详细结构例。状态信息取得部430包括被摄体信息取得部436和观察信息取得部437。形状检测部700将检测到的内窥镜形状信息输出到被摄体信息取得部436和观察信息取得部437。被摄体信息取得部436与关注区域设定部413连接。观察信息取得部437与关注区域设定部413连接。
被摄体信息取得部436根据由形状检测部700取得的内窥镜形状信息,判定被摄体是否是下部消化道。具体而言,被摄体信息取得部436根据内窥镜形状信息取得被插入体内的内窥镜的长度和内窥镜形状是否形成环形的判定结果,根据该长度和判定结果来判定是否是下部消化道。
更具体而言,一般在对下部消化道进行内窥镜检查的情况下,与对除此以外的脏器进行内窥镜检查的情况相比,将内窥镜插入到里侧深部。因此,如果内窥镜被插入体内规定长度以上,则被摄体信息取得部436判定为被摄体是下部消化道。并且,存在如下的插入法:仅在将内窥镜插入下部消化道中的情况下,为了容易进行插入,在内窥镜中形成环形。因此,如果在内窥镜中形成环形,则被摄体信息取得部436判定为被摄体是下部消化道。
在被插入体内的内窥镜超过规定长度或内窥镜形成环形之前,被摄体信息取得部436判定为被摄体不是下部消化道。然后,在满足任意一个条件的情况下,判定为被摄体是下部消化道,此后不变更该判定结果。被摄体信息取得部436将该判别结果作为被摄体信息输出到关注区域设定部413。
观察信息取得部437根据由形状检测部700取得的内窥镜形状信息,判定内窥镜是否处于拔出状态。具体而言,观察信息取得部437根据内窥镜形状信息,判定被插入体内的内窥镜的长度是否经时缩短,在经时缩短的情况下判定为处于拔出状态。观察信息取得部437将拔出状态的判定结果作为观察信息输出到关注区域设定部413。
10.3.图像处理部
第9实施方式的图像处理部410包括预处理部411、同时化部412、关注区域设定部413、后处理部415、测光部416、灰度转换部419。另外,结构与图17中说明的第2实施方式相同。由于关注区域设定部413以外的动作和处理与第2实施方式相同,所以省略说明。
关注区域设定部413根据由状态信息取得部430输出的被摄体信息和观察信息来设定关注区域。具体而言,在根据被摄体信息判定为被摄体是下部消化道、根据观察信息判定为内窥镜处于拔出状态的情况下,关注区域设定部413将侧方视野设定为关注区域。在除此以外的情况下,将前方视野设定为关注区域。关注区域设定部413将所设定的关注区域输出到测光部416。
根据以上的实施方式,如图44所示,内窥镜装置包括取得镜体插入部(插入部300)的形状信息(例如图43的磁线圈312的三维位置信息)的形状检测部700。状态信息取得部430具有被摄体信息取得部436。被摄体信息取得部436取得所取得的形状信息作为状态信息,根据该形状信息取得被摄体信息。关注区域设定部413根据所取得的被摄体信息来设定关注区域。
具体而言,被摄体信息取得部436根据形状信息判定被摄体的部位,取得判定出的部位作为被摄体信息。在判定为被摄体的部位是下部消化道的情况下,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。
更具体而言,被摄体信息取得部436在判断为镜体插入部是环形状的情况下,判定为被摄体的部位是下部消化道。
这样,能够根据基于被摄体的形状信息而判定出的部位来设定关注区域并进行调光控制。并且,在下部消化道的情况下,通过对侧方视野的明亮度进行调光控制,能够适当地对手术医生提示在拔出时等对大肠的褶皱背面等的诊断有用的信息。
这里,被摄体信息是与被摄体有关的信息。被摄体信息不限于被摄体的部位,只要是根据被摄体的形状信息而估计出的信息即可,例如也可以是被摄体的大小或长度。
并且,在本实施方式中,状态信息取得部430具有观察信息取得部437。观察信息取得部437取得所取得的形状信息作为状态信息,根据该形状信息取得观察状态信息。关注区域设定部413根据所取得的观察状态信息来设定关注区域。
具体而言,观察信息取得部437根据形状信息判定镜体的行进方向,取得判定出的行进方向作为观察状态信息。在判定为镜体被拔出的情况下,关注区域设定部413将摄像图像中的与侧方视野对应的区域设定为关注区域。
这样,在对镜体进行拔出操作的情况下,能够对侧方视野的明亮度进行调光控制。例如,在被摄体是下部消化道且对镜体进行拔出操作的情况下,通过对侧方视野的明亮度进行调光控制,手术医生容易观察褶皱背面等。
并且,在本实施方式中,在判定为被摄体是下部消化道且判定为处于拔出状态的情况以外的情况下,关注区域设定部413将摄像图像中的与前方视野对应的区域设定为关注区域。
这样,将在上部消化道的观察和下部消化道的插入操作中很重要的前方视野设定为关注区域,能够对该关注区域的明亮度进行调光控制。
11.第10实施方式
11.1.概要
对从图像中检测红晕区域并将该红晕区域以外的区域设定为关注区域的第10实施方式进行说明。
很难将内窥镜插入大肠的理由是,大肠是狭窄的管腔,屈曲扭转,还依赖于内窥镜插入而伸缩变形。在这种状况下,操作者进行如下操作:一边观察内窥镜像来判断插入方向,一边驱使内窥镜的操作而向插入方向进行引导。内窥镜的操作是内窥镜前端的上下左右的角度操作、内窥镜插入部(适当称为镜体)的推拉扭转等。
这种插入操作对于不熟练的医生来说是很难的。特别是在插入时推进内窥镜插入部的操作较多,所以,内窥镜前端频繁与肠壁接触,内窥镜像成为被称为红晕的整个图像为红色的焦点模糊状态,实在无法判断插入方向。当成为这种状态时,需要通过稍微拉回内窥镜插入部,从红晕状态返回能够确认插入方向的状态再次进行插入操作,成为插入时间延长的原因之一。
在前端具有180度以上(包含该值)的宽视野的光学系统的内窥镜中,由于即使内窥镜前端与肠壁接触也不会堵住较宽的全部视野,所以,不会在内窥镜像整个区域内产生上述红晕状态,能够确保一部分视野。即,存在即使在内窥镜前端与肠壁接触的状态下也能够确认插入方向的可能性。
因此,在本实施方式中,在180度以上(包含该值)的光学系统的内窥镜像中检测红晕区域,将该红晕区域以外的区域设定为关注区域,在提高该关注区域的视觉辨认性的状态下对医生进行提示,由此,实现插入时间的缩短。提高视觉辨认性的状态是通过对关注区域的调光控制而将关注区域调整为适当曝光的状态。
图45示出内窥镜插入部的前端倾斜接触对大肠进行模型化后的管腔的壁面的状态。如图46(A)所示,在该状态的内窥镜像中,成为红晕区域占据内窥镜像的大半部分的状态。在该状态下,在管腔笔直开口的情况下,能够将暗部判断为插入方向。另一方面,在管腔屈曲的状态下或管腔的口闭合的状态下,由于插入方向不是明确的暗部而很难看清,所以,希望以进一步放大内窥镜像的红晕以外的较小的关注区域的状态进行观察。因此,如图46(B)所示,放大显示红晕区域以外的较小的关注区域。这样,能够判断很难识别的插入方向。
并且,在图46(A)的红晕区域中,由于在插入部的前端与肠壁接触的状态下对肠壁照射照明光,所以,在红晕区域和除此以外的关注区域中,相对地产生明暗差。特别是,在内窥镜中,对照明光量进行调整(调光处理),将内窥镜像控制成适当曝光状态。因此,当红晕区域占据大部分时,进行调光控制以使得红晕区域的明亮度成为适当曝光状态。这样,即使特意使红晕区域以外的关注区域位于视野内,该关注区域也可能变暗而不会适当曝光,所以,即使对关注区域进行放大处理,也无法确保插入方向的视觉辨认性。因此,将红晕区域以外的关注区域指定为调光对象区域进行调光处理。由此,能够在适当曝光状态下观察关注区域,容易识别插入方向。
由于图46(A)是倾斜接触肠壁的情况下的例子,所以,即使将红晕区域以外的区域大致判断为插入方向,也能够以某种程度进行插入。但是,在大肠(管腔)的屈曲部等中,有时内窥镜前端会以正对着肠壁的状态与肠壁接触。该情况下,内窥镜像的中央部分成为红晕区域,周边部分成为红晕区域以外的关注区域。该情况下,仅发现红晕区域以外的区域,无法识别插入方向。因此,与上述同样放大显示作为关注区域的周边区域,将周边区域指定为调光对象区域进行调光处理。由此,能够更加简单地从放大后的周边区域的360度的方向中识别应该插入的方向。
11.2.图像处理部
接着,对本实施方式的检测红晕区域的方法以及将红晕区域以外的区域设定为关注区域的方法进行详细说明。
图47示出第10实施方式的图像处理部410的详细结构例。图像处理部410包括预处理部411、同时化部412、关注区域设定部413、变倍处理部414、后处理部415、测光部416。下面,对与图6等中说明的结构要素相同的结构要素标注相同标号并适当省略说明。另外,第10实施方式的内窥镜装置与前面图3等中所述的第1实施方式相同。
预处理部411与同时化部412连接。同时化部412与关注区域设定部413和变倍处理部414连接。关注区域设定部413与变倍处理部414和测光部416连接。变倍处理部414与后处理部415连接。后处理部415与显示部500连接。控制部420与预处理部411、同时化部412、关注区域设定部413、变倍处理部414、后处理部415、测光部416连接。
关注区域设定部413将红晕区域以外的区域设定为关注区域。变倍处理部414进行放大所设定的关注区域的处理。这些处理在后面详细叙述。测光部416计算图像的明亮度(例如亮度)。测光部416在设定了关注区域的情况下,计算关注区域的明亮度。测光部416将计算出的明亮度输出到控制部420。控制部420根据该明亮度来控制光源光圈驱动部103,进行调光处理。
11.3.关注区域设定部
图48示出第10实施方式的关注区域设定部413的详细结构例。关注区域设定部413包括颜色转换部461、红晕区域候选检测部462、散焦检测部463、红晕区域判定部464、变倍参数设定部465。
颜色转换部461与红晕区域候选检测部462和散焦检测部463连接。红晕区域候选检测部462与红晕区域判定部464连接。散焦检测部463与红晕区域判定部464连接。红晕区域判定部464与变倍参数设定部465和测光部416连接。变倍参数设定部465与变倍处理部414连接。控制部420与红晕区域候选检测部462、散焦检测部463、变倍参数设定部465连接。
颜色转换部461将从同时化部412输出的彩色图像的RGB信号转换为亮度信号和颜色信号。另外,下面以将RGB信号转换为YCbCr信号的情况为例进行说明。颜色转换部461将计算出的亮度信号Y输出到散焦检测部463和测光部416,将色差信号Cb、Cr输出到红晕区域候选检测部462。
红晕区域候选检测部462根据来自控制部420的块尺寸信息(例如N×N块)将所输入的色差信号Cb、Cr分割为块区域。然后,红晕区域候选检测部462根据块区域内的色差信号的统计量判定红晕区域候选,将每个块区域的判定信息输出到红晕区域判定部464。
散焦检测部463根据来自控制部420的块尺寸信息将所输入的亮度信号Y分割为块区域。然后,散焦检测部463根据块区域内有无高频率成分来判定块区域是否是散焦状态,将每个块区域的判定信息输出到红晕区域判定部464。
红晕区域判定部464将由红晕区域候选检测部462判定为红晕候选区域、由散焦检测部463判定为散焦状态的块区域判定为红晕区域。红晕区域判定部464将该判定结果输出到变倍参数设定部465和测光部416。
如图49所示,变倍参数设定部465针对分割后的各块区域(N×N块的各块)设定变倍参数。具体而言,变倍参数设定部465根据红晕区域判定部464的判定结果,将成像区域内的块区域中的判定为不是红晕区域的块区域设定为关注区域。变倍参数设定部465根据关注区域与红晕区域之间的关系对各块区域设定变倍参数,将所设定的变倍参数输出到变倍处理部414。
变倍处理部414再次设定与非关注区域之间的显示倍率以放大显示成像区域内的关注区域,生成与红晕区域相比相对放大关注区域的图像。再次设定伴随显示倍率的变更,生成变倍处理前的坐标位置(实数精度)相对于变倍处理后的像素位置(整数精度)的转换表。
测光部416根据从关注区域设定部413输出的红晕区域以外的关注区域信息和从颜色转换部461输出的亮度信号,计算关注区域的平均亮度电平。
11.4.红晕区域候选检测部
图50示出红晕区域候选检测部462的详细结构例。红晕区域候选检测部462包括区域分割部481、统计量计算部482、特定颜色区域判定部483、存储器484。
区域分割部481与统计量计算部482连接。统计量计算部482与特定颜色区域判定部483连接。特定颜色区域判定部483与存储器484和红晕区域判定部464连接。并且,控制部420与区域分割部481和特定颜色区域判定部483连接。
区域分割部481根据来自控制部420的块尺寸将从颜色转换部461输出的Cb信号、Cr信号分别分割为块区域,将该块区域输出到统计量计算部482。
统计量计算部482计算Cb信号的块区域中的Cb信号的平均值Cba(x,y)和标准偏差值Cbs(x,y),计算Cr信号的块区域中的Cr信号的平均值Cra(x,y)和标准偏差值Crs(x,y)。统计量计算部482将计算出的这些值输出到特定颜色区域判定部483。这里,x表示水平方向的块区域的坐标,y表示垂直方向的块区域的坐标。图像的左上方为原点(0,0)。随着去往图像的右方(水平扫描方向),x的值增大。随着去往图像的下方(与水平扫描方向正交的方向),y的值增大。
对特定颜色区域判定部483输入上述平均值和标准偏差值。并且,从控制部420向特定颜色区域判定部483输入用于在以Cb信号和Cr信号为坐标轴的二维平面(以下称为色相平面)中规定红晕区域候选的特定颜色区域信息。
这里,特定颜色区域信息是指定色相平面内的区域的信息,例如可以由色相角和彩度指定,也可以由CbCr坐标指定。
并且,从控制部420向特定颜色区域判定部483输入用于规定对大肠进行一般观察的情况下的粘膜和血管的颜色区域的通常颜色区域信息。通常颜色区域信息是指定色相平面内的区域的信息,通过与特定颜色区域信息相同的形式进行指定即可。另外,下面将特定颜色区域信息所表示的色相平面的区域称为特定颜色区域,将通常颜色区域信息所表示的色相平面的区域称为通常颜色区域。
如图49所示,在平均值Cba(x,y)、Cra(x,y)进入特定颜色区域内的情况下,特定颜色区域判定部483将该块区域的红晕区域候选标志Frc(x,y)设定为“有效(ON)”,将该标志Frc(x,y)记录在存储器484中。红晕区域候选标志Frc(x,y)作为表示红晕区域候选的标志被分配给各块区域。在未判定为块区域是红晕区域候选的情况下,特定颜色区域判定部483将该块区域的红晕区域候选标志Frc(x,y)设定为“无效(OFF)”,将该标志Frc(x,y)记录在存储器484中。
在标准偏差值Cbs(x,y)小于阈值ThCb、且标准偏差值Crs(x,y)小于阈值ThCr的情况下,特定颜色区域判定部483不变更该块区域的红晕区域候选标志Frc(x,y),使其维持现状。阈值ThCb、ThCr存储在存储器484中。另一方面,在标准偏差值Cbs(x,y)为阈值ThCb以上(包含该值)、或标准偏差值Crs(x,y)为阈值ThCr以上(包含该值)的情况下,特定颜色区域判定部483将该块区域的红晕区域候选标志Frc(x,y)设定为“无效(OFF)”。特定颜色区域判定部483将所设定的红晕区域候选标志Frc(x,y)输出到红晕区域判定部464。
这里,阈值ThCb和阈值ThCr是在过去摄像的彩色图像中的块区域的平均值Cba(x,y)、Cra(x,y)包含在通常颜色区域内的情况下,对块区域的标准偏差值Cbs(x,y)、Crs(x,y)的最大值MaxCbss、MaxCrss乘以规定系数(小于1)而得到的。规定系数预先保存在控制部420内,从控制部420取得。
将过去的标准的粘膜区域的最大标准偏差MaxCbss、MaxCrss作为基准是因为,将特定颜色区域所包含的颜色偏差比通常观察的粘膜区域小的块区域检测为红晕区域候选。即,这是因为,在散焦状态的红晕区域中,由于模糊而使得粘膜内的血管未被分解,粘膜与血管之间的颜色偏差低。
11.5.散焦检测部
图51示出散焦检测部463的详细结构例。散焦检测部463包括区域分割部491、频率成分生成部492、高频有无判定部493。
区域分割部491与频率成分生成部492连接。频率成分生成部492与高频有无判定部493连接。并且,控制部420与区域分割部491和高频有无判定部493连接。
区域分割部491根据来自控制部420的块尺寸将从颜色转换部461输出的亮度信号分割为块区域,将分割后的块区域输出到频率成分生成部492。
频率成分生成部492对块区域进行例如DCT(离散余弦转换)、FFT(高速傅里叶转换),将其转换为频率成分。频率成分生成部492将所生成的各块区域的频率成分输出到高频有无判定部493。
对高频有无判定部493输入各块区域的频率成分以及来自控制部420的高频判定阈值Thf和高频有无判定阈值Thp。在频率成分的振幅值大于规定值的最高频率大于高频判定阈值Thf、频率成分总和大于高频有无判定阈值Thp的情况下,高频有无判定部493判定为块区域处于对焦状态,将散焦状态标志Fdf(x,y)设定为“无效(OFF)”。在频率成分总和为高频有无判定阈值Thp以下(包含该值)的情况下,高频有无判定部493判定为处于散焦状态,将散焦状态标志Fdf(x,y)设定为“有效(ON)”。高频有无判定部493将所设定的散焦状态标志Fdf(x,y)输出到红晕区域判定部464。
另外,散焦检测部463不限于上述结构。例如,散焦检测部463也可以通过单纯的高通滤波器或带通滤波器对亮度信号进行处理,在块区域内对提取出的高频成分信号进行绝对值相加,通过规定阈值对该值进行阈值判定,从而判定散焦状态。
红晕区域判定部464通过取红晕区域候选标志Frc(x,y)与散焦状态标志Fdf(x,y)的逻辑积,得到红晕区域标志Fr(x,y)。如图52所示,红晕区域判定部464例如利用闭合曲线近似设定包含红晕区域标志Fr(x,y)为“有效(ON)”的多个块区域的边界线,将该边界线内的区域作为最终的红晕区域的判定结果。然后,红晕区域判定部464将该区域内的全部红晕区域标志Fr(x,y)设定为“有效(ON)”,将该红晕区域标志Fr(x,y)输出到变倍参数设定部465。
11.6.变倍参数设定部
图53示出变倍参数设定部465的详细结构例。变倍参数设定部465包括红晕区域参数计算部495和块变倍参数计算部496。
红晕区域参数计算部495与块变倍参数计算部496连接。块变倍参数计算部496与变倍处理部414连接。并且,控制部420与红晕区域参数计算部495和块变倍参数计算部496连接。
如图52所示,红晕区域参数计算部495计算所输入的红晕区域标志Fr(x,y)为“有效(ON)”的区域的重心位置R0、以及从该重心位置R0到红晕区域边界的最大距离Rr。具体而言,根据来自控制部420的块尺寸计算红晕区域标志Fr(x,y)为“有效(ON)”的全部块区域的中心坐标,将计算出的中心坐标的红晕区域内平均值作为重心位置R0。并且,搜索红晕区域内的块区域的中心坐标和重心位置R0的最大距离,求出最大距离Rr。红晕区域参数计算部495将计算出的重心位置R0和最大距离Rr输出到块变倍参数计算部496。
块变倍参数计算部496根据所输入的重心位置R0和最大距离Rr,利用圆来定义红晕区域(下面将该圆内称为红晕区域)。红晕区域的中心是重心位置R0,红晕区域的半径是最大距离Rr。并且,还利用圆来定义整个成像区域(下面将该圆内称为成像区域)。成像区域的中心是光轴中心,与成像区域的半径一起根据光学系统被预先确定。成像区域的中心和半径从控制部420输入到块变倍参数计算部496。
块变倍参数计算部496根据红晕区域和成像区域决定各块区域的变倍参数。具体而言,在设红晕区域的中心位置为R0、块区域的中心位置为B0(x,y)的情况下,求出穿过R0和B0(x,y)的直线。然后,计算该直线与成像区域的边界的交点ISb(x,y),计算该直线与红晕区域的边界的交点Rb(x,y)。
块变倍参数计算部496通过下式(27)计算线段|R0-Rb(x,y)|的距离Rr与线段|ISb(x,y)-Rb(x,y)|的距离DS(x,y)之比DRatio(x,y)。并且,通过下式(28)计算R0与B0(x,y)的距离DB(x,y)。针对全部块区域计算DRatio(x,y)和DB(x,y)。
DRatio(x,y)
=|ISb(x,y)-Rb(x,y)|/|R0-Rb(x,y)|
=|ISb(x,y)-Rb(x,y)|/Rr (27)
DB(x,y)
=|R0-B0(x,y)| (28)
块变倍参数计算部496将与各块对应地计算出的比DRatio(x,y)、距离DB(x,y)、红晕区域的中心R0、红晕区域的半径Rr输出到变倍处理部414。
变倍处理部414蓄积1个画面量的从块变倍参数计算部496输入的每个块区域的参数,生成像素单位的倍率转换表。如图54所示,红晕区域与非红晕区域的距离比DRatio(x,y)被用于从多个变倍后归一化距离相对于变倍前归一化距离的对应曲线中选择一条曲线。该曲线可以由一览表(LUT)记述,也可以由多项式的系数记述。该曲线存储在变倍处理部414内的未图示的ROM表中,ROM表的地址对应于距离比DRatio(x,y)。
变倍处理部414通过下式(29)计算各块区域的归一化距离ND(x,y)。
ND(x,y)=DB(x,y)/(1+DRatio(x,y))×Rr (29)
变倍处理部414根据计算出的归一化距离ND(x,y),决定代表各块区域的变倍前后的归一化距离的对应关系(下面称为代表对应关系)。代表对应关系是图54所示的相对于变倍后的归一化距离的变倍前的归一化距离。变倍处理部414使用关注块区域的代表对应关系及其周边块区域的代表对应关系,通过插值来计算关注块区域内的各像素中的变倍前后的归一化距离的对应关系。例如,作为插值处理,能够利用线性插值。
变倍处理部414对从红晕区域的中心位置R0到关注块区域内的像素位置P(i,j)的实际距离和该像素位置处的变倍前后的归一化距离的对应关系进行相乘,将归一化距离中的对应关系转换为实际距离中的对应关系。这里,i、j分别表示像素间距精度的水平坐标、垂直坐标。由于与变倍后的像素位置(整数精度)对应的变倍前的像素位置(实数精度)位于连接变倍后的像素位置P’(i,j)与红晕区域的中心位置R0的线段上,所以,唯一确定为与实际距离对应的坐标值。
变倍处理部414使用该坐标值的周边多个像素值(像素值位于整数精度的像素位置),通过插值来计算所决定的变倍前的坐标值中的像素值。例如,作为插值处理,能够利用线性插值、BiCubic等。这样,能够生成与红晕区域相比相对放大了不是红晕区域的关注区域的变倍图像。
另外,可以始终实施红晕区域的判定处理,也可以通过外部I/F部550所具有的未图示的开关以手动的方式对红晕区域的判定处理进行接通/断开控制。即,也可以在用户判断为产生了红晕区域后,通过接通开关来实施红晕区域的判定处理。
根据以上的实施方式,摄像图像是对活体内进行摄像所得的图像。关注区域设定部413具有接触状态信息取得部(图48的颜色转换部461、红晕区域候选检测部462、散焦检测部463、红晕区域判定部464)。接触状态信息取得部根据摄像图像取得镜体前端部与活体的接触状态信息(红晕区域的信息)。关注区域设定部413根据该接触状态信息来设定关注区域。
具体而言,接触状态信息取得部检测在摄像图像中具有特定颜色范围的颜色的特定颜色区域(色相平面中表示为红晕区域的颜色区域),根据特定颜色区域来设定接触区域。关注区域设定部413将该接触区域以外的区域设定为关注区域。
例如,在本实施方式中,红晕区域候选检测部462(广义地讲为特定颜色区域检测部)检测特定颜色区域,红晕区域判定部464(广义地讲为接触区域设定部)设定接触区域。
这样,能够判定与活体的接触区域(红晕区域。广义地讲为不可观察区域),将该接触区域以外的区域设定为关注区域并进行调光控制。如上所述,在由于畸变像差而产生图像失真这样的宽视野的光学系统中,即使存在接触区域,有时管腔的插入方向也会映入其他区域中。因此,通过对接触区域以外的区域的明亮度进行调光控制,能够提高插入方向的视觉辨认性,实现插入时间的缩短。
并且,在本实施方式中,接触状态信息取得部将特定颜色区域的图像转换为空间频率成分,在转换后的空间频率成分为规定阈值以下的情况下,将特定颜色区域设定为接触区域。例如,在判定为转换后的空间频率成分的振幅值大于等于规定值的最高频率为第1阈值以下、或空间频率成分的振幅值的总和为第2阈值以下的情况下,将特定颜色区域设定为接触区域。
例如,在本实施方式中,散焦检测部463(广义地讲为空间频率转换部)将特定颜色区域的图像转换为空间频率成分,判定转换后的空间频率成分是否为规定阈值以下。
这样,由于认为在接触区域中由于散焦而使图像的高频成分较小,所以,通过对特定颜色区域的高频成分进行阈值判定,能够检测接触区域。
并且,在本实施方式中,如图52中说明的那样,接触状态信息取得部设定包含特定颜色区域的圆,将圆的内侧设定为接触区域。调光控制部进行该接触区域的圆的外侧区域的调光控制。
接触状态信息是表示接触区域的位置(圆的中心位置R0)和大小(半径Rr)的信息。
这样,将接触区域设定为圆区域,通过调光来控制该圆的外侧区域的明亮度,由此,能够以适当曝光来显示接触区域以外的区域。
并且,在本实施方式中,如图47所示,内窥镜装置也可以包括变倍处理部414。如图52中说明的那样,变倍处理部414根据在连接接触区域的圆的中心与摄像图像的外周(成像区域的外周)的直线中从圆的中心到圆周的距离Rr与从圆周到外周的距离DS(x,y)之比DRatio(x,y),设定关注区域的放大率(图54的变倍前后的归一化距离的对应关系)。
这样,通过沿着从接触区域的圆的中心连接摄像图像的外周的直线的变倍处理,能够放大显示关注区域。
以上说明了应用本发明的实施方式及其变形例,但是,本发明不限于各实施方式及其变形例,能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且,通过对上述各实施方式和变形例所公开的多个结构要素进行适当组合,能够形成各种发明。例如,可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而,可以对不同实施方式和变形例中说明的结构要素进行适当组合。这样,能够在不脱离发明主旨的范围内进行各种变形和应用。
并且,在说明书或附图中,至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同用语。
标号说明
100:光源部;101:白色光源;102:光源光圈;103:驱动部;104:旋转滤色镜;105:旋转驱动部;106:会聚透镜;107:光源控制部;200:操作部;201:弯曲操作杆;202:插入口;203:操作量检测传感器;300:插入部;301:光导纤维;303:物镜光学系统;304:摄像元件;305:A/D转换部;306:弯曲操作线;307:贯穿插入通道;308:处置器械传感器;309:半透半反镜;310:摄像元件;311:A/D转换部;312:磁线圈;313:存储器;314、315:照明透镜;400:控制装置;410:图像处理部;411:预处理部;412:同时化部;413:关注区域设定部;414:变倍处理部;415:后处理部;416:测光部;417:同时化部;418:预处理部;419:灰度转换部;420:控制部;430:状态信息取得部;431:弯曲角度检测部;432:弯曲运动量检测部;436:被摄体信息取得部;437:观察信息取得部;441:亮度换算部;442:加法部;443:确定部;445:区域分割部;446:柱状图计算部;447:灰度转换特性计算部;448:转换部;451:局部区域设定部;452:特征量计算部;453:病变区域检测部;454:贴标签处理部;455:区域选出部;456:坐标计算部;457:对应部;459:测光处理条件设定部;461:颜色转换部;462:红晕区域候选检测部;463:散焦检测部;464:红晕区域判定部;465:变倍参数设定部;471:失真校正部;472:图像存储器;473:运动检测部;474:设定部;481:区域分割部;482:统计量计算部;483:特定颜色区域判定部;484:存储器;491:区域分割部;492:频率成分生成部;493:高频有无判定部;495:红晕区域参数计算部;496:块变倍参数计算部;500:显示部;550:外部I/F部;700:形状检测部;701~703:滤色镜;704:旋转马达;A、B:权重系数;a(m,n):局部区域;B0(x,y):块中心;B2、G2:图像信号;DB(x,y):距离;DRatio:距离比;DS(x,y):距离;ISb(x,y):交点;LC1、LC2:光线;LW:长度;N、M:横向宽度的像素数;(N/2,M/2):图像中心的坐标;nB、nG:滤色镜;R:半径;rd:距离;R0:中心位置;Rb(x,y):交点;Rr:半径;Rs:半径;SF1~SF3:面;(x,y):坐标;(x0,y0):关注区域中心像素的坐标;α:放大率;β:缩小率;θ:弯曲角度。
Claims (6)
1.一种内窥镜装置,其特征在于,该内窥镜装置包括:
图像取得部,其取得包括被摄体像的摄像图像,该被摄体像是通过对被摄体照射来自光源部的照明光而得到的;
关注区域设定部,其根据来自内窥镜装置的信息,对所述摄像图像设定关注区域;以及
调光控制部,其根据所设定的所述关注区域进行所述关注区域的测光处理,并根据所述测光处理的结果来控制所述光源部的射出光量,从而对所述照明光的光量进行调光控制,
所述摄像图像是对具有特定波段的信息的被摄体像进行摄像而得到的特殊光图像、以及对具有白色光的波段的信息的被摄体像进行摄像而得到的通常光图像,
所述关注区域设定部根据所述特殊光图像计算特征量,根据具有规定的特征量的区域来设定所述关注区域,
所述调光控制部根据所设定的所述关注区域进行所述通常光图像的所述调光控制,以使所述关注区域的明亮度维持在规定的明亮度。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述特定波段是比所述白色的波段窄的波段。
3.根据权利要求2所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是对活体内进行摄像而得到的活体内图像,
所述活体内图像中包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。
4.根据权利要求1所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是拍摄活体内而得到的活体内图像,
所述活体内图像中包含的所述特定波段是荧光物质发出的荧光的波段。
5.根据权利要求1所述的内窥镜装置,其特征在于,
所述特殊光图像和通常光图像是拍摄活体内而得到的活体内图像,
所述活体内图像中包含的所述特定波段是红外光的波段。
6.一种内窥镜装置的工作方法,其特征在于,所述工作方法包括如下步骤:
取得包括被摄体像的摄像图像,该被摄体像是通过对被摄体照射来自光源部的照明光而得到的,
根据来自内窥镜装置的信息,对所述摄像图像设定关注区域,
根据所设定的所述关注区域进行所述关注区域的测光处理,并根据所述测光处理的结果来控制所述光源部的射出光量,从而对所述照明光的光量进行调光控制,
其中,所述摄像图像是对具有特定波段的信息的被摄体像进行摄像而得到的特殊光图像、以及对具有白色光的波段的信息的被摄体像进行摄像而得到的通常光图像,根据所述特殊光图像计算特征量,根据具有规定的特征量的区域来设定所述关注区域,根据所设定的所述关注区域进行所述通常光图像的所述调光控制,以使所述关注区域的明亮度维持在规定的明亮度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011119186A JP5865606B2 (ja) | 2011-05-27 | 2011-05-27 | 内視鏡装置及び内視鏡装置の作動方法 |
JPJP2011-119186 | 2011-05-27 | ||
CN201280025678.4A CN103561632B (zh) | 2011-05-27 | 2012-05-22 | 内窥镜装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280025678.4A Division CN103561632B (zh) | 2011-05-27 | 2012-05-22 | 内窥镜装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107252299A CN107252299A (zh) | 2017-10-17 |
CN107252299B true CN107252299B (zh) | 2019-11-08 |
Family
ID=47259065
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280025678.4A Active CN103561632B (zh) | 2011-05-27 | 2012-05-22 | 内窥镜装置 |
CN201710264032.6A Active CN107252299B (zh) | 2011-05-27 | 2012-05-22 | 内窥镜装置以及内窥镜装置的工作方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280025678.4A Active CN103561632B (zh) | 2011-05-27 | 2012-05-22 | 内窥镜装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9801531B2 (zh) |
EP (1) | EP2716207A4 (zh) |
JP (1) | JP5865606B2 (zh) |
CN (2) | CN103561632B (zh) |
WO (1) | WO2012165204A1 (zh) |
Families Citing this family (160)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
WO2014197241A1 (en) * | 2013-06-05 | 2014-12-11 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Dual-view probe for illumination and imaging, and use thereof |
JP2015102614A (ja) * | 2013-11-22 | 2015-06-04 | セイコーエプソン株式会社 | 表示装置 |
TWI533834B (zh) * | 2013-12-10 | 2016-05-21 | Ying-Jie Su | Magnetic manipulation of the surgical lighting device and a hand with a lighting function Assisted system |
JP5942044B2 (ja) * | 2014-02-14 | 2016-06-29 | オリンパス株式会社 | 内視鏡システム |
KR102524391B1 (ko) * | 2014-03-17 | 2023-04-24 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 조직 접촉 검출과 자동-노출 및 조명 제어를 위한 시스템 및 방법 |
CN105813538B (zh) * | 2014-03-28 | 2018-04-20 | 奥林巴斯株式会社 | 活体观察系统 |
WO2015151956A1 (ja) * | 2014-03-31 | 2015-10-08 | オリンパス株式会社 | 内視鏡システム |
CN103957396A (zh) * | 2014-05-14 | 2014-07-30 | 姚杰 | 利用智能设备进行舌诊时的图像处理方法、装置及设备 |
JP6050286B2 (ja) * | 2014-06-27 | 2016-12-21 | 富士フイルム株式会社 | 医用画像処理装置及びその作動方法並びに内視鏡システム |
CN104042178A (zh) * | 2014-07-04 | 2014-09-17 | 北京邮电大学 | 平面镜反射式360°广域视角内窥镜 |
WO2016039270A1 (ja) * | 2014-09-09 | 2016-03-17 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
WO2016084522A1 (ja) * | 2014-11-25 | 2016-06-02 | オリンパス株式会社 | 内視鏡システム |
DE112014007145T5 (de) * | 2014-12-02 | 2017-08-03 | Olympus Corporation | Scharfstellsteuerungsvorrichtung, Endoskopvorrichtung und Verfahren zum Steuern der Scharfstellsteuerungsvorrichtung |
JPWO2016098444A1 (ja) * | 2014-12-17 | 2017-04-27 | オリンパス株式会社 | 内視鏡システム |
CN106255445B (zh) * | 2014-12-22 | 2018-10-09 | 奥林巴斯株式会社 | 内窥镜系统和图像处理方法 |
KR101556881B1 (ko) * | 2015-02-10 | 2015-10-01 | 강윤식 | 내시경 |
WO2016189629A1 (ja) * | 2015-05-25 | 2016-12-01 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの制御方法 |
JP6599728B2 (ja) * | 2015-10-26 | 2019-10-30 | オリンパス株式会社 | 走査型内視鏡装置 |
CN108463157B (zh) * | 2016-01-20 | 2020-07-03 | 奥林巴斯株式会社 | 内窥镜用处理器 |
US9986169B2 (en) | 2016-02-04 | 2018-05-29 | KARL STORZ, Imaging, Inc. | Exposure control method and system for an image capture device |
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
US20190328206A1 (en) * | 2016-06-27 | 2019-10-31 | Sony Corporation | Observation apparatus and method of controlling observation apparatus |
JP6825625B2 (ja) * | 2016-06-28 | 2021-02-03 | ソニー株式会社 | 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム |
CN110167417B (zh) * | 2017-01-26 | 2022-01-07 | 奥林巴斯株式会社 | 图像处理装置、动作方法和存储介质 |
WO2018154661A1 (ja) * | 2017-02-22 | 2018-08-30 | オリンパス株式会社 | 内視鏡のための画像処理装置及び内視鏡システム |
JP6904727B2 (ja) * | 2017-02-24 | 2021-07-21 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
CN110475503A (zh) * | 2017-03-30 | 2019-11-19 | 富士胶片株式会社 | 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法 |
WO2018211885A1 (ja) * | 2017-05-17 | 2018-11-22 | ソニー株式会社 | 画像取得システム、制御装置及び画像取得方法 |
WO2018211674A1 (ja) * | 2017-05-18 | 2018-11-22 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
US11317919B2 (en) | 2017-10-30 | 2022-05-03 | Cilag Gmbh International | Clip applier comprising a clip crimping system |
US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11229436B2 (en) | 2017-10-30 | 2022-01-25 | Cilag Gmbh International | Surgical system comprising a surgical tool and a surgical hub |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11406390B2 (en) | 2017-10-30 | 2022-08-09 | Cilag Gmbh International | Clip applier comprising interchangeable clip reloads |
US11026713B2 (en) | 2017-10-30 | 2021-06-08 | Cilag Gmbh International | Surgical clip applier configured to store clips in a stored state |
US11051876B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Surgical evacuation flow paths |
US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
US11096693B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing |
US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
US11324557B2 (en) | 2017-12-28 | 2022-05-10 | Cilag Gmbh International | Surgical instrument with a sensing array |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
US11069012B2 (en) | 2017-12-28 | 2021-07-20 | Cilag Gmbh International | Interactive surgical systems with condition handling of devices and data capabilities |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
US11147607B2 (en) | 2017-12-28 | 2021-10-19 | Cilag Gmbh International | Bipolar combination device that automatically adjusts pressure based on energy modality |
US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
US11273001B2 (en) | 2017-12-28 | 2022-03-15 | Cilag Gmbh International | Surgical hub and modular device response adjustment based on situational awareness |
US11253315B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Increasing radio frequency to create pad-less monopolar loop |
US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US20190201042A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Determining the state of an ultrasonic electromechanical system according to frequency shift |
US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
US11419630B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Surgical system distributed processing |
US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
US11364075B2 (en) | 2017-12-28 | 2022-06-21 | Cilag Gmbh International | Radio frequency energy device for delivering combined electrical signals |
US11278281B2 (en) * | 2017-12-28 | 2022-03-22 | Cilag Gmbh International | Interactive surgical system |
US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
US11423007B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
US20190200980A1 (en) * | 2017-12-28 | 2019-07-04 | Ethicon Llc | Surgical system for presenting information interpreted from external data |
US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
US11026751B2 (en) | 2017-12-28 | 2021-06-08 | Cilag Gmbh International | Display of alignment of staple cartridge to prior linear staple line |
US11160605B2 (en) | 2017-12-28 | 2021-11-02 | Cilag Gmbh International | Surgical evacuation sensing and motor control |
US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
US11013563B2 (en) | 2017-12-28 | 2021-05-25 | Ethicon Llc | Drive arrangements for robot-assisted surgical platforms |
US20190201039A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Situational awareness of electrosurgical systems |
US10898622B2 (en) | 2017-12-28 | 2021-01-26 | Ethicon Llc | Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device |
US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
US11464535B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Detection of end effector emersion in liquid |
US11234756B2 (en) | 2017-12-28 | 2022-02-01 | Cilag Gmbh International | Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter |
US11058498B2 (en) | 2017-12-28 | 2021-07-13 | Cilag Gmbh International | Cooperative surgical actions for robot-assisted surgical platforms |
US11311306B2 (en) | 2017-12-28 | 2022-04-26 | Cilag Gmbh International | Surgical systems for detecting end effector tissue distribution irregularities |
US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
US11291495B2 (en) | 2017-12-28 | 2022-04-05 | Cilag Gmbh International | Interruption of energy due to inadvertent capacitive coupling |
US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
US11304763B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11284936B2 (en) | 2017-12-28 | 2022-03-29 | Cilag Gmbh International | Surgical instrument having a flexible electrode |
US11179208B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Cloud-based medical analytics for security and authentication trends and reactive measures |
US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11304745B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical evacuation sensing and display |
US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
US11100631B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
US11446052B2 (en) | 2017-12-28 | 2022-09-20 | Cilag Gmbh International | Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue |
US11056244B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11308075B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity |
US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
US20190201594A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
US11304720B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Activation of energy devices |
US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
US10943454B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
US11317937B2 (en) | 2018-03-08 | 2022-05-03 | Cilag Gmbh International | Determining the state of an ultrasonic end effector |
US11696760B2 (en) | 2017-12-28 | 2023-07-11 | Cilag Gmbh International | Safety systems for smart powered surgical stapling |
US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
US10966791B2 (en) | 2017-12-28 | 2021-04-06 | Ethicon Llc | Cloud-based medical analytics for medical facility segmented individualization of instrument function |
US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
US11707293B2 (en) | 2018-03-08 | 2023-07-25 | Cilag Gmbh International | Ultrasonic sealing algorithm with temperature control |
US11986233B2 (en) | 2018-03-08 | 2024-05-21 | Cilag Gmbh International | Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device |
JP7073145B2 (ja) * | 2018-03-12 | 2022-05-23 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用調光制御装置、および医療用調光制御装置の作動方法 |
US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
US11471156B2 (en) | 2018-03-28 | 2022-10-18 | Cilag Gmbh International | Surgical stapling devices with improved rotary driven closure systems |
US10973520B2 (en) | 2018-03-28 | 2021-04-13 | Ethicon Llc | Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature |
US11096688B2 (en) | 2018-03-28 | 2021-08-24 | Cilag Gmbh International | Rotary driven firing members with different anvil and channel engagement features |
US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
US11213294B2 (en) | 2018-03-28 | 2022-01-04 | Cilag Gmbh International | Surgical instrument comprising co-operating lockout features |
US11219453B2 (en) | 2018-03-28 | 2022-01-11 | Cilag Gmbh International | Surgical stapling devices with cartridge compatible closure and firing lockout arrangements |
US11207067B2 (en) | 2018-03-28 | 2021-12-28 | Cilag Gmbh International | Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing |
US11278280B2 (en) | 2018-03-28 | 2022-03-22 | Cilag Gmbh International | Surgical instrument comprising a jaw closure lockout |
CN108803014A (zh) * | 2018-05-30 | 2018-11-13 | 天津煋鸟科技有限公司 | 一种基于环视透镜的成像光学系统 |
WO2020012564A1 (ja) * | 2018-07-10 | 2020-01-16 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP7125484B2 (ja) * | 2018-07-20 | 2022-08-24 | 富士フイルム株式会社 | 内視鏡システム |
EP3858223B1 (en) * | 2018-09-26 | 2024-04-24 | FUJIFILM Corporation | Medical image processing device, endoscope system, and operation method for medical image processing device |
US11369377B2 (en) | 2019-02-19 | 2022-06-28 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout |
US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
US11317915B2 (en) | 2019-02-19 | 2022-05-03 | Cilag Gmbh International | Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers |
US11331101B2 (en) | 2019-02-19 | 2022-05-17 | Cilag Gmbh International | Deactivator element for defeating surgical stapling device lockouts |
JP7281308B2 (ja) * | 2019-03-07 | 2023-05-25 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
JP7247702B2 (ja) * | 2019-03-27 | 2023-03-29 | ソニーグループ株式会社 | 内視鏡システム、内視鏡制御方法、及び、撮像制御装置 |
USD952144S1 (en) | 2019-06-25 | 2022-05-17 | Cilag Gmbh International | Surgical staple cartridge retainer with firing system authentication key |
USD964564S1 (en) | 2019-06-25 | 2022-09-20 | Cilag Gmbh International | Surgical staple cartridge retainer with a closure system authentication key |
USD950728S1 (en) | 2019-06-25 | 2022-05-03 | Cilag Gmbh International | Surgical staple cartridge |
JPWO2021060064A1 (zh) * | 2019-09-27 | 2021-04-01 | ||
JP2021145859A (ja) * | 2020-03-18 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
CN116034307A (zh) * | 2020-08-24 | 2023-04-28 | 富士胶片株式会社 | 图像处理装置、方法及程序 |
JP7501269B2 (ja) | 2020-09-17 | 2024-06-18 | 株式会社Jvcケンウッド | 内視鏡システム |
JP7411527B2 (ja) * | 2020-09-25 | 2024-01-11 | Hoya株式会社 | 内視鏡、プログラム及び情報処理方法 |
JPWO2022180753A1 (zh) * | 2021-02-25 | 2022-09-01 | ||
DE102021124010A1 (de) * | 2021-09-16 | 2023-03-16 | Xion Gmbh | Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht |
CN115511979A (zh) * | 2022-10-14 | 2022-12-23 | 南通伊诺精密塑胶导管有限公司 | 一种基于灰度变换的内窥镜主板控制系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5269289A (en) * | 1990-12-25 | 1993-12-14 | Olympus Optical Co., Ltd. | Cavity insert device using fuzzy theory |
CN101489466A (zh) * | 2006-07-27 | 2009-07-22 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置和医疗用图像处理方法 |
CN101505651A (zh) * | 2006-08-24 | 2009-08-12 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
Family Cites Families (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0763443B2 (ja) | 1986-09-30 | 1995-07-12 | 株式会社東芝 | 電子内視鏡 |
JPS63271217A (ja) * | 1987-04-30 | 1988-11-09 | Toshiba Corp | 電子内視鏡装置 |
JP2843328B2 (ja) * | 1988-02-22 | 1999-01-06 | オリンパス光学工業株式会社 | 電子式内視鏡装置 |
JPH04102437A (ja) | 1990-08-22 | 1992-04-03 | Olympus Optical Co Ltd | 電子内視鏡装置 |
US5469254A (en) * | 1992-04-06 | 1995-11-21 | Olympus Optical Co., Ltd. | Method and apparatus for measuring three-dimensional position of a pipe from image of the pipe in an endoscopic observation system |
JP3523672B2 (ja) | 1993-12-02 | 2004-04-26 | オリンパス株式会社 | 内視鏡装置 |
JP2776246B2 (ja) | 1994-05-31 | 1998-07-16 | 日本電気株式会社 | マウスカーソル追従型拡大表示の移動装置 |
JPH0838433A (ja) | 1994-07-31 | 1996-02-13 | Shimadzu Corp | 医用画像診断装置 |
JPH08164148A (ja) | 1994-12-13 | 1996-06-25 | Olympus Optical Co Ltd | 内視鏡下手術装置 |
JPH0980323A (ja) * | 1995-09-11 | 1997-03-28 | Olympus Optical Co Ltd | 内視鏡装置 |
JP3875291B2 (ja) | 1995-10-04 | 2007-01-31 | オリンパス株式会社 | 電子内視鏡 |
JPH09149876A (ja) | 1995-11-30 | 1997-06-10 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH09262206A (ja) * | 1996-03-28 | 1997-10-07 | Asahi Optical Co Ltd | 電子内視鏡の照明制御装置 |
JPH10243919A (ja) | 1997-03-07 | 1998-09-14 | Olympus Optical Co Ltd | 内視鏡装置 |
JP3762512B2 (ja) | 1997-04-03 | 2006-04-05 | オリンパス株式会社 | 内視鏡装置 |
JP4242491B2 (ja) * | 1998-12-09 | 2009-03-25 | オリンパス株式会社 | 内視鏡治療装置 |
JP2000279380A (ja) | 1999-03-29 | 2000-10-10 | Fuji Photo Optical Co Ltd | デジタル出力可能な電子内視鏡装置 |
JP4493141B2 (ja) | 2000-02-08 | 2010-06-30 | オリンパス株式会社 | 内視鏡 |
JP4172898B2 (ja) | 2000-05-31 | 2008-10-29 | Hoya株式会社 | 電子内視鏡装置 |
EP1467197A1 (en) * | 2000-06-26 | 2004-10-13 | Fuji Photo Film Co., Ltd. | Fluorescent image obtaining apparatus |
DE10130876B4 (de) * | 2000-06-29 | 2007-11-08 | Fujinon Corp. | Elektronische Endoskopvorrichtung |
WO2002007587A2 (en) * | 2000-07-14 | 2002-01-31 | Xillix Technologies Corporation | Compact fluorescent endoscopy video system |
JP2002125926A (ja) | 2000-10-19 | 2002-05-08 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2002263064A (ja) | 2001-03-07 | 2002-09-17 | Asahi Optical Co Ltd | 内視鏡用自動調光装置およびそれを含む電子内視鏡装置のプロセッサ |
US6980227B2 (en) * | 2001-10-01 | 2005-12-27 | Pentax Corporation | Electronic endoscope with light-amount adjustment apparatus |
JP4223778B2 (ja) * | 2001-10-01 | 2009-02-12 | Hoya株式会社 | 内視鏡用自動調光装置および電子内視鏡装置 |
JP4474106B2 (ja) | 2003-02-27 | 2010-06-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、記録媒体及びプログラム |
JP4139265B2 (ja) * | 2003-04-25 | 2008-08-27 | オリンパス株式会社 | 電子内視鏡の光量制御装置 |
JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
JP4801381B2 (ja) * | 2004-06-11 | 2011-10-26 | Hoya株式会社 | 電子内視鏡装置 |
JP2006115964A (ja) * | 2004-10-20 | 2006-05-11 | Fujinon Corp | 電子内視鏡装置 |
US20060178561A1 (en) | 2005-02-07 | 2006-08-10 | Olympus Corporation | Endoscope apparatus |
US9204830B2 (en) * | 2005-04-15 | 2015-12-08 | Surgisense Corporation | Surgical instruments with sensors for detecting tissue properties, and system using such instruments |
JP4773217B2 (ja) | 2006-01-31 | 2011-09-14 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP2008229205A (ja) | 2007-03-23 | 2008-10-02 | Fujinon Corp | 電子内視鏡装置 |
JP5096090B2 (ja) | 2007-09-19 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 生体内画像受信装置および生体内画像取得システム |
JP5052279B2 (ja) * | 2007-09-28 | 2012-10-17 | 富士フイルム株式会社 | 光断層画像化装置 |
JP5006759B2 (ja) * | 2007-10-29 | 2012-08-22 | Hoya株式会社 | 電子内視鏡用信号処理装置および電子内視鏡装置 |
WO2009102480A2 (en) | 2008-02-15 | 2009-08-20 | Enforcement Video, Llc | System and method for multi-resolution storage of images |
JP2009195489A (ja) * | 2008-02-21 | 2009-09-03 | Olympus Medical Systems Corp | マニピュレータ操作システム |
JP5296396B2 (ja) * | 2008-03-05 | 2013-09-25 | オリンパスメディカルシステムズ株式会社 | 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法 |
US8808164B2 (en) | 2008-03-28 | 2014-08-19 | Intuitive Surgical Operations, Inc. | Controlling a robotic surgical tool with a display monitor |
CN102176855B (zh) | 2008-10-24 | 2013-09-18 | 奥林巴斯医疗株式会社 | 胶囊型内窥镜系统 |
JP2010113312A (ja) | 2008-11-10 | 2010-05-20 | Hoya Corp | 内視鏡装置および内視鏡プロセッサ |
JP4741032B2 (ja) * | 2008-11-11 | 2011-08-03 | オリンパスメディカルシステムズ株式会社 | 内視鏡用照明光学系 |
JP5342869B2 (ja) * | 2008-12-22 | 2013-11-13 | Hoya株式会社 | 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法 |
EP2385407B1 (en) | 2009-01-21 | 2019-03-13 | Olympus Corporation | Optical system |
JP5289987B2 (ja) | 2009-01-21 | 2013-09-11 | オリンパス株式会社 | 光学素子及びそれを用いた光学ユニット |
US8467138B2 (en) | 2009-01-21 | 2013-06-18 | Olympus Corporation | Optical element and optical unit using the same |
JP5666781B2 (ja) | 2009-02-27 | 2015-02-12 | 株式会社東芝 | X線撮影装置及びx線画像処理方法 |
JP2010200883A (ja) | 2009-03-02 | 2010-09-16 | Fujifilm Corp | 内視鏡画像処理装置および方法ならびにプログラム |
DE102009024943A1 (de) * | 2009-06-10 | 2010-12-16 | W.O.M. World Of Medicine Ag | Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts |
JP2011027912A (ja) | 2009-07-23 | 2011-02-10 | Olympus Corp | 内視鏡装置、計測方法、およびプログラム |
JP5460506B2 (ja) * | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
CN102469912B (zh) * | 2009-11-06 | 2014-08-06 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
JP4884567B2 (ja) | 2009-11-06 | 2012-02-29 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
JP5802364B2 (ja) * | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
EP2339534A1 (en) * | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
CN102724909B (zh) * | 2010-04-12 | 2015-03-18 | 奥林巴斯医疗株式会社 | 医用图像处理装置和医用图像处理方法 |
JP5684033B2 (ja) | 2011-04-11 | 2015-03-11 | オリンパス株式会社 | 撮像装置及び内視鏡装置の作動方法 |
US8504941B2 (en) | 2011-10-31 | 2013-08-06 | Utc Fire & Security Corporation | Digital image magnification user interface |
US9060674B2 (en) | 2012-10-11 | 2015-06-23 | Karl Storz Imaging, Inc. | Auto zoom for video camera |
-
2011
- 2011-05-27 JP JP2011119186A patent/JP5865606B2/ja active Active
-
2012
- 2012-05-22 WO PCT/JP2012/062977 patent/WO2012165204A1/ja unknown
- 2012-05-22 CN CN201280025678.4A patent/CN103561632B/zh active Active
- 2012-05-22 EP EP12792789.5A patent/EP2716207A4/en not_active Withdrawn
- 2012-05-22 CN CN201710264032.6A patent/CN107252299B/zh active Active
-
2013
- 2013-11-21 US US14/086,330 patent/US9801531B2/en active Active
-
2017
- 2017-09-20 US US15/709,936 patent/US20180008134A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5269289A (en) * | 1990-12-25 | 1993-12-14 | Olympus Optical Co., Ltd. | Cavity insert device using fuzzy theory |
CN101489466A (zh) * | 2006-07-27 | 2009-07-22 | 奥林巴斯医疗株式会社 | 医疗用图像处理装置和医疗用图像处理方法 |
CN101505651A (zh) * | 2006-08-24 | 2009-08-12 | 奥林巴斯医疗株式会社 | 内窥镜装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5865606B2 (ja) | 2016-02-17 |
CN103561632A (zh) | 2014-02-05 |
EP2716207A4 (en) | 2015-07-22 |
CN103561632B (zh) | 2017-05-17 |
WO2012165204A1 (ja) | 2012-12-06 |
US20180008134A1 (en) | 2018-01-11 |
JP2012245161A (ja) | 2012-12-13 |
US9801531B2 (en) | 2017-10-31 |
US20140081083A1 (en) | 2014-03-20 |
EP2716207A1 (en) | 2014-04-09 |
CN107252299A (zh) | 2017-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107252299B (zh) | 内窥镜装置以及内窥镜装置的工作方法 | |
US9486123B2 (en) | Endoscope system which enlarges an area of a captured image, and method for operating endoscope system | |
US8711252B2 (en) | Image processing device and information storage medium including motion vector information calculation | |
JP6132901B2 (ja) | 内視鏡装置 | |
US8419628B2 (en) | Endoscope system and endoscopic image processing apparatus | |
US20150294463A1 (en) | Image processing device, endoscope apparatus, image processing method, and information storage device | |
CN112351724B (zh) | 电子内窥镜系统 | |
US20090237498A1 (en) | System and methods for the improvement of images generated by fiberoptic imaging bundles | |
CN107105987B (zh) | 图像处理装置及其工作方法、记录介质和内窥镜装置 | |
CN104203075B (zh) | 医疗用图像处理装置 | |
CN112351723B (zh) | 电子内窥镜系统与数据处理装置 | |
CN110461209A (zh) | 内窥镜系统、处理器装置及内窥镜系统的工作方法 | |
US12052526B2 (en) | Imaging system having structural data enhancement for non-visible spectra | |
CN111107778A (zh) | 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置 | |
CN112930136B (zh) | 电子内窥镜系统与数据处理装置 | |
WO2022064987A1 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
CN116075851A (zh) | 图像处理系统和使用该系统的方法 | |
WO2024141319A1 (en) | Motion-stabilized background subtractionfor fluorescence imaging | |
Waterhouse et al. | Flexible Endoscopy: Device Architecture | |
CN117338223A (zh) | 一种内窥镜装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |