CN105377111A - 内窥镜系统 - Google Patents

内窥镜系统 Download PDF

Info

Publication number
CN105377111A
CN105377111A CN201480035770.8A CN201480035770A CN105377111A CN 105377111 A CN105377111 A CN 105377111A CN 201480035770 A CN201480035770 A CN 201480035770A CN 105377111 A CN105377111 A CN 105377111A
Authority
CN
China
Prior art keywords
image
endoscopic system
reset pulse
lightness
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480035770.8A
Other languages
English (en)
Other versions
CN105377111B (zh
Inventor
大野涉
竹腰聪
武井俊二
山崎健二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105377111A publication Critical patent/CN105377111A/zh
Application granted granted Critical
Publication of CN105377111B publication Critical patent/CN105377111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

内窥镜系统具有：照明部，其能够对视野区域射出使得产生来自特定物质的返回光的照明光；传感器部，其将通过接收来自视野区域的所述返回光并进行光电转换而生成电信号的多个像素配置在二维面上，能够依次读出该多个像素生成的电信号作为图像信息；复位脉冲生成部，其生成用于释放多个像素蓄积的电荷的复位脉冲；以及复位脉冲控制部，其对复位脉冲的生成定时进行调整，使得在分别生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分。

Description

内窥镜系统
技术领域
本发明涉及具有摄像元件的内窥镜系统，该摄像元件能够从摄像用的多个像素中的被任意指定为读出对象的像素输出光电转换后的电信号作为像素信息。
背景技术
以往，在医疗领域中，在对患者等被检体的脏器进行观察时使用内窥镜系统。内窥镜系统具有：插入部，其被插入到被检体的体腔内；摄像部，其设置在插入部的前端，对体内图像进行摄像；以及显示部，其能够显示摄像部进行摄像而得到的体内图像。在使用内窥镜系统取得体内图像时，在将插入部插入到被检体的体腔内后，从该插入部的前端照射规定照明光，摄像部对图像进行摄像。
近年来，应用CMOS(ComplementaryMetalOxideSemiconductor)图像传感器作为摄像部(例如参照专利文献1)。由于CMOS图像传感器能够任意设定基于像素中蓄积的电荷的像素信息的读出方式，所以，与同时读出全部像素的CCD(ChargeCoupledDevice)图像传感器相比，能够进行多种摄像。
图12是示意地示出使用CMOS图像传感器的现有的内窥镜系统进行的图像取得方法的概要的图。在图12中，期间P1、P2、P3分别表示每个水平行的曝光期间、曝光后的图像信号的转送期间、产生复位信号的复位期间。并且，在图12中，帧周期Tf和复位周期Tr相等。
在应用CMOS图像传感器的情况下，由于分别按照每个水平行转送或产生图像信号和复位脉冲群，所以，在最初的水平行和最后的水平行中，出现信号产生的时间差(图12的ΔT)。
现有技术文献
专利文献
专利文献1：日本特开2010-68992号公报
发明内容
发明要解决的课题
在上述现有的内窥镜系统中，例如在检测自身荧光或药剂荧光来检测病变部、特定组织或缺陷等的情况下，当它们位于视野的远点或嵌入组织下而使荧光强度降低时，荧光像的对比度较低或尺寸较小，观察者可能漏看荧光像。另一方面，在现有的内窥镜系统中，在视野的近点等明亮的像中，图像饱和，不适于荧光像的观察。
为了避免荧光强度降低，考虑延长取得图像时的曝光时间来降低帧率。但是，该情况下，需要帧率的切换，而且动态图像特性降低，可能导致操作性的恶化。为了解决动态图像特性降低的问题，必须进行帧的插值或动作时钟的变更等，必须大幅变更图像处理的过程。这样，由于降低帧率会诱发各种问题，所以，作为避免荧光强度降低的对策，很难说是适当的。
本发明是鉴于上述情况而完成的，其目的在于，提供不变更帧率就能够取得动态范围宽且视觉辨认性优良的图像的内窥镜系统。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的内窥镜系统的特征在于，该内窥镜系统具有：照明部，其能够对视野区域射出使得产生来自特定物质的返回光的照明光；传感器部，其在二维面上配置有通过接收来自所述视野区域的所述返回光并进行光电转换而生成电信号的多个像素配置，能够依次读出该多个像素生成的电信号作为图像信息；复位脉冲生成部，其生成用于释放所述多个像素蓄积的电荷的复位脉冲；以及复位脉冲控制部，其对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个所述复位脉冲之间的期间内各包含图像的多个帧的至少一部分。
并且，本发明的内窥镜系统的特征在于，在上述发明中，所述内窥镜系统还具有明亮度检测部，该明亮度检测部检测所述传感器部读出的图像信息中包含的图像的明亮度，所述复位脉冲控制部根据所述明亮度检测部检测到的图像的明亮度对所述复位脉冲的生成定时进行调整。
并且，本发明的内窥镜系统的特征在于，在上述发明中，所述内窥镜系统还具有运动检测部，该运动检测部检测多个帧之间的被摄体的运动量，所述复位脉冲控制部根据所述图像的明亮度和所述运动检测部检测到的所述被摄体的运动量对所述复位脉冲的生成定时进行调整。
并且，本发明的内窥镜系统的特征在于，在上述发明中，所述照明部按照构成所述多个帧的每个帧，对所述照明光的一帧中的发光强度和/或发光时间进行变更。
并且，本发明的内窥镜系统的特征在于，在上述发明中，所述内窥镜系统还具有放大率调整部，该放大率调整部按照构成所述多个帧的每个帧，对所述图像信息中包含的图像的放大率进行变更。
发明效果
根据本发明，对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分，所以，不变更帧率就能够取得动态范围宽且视觉辨认性优良的图像。
附图说明
图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。
图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。
图3是示意地示出本发明的实施方式1的内窥镜系统进行的图像取得方法的概要的图。
图4是示出本发明的实施方式1的内窥镜系统进行摄像而得到的图像的时间变化例的示意图。
图5是示意地示出本发明的实施方式2的内窥镜系统进行的处理的特征的图。
图6是更加详细地示出长时间蓄积模式中的复位定时与曝光时间的关系的图。
图7是更加详细地示出电子快门模式中的复位定时与曝光时间的关系的图。
图8是示出本发明的实施方式2的变形例1的内窥镜系统的主要部分的功能结构的框图。
图9是示出本发明的实施方式2的变形例2的内窥镜系统取得的图像中的明亮度(像素值)与每个明亮度的像素数的关系的例子的图。
图10是示意地示出本发明的实施方式3的内窥镜系统即内窥镜系统进行的图像取得方法的概要的图。
图11是示意地示出本发明的实施方式3的变形例的内窥镜系统进行的图像取得方法的概要的图。
图12是示意地示出现有的内窥镜系统进行的图像取得方法的概要的图。
具体实施方式
下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，以下说明中参照的附图是示意性的，在不同附图中示出相同物体的情况下，有时尺寸和比例尺等也不同。
(实施方式1)
图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。该图所示的内窥镜系统1具有插入部2、光源装置3、摄像头部4、控制装置5、显示装置6、光导7、集合缆线8、连接器9。内窥镜系统1是插入到被检体的腹腔内而在腹腔镜科外科手术(镜视下手术)等中使用的硬性镜。
插入部2为硬质且呈细长形状，被插入到体腔内或管路内等，在内部具有对被摄体像进行会聚的光学系统。
光源装置3经由光导7向插入部2供给照射光。
摄像头部4以拆装自如的方式安装在设于插入部2的基端的目镜部21上。摄像头部4具有摄像元件41，该摄像元件41对插入部2会聚的被摄体像进行成像，将其光电转换为电信号并输出。
控制装置5具有对摄像头部4取得的图像实施图像处理的功能，并且，具有总括地控制内窥镜系统1整体的动作的功能。
显示装置6显示控制装置5实施了图像处理后的图像。
集合缆线8是捆束多个信号线而成的，一端与摄像头部4连接，在另一端设置有连接器9。集合缆线8所具有的多个信号线包括将摄像元件41输出的图像信号传送到控制装置5的信号线、将控制装置5输出的控制信号传送到摄像元件41的信号线等。
连接器9以拆装自如的方式与控制装置5连接。
图2是示出内窥镜系统1的主要部分的功能结构的框图。首先，对插入部2的结构进行说明。插入部2具有会聚用的光学系统22和设置在光导7的前端的照明透镜23。
接着，对光源装置3的结构进行说明。光源装置3具有作为照明部的功能，能够对视野区域射出使特定物质产生返回光的照明光。具体而言，光源装置3具有白色光源31、特殊光光源32、光源控制部33、LED(LightEmittingDiode)驱动器34。
白色光源31由白色LED构成，产生白色照明光。
特殊光光源32例如产生用于产生具有规定波长的荧光的激励光。另外，作为特殊光光源32产生的特殊光，更一般而言，只要是使特定物质产出返回光的光即可，可以是任意的光。作为这种光，例如可以举出红外光。
光源控制部33根据从控制装置5的调光部54(后述)发送来的光源同步信号和来自控制部59(后述)的控制信号，对供给到白色光源31或特殊光光源32的电流量进行控制。
LED驱动器34通过在光源控制部33的控制下对白色光源31或特殊光光源32供给电流，使白色光源31或特殊光光源32产生光。白色光源31或特殊光光源32产生的光经由光导7而从插入部2的前端向外部照射。
接着，对摄像元件41的结构进行说明。摄像元件41具有对来自插入部2的光学系统22的光进行光电转换并输出电信号的传感器部41a、对传感器部41a输出的电信号进行噪声去除和A/D转换的模拟前端(AFE)部41b、对模拟前端部41b输出的数字信号进行并行/串行转换的P/S转换部41c、产生传感器部41a的驱动定时脉冲以及模拟前端部41b和P/S转换部41c中的各种信号处理用的脉冲的定时发生器41d、存储摄像元件41的设定数据等信息的摄像存储部41e、以及对摄像元件41的动作进行控制的摄像控制部41f。摄像元件41是CMOS(ComplementaryMetalOxideSemiconductor)图像传感器。
传感器部41a具有：受光部41g，其将分别具有蓄积与光量对应的电荷的光电二极管和对光电二极管蓄积的电荷进行放大的放大器的多个像素呈矩阵状配设在二维面上；以及读出部41h，其读出受光部41g的多个像素中的被任意设定为读出对象的像素所生成的电信号作为图像信息。在白色光源31产生白色光的情况下，在受光部41g中，按照每个像素设置有RGB单独的滤色器，能够取得彩色图像。与此相对，在产生荧光激励光作为特殊光光源32产生的特殊光的情况下，在受光部41g中设置有截止激励光而仅透射荧光的滤光片。这样，根据白色光源31和特殊光光源32中的要使用的光源的种类，受光部41g中设置的滤光片不同。通常，根据光源的种类来更换摄像头部4，但是，也可以构成为更换受光部41g中的滤光片。
模拟前端部41b具有降低信号中包含的噪声成分的噪声降低部41i、以及对降低了噪声后的信号进行A/D转换的A/D转换部41j。噪声降低部41i例如使用相关双采样(CorreletedDoubleSampling)法进行噪声的降低。另外，也可以在噪声降低部41i与A/D转换部41j之间设置自动调整信号的增益而始终维持固定输出电平的AGC(AutoGainControl)电路。
定时发生器41d具有作为复位脉冲生成部的功能，依次生成用于释放受光部41g的多个像素蓄积的电荷的复位脉冲。
摄像存储部41e是存储从控制装置5的控制部59发送来的各种设定数据或控制用参数的寄存器。
摄像控制部41f根据从控制装置5接收到的设定数据对摄像元件41的动作进行控制。摄像控制部41f使用CPU(CentralProccessingUnit)等构成。摄像控制部41f向定时发生器41d发送如下信号：该信号用于对复位脉冲的生成定时进行调整，以使得在分别生成生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分。在该意思中，在本实施方式中，摄像控制部41f具有复位脉冲控制部的至少一部分的功能。
接着，对控制装置5的结构进行说明。控制装置5具有S/P转换部51、图像处理部52、明亮度检测部53、调光部54、读出地址设定部55、驱动信号生成部56、输入部57、存储部58、控制部59和基准时钟生成部5a。
S/P转换部51对从摄像头部4接收到的图像信号(数字信号)进行串行/并行转换。
图像处理部52根据从S/P转换部51输出的并行形式的图像信号，生成显示装置6显示的体内图像。图像处理部52具有同时化部521、白平衡(WB)调整部522、增益调整部523、γ校正部524、D/A转换部525、格式变更部526、采样用存储器527和静态图像用存储器528。
同时化部521将作为图像信息而输入的图像信号输入到按照每个像素设置的3个存储器(未图示)中，与读出部41h读出的受光部41g的像素的地址对应地，依次更新各存储器的值并进行保持，并且，将这3个存储器的图像信号同时化为RGB图像信号。同时化部521将同时化后的图像信号依次输出到白平衡调整部522，并且，将一部分图像信号输出到采样用存储器527以用于明亮度检测等图像解析。
白平衡调整部522对图像信号的白平衡进行调整。
增益调整部523进行图像信号的增益调整。增益调整部523将进行了增益调整后的图像信号输出到γ校正部524，并且，将一部分图像信号输出到静态图像用存储器528以用于静态图像显示、放大图像显示或强调图像显示。
γ校正部524与显示装置6对应地进行图像信号的灰度校正(γ校正)。
D/A转换部525将γ校正部524输出的灰度校正后的图像信号转换为模拟信号。
格式变更部526将转换为模拟信号后的图像信号变更为动态图像用的文件格式并将其输出到显示装置6。作为该文件格式，可以应用AVI形式、MPEG形式等。
明亮度检测部53根据采样用存储器527保持的图像信号检测与各像素对应的明亮度级别，将检测到的明亮度级别记录在设于内部的存储器中，并且将其输出到控制部59。并且，明亮度检测部53根据检测到的明亮度级别计算增益调整值和光照射量，将增益调整值输出到增益调整部523，另一方面，将光照射量输出到调光部54。
调光部54在控制部59的控制下，根据明亮度检测部53计算出的光照射量设定光源装置3产生的光的类别、光量、发光定时等，将包含该设定的条件的光源同步信号发送到光源装置3。
读出地址设定部55具有设定传感器部41a的受光部中的读出对象像素和读出顺序的功能。即，读出地址设定部55具有设定模拟前端部41b读出的传感器部41a的像素的地址的功能。并且，读出地址设定部55将所设定的读出对象像素的地址信息输出到同时化部521。
驱动信号生成部56生成用于驱动摄像元件41的驱动用定时信号，经由集合缆线256中包含的规定信号线发送到定时发生器41d。该定时信号包含读出对象像素的地址信息。
输入部57受理用于指示内窥镜系统1的动作的动作指示信号等各种信号的输入。
存储部58使用闪存、DRAM(DynamicRandomAccessMemory)等半导体存储器来实现。存储部58存储用于使内窥镜系统1进行动作的各种程序、以及包含内窥镜系统1的动作所需要的各种参数等在内的数据。
控制部59使用CPU等构成，进行包含摄像头部4和光源装置3在内的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。控制部59经由集合缆线256中包含的规定信号线将摄像控制用的设定数据发送到摄像元件41。这里，设定数据包含用于指示摄像元件41的摄像速度(帧率)和从传感器部41a的任意像素读出像素信息的读出速度的指示信息、以及模拟前端部41b读出的像素信息的传送控制信息等。
基准时钟生成部5a生成作为内窥镜系统1的各结构部的动作基准的基准时钟信号，对内窥镜系统1的各结构部供给所生成的基准时钟信号。
接着，对显示装置6的结构进行说明。显示装置6具有从控制装置5接收控制装置5生成的体内图像并进行显示的功能。显示装置6具有液晶、有机EL(ElectroLuminescence)等显示器。
图3是示意地示出具有以上结构的内窥镜系统1进行的图像取得方法的概要的图。如上所述，摄像元件41是CMOS图像传感器，在连续对多个帧进行摄像的情况下，按照每一个水平行依次进行所蓄积的电荷的读出。因此，在读出部41h最初读出的水平行(图3的情况下为画面最上部)与最后读出的水平行(图3的情况下为画面最下部)之间，在读出定时中产生时间差。在以下的说明中，设光源装置3连续产生相同照明光(例如荧光激励光)。
在摄像元件41中，在曝光期间P1内按照每个水平行依次进行曝光后，读出部41h读出通过曝光而蓄积在受光部41g的各像素中的电荷，将其转送到模拟前端部41b(转送期间P2)。
摄像控制部41f不是如以往那样每当将曝光和转送作为一组的循环结束时进行电荷的复位，而是以比帧周期Tf长的复位周期Tr(>Tf)进行受光部41g蓄积的电荷的复位。这里，摄像控制部41f通过使定时发生器41d生成复位脉冲而进行复位处理。在图3中，示出摄像控制部41f以每4帧一次的比例进行受光部41g蓄积的电荷的复位(复位期间P3)的情况，但是，这只不过是一例。例如，可以设帧率为30fps，设复位周期Tr为0.5s前后(每15帧左右进行复位)。
图4是示出内窥镜系统1进行摄像而得到的图像的时间变化例的示意图。与各图像对应的时间ti(i＝1～4)分别对应于图3所示的时间ti。在图4中，示意地示出插入部2以大致相同的速度在体内移动的情况下的荧光图像的变化。在时间t＝t1的荧光图像101中，映出荧光像201。在时间t＝t2的荧光图像102中，除了荧光像202以外，还映出荧光图像101中映出的荧光像201。在时间t＝t3的荧光图像103中，除了荧光像203以外，还映出荧光图像102中映出的荧光像201、202。在时间t＝t4的荧光图像104中，此前映出的荧光像全部消失。另外，荧光图像101～104是除了原本的荧光像以外的部分完全昏暗、仅荧光像的部分模糊发亮而被看到的图像。
在荧光图像102中，映出在此之前取得的荧光图像101中映出的荧光像201，这是因为在荧光图像101的取得定时与荧光图像102的取得定时之间不进行复位处理。同样，在荧光图像103中，映出在此之前取得的荧光图像102中映出的荧光像201、202，这是因为在荧光图像102的取得定时与荧光图像103的取得定时之间不进行复位处理。与此相对，在荧光图像104中完全不映出荧光像，这是因为在荧光图像103的取得定时与荧光图像104的取得定时之间进行了复位处理。
这样，在未进行复位处理的期间内进行摄像而得到的荧光图像中包含的荧光像中，看起来产生随着时间而拖尾的残像。
与此相对，在对荧光图像进行拍摄的情况下，在某个时点的复位处理后，在插入部2几乎不运动时，在进行下次复位处理之前的期间内，依次得到摄像图像中包含的荧光像逐渐增加明亮度的荧光图像。
在本实施方式1中，不变更摄像的帧率，不进行规定期间复位而蓄积受光部41g的各像素蓄积的电荷来进行增强，由此，即使是荧光图像等低亮度的图像，也能够得到明亮的图像。
在通过荧光等微弱的发光来探寻活体内产生的癌等肿瘤的方法中，检查者可能漏看微弱的发光。关于这点，在本实施方式1中，由于复位周期Tr比帧周期Tf长，所以，在微弱发光部位运动的情况下产生残像，另一方面，在微弱发光部位静止的情况下使其闪烁，由此能够提高微弱发光部位的视觉辨认性。
并且，在本实施方式1中，由于图像的帧率未变更，所以，不会如低帧率的图像那样使影像晃动而产生不自然感。并且，由于图像的帧率未变更，所以，关于图像的读出，能够在与通常摄像相同的定时继续进行处理。
根据以上说明的本发明的实施方式1，对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分，所以，不变更帧率就能够取得动态范围宽且视觉辨认性优良的图像。
(实施方式2)
本发明的实施方式2的特征在于，根据图像的明亮度对复位脉冲的生成定时进行变更。本实施方式2的内窥镜系统具有与实施方式1中说明的内窥镜系统1相同的结构。
在本实施方式2中，控制装置5的控制部59对摄像元件41发送复位禁止信号，由此，通过对定时发生器41d产生的复位脉冲进行遮蔽，来对复位脉冲的生成定时进行调整。因此，电荷的蓄积期间由复位禁止信号的激活期间中包含的帧数来决定。在该意思中，在本实施方式2中，控制装置5的控制部59具有复位脉冲控制部的至少一部分的功能。
图5是示意地示出本实施方式2的内窥镜系统1进行的处理的特征的图。在明亮度检波值大于规定阈值而能够充分确保图像的明亮度的情况下，内窥镜系统1改变1帧期间内的定时并转移到按照每帧产生复位脉冲的方式(电子快门模式)。下面，将与电子快门模式不同的模式、即在分别生成生成顺序连续的两个复位脉冲之间的期间内包含至少一个帧的全部曝光期间P1的模式称为长时间蓄积模式。在图5所示的情况下，复位周期随着明亮度检波值的上升而逐渐缩短(Tr1、Tr2、Tr3、···)。而且，当明亮度检波值超过阈值TH时，从长时间蓄积模式转移到电子快门模式(复位周期为Tr1’、Tr2’、···)。
图6是更加详细地示出长时间蓄积模式中的复位定时与曝光时间的关系的图。使用在帧周期Tf内持续进行曝光的帧数(全部曝光帧数)a和曝光开始帧中的从复位开始起到读出开始为止的时间t，长时间蓄积模式中的电荷的蓄积时间Tc表示为
Tc＝a·Tf+t···(1)
图6例示了全部曝光帧数a为2的情况。
内窥镜系统1在某个蓄积期间内，在全部曝光帧数a经过后，根据之前读入的图像信号P的明亮度检波值使曝光时间变化(图6的Δt)。该曝光时间的变化通过基于电子快门的复位定时的变化来实现。即，通过以使得曝光开始帧中的从复位开始起到读出开始为止的时间成为t+Δt的方式产生复位信号R来实现。使用曝光时间的变化量，将新的蓄积时间Tc’表示为
Tc’＝Tc+Δt···(2)
并且，以前一个复位信号产生时为基准的复位周期Tr成为
Tr＝Tc+Tf-(t+Δt)＝(a+1)Tf-Δt···(3)
图7是更加详细地示出电子快门模式中的复位定时与曝光时间的关系的图。在电子快门模式中，蓄积时间Tc比帧周期Tf短，全部曝光帧数a为零。因此，式(1)成为Tc＝t。在电子快门模式中，式(2)、(3)当然也成立。
另外，鉴于反馈的时间常数根据全部曝光帧数a的值而变化，也可以根据全部曝光帧数a来决定复位脉冲的反馈定时。具体而言，在全部曝光帧数a较小的情况下，也可以在规定帧经过后使曝光时间变化。
根据以上说明的本发明的实施方式2，对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分，所以，不变更帧率就能够取得动态范围宽且视觉辨认性优良的图像。
并且，根据本实施方式2，根据图像的明亮度信息而使复位脉冲产生后的图像读出开始起的时间可变，从而能够对从长时间曝光到基于电子快门的减光进行控制。由此，例如在荧光观察时，仅通过复位脉冲的生成定时的变更，就能够连续进行视野内的荧光像的观察和接近荧光像后的高亮度图像的摄像。
(实施方式2的变形例1)
图8是示出本发明的实施方式2的变形例1的内窥镜系统的主要部分的功能结构的框图。该图所示的内窥镜系统11的图像处理部的结构与上述内窥镜系统1不同。
内窥镜系统11的图像处理部12在内窥镜系统1的图像处理部52的结构的基础上，还具有检测多个帧之间的被摄体的运动的运动检测部121。控制部59根据运动检测部121检测到的被摄体的运动来计算图像间的相关，根据该计算结果和明亮度检波值决定下一个复位脉冲的生成定时。例如，在荧光图像间的被摄体的运动较大的情况下(图像间的相关较小的情况下)，控制部59使复位脉冲的生成定时滞后。另外，由于明亮度检波值也有助于控制部59决定复位脉冲的生成定时，所以，在被摄体的运动较大的情况下，生成定时不一定始终滞后。
根据以上说明的本发明的实施方式2的变形例1，除了与实施方式2相同的效果以外，还能够进一步强调荧光像的残像而提高视觉辨认性。
(实施方式2的变形例2)
本发明的实施方式2的变形例2的特征在于，在与图像整体的明亮度的平均值进行比较而存在满足规定条件的像的情况下，控制部59进行变更电荷的蓄积时间的控制。本变形例2的内窥镜系统具有与实施方式2中说明的内窥镜系统1相同的结构。
图9是示出内窥镜系统1取得的图像中的明亮度(像素值)与每个明亮度的像素数的关系的例子的图。在图9中，明亮度TH1、TH2是与图像整体的明亮度的平均值之差处于规定范围内的明亮度(满足规定条件的明亮度)的上限和下限。在该意思中，期望明亮度TH1、TH2是能够针对作为观察对象的像(例如荧光像)排除背景和噪声(杂散光成分)的明亮度。
在存在规定数以上的处于明亮度TH1～TH2的范围内的像素的情况下，控制部59进行延长电荷的蓄积时间的控制。另外，例如也可以在明亮度TH1～TH2的范围内存在超过规定像素数的明亮度的情况下，控制部59延长电荷的蓄积时间。
在读出的图像中不存在满足上述条件的像的情况下，内窥镜系统1进行实施方式2中说明的处理。
根据以上说明的本发明的实施方式2的变形例2，通过取与图像整体的明亮度的平均值之间的差分，特别是在荧光图像的情况下，能够排除背景的影响而提高荧光像的视觉辨认性。
(实施方式3)
图10是示意地示出本发明的实施方式3的内窥镜系统进行的图像取得方法的概要的图。另外，本实施方式3的内窥镜系统具有与实施方式2中说明的内窥镜系统1相同的功能结构。在本实施方式3中，内窥镜系统1的特征在于，改变每帧的照明强度，以对所取得的图像中的残像或像的脉动进行强调。
如图10所示，光源装置3与控制装置5协作，在受光部41g的全部水平行处于曝光状态的期间内，使发光强度保持恒定并使发光时间周期变化。具体而言，光源装置3的光源控制部33与控制装置5的控制部59协作，进行使发光强度保持恒定并逐渐延长每帧的发光时间的控制。发光时间的最大值为全部水平行处于迁移状态的期间的长度Ta以下。
光源装置3通过复位脉冲对受光部41g中的电荷的蓄积进行复位后，还对每帧的发光时间进行复位，返回初始值(最短的发光期间)。在图10中，例示了采用发光时间依次变长的4个光源发光状态A1、A2、A3、A4作为每帧的光源发光状态的情况。
这样，在两个连续的复位处理之间包含的多个帧中，当逐渐延长每帧的光源的发光时间时，例如在图4所示的情况下，按照荧光像201、202、203的顺序，荧光像逐渐变亮。因此，能够进一步提高荧光像的视觉辨认性。
另外，与图10所示的情况相反，在两个连续的复位处理之间包含的多个帧中，也可以逐渐缩短每帧的发光时间。该情况下，在图4中，按照荧光像201、202、203的顺序，荧光像逐渐变暗，其结果，能够提高视觉辨认性。
并且，在两个连续的复位处理之间包含的多个帧中，不需要始终使每帧的光源的发光时间增加或减少，也可以阶段地增加或减少，还可以适当混合增加或减少来进行变化。
根据以上说明的本发明的实施方式3，对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个复位脉冲之间的期间内各包含图像的多个帧的至少一部分，所以，不变更帧率就能够取得动态范围宽且视觉辨认性优良的图像。
并且，根据本实施方式3，通过使所取得的图像的每帧的照明强度变化，能够进一步提高视觉辨认性。
(实施方式3的变形例)
图11是示意地示出本发明的实施方式3的变形例的内窥镜系统1进行的图像取得方法的概要的图。如图11所示，光源装置3在受光部41g的全部水平行处于曝光状态的期间内，使每帧的发光时间保持恒定并使发光强度周期变化。具体而言，光源装置3使每帧的发光时间保持恒定并逐渐增大每帧的发光强度。然后，在通过复位信号对受光部41g中的电荷的蓄积进行复位后，还对每帧的发光强度进行复位，返回初始值(最小的发光强度)。在图11中，采用发光强度依次减小的4个光源发光状态B1、B2、B3、B4作为每帧的光源发光状态。
这样，在两个连续的复位处理之间包含的多个帧中，当逐渐增大每帧的光源的发光强度时，与上述实施方式3同样，能够进一步提高荧光像的视觉辨认性。
另外，在本变形例中，在两个连续的复位处理之间包含的多个帧中，也可以使每帧的发光时间保持恒定并逐渐减小发光强度。
并且，在本变形例中，在两个连续的复位处理之间包含的多个帧中，不需要始终使每帧的发光强度增加或减少，也可以阶段地增加或减少，还可以适当混合增加或减少来进行变化。
并且，通过将本变形例与实施方式3进行组合，也可以按照每帧而使发光强度和发光时间一起变化。
(其他实施方式)
至此，说明了用于实施本发明的方式，但是，本发明不应该由上述实施方式1～3限定。例如，在实施方式1中，与实施方式2等同样，控制装置5也可以通过产生复位禁止信号而对复位脉冲的生成定时进行调整。
并且，在本发明中，控制装置的增益调整部也可以在两个连续的复位处理之间包含的多个帧中，对每帧的放大率进行变更。该情况下，可以使每帧的放大率逐渐增加或减少，还可以适当混合放大率的增加或减少来进行变化。
并且，在本发明中，还可以通过CCD图像传感器构成摄像元件。
并且，本发明的内窥镜系统还能够作为插入到被检体内对脏器内部进行观察的软性镜来实现。
这样，本发明可以包含这里未记载的各种实施方式，能够在权利要求范围所记载的技术思想的范围内进行各种设计变更等。
标号说明
1、11：内窥镜系统；2：插入部；3：光源装置；4：摄像头部；5：控制装置；6：显示装置；7：光导；8：集合缆线；22：光学系统；31：白色光源；32：特殊光光源；33：光源控制部；34：LED驱动器；41a：传感器部；41b：模拟前端部；41c：P/S转换部；41e：摄像存储部；41f：摄像控制部；41g：受光部；41h：读出部；51：S/P转换部；52：图像处理部；53：明亮度检测部；54：调光部；55：读出地址设定部；56：驱动信号生成部；57：输入部；58：存储部；59：控制部；5a：基准时钟生成部；101、102、103：荧光图像；121：运动检测部；201、202、203：荧光像；P1：曝光期间；P2：转送期间；P3：复位期间。

Claims (5)

1.一种内窥镜系统，其特征在于，该内窥镜系统具有：
照明部，其能够对视野区域射出使得产生来自特定物质的返回光的照明光；
传感器部，其在二维面上配置有通过接收来自所述视野区域的所述返回光并进行光电转换而生成电信号的多个像素，能够依次读出该多个像素生成的电信号作为图像信息；
复位脉冲生成部，其生成用于释放所述多个像素蓄积的电荷的复位脉冲；以及
复位脉冲控制部，其对所述复位脉冲的生成定时进行调整，使得在分别生成生成顺序连续的两个所述复位脉冲之间的期间内各包含图像的多个帧的至少一部分。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有明亮度检测部，该明亮度检测部检测所述传感器部读出的图像信息中包含的图像的明亮度，
所述复位脉冲控制部根据所述明亮度检测部检测到的图像的明亮度对所述复位脉冲的生成定时进行调整。
3.根据权利要求2所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有运动检测部，该运动检测部检测多个帧之间的被摄体的运动量，
所述复位脉冲控制部根据所述图像的明亮度和所述运动检测部检测到的所述被摄体的运动量对所述复位脉冲的生成定时进行调整。
4.根据权利要求1～3中的任意一项所述的内窥镜系统，其特征在于，
所述照明部按照构成所述多个帧的每个帧，对所述照明光的一帧中的发光强度和/或发光时间进行变更。
5.根据权利要求1～3中的任意一项所述的内窥镜系统，其特征在于，
所述内窥镜系统还具有放大率调整部，该放大率调整部按照构成所述多个帧的每个帧，对所述图像信息中包含的图像的放大率进行变更。
CN201480035770.8A 2013-08-01 2014-07-24 内窥镜系统 Active CN105377111B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-160736 2013-08-01
JP2013160736 2013-08-01
PCT/JP2014/069604 WO2015016137A1 (ja) 2013-08-01 2014-07-24 内視鏡システム

Publications (2)

Publication Number Publication Date
CN105377111A true CN105377111A (zh) 2016-03-02
CN105377111B CN105377111B (zh) 2017-08-04

Family

ID=52431673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035770.8A Active CN105377111B (zh) 2013-08-01 2014-07-24 内窥镜系统

Country Status (5)

Country Link
US (1) US9826885B2 (zh)
EP (1) EP3028625A4 (zh)
JP (1) JP5775986B2 (zh)
CN (1) CN105377111B (zh)
WO (1) WO2015016137A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526774A (zh) * 2017-12-27 2020-08-11 爱惜康有限责任公司 缺光环境中的超光谱成像
CN112584734A (zh) * 2018-07-20 2021-03-30 阿思雷克斯公司 医疗成像系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996901B2 (ja) * 2017-08-17 2022-01-17 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147810A1 (en) * 2005-12-26 2007-06-28 Pentax Corporation Electronic endoscope with brightness adjustment function
US20100069713A1 (en) * 2008-09-18 2010-03-18 Fujifilm Corporation Electronic endoscope system
CN102334971A (zh) * 2010-07-15 2012-02-01 富士胶片株式会社 内窥镜光束源设备和内窥镜系统
JP2012143319A (ja) * 2011-01-07 2012-08-02 Fujifilm Corp 内視鏡システム及びその駆動方法
CN103140161A (zh) * 2011-06-14 2013-06-05 奥林巴斯医疗株式会社 医疗设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6448561B1 (en) * 1996-02-26 2002-09-10 Canon Kabushiki Kaisha Photoelectric conversion apparatus and driving method of the apparatus
EP1101438B1 (en) * 1999-11-18 2006-10-18 Fuji Photo Film Co., Ltd. Method and apparatus for acquiring fluorescence images
JP2003000537A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 内視鏡用の撮像方法および装置
US7064828B1 (en) * 2001-12-19 2006-06-20 Nanometrics Incorporated Pulsed spectroscopy with spatially variable polarization modulation element
JP2007124288A (ja) * 2005-10-28 2007-05-17 Olympus Corp カプセル内視鏡
JP5616664B2 (ja) * 2010-03-30 2014-10-29 富士フイルム株式会社 内視鏡システム
EP2664268B1 (en) 2011-06-21 2016-04-27 Olympus Corporation Medical instrument
JP5452776B2 (ja) * 2011-11-07 2014-03-26 オリンパスメディカルシステムズ株式会社 撮像装置
WO2013099942A1 (ja) * 2011-12-27 2013-07-04 オリンパスメディカルシステムズ株式会社 撮像装置
EP2856928A4 (en) * 2012-05-25 2016-03-02 Olympus Corp IMAGING SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070147810A1 (en) * 2005-12-26 2007-06-28 Pentax Corporation Electronic endoscope with brightness adjustment function
US20100069713A1 (en) * 2008-09-18 2010-03-18 Fujifilm Corporation Electronic endoscope system
CN102334971A (zh) * 2010-07-15 2012-02-01 富士胶片株式会社 内窥镜光束源设备和内窥镜系统
JP2012143319A (ja) * 2011-01-07 2012-08-02 Fujifilm Corp 内視鏡システム及びその駆動方法
CN103140161A (zh) * 2011-06-14 2013-06-05 奥林巴斯医疗株式会社 医疗设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526774A (zh) * 2017-12-27 2020-08-11 爱惜康有限责任公司 缺光环境中的超光谱成像
CN111526777A (zh) * 2017-12-27 2020-08-11 爱惜康有限责任公司 缺光环境中的荧光成像
CN112584734A (zh) * 2018-07-20 2021-03-30 阿思雷克斯公司 医疗成像系统

Also Published As

Publication number Publication date
JPWO2015016137A1 (ja) 2017-03-02
WO2015016137A1 (ja) 2015-02-05
CN105377111B (zh) 2017-08-04
EP3028625A1 (en) 2016-06-08
JP5775986B2 (ja) 2015-09-09
EP3028625A4 (en) 2017-03-22
US9826885B2 (en) 2017-11-28
US20160100741A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
CN105377111A (zh) 内窥镜系统
CN103841881B (zh) 摄像系统
JP6138203B2 (ja) 内視鏡装置
US8866893B2 (en) Imaging apparatus
EP2735262B1 (en) Imaging device
US9538108B2 (en) Endoscope system and pixel correction method
JP5467182B1 (ja) 撮像システム
CN104507377B (zh) 内窥镜装置
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
EP2601881B1 (en) Medical instrument
CN105934942A (zh) 摄像装置和处理装置
CN105163646A (zh) 摄像装置和处理装置
JPWO2015114906A1 (ja) 撮像システムおよび撮像装置
US20120071718A1 (en) Endoscope apparatus and method of controlling endoscope apparatus
JP5810016B2 (ja) 内視鏡システム
CN111629651B (zh) 摄像系统和照明控制方法
JP2015073772A (ja) 体腔内照明装置および内視鏡システム
CN102973239A (zh) 医疗用设备的光源装置、以及内窥镜装置
US20210290037A1 (en) Medical image processing apparatus and medical observation system
WO2019167298A1 (ja) 被検体観察システム、被検体観察システムの作動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant