CN116807367A - 内窥镜系统及其工作方法 - Google Patents
内窥镜系统及其工作方法 Download PDFInfo
- Publication number
- CN116807367A CN116807367A CN202310271062.5A CN202310271062A CN116807367A CN 116807367 A CN116807367 A CN 116807367A CN 202310271062 A CN202310271062 A CN 202310271062A CN 116807367 A CN116807367 A CN 116807367A
- Authority
- CN
- China
- Prior art keywords
- signal
- processor
- imaging
- virtual
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims description 37
- 230000005856 abnormality Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000011017 operating method Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 62
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000000295 emission spectrum Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本发明提供一种在不使系统变得复杂的情况下变更摄像传感器的摄像驱动方式的内窥镜系统及其工作方法。观测器逻辑电路(28b)在不变更摄像驱动方式的情况下,将拍摄观察对象并从摄像传感器(26)输出的帧信号及同步信号输出至处理器装置(14)。观测器逻辑电路(28b)在按照传感器切换要求来变更摄像驱动方式的情况下,将为与帧信号不同的信号且人工生成的虚拟信号及同步信号输出至处理器装置(14)。
Description
技术领域
本发明涉及一种具有多个摄像驱动方式的内窥镜系统及其工作方法。
背景技术
在内窥镜领域中,正在使用通常光或特殊光等多种照明光照明观察对象并进行拍摄。例如,在专利文献1中,在第1期间连续地照射通常光之后,在第2期间照射特殊光的情况下,进行使根据各照射进行拍摄的摄像部的帧速率高于显示通过拍摄而获得的图像的显示部的帧速率的步骤。由此,在专利文献1中,在进行基于特殊光的摄像的同时,进行根据基于通常光的摄像的高画质的实时图像的显示。
专利文献1:国际公开第2021/117330号
如上述专利文献1所示,在内窥镜系统中,正在进行使摄像部的帧速率与显示部的帧速率相同的通常帧速率摄像、及使摄像部的帧速率高于显示部的帧速率的高帧速率摄像这2个摄像控制。例如,在从通常帧速率摄像切换为高帧速率摄像的情况下,为了变更帧速率等摄像驱动方式,需要暂时待机摄像传感器。在这种情况下,摄像传感器除了通过拍摄而获得的帧信号以外,还暂时停止与帧信号一起生成的同步信号的生成。
另一方面,在内窥镜系统中,根据同步信号进行发光控制、信号处理、显示控制等,并且根据同步信号设置有在控制或处理中是否产生异常的异常检测功能。因此,如上所述,在变更摄像驱动方式时停止同步信号的生成,因此可以考虑使异常检测功能无效化。然而,关于异常检测功能的无效化,不仅需要进行无效化的处理,而且在摄像驱动方式的设定结束之后,还需要进行有效化的处理,因此异常检测功能的无效化、有效化的切换时间增长,其结果,系统变得复杂。并且,在变更摄像驱动方式时停止摄像传感器的影像,并以各处理部为单位利用除了同步信号以外的方法进行影像的重新开始的情况下,系统也变得复杂。
发明内容
本发明的目的在于提供一种在不使系统变得复杂的情况下变更摄像传感器的摄像驱动方式的内窥镜系统及其工作方法。
本发明为内窥镜系统,其具备具有摄像传感器和观测器(scope)用处理器的内窥镜、及具有系统用处理器的处理器装置,系统用处理器对观测器用处理器进行用于变更摄像传感器的摄像驱动方式的传感器切换要求,观测器用处理器或系统用处理器中的任一个在不变更摄像驱动方式的情况下,将拍摄观察对象并从摄像传感器输出的帧信号及同步信号输出至处理器装置,在按照传感器切换要求来变更摄像驱动方式的情况下,将为与帧信号不同的信号且人工生成的虚拟信号及同步信号输出至处理器装置。
优选对虚拟信号赋予虚拟信号标识符。观测器用处理器或系统用处理器中的任一个优选在没有虚拟信号标识符的情况下,识别为是摄像驱动方式的切换前的帧信号或摄像驱动方式的切换后的帧信号,在有虚拟信号标识符的情况下,识别为是摄像驱动方式的切换中的虚拟信号。
系统用处理器优选在识别为是虚拟信号的时刻,停止显示在显示器上的影像更新。系统用处理器优选在识别为是虚拟信号的时刻,设定在摄像驱动方式的变更后使用的图像处理参数。系统用处理器优选在识别为是虚拟信号的时刻,将光源控制算法暂时切换为虚拟信号识别中的光源控制算法。在虚拟信号识别中的算法中优选包含:根据即将识别虚拟信号之前的帧信号来生成用于计算目标光量的光源控制信息。
系统用处理器优选在识别出虚拟信号之后识别出帧信号的时刻,根据识别为是帧信号以后获得的帧信号来执行光源控制算法。系统用处理器优选在识别出虚拟信号之后识别出帧信号的时刻,根据识别为是帧信号以后获得的帧信号,重新开始显示器上的影像更新。
在虚拟信号中优选包含虚拟识别图像。系统用处理器优选根据同步信号进行异常检测功能。
本发明为内窥镜系统的工作方法,其中,所述内窥镜系统具备具有摄像传感器和观测器用处理器的内窥镜、及具有系统用处理器的处理器装置,所述内窥镜系统的工作方法具有如下步骤:系统用处理器对观测器用处理器进行用于变更摄像传感器的摄像驱动方式的传感器切换要求;及观测器用处理器或系统用处理器中的任一个在不变更摄像驱动方式的情况下,将拍摄观察对象并从摄像传感器输出的帧信号及同步信号输出至处理器装置,在按照传感器切换要求来变更摄像驱动方式的情况下,将为与帧信号不同的信号且人工生成的虚拟信号及同步信号输出至处理器装置。
发明效果
根据本发明,能够在不使系统变得复杂的情况下变更摄像传感器的摄像驱动方式。
附图说明
图1是内窥镜系统的外观图。
图2是表示内窥镜系统的功能的框图。
图3是表示多发光模式的显示方式的图像图。
图4是表示摄像传感器的说明图。
在图5中,图5的(A)是表示单发光模式的发光控制及摄像控制的说明图,图5的(B)是表示多发光模式的发光控制及摄像控制的说明图。
图6是表示用于说明变更摄像驱动方式时的各种处理的内窥镜系统的功能的框图。
图7是表示从单发光模式切换为多发光模式时的内窥镜及处理器装置的控制的说明图。
图8是表示赋予了虚拟信号标识符的虚拟信号的说明图。
图9是表示包含虚拟识别图像的虚拟信号的说明图。
图10是表示变更摄像传感器的摄像驱动方式的一系列流程的流程图。
在图11中,图11的(A)是表示单发光模式的发光控制及摄像控制的说明图,图11的(B)是表示多色间歇发光模式的发光控制及摄像控制的说明图。
图12是表示第1照明光及测量辅助光的射出方式的说明图。
图13是表示具有聚焦透镜的照明光学系统的框图。
在图14中,图14的(A)是表示聚焦固定模式的聚焦控制及摄像控制的说明图,图14的(B)是表示聚焦变动模式的聚焦控制及摄像控制的说明图。
符号说明
10-内窥镜系统,12-光源装置,13-内窥镜,13a-插入部,13b-末端部,13c-操作部,13d-弯角钮,14-处理器装置,15-显示器,15a-主画面,15b-子画面,16-用户界面,18-通用塞绳,18a-连接器,20-光源部,21-光源用处理器,21a-同步信号生成部,21b-光源控制部,22-照明光学系统,22a-照明透镜,23-摄像光学系统,24-物镜,25-变焦透镜,26-摄像传感器,28-观测器用处理器,28a-观测器控制部,28b-观测器逻辑电路,30-通信I/F(Interface:接口),32-系统控制部,33-接收部,34-信号处理部,35-显示控制部,36-摄像面,37-驱动电路,38-信号处理电路,40-像素,41-像素行,45-直方图生成部,47-辅助光射出部,50-聚焦透镜,DSg-虚拟信号,DSgk-虚拟信号标识符,FLx、FLy-帧期间,L1-第1照明光,L2-第2照明光,LG-光导件,Px、Py1、Py2、Py-发光期间,Rx、Ry、Ry1、Ry2-信号读出期间,RD-卷帘读出驱动,X-行方向,Y-列方向。
具体实施方式
如图1所示,内窥镜系统10具备光源装置12、内窥镜13、处理器装置14、显示器15及用户界面16。内窥镜13与光源装置12光学连接或电连接,并且与处理器装置14电连接。
光源装置12产生照明光,并将所产生的照明光供给至内窥镜13。内窥镜13具备:插入部13a,为沿一个方向延伸的管状部件且插入到受检体内;末端部13b,为插入部13a的末端且发射照明光,并且拍摄观察对象;操作部13c,设置于插入部13a的基端部中,并用于进行各种操作;及弯角钮13d,与操作部13c相邻而设置。通过转动操作弯角钮13d,能够使末端部13b朝向所期望的方向。
在内窥镜13中,在与设置有插入部13a的位置不同的位置上设置有通用塞绳18。通用塞绳18具备相对于内窥镜13分别与光源装置12及处理器装置14装卸自如地连接的连接器18a。
处理器装置14根据通过内窥镜13拍摄的观察对象的图像进行各种处理。实施了各种处理的图像显示在显示器15上。用户界面16根据来自用户的操作输入,向处理器装置14输入各种信息。另外,用户界面16优选除了图示的键盘以外,还具备鼠标、麦克风、平板、脚踏开关及触摸笔等。
另外,内窥镜系统10具有单发光模式、多发光模式这2个模式作为照明光的发光模式。在单发光模式下,连续地发射第1照明光,并将基于第1照明光的第1照明光图像显示在显示器15上。在多发光模式下,按照特定的发光图案发射发光光谱彼此不同的第1照明光和第2照明光,并按照特定的显示方式将基于第1照明光的第1照明光图像和基于第2照明光的第2照明光图像显示在显示器15上。关于以上的2个模式,通过由用户操作操作部13c中所包括的模式切换开关(未图示)来切换。
如图2所示,光源装置12具备光源部20和光源用处理器21。光源部20产生用于照明被摄体的照明光。作为光源部20,可以使用射出白色光的白色光源或包含白色光源和射出其他颜色的光的光源(例如射出蓝色光的蓝色光源)的多个光源等作为照明光的光源。光源用处理器21根据来自处理器装置14的指示来控制光源部20。
从光源部20射出的照明光入射到光导件LG。光导件LG设置于通用塞绳18内。来自光导件LG的光从内窥镜的末端部13b射出。具体而言,从末端部13b的照明光学系统22中所包括的照明透镜22a朝向被摄体照射照明光。
在内窥镜的末端部13b设置有用于拍摄观察对象的摄像光学系统23。摄像光学系统23具有物镜24、变焦透镜25及摄像传感器26。来自观察对象的反射光经由物镜24及变焦透镜25入射到摄像传感器26。由此,观察对象的反射图像成像在摄像传感器26上。
变焦透镜25在望远端与广角端之间移动,从而具有放大或缩小被摄体的光学变焦功能作为变焦功能。关于光学变焦功能的开启和关闭,能够通过设置于内窥镜的操作部13c中的变焦操作部(未图示)来切换。
摄像传感器26为彩色摄像传感器,拍摄受检体的反射图像并输出图像信号。摄像传感器26优选为CCD(Charge Coupled Device:电荷耦合器件)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)摄像传感器等。本发明中所使用的摄像传感器26为用于获得R(红色)、G(绿色)B(蓝色)这3种颜色的红色图像、绿色图像及蓝色图像的彩色摄像传感器。红色图像为从在摄像传感器26中设置有红色滤色器的红色像素输出的图像。绿色图像为从在摄像传感器26中设置有绿色滤色器的绿色像素输出的图像。蓝色图像为从在摄像传感器26中设置有蓝色滤色器的蓝色像素输出的图像。
从摄像传感器26输出的图像信号发送至观测器用处理器28。在观测器用处理器28中设置有对作为模拟信号的图像信号进行相关双采样(CDS(Correlated DoubleSampling))或自动增益控制(AGC(Auto Gain Control))的CDS/AGC电路或将模拟的图像信号转换成数码的图像信号的A/D转换器(A/D(Analog/Digital)转换器)等。从观测器用处理器28输出的图像信号经由光源装置12的通信I/F(Interface:接口)30输入至处理器装置14。
处理器装置14将与各种处理或控制等相关的程序编入程序保存存储器(未图示)中。由设置于处理器装置14中的系统用处理器构成的系统控制部32通过运行编入程序保存存储器中的程序来实现与光源装置12的通信I/F(Interface)30连接的接收部33、信号处理部34及显示控制部35的功能。
接收部33接收从通信I/F30传输过来的图像信号并传递至信号处理部34。信号处理部34内置有暂时存储从接收部33接收到的图像信号的存储器,并对存储于存储器中的图像信号的集合即图像信号组进行处理而生成被摄体图像。显示控制部35将所生成的被摄体图像显示在显示器15上。
具体而言,在单发光模式下,第1照明光图像显示在显示器15整体上。在多发光模式下,如图3所示,在显示器15的主画面15a上显示第1照明光图像,在显示器15的子画面15b上显示第2照明光图像。子画面15b的显示面积小于主画面15a。
以下对摄像传感器26的详细内容进行说明。如图4所示,摄像传感器26具备摄像面36、驱动电路37、信号处理电路38。在摄像面36上,由在行方向X上排列的多个像素40构成的像素行41在与行方向X正交的列方向Y上排列有多个。驱动电路37根据来自观测器用处理器28的驱动控制信号独立驱动各像素行41,进行像素行41中所包括的各像素40的复位(蓄积在光电转换元件中的电荷的排出)。并且,进行与蓄积在各像素40的光电转换元件中的电荷对应的图像信号的读出。
在本实施方式中,摄像传感器26使用卷帘快门方式的驱动。卷帘快门方式的驱动包含卷帘复位驱动和卷帘读出驱动。卷帘复位驱动为一边改变像素行41一边依次进行将像素行41的各像素40复位并开始各像素40的曝光的处理的驱动。卷帘读出驱动为一边改变像素行41一边依次进行从被曝光的像素行41的各像素40读出信号并结束像素行41的曝光的处理的驱动。另外,关于摄像传感器26,可以使用全局快门方式的驱动。
对在单发光模式和多发光模式下的发光控制及摄像控制进行说明。关于单发光模式和多发光模式,通过使用了用户界面16的模式切换操作来切换。如图5的(A)所示,在单发光模式下,连续地发射第1照明光L1,并按照各第1照明光L1的发光进行卷帘读出驱动RD。在单发光模式下,第1照明光L1的发光期间Px与基于卷帘读出驱动RD的信号读出期间Rx为相同的长度,并且发光期间Px与信号读出期间Rx重叠。并且,单发光模式的帧期间FLx(Px+Rx)例如优选为1/60秒。
另一方面,在多发光模式下,发光光谱彼此不同的第1照明光L1和第2照明光L2按照特定的发光图案进行切换并发射。在图5的(B)中,作为特定的发光图案,发射2帧量的第1照明光L1之后,发射1帧量的第2照明光L2。在多发光模式下,设定为各照明光的发光期间与信号读出期间不重叠,以避免因发光光谱不同的第1照明光和第2照明光进行切换并发射而引起的混色。
因此,在发光期间Py1发射第1照明光时不进行卷帘读出驱动RD。第1照明光的发光期间Py1结束之后,在信号读出期间Ry1进行基于第1照明光L1的发光的卷帘读出驱动。相同地,在发光期间Py2发射第2照明光时不进行卷帘读出驱动RD。第2照明光的发光期间Py2结束之后,在信号读出期间Ry2进行基于第2照明光的发光的卷帘读出驱动。
在多发光模式下,第1照明光L1的发光期间Py1与信号读出期间Ry1为相同的长度,并且第2照明光L2的发光期间Py2与信号读出期间Ry2为相同的长度。并且,多发光模式的帧期间FLy(Py1+Ry1或Py2+Ry2)例如优选为1/45秒。若比较多发光模式和单发光模式的情况,则多发光模式的发光期间Py1、Py2成为短于单发光模式的发光期间Px的高速发光期间(例如,1/90秒)。并且,多发光模式的信号读出期间Ry1、Ry2成为短于单发光模式的信号读出期间Rx的高速读出期间。另一方面,多发光模式的帧期间FLy长于单发光模式的发光期间FLx(例如,1/45秒),以使发光期间与信号读出期间不重叠。
如上所述,在单发光模式和多发光模式的切换中,进行包含发光期间的变更的发光控制的变更及包含信号读出期间的变更的摄像控制的变更。本发明的内窥镜系统10构成为能够解决由随着发光模式的切换而产生的发光控制及摄像控制的变更所引起的课题。
在本实施方式中,在内窥镜系统10中,在将通过基于内窥镜13的摄像而生成的同步信号发送至光源装置12及处理器装置14并根据同步信号进行异常检测功能的情况下,通过切换发光模式等,在不使异常检测功能无效化的情况下进行发光控制及摄像控制的变更。为了实现以上,如图6所示,在内窥镜13的观测器用处理器28中设置有观测器控制部28a和观测器逻辑电路28b。并且,在处理器装置14中设置有直方图生成部45。并且,在光源装置12的光源用处理器21中设置有同步信号生成部21a和光源控制部21b。
另外,通过光源装置12及处理器装置14的各处理部或各控制部中的异常检测功能,能够在确认到同步信号消失的情况下,检测出在比各处理部或各控制部更靠上游侧的位置上产生异常。并且,观测器控制部28a、系统控制部32或光源控制部21b优选由CPU(Central Processing Unit:中央处理单元)构成。观测器逻辑电路28b或同步信号生成部21a优选由FPGA(Field Programm able Gate Array:现场可编程门阵列)构成。
以下对执行单发光模式或多发光模式时的光源装置12及处理器装置14的控制进行说明。由内窥镜13的摄像传感器26生成的帧信号通过观测器控制部28a发送至光源装置12及处理器装置14。并且,观测器控制部28a在每次生成帧信号时生成用于各种控制的同步信号。所生成的同步信号也发送至光源装置12及处理器装置14。
在处理器装置14中,信号处理部34接收帧信号,并根据所接收的帧信号进行各种信号处理。显示控制部35根据实施了各种信号处理的帧信号,在显示器15上进行显示。并且,信号处理部34接收同步信号,并根据所接收的同步信号进行与各种处理参数相关的控制。例如,控制色调或结构强调等矩阵系数的图像处理参数的更新时刻。
并且,直方图生成部45接收帧信号及同步信号。直方图生成部45根据所接收的帧信号来生成表示帧信号的像素值的频度的直方图信息。直方图信息用于光源装置12的光量控制。直方图生成部45将同步信号及直方图信息发送至系统控制部32。系统控制部32根据直方图信息来计算目标光量作为光量控制信息。计算出的目标光量按照基于同步信号的发送时刻发送至光源控制部21b。
在光源装置12中,同步信号生成部21a根据来自内窥镜13的同步信号来生成在进行发光控制的时刻所使用的同步信号。光源控制部21b按照基于由同步信号生成部21a生成的同步信号的发光时刻来控制光源部20的发光,以使其成为从处理器装置14发送的目标光量。
以下对切换单发光模式和多发光模式时的光源装置12及处理器装置14的控制进行说明。如图7所示,在执行单发光模式时,从摄像传感器26输出的帧信号FSgx经由观测器逻辑电路28b与同步信号一起发送至光源装置12及处理器装置14。然后,在通过用户界面16进行从单发光模式向多发光模式的切换操作时,系统控制部32对观测器控制部28a进行用于变更摄像传感器26的摄像驱动方式的传感器切换要求。另外,在图7中,关于从多发光模式向单发光模式的切换,也优选利用相同的方法进行光源装置12及处理器装置14的控制。并且,在摄像驱动方式的变更中除了帧期间(帧速率等)的变更以外,还包含信号读出期间的变更等。
观测器控制部28a按照传感器切换要求对观测器逻辑电路28b进行用于设定摄像传感器26的摄像驱动方式的变更开始的切换开始设定。观测器逻辑电路28b按照切换开始设定来停止向光源装置12及处理器装置14发送帧信号FSgx。通过切换开始设定,摄像传感器26从单发光模式的摄像驱动方式变更为多发光模式的摄像驱动方式。具体而言,将帧期间FLx变更为帧期间FLy,并且关于卷帘读出驱动RD,将信号读出期间从Rx变更为Ry1、Ry2。观测器控制部28a在从切换开始设定起经过一定时间之后,对观测器逻辑电路28b进行用于设定摄像传感器26的摄像驱动方式的变更结束的切换结束设定。
观测器逻辑电路28b在从切换开始设定起经过一定时间之后,生成虚拟信号DSg代替帧信号FSgx。虚拟信号为与帧信号不同且通过观测器逻辑电路28b人工生成的信号。虚拟信号DSg与同步信号一起发送至光源装置12及处理器装置14。并且,观测器逻辑电路28b在从切换结束设定起经过一定时间之后,随着从摄像传感器26发送帧信号FSgy而停止虚拟信号DSg的生成。在虚拟信号Dsg的生成停止之后,观测器逻辑电路28b将帧信号FSgy发送至光源装置12及处理器装置14。另外,关于虚拟信号,可以设为由设置于处理器装置14中的处理器逻辑电路(未图示)代替观测器逻辑电路28b来生成并输出。
如上所述,与帧信号FSgx、FSgy相同地,虚拟信号DSg与同步信号一起发送至光源装置12及处理器装置14。因此,即使在变更摄像传感器26的摄像驱动方式时未输出帧信号的状况下,虚拟信号DSg也代替帧信号与同步信号一起发送至光源装置12及处理器装置14,因此不需要在光源装置12及处理器装置14中使异常检测功能无效化。
如图8所示,优选对虚拟信号DSg赋予虚拟信号标识符DSgk。在光源装置12及处理器装置14中,通过分析来自内窥镜13的信号的标题信息,能够针对来自内窥镜13的信号识别以下3种信号S1~S3。
S1:摄像驱动方式的切换前的帧信号(无虚拟信号标识符DSgk)
S2:摄像驱动方式的切换中的虚拟信号(有虚拟信号标识符DSgk)
S3:摄像驱动方式的切换后的帧信号(无虚拟信号标识符DSgk)
在光源装置12及处理器装置14中,优选在识别为是虚拟信号的时刻,停止显示在显示器15上的影像更新。并且,在停止影像更新之后,设定在摄像驱动方式变更后使用的图像处理参数。例如,在从单发光模式切换为多发光模式的情况下,设定为在多发光模式下使用的图像处理参数。另外,在图像处理参数中优选包含色调或结构强调等矩阵系数。
并且,在识别为是虚拟信号的时刻,优选将光源控制算法暂时切换为虚拟信号识别中的光源控制算法,以便不根据虚拟信号来计算目标光量。具体而言,在针对目标光量计算的直方图为根据虚拟信号生成的直方图的情况下,系统控制部32不将该直方图用于目标光量的计算中。在这种情况下,直方图生成部45根据即将识别虚拟信号之前的帧信号来生成直方图(用于计算目标光量的光源控制信息),并根据所生成的直方图,由系统控制部32计算目标光量。由此,系统控制部32能够防止通过根据虚拟信号生成的直方图来计算目标光量。
并且,在识别出虚拟信号之后识别出帧信号的时刻,系统控制部32根据识别为是帧信号以后获得的帧信号来执行光源控制算法。由此,停止虚拟信号识别中的光源控制算法的执行。具体而言,计算与摄像驱动方式变更后的发光模式对应的目标光量。光源控制部21b根据计算出的目标光量进行与摄像驱动方式变更后的发光模式对应的光源控制。
例如,在切换为单发光模式的情况下,根据与第1照明光对应的目标光量进行第1照明光的连续发光。另一方面,在切换为多发光模式的情况下,根据与第1、第2照明光对应的目标光量,按照特定的发光图案切换第1照明光和第2照明光并发射。然后,显示控制部35根据识别为是帧信号以后获得的帧信号,重新开始显示器15上的影像更新。
另外,关于虚拟信号DSg,可以设为包含能够由光源装置12及处理器装置14识别为虚拟信号的虚拟识别图像代替虚拟信号标识符DSgk。例如,如图9所示,优选在虚拟信号DSg中包含人工生成的镶嵌状的虚拟识别图像。
接着,沿图10所示的流程图对变更摄像传感器的摄像驱动方式的一系列流程进行说明。只要对观测器控制部28a没有用于变更摄像驱动方式的传感器切换要求,则观测器逻辑电路28b将帧信号及同步信号输出至处理器装置14。然后,在对观测器控制部28a进行传感器切换要求时,观测器控制部28a按照传感器切换要求对观测器逻辑电路28b进行用于设定摄像传感器26的摄像驱动方式的变更开始的切换开始设定。通过切换开始设定,摄像传感器26从单发光模式的摄像驱动方式变更为多发光模式的摄像驱动方式。
并且,观测器逻辑电路28b在从切换开始设定起经过一定时间之后,将虚拟信号及同步信号输出至处理器装置14。在由观测器控制部28a进行用于设定摄像驱动方式的变更结束的切换结束设定为止期间,观测器逻辑电路28b继续向处理器装置14输出虚拟信号及同步信号。然后,在由观测器控制部28a进行切换结束设定时,停止虚拟信号的输出而将摄像驱动方式变更后的帧信号及同步信号输出至处理器装置14。
另外,在上述实施方式中,在切换单发光模式和多发光模式的情况下,适用本发明(在变更摄像驱动方式时进行虚拟信号的生成等),但是在使用摄像传感器的其他实施方式中变更摄像驱动方式的情况下,也能够适用本发明。例如,如图11所示,在切换图11的(A)所示的单发光模式的发光控制及摄像控制和图11的(B)所示的多色间歇发光模式的发光控制及摄像控制的情况下,也能够适用本发明。
在多色间歇发光模式下,除了发射第1照明光以外,还与第1照明光同时间歇地发射第3照明光。具体而言,关于第1照明光,重复进行在发光期间Py发射而在信号读出期间Ry不发射的步骤。关于第3照明光,隔开1帧间隔在发光期间Py与第1照明光同时发射而在信号读出期间Ry不与第1照明光同时发射。
在多色间歇发光模式下,发光期间Py与信号读出期间Ry为相同的长度。并且,多色间歇发光模式的帧期间FLy(Py+Ry)例如优选为1/45秒。若比较多色间歇发光模式和单发光模式的情况,则多色间歇发光模式的发光期间Py成为短于单发光模式的发光期间Px的高速发光期间(例如,1/90秒)。并且,多色间歇发光模式的信号读出期间Ry成为短于单发光模式的信号读出期间Rx的高速读出期间。另一方面,多色间歇发光模式的帧期间FLy长于单发光模式的发光期间FLx(例如,1/45秒),以使发光期间与信号读出期间不重叠。
作为第3照明光,例如有用于测量被摄体的尺寸的测量辅助光ML。关于测量辅助光ML,如图12所示,优选从与内窥镜的末端部13b的照明光学系统22不同的测量辅助光用的辅助光射出部47射出。关于辅助光射出部47,通过以使第1照明光L1的光轴与测量辅助光ML的光轴交叉的方式设置,根据与观察对象的距离,测量辅助光ML在画面上沿上下方向移动。在处理器装置14中,通过识别测量辅助光在上下方向上的移动,能够识别观察对象的距离,并将与观察距离对应的尺寸测量用标尺显示在显示器15上。
并且,在内窥镜13中,如图13所示,在摄像光学系统23中具备聚焦透镜50的情况下,优选除了固定聚焦透镜50的位置的聚焦固定模式以外,还在聚焦位置PA与聚焦位置PB之间设置使聚焦透镜50的位置周期性变动的聚焦变动模式。然后,如图14所示,在切换聚焦固定模式和聚焦变动模式的情况下,能够适用本发明。另外,关于聚焦固定模式和聚焦变动模式的切换,通过用户界面16来进行。
如图14的(A)所示,在聚焦固定模式下,聚焦透镜50的位置固定在聚焦位置PA与聚焦位置PB之间的特定位置上。然后,在聚焦固定模式下,在信号读出期间Rp进行卷帘读出驱动RD。信号读出期间Rp例如优选为1/60秒。另一方面,如图14的(B)所示,在聚焦变动模式下,聚焦透镜50的位置在聚焦位置PA与聚焦位置PB之间周期性变动。然后,在聚焦变动模式下,在短于信号读出期间Rp的信号读出期间Rq进行卷帘读出驱动RD。通过使信号读出期间Rq短于信号读出期间Rp,能够解决随着聚焦透镜50的位置变动而产生的问题(抖动等)。信号读出期间Rq例如优选为1/45秒。另外,帧期间FLp(与信号读出期间Rp相同)表示聚焦固定模式的帧期间,帧期间FLq(与信号读出期间Rq相同)表示聚焦变动模式的帧期间。
另外,在图14中假设在单发光模式下执行聚焦固定模式和聚焦变动模式,但是在多发光模式下也可以执行聚焦固定模式和聚焦变动模式。并且,在除了内窥镜系统10以外的各种摄像装置(例如,数码相机等)中,在切换聚焦固定模式和聚焦变动模式的情况下,也可以适用本发明。
在上述实施方式中,执行各种处理的处理部(processing unit:处理单元)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中包括执行软件(程序)并作为各种处理部而发挥功能的通用的处理器即CPU(Central Processing Unit)、GPU(Graphical Processing Unit:图形处理单元)、FPGA(Field Programmable Gate Array)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成,也可以由相同种类或不同种类的2个以上的处理器的组合(例如,多个FPGA、CPU和FPGA的组合或CPU和GPU的组合等)构成。并且,也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例,第1有如下方式:如以客户端或服务器等计算机为代表,由1个以上的CPU和软件的组合构成1个处理器,并由该处理器作为多个处理部而发挥功能。第2有如下方式:如以片上系统(System OnChip:SoC)等为代表,使用由1个IC(Integrated Circuit:集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此,使用1个以上的上述各种处理器作为硬件结构以构成各种处理部。
而且,更具体而言,这些各种处理器的硬件结构为组合半导体元件等电路元件的形式的电路(circuitry)。并且,存储部的硬件结构为HDD(hard disc drive:硬盘驱动器)或SSD(solid state drive:固态硬盘)等存储装置。
Claims (13)
1.一种内窥镜系统,其具备具有摄像传感器和观测器用处理器的内窥镜、及具有系统用处理器的处理器装置,
所述系统用处理器对所述观测器用处理器进行用于变更所述摄像传感器的摄像驱动方式的传感器切换要求,
所述观测器用处理器或所述系统用处理器中的任一个在不变更所述摄像驱动方式的情况下,将拍摄观察对象并从所述摄像传感器输出的帧信号及同步信号输出至所述处理器装置,在按照所述传感器切换要求来变更所述摄像驱动方式的情况下,将为与所述帧信号不同的信号且人工生成的虚拟信号及同步信号输出至所述处理器装置。
2.根据权利要求1所述的内窥镜系统,其中,
对所述虚拟信号赋予虚拟信号标识符。
3.根据权利要求2所述的内窥镜系统,其中,
所述观测器用处理器或所述系统用处理器中的任一个在没有所述虚拟信号标识符的情况下,识别为是所述摄像驱动方式的切换前的所述帧信号或所述摄像驱动方式的切换后的所述帧信号,在有所述虚拟信号标识符的情况下,识别为是所述摄像驱动方式的切换中的所述虚拟信号。
4.根据权利要求3所述的内窥镜系统,其中,
所述系统用处理器在识别为是所述虚拟信号的时刻,停止显示在显示器上的影像更新。
5.根据权利要求3所述的内窥镜系统,其中,
所述系统用处理器在识别为是所述虚拟信号的时刻,设定在所述摄像驱动方式的变更后使用的图像处理参数。
6.根据权利要求4所述的内窥镜系统,其中,
所述系统用处理器在识别为是所述虚拟信号的时刻,设定在所述摄像驱动方式的变更后使用的图像处理参数。
7.根据权利要求3至6中任一项所述的内窥镜系统,其中,
所述系统用处理器在识别为是所述虚拟信号的时刻,将光源控制算法暂时切换为虚拟信号识别中的光源控制算法。
8.根据权利要求7所述的内窥镜系统,其中,
在所述虚拟信号识别中的算法中包含:根据即将识别所述虚拟信号之前的帧信号来生成用于计算目标光量的光源控制信息。
9.根据权利要求3至6中任一项所述的内窥镜系统,其中,
所述系统用处理器在识别出所述虚拟信号之后识别出所述帧信号的时刻,根据识别为是所述帧信号以后获得的帧信号来执行光源控制算法。
10.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述系统用处理器在识别出所述虚拟信号之后识别出所述帧信号的时刻,根据识别为是所述帧信号以后获得的帧信号,重新开始显示器上的影像更新。
11.根据权利要求1所述的内窥镜系统,其中,
在所述虚拟信号中包含虚拟识别图像。
12.根据权利要求1至6中任一项所述的内窥镜系统,其中,
所述系统用处理器根据所述同步信号进行异常检测功能。
13.一种内窥镜系统的工作方法,其中,所述内窥镜系统具备具有摄像传感器和观测器用处理器的内窥镜、及具有系统用处理器的处理器装置,所述内窥镜系统的工作方法具有如下步骤:
所述系统用处理器对所述观测器用处理器进行用于变更所述摄像传感器的摄像驱动方式的传感器切换要求;及
所述观测器用处理器或所述系统用处理器中的任一个在不变更所述摄像驱动方式的情况下,将拍摄观察对象并从所述摄像传感器输出的帧信号及同步信号输出至所述处理器装置,在按照所述传感器切换要求来变更所述摄像驱动方式的情况下,将为与所述帧信号不同的信号且人工生成的虚拟信号及同步信号输出至所述处理器装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-045278 | 2022-03-22 | ||
JP2022045278A JP2023139649A (ja) | 2022-03-22 | 2022-03-22 | 内視鏡システム及びその作動方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116807367A true CN116807367A (zh) | 2023-09-29 |
Family
ID=88094798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310271062.5A Pending CN116807367A (zh) | 2022-03-22 | 2023-03-17 | 内窥镜系统及其工作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230301489A1 (zh) |
JP (1) | JP2023139649A (zh) |
CN (1) | CN116807367A (zh) |
-
2022
- 2022-03-22 JP JP2022045278A patent/JP2023139649A/ja active Pending
-
2023
- 2023-03-17 CN CN202310271062.5A patent/CN116807367A/zh active Pending
- 2023-03-17 US US18/185,729 patent/US20230301489A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023139649A (ja) | 2023-10-04 |
US20230301489A1 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2560996C2 (ru) | Способ измерения на основе структурированного света | |
JP4154400B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US10447949B2 (en) | Endoscope apparatus, method of operating endoscope apparatus, and recording medium | |
CN111193846B (zh) | 摄像设备 | |
KR20070054183A (ko) | 촬상 장치, 촬상 방법 및 촬상 제어 프로그램 | |
JP4730478B2 (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
JP5171468B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
US20080100721A1 (en) | Method of detecting specific object region and digital camera | |
US20170007095A1 (en) | Control device and endoscope system | |
JP2710384B2 (ja) | 内視鏡の挿入方向の検出方法 | |
US11503982B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame | |
US9113045B2 (en) | Electronic endoscopic apparatus and control method thereof | |
US10835109B2 (en) | Endoscope system | |
US20190058819A1 (en) | Endoscope apparatus | |
WO2017022283A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
CN106455954A (zh) | 电子内窥镜系统 | |
JP4315545B2 (ja) | 3次元画像検出システムと3次元画像検出装置 | |
CN116807367A (zh) | 内窥镜系统及其工作方法 | |
JP2007060520A (ja) | 撮像装置 | |
JP2009068898A (ja) | 三次元形状測定装置および該方法 | |
JP2013150170A (ja) | 撮像装置および顕微鏡システム | |
US11771308B2 (en) | Medical control device and medical observation system | |
WO2016208125A1 (en) | Image detection device and image detection system | |
WO2022185821A1 (ja) | 内視鏡システム及びその作動方法 | |
JP2010004367A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |