CN117651516A - 内窥镜及内窥镜系统 - Google Patents
内窥镜及内窥镜系统 Download PDFInfo
- Publication number
- CN117651516A CN117651516A CN202180100595.6A CN202180100595A CN117651516A CN 117651516 A CN117651516 A CN 117651516A CN 202180100595 A CN202180100595 A CN 202180100595A CN 117651516 A CN117651516 A CN 117651516A
- Authority
- CN
- China
- Prior art keywords
- image
- view image
- view
- endoscope
- living tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 39
- 230000009467 reduction Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000003902 lesion Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 210000000056 organ Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000002429 large intestine Anatomy 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 210000002858 crystal cell Anatomy 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 241001272720 Medialuna californiensis Species 0.000 description 1
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
一种用于拍摄体腔内活组织的内窥镜，其具备：摄像元件(108)，其构成为拍摄活组织图像；物镜(106)，其将通过朝向所述摄像元件的受光面的前方的前窗(140)而得到的活组织的直视图像、和通过与所述前窗相比更朝向侧方侧的侧窗(150)而得到的活组织的侧视图像作为摄像图像同时成像在所述受光面上；以及光学元件(142、152)，其设置在所述前窗和所述侧窗中的至少任意一个上，并通过利用控制信号调节入射光的偏转特性，来改变所述直视图像和所述侧视图像中至少任意一个的视野范围。
Description
技术领域
本发明涉及一种对体腔内的活组织进行拍摄的内窥镜及内窥镜系统。
背景技术
内窥镜是一种带有摄像元件的设备，插入体腔内，如人体，以对体腔内表面的活组织进行拍摄。例如，将内窥镜插入大肠，并将摄像图像显示在显示器上，以确定活组织中是否存在非健康部位，例如病变部位。在诊断大肠内的活组织时，必须在内表面突出的褶皱不影响摄像的情况下，在将内窥镜向一个方向拉的同时，使褶皱向一个方向倾斜，以确定褶皱底部是否有病变部位。然而，即使褶皱向一个方向倾斜，病变部位仍可能存在于隐藏在褶皱后面的区域。如果要摄像的图像视野很窄，相邻的褶皱之间的区域可能不会被摄像。
因此，为了能够在褶皱不塌陷的情况下从各方向摄像褶皱之间，可以在摄像元件的物镜系统中使用广角物镜。
此外，已知的内窥镜系统，其包括：内窥镜，该内窥镜具有插入观察对象的管内的插入部，在插入部的前端方向具有视野的直视观察部，在插入部分的横向方向具有视野的侧视观察部，从插入部分突出并在侧视观察部的视野中形成死角的突起部；以及图像获取部，其使用直视观察部分获取直视观察图像和使用侧视观察部获取侧视观察图像(日本特开JP2018-57799号公报)。
发明内容
在上述内窥镜系统中，能够同时取得直视观察图像和侧视观察图像，因此在显示部显示大范围的观察对象。
但是，在直视观察图像与侧视观察图像之间，有时会产生在两个图像中都没有映出的死角区域。即，显示在侧视观察图像中的病变部位有时会随着内窥镜的移动而消失，之后在直视观察图像中突然出现。此外，在直视观察图像与侧视观察图像之间，有时会产生在两个图像中映出的重叠区域。即，有时病变部位存在于重叠区域，病变部位同时存在于侧视观察图像和直视观察图像中。
同时对这种视野范围不连续的图像进行图像显示，这会给内窥镜操作者带来不协调感。此外，忽略位于死角区域的病变部位，错误地计算位于重叠区域的病变部位的数量，都很容易导致误诊。
因此，本发明的目的在于提供一种内窥镜及内窥镜系统，其在将通过朝向摄像元件的受光面前方的前窗而得到的活组织的直视图像、和通过与前窗相比更朝向侧方侧的侧窗而得到的活组织的侧视图像作为摄像图像同时进行拍摄时，能够抑制死角区域及重叠区域并实现平滑的视野范围。
用于解决课题的方案
本发明的一实施方式是一种用于拍摄体腔内活组织的内窥镜，其特征在于，其具备：
摄像元件，其构成为拍摄活组织图像；
物镜，其将通过朝向所述摄像元件的受光面的前方的前窗而得到的活组织的直视图像、和通过与所述前窗相比更朝向侧方侧的侧窗而得到的活组织的侧视图像作为摄像图像同时成像在所述受光面上；
以及光学元件，其设置在所述前窗和所述侧窗中的至少任意一个上，并通过利用控制信号调节入射光的偏转特性，来改变所述直视图像和所述侧视图像中至少任意一个的视野范围。
优选地，具备用于生成所述控制信号的控制单元，
所述控制单元生成所述控制信号，以实现在包含所述直视图像和所述侧视图像在内的所述摄像图像中所述直视图像与所述侧视图像之间彼此重叠的重叠区域减小以及所述摄像图像的视野中死角区域减小中的至少任意一个。
优选地，所述控制单元根据所述摄像图像的像素值提取所述直视图像与所述侧视图像之间的所述重叠区域，并根据所述重叠区域的大小确定所述入射光的偏转特性，由此生成所述控制信号。
优选地，所述控制单元具备用于预先对包含所述直视图像和上述侧视图像在内的所述摄像图像与所述重叠区域的大小之间的关系进行机器学习的预测模型，通过使用所述预测模型，根据由所述摄像元件拍摄的活组织的所述摄像图像的像素值，求出所述重叠区域的有无和大小，由此确定所述入射光的偏转特性。
优选地，所述控制单元根据由所述摄像元件拍摄的活组织的所述直视图像中呈线状延伸的部分的图像与所述侧视图像中的所述呈线状延伸的部分的图像在所述直视图像或所述侧视图像的端部的位置偏移量，求出位于所述直视图像与所述侧视图像之间的所述死角区域的大小，并根据所述大小确定所述入射光的偏转特性，由此生成所述控制信号。
优选地，所述控制单元具备用于预先对所述摄像图像内的所述呈线状延伸的部分的位置偏移位置和位置偏移量与所述死角区域的大小之间的关系进行机器学习的预测模型，使用所述预测模型，根据由所述摄像元件拍摄的活组织的所述摄像图像的像素值求出所述呈线状延伸的部分的位置偏移位置及位置偏移量，从而求出所述死角区域的有无和大小，并由此确定所述变化量。
优选地，所述侧视窗被设置成沿着用于包围所述摄像元件的筒构件的周向环绕一周，
所述光学元件设置在沿着所述周向的多个位置中的每一处，以使所述偏转特性分布在所述周向上。
优选地，所述物镜的最大半视角为90度以上。
本发明的另一实施方式是一种内窥镜系统，具体是一种具备用于拍摄体腔内的活组织的内窥镜、以及用于对由所述内窥镜拍摄的活组织的图像进行图像处理的内窥镜用处理器的内窥镜系统，其中，
所述内窥镜具备：
摄像元件，其构成为拍摄活组织图像；
物镜，其将通过设置在所述摄像元件的受光面的前方的前窗而得到的活组织的直视图像、和通过与所述前窗相比更朝向侧方侧的侧窗而得到的活组织的侧视图像作为摄像图像同时成像在所述受光面上；
以及光学元件，其设置在所述前窗和所述侧窗中的至少任意一个上，并通过利用控制信号调节入射光的偏转特性，来改变所述直视图像和所述侧视图像中至少任意一个的视野范围；
所述内窥镜用处理器具备图像处理单元，该图像处理单元对活组织的图像进行图像处理，进而生成用于控制所述入射光的偏转特性的控制信号，
所述图像处理单元生成所述控制信号，以满足在包含所述直视图像和所述侧视图像在内的所述摄像图像中所述直视图像与所述侧视图像之间彼此重叠的重叠区域减小以及所述摄像图像的视野中死角区域减小中的至少任意一个。
发明效果
根据上述内窥镜及内窥镜系统，在将活组织的直视图像和侧视图像作为摄像图像同时进行拍摄时，能够抑制死角区域及重叠区域并实现平滑的视野范围。
附图说明
图1是一实施方式的内窥镜外观斜视图。
图2是示出一个实施方式中的内窥镜系统的结构的框图。
图3是示出一实施方式的内窥镜的前端部构成的一例的图。
图4是说明入射到一实施方式的内窥镜中使用的光学元件上的入射光的偏转方向的一例的图。
图5是示意性地示出通过一实施方式的内窥镜的前窗的视野范围和通过侧窗的视野范围的图。
图6是示出一实施方式的内窥镜的前端部的器官内插入状态的一例的图。
图7是示出图6所示的前端部在插入状态下显示在显示器上的图像的一例的图。
图8是示出一实施方式的内窥镜的前端部的器官内插入状态的另一例的图。
图9是示出图8所示的前端部在插入状态下显示在显示器上的图像的一例的图。
图10是说明通过调节入射到一实施方式的内窥镜中使用的光学元件上的入射光的偏转方向而得到的视野范围变化的图。
图11是示出通过调节一实施方式的内窥镜中使用的光学元件的偏转特性而得到的显示在显示器上的图像的一例的图。
图12是具备一实施方式的内窥镜的控制单元的连接器的构成示例图。
具体实施方式
以下将参考附图说明本发明的实施方式的内窥镜及内窥镜系统。图1是一实施方式的内窥镜外观斜视图。图2是示出一个实施方式中的内窥镜系统的结构的框图。图3是示出一实施方式的内窥镜的前端部构成的一例的图。
图1所示的内窥镜(以下称为电子内镜)100连接到图2所示的电子内窥镜处理器200以形成内窥镜系统1。内窥镜系统1是专门为医疗用途设计的系统，主要配备了电子内镜100、电子内窥镜处理器200和显示器300，如图2所示。电子内镜100、及显示器300分别与处理器200连接。
如图1所示，电子内镜100主要包括连接器110、操作部120和前端部132，并且还包括从操作部120向前方的前端部132延伸并具有柔性的柔性电缆130、通过连接部连接在柔性电缆130的前方并自由弯曲的弯管134、以及从操作部120向后延伸的通用管128。连接器110固定到通用管128的后端，并且被配置为与处理器200连接。
在操作部120、柔性电缆130以及弯管134内插通有多根弯曲操作线，各弯曲操作线的前端与弯管134的后端连结，各弯曲操作线的后端与操作部120的弯曲操作旋钮122连结。弯管134根据弯曲操作旋钮122的操作，以任意的方向和任意的角度进行弯曲。
进一步地，操作部120具备多个操作按钮124。操作按钮124允许内窥镜操作者(手术者或助手)通过按下操作按钮124指示以下各项功能：从设置在前端部132的前端面上的未图示的供气供水口排出水或气体，由抽吸口抽吸活组织中的液体或气体，以及从清洁液排放喷嘴排出清洁液以清洁物镜。
弯管134前端的前端部132由硬质树脂材料(如ABS、改性PPO、PSU等)制成，基本上不可弹性变形。
在前端部132的内部设置有一个LED光源102和一个摄像元件108，位于紧随物镜106之后。即，设置在长柔性电缆130的前端的前端部132包括LED光源102、物镜106和摄像元件108。物镜106设置在摄像元件108的前面，在摄像元件108的受光面以视角大于或等于180度、优选的，以大于180度的视野范围进行活组织的图像成像。如后所述，在前端部132中设置朝向摄像元件108的受光面的前方的前窗和与前窗相比更朝向侧方侧的侧窗，摄像元件108构成为通过前窗和侧窗，对通过物镜106在受光面成像的图像进行拍摄。在前窗和侧窗上设置有用于能够可变地调节后述入射光的偏转方向(偏转特性)的光学元件。这里，所谓面向前方的前窗，是指从前窗看到的视野范围中心朝向前方的窗。所谓前方，是指前端部132的前端面的朝向。侧窗的朝向是从侧窗看到的视野范围中心的朝向。只要侧窗的视野范围与前窗的视野范围相比包含更多的侧方区域即可，而相对于前窗的朝向，例如只要在30度～90度的范围内倾斜即可。在下述说明中，使用侧窗朝向与前方正交的横向方向的方式进行说明。
柔性电缆130、弯管134及前端部132形成插入体腔内的插入部135。从设置在前端部132的摄像元件108延伸的图像信号用电缆从前端部132通过弯管134、柔性电缆130、操作部120和通用管128的内部延伸到连接器110的内部。连接器110连接处理器200。处理器200处理从摄像元件发送来的图像信号，并控制摄像元件108拍摄的被摄体的图像显示在显示器300上。
如图2所示的内窥镜系统1的处理器200具备系统控制器202及时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个电子内窥镜系统1。此外，系统控制器202根据输入到操作面板208的内窥镜操作者(手术者或助手)的指令来变更电子内窥镜系统1的各种设定。时序控制器206向电子内窥镜系统1内的各电路输出用于调节各部操作时间的时钟脉冲。
在电子内镜100的前端部132中，除摄像元件108以外还设置有LED光源102。LED光源102出射照亮活组织的照明光，以供摄像元件108进行拍摄。
LED光源102由设置在连接器110的光源控制电路116生成的驱动信号驱动，从而出射光。也可以使用激光元件代替LED光源102，还可以使用高亮度灯，例如氙灯、金属卤灯、水银灯或卤素灯。
在图2所示的例子中，LED光源102设置在前端部132，但是也可以作为光源装置设置在连接器110或处理器200。在这种情况下，从光源装置到前端部132的照明光通过束有多根光缆的光导被引导到前端部132。
从LED光源102出射的光作为照明光，经由配光透镜104照射到作为被摄体的活组织上。来自活组织的反射光经由前窗140及侧窗150(参见图3)及物镜106在摄像元件108的受光面上形成光学图像。
摄像元件108例如是用于在受光面上布置IR(Infrared)截止滤光片108a、采用拜耳阵列的滤色片108b等各种滤光片的单片式彩色CCD(Charge-Coupled Device)图像传感器，根据在受光面上成像的光学图像生成R(Red)、G(Green)、B(Blue)各原色信号。代替单片式彩色CCD图像传感器，也可以使用单片式彩色CMOS(Complementary Metal OxideSemiconductor)图像传感器。如此一来，电子内镜100使用摄像元件108对器官内部的活组织进行拍摄，并生成运动图像。
在电子内镜100的连接器110的内部设置有驱动器信号处理电路112。驱动器信号处理电路112对从摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号Y、色差信号Cb,Cr)，并将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220上。此外，驱动器信号处理电路112访问存储器114并读取电子内镜100的特有信息。记录在存储器114中的电子内镜100的特有信息例如包括摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
系统控制器202基于存储在存储器204中的信息和电子内镜100的特有信息执行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子内镜100相适应的处理。
时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制摄像元件108。
在系统控制器202的控制下，图像处理单元220根据从驱动器信号处理电路112所输入的图像信号，生成用于在显示器上显示图像等的视频信号，并输出到显示器300上。进一步地，图像处理单元220构成为，根据所拍摄的图像内容生成用于调节入射到光学元件上的入射光的偏转方向的控制信号，并调节入射光的偏转方向；其中，该光学元件设于前端部132上所设置的图3所示的前窗140及侧窗150中。图像处理单元220还可以对电子内镜100获得的活组织的图像进行量化处理，对图像中能够区分病变和健康部位的每个像素的特征量进行量化处理，评估图像中病变部位的发展程度，并进一步将量化处理获得的每个像素的数值替换成颜色并生成一个彩色地图图像。在这种情况下，图像处理单元220产生一个视频信号，用于显示器显示由量化处理产生的信息和彩色地图图像，并将其输出到显示器300。由此，内窥镜操作者能够通过显示器300的显示屏上显示的图像，高精度的进行检查。图像处理单元220根据需要向打印机400输出图像、量化处理结果的信息及彩色地图图像。
处理器200经由NIC(网卡)210及网络500连接至服务器600上。处理器200可以从服务器600下载关于内窥镜检查的信息(例如，病人电子病历信息和手术者信息)。所下载的信息例如显示在显示器300的显示屏或操作面板208上。此外，处理器200也可以将电子内镜100的检查结果上传到服务器600，从而使检查结果存储在服务器600上。
在这样的电子内镜100中，将通过前窗140(参照图3)拍摄的活组织的直视图像和通过侧窗150(参照图3)拍摄的活组织的侧视图像作为摄像图像同时拍摄，并显示在显示器300上时，不希望由于两个图像中出现重叠区域，相同的病变部位同时出现在侧视图像和直视图像中。此外，将直视图像和侧视图像不连续的摄像图像显示在显示器300上，这会给内窥镜操作者带来不协调感。进一步地，当侧视图像与直视图像之间存在死角区域的情况下，不希望忽略位于死角区域的病变部位。
因此，如图3所示，在电子内镜100的前端部132的前窗140(参照图3)和侧窗150(参照图3)上，设置有通过利用控制信号调节入射光的偏转特性，从而使直视图像和侧视图像中至少任意一个的视野范围发生变化的光学元件142、152。下面，对这一点进行说明。
前端部132包括物镜106、摄像元件108、前窗140和侧窗150。物镜106和摄像元件108位于前端部132处由硬质树脂材料制成的筒构件133内。在前窗140和侧窗150中设置有光学元件142、152。
前窗140朝向摄像元件108的受光面108c的前方。侧窗150朝向与前方正交的方向。
物镜106包括一组透镜106a～106e，包括半月形透镜、凸透镜和凹透镜，其半视角为大于或等于90度，优选为超过90度，更优选为大于或等于110度。因此，作为摄像图像，物镜106同时在受光面108c上形成通过前窗140获得的活组织的直视图像，和通过侧窗150获得的活组织的侧视图像。透镜106a的被摄体侧的表面还兼作前窗140。
光学元件142、152例如是薄膜元件，其通过利用控制信号调节入射到光学元件142、152上的入射光的偏转方向来使直视图像和侧视图像中至少任意一个的视野范围发生变化。
例如，使用液晶透镜作为光学元件142、152。液晶透镜可以使用例如特许第5156999号公报、特许第6128719号公报等中公知的透镜。液晶透镜例如是如下的元件：制作用于在将玻璃基板彼此非平行地倾斜配置的间隙中封入向列型液晶的液晶单元，对液晶单元施加电压，并调节电压来控制液晶的排列，由此能够连续地改变折射率，并连续地改变入射光的偏转方向。光学元件142、152也可以使用折射率随施加电压的变化而变化的电光晶体，例如使用了钽酸铌酸钾等的可变焦透镜。此外，光学元件142、152也可以使用通过改变曲率半径来改变入射光的偏转方向的液体透镜。
或者，作为光学元件142、152，也可以使用衍射光学元件。例如，通过将具有可动光栅结构的有源型衍射光学元件应用于光学元件142、152来改变入射光的偏转方向，该可动光栅结构使用与施加电压相对应的静电力来改变反射光栅的条纹的位移。
图4是说明入射到光学元件142、152中的入射光的偏转方向的一例的图。如图4所示，入射光Lin通过赋予控制信号V，将控制前的出射光Lout改变为Lout *。即，光学元件142、152通过控制信号V来改变入射光Lin的偏转方向。
因此，将光学元件142、152设置在物镜106的前面，并通过赋予控制信号V，来能够使通过物镜106和光学元件142、152在受光面108c上成像的图像的视野范围变窄或变宽。
图5是示意性地示出通过一实施方式的电子内镜100的前窗140的视野范围R1和通过侧窗150的视野范围R2的图。在图5所示的示例中，示出了未调节光学元件142、152的偏转特性时的视野范围。
如图5所示，在受光面108c上成像的图像的视野范围包含与视野范围R1和视野范围R2两者重叠的重叠区域R3。此外，存在未包含在该视野范围R1和视野范围R2两者中的死角区域R4。因此，在对活组织进行拍摄时，病变部位有时位于死角区域R4，有时位于重叠区域R3。
图6是示出电子内镜100的前端部132的器官内插入状态的一例的图。在图6中，由于前端部132偏向于器官内的右侧，因此病变部位X的一部分位于重叠区域R3中，其余部分位于视野范围R1中。图7是示出图6所示的前端部132在插入状态下显示在显示器300上的图像的一例的图。在显示器300中，视野范围R2配置在视野范围R1的周围并显示为1个图像。当视野范围R1与视野范围R2之间的重叠区域R3存在病变部位时，则如图7所示，病变部位X不连续地重叠显示。图7中的圆形虚线示出了从前窗140可看到的视野范围的端部与从侧窗150可看到的视野范围的端部之间的边界。在图7中，从前窗140可看到的视野范围的端部与从侧窗150可看到的视野范围的端部在显示器300的画面上重叠。因此，在图7中，重叠区域R3存在于虚线的内侧和外侧。
如此一来，在一边观察图像一边判断病变部位X的大小、病变的进展程度方面，不希望所关注的病变部位X不连续且重叠显示。此外，不连续且具有重叠部分的病变部位X的显示对内窥镜操作者来说不方便，并且给人带来不协调感。
图8是示出电子内镜100的前端部132的器官内插入状态的另一例的图。在图8中，由于前端部132比图6所示的示例更偏向于器官内的右侧，因此病变部位X的一部分位于死角区域R4。图9是示出图8所示的前端部132在插入状态下显示在显示器300上的图像的一例的图。在显示器300中，视野范围R2配置在视野范围R1的周围并显示为1个图像。图9中的2个圆形虚线示出了从前窗140可看到的视野范围的端部与从侧窗150可看到的视野范围的端部。因此，这2条虚线之间的区域与死角区域R4相对应。在这种情况下，如图9所示，病变部位X位于死角区域R4中的部分消失，且不连续地显示。在这种情况下，内窥镜操作者有时会误判断为有2处病变部位X，因此不希望产生如病变部位X部分消失那样的死角区域R4。
图10是说明通过调节入射到光学元件142、152的入射光的偏转方向，通过光学元件142、152及物镜而得到的视野范围的变化的图。
通过利用控制信号V调节光学元件142，来使得在受光面108c上成像的直视图像的范围从视野范围R1变为视野范围R1 *(变窄)，或者变为视野范围R1 **(变宽)。同样地，通过利用控制信号V调节光学元件152，来使得在受光面108c上成像的侧视图像的范围从视野范围R2变为视野范围R2 *(变窄)，或者变为视野范围R2 **(变宽)。
因此，在将前端部132插入器官内以对活组织进行拍摄时存在重叠区域R3的情况下，则调节光学元件142和光学元件152中至少一个的偏转特性，以缩窄视野范围R1和视野范围R2中的至少一个。此外，在将前端部132插入器官内以对活组织进行拍摄时存在死角区域R4的情况下，则调节光学元件142和光学元件152中至少一个的偏转特性，以扩大视野范围R1和视野范围R2中的至少一个。由此，能够在病变部位X的图像中消除重叠部分或消失部分。图11是示出通过调节一实施方式的电子内镜100中使用的光学元件142、152的偏转特性而得到的显示在显示器300上的图像的一例的图。病变部位X显示的不连续性得以解决，并且也没有消失。
如此一来，在前端部132的前窗140和侧窗150上设置用于调节入射的入射光的偏转特性(偏转方向)的光学元件142、152，通过利用控制信号V调节入射光的偏转特性，来使直视图像和侧视图像中至少任意一个的视野范围发生变化，因此，在将活组织的直视图像和侧视图像作为摄像图像同时进行拍摄时，能够抑制死角区域和重叠区域并实现平滑的视野范围。
另外，在前端部132的前窗140和侧窗150两者中设置光学元件142、152，但是，也可以在前窗140和侧窗150中的至少一个中设置光学元件，通过利用控制信号调节入射光的偏转特性，来使直视图像和侧视图像中至少任意一个的视野范围发生变化。
根据一实施方式，利用由处理器200的图像处理单元220生成的控制信号V来调节入射到这样的光学元件142、152上的入射光的偏转方向。根据一实施方式，控制信号V由设置在电子内镜100中的控制单元生成。图12是具备一实施方式的电子内镜100的控制单元的连接器110的构成示例图。在图12所示的示例中，在连接器110上设置有控制单元115。使用由驱动器信号处理电路112生成的图像信号，来判断有无重叠区域R3或死角区域R4，在有重叠区域R3或死角区域R4的情况下，求出其大小。
此外，使用图像处理单元220生成控制信号V时，使用通过图像处理单元220得到的图像信号，来判断有无重叠区域R3或死角区域R4，在有重叠区域R3或死角区域R4的情况下，求出其大小。
优选地，在这种情况下，控制单元115或图像处理单元220生成控制信号V，以实现在包含直视图像和侧视图像在内的摄像图像中直视图像与侧视图像之间彼此重叠的重叠区域减小以及摄像图像的视野中死角区域减小中的至少任意一个。
根据一实施方式，当显示在显示器300上的摄像图像内发现了病变部位X的存在的情况下，内窥镜操作者也可以通过一边观察所显示的病变部位X的图像一边操作操作按钮124来调节光学元件142、152的偏转特性。在这种情况下，内窥镜操作者通过按下操作按钮124来将用于调节光学元件142、152的偏转特性的指示信号发送到图12所示的控制单元115中。控制单元115根据指示信号生成控制信号V，以调节光学元件142、152的偏转特性。内窥镜操作者将调节偏转特性后的摄像图像显示在显示器300上，进而为了调节偏转特性而反复操作操作按钮12。
优选地，根据一实施方式，控制单元115或图像处理单元220根据摄像图像的像素值提取直视图像与侧视图像之间的重叠区域R3，并根据重叠区域R3的大小确定入射光的偏转特性，由此生成控制信号V。关于重叠区域R3的有无，例如即使不存在病变部位X的情况下，也能够使用因作为被摄体的活组织表面凹凸不平而使亮度发生变化的表面图像、或者出现在活组织表面的色彩发生变化的图像、能够与被摄体上的血管等特征部分的其他部分区别开的图像，来求出重叠区域R3的有无和重叠区域R3的大小。当前施加在光学元件142、152上的控制信号V是已知的，视野范围R1、视野范围R1 *或视野范围R1 **、以及视野范围R2、视野范围R2 *或视野范围R2 **在摄像图像内的位置是已知的，因此能够预先大致确定重叠区域R3可能出现产生的范围。因此，通过检查能够预先确定的范围内的摄像图像的像素值，能够有效地求出重叠区域R3的有无和重叠区域R3的大小。
优选地，根据一实施方式，控制单元115或图像处理单元220根据由摄像元件108拍摄的活组织的直视图像中呈线状延伸的部分的图像与侧视图像中的同样呈线状延伸的部分的图像在直视图像或侧视图像的端部的位置偏移量，求出位于直视图像与侧视图像之间的死角区域的大小，并根据大小确定入射到光学元件142、152的入射光的偏转方向，由此生成控制信号V。由于当前施加的控制信号V是已知的，因此能够大致了解直视图像的端部和侧视图像的端部的位置。呈线状延伸的部分例如可以列举出大肠内的褶皱的前端边缘、或出现在活组织表面的血管、或用于区分病变部位X和健康部位且呈线状延伸的边界部分等。呈线状延伸的部分优选大致呈直线延伸，但也可以是方向平滑变化的曲线。当其为平滑变化的曲线的情况下，对于因死角区域R4而中断的部分，通过从一条呈线状延伸的部分延长平滑变化的曲线图像，能够求出直视图像或侧视图像的端部相对于另一条线状图像的位置偏移量。
根据一实施方式，设置在前端部132的侧窗150被设置成沿着用于包围摄像元件108的筒构件133的周向环绕一周。在这种情况下，光学元件152优选设置在沿周向的多个位置中的每一处，使得偏转特性、即入射光的偏转方向分布在筒构件133的周向上。通过使前端部132的位置从器官中心偏移，重叠区域R3和死角区域R4的有无会在圆周上发生变化，而且，根据前端部132位置的偏移量，重叠区域R3和死角区域R4的大小也会分布在圆周上。通过将光学元件152设置在沿着侧窗150周向的多个位置中的每一处，能够减小甚至消除显示在显示器300上的图像中的重叠区域R3和死角区域R4。
根据一实施方式，物镜106的最大半视角优选为90度以上，甚至大于90度。最大半视角更优选为100度以上，进一步优选为110度以上，特别优选为112度以上。以这种方式使用电子内镜100在宽视野范围内进行拍摄，例如，能够在褶皱塌陷之前，在侧视图像中有效地对位于大肠等中的褶皱基部的并因褶皱塌陷而被遮挡的病变部位X的存在进行拍摄。
控制单元115或图像处理单元220使用摄像图像求出重叠区域R3或死角区域R4的有无以及大小，但重叠区域R3或死角区域R4的有无以及大小也可以使用事先机器学习的预测模型来求出。控制单元115或图像处理单元220具备用于预先对包含直视图像及侧视图像在内的摄像图像与重叠区域R3或死角区域R4的大小之间的关系进行机器学习的预测模型(AI模型)。控制单元115或图像处理单元220使用该预测模型，根据由摄像元件108拍摄的活组织的摄像图像的像素值，求出重叠区域R3或死角区域R4的有无及其大小，由此确定入射到光学元件142、152的入射光的偏转特性(偏转方向)。预测模型在对摄像图像与死角区域R4的大小之间的关系进行机器学习的情况下，例如，预先对摄像图像内呈线状延伸的部分的直视图像与侧视图像之间的位置偏移位置(存在位置偏移的位置)和位置偏移量与死角区域R4的大小之间的关系进行机器学习。
预测模型在利用神经网络的情况下，包含通过深层学习可预测地形成的深度神经网络(DNN)的模型、利用树结构的基于随机森林方法的模型、利用LASSO回归的模型、或者利用多项式、克里格模型、RBF网络(Radial Basis Function Network:RBFN)等的非线性函数。
在使用预测模型的情况下，也可以将控制信号V的信息与包含直视图像及侧视图像在内的摄像图像一起使用，并预先对其与重叠区域R3或死角区域R4之间的关系进行机器学习。在这种情况下，当预测模型预测并求出重叠区域R3或死角区域R4的大小时，除了作为输入数据的摄像图像之外，也会将控制信号V的信息输入到预测模型中。
在上文中，对本发明提供的内窥镜及内窥镜系统进行了详细说明，但是本发明并不限于所述实施方式，在不脱离本发明的主旨的范围内还可以进行各种改进和变化。
Claims (9)
1.一种内窥镜，是用于拍摄体腔内活组织的内窥镜，其中，所述内窥镜具备：
摄像元件，其构成为拍摄活组织图像；
物镜，其将通过朝向所述摄像元件的受光面的前方的前窗而得到的活组织的直视图像、和通过与所述前窗相比更朝向侧方侧的侧窗而得到的活组织的侧视图像作为摄像图像同时成像在所述受光面上；以及
光学元件，其设置在所述前窗和所述侧窗中的至少任意一个上，并通过利用控制信号调节入射光的偏转特性，来改变所述直视图像和所述侧视图像中至少任意一个的视野范围。
2.根据权利要求1所述的内窥镜，其中，所述内窥镜具备用于生成所述控制信号的控制单元，
所述控制单元生成所述控制信号，以实现在包含所述直视图像和所述侧视图像在内的所述摄像图像中所述直视图像与所述侧视图像之间彼此重叠的重叠区域减小以及所述摄像图像的视野中死角区域减小中的至少任意一个。
3.根据权利要求2所述的内窥镜，其中，
所述控制单元根据所述摄像图像的像素值提取所述直视图像与所述侧视图像之间的所述重叠区域，并根据所述重叠区域的大小确定所述入射光的偏转特性，由此生成所述控制信号。
4.据权利要求3所述的内窥镜，其中，
所述控制单元具备用于预先对包含所述直视图像和所述侧视图像在内的所述摄像图像与所述重叠区域的大小之间的关系进行机器学习的预测模型，通过使用所述预测模型，根据由所述摄像元件拍摄的活组织的所述摄像图像的像素值，求出所述重叠区域的有无和大小，由此确定所述入射光的偏转特性。
5.根据权利要求2至4中任一项所述的内窥镜，其中，
所述控制单元根据由所述摄像元件拍摄的活组织的所述直视图像中呈线状延伸的部分的图像与所述侧视图像中的所述呈线状延伸的部分的图像在所述直视图像或所述侧视图像的端部的位置偏移量，求出位于所述直视图像与所述侧视图像之间的所述死角区域的大小，并根据所述大小确定所述入射光的偏转特性，由此生成所述控制信号。
6.根据权利要求5所述的内窥镜，其中，
所述控制单元具备用于预先对所述摄像图像内的所述呈线状延伸的部分的位置偏移位置和位置偏移量与所述死角区域的大小之间的关系进行机器学习的预测模型，使用所述预测模型，根据由所述摄像元件拍摄的活组织的所述摄像图像的像素值求出所述呈线状延伸的部分的位置偏移位置及位置偏移量，从而求出所述死角区域的有无和大小，并由此确定所述变化量。
7.根据权利要求1至6中任一项所述的内窥镜，其中，
所述侧视窗被设置成沿着用于包围所述摄像元件的筒构件的周向环绕一周，
所述光学元件设置在沿着所述周向的多个位置中的每一处，以使所述偏转特性分布在所述周向上。
8.根据权利要求1至7中任一项所述的内窥镜，其中，
所述物镜的最大半视角为90度以上。
9.一种内窥镜系统，是具备用于拍摄体腔内的活组织的内窥镜、以及用于对由所述内窥镜拍摄的活组织的图像进行图像处理的内窥镜用处理器的内窥镜系统，其中，
所述内窥镜具备：
摄像元件，其构成为拍摄活组织图像；
物镜，其将通过设置在所述摄像元件的受光面的前方的前窗而得到的活组织的直视图像、和通过与所述前窗相比更朝向侧方侧的侧窗而得到的活组织的侧视图像作为摄像图像同时成像在所述受光面上；以及
光学元件，其设置在所述前窗和所述侧窗中的至少任意一个上，并通过利用控制信号调节入射光的偏转特性，来改变所述直视图像和所述侧视图像中至少任意一个的视野范围，
所述内窥镜用处理器具备图像处理单元，该图像处理单元对活组织的图像进行图像处理，进而生成用于控制所述入射光的偏转特性的控制信号，
所述图像处理单元生成所述控制信号，以满足在包含所述直视图像和所述侧视图像在内的所述摄像图像中所述直视图像与所述侧视图像之间彼此重叠的重叠区域减小以及所述摄像图像的视野中死角区域减小中的至少任意一个。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/030255 WO2023021630A1 (ja) | 2021-08-18 | 2021-08-18 | 内視鏡及び内視鏡システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117651516A true CN117651516A (zh) | 2024-03-05 |
Family
ID=85240344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180100595.6A Pending CN117651516A (zh) | 2021-08-18 | 2021-08-18 | 内窥镜及内窥镜系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117651516A (zh) |
| WO (1) | WO2023021630A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09313435A (ja) * | 1996-03-25 | 1997-12-09 | Olympus Optical Co Ltd | 内視鏡装置 |
| JP4438641B2 (ja) * | 2005-02-25 | 2010-03-24 | 三菱電機株式会社 | 内視鏡 |
| JP5063419B2 (ja) * | 2008-03-10 | 2012-10-31 | 富士フイルム株式会社 | 内視鏡用先端フードおよびそれを備える内視鏡ユニット |
| US9835564B2 (en) * | 2012-06-08 | 2017-12-05 | SeeScan, Inc. | Multi-camera pipe inspection apparatus, systems and methods |
| EP3053511A4 (en) * | 2014-02-14 | 2017-09-27 | Olympus Corporation | Endoscope system |
| CN106659368B (zh) * | 2014-07-21 | 2020-04-17 | 恩多巧爱思股份有限公司 | 多焦、多相机内窥镜系统 |
| JP6779089B2 (ja) * | 2016-10-05 | 2020-11-04 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの駆動方法 |
-
2021
- 2021-08-18 CN CN202180100595.6A patent/CN117651516A/zh active Pending
- 2021-08-18 WO PCT/JP2021/030255 patent/WO2023021630A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023021630A1 (ja) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4172898B2 (ja) | 電子内視鏡装置 | |
| JPH04341232A (ja) | 電子内視鏡システム | |
| WO2018051679A1 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
| EP2245978A1 (en) | Endoscope system, endoscope, and driving method | |
| JP6898425B2 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
| JP2000325307A (ja) | 撮像装置、撮像信号の重なり検出装置及び内視鏡システム | |
| EP3586716B1 (en) | Endoscope device | |
| JP2011139760A (ja) | 内視鏡システム | |
| JP5977912B1 (ja) | 内視鏡システム及び内視鏡ビデオプロセッサ | |
| US20230181017A1 (en) | Endoscopic Camera Head Incorporating Multiple Image Sensors and Related System | |
| US10729309B2 (en) | Endoscope system | |
| US20190058819A1 (en) | Endoscope apparatus | |
| JP7179837B2 (ja) | 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法 | |
| US10542866B2 (en) | Medical imaging device | |
| CN117651516A (zh) | 内窥镜及内窥镜系统 | |
| JP2001046331A (ja) | 内視鏡装置 | |
| JP2021171475A (ja) | 内視鏡及び内視鏡システム | |
| JPS6354378B2 (zh) | ||
| JP2887167B2 (ja) | 撮像装置 | |
| JP2008136732A (ja) | 三板式電子内視鏡および電子内視鏡システム | |
| JP6064092B2 (ja) | 内視鏡システム | |
| JP7076535B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
| JP7234461B2 (ja) | 内視鏡システム | |
| JP2933161B2 (ja) | 内視鏡装置 | |
| JP3662015B2 (ja) | 電子内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |