CN116829046A - 内窥镜系统及内窥镜系统的工作方法 - Google Patents

内窥镜系统及内窥镜系统的工作方法 Download PDF

Info

Publication number
CN116829046A
CN116829046A CN202180093512.5A CN202180093512A CN116829046A CN 116829046 A CN116829046 A CN 116829046A CN 202180093512 A CN202180093512 A CN 202180093512A CN 116829046 A CN116829046 A CN 116829046A
Authority
CN
China
Prior art keywords
image
temporary storage
selection condition
still image
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093512.5A
Other languages
English (en)
Inventor
岩根弘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116829046A publication Critical patent/CN116829046A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供一种能够根据拍摄状况的变化容易地获取最佳静止图像的内窥镜系统、及内窥镜系统的工作方法。内窥镜系统(10)具备内窥镜和处理器,所述内窥镜具备进行选择条件切换命令及静止图像保存命令的命令部,并且拍摄被摄体。处理器获取每一帧的内窥镜图像,将根据第1选择条件或第2选择条件选择的内窥镜图像临时保存在临时保存区域(73)中,通过对各临时保存图像进行图像评价来赋予图像评价值,并根据静止图像保存命令,保存根据图像评价值选择的最佳静止图像。

Description

内窥镜系统及内窥镜系统的工作方法
技术领域
本发明涉及一种保存静止图像的内窥镜系统及内窥镜系统的工作方法。
背景技术
在医疗领域,广泛进行使用具备内窥镜及处理器装置的内窥镜系统的诊断。通过使用内窥镜系统,能够将使用内窥镜拍摄作为被摄体的观察对象而获得的图像(以下称为内窥镜图像)保存为静止图像。静止图像用于显示在显示器上、或医疗报告的附件等,有助于诊断。
由于内窥镜的大小有限或与被摄体的距离较近等,通常无法使用例如一般摄像机或数码相机所具备的手抖校正功能等。因此,已知有一种内窥镜系统,其通过保存对亮度及模糊进行了评价的拍摄图像,能够显示具有适当亮度且没有模糊的静止图像(专利文献1)。
以往技术文献
专利文献
专利文献1:日本特开2020-168164号公报
发明内容
发明要解决的技术课题
内窥镜通常没有自动聚焦功能。在这种情况下,为了获取聚焦的静止图像,用户自己操作内窥镜并调整与被摄体的距离,从而获得最佳聚焦的静止图像。但是,如图20所示,由于内窥镜的被摄体是器官,所以在用户适当调整内窥镜12的前端部与被摄体91的距离使其成为距离db而聚焦固定内窥镜的时刻,被摄体91有可能由于脉动、蠕动等而移动例如距离dm。由此,内窥镜12与被摄体91之间的距离变为距离db+c,远离聚焦距离db,所得图像失焦。像这样,有时会出现与被摄体的距离等拍摄状况发生意外变化而难以获得最佳对焦的静止图像的情况。
对此,还可以考虑在多个时刻自动获取多个静止图像并从多个静止图像中选择对焦的静止图像。但是,在该方法中,会保存大量的意料之外的时刻的静止图像等,从而难以选择对焦等适当的静止图像,并且,存在保存静止图像的存储器容量增大的风险。
本发明的目的在于提供一种能够根据拍摄状况的变化容易地获取最佳静止图像的内窥镜系统、及内窥镜系统的工作方法。
用于解决技术课题的手段
本发明为内窥镜系统,其具备拍摄被摄体的内窥镜和处理器,内窥镜具备命令部,处理器执行如下处理:获取每一帧的通过内窥镜拍摄被摄体而得的内窥镜图像;将根据第1选择条件或第2选择条件选择的内窥镜图像作为临时保存图像临时保存在临时保存区域中;通过对临时保存区域中临时保存的各临时保存图像进行图像评价来赋予图像评价值;根据选择条件切换命令,切换第1选择条件和第2选择条件;及根据静止图像保存命令,保存从临时保存图像中根据图像评价值选择的最佳静止图像,命令部进行选择条件切换命令和静止图像保存命令。
优选处理器在开始获取内窥镜图像时,进行根据第1选择条件选择的所述内窥镜图像的临时保存。
优选命令部进行第1动作和第2动作,并通过第2动作进行静止图像保存命令。
优选命令部包括瞬时型开关,第1动作为按下瞬时型开关,第2动作为解除按下的瞬时型开关。
优选命令部包括交替型开关,第1动作为交替型开关的第一次按下和解除,第2动作为交替型开关的第二次按下和解除。
优选处理器测量从第1动作到第2动作的期间,当期间为预先设定的判定期间以上的情况下,命令部在从第1动作起经过判定期间时进行选择条件切换命令。
优选当命令部进行了静止图像保存命令时,处理器根据第2选择条件临时保存了内窥镜图像的情况下,命令部进行选择条件切换命令。
优选处理器将所选择的内窥镜图像作为临时保存图像以预先设定的最大数量以下临时保存在临时保存区域中,第1选择条件包括:当临时保存图像以小于最大数量临时保存在临时保存区域时,作为第1A选择条件,以拍摄时间最近的顺序将内窥镜图像作为临时保存图像临时保存在临时保存区域中,直到达到最大数量;当最大数量的临时保存图像临时保存在临时保存区域时,作为第1B选择条件,从临时保存区域中删除临时保存区域中临时保存的临时保存图像中拍摄时间最早的临时保存图像,然后以拍摄时间最近的顺序将内窥镜图像作为临时保存图像临时保存在临时保存区域中。
优选处理器将所选择的内窥镜图像作为临时保存图像以预先设定的最大数量以下临时保存在临时保存区域中,第2选择条件包括:当临时保存图像以小于最大数量临时保存在临时保存区域时,作为第2A选择条件,以拍摄时间最近的顺序将内窥镜图像作为临时保存图像临时保存在临时保存区域中,直到达到最大数量;当最大数量的临时保存图像临时保存在临时保存区域时,作为第2B选择条件,仅将从临时保存图像中根据图像评价值选择的适当静止图像作为临时保存图像保留在临时保存区域中,并且,从临时保存区域删除除了适当图像以外的图像,然后进行第2A选择条件。
优选处理器将所选择的内窥镜图像作为临时保存图像以预先设定的最大数量以下临时保存在临时保存区域中,第2选择条件包括:当临时保存图像以小于最大数量临时保存在临时保存区域时,作为第2A选择条件,以拍摄时间最近的顺序将内窥镜图像作为临时保存图像临时保存在临时保存区域中,直到达到最大数量;当最大数量的临时保存图像临时保存在临时保存区域时,作为第2C选择条件,作为第2B选择条件,仅将从临时保存图像中根据图像评价值选择的适当静止图像作为临时保存图像保留在临时保存区域中,并且,从临时保存区域删除除了适当图像以外的图像,然后选择拍摄时间最新的内窥镜图像并将其作为临时保存图像临时保存在临时保存区域之后,仅将从临时保存在临时保存区域的临时保存图像中根据图像评价值选择的适当静止图像作为临时保存图像临时保存在临时保存区域中。
优选具备显示最佳静止图像和/或适当静止图像的显示器,当显示器上显示有最佳静止图像和/或适当静止图像时,将其分别进行更新而显示最新的最佳静止图像和/或适当静止图像。
优选显示器具备主画面和子画面,最佳静止图像在预先设定的显示期间显示在主画面上,在显示期间后显示在子画面上。
优选具备:通知部,用于在显示器更新显示了最佳静止图像和/或适当静止图像时,向用户通知更新。
优选当处理器在第1选择条件和第2选择条件之间进行了切换时,通知部向用户通知切换。
优选当在预先设定的最短通知期间内再次向用户进行通知时,通知部不进行通知。
优选处理器对临时保存图像所具有的对比度和/或亮度进行图像评价,图像评价值为与临时保存图像的对比度和/或亮度相关的值。
优选处理器对与临时保存图像中映现的被摄体所具有的特定病变相关的确信度和/或恶性度进行图像评价,图像评价值为确信度和/或恶性度。
优选处理器进行如下处理:对图像评价值设定阈值,当将阈值以上的图像评价值赋予到临时保存图像时,视为发出了静止图像保存命令,将赋予了阈值以上的图像评价值的临时保存图像保存为最佳静止图像。
优选命令部包括冻结操作部。
并且,本发明为内窥镜系统的工作方法,内窥镜系统具备内窥镜和处理器,内窥镜具备命令部,并拍摄被摄体,其中,处理器执行如下处理:获取每一帧的通过内窥镜拍摄被摄体而得的内窥镜图像;将根据第1选择条件或第2选择条件选择的内窥镜图像作为临时保存图像临时保存在临时保存区域中;通过对临时保存区域中临时保存的各临时保存图像进行图像评价来赋予图像评价值;根据选择条件切换命令,切换第1选择条件和第2选择条件;及根据静止图像保存命令,保存从临时保存图像中根据图像评价值选择的最佳静止图像,命令部进行选择条件切换命令和静止图像保存命令。
发明效果
根据本发明,能够根据拍摄状况的变化容易地获取最佳静止图像。
附图说明
图1是内窥镜系统的外观图。
图2是表示内窥镜系统的功能的框图。
图3是说明光源部所包含的4色LED的说明图。
图4是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的图表。
图5是表示图像保存部的功能的框图。
图6是表示最佳静止图像的保存的一连串的流程的流程图。
图7是说明第1A选择条件的说明图。
图8是说明第1B选择条件的说明图。
图9是说明第2B选择条件及第2C选择条件的前半部分的说明图。
图10是说明第2B选择条件的后半部分的说明图。
图11是说明第2C选择条件的后半部分的说明图。
图12是说明在第2B选择条件下进行的静止图像保存命令的说明图。
图13是说明在第2C选择条件下进行的静止图像保存命令的说明图。
图14是说明通过单按冻结开关来获取最佳静止图像的说明图。
图15是说明通过长按冻结开关来获取最佳静止图像的说明图。
图16是每隔1帧获取的临时保存图像的说明图。
图17是说明使用了图像评价值的阈值的情况的说明图。
图18是对在显示器上显示最佳静止图像的一例进行说明的说明图。
图19是对在显示器上显示最佳静止图像的更新并进行通知的情况进行说明的说明图。
图20是说明内窥镜图像的焦点变动的情况的说明图。
具体实施方式
在图1中,内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及键盘19。内窥镜12与光源装置14光学连接,且与处理器装置16电连接。内窥镜12具有插入于具有作为被摄体的观察对象的受检者的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过对操作部12b的弯角钮12e进行操作而弯曲部12c进行弯曲动作。通过弯曲部12c的弯曲动作而前端部12d朝向所期望的方向。
除了弯角钮12e之外,操作部12b还具有后面说明的进行选择条件切换命令、或静止图像保存命令等的冻结操作部12f、以及用于改变摄像倍率的变焦操作部12g。另外,关于静止图像保存命令或变焦操作,除了使用冻结操作部12f、或变焦操作部12g的观测器开关以外,还可以设为使用处理器装置16的开关、键盘19或脚踏开关(未图示)等进行的操作或命令。
处理器装置16与显示器18及键盘19电连接。显示器18输出并显示动画或静止图像形式的内窥镜图像、和/或这些图像所附带的信息等。键盘19作为接受功能设定等的输入操作的用户界面而发挥作用。另外,在处理器装置16中也可以连接记录图像或图像信息等的外置记录部(省略图示)。
在图2中,光源装置14发出向观察对象照射的照明光,具备光源部20和控制光源部20的光源用处理器21。光源部20例如由多色LED(Light Emitting Diode,发光二极管)等半导体光源、激光二极管与荧光体的组合、或氙气灯、卤素光源构成。并且,光源部20包括用于调整由LED等发射的光的波长带的滤光器等。光源用处理器21通过各LED等的开/关、各LED等的驱动电流和驱动电压的调整来控制照明光的光量。并且,光源用处理器21通过滤光器的变更等来控制照明光的波长带。
如图3所示,在本实施方式中,光源部20具有V-LED(Violet Light EmittingDiode:紫色发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝色发光二极管)20b、G-LED(Green Light Emitting Diode:绿色发光二极管)20c及R-LED(Red Light EmittingDiode:红色发光二极管)20d这4种颜色的LED。
如图4所示,V-LED20a产生中心波长410±10hm、波长范围380~420nm的紫色光V。B-LED20b产生中心波长450±10nm、波长范围420~500nm的蓝色光B。G-LED20c产生波长范围达到480~600nm的绿色光G。R-LED20d产生中心波长620~630nm且波长范围达到600~650nm的红色光R。
光源用处理器21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。光源用处理器21控制各LED20a~20d,以使其例如根据多种观察模式发射紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比的组合不同的照明光。
各LED20a~20e发出的光经由由反射镜、透镜等构成的光路耦合部(未图示)入射到光导件41。光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)。光导件41将来自光路耦合部的光传播到内窥镜12的前端部12d。
在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜42,通过光导件41传播的照明光经由照明透镜42照射到观察对象。摄像光学系统30b具有物镜43、变焦透镜44及摄像传感器45。来自观察对象的反射光、散射光及荧光等各种光经由物镜43及变焦透镜44入射到摄像传感器45。由此,观察对象的图像成像在摄像传感器45中。通过操作变焦操作部12g而变焦透镜44在望远端与广角端之间自由移动,从而放大或缩小在摄像传感器45上成像的观察对象。
摄像传感器45是按每个像素设置有R(红色)、G(绿色)或B(蓝色)的滤色器中的任一个的彩色摄像传感器,拍摄观察对象并输出RGB各色的图像信号。作为摄像传感器45,能够利用CCD(Charge Coupled Device:电荷耦合元件)摄像传感器或CMOS(ComplementaryMetal-Oxide Semiconductor:互补金属氧化物半导体)摄像传感器。并且,代替设置有原色滤色器的摄像传感器45,可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的补色摄像传感器。当使用补色摄像传感器时,输出CMYG这4种颜色的图像信号。因此,通过补色-原色颜色转换,将CMYG这4种颜色的图像信号转换为RGB这3种颜色的图像信号,从而能够获得与摄像传感器45相同的RGB图像信号。并且,代替摄像传感器45也可以使用没有设置滤色器的单色传感器。
CDS/AGC(Correlated Double Sampling(相关双采样)/Automatic Gain Control(自动增益控制))电路46对由摄像传感器45获得的模拟的图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过了CDS/AGC电路46的图像信号通过A/D(Analog/Digital:模拟/数字)变频器47转换为数字图像信号。A/D转换后的数字图像信号被输入到处理器装置16。
在处理器装置16中,与图像保存处理等处理相关的程序存储于程序用存储器(未图示)。在处理器装置16中,通过由处理器构成的中央控制部59使程序用存储器内的程序动作,从而实现图像获取部51、降噪部53、信号处理部55、图像保存部56、显示控制部57、视频信号生成部58及中央控制部59等的功能。并且,中央控制部59接收来自冻结操作部12f等内窥镜12的信息,并根据接收到的信息,除了进行图像保存部56等处理器装置16的各部的控制以外,还进行内窥镜12或光源装置14的控制。并且,还接收来自键盘19的命令等信息。
图像获取部51针对每一帧获取用内窥镜12拍摄被照明光照射的观察对象即被摄体而得到的内窥镜图像的数字图像信号。另外,“帧”是指,用于控制拍摄被摄体的摄像传感器45(参考图2)的单位,例如,“1帧”是指,至少包含利用来自被照明光照射的观察对象的光来曝光摄像传感器45的曝光期间和读出图像信号的读取期间的期间。
获取到的图像信号被发送到DSP52。DSP52对接收到的图像信号进行色彩校正处理等数字信号处理。降噪部53对通过DSP52实施色彩校正处理等的图像信号实施例如基于移动平均法和中值滤波法等的降噪处理。噪声降低的图像信号存储于存储器54。
信号处理部55从存储器54获取降噪后的图像信号。并且,根据需要对所获取到的图像信号实施颜色转换处理、色彩强调处理及结构强调处理等信号处理,并生成拍摄有观察对象的彩色的内窥镜图像。
图像保存部56进行保存图像的图像保存处理。显示控制部57控制在作为显示机构的显示器18上的图像或信息的显示。例如,进行在显示器18上实时显示内窥镜图像的控制、或在显示器18的子画面等的设定区域中显示所保存的静止图像的控制等。
视频信号生成部58将从显示控制部57输出的各种内窥镜图像转换为能够在显示器18上全彩显示的视频信号。转换完的视频信号输入到显示器18。由此,显示器18显示内窥镜图像或文本等形式的各种信息。
图像保存部56具备临时保存部61、图像评价部62及最佳静止图像保存部63。如图5所示,临时保存部61具备选择条件切换命令接收部71、选择条件切换部72及临时保存区域73。临时保存部61将根据选择条件选择的内窥镜图像作为临时保存图像临时保存在临时保存区域73中。选择条件是将由图像获取部51按每一帧获取的内窥镜图像作为对象,选择要临时保存在临时保存区域73中的内窥镜图像的条件。选择条件包括第1选择条件或第2选择条件这2种。选择条件根据选择条件切换命令接收部71所接收的选择条件切换命令,由选择条件切换部72进行切换。临时保存区域73具备临时保存内窥镜图像的存储器的功能,具有一定的容量。
选择条件切换命令接收部71接收选择条件切换命令。选择条件切换命令是切换选择条件的命令,是从第1选择条件切换到第2选择条件,或从第2选择条件切换到第1选择条件,来切换临时保存区域73将从内窥镜图像中选择的临时保存图像临时保存到临时保存区域73时的选择条件的命令。选择条件切换命令接收部71接收到选择条件切换命令时,选择条件切换部72切换选择条件。没有选择条件切换命令时,不切换选择条件,继续至今为止的选择条件。由命令部进行选择条件切换命令和后述的静止图像保存命令。关于由命令部进行的选择条件切换命令和静止图像保存命令,在后面进行叙述。
图像评价部62通过对临时保存区域73中临时保存的各临时保存图像进行图像评价,对各临时保存图像赋予图像评价值。图像评价部62具备对比度评价部74、亮度评价部75、确信度评价部76及恶性度评价部77。被赋予图像评价值的临时保存图像保存在临时保存区域73中。
图像评价是根据临时保存图像进行的评价,可举出通过对临时保存图像所具有的特征量进行图像分析来计算出图像评价值的方法,或者通过将使用经过训练的机器学习模型导出的对临时保存图像的各种值作为图像评价值来赋予到临时保存图像等的方法等。
图像评价部62对临时保存图像所具有的对比度和/或亮度进行图像评价,图像评价值能够设为与临时保存图像的对比度和/或亮度相关的值。具体而言,对比度评价部74对各临时保存图像的对比度进行评价,并将对比度评价值赋予到对应的临时保存图像。并且,亮度评价部75对各临时保存图像的亮度进行图像评价,并将亮度评价值赋予到对应的临时保存图像。
并且,图像评价部62对临时保存图像中映现的被摄体所具有的病变进行与特定的疾病等相关的确信度和/或恶性度的图像评价,图像评价值能够设为疾病的确信度和/或恶性度、或与其相关的值。具体而言,确信度评价部76对各临时保存图像进行与特定的疾病相关的确信度的图像评价,并将确信度评价值赋予到对应的临时保存图像。并且,恶性度评价部77对各临时保存图像进行与特定的疾病相关的恶性度的图像评价,并将恶性度评价值赋予到对应的临时保存图像。
图像评价部62所具备的对比度评价部74、亮度评价部75、确信度评价部76及恶性度评价部77等能够使用公知的方法进行图像评价。关于通过对比度评价部74对临时保存图像赋予的对比度评价值,可以说是其值越高越为聚焦或对焦的图像,值越低模糊或抖动等越大、或者是聚焦或对焦越模糊的图像。因此,通过对比度评价值,能够从临时保存图像中选择焦点的聚焦度优异的内窥镜图像。对于亮度评价部75、确信度评价部76及恶性度评价部77也是相同的,例如可以说,亮度评价部75的亮度评价值越高越为明亮的内窥镜图像,越低越为暗的内窥镜图像。因此,在从临时保存图像中选择最佳静止图像时,能够选择亮度评价值在一定范围内的临时保存图像。
同样地,确信度评价部76的确信度评价值越高,可以说是被摄体所包含的特征部分中特定的疾病等的确信度高的内窥镜图像,并且,恶性度评价部77的恶性度评价值越高,能够设为被摄体所包含的特征部分中特定的疾病等的恶性度高。
图像评价值不限于这些例子。并且,尤其当使用经过训练的机器学习模型来进行图像评价时,例如,可以将对比度、亮度、确信度及恶性度中的2个以上一起进行评价,不必单独计算各图像评价值而将其作为图像评价值来赋予。
最佳静止图像保存部63具备静止图像保存命令接收部78和最佳静止图像保存区域79。最佳静止图像保存部63根据静止图像保存命令接收部78接收到的静止图像保存命令,将从临时保存图像中根据图像评价值选择的最佳静止图像保存在最佳静止图像保存区域79中。
最佳静止图像是作为要保存的静止图像而适合的静止图像,例如具有适当焦点或亮度等的静止图像,或者包括病变等的特征区域的静止图像等。最佳静止图像是根据图像评价值从临时保存区域73临时保存的临时保存图像中作为焦点等最佳的静止图像而选择的静止图像。
静止图像保存命令接收部78接收静止图像保存命令。由命令部进行静止图像保存命令。
命令部进行选择条件切换命令和静止图像保存命令。因此,命令部优选进行第1动作和第2动作。第1动作和第2动作是命令部进行的不同的动作。通过第1动作和第2动作,即使命令部例如是一个开关,也能够进行选择条件切换命令和静止图像保存命令这两个不同的命令。
命令部是进行命令操作的操作部。由控制部控制借由操作部的操作发出的命令。具体而言,进行命令操作的操作部可以是内窥镜12的操作部12b所具备的冻结操作部12f。控制借由操作发出的命令的控制部可以是中央控制部59。
冻结操作部12f是还称为观测器的内窥镜12的各种观测器开关中的冻结开关。通过由用户操作冻结操作部12f来进行选择条件切换命令和静止图像保存命令。命令部也可以是冻结操作部12f以外的操作部,例如是与处理器装置16连接的脚踏开关(未图示)、遥控开关(未图示)、或者处理器装置16所具备的各种开关。
冻结操作部12f可以通过瞬时型开关或交替型开关来进行第1动作和第2动作。冻结操作部12f为瞬时型开关时,第1动作可以为按下瞬时型开关,第2动作可以为解除按下的瞬时型开关。具体而言,冻结操作部12f为瞬时型开关的冻结开关时,用户继续冻结开关的按下即第1动作而判断为长时间按下时进行选择条件切换命令。并且,可以将用户停止按下冻结开关而解除开关的动作作为第2动作,以使在冻结开关的按下解除时进行静止图像保存命令。
冻结操作部12f为交替型开关时也与瞬时型开关时相同,能够设为第1动作是交替型开关的第一次按下和解除,第2动作是交替型开关的第二次按下和解除。具体而言,冻结操作部12f为交替型开关的冻结开关时,用户按下冻结开关1次使开关成为打开(ON)状态,打开状态继续而被判断为长按时定义为第1动作,在进行了第1动作即长按时进行选择条件切换命令。并且,可以将用户第二次按下冻结开关使开关成为关闭状态的动作定义为第2动作,第2次按下冻结开关时进行静止图像保存命令。
可以如下进行长按的判定。冻结操作部12f的操作被传送到处理器装置16的中央控制部59。中央控制部59进行冻结操作部12f的操作的接收及判定。冻结操作部12f与中央控制部59协作,在冻结操作部12f为瞬时型开关时,测量从第1动作到第2动作的期间,当该期间为预先设定的判定期间以上的情况下,从第1动作起经过判定期间时对选择条件切换命令接收部71进行选择条件切换命令。并且,当冻结操作部12f是交替型开关时,测量从第1动作即第一次按下和解除起经过的时间,该时间为预先设定的判定期间以上的情况下,从第1动作起经过判定期间时对选择条件切换命令接收部71进行选择条件切换命令。
命令部为冻结操作部12f以外的操作部时,通过将命令部设为瞬时型开关或交替型开关作等,能够较佳地进行选择条件切换命令和静止图像保存命令这2种命令。
接着,更具体地说明内窥镜系统10的动作等。如图6所示,在使用内窥镜系统10的观察中,用户通过使用内窥镜12拍摄作为被摄体的观察对象来获得内窥镜图像。图像获取部51按每一帧获取内窥镜图像(步骤ST100)。另外,图像获取部51按照拍摄时刻的顺序获取内窥镜图像。然后,将图像评价值赋予到根据第1选择条件选择的临时保存图像,并且重复该过程(步骤ST110)。
优选在图像获取部51开始获取内窥镜图像时,临时保存部61临时保存根据第1选择条件选择的内窥镜图像。在第1选择条件下,可以将内窥镜图像按照拍摄时刻的顺序以先进先出(FIFO:First In First Out)方式在临时保存区域73临时保存在临时保存区域73中。另外,所选择的内窥镜图像优选作为临时保存图像以预先设定的最大数量以下临时保存在临时保存区域73中。
第1选择条件可以具备第1A选择条件和第1B选择条件。临时保存图像以小于最大数量临时保存在临时保存区域73时,使用第1A选择条件。在1A选择条件下,内窥镜图像按照最近拍摄时刻的顺序作为临时保存图像临时保存在临时保存区域73中直到达到最大数量为止。最大数量的临时保存图像临时保存在临时保存区域73时,使用第1B选择条件。在第1B选择条件下,将临时保存区域73中临时保存的临时保存图像中拍摄时刻最早的临时保存图像从临时保存区域中删除,然后将内窥镜图像按照最近拍摄时刻的顺序作为临时保存图像临时保存在临时保存区域73中,重复进行这些操作。像这样,通过在1B选择条件中采用先进先出方式,能够防止临时保存区域73中临时保存的临时保存图像超过预先设定的最大数量。
如图7所示,例如,最大数量设定为5个,临时保存在临时保存区域73中的临时保存图像小于5个时,使用第1A选择条件。在第1A选择条件下,由于临时保存在临时保存区域73中的临时保存图像小于5个,因此将内窥镜图像按照最近拍摄时刻的顺序临时保存到临时保存区域73中直到临时保存图像达到最大数量的5个。因此,在时刻t1开始拍摄内窥镜图像时,在时刻t3,临时保存区域73中临时保存有在时刻t1拍摄的内窥镜图像至在时刻t3拍摄的内窥镜图像。接着,按照获取内窥镜图像的顺序将临时保存图像临时保存在临时保存区域73中,直到临时保存图像达到最大数量的5个。
如图8所示,临时保存到临时保存区域73中的临时保存图像达到最大数量的5个时,使用第1B选择条件。在第1B选择条件中,由于最大数量的临时保存图像临时保存在临时保存区域73中,因此以先进先出方式使得临时保存在临时保存区域73中的临时保存图像始终超不过最大数量。因此,在时刻t6获取内窥镜图像时,从临时保存区域73中删除在时刻t1拍摄的内窥镜图像,然后将在最新的时刻t6拍摄的内窥镜图像临时保存在临时保存区域73中。在图8中,要删除的图像用阴影表示。像这样,临时保存区域73中保存的临时保存图像不会超过预先设定的最大数量,因此能够防止存储容量的增大。
另外,通过图像评价部62对临时保存区域73中临时保存的各临时保存图像赋予图像评价值。本实施方式中,对比度评价部74对各临时保存图像进行与对比度相关的评价,并将对比度评价值赋予到对应的临时保存图像。对比度评价值越高,越为对焦的内窥镜图像,对比度评价值越低,越为存在模糊或抖动等且焦点偏离的内窥镜图像。
接下来,发出了选择条件切换命令时(步骤ST120中“是”),将选择条件切换到第2选择条件(步骤ST140)。如上所述,选择条件切换命令由命令部进行。在本实施方式中,命令部包括内窥镜12的冻结操作部12f,当冻结操作部12f被长按时,进行选择条件切换命令。在后面叙述没有选择条件切换命令的情况(步骤ST120中“否”)。将选择条件切换为第2选择条件之后,将图像评价值赋予到根据第2选择条件选择的临时保存图像,并且重复该过程(步骤ST150)。
第2选择条件可以具备第2A选择条件和第2B选择条件。第2A选择条件与第1A选择条件相同。临时保存图像以小于最大数量临时保存在临时保存区域73时,使用第2A选择条件。在2A选择条件下,将内窥镜图像按照最近拍摄时刻的顺序作为临时保存图像临时保存在临时保存区域73中直到达到最大数量为止。最大数量的临时保存图像临时保存在临时保存区域73时,使用第2B选择条件。在2B选择条件下,仅将根据对比度评价值从临时保存图像中选择的适当静止图像作为临时保存图像保留在临时保存区域中,并且从临时区域中删除除适当图像以外的图像,然后再次进行第2A选择条件。适当静止图像是作为用于选择最佳静止图像的候选而选择的静止图像。像这样,在第2B选择条件下,在最大数量的临时保存图像中,例如根据对比度评价值保留1个适当静止图像,删除其他的临时保存图像,并再次按照拍摄时刻的顺序追加临时保存图像,临时保存图像达到最大数量时,再次重复进行根据对比度评价值保留1个适当静止图像的流程,通过该方法,可以防止临时保存区域73中临时保存的临时保存图像超过预先设定的最大数量。
如图9所示,当冻结操作部12f的按下期间在时刻tn超过长按判定期间而判定为长按时,在时刻tn进行选择条件切换命令,选择条件切换部72将选择条件从第1选择条件切换到第2选择条件。第2选择条件中,临时保存到临时保存区域73中的临时保存图像达到最大数量的5个时,使用第2B选择条件。判定为长按时,使用第2A选择条件还是第2B选择条件是取决于在判定为长按时临时保存区域73中保存了多少数量的临时保存图像。在第2B选择条件中,在前半部分,将从时刻tn到时刻tn+4拍摄的内窥镜图像作为临时保存图像时,从这些临时保存图像中选择一个对比度评价值最高的临时保存图像即内窥镜图像Ptn+3作为适当静止图像。在图9中,从作为适当静止图像的临时保存图像中选择的内窥镜图像Ptn+3用阴影表示。临时保存图像中,除了适当静止图像以外的临时保存图像从临时保存区域73中删除。
接着,如图10所示,在2B选择条件的后半部分,对于临时保存图像,在时刻tn+3拍摄的适当静止图像即内窥镜图像Ptn+3临时保存在临时保存区域73中的状态下,将在下一个拍摄时刻即时刻tn+5到时刻tn+8拍摄的内窥镜图像作为临时保存图像临时保存在临时保存区域73中。在临时保存区域73中临时保存有最大数量的5个临时保存图像的时点,进行第2B选择条件。即,从临时保存区域73中临时保存的最大数量即5个临时保存图像中,根据对比度评价值来选择适当静止图像,在图10的情况下,作为适当静止图像而选择一个在时刻tn+7拍摄的内窥镜图像Ptn+7。在图10中,作为适当静止图像的内窥镜图像Ptn+3和作为新的适当静止图像的内窥镜图像Ptn+7用不同的阴影表示。在长按冻结操作部12f的期间继续进行适当静止图像的更新。这样,适当静止图像在更新的同时被临时保存,因此能够获取到更适当的静止图像。并且,临时保存区域73中保存的临时保存图像不会超过预先设定的最大数量,因此能够防止存储容量的增大。
第2选择条件可以具备第2A选择条件和第2C选择条件。首先,临时保存图像以小于最大数量临时保存在临时保存区域73时,使用第2A选择条件。最大数量的临时保存图像临时保存在临时保存区域73时,使用第2C选择条件。在2C选择条件下,最大数量的临时保存图像临时保存在临时保存区域时,仅将从临时保存图像中根据对比度评价值选择的适当静止图像作为临时保存图像临时保存在临时保存区域,然后选择拍摄时刻最新的内窥镜图像并将其作为临时保存图像临时保存在临时保存区域之后,仅将从临时保存在临时保存区域的临时保存图像中根据对比度评价值选择的适当静止图像作为临时保存图像临时保存在临时保存区域。此后,重复第2C选择条件。这样,在第2C选择条件下,在最大数量的临时保存图像中,例如根据对比度评价值在临时保存区域中保留1个适当静止图像,再次按照拍摄时刻的顺序追加1个临时保存图像,之后,通过比较这2个临时保存图像的对比度评价值,保留1个适当静止图像,再次重复进行按照拍摄时刻的顺序追加1个临时保存图像的流程,通过该方法,可以防止临时保存区域73中临时保存的临时保存图像超过预先设定的最大数量。
第2选择条件中,临时保存到临时保存区域73中的临时保存图像达到最大数量的5个时,可以使用第2C选择条件。在第2C选择条件中,在前半部分,如图9所示,将从时刻tn到时刻tn+4拍摄的最大数量的5个内窥镜图像作为临时保存图像时,从这些临时保存图像中选择一个对比度评价值最良好的临时保存图像作为适当静止图像。这些临时保存图像中除作为适当静止图像的内窥镜图像Ptn+3以外的临时保存图像从临时保存区域73中删除。
接着,如图11所示,在2C选择条件的后半部分,在时刻tn+4之后,对于临时保存图像,在时刻tn+3拍摄的适当静止图像临时保存在临时保存区域中的状态下,将在下一个拍摄时刻即时刻tn+5拍摄的内窥镜图像作为临时保存图像临时保存在临时保存区域73中。在临时保存区域中临时保存在时刻tn+3拍摄的适当静止图像即内窥镜图像Ptn+3和在时刻tn+5拍摄的内窥镜图像Ptn+5这2个临时保存图像之后,通过比较2个临时保存图像的对比度评价值,将对比度评价值高的一者即在时刻tn+5拍摄的内窥镜图像Ptn+5作为新的适当静止图像保留1个。在图12中,作为适当静止图像的内窥镜图像Ptn+3和作为新的适当静止图像的内窥镜图像Ptn+5用不同的阴影表示。在时刻tn+5拍摄的适当静止图像临时保存在临时保存区域中的状态下,将在下一个拍摄时刻即时刻tn+6(未图示)拍摄的内窥镜图像作为临时保存图像临时保存在临时保存区域73中,在临时保存区域中临时保存在时刻tn+5拍摄的适当静止图像和在时刻tn+5和时刻tn+6拍摄的这2个临时保存图像之后,重复对这2个临时保存图像的对比度评价值进行比较的流程。这样,适当静止图像在更新的同时被临时保存,因此能够获取到更适当的静止图像。并且,临时保存区域73中保存的临时保存图像不会超过预先设定的最大数量,因此能够防止存储容量的增大。
接下来,当发出了静止图像保存命令时(步骤ST160中“是”),根据图像评价值从临时保存图像中选择最佳静止图像(步骤ST170)。最佳静止图像是适合作为要保存的静止图像的静止图像。如上所述,静止图像保存命令由命令部进行。在本实施方式中,命令部包括内窥镜12的冻结操作部12f,因此当进行了第2动作即冻结操作部12f的按下被解除时,进行静止图像保存命令。
如上所述,通过冻结操作部12f的第2动作进行静止图像保存命令。本实施方式中,可以将用户解除按下作为冻结操作部12f的冻结开关的动作作为第2动作,以使在冻结开关的按下被解除时进行静止图像保存命令。
如图12所示,当根据第2B选择条件进行了内窥镜图像的临时保存的情况下,通过静止图像保存命令冻结操作部12f的按下被解除而进行了静止图像保存命令时,临时保存区域73中临时保存的临时保存图像为5个,因此从5个临时保存图像中根据对比度评价值选择1个最佳静止图像。另外,5个临时保存图像包括在时刻tn+3拍摄的内窥镜图像Ptn+3和在时刻tn+7拍摄的内窥镜图像Ptn+7。在时刻tn+3拍摄的内窥镜图像是从时刻tn到时刻tn+4拍摄的5个内窥镜图像中对比度评价值最高的内窥镜图像,是过去的适当静止图像。在图12中,作为适当静止图像的内窥镜图像Ptn+3和作为新的适当静止图像的内窥镜图像Ptn+7用不同的阴影表示。通过根据对比度评价值比较内窥镜图像Ptn+3和内窥镜图像Ptn+7而选择了内窥镜图像Ptn+7时,相当于是在从时刻tn到时刻tn+9拍摄的10个内窥镜图像中选择了焦点最对焦的内窥镜图像即内窥镜图像Ptn+7作为最佳静止图像。
同样地,如图13所示,当根据第2C选择条件进行了内窥镜图像的临时保存的情况下,冻结操作部12f的按下被解除而进行了静止图像保存命令时,临时保存区域73中临时保存的临时保存图像为5个,因此从5个临时保存图像中根据对比度评价值选择1个最佳静止图像。另外,5个临时保存图像为从时刻tn到时刻tn+4拍摄的内窥镜图像,包括在时刻tn+3拍摄的内窥镜图像Ptn+3。内窥镜图像Ptn+3是从时刻tn到时刻tn+4拍摄的5个内窥镜图像中对比度评价值最高的内窥镜图像,是过去的适当静止图像。通过根据对比度评价值比较内窥镜图像Ptn+3和静止图像保存命令后图像获取部51获取的内窥镜图像Ptn+5而选择了内窥镜图像PTn+5时,相当于是在从时刻tn到时刻tn+5拍摄的6个内窥镜图像中选择了焦点最对焦的内窥镜图像即内窥镜图像Ptn+5作为最佳静止图像。在图13中,作为适当静止图像的内窥镜图像Ptn+3和静止图像保存命令后获取到的内窥镜图像Ptn+5用不同的阴影表示。
将如上所述选择的最佳静止图像保存在最佳静止图像保存区域79中(步骤ST180)。最佳静止图像保存区域79中保存的最佳静止图像是图像评价值优异的静止图像。在本实施方式中,使用对比度评价值作为图像评价值,因此最佳静止图像为聚焦优异的内窥镜图像。因此,最佳静止图像适合于在显示器18上显示或用于医疗报告。
接下来,将选择条件从第2选择条件切换到第1选择条件(步骤ST190)。在保存最佳静止图像之后,临时保存部根据第2选择条件临时保存了内窥镜图像时,中央控制部59对选择条件切换命令接收部71进行选择条件切换命令。内窥镜图像的获取结束时(步骤ST200中“是”),内窥镜的观察结束。内窥镜图像的获取未结束时(步骤ST200中“否”),返回到步骤ST100,从根据第1选择条件临时保存内窥镜图像的步骤开始重复。
另外,在步骤ST1 20中没有选择条件切换命令的情况(步骤ST120中“否”)为冻结操作部12f的按下未被判定为长按的情况,且为冻结操作部12f持续按下的期间被判定为小于长按判定时间的单按的情况。在这种情况下,由于冻结操作部12f的按下被解除,因此进行静止图像保存命令(步骤ST130),进入选择最佳静止图像的步骤ST170。在单按冻结操作部12f时的步骤ST170中,将根据第1选择条件选择的临时保存图像作为对象,选择最佳静止图像。
如上所述,内窥镜系统10能够通过例如单按或长按冻结开关的用户的简单操作,在用户期望的时刻更可靠地获取最佳静止图像。即使由于内窥镜前端部12d与被摄体即观察对象之间的距离发生变动等拍摄环境发生变化,从而认为无法在按下冻结开关后立即获得最佳静止图像的情况下,通过继续按下而长按冻结开关直到获得最佳静止图像,并在认为获得了最佳静止图像时解除冻结开关的简单操作,能够获得最佳静止图像。并且,仅通过使内窥镜前端部12d和观察对象的距离最接近以后,一边按下冻结开关一边逐渐拉开距离,就可以获得例如对焦的最佳静止图像。与此相反,通过从内窥镜前端部12d和观察对象的距离远的时点起一边按下冻结开关一边逐渐拉近距离,也能够获得例如对焦的最佳静止图像。并且,此时,以预先设定的数量临时保存临时保存图像,因此能够抑制为了临时保存图像而存储器容量增大。
如图14及图15所示,内窥镜系统10在第1选择条件和第2选择条件之间切换选择条件,因此,即使在按下冻结操作部12f时无法获取最佳对焦的内窥镜图像的情况下,通过继续按下而长按冻结操作部12f直到认为获取到最佳对焦的内窥镜图像的时点,能够容易地更可靠地得到聚焦最优异的最佳静止图像。在图14及图15的上部所示的图表中,纵轴是拍摄距离,横轴是时间t。并且,拍摄距离是内窥镜的前端部12d与被摄体之间的距离,图表中以距离db为基准。距离db是能够获得聚焦最优异的图像的距离(参考图20)。由于被摄体是内窥镜12的观察对象,且位于受检体的管腔内,因此,即使将内窥镜12的前端部12d的位置例如进行了固定,也存在因脉动或蠕动等而拍摄距离随时间t规律地变动的情况。
当用户欲获取静止图像时,从按下冻结操作部12f起至解除为止的期间比长按判定期间短时,根据第1选择条件临时保存临时保存图像。在图14的情况下,临时保存图像以最大数量5个临时保存在临时保存区域73中。第1选择条件为先入先出方式,因此从解除冻结操作部12f的时刻t6之前的5个成为临时保存图像,从这些中获取对比度评价值最高的在时刻t2获取的保存静止图像Pt2作为最佳静止图像。在图14中,将在时刻t6获取的内窥镜图像成为临时保存图像时被删除的在时刻t1获取的内窥镜图像和在时刻t2获取的内窥镜图像用不同的阴影表示。
图14的情况为在获取最大数量的期间获取到聚焦优异的内窥镜图像的情况。但是,根据冻结操作部12f的单按的时刻,有时在获取最大数量的期间无法获取到优异的内窥镜图像。即,可能会存在从单按冻结操作部12f的时点追溯到一定期间之前的时点中不包括能够获取拍摄距离为距离db的内窥镜图像的时刻的情况。在内窥镜系统10中,如图15所示,例如,认为在通过单按获取最大数量的期间无法获取优异的内窥镜图像时,用户可以继续按下冻结操作单元12f。从按下冻结操作部12f起至解除为止的期间比长按判定期间长时判定为长按,将第1选择条件变更为第2选择条件后,保存临时保存图像。另外,在内窥镜系统10中,通过在显示器18上显示最佳静止图像,能够确认是否通过单按冻结操作部12f而获取到合适的静止图像。稍后将描述最佳静止图像的显示。
在图15的情况下,在时刻tn+4进行了长按判定,在长按判定后,内窥镜图像根据第2选择条件临时保存在临时保存区域73中。第2选择条件中,临时保存图像以最大数量5个临时保存在临时保存区域73中。在临时保存区域73中仅临时保存有在长按判定前根据第1选择条件在时刻tn获取的对比度评价值最高的临时保存图像即内窥镜图像Ptn的状态下,从时刻tn+5至时刻tn+8的4个内窥镜图像被临时保存为临时保存图像。在5个临时保存图像被临时保存到临时保存区域73的时刻tn+8中,根据对比度评价值对被临时保存到临时保存区域73中的5个临时保存图像进行对比度评价,对比度评价值最高的内窥镜图像Ptn+6保存为最佳静止图像。在图15中,作为适当静止图像的在时刻tn获取的内窥镜图像Ptn和在时刻t6获取的内窥镜图像Ptn+6用不同的阴影表示。这样,内窥镜图像Ptn被更新,从而能够将聚焦更优异的内窥镜图像Ptn+6保存为最佳静止图像。
像这样,用户继续按下冻结操作部12f,直到认为包括例如拍摄距离最佳的时刻,在认为包括拍摄距离最佳的时刻时解除冻结操作部12f,由此,即使在被摄体移动时也能够获取到拍摄距离最合适的静止图像。
另外,在本实施方式中,对临时保存区域73中临时保存临时保存图像的最大数量为5个的情况进行了说明,最大数量可以根据拍摄目的或拍摄环境等任意设定。例如,一秒钟的帧数为60个时,最大帧数可以设为15个。帧数为60个/秒时,最大数量15个相当于0.25秒的拍摄期间。
并且,临时保存区域73中临时保存的临时保存图像的最大数量可以不是连续帧的内窥镜图像。可以任意设定与最大数量相当的拍摄期间,也可以将不连续的帧的内窥镜图像临时保存为临时保存图像。例如帧数为60个/秒时,从连续帧中获取最大数量15个时,拍摄期间为0.25秒,每隔一帧获取最大数量15个时,拍摄期间为0.5秒。例如,将图像评价值设为对比度评价值时,相当于最大数量的拍摄期间可以称为模糊减少期间。模糊减少期间是即使在该期间图像评价值变动也能够至少获取1个图像评价值最佳的适当静止图像的期间。因此,根据被摄体的种类或拍摄环境等,例如,在快速移动的被摄体的情况下,将模糊减少期间设定得较短,在慢速移动的被摄体的情况下,将模糊减少期间设定得较长等,可以任意调整。
并且,可以通过命令部的第1动作和第2动作来调整在临时保存区域73中临时保存临时保存图像时的最大数量或拍摄期间。具体而言,当冻结操作部12f的长按期间为预先设定的判定期间以下的情况下,帧数为60个/秒时,将相当于最大数量的拍摄期间设为0.25秒,长按期间比判定期间长时,可以每隔1帧获来取最大数量15个,将拍摄期间设为0.5秒。基于长按期间进行的拍摄期间判定的判定期间可以设定为3个阶段以上,而不仅是如上所述的2个阶段。
如图16所示,在基于长按期间进行的拍摄期间判定中,在时刻tn+3处经过了判定期间的情况下,临时保存部61不是针对内窥镜图像的每一帧,而是每隔一帧选择并临时保存临时保存图像。并且,该选择条件也可以包含在第2选择条件中。在图16的情况下,最大数量为15个。因此,在包含在时刻tn+3拍摄的内窥镜图像Ptn+3在内的临时保存图像为15个的时点,根据对比度评价值从15个临时保存图像中选择并保存最佳静止图像。因此,当长按期间变得相对较长,用户仔细观察观察对象时,获取最大数量的期间可以设定得较长,最佳静止图像的更新时刻也可以设定得较长。像这样,能够调整通过命令部获取最大数量的期间。
并且,可以如下:在图像评价部62对图像评价值设定阈值,并将阈值以上的图像评价值赋予到临时保存图像时,最佳静止图像保存部63视为发出了静止图像保存命令,将被赋予阈值以上的图像评价值的临时保存图像保存为最佳静止图像。即,可以如下:预先对图像评价值设定阈值,与是否有静止图像保存命令无关地,在获取到具有阈值以上的图像评价值的临时保存图像时,将该临时保存图像保存为最佳静止图像。由此,当使得最佳静止图像显示在显示器上时,用户能够在继续长按期间从显示器18等识别最佳静止图像已保存,之后解除长按。
如图17所示,对比度评价值的阈值设定为95。对比度评价值能够设为将几乎没有模糊的对焦的图像的对比度评价值设为100时的相对值。在长按期间的临时保存图像中,临时保存有对比度评价值为98的临时保存图像Ptn+6时,临时保存部61将临时保存图像Ptn+6保存为最佳静止图像。另外,在时刻Ptn+6之后获取到阈值以上的临时保存图像时,可以将新的临时保存图像保存为最佳静止图像,也可以不保存。通知部通知用户已获得最佳静止图像。具体而言,例如,用户可以通过最佳静止图像显示在显示器18上或者警告等显示在显示器18上等通知来知道已经获得了最佳静止图像。用户能够在显示器18等上确认是否已经获取到目标静止图像,并且在已经获取到目标静止图像时结束长按。关于通知部,将在后面进行叙述。
显示器18可以显示保存的最佳静止图像和/或适当静止图像。显示器18上显示有最佳静止图像和/或适当静止图像时,能够将其分别进行更新而显示最新的最佳静止图像和/或适当静止图像。并且,显示器18可以具备主画面和子画面。而且,最佳静止图像可以在主画面上显示一定期间,在一定期间后显示于子画面。并且,可以在主画面上显示最佳静止图像,在子画面上显示适当静止图像,且分别更新成最新的图像来显示。
如图18所示,在主画面上显示至今为止保存的时刻最新的最佳静止图像即内窥镜图像Ptn-5,获得新的最佳静止图像Ptn+6时,可以更新作为最佳静止图像的内窥镜图像Ptn-5而在主画面上显示最佳静止图像Ptn+6。并且,将作为更新后的最佳静止图像的最佳静止图像Ptn+6显示在主画面上时,将作为最佳静止图像的内窥镜图像Ptn-5显示在子画面上。因此,内窥镜图像Ptn-5显示在主画面上时,获得内窥镜图像Ptn-5之前的最佳静止图像即内窥镜图像Ptn-7显示在子画面上。之后,当获得作为对比度评价值优于内窥镜图像Ptn+6的最佳静止图像的内窥镜图像时,更新子画面的内窥镜图像Ptn-5,在子画面上显示内窥镜图像Ptn+6。并且,也可以将在主画面上显示最佳静止图像的期间设定为预先设定的显示期间,在该期间之后,在子画面上显示。在主画面上不显示最佳静止图像的期间,优选将实时获取的内窥镜图像显示为动画。
另外,可以在显示器18上仅显示主画面,并仅更新显示最佳静止图像,也可以配置2个以上的子画面,显示多个过去的适当图像等。在这种情况下,可以按时间顺序排列并显示在过去的适当图像中从最新的适当图像选择的多个图像。通过在显示器18上显示最佳静止图像和/或适当静止图像,用户能够从过去的适当静止图像中掌握如何操作内窥镜的前端部与被摄体之间的距离以获得期望的静止图像等。并且,能够一目了然地掌握是否已经获取到期望的静止图像,因此优选。
并且,也可以是内窥镜系统10具备:通知部,用于在显示器18更新显示了最佳静止图像和/或适当静止图像时,向用户通知更新。通知部可以是在内窥镜系统10的显示器18上进行显示,也可以是声音等其他用户能够识别通知的方式。通过在显示器18上显示进行通知的情况下,优选在最佳静止图像和/或适当静止图像被更新之后的一定期间,通过使显示器18上的各静止图像的显示框的颜色、粗细或显示方式变化,通过用户一眼就能识别显示或更新的方法进行通知。
如图19所示,例如,显示器18具备动画显示画面81、静止图像显示主画面82及静止图像显示子画面83。动画显示画面81实时显示内窥镜图像。最佳静止图像显示在静止图像显示主画面82上。当最佳静止图像被更新时,将最佳静止图像用粗颜色线即静止图像显示通知框84包围来显示。并且,也可以使静止图像显示通知框84闪烁。如上所述,在静止图像显示画面83上按时间顺序显示多个过去的最佳静止图像。
像这样,例如,通过在更新显示适当静止图像时将更新通知给用户,能够使得用户注意到显示器18,被更新的静止图像为用户期望的静止图像时,在此时点解除冻结操作部12f的按下,由此,更新显示在显示器18上的适当静止图像可以时机良好地保存为最佳静止图像。
并且,在选择条件切换部72切换了第1选择条件和第2选择条件时,通知部可以向用户通知切换。此时,如上所述,例如,可以通过在显示器18上显示适当静止图像中的静止图像显示通知框84来进行通知。
另外,当在预先设定的最短通知期间内再次向用户进行通知时,优选通知部不进行通知。通过设置最短通知期间,可以避免频繁通知带来的复杂情况。
另外,在上述实施方式中,将本发明适用于进行内窥镜图像的处理的内窥镜系统,但是也可以在对除了内窥镜图像以外的医学图像进行处理的医学图像处理系统中,在保存静止图像时适用本发明。并且,作为内窥镜图像,将拍摄通过激发光的照射从被摄体发出的自发荧光图像而获得的自发荧光图像作为内窥镜图像等时,保存静止图像时也可以适用本发明。
在上述实施方式中,处理器装置16中所包含的中央控制部59、图像获取部51、降噪部53、信号处理部55、图像保存部56、显示控制部57及视频信号生成部58等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(CentralProcessing Unit:中央处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice:PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、CPU与FPGA的组合)构成。并且,也可以由一个处理器来构成多个处理部。作为由一个处理器构成多个处理部的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个处理部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用由一个IC(Integrated Circuit/集成电路)芯片来实现包含多个处理部的整个系统的功能的处理器的方式。如此,各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
而且,更具体而言,这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,12f-冻结操作部,12g-变焦操作部,14-光源装置,16-处理器装置,18-显示器,19-键盘,20-光源部,20a-V-LED,20b-B-LED,20c-G-LED,20d-R-LED,21-光源用处理器,30a-照明光学系统,30b-摄像光学系统,41-光导件,42-照明透镜,43-物镜,44-变焦透镜,45-摄像传感器,46-CDS/AGC电路,47-A/D变频器,51-图像获取部,52-DSP,53-降噪部,54-存储器,55-信号处理部,56-图像保存部,57-显示控制部,58-视频信号生成部,59-中央控制部,61-临时保存部,62-图像评价部,63-最佳静止图像保存部,71-选择条件切换命令接收部,72-选择条件切换部,73-临时保存区域,74-对比度评价部,75-亮度评价部,76-确信度评价部,77-恶性度评价部,78-静止图像保存命令接收部,79-最佳静止图像保存区域,81-动画显示画面,82-静止图像显示主画面,83-静止图像显示子画面,84-静止图像显示通知框,91-被摄体,db、db+c、dm-距离,t、t1~t6、tn~tn+8-时刻,Pt2、Ptn、Ptn-7~Ptn+7-内窥镜图像,ST100~ST200-步骤。

Claims (20)

1.一种内窥镜系统,其具备拍摄被摄体的内窥镜和处理器,
所述内窥镜具备命令部,
所述处理器执行如下处理:
获取每一帧的通过所述内窥镜拍摄所述被摄体而得的内窥镜图像;
将根据第1选择条件或第2选择条件选择的所述内窥镜图像作为临时保存图像临时保存在临时保存区域中;
通过对所述临时保存区域中临时保存的各所述临时保存图像进行图像评价来赋予图像评价值;
根据选择条件切换命令,切换所述第1选择条件和所述第2选择条件;及
根据静止图像保存命令,保存从所述临时保存图像中由所述图像评价值选择的最佳静止图像,
所述命令部进行所述选择条件切换命令和所述静止图像保存命令。
2.根据权利要求1所述的内窥镜系统,其中,
所述处理器在开始获取所述内窥镜图像时,进行根据所述第1选择条件选择的所述内窥镜图像的临时保存。
3.根据权利要求1或2所述的内窥镜系统,其中,
所述命令部进行第1动作和第2动作,并通过所述第2动作进行所述静止图像保存命令。
4.根据权利要求3所述的内窥镜系统,其中,
所述命令部包括瞬时型开关,
所述第1动作为按下所述瞬时型开关,所述第2动作为解除按下的所述瞬时型开关。
5.根据权利要求3所述的内窥镜系统,其中,
所述命令部包括交替型开关,
所述第1动作为所述交替型开关的第一次按下和解除,所述第2动作为所述交替型开关的第二次按下和解除。
6.根据权利要求3至5中任一项所述的内窥镜系统,其中,
所述处理器测量从所述第1动作到所述第2动作的期间,
当所述期间为预先设定的判定期间以上的情况下,所述命令部在从第1动作起经过所述判定期间时进行所述选择条件切换命令。
7.根据权利要求1至6中任一项所述的内窥镜系统,其中,
当所述命令部进行了所述静止图像保存命令时,所述处理器根据所述第2选择条件临时保存了所述内窥镜图像的情况下,所述命令部进行所述选择条件切换命令。
8.根据权利要求1至7中任一项所述的内窥镜系统,其中,
所述处理器将所选择的所述内窥镜图像作为所述临时保存图像以预先设定的最大数量以下临时保存在所述临时保存区域中,
所述第1选择条件包括:当所述临时保存图像以小于所述最大数量临时保存在所述临时保存区域时,作为第1A选择条件,以拍摄时间最近的顺序将所述内窥镜图像作为所述临时保存图像临时保存在所述临时保存区域中,直到达到所述最大数量;当所述最大数量的所述临时保存图像临时保存在所述临时保存区域时,作为第1B选择条件,从所述临时保存区域中删除所述临时保存区域中临时保存的所述临时保存图像中拍摄时间最早的所述临时保存图像,然后以拍摄时间最近的顺序将所述内窥镜图像作为所述临时保存图像临时保存在所述临时保存区域中。
9.根据权利要求1至8中任一项所述的内窥镜系统,其中,
所述处理器将所选择的所述内窥镜图像作为所述临时保存图像以预先设定的最大数量以下临时保存在所述临时保存区域中,
所述第2选择条件包括:当所述临时保存图像以小于所述最大数量临时保存在所述临时保存区域时,作为第2A选择条件,以拍摄时间最近的顺序将所述内窥镜图像作为所述临时保存图像临时保存在所述临时保存区域中,直到达到所述最大数量;当所述最大数量的所述临时保存图像临时保存在所述临时保存区域时,作为第2B选择条件,仅将从所述临时保存图像中由所述图像评价值选择的适当静止图像作为所述临时保存图像保留在所述临时保存区域中,并且,从所述临时保存区域删除除了所述适当图像以外的图像,然后进行所述第2A选择条件。
10.根据权利要求1至8中任一项所述的内窥镜系统,其中,
所述处理器将所选择的所述内窥镜图像作为所述临时保存图像以预先设定的最大数量以下临时保存在所述临时保存区域中,
所述第2选择条件包括:当所述临时保存图像以小于所述最大数量临时保存在所述临时保存区域时,作为第2A选择条件,以拍摄时间最近的顺序将所述内窥镜图像作为所述临时保存图像临时保存在所述临时保存区域中,直到达到所述最大数量;当所述最大数量的所述临时保存图像临时保存在所述临时保存区域时,作为第2C选择条件,仅将从所述临时保存图像中由所述图像评价值选择的适当静止图像作为所述临时保存图像保留在所述临时保存区域中,并且,从所述临时保存区域删除除了所述适当图像以外的图像,然后选择拍摄时间最新的所述内窥镜图像并将其作为所述临时保存图像临时保存在所述临时保存区域之后,仅将从临时保存在所述临时保存区域的所述临时保存图像中由所述图像评价值选择的适当静止图像作为所述临时保存图像临时保存在所述临时保存区域中。
11.根据权利要求9或10所述的内窥镜系统,其具备:显示器,显示所述最佳静止图像和/或所述适当静止图像,
当所述显示器上显示有所述最佳静止图像和/或所述适当静止图像时,将其分别进行更新而显示最新的所述最佳静止图像和/或所述适当静止图像。
12.根据权利要求11所述的内窥镜系统,其中,
所述显示器具备主画面和子画面,
所述最佳静止图像在预先设定的显示期间显示在所述主画面上,在所述显示期间后显示在所述子画面上。
13.根据权利要求11或12所述的内窥镜系统,其具备:通知部,用于在所述显示器更新显示了所述最佳静止图像和/或所述适当静止图像时,向用户通知所述更新。
14.根据权利要求13所述的内窥镜系统,其中,
当所述处理器在所述第1选择条件和所述第2选择条件之间进行了切换时,所述通知部向用户通知所述切换。
15.根据权利要求13或14所述的内窥镜系统,其中,
当在预先设定的最短通知期间内再次向用户进行所述通知时,所述通知部不进行所述通知。
16.根据权利要求1至15中任一项所述的内窥镜系统,其中,
所述处理器对所述临时保存图像所具有的对比度和/或亮度进行所述图像评价,所述图像评价值为与所述临时保存图像的所述对比度和/或所述亮度相关的值。
17.根据权利要求1至15中任一项所述的内窥镜系统,其中,
所述处理器对与所述临时保存图像中映现的所述被摄体所具有的特定病变相关的确信度和/或恶性度进行所述图像评价,所述图像评价值为所述确信度和/或所述恶性度。
18.根据权利要求1至17中任一项所述的内窥镜系统,其中,
所述处理器进行如下处理:对所述图像评价值设定阈值,当将所述阈值以上的所述图像评价值赋予到所述临时保存图像时,视为发出了所述静止图像保存命令,将赋予了所述阈值以上的所述图像评价值的所述临时保存图像保存为所述最佳静止图像。
19.根据权利要求1至18中任一项所述的内窥镜系统,其中,
所述命令部包括冻结操作部。
20.一种内窥镜系统的工作方法,所述内窥镜系统具备内窥镜和处理器,所述内窥镜具备命令部,并拍摄被摄体,其中,
所述处理器执行如下处理:
获取每一帧的通过所述内窥镜拍摄所述被摄体而得的内窥镜图像;
将根据第1选择条件或第2选择条件选择的所述内窥镜图像作为临时保存图像临时保存在临时保存区域中;
通过对所述临时保存区域中临时保存的各所述临时保存图像进行图像评价来赋予图像评价值;
根据选择条件切换命令,切换所述第1选择条件和所述第2选择条件;及
根据静止图像保存命令,保存从所述临时保存图像中由所述图像评价值选择的最佳静止图像,
所述命令部进行所述选择条件切换命令和所述静止图像保存命令。
CN202180093512.5A 2021-02-12 2021-12-10 内窥镜系统及内窥镜系统的工作方法 Pending CN116829046A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021021030 2021-02-12
JP2021-021030 2021-02-12
PCT/JP2021/045673 WO2022172574A1 (ja) 2021-02-12 2021-12-10 内視鏡システム、及び内視鏡システムの作動方法

Publications (1)

Publication Number Publication Date
CN116829046A true CN116829046A (zh) 2023-09-29

Family

ID=82838641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093512.5A Pending CN116829046A (zh) 2021-02-12 2021-12-10 内窥镜系统及内窥镜系统的工作方法

Country Status (4)

Country Link
US (1) US20230380660A1 (zh)
JP (1) JPWO2022172574A1 (zh)
CN (1) CN116829046A (zh)
WO (1) WO2022172574A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887453B2 (ja) * 1997-05-23 2007-02-28 オリンパス株式会社 内視鏡装置
JP2011218090A (ja) * 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP6013020B2 (ja) * 2012-05-02 2016-10-25 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Also Published As

Publication number Publication date
WO2022172574A1 (ja) 2022-08-18
JPWO2022172574A1 (zh) 2022-08-18
US20230380660A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US8531577B2 (en) Imaging device and control method for imaging device
US10397489B2 (en) Light source control device, method of controlling light source, and image capture system
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
US20160128545A1 (en) Endoscope apparatus and method for controlling endoscope apparatus
WO2012033200A1 (ja) 撮像装置
JP2013230319A (ja) 内視鏡装置及び内視鏡装置の制御方法
US10958852B2 (en) Imaging apparatus and control method having a plurality of synchronized light source devices
JP5953373B2 (ja) 内視鏡装置
JP5996218B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US11344191B2 (en) Endoscope system including processor for determining type of endoscope
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
CN110337260B (zh) 电子内窥镜装置
CN116829046A (zh) 内窥镜系统及内窥镜系统的工作方法
US20190052854A1 (en) Image processing apparatus
US20180249139A1 (en) Medical signal processing device and medical observation system
WO2022185821A1 (ja) 内視鏡システム及びその作動方法
JP2017123997A (ja) 撮像システムおよび処理装置
EP4120000A1 (en) Endoscope system and operation method for endoscope system
WO2020016922A1 (ja) 撮像システム、処理装置および内視鏡
JP2022050280A (ja) 撮像制御装置、内視鏡システム、および撮像制御方法
JP2020116146A (ja) 内視鏡システム
JP2020168164A (ja) 内視鏡システム
JP2013153371A (ja) 撮影装置および撮影方法
JP2010279507A (ja) 電子内視鏡システム
JP2011050676A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination