CN113164023A - 内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序 - Google Patents

内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序 Download PDF

Info

Publication number
CN113164023A
CN113164023A CN201880099663.XA CN201880099663A CN113164023A CN 113164023 A CN113164023 A CN 113164023A CN 201880099663 A CN201880099663 A CN 201880099663A CN 113164023 A CN113164023 A CN 113164023A
Authority
CN
China
Prior art keywords
lesion
risk
image
notification
overlooking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880099663.XA
Other languages
English (en)
Other versions
CN113164023B (zh
Inventor
窪田明广
谷口胜义
神田大和
木村光隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN113164023A publication Critical patent/CN113164023A/zh
Application granted granted Critical
Publication of CN113164023B publication Critical patent/CN113164023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)

Abstract

内窥镜系统具有：图像输入部(31)，其被依次输入利用内窥镜(2)对被摄体进行摄像而得到的多个观察图像；病变检测部(33)，其从观察图像中检测作为内窥镜(2)的观察对象的病变部；漏看风险分析部(34)，其根据观察图像判断操作者漏看病变部的风险即漏看风险的程度；报知控制部(35)，其根据漏看风险的程度对病变部的检测的报知单元和报知方法进行控制；以及监视器(5)，其根据报知控制部(35)的控制，对操作者报知病变部的检测。

Description

内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处 理程序
技术领域
本发明涉及内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序。
背景技术
以往，在医疗领域、工业用领域中广泛利用内窥镜。例如，在医疗领域中，手术医生能够观看被显示于显示装置的被检体内的内窥镜图像，发现和鉴别病变部，使用处置器具对病变部进行处理。
近年来，为了抑制手术医生漏看病变部，开发了针对内窥镜的动画图像示出病变候选的位置或显示鉴别信息的计算机辅助图像诊断(CAD：Computer Aided Detection/Diagnosis)。例如，提出了如下的内窥镜系统：在通过CAD发现了病变部时，通过在内窥镜图像上提示基于框等标记的强调显示，向手术医生报知存在病变部。
诊断辅助功能在抑制病变部的漏看方面是有效的功能，但是，根据图像的状况，用户可能漏看病变部。因此，例如，在日本特开2015-160083号公报等中提出了具有漏看防止功能的内窥镜系统，其检测用户的视线，判断是否正在观看病变部，在判断为未观看病变部的情况下发出警报。
但是，在日本特开2015-160083号公报的内窥镜系统中，为了检测用户的视线，必须将视线检测机构组入内窥镜系统中，因此，存在装置大型化、且成本变高这样的问题。此外，为了确保用户的病变部漏看的判定精度，需要进行视线检测机构的校准，因此，还存在给用户带来作业负荷而使便利性受损这样的问题。
本发明是鉴于所述情况而完成的，其目的在于，提供能够低成本地实现漏看防止功能而不损害用户的便利性的内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜系统具有：图像输入部，其被依次输入利用内窥镜对被摄体进行摄像而得到的多个观察图像；病变检测部，其从所述观察图像中检测作为所述内窥镜的观察对象的病变部；漏看风险分析部，其根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度；报知控制部，其根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制；以及报知部，其根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
在本发明的一个方式的内窥镜用图像处理方法中，依次输入利用内窥镜对被摄体进行摄像而得到的多个观察图像，从所述观察图像中检测作为所述内窥镜的观察对象的病变部，根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度，根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制，根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
本发明的一个方式的内窥镜用图像处理程序使计算机执行以下步骤：图像输入部依次取得利用内窥镜对被摄体进行摄像而得到的多个观察图像；病变检测部从所述观察图像中检测作为所述内窥镜的观察对象的病变部；漏看风险分析部根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度；报知控制部根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制；以及报知部根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
附图说明
图1是示出本发明的实施方式的内窥镜系统的整体结构的一例的立体图。
图2是用于说明处理器4的图像处理的结构的一例的框图。
图3是示出控制运算部22的运算部22b的结构的框图。
图4是示出漏看风险分析部34的结构的框图。
图5是说明本发明的实施方式的内窥镜用图像处理方法的一例的流程图。
图6是示出被显示于监视器5的内窥镜图像的一例的图。
图7是示出被显示于监视器5的内窥镜图像的一例的图。
图8是示出第2实施方式的报知控制部35的结构的框图。
图9是示出由第3实施方式的图像重叠部36生成的内窥镜图像的一例的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第1实施方式)
图1是示出本发明的实施方式的内窥镜系统的整体结构的一例的立体图。本实施方式的内窥镜系统1主要由作为内窥镜镜体的电子内窥镜(以下简称为内窥镜)2、光源装置3、处理器4和监视器5构成。
内窥镜2构成为具有长条且细长的插入部9、操作部10和电缆即通用缆线19。内窥镜2的插入部9构成为从前端起依次具有前端部6、弯曲部7和挠性管部8。在前端部6设置有未图示的照明窗和观察窗，照明光从照明窗入射到被检体，来自被检体的返回光入射到观察窗。在前端部6配置有CCD、CMOS等固体摄像元件作为对被摄体进行摄像的单元，对基于从观察窗入射的光的被摄体像进行光电转换，而输出摄像信号。摄像信号经由通用缆线19被供给到处理器4。
在操作部10以旋转自如的方式配设有用于对插入部9的弯曲部7进行弯曲操作的弯曲操作部14，并且，设置有包含对焦开关15的各种内窥镜功能的开关类等。另外，弯曲操作部14被配设成，用于使弯曲部7在上下方向上进行弯曲操作的UD弯曲操作旋钮12和用于使弯曲部7在左右方向上进行弯曲操作的RL弯曲操作旋钮13重叠。
此外，插入部9和操作部10的连结部构成为具有：把持部11，其兼用作用户的把持部；以及处置器具通道贯穿插入部18，其被配设于防折部，该防折部被设置于该把持部11和插入部9的挠性管部8的一端之间，该处置器具通道贯穿插入部18成为贯穿插入被配设于插入部9的各种处置部的处置器具通道的开口部。
从操作部10延伸设置的通用缆线19在延伸端具有相对于光源装置3拆装自如的镜体连接器19a。此外，镜体连接器19a延伸设置有螺旋状的螺旋缆线20，在该螺旋缆线20的延伸端设置有相对于处理器4拆装自如的作为连接器的镜体连接器20a。另外，本实施方式的内窥镜2通过被配设于通用缆线19、操作部10和插入部9的照明单元的光导缆线，将照明光从光源装置3传输到前端部6。
处理器4与显示内窥镜图像的监视器5电连接，对由被搭载于内窥镜2的CCD等摄像单元进行光电转换后的摄像信号进行处理，将其作为图像信号输出到监视器5。
监视器5显示内窥镜图像。此外，监视器5具有输出声音的扬声器5a。另外，监视器5还具有作为报知部的功能。
图2是示出与处理器4的图像处理有关的结构的框图。处理器4是具有摄像信号取得部21、控制运算部22、存储装置23和输入部24的图像处理装置。控制运算部22是包含控制部22a和运算部22b的电路。
摄像信号取得部21是如下的电路：在控制部22a的控制下，接收并取得来自内窥镜2的摄像元件的摄像信号，将其输出到控制运算部22。
控制部22a包含中央处理装置(以下称为CPU)、ROM、RAM等，进行处理器4整体的动作的控制，并且，根据手术医生对输入部24的指示，进行内窥镜2的摄像元件的驱动的控制、基于来自内窥镜2的操作部10的各种操作信号的各种电路的控制、各种数据向存储装置23的记录和各种数据从存储装置23的读出控制、以及图像处理的控制。
即，控制部22a根据输入部24中被进行的指示或输入对内窥镜系统1的动作进行控制，输出针对各部的控制信号或设定信号。
运算部22b是如下的电路：在控制部22a的控制下，根据由摄像信号取得部21取得的摄像信号执行各种图像处理和各种运算处理，并且，生成被显示于监视器5的内窥镜图像的图像信号和各种显示信息，将其输出到监视器5。
另外，也可以利用软件程序进行控制运算部22中的控制部22a和运算部22b的处理的全部或一部分。
存储装置23是硬盘装置等大容量存储装置，存储内窥镜检查中得到的被检体内的内窥镜图像的图像数据和辅助信息等各种数据。
输入部24是具有各种按钮的操作面板，是用于供手术医生对处理器4赋予内窥镜系统1的各种设定、各种指示等的输入装置。
图3是示出本实施方式中的控制运算部22的运算部22b的结构的框图。运算部22b是包含图像输入部31和辅助信息生成部32的电路。另外，虽然未图示，但是，运算部22b还具有如下的图像生成部：通过对接收到的摄像信号实施规定的处理，生成被摄体的观察图像G1，将该生成的观察图像G1一帧一帧地依次输出到图像输入部31。
图像输入部31将被输入的观察图像G1一帧一帧地依次输出到辅助信息生成部32。
辅助信息生成部32构成为具有病变检测部33、漏看风险分析部34、报知控制部35和图像重叠部26。
病变检测部33构成为检测从图像输入部31依次输出的生成图像中包含的病变部。病变检测部33例如进行对生成图像应用图像鉴别器的处理，由此从该生成图像中检测病变部，该图像鉴别器利用深度学习等学习方法预先取得了能够鉴别息肉图像的功能。另外，病变部的检测不限于上述所示的学习方法，也可以使用其他方法。例如，也可以使用日本特开2007-244518号公报公开的这种息肉候选检测处理等。
漏看风险分析部34是如下的电路：对包含由病变检测部33检测到的病变部的图像进行分析，判断作为用户的手术医生漏看病变部的可能性作为风险。图4是示出漏看风险分析部34的结构的框图。漏看风险分析部34由病变分析部34A、图像状态分析部34B和移动分析部34C构成。
在病变分析部34A中，对输入图像进行分析，判定病变部的尺寸、位置、浓度、形状等，对漏看病变部的风险进行评价。在图像状态分析部34B中，对输入图像进行分析，判定该图像的摄像状态是否是适合于诊断辅助功能的状态，对漏看病变部的风险进行评价。在移动分析部34C中，对输入图像进行分析，判定由用户操作内窥镜2使病变部移动的移动程度，对漏看病变部的风险进行评价。
关于图4所示的病变分析部34A、图像状态分析部34B和移动分析部34C中的各部的动作，利用下述说明的对应部位在后面叙述。图4不仅示出以下说明的本实施方式的结构，还包含在本实施方式之后说明的第2、第3实施方式的结构来示出。
报知控制部35对用于使用户得知存在由病变检测部33检测到的病变部的报知单元和报知方法进行控制。在本实施方式中，使用监视器5上的显示图像进行报知。此外，作为用于使手术医生得知存在病变部的辅助信息，例如，生成包围该病变部的标记图像并将其附加给生成图像。
标记图像能够作为视觉信息来提示存在病变部即可，可以具有任意的形态，例如可以是四边形、三角形、圆形、星形等任意图像。此外，标记图像能够表示存在病变部即可，也可以是不包围病变部的图像。例如，通过使病变部的明亮度、色调与周边区域不同，也可以表示存在病变部。进而，也可以生成表示病变部的消息作为辅助信息，在病变部的附近以弹出消息等形式进行显示，由此表示其存在。
报知控制部35根据由漏看风险分析部34评价出的漏看病变部的风险，对辅助信息的报知方法进行控制。例如，根据漏看风险的程度来变更对病变部附加的标记图像的颜色、粗细、尺寸。
接着，对本实施方式的作用进行说明。图5是说明本发明的实施方式的内窥镜用图像处理方法的一例的流程图。即，示出在本实施方式的内窥镜系统中进行的诊断辅助功能的执行顺序。
控制部22a根据被设定的观察模式，对光源装置3的驱动和内窥镜2的摄像元件的驱动进行控制，并且对摄像信号取得部21进行控制，由此，运算部22b取得来自内窥镜2的摄像信号。运算部22b的图像输入部31取得在未图示的图像生成部中生成的、通过对摄像信号实施规定的处理而得到的被摄体的观察图像G1，将其一帧一帧地依次输出到辅助信息生成部32。即，辅助信息生成部32从图像输入部31取得作为活体内管腔图像的内窥镜图像(观察图像G1)(S1)。
在辅助信息生成部32中，首先，在病变检测部33中，例如进行对观察图像G1应用图像识别器的处理，由此从该观察图像G1中检测病变部Ln(S2)，该图像识别器利用深度学习等学习方法预先取得了能够识别息肉图像的功能。病变部Ln的检测结果被输出到漏看风险分析部34。
在漏看风险分析部34中，判断漏看观察图像G1中的病变部Ln的可能性作为风险(漏看风险分析处理、S3)。漏看风险分析部34通过图像分析来判定病变部的状态、图像的状态、内窥镜的操作状态(病变部在图像中的移动状态)，判断漏看风险。
在通过病变部的状态判断漏看风险的情况下，通过漏看风险分析部34的病变分析部34A进行风险判断用的分析处理。作为基于病变部的状态的漏看风险的分析项目，例如举出(a)病变部Ln的尺寸、(b)病变部Ln在观察图像G1中的位置、(c)病变部Ln的浓度、(d)病变部Ln的形状等项目。病变分析部34A对从它们中选择出的项目进行分析，判断漏看病变部Ln的风险。
(a)病变部Ln的尺寸
在选择了本项目作为分析项目的情况下，进行以下说明的处理。以下的处理涉及图4中的病变尺寸分析部34A1。
首先，病变尺寸分析部34A1估计与图像内的各像素之间的摄像距离。关于摄像距离的估计，这里，对公知的各种技术中的、根据图像将拍摄对象假设为均等扩散面的拍摄距离估计进行说明。
具体而言，首先，作为低吸收波长成分，选择活体内的吸收或散射的程度最低的低吸收波长(例如红色(R)的波长)成分。这是为了抑制粘膜表面映出的血管等引起的像素值降低，得到与粘膜表面之间的摄像距离最相关的像素值信息，在由红色(R)、绿色(G)、蓝色(B)这3个成分构成的图像中，红(R)成分是离开血液的吸收波段的波长且长波长的成分，不容易受到活体内的吸收、散射的影响，因此选择红色(R)成分。
然后，病变尺寸分析部34A1估计根据低吸收波长成分的像素值假设了均等扩散面的摄像距离。具体而言，摄像距离通过以下的式(1)来计算。
Figure BDA0003075523930000071
这里，r表示摄像距离，I表示事先测定而得到的光源的放射强度，K表示事先测定出的为平均值的粘膜表面的扩散反射系数。θ表示粘膜表面的法线矢量和从该表面到光源的矢量所成的角，是由内窥镜2的插入部前端部的光源和粘膜表面的位置关系决定的值，平均值被事先设定。L表示映出摄像距离估计对象的粘膜表面的像素的R成分值。
另外，在摄像距离估计前，也可以进行可能成为各处理的精度降低因素的光学系统、照明系统引起的像素值不均的校正、镜面反射、残渣、泡等非粘膜区域的除外。
此外，这里，示出基于图像的方法，但是，除此之外，也可以根据测距传感器等进行计算。
如上所述，在估计出内窥镜2和病变部Ln的距离后，病变尺寸分析部34A1针对病变附近的像素的摄像距离设置比该摄像距离小的阈值和比该摄像距离大的阈值，通过该阈值处理提取病变所在的摄像距离带的区域。病变尺寸分析部34A1计算该区域的圆形度，在比规定值大的情况下，将该区域检测为管腔。
最后，病变尺寸分析部34A1对管腔和病变部进行比较，估计病变部的尺寸。
具体而言，病变尺寸分析部34A1通过计算病变的长度相对于检测到的管腔的圆周长占据的比例，估计病变的实际的尺寸。另外，根据解剖学事先设定各脏器部位(位置)的管腔的周长，也能够提高尺寸估计的精度。例如，在大肠检查的情况下，根据插入部的插入量进行大肠的病变部的部位(位置)估计，与事先设定的管腔的周长进行比较，也可以提高尺寸估计的精度。
如上所述，病变尺寸分析部34A1与内窥镜图像中映出的管腔的圆形尺寸进行比较，估计病变部Ln的尺寸。在估计出的病变部Ln的尺寸比预先设定的规定的尺寸(例如5mm等)大的情况下，判定为漏看风险小。另一方面，在估计出的病变部Ln的尺寸比规定的尺寸小的情况下，判定为漏看风险大。
(b)病变部Ln在观察图像G1中的位置
在选择了本项目作为分析项目的情况下，进行以下说明的处理。以下的处理涉及图4中的病变位置分析部34A2。
首先，例如，病变位置分析部34A2进行对观察图像G1应用图像识别器的处理，由此从该观察图像G1中检测病变部Ln，取得位置信息，该图像识别器利用深度学习等学习方法预先取得了能够识别息肉图像的功能。另外，病变部Ln的检测不限于上述所示的学习方法，也可以使用其他方法。例如，也可以使用日本特开2007-244518号公报公开的这种息肉候选检测处理等。此外，病变区域Ln的位置信息也可以从病变检测部33取得。
接着，对病变部Ln在观察图像G1中的位置进行分析。下面，对具体方法的一例进行说明。首先，在观察图像G1中，将观察图像G1在垂直方向上进行3等分、且在水平方向上进行3等分，分割成9个块。例如，在观察图像G1为1920×1080像素的情况下，在将图像的左上方设为原点(0、0)时，分割成(0、0)～(640、360)的区域(1A)、(641、0)～(1280、360)的区域(1B)、(1281、0)～(1920、360)的区域(1C)、(0、361)～(640、720)的区域(2A)、(641、361)～(1280、720)的区域(2B)、(1281、361)～(1920、720)的区域(2C)、(0、721)～(640、1080)的区域(3A)、(641、721)～(1280、1080)的区域(3B)、(1281、721)～(1920、1080)的区域(3C)。另外，在各块中登记有漏看风险(漏看风险大或漏看风险小中的任意一方)。
确定该1A～3C这9块中的、病变部Ln所在的块，作为病变部Ln的位置进行输出。另外，在病变部Ln跨越多个块而存在的情况下，将病变部Ln所在的面积最大的块设为病变部Ln所在的块。另外，病变部Ln所在的块的确定方法不限于上述方法，例如，也可以使用设为位于病变部Ln的中心的像素所在的块等其他方法。此外，对观察图像G1进行分割而生成的块数不限于9块，例如也可以设为2×2＝4块、4×4＝16块等。
如上所述，病变位置分析部34A2估计病变部Ln的位置。判定病变部Ln所在的块中登记的漏看风险作为病变部Ln的漏看风险。即，在估计为在被登记为漏看风险大的块中存在病变部Ln的情况下，判定为病变部Ln的漏看风险大。另一方面，在估计为在被登记为漏看风险小的块中存在病变部Ln的情况下，判定为病变部Ln的漏看风险小。
另外，病变部Ln的位置也可以不是作为上述块位置来计算，而是作为从观察图像G1的中心像素位置起的距离来计算。该情况下，在计算出的距离比预先设定的阈值大的情况下，判定为漏看风险大。另一方面，在计算出的距离比预先设定的阈值小的情况下，判定为漏看风险小。
(c)病变部Ln的浓度
在选择了本项目作为分析项目的情况下，进行以下说明的处理。以下的处理涉及图4中的病变浓度分析部34A3。
病变浓度分析部34A3针对病变部Ln中包含的像素，提取各自的浓度值(亮度值)，求出平均值，设为病变部Ln的浓度值。另外，在浓度值的计算中，也可以不使用平均，而使用最频值等其他统计值。在计算出的浓度值比阈值(例如正常粘膜的浓度值)大的情况下，判定为漏看风险小。另一方面，在估计出的病变部Ln的浓度值比阈值小的情况下，判定为漏看风险大。另外，作为判定基准的浓度值可以使用预先登记的值，也可以使用病变部Ln所在的观察图像G1中的正常粘膜部分的值。
(d)病变部Ln的形状
在选择了本项目作为分析项目的情况下，进行以下说明的处理。以下的处理涉及图4中的病变形状分析部34A4。
病变形状分析部34A4根据病变部的形状进行鉴别分类。具体而言，生成表示病变部的掩模图像，根据该图像计算形状特征量。通过SVM等分类器，形状特征量被分类为通过机器学习而生成的多个类中的一类。这里，作为形状特征量，使用圆形度、力矩、分形维数等公知参数。
例如，在大肠息肉的情况下，存在隆起型(I型)和表面型(II型)，病变部Ln的形状被分类为某一类。另外，也可以进行更加详细的形状分类。例如，如果是隆起型，则可以分类为立起没有缩径的无蒂型(Is)、立起存在缩径的亚蒂型(Isp)、存在蒂的有蒂型(Ip)中的任意一方，如果是表面型，则可以分类为隆起型(IIa)、平坦型(IIb)、凹陷型(IIc)中的任意一方。
在各个分类中登记有漏看风险(漏看风险大或漏看风险小中的任意一方)。例如，隆起型(I型)被登记为漏看风险小，表面型(II型)被登记为漏看风险大。病变形状分析部34A4判定对病变部Ln的形状分类登记的漏看风险作为病变部Ln的漏看风险。即，在病变部Ln的形状被分类为被登记为漏看风险大的形状(例如表面型(II型))的情况下，判定为病变部Ln的漏看风险大。另一方面，在病变部Ln的形状被分类为被登记为漏看风险小的形状(例如隆起型(I型))的情况下，判定为病变部Ln的漏看风险小。
在通过图像的状态判断漏看风险的情况下，通过漏看风险分析部34的图像状态分析部34B进行风险判断用的分析处理。作为基于图像的状态的漏看风险的分析项目，例如举出(e)曝光的状态、(f)焦点的状态、(g)被摄体的表面状态、(h)透镜的状态等项目。图像状态分析部34B对从它们中选择出的项目进行分析，判断漏看病变部Ln的风险。
(e)曝光的状态
在选择了本项目作为分析项目的情况下，图4中的曝光状态分析部34B1对观察图像G1的曝光的状态进行分析。在由于内窥镜2的摄像元件的曝光时间过短而使图像变暗的情况下、在被照射强光的部分引起白色模糊的光晕的情况下等曝光不适当的情况下，曝光状态分析部34B1判定为病变部Ln的漏看风险大。另一方面，在曝光适当的情况下，判定为病变部Ln的漏看风险小。
(f)焦点的状态
在选择了本项目作为分析项目的情况下，图4中的焦点状态分析部34B2对观察图像G1的焦点的状态进行分析。在未适当地进行构成内窥镜2的摄像系统的透镜的焦点控制而未合焦于被摄体的情况下(所谓的散焦状态的情况下)，焦点状态分析部34B2判定为病变部Ln的漏看风险大。另一方面，在合焦的情况下，判定为病变部Ln的漏看风险小。
(g)被摄体的表面状态
在选择了本项目作为分析项目的情况下，图4中的被摄体表面分析部34B3对被摄体在观察图像G1中的状态进行分析。在被摄体存在残渣、出血、治疗痕迹等的情况下，判定为病变部Ln的漏看风险大。另一方面，在不存在残渣、出血、治疗痕迹等的情况下，判定为病变部Ln的漏看风险小。
(h)透镜的状态
在选择了本项目作为分析项目的情况下，图4中的透镜状态分析部34B4根据观察图像G1对构成内窥镜2的摄像系统的透镜的状态进行分析。在透镜存在模糊、污垢的情况下，判定为病变部Ln的漏看风险大。另一方面，在透镜不存在模糊、污垢的情况下，判定为病变部Ln的漏看风险小。
在通过内窥镜的操作状态(病变部在图像中的移动状态)判断漏看风险的情况下，通过漏看风险分析部34的移动分析部34C进行风险判断用的分析处理。作为基于内窥镜的操作状态的漏看风险的分析项目，例如举出(i)内窥镜的移动速度、(j)病变部Ln的位置变化等项目。移动分析部34C对从它们中选择出的项目进行分析，判断漏看病变部Ln的风险。
(i)病变部Ln的移动速度
在选择了本项目作为分析项目的情况下，图4中的移动分析部34C1对内窥镜的移动速度(拉拔速度)的变化进行分析。对检测到病变部Ln之前的状态下的内窥镜2的移动速度和检测到病变部Ln的状态下的内窥镜2的移动速度进行比较。
通常，手术医生在观察图像G1中发现病变部Ln时，为了进行病变部Ln的观察而降低内窥镜2的拉拔速度(或停止拉拔)。在虽然在观察图像G1中出现病变部Ln、但是内窥镜2的拉拔速度没有变化的情况下，推测为手术医生漏看病变部Ln的可能性高。因此，在速度的变化比预先设定的阈值小的情况下、即内窥镜2的拉拔速度的变化小的情况下，判定为病变部Ln的漏看风险大。
另一方面，在速度的变化比预先设定的阈值大的情况下、即内窥镜2的拉拔速度的变化大的情况下，判定为病变部Ln的漏看风险小。
(j)病变部Ln的位置变化
在选择了本项目作为分析项目的情况下，图4中的位置分析部34C2对病变部Ln在观察图像G1中的位置的变化进行分析。位置分析部34C2从在观察图像G1中检测到病变部Ln的状态起，持续监视病变部Ln的位置。在病变部Ln移动到观察图像G1外而在观察图像G1中未检测到病变部Ln的情况下，判定为病变部Ln的漏看风险大。另一方面，在观察图像G1中持续检测到病变部Ln的期间内，判定为病变部Ln的漏看风险小。
如上所述，当图5的流程图中的漏看风险分析处理(S3)结束后，从漏看风险分析部34对报知控制部35输出漏看风险的判定结果。在报知控制部35中，根据被输入的漏看风险的大小来决定报知方法(S4)。
报知控制部35根据从漏看风险分析部34输入的漏看病变部的风险，对辅助信息的报知方法进行控制。在通过使监视器5的显示图像显示辅助信息(例如标记图像)来进行报知的情况下，根据漏看风险的程度来变更对病变部附加的标记图像的颜色、粗细、尺寸。例如，在漏看风险大的情况下，使标记图像的粗细变粗，在漏看风险小的情况下，使标记图像的粗细变细。此外，例如，在漏看风险大的情况下，增大标记图像的尺寸，在漏看风险小的情况下，减小标记图像的尺寸。
另外，标记图像的变更项目不限于1个项目，也可以根据风险的程度对多个项目进行变更。例如，也可以对标记图像的粗细和尺寸双方进行变更。此外，也可以在漏看风险小的情况下，仅显示标记图像，在漏看风险大的情况下，在标记图像的基础上显示弹出消息等，进行增加辅助信息的种类等的变更。
最后，报知控制部35根据S4中决定的报知方法生成辅助信息并进行报知(S5)。具体而言，作为辅助信息，生成与漏看风险的程度对应的标记图像G2，将其输出到图像重叠部36。图像重叠部36将在从图像输入部31输入的观察图像G1上重叠从报知控制部35输入的标记图像G2而得到的内窥镜图像输出到监视器5并进行显示。
图6、图7是示出被显示于监视器5的内窥镜图像的一例的图。即，示出被重叠有辅助信息的内窥镜图像，图6示出漏看风险小的情况的一例，图7示出漏看风险大的情况的一例。
如图6、图7所示，在监视器5的显示画面51A的显示区域D1显示有赋予了标记图像G2的观察图像G1。如图6所示，在漏看风险小的情况下，包围病变部L1的周边的尺寸的标记图像G2被重叠于观察图像G1。另一方面，如图7所示，在漏看风险大的情况下，包围观察图像G1的周缘部的尺寸的标记图像G2被重叠于观察图像G1。此外，图7所示的标记图像G2的粗细比图6所示的标记图像G2的粗细要粗。
这样，根据上述实施方式，通过对观察图像G1进行分析，对病变部L1的漏看风险进行分析，根据漏看风险的程度对使手术医生识别存在病变部L1的辅助信息的报知方法进行控制。因此，能够低成本地实现漏看防止功能，而不损害用户的便利性。
另外，在上述中，将漏看风险的程度分类为大小这2个阶段，但是，也可以设定3个阶段以上，根据各阶段对辅助信息的报知方法进行控制。
此外，在上述中，在处理器4内的未图示的图像生成部中，根据利用内窥镜2对被摄体进行摄像而得到的摄像信号生成观察图像，但是，也可以构成为在内窥镜2与处理器4之间设置图像处理装置，在该图像处理装置中生成观察图像，在处理器4中，使用被输入的观察图像生成辅助信息。
(第2实施方式)
在上述的第1实施方式中，当在监视器5上对辅助信息进行图像显示时，根据漏看风险的程度改变显示方法来进行报知。与此相对，在本实施方式中，不同之处在于，还使用基于画面显示的报知以外的报知单元，通过多个报知单元进行报知。
本实施方式的内窥镜系统具有与第1实施方式的内窥镜系统1相同的结构。本实施方式的内窥镜系统在运算部22b的报知控制部35的结构上具有特征。下面，使用图8对报知控制部35的详细结构进行说明。另外，对相同的结构要素标注相同标号并省略说明。
图8是示出第2实施方式的报知控制部35的结构的框图。报知控制部35由报知单元选择部35A、报知对象风险设定部35B和报知方法设定部35C构成。
报知单元选择部35A选择用于报知在监视器5上显示辅助信息的意思的单元。作为可选择的报知单元，在上述监视器5上的图像显示(以下记为图像报知)的基础上，举出基于来自扬声器5a的声音的报知(以下记为声音报知)、基于操作部10等供手术医生把持的部分的振动的报知(以下记为振动报知)等。
报知对象风险设定部35B设定成为报知控制的对象的漏看风险。可设定的漏看风险是能够根据漏看风险分析部34的分析结果判定风险程度的风险。作为设定项目，例如举出(A)病变部Ln的检测个数、(B)病变部Ln的发现困难度、(C)病变部Ln的尺寸、(D)病变部Ln的种类、(E)病变部Ln的检测可靠性、(F)病变部Ln的检测经过时间等。报知对象风险设定部35B从它们中选择设定为报知对象风险的项目。
(A)病变部Ln的检测个数
本项目是根据存在于观察图像G1中的病变部Ln的个数判定出的漏看风险。在漏看风险分析部34的病变个数分析部34A5中进行存在于观察图像G1中的病变部Ln的个数的检测。病变个数分析部3A5根据在观察图像G1中检测到的病变部Ln的个数判定漏看风险。即，在病变部Ln的个数比预先设定的阈值(例如2个)多的情况下，判定为漏看风险小。另一方面，在病变部Ln的个数为预先设定的阈值以下的情况下，判定为漏看风险大。
(B)病变部Ln的发现困难度
本项目是综合考虑基于病变部Ln的形状、位置、尺寸等的漏看风险进行判定的漏看风险。具体而言，使用漏看风险分析部34的病变形状分析部34A3、病变位置分析部34A2、病变尺寸分析部34A1中的分析结果或风险判定结果判断发现困难度。例如，在病变部Ln的形状具有隆起性的形状、或位置为观察图像G1的中央附近、或病变部Ln的尺寸大的情况下，判断为发现困难度小。此外，例如，在病变部Ln的形状平坦、或位置为观察图像G1的周缘部附近、或病变部Ln的尺寸小的情况下，判断为发现困难度大。在发现困难度小的情况下，判定为漏看风险小。另一方面，在发现困难度大的情况下，判定为漏看风险大。
(C)病变部Ln的尺寸
本项目是根据病变部Ln的尺寸判定出的漏看风险。使用漏看风险分析部34的病变尺寸分析部34A1中判定出的漏看风险。
(D)病变部Ln的种类
本项目是根据基于形状、严重度等的病变部Ln的种类判定出的漏看风险。具体而言，使用漏看风险分析部34的病变形状分析部34A3、病变严重度分析部36A的分析结果或风险判定结果判定漏看风险。
病变严重度分析部36A根据作为病变部Ln的肿瘤是良性还是恶性，对病变部Ln的严重度进行分析。关于肿瘤的良性/恶性的判定，例如，观察肿瘤和正常粘膜部分的边界线的状态，在边界线不清晰且形状为锯齿状等不均匀的情况下判定为恶性，在边界线清晰的情况下判定为良性。在良性的情况下，严重度低，判定为漏看风险小，在恶性的情况下，严重度高，判定为漏看风险大。
在病变部Ln的形状为隆起型、或严重度低的情况下，判定为漏看风险低。另一方面，在病变部Ln的形状平坦、或严重度高的情况下，判定为漏看风险大。
(E)病变部Ln的检测可靠性
本项目是综合考虑基于图像的状态(曝光的状态、焦点的状态、被摄体的表面状态、透镜的状态)的漏看风险进行判定的漏看风险。具体而言，使用漏看风险分析部34的图像状态分析部34B中的分析结果或风险判定结果判断检测可靠性。
例如，在曝光的状态适当、或合焦于被摄体、或在被摄体表面不存在残渣、出血、治疗痕迹等、或在透镜不存在模糊、污垢的情况下，判断为检测可靠性高。另一方面，在曝光的状态不适当、或未合焦于被摄体、或在被摄体表面存在残渣、出血、治疗痕迹等、或在透镜存在模糊、污垢的情况下，判断为检测可靠性低。在检测可靠性高的情况下，判定为漏看风险小。另一方面，在检测可靠性低的情况下，判定为漏看风险大。
(F)病变部Ln的检测经过时间
本项目是根据在观察图像G1中检测到病变部Ln后持续进行检测的时间即检测经过时间判定出的漏看风险。检测经过时间在检测时间计测部35B1中被计测。在检测经过时间比预先设定的阈值(例如5秒)短的情况下，判定为漏看风险小。另一方面，在检测经过时间为预先设定的阈值以上的情况下，判定为漏看风险大。
报知方法设定部35C设定各报知单元中的报知方法。针对由报知单元选择部35A选择出的各报知单元，从预先设定的报知方法中提取与由报知对象风险设定部35B设定的报知控制对象的漏看风险对应的报知方法。然后，按照提取出的报知方法对被选择的报知单元进行控制。
图像报知中的报知方法被设定于图像报知设定部35C1。此外，声音报知中的报知方法被设定于声音报知设定部35C2，设定振动中的报知方法被设定于振动报知设定部35C3。下面，对各报知设定部中的设定内容的一例进行说明。
首先，对图像报知设定部35C1的设定内容的一例进行说明。按照被设定为报知对象风险的项目记述设定内容。
(A)病变部Ln的检测个数
与漏看风险的高低无关地进行报知。但是，根据漏看风险，使标记图像G2的颜色、大小不同。例如，例如，在漏看风险小的情况下，将标记图像G2的颜色设定为绿色，在漏看风险大的情况下，将标记图像G2的颜色设定为红色。此外，也可以使标记图像G2以检测个数的次数进行闪烁，或使标记图像G2以检测个数的数量显示标志。
(B)病变部Ln的发现困难度
与漏看风险的高低无关地进行报知。
(C)病变部Ln的尺寸
与漏看风险的高低无关地进行报知。
(D)病变部Ln的种类
与漏看风险的高低无关地进行报知。
(E)病变部Ln的检测可靠性
与漏看风险的高低无关地进行报知。
(F)病变部Ln的检测经过时间
根据漏看风险，使标记图像G2的显示开始时刻、显示时间不同。例如，在检测经过时间比阈值短而漏看风险小的阶段，不显示标记图像G2，在检测经过时间超过阈值而漏看风险变高的时刻，开始显示标记图像。此外，例如，在检测经过时间长的情况下，也较长地设定标记图像G2的显示时间。
接着，对声音报知设定部35C2的设定内容的一例进行说明。
(A)病变部Ln的检测个数
与漏看风险的高低无关地进行报知。但是，根据漏看风险，使声音的报知内容不同。例如，以检测个数的次数发出警报。此外，例如，也可以在漏看风险小的情况下，减小声音或降低音程，在漏看风险大的情况下，增大声音或较高地设定音程。
(B)病变部Ln的发现困难度
在漏看风险小的情况下，减小声音或降低音程，在漏看风险大的情况下，增大声音或较高地设定音程。或者，也可以设定成在漏看风险小的情况下，不进行声音报知，仅在漏看风险大的情况下，进行声音报知。
(C)病变部Ln的尺寸
在漏看风险小的情况下，减小声音或降低音程，在漏看风险大的情况下，增大声音或较高地设定音程。或者，也可以设定成在漏看风险小的情况下，不进行声音报知，仅在漏看风险大的情况下，进行声音报知。
(D)病变部Ln的种类
在漏看风险小的情况下，减小声音或降低音程，在漏看风险大的情况下，增大声音或较高地设定音程。或者，在组合进行图像报知和声音报知的情况下，也可以设定成在漏看风险小的情况下，不进行声音报知，仅在漏看风险大的情况下，进行声音报知。进而，在组合进行声音报知和振动报知的情况下，也可以设定成与漏看风险的高低无关地进行报知。
(E)病变部Ln的检测可靠性
在组合进行图像报知和声音报知的情况下，设定成在漏看风险小的情况下，不进行声音报知，仅在漏看风险大的情况下，进行声音报知。进而，在组合进行声音报知和振动报知的情况下，设定成与漏看风险的高低无关地进行报知。
(F)病变部Ln的检测经过时间
与漏看风险的高低无关地，从检测开始时点起进行报知。另外，警报时间可以根据漏看风险来设定，也可以设为规定的设定时间。在将警报时间设为规定的设定时间的情况下，即使持续进行病变部Ln的检测，在超过设定时间后也停止警报。
最后，对振动报知设定部35C3的设定内容的一例进行说明。
(A)病变部Ln的检测个数
与漏看风险的高低无关地进行报知。但是，根据漏看风险，使振动的报知内容不同。例如，以检测个数的次数使报知单元进行振动。此外，例如，也可以在漏看风险小的情况下，降低振动频率，在漏看风险大的情况下，较高地设定振动频率。另外，也可以根据漏看风险使振动图案成为不同的图案。
(B)病变部Ln的发现困难度
在漏看风险小的情况下，降低振动频率，在漏看风险大的情况下，较高地设定振动频率。也可以根据漏看风险使振动图案变化。另外，在进行图像报知和振动报知双方的情况下，也可以设定成在漏看风险小的情况下，不进行振动报知，仅在漏看风险大的情况下，进行振动报知。进而，在进行声音报知和振动报知双方的情况下，也可以设定为与漏看风险的高低无关地进行报知。
(C)病变部Ln的尺寸
在漏看风险小的情况下，降低振动频率，在漏看风险大的情况下，较高地设定振动频率。也可以根据漏看风险使振动图案变化。另外，在组合进行图像报知和振动报知的情况下，也可以设定成在漏看风险小的情况下，不进行振动报知，仅在漏看风险大的情况下，进行振动报知。进而，在组合进行声音报知和振动报知的情况下，也可以设定为与漏看风险的高低无关地进行报知。
(D)病变部Ln的种类
在漏看风险小的情况下，减小声音或降低音程，在漏看风险大的情况下，增大声音或较高地设定音程。或者，在进行图像报知和声音报知双方的情况下，也可以设定成在漏看风险小的情况下，不进行声音报知，仅在漏看风险大的情况下，进行声音报知。进而，在组合进行声音报知和振动报知的情况下，也可以设定为与漏看风险的高低无关地进行报知。
(E)病变部Ln的检测可靠性
设定成在漏看风险小的情况下，不进行振动报知，仅在漏看风险大的情况下，进行振动报知。
(F)病变部Ln的检测经过时间
在组合进行图像报知和振动报知的情况下，与漏看风险的高低无关地，从检测开始时点起进行报知。另一方面，在组合进行声音报知和振动报知的情况下，在漏看风险小的期间内，不进行振动报知，从漏看风险变高的时点起进行报知。另外，警报时间可以根据漏看风险来设定，也可以设为规定的设定时间。在将警报时间设为规定的设定时间的情况下，在组合进行图像报知和振动报知的情况下，即使持续进行病变部Ln的检测，在超过设定时间后也停止警报。在组合进行声音报知和振动报知的情况下，在持续进行病变部Ln的检测的期间内持续进行报知。
使用如上所述构成的内窥镜系统进行的诊断辅助功能的执行顺序与图5所示的第1实施方式的诊断辅助顺序相同。但是，在S4的报知方法的决定中，针对由手术医生选择出的多个报知单元，设定与被设定的漏看风险对应的报知方法。
例如，在选择了图像报知和声音报知、且设定了(A)病变部Ln的检测个数作为报知对象风险的情况下，报知方法设定部35C在图像报知设定部35C1中设定图像报知的方法，此外，在声音报知设定部35C2中设定声音报知的方法。例如，在图像报知设定部35C1中，设定成以病变部Ln的检测个数使标记图像G2进行闪烁，在声音报知设定部35C2中，设定成以检测个数发出警报。
这样，根据上述实施方式，使用多个报知单元进行辅助信息的报知，此外，根据漏看风险的程度和选择出的报知单元的组合，对使手术医生识别存在病变部L1的辅助信息的报知方法进行控制。因此，能够低成本地实现漏看防止功能，而不损害用户的便利性。
另外，报知单元不限于上述3种(图像、声音、振动)，也可以组合使用其他单元。此外，报知对象风险项目、具体报知方法不限于上述的一例。进而，在上述的一例中，说明了组合使用2种报知单元的情况，但是，也可以组合使用3种以上的报知单元。
(第3实施方式)
在上述第1实施方式中，在监视器5的显示画面51A仅配置有1个图像的显示区域D1。与此相对，在本实施方式中，不同之处在于，在显示画面51A配置有2个图像的显示区域D1、D2，根据漏看风险的程度对针对各显示区域D1、D2的报知方法进行控制。
本实施方式的内窥镜系统具有与第1实施方式的内窥镜系统1相同的结构。本实施方式的内窥镜系统在如下方面具有特征：在报知控制部35中，针对2个显示区域D1、D2，分别生成与病变部Ln的漏看风险对应的辅助信息，使监视器5进行显示。下面，使用图9进行说明。
图9是示出由第3实施方式的图像重叠部36生成的内窥镜图像的一例的图。如图9所示，在监视器5的显示画面51A配置有显示观察图像G1的显示区域D1和具有比显示区域D1小的尺寸的显示区域D2这2个显示区域。通常，手术医生一边观察被显示于作为主画面的显示区域D1的内窥镜图像一边进行手术，在作为副画面的显示区域D2显示有对被显示于显示区域D1的内窥镜图像的观察进行辅助的图像(例如特定区域的放大图像)、记录图像等。
在本实施方式中，使显示区域D1显示的辅助信息(标记图像G2)的报知方法和使显示区域D2显示的标记图像G2的报知方法不同。即，使显示区域D2显示的标记图像G2提高针了对漏看风险的灵敏度。例如，在病变部Ln的漏看风险小的情况下，仅使显示区域D2显示标记图像G2，在病变部Ln的漏看风险高的情况下，使显示区域D1和D2双方显示标记图像G2。
这样，根据本实施方式，在显示有手术医生主要观察的内窥镜图像的区域中，降低风险灵敏度显示作为辅助信息的标记图像G2，由此，能够抑制标记图像G2妨碍手术。而且，在副画面中，提高风险灵敏度显示作为辅助信息的标记图像G2，由此，能够抑制病变部Ln的漏看。因此，能够低成本地实现漏看防止功能，而不损害用户的便利性。
另外，与漏看风险对应的辅助信息的报知方法不限于标记图像G2的显示时刻的控制，也可以通过标记图像G2的形式(粗细、颜色、大小、有无闪烁等)进行控制。此外，漏看风险的程度不限于2个阶段，也可以设定3个阶段以上，根据各阶段对辅助信息的报知方法进行控制。
本发明不限于上述实施例，当然能够在不脱离发明主旨的范围内进行各种变更、应用。

Claims (23)

1.一种内窥镜系统，其特征在于，所述内窥镜系统具有：
图像输入部，其被依次输入利用内窥镜对被摄体进行摄像而得到的多个观察图像；
病变检测部，其从所述观察图像中检测作为所述内窥镜的观察对象的病变部；
漏看风险分析部，其根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度；
报知控制部，其根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制；以及
报知部，其根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
2.根据权利要求1所述的内窥镜系统，其特征在于，
所述漏看风险分析部具有根据所述病变部的状态对所述漏看风险进行分析的病变分析部。
3.根据权利要求2所述的内窥镜系统，其特征在于，
所述病变分析部具有对所述病变部自身的大小进行估计的病变尺寸分析部。
4.根据权利要求2所述的内窥镜系统，其特征在于，
所述病变分析部具有对所述病变部在所述观察图像中的位置进行分析的病变位置分析部。
5.根据权利要求2所述的内窥镜系统，其特征在于，
所述病变分析部具有对所述病变部的浓度进行分析的病变浓度分析部。
6.根据权利要求2所述的内窥镜系统，其特征在于，
所述病变分析部具有对所述病变部的形状进行分析的病变形状分析部。
7.根据权利要求1所述的内窥镜系统，其特征在于，
所述漏看风险分析部具有根据所述观察图像的状态对所述漏看风险进行分析的图像状态分析部。
8.根据权利要求7所述的内窥镜系统，其特征在于，
所述图像状态分析部具有对所述观察图像的曝光的状态进行分析的曝光状态分析部。
9.根据权利要求7所述的内窥镜系统，其特征在于，
所述图像状态分析部具有对所述观察图像的焦点的合焦程度进行分析的焦点状态分析部。
10.根据权利要求7所述的内窥镜系统，其特征在于，
所述图像状态分析部具有对在所述观察图像中是否存在残渣、出血进行分析的被摄体表面分析部。
11.根据权利要求7所述的内窥镜系统，其特征在于，
所述图像状态分析部具有对在所述观察图像中是否存在模糊、透镜污垢进行分析的透镜状态分析部。
12.根据权利要求1所述的内窥镜系统，其特征在于，
所述漏看风险分析部具有根据所述病变部在所述观察图像中的移动状态对所述漏看风险进行分析的移动分析部。
13.根据权利要求12所述的内窥镜系统，其特征在于，
所述移动分析部具有对所述病变部在所述观察图像中的移动速度的变化进行分析的速度分析部。
14.根据权利要求12所述的内窥镜系统，其特征在于，
所述移动分析部具有对所述病变部在所述观察图像中的位置的变化进行分析的位置分析部。
15.根据权利要求1所述的内窥镜系统，其特征在于，
所述报知控制部以生成表示所述病变部的标记图像并使标记图像与观察图像重叠的方式进行报知控制，根据所述病变部的所述风险程度，使所述标记图像的颜色、粗细或尺寸中的至少一方不同。
16.根据权利要求1所述的内窥镜系统，其特征在于，
所述内窥镜系统具有多个所述报知部，各个所述报知部利用彼此不同的报知单元报知所述病变部的检测。
17.根据权利要求16所述的内窥镜系统，其特征在于，
所述报知控制部具有：报知单元选择部，其从多个所述报知部中选择成为报知对象的报知部；以及报知方法设定部，其针对选择出的各个所述报知部控制所述报知方法。
18.根据权利要求1所述的内窥镜系统，其特征在于，
所述报知部是具有第1图像区域和第2图像区域的显示部，该第1图像区域和第2图像区域显示表示所述病变部的标记图像，所述报知控制部中的第1控制方法和第2控制方法不同，该第1控制方法针对使所述第1图像区域显示的所述标记图像，该第2控制方法针对使所述第2图像区域显示的所述标记图像。
19.一种内窥镜用图像处理方法，其特征在于，
依次输入利用内窥镜对被摄体进行摄像而得到的多个观察图像，
从所述观察图像中检测作为所述内窥镜的观察对象的病变部，
根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度，
根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制，
根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
20.一种内窥镜用图像处理程序，其特征在于，所述内窥镜用图像处理程序使计算机执行以下步骤：
图像输入部依次取得利用内窥镜对被摄体进行摄像而得到的多个观察图像；
病变检测部从所述观察图像中检测作为所述内窥镜的观察对象的病变部；
漏看风险分析部根据所述观察图像判断操作者漏看所述病变部的风险即漏看风险的程度；
报知控制部根据所述漏看风险的程度对所述病变部的检测的报知单元和报知方法进行控制；以及
报知部根据所述报知控制部的控制，对所述操作者报知所述病变部的检测。
21.根据权利要求16所述的内窥镜系统，其特征在于，
所述报知单元是图像、声音、振动中的任意一方。
22.根据权利要求17所述的内窥镜系统，其特征在于，
所述报知方法设定部根据由所述报知单元选择部选择出的多个所述报知部的组合，决定针对各个所述报知部的所述报知方法。
23.根据权利要求18所述的内窥镜系统，其特征在于，
所述第2图像区域的尺寸比所述第1图像区域的尺寸小，所述第2控制方法被设定成，针对所述漏看风险的灵敏度比所述第1控制方法针对所述漏看风险的灵敏度高。
CN201880099663.XA 2018-11-28 2018-11-28 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质 Active CN113164023B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043699 WO2020110214A1 (ja) 2018-11-28 2018-11-28 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Publications (2)

Publication Number Publication Date
CN113164023A true CN113164023A (zh) 2021-07-23
CN113164023B CN113164023B (zh) 2024-02-23

Family

ID=70853765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099663.XA Active CN113164023B (zh) 2018-11-28 2018-11-28 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11642005B2 (zh)
JP (1) JP6957771B2 (zh)
CN (1) CN113164023B (zh)
WO (1) WO2020110214A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
EP4316337A1 (en) * 2021-03-23 2024-02-07 FUJIFILM Corporation Medical image processing device, medical image processing method, and program
WO2023089716A1 (ja) 2021-11-18 2023-05-25 日本電気株式会社 情報表示装置、情報表示方法、及び、記録媒体
WO2024111106A1 (ja) * 2022-11-25 2024-05-30 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
CN117576097B (zh) * 2024-01-16 2024-03-22 华伦医疗用品(深圳)有限公司 基于ai辅助图像处理信息的内窥镜图像处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
US20160058362A1 (en) * 2013-04-18 2016-03-03 Koninklijke Philips N.V. Acquiring cervical images
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置
CN108348145A (zh) * 2015-11-10 2018-07-31 奥林巴斯株式会社 内窥镜装置
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4891636B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP2007319327A (ja) 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
JP5014430B2 (ja) * 2006-08-16 2012-08-29 メビス・ブレストケア・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コムパニー・コマンディットゲゼルシャフト 対象物の画像を提示する提示方法、提示装置、および、コンピュータプログラム
JP5701685B2 (ja) 2011-05-26 2015-04-15 富士フイルム株式会社 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
JP5741353B2 (ja) * 2011-09-27 2015-07-01 コニカミノルタ株式会社 画像処理システム、画像処理方法および画像処理プログラム
JP6400304B2 (ja) 2014-02-28 2018-10-03 キヤノンメディカルシステムズ株式会社 医用画像表示装置
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
WO2017033516A1 (ja) * 2015-08-24 2017-03-02 富士フイルム株式会社 読影支援装置及び方法
CN106557536B (zh) * 2015-09-30 2021-12-21 松下知识产权经营株式会社 控制方法
JP6448509B2 (ja) * 2015-10-30 2019-01-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6602969B2 (ja) * 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
JP2018033657A (ja) * 2016-08-31 2018-03-08 コニカミノルタ株式会社 医用画像システム及びプログラム
JP6860378B2 (ja) * 2017-02-24 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
US10485629B2 (en) 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
JP6785941B2 (ja) * 2017-03-01 2020-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP7189969B2 (ja) * 2019-01-21 2022-12-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
US20160058362A1 (en) * 2013-04-18 2016-03-03 Koninklijke Philips N.V. Acquiring cervical images
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
CN108348145A (zh) * 2015-11-10 2018-07-31 奥林巴斯株式会社 内窥镜装置
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈博渊;李军;: "医学图像病变区域的识别与仿真分析", 激光杂志, no. 02, pages 58 - 60 *

Also Published As

Publication number Publication date
WO2020110214A1 (ja) 2020-06-04
US11642005B2 (en) 2023-05-09
JP6957771B2 (ja) 2021-11-02
JPWO2020110214A1 (ja) 2021-09-27
US20210274999A1 (en) 2021-09-09
CN113164023B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
CN107708521B (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
CN108348145A (zh) 内窥镜装置
US11910994B2 (en) Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system
US20210000327A1 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
US20140037179A1 (en) Fluoroscopy apparatus and fluoroscopy system
JP7084994B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JP2006192009A (ja) 画像処理装置
JP7190597B2 (ja) 内視鏡システム
US12020808B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP6904727B2 (ja) 内視鏡装置
WO2004045397A1 (ja) 内視鏡挿入方向検出装置、内視鏡挿入方向検出システム及び内視鏡挿入方向検出方法
US20210056695A1 (en) Landmark estimating method, processor, and storage medium
JP6371613B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2023100475A1 (ja) 医療画像処理装置及びその作動方法
JP2022010368A (ja) 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2023107919A (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
CN116916808A (zh) 医用图像处理装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant