CN116034307A - 图像处理装置、方法及程序 - Google Patents

图像处理装置、方法及程序 Download PDF

Info

Publication number
CN116034307A
CN116034307A CN202180056152.1A CN202180056152A CN116034307A CN 116034307 A CN116034307 A CN 116034307A CN 202180056152 A CN202180056152 A CN 202180056152A CN 116034307 A CN116034307 A CN 116034307A
Authority
CN
China
Prior art keywords
image
region
interest
display
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056152.1A
Other languages
English (en)
Inventor
臼田稔宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116034307A publication Critical patent/CN116034307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087—Tools
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种可适当地辅助使用器具的处置的图像处理装置、方法及程序。一种图像处理装置，其对由器具可从顶端突出的内窥镜拍摄的图像进行处理，其中，具备处理器，处理器进行：获取由内窥镜拍摄的图像的处理；在显示器上显示获取的图像的处理；从获取的图像中检测关注区域的处理；判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域的处理；以及当判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时进行报知的处理。

Description

图像处理装置、方法及程序
技术领域
本发明涉及图像处理装置、方法及程序，特别是涉及对由器具可从顶端突出的内窥镜拍摄的图像进行处理的图像处理装置、方法及程序。
背景技术
作为辅助内窥镜进行的检查的技术，已知一种通过图像处理从由内窥镜拍摄的图像中自动检测病变等关注区域并进行报知的技术。
在专利文献1中提出为了高效地辅助检查，根据由内窥镜拍摄的图像判定内窥镜的操作者的动作，进行了处置等规定动作的图像被从关注区域的检测对象中排除。即，当进行处置等时，由于关注区域已被发现的可能性高，因此视为基于图像处理的检测的必要性低，从检测对象中排除，实现高效化。
以往技术文献
专利文献
专利文献1：国际公开第WO2017/002184号
发明内容
发明要解决的技术课题
然而，在利用内窥镜进行的检查中，有时进行组织采集(活检)。组织采集经由内窥镜的顶端部所具备的钳道口来进行。在进行组织采集时，期待在适当的时机报知作为目标的病变，辅助施术者。
但是，在专利文献1中，由于在处置时不进行作为目标的病变的检测，因此存在不能适当地辅助施术者这样的缺点。
本发明是鉴于这样的情况而完成的，其目的在于提供一种能够适当地辅助使用器具的处置的图像处理装置、方法及程序。
用于解决技术课题的手段
(1)一种图像处理装置，其对由器具可从顶端突出的内窥镜拍摄的图像进行处理，其中，具备处理器，处理器进行：获取由内窥镜拍摄的图像的处理；在显示器上显示获取的图像的处理；从获取的图像中检测关注区域的处理；判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域的处理；以及当判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时进行报知的处理。
(2)根据(1)所述的图像处理装置，其中，处理器判定从在图像中设定的基准点到关注区域的距离是否为第一阈值以下，判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域。
(3)根据(2)所述的图像处理装置，其中，基准点是图像的中心。
(4)根据(1)所述的图像处理装置，其中，处理器判定从自内窥镜的顶端突出的器具的延长线到关注区域的距离是否为第二阈值以下，判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，处理器还进行根据获取的图像判定在关注区域与器具之间是否存在障碍物的处理，在判定为不存在障碍物、且判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时，处理器进行报知。
(6)根据(1)至(4)中任一项所述的图像处理装置，其中，处理器还进行从获取的图像中检测器具的处理，处理器进行在从图像中检测到器具、且判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时进行报知的处理。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，处理器变更在显示器上显示的显示图像来进行报知。
(8)根据(7)所述的图像处理装置，其中，处理器变更在显示图像中设定的图像的显示区域的显示来进行报知。
(9)根据(8)所述的图像处理装置，其中，处理器与显示区域所显示的图像重叠地显示表示关注区域的图形来进行报知。
(10)根据(7)所述的图像处理装置，其中，当检测到关注区域时，处理器还进行与在显示图像中设定的图像的显示区域所显示的图像重叠地显示表示关注区域的图形的处理，处理器变更图形的显示来进行报知。
(11)根据(10)所述的图像处理装置，其中，处理器变更图形的颜色、形状、亮度及线型中的至少一个，来变更图形的显示。
(12)根据(7)所述的图像处理装置，其中，处理器还进行与在显示图像中设定的图像的显示区域所显示的图像重叠地显示表示器具的突出方向的信息的处理，处理器变更表示器具的突出方向的信息的显示来进行报知。
(13)根据(12)所述的图像处理装置，其中，处理器显示沿着器具的突出方向的直线作为表示器具的突出方向的信息。
(14)根据(13)所述的图像处理装置，其中，处理器变更直线的颜色、亮度及线型中的至少一个，来变更直线的显示。
(15)根据(7)所述的图像处理装置，其中，处理器变更在显示图像中设定的图像的显示区域以外的区域的显示来进行报知。
(16)根据(15)所述的图像处理装置，其中，处理器在图像的显示区域以外的区域显示信息来进行报知。
(17)根据(16)所述的图像处理装置，其中，处理器显示消息或图形作为信息。
(18)根据(1)至(17)中任一项所述的图像处理装置，其中，处理器输出语音来进行报知。
(19)根据(1)至(18)中任一项所述的图像处理装置，其中，关注区域为病变部。
(20)根据(1)至(19)中任一项所述的图像处理装置，其中，关注区域为脏器。
(21)一种图像处理方法，其包括：获取由器具可从顶端突出的内窥镜拍摄的图像的步骤；在显示器上显示获取的图像的步骤；从获取的图像中检测关注区域的步骤；判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域的步骤；以及当判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时进行报知的步骤。
(22)一种图像处理程序，其使计算机实现：获取由器具可从顶端突出的内窥镜拍摄的图像的功能；在显示器上显示获取的图像的功能；从获取的图像中检测关注区域的功能；判定在从内窥镜的顶端突出的器具可到达的位置是否存在关注区域的功能；以及当判定为在从内窥镜的顶端突出的器具可到达的位置存在关注区域时进行报知的功能。
发明效果
根据本发明，能够适当地辅助使用器具的处置。
附图说明
图1是表示应用了本公开的内窥镜系统的系统结构的一例的框图。
图2是表示内窥镜的一例的图。
图3是表示内窥镜的插入部的顶端的结构的一例的立体图。
图4是图像处理装置实现的一功能的框图。
图5是表示使处置器具从钳道口突出时的显示图像的一例的图。
图6是表示显示图像的一例的图。
图7是表示显示图像的一例的图。
图8是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
图9是表示显示图像的第一变形例的图。
图10是表示显示图像的第二变形例的图。
图11是表示应用了本公开的超声波内窥镜系统的系统结构的一例的框图。
图12是表示超声波内窥镜的一例的图。
图13是表示超声波内窥镜的插入部的顶端的结构的一例的立体图。
图14是第二实施方式的图像处理装置实现的一功能的框图。
图15是表示使处置器具从处置器具突出口突出时的显示图像的一例的图。
图16是表示显示图像的一例的图。
图17是表示显示图像的一例的图。
图18是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
图19是表示显示图像的第一变形例的图。
图20是表示显示图像的第二变形例的图。
图21是第三实施方式的图像处理装置实现的一功能的框图。
图22是表示显示图像的一例的图。
图23是表示显示图像的一例的图。
图24是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
图25是第四实施方式的图像处理装置实现的一功能的框图。
图26是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
具体实施方式
下面，根据附图对本发明的优选实施方式进行详细说明。
[第一实施方式]
[系统结构]
图1是表示应用了本公开的内窥镜系统的系统结构的一例的框图。
如图1所示，本实施方式的内窥镜系统1具备内窥镜10、光源装置100、处理器装置200、图像处理装置300及显示器400。
图2是表示内窥镜的一例的图。
该内窥镜10为软性镜(电子内窥镜)，且为处置器具可从顶端突出的内窥镜。如图2所述，内窥镜10主要由插入部12、操作部14及连接部16构成。
插入部12是插入到体腔内的部位。插入部12从顶端侧起依次由顶端部12A、可进行弯曲操作的弯曲部12B及具有挠性的软性部12C构成。
图3是表示内窥镜的插入部的顶端的结构的一例的立体图。
如图3所示，在顶端部12A，在其端面具备观察窗20、照明窗22、喷嘴24及钳道26等。
观察窗20是观察用的窗。在观察窗20的内侧具备摄像部。摄像部包括摄像光学系统及图像传感器而构成。图像传感器例如由具有规定的彩色滤光片排列(例如，拜尔排列等)的彩色CMOS(Complementary Metal-Oxide Semiconductor)图像传感器、彩色CCD(Charge Coupled Device)图像传感器等构成。
照明窗22是照明用的窗。自光源装置100供给的照明光从该照明窗22射出。如图3所示，在本实施方式的内窥镜10中，在两处具备照明窗22。
喷嘴24朝向观察窗20选择性喷射液体(例如，水)及气体(例如，空气)。当观察窗20被弄脏时等，从该喷嘴24喷射液体或气体，冲洗污垢。
钳道口26是钳子等处置器具500的出口。从操作部14所具备的钳子插入口28插入的处置器具500从该钳道口26突出。处置器具500是器具的一例。
通过操作操作部14所具备的弯角钮30，弯曲部12B向上下左右弯曲。由此，能够使顶端部12A朝向期望的方向。
如图2所示，操作部14是供施术者(用户)握持并操作内窥镜10的部位。在操作部14具备各种操作部件。例如，具备用于进行弯曲部12B的弯曲操作的弯角钮30、用于进行供气供水操作的供气供水按钮32、用于进行吸引操作的吸引按钮34、用于进行静止画面的摄影的快门按钮36等。
另外，如图2所示，在操作部14具备用于插入钳子等处置器具500的钳子插入口38。从钳子插入口38插入的处置器具500穿过插入部12内所具备的钳子通道40从顶端的钳道口26突出。
连接部16是用于将内窥镜10与光源装置100及处理器装置200连接的部位。连接部16由具有挠性的塞绳构成。在连接部16的顶端具备用于与光源装置100连接的连接器16A及用于与处理器装置200连接的连接器16B。
光源装置100具备光源，将该光源的光作为照明光向内窥镜10供给。供给至内窥镜10的照明光经由光导(未图示)从顶端的照明窗22射出。对于光源的光，例如使用白色光。
处理器装置200进行如下处理：取入从内窥镜10输出的摄像信号，实施规定的信号处理，生成基于内窥镜10的观察图像(内窥镜图像)。另外，处理器装置200统一控制系统整体。处理器装置200例如由具备CPU(Central Processing Unit)、ROM(Read Only Memory)及RAM(Random Access Memory)等的计算机构成。处理器装置200通过由CPU执行规定的程序来实现生成内窥镜图像的功能及统一控制系统整体的功能等。在ROM中存储有CPU执行的各种程序、以及控制及处理等所需的数据等。RAM向CPU提供作业用的存储空间。
图像处理装置300进行获取从处理器装置200输出的内窥镜图像并在显示器400上显示的处理。另外，图像处理装置300进行经由显示器400辅助施术者进行的使用处置器具500的规定处置的处理。具体而言，在进行组织采集时，在显示器400上显示规定信息，使得施术者容易采集目标(病变等)。关于这一点，稍后叙述。图像处理装置300例如由具备CPU、ROM及RAM等的计算机构成。图像处理装置300通过由CPU执行规定的程序而作为图像处理装置发挥作用。在ROM中存储有CPU执行的各种程序、以及各种处理及控制所需的数据等。RAM向CPU提供作业用的存储空间。
图4是图像处理装置实现的一功能的框图。
如图4所示，图像处理装置300具有图像获取部300A、关注区域检测部300B、判定部300C、显示图像生成部300D及显示控制部300E的功能。这些功能通过CPU执行规定的程序(图像处理程序)来实现。
图像获取部300A从处理器装置200获取内窥镜图像。此外，内窥镜图像是动态图像。图像获取部300A依次获取构成动态图像的各帧图像。
关注区域检测部300B从由图像获取部300A获取的各帧图像中检测关注区域。此处的“关注区域”是指成为处置对象的区域。当进行组织采集时，成为作为目标的病变部。关注区域检测部300B例如通过图像识别从内窥镜图像内检测关注区域。图像识别例如可使用通过机器学习(例如，深度学习等)生成的图像识别模型来进行。除此之外，可使用公知的方法进行。
此外，关注区域被特定其在图像内的位置来检测。位置例如作为存在于内窥镜图像内的关注区域的中心或重心的像素位置的信息来获取。
当检测到关注区域时，判定部300C根据内窥镜图像判定关注区域是否位于容易由处置器具500处置的位置。容易由处置器具500处置的位置是处置器具500可到达的位置。因此，判定部300C根据图像判定在处置器具500可到达的位置是否存在关注区域。判定如下进行。
图5是表示使处置器具从钳道口突出时的显示图像(在显示器上显示的图像)的一例的图。
如图5所示，显示图像410由具有规定的纵横比的矩形的图像构成。内窥镜图像412显示于设定在显示图像410内的规定的显示区域414。在图5所示的例子中，圆的上下被切除的区域被设定为内窥镜图像412的显示区域414。
当使处置器具500从钳道口26突出时，处置器具500映入内窥镜图像412中。由于钳道口26与观察窗20的位置关系是固定的，因此处置器具500映入的位置始终恒定。另外，其突出方向(图5中箭头所示的方向)也是恒定的。因此，在内窥镜图像内处置器具500可到达的范围能够事先求出。该范围例如可用如图5所示以规定的基准点P为中心的半径r的圆416确定。一般而言，处置器具500从钳道口26突出时，其顶端位于内窥镜图像412的中心或中心附近。因此，能够将内窥镜图像412的中心设定为基准点P，确定处置器具500可到达的范围。
判定部300C判定关注区域是否存在于以内窥镜图像412的中心(基准点P)为中心的半径r的圆416的范围内，判定在处置器具500可到达的位置是否存在关注区域。换言之，判定从内窥镜图像412的中心(基准点P)到关注区域的距离是否为r以下(第一阈值以下)，判定在处置器具500可到达的位置是否存在关注区域。r为第一阈值的一例。当关注区域存在于以内窥镜图像412的中心(基准点P)为中心的半径r的圆416的范围内时(当从内窥镜图像412的中心(基准点P)到关注区域的距离为r以下时)，判定为在处置器具500可到达的位置存在关注区域。另一方面，当关注区域不存在于以内窥镜图像412的中心(基准点P)为中心的半径r的圆416的范围内时(当从内窥镜图像412的中心(基准点P)到关注区域的距离超过r时)，判定为在处置器具500可到达的位置不存在关注区域。
显示图像生成部300D从由图像获取部300A获取的内窥镜图像生成用于在显示器400上显示的显示图像。显示图像生成部300D基于判定部300C的判定结果，生成显示图像。即，在判定部300C中，如果判定为在处置器具500可到达的位置存在关注区域，则变更显示图像，将在处置器具500可到达的位置存在关注区域的情况报知给施术者。具体而言，变更内窥镜图像412的显示区域的显示。
图6及图7是表示显示图像的一例的图。图6表示在处置器具500可到达的位置不存在关注区域时的例子。图7表示在处置器具500可到达的位置存在关注区域时的例子。
当在处置器具500可到达的位置不存在关注区域时，如图6所示，在内窥镜图像412的显示区域414仅显示内窥镜图像412。此外，在图6中，虚线所示的交叉(X)的标志418表示关注区域的位置。在图6所示的例子中，由于关注区域的位置(标志418的位置)处于圆416的范围外，因此判定为在处置器具500可到达的位置不存在关注区域。此外，在图6中，为了便于说明，显示了表示处置器具500可到达的范围的圆416及表示关注区域的位置的标志418，但它们在实际的显示图像410中不会显示。
另一方面，当在处置器具500可到达的位置存在关注区域时，如图7所示，在内窥镜图像412的显示区域414，与内窥镜图像412重叠地显示表示关注区域的位置的交叉(X)的标志420。此外，在图7中，为了便于说明，显示了表示处置器具500可到达的范围的圆416，但该圆416在实际的显示图像410中不会显示。
仅当在处置器具500可到达的位置存在关注区域时，通过显示表示关注区域的位置的标志420，可将处置的时机适当地报知给施术者。标志420为表示关注区域的图形的一例。
显示控制部300E使显示器400显示由显示图像生成部300D生成的显示图像。
显示器400例如由液晶显示器、有机EL显示器(有机EL：OrganicElectroLuminescent，OEL)等构成。
[动作]
在此，以使用活检钳进行组织采集的情况为例进行说明。
如图2所示，活检钳(处置器具)500具有插入部510及操作部512。插入部510具有挠性，在顶端具有顶端爪部514。操作部512具有把手512A及滑块512B，通过使滑块512B前后滑动，顶端爪部514进行开闭。在组织采集中，使用顶端爪部514抓取目标(病变等)。
图8是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤(图像处理方法)的流程图。
首先，从处理器装置200获取内窥镜图像(步骤S1)。内窥镜图像以帧为单位依次获取。
接着，从获取的内窥镜图像中检测关注区域(步骤S2)。此处的关注区域为成为组织采集对象的病变部。
接着，基于关注区域的检测结果，判定是否检测到了关注区域(步骤S3)。
如果判定为未检测到关注区域，则生成通常的显示图像(步骤S4)。然后，在显示器400上显示生成的显示图像(步骤S7)。在此，通常的显示图像是在内窥镜图像中未显示表示关注区域的位置的标志的图像(标志的显示关闭的图像)(参照图6)。
另一方面，如果判定为检测到关注区域，则进一步判定在活检钳500可到达的位置是否存在关注区域(步骤S5)。
如果判定为在活检钳500可到达的位置不存在关注区域，则与未检测到关注区域的情况同样，生成通常的显示图像(步骤S4)，并在显示器400上显示生成的显示图像(步骤S7)。
另一方面，如果判定为在活检钳500可到达的位置存在关注区域，则生成显示表示关注区域的位置的标志的显示图像(步骤S6)。而且，在显示器400上显示生成的显示图像(步骤S7)。显示表示关注区域的位置的标志的显示图像是如图7所示与内窥镜图像412重叠地显示表示关注区域的位置的标志420的图像(标志的显示开启的图像)。
此后，判定内窥镜10进行的摄影是否结束(步骤S8)。然后，通过摄影结束，结束显示处理。摄影的结束例如根据有无下一帧图像的输入来判定。当摄影未结束时，返回步骤S1，实施上述的一系列处理。
这样，根据本实施方式的内窥镜系统1，如果关注区域位于活检钳500可到达的位置，则在显示图像中显示表示关注区域的位置的标志。由此，在进行组织采集时，可在适当的时机将作为目标的病变报知给施术者，可适当地辅助施术者进行的处置。
[变形例]
[报知的变形例]
在上述实施方式中，设为了通过与内窥镜图像重叠地显示表示关注区域的位置的标志来报知关注区域位于处置器具可到达的位置的结构，但报知的方法不限于此。下面对报知方法的变形例进行说明。
(1)报知方法的第一变形例
图9是表示显示图像的第一变形例的图。图9(A)所示的显示图像410A是关注区域未位于处置器具可到达的位置时的显示图像。图9(B)所示的显示图像410B是关注区域位于处置器具可到达的位置时的显示图像。
如图9(A)及图9(B)所示，在本例的情况下，如果从内窥镜图像412A、412B中检测到关注区域，则与内窥镜图像412A、412B重叠地显示表示其位置的标志420A、420B。
但是，在关注区域位于处置器具可到达的位置时和关注区域未位于处置器具可到达的位置时，标志420A、420B的显示方式不同。
如图9(A)所示，当关注区域未位于处置器具可到达的位置时，标志420A用细线显示。另一方面，当关注区域位于处置器具可到达的位置时，如图9(B)所示，标志420B用粗线显示。即，在关注区域位于处置器具可到达的位置时和关注区域未位于处置器具可到达的位置时，改变强调程度而显示标志420A、420B。当关注区域位于处置器具可到达的位置时，标志420B的强调程度加强，相反，当关注区域未位于处置器具可到达的位置时，标志420A的强调程度减弱。
这样，通过在关注区域位于处置器具可到达的位置时和关注区域未位于处置器具可到达的位置时改变标志的显示方式，也能够报知关注区域位于处置器具可到达的位置的情况。
此外，在本例中，设为了通过改变标志的线的粗细来切换标志的显示方式的结构，但标志的显示方式的切换方法不限于此。可变更标志的颜色、形状、亮度及线型中的至少一个，切换标志的显示方式。在该情况下，优选以与关注区域位于处置器具可到达的位置时相比强调程度增强的方式切换标志的显示方式。
除此之外，也可设为通过在关注区域位于处置器具可到达的位置时使标志闪烁来进行报知的结构。
另外，表示关注区域的位置的标志的形状不限于交叉(X)，可采用各种形状。另外，也可设为显示围绕关注区域的图形(例如，矩形框等)作为表示关注区域的图形的结构。
(2)报知方法的第二变形例
在上述实施方式中，设为了变更设定在显示图像中的内窥镜图像的显示区域的显示来进行报知的结构。也可设为变更内窥镜图像的显示区域以外的显示来进行报知的结构。
图10是表示显示图像的第二变形例的图。在图10中，虚线所示的交叉(X)的标志418表示关注区域的位置。该标志418是为了便于说明而显示的，在实际的显示图像中并不显示。
图10(A)所示的显示图像410A是关注区域未位于处置器具可到达的位置时的显示图像。图10(B)所示的显示图像410B是关注区域位于处置器具可到达的位置时的显示图像。
如图10(B)所示，当关注区域位于处置器具可到达的位置时，在内窥镜图像412B的显示区域外的区域显示消息422。在本例中，作为消息422，显示“Push！”字符。另一方面，当关注区域未位于处置器具可到达的位置时，如图10(A)所示，不显示该消息。
这样，通过显示规定的消息422，也能够报知关注区域位于处置器具可到达的位置的情况。
此外，在本例中，设为了在内窥镜图像的显示区域以外的区域显示消息的结构，但消息的显示位置不限于此。也可设为在内窥镜图像的显示区域内显示的结构。
另外，在本例中，设为了通过显示由字符构成的消息来报知关注区域位于处置器具可到达的位置的情况的结构，但也可设为显示图标等来报知关注区域位于处置器具可到达的位置的情况的结构。消息、图标为信息的一例。
(3)报知方法的第三变形例
也可设为当关注区域位于处置器具可到达的位置时输出语音来进行报知的结构。在该情况下，另外具备扬声器，从该扬声器输出规定的语音，报知关注区域位于处置器具可到达的位置的情况。
此外，基于语音的报知也可与基于向显示器400的显示的报知并用。
[在处置器具可到达的位置是否存在关注区域的判定的变形例]
考虑到处置器具突出的位置、处置器具的类型、及处置的内容等，基准点P设定于容易处置的位置。同样，阈值r也考虑处置器具的类型、处置的内容等来设定。
另外，判定在处置器具可到达的位置是否存在关注区域的方法不限于在上述实施方式中说明的方法。例如，也可以是，测量到关注区域的距离，判定测量出的距离是否为阈值以下，判定在处置器具可到达的位置是否存在关注区域。到关注区域的距离例如使用公知的图像测量的方法从内窥镜图像中测量。
另外，当基于设定在内窥镜图像内的基准点进行判定时，阈值r(第一阈值)也可与处置器具的类型及处置的类型等无关地设为恒定，但也可根据处置器具的类型及处置的类型等单独设定。例如，当与处置器具的类型及处置的类型等无关地设为恒定时，可将内窥镜图像的宽度的1/10设定为阈值。另外，当根据处置器具的类型改变阈值时，例如，可如下进行设定。例如，当进行使用钳子的处置时，将内窥镜图像的宽度的1/10设定为阈值。另外，当进行使用局部注射针的处置(局部注射)时，将内窥镜图像的宽度的1/20设定为阈值。由于局部注射是在病变的根源这样的定位点进行，因此按照成为更窄的范围的方式设定阈值。另外，当进行使用圈套器的处置时，将内窥镜图像的宽度的1/2设定为阈值。由于圈套器能够大幅展开而捕捉病变，因此按照成为更宽的范围的方式设定阈值。
另外，也可设为还考虑内窥镜和/或处置器具的操作状况，判定是否需要报知的结构。例如，当进行使用圈套器的处置时，可考虑圈套器的打开情况的信息，判定是否需要报知。即，判定是否以能够采集关注区域的尺寸打开了圈套器，判定是否需要报知。在该情况下，可设为圈套器的打开情况例如从图像中检测的结构。除此之外，例如，在进行使用穿刺针的处置的情况下，能够调整穿刺针的突出角度时，可考虑该突出角度的信息，判定是否需要报知。
[第二实施方式]
在此，对将本公开应用于超声波内窥镜系统时的例子进行说明。
[系统结构]
图11是表示应用了本公开的超声波内窥镜系统的系统结构的一例的框图。
如图11所示，本实施方式的超声波内窥镜系统1000具备超声波内窥镜1010、光源装置1100、内窥镜用处理器装置1200、超声波用处理器装置1500、图像处理装置1300及显示器1400。
图12是表示超声波内窥镜的一例的图。
图12所示的超声波内窥镜1010是凸阵型的超声波内窥镜，主要由插入部1012、操作部1014及连接部1016构成。
插入部1012从顶端侧起依次由顶端部1012A、可进行弯曲操作的弯曲部1012B、具有挠性的软性部1012C构成。
图13是表示超声波内窥镜的插入部的顶端的结构的一例的立体图。
如图13所示，在顶端部1012A具备处置器具突出部1020、内窥镜观察部1030及超声波探头1040。
在处置器具突出部1020具备供处置器具突出的处置器具突出口1022、及调整处置器具的突出方向的竖立台1024等。竖立台1024根据操作部1014所具备的竖立杆1056的操作而摆动，变更处置器具的突出角度。
在内窥镜观察部1030具备观察窗1032、照明窗1034及喷嘴1036等。在观察窗1032的内侧具备摄像部。摄像部包括摄像光学系统及图像传感器而构成。
超声波探头1040在其内部具有发送/接收超声波的多个压电元件、及声透镜等。
如图12所示，在操作部1014具备各种操作部件。例如，具备用于对弯曲部1012B进行弯曲操作的弯角钮1050、用于进行吸引操作的吸引按钮1052、用于进行供气供水操作的供气供水按钮1054、及用于对竖立台1024进行竖立操作的竖立杆1056等。
另外，如图12所示，在操作部1014具备用于插入处置器具的处置器具插入口1060。从处置器具插入口1060插入的处置器具穿过插入部1012内所具备的处置器具通道(未图示)从顶端的处置器具突出口1022突出。
连接部1016是用于将超声波内窥镜1010与光源装置1100、内窥镜用处理器装置1200及超声波用处理器装置1500连接的部位。连接部1016由具有挠性的塞绳构成。在连接部1016的顶端具备用于与光源装置1100连接的连接器1016A、用于与内窥镜用处理器装置1200连接的连接器1016B及用于与超声波用处理器装置1500连接的连接器1016C。
光源装置1100具备光源，将该光源的光作为照明光向超声波内窥镜1010供给。供给至超声波内窥镜1010的照明光经由光导(未图示)从顶端的照明窗1034射出。光源的光例如使用白色光。
内窥镜用处理器装置1200取入从超声波内窥镜1010的摄像部输出的摄像信号，实施规定的信号处理，生成基于内窥镜观察部1030的观察图像(内窥镜图像)。另外，内窥镜用处理器装置1200统一控制系统整体。内窥镜用处理器装置1200例如由具备CPU、ROM及RAM等的计算机构成。内窥镜用处理器装置1200通过由CPU执行规定的程序来实现生成内窥镜图像的功能及对系统整体进行统一控制的功能等。在ROM中存储有CPU执行的各种程序、以及控制及处理等所需的数据等。RAM向CPU提供作业用的存储空间。
超声波用处理器装置1500取入经由超声波内窥镜1010的超声波探头获得的基于超声波的摄像信号，实施规定的信号处理，生成基于超声波的观察图像(超声波图像)。超声波用处理器装置1500例如由具备CPU、ROM及RAM等的计算机构成。超声波用处理器装置1500通过由CPU执行规定的程序来实现生成超声波图像的功能等。在ROM中存储有CPU执行的各种程序、以及控制及处理等所需的数据等。RAM向CPU提供作业用的存储空间。
图像处理装置1300进行获取从内窥镜用处理器装置1200输出的内窥镜图像及从超声波用处理器装置1500输出的超声波图像并在显示器1400上显示的处理。另外，图像处理装置1300进行经由显示器1400辅助施术者进行的使用处置器具的规定处置的处理。图像处理装置1300例如由具备CPU、ROM及RAM等的计算机构成。图像处理装置1300通过由CPU执行规定程序而作为图像处理装置发挥作用。在ROM中存储有CPU执行的各种程序、以及各种处理及控制所需的数据等。RAM向CPU提供作业用的存储空间。
关于图像处理装置1300进行的处置的辅助，基于内窥镜图像的处置的辅助与上述第一实施方式相同。在此，对基于超声波图像的处置的辅助进行说明。
图14是本实施方式的图像处理装置实现的一功能的框图。
如图14所示，图像处理装置1300具有图像获取部1300A、关注区域检测部1300B、判定部1300C、显示图像生成部1300D及显示控制部1300E的功能。这些功能通过CPU执行规定的程序(图像处理程序)来实现。
图像获取部1300A从超声波用处理器装置1500获取超声波图像。此外，超声波图像是动态图像。图像获取部1300A依次获取构成动态图像的各帧图像。
关注区域检测部1300B从由图像获取部1300A获取的各帧图像中检测关注区域。此处的“关注区域”是指成为处置对象的区域。当进行组织采集时，成为作为目标的病变部。关注区域检测部1300B例如通过图像识别从内窥镜图像内检测关注区域。图像识别例如可使用通过机器学习(例如，深度学习等)生成的图像识别模型来进行。除此之外，可使用公知的方法进行。
此外，关注区域被特定其在图像内的位置来检测。位置例如作为存在于内窥镜图像内的关注区域的中心或重心的像素位置的信息来获取。
当检测到关注区域时，判定部1300C判定在处置器具可到达的位置是否存在关注区域。判定如下进行。
图15是表示使处置器具从处置器具突出口突出时的显示图像(在显示器上显示的图像)的一例的图。图15表示通过超声波内窥镜下穿刺吸引法(Endoscopic Ultrasound-Fine Needle Aspiration，EUS-FNA)进行组织采集时的例子。
如图15所示，向显示器1400显示的显示图像1410由具有规定纵横比的矩形的图像构成。超声波图像1412显示于设定在显示图像1410内的规定显示区域1414。在图15所示的例子中，扇形区域被设定为超声波图像1412的显示区域1414。
当使处置器具(穿刺针)1600从处置器具突出口1022突出时，处置器具1600映入超声波图像1412中。由于处置器具突出口1022与超声波探头1040的位置关系是固定的，因此处置器具1600映入的位置始终恒定。另外，其突出方向也是恒定的。在图15中，虚线所示的直线L是沿着从处置器具突出口1022突出的处置器具1600的突出方向延伸的延长线。当使处置器具1600从处置器具突出口1022突出时，处置器具1600在超声波图像1412内沿着直线L进退移动。判定部1300C判定从该直线L到关注区域的距离D是否为阈值以下(第二阈值以下)，判定在处置器具可到达的位置是否存在关注区域。从直线L到关注区域的距离D作为从关注区域朝向直线L延伸的垂线的距离来测量。当距离D为阈值以下时，判定为在处置器具1600可到达的位置存在关注区域。另一方面，当距离D超过阈值时，判定为在处置器具1600可到达的位置不存在关注区域。
显示图像生成部1300D从由图像获取部1300A获取的超声波图像生成用于在显示器1400上显示的显示图像。显示图像生成部1300D基于判定部1300C的判定结果生成显示图像。即，在判定部1300C中，当判定为在处置器具1600可到达的位置存在关注区域时，变更显示图像，将在处置器具1600可到达的位置存在关注区域的情况报知给施术者。具体而言，变更超声波图像1412的显示区域的显示。
图16及图17是表示显示图像的一例的图。图16表示在处置器具1600可到达的位置不存在关注区域时的例子。图17表示在处置器具1600可到达的位置存在关注区域时的例子。
当在处置器具1600可到达的位置不存在关注区域时，如图16所示，在超声波图像1412的显示区域1414仅显示超声波图像1412。此外，在图16中，虚线所示的交叉(X)的标志1418表示关注区域的位置。在图16中，为了便于说明，显示了沿着处置器具1600的突出方向延伸的直线L(处置器具的延长线)及表示关注区域的位置的标志1418，但它们在实际的显示图像1410中不会显示。
另一方面，当在处置器具1600可到达的位置存在关注区域时，如图17所示，在超声波图像1412的显示区域1414，与超声波图像1412重叠地显示表示关注区域的位置的交叉(X)的标志1420。此外，在图17中，为了便于说明，显示了沿着处置器具1600的突出方向延伸的直线L(处置器具的延长线)，但该直线L在实际的显示图像410中不会显示。
仅当在处置器具1600可到达的位置存在关注区域时，通过显示表示关注区域的位置的标志1420，可将处置的时机适当地报知给施术者。
显示控制部1300E在显示器400上显示由显示图像生成部1300D生成的显示图像。
[动作]
在此，以通过超声波内窥镜下穿刺吸引法进行组织采集的情况为例进行说明。在基于超声波内窥镜下穿刺吸引法的组织采集中，使用穿刺针1600作为处置器具。穿刺针1600从超声波内窥镜1010的操作部1014所具备的处置器具插入口1060插入。从处置器具插入口1060插入的穿刺针1600从插入部1012的顶端所具备的处置器具突出口1022突出。使用突出的穿刺针1600刺入目标而采集组织。
图18是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
首先，从超声波用处理器装置1500获取超声波图像(步骤S11)。接着，从获取的超声波图像中检测关注区域(步骤S12)。此处的关注区域是成为组织采集对象的病变部。接着，基于关注区域的检测结果，判定是否检测到了关注区域(步骤S13)。当判定为未检测到关注区域时，生成通常的显示图像(步骤S14)。然后，在显示器1400上显示生成的显示图像(步骤S17)。在此，所谓通常的显示图像是在超声波图像中未显示表示关注区域的位置的标志的图像(标志的显示关闭的图像)(参照图16)。另一方面，当判定为检测到关注区域时，进一步判定在穿刺针1600可到达的位置是否存在关注区域(步骤S15)。当判定为在穿刺针1600可到达的位置不存在关注区域时，与未检测到关注区域的情况同样，生成通常的显示图像(步骤S14)，并在显示器1400上显示生成的显示图像(步骤S17)。另一方面，当判定为在穿刺针1600可到达的位置存在关注区域时，生成显示表示关注区域的位置的标志的显示图像(步骤S16)。然后，在显示器1400上显示生成的显示图像(步骤S17)。显示表示关注区域的位置的标志的显示图像是如图17所示与超声波图像1412重叠地显示表示关注区域的位置的标志1420的图像(标志的显示开启的图像)。此后，判定超声波内窥镜1010进行的超声波摄影是否结束(步骤S18)。然后，通过摄影结束，结束显示处理。摄影结束例如根据有无下一帧的图像输入来判定。在摄影未结束的情况下，返回步骤S11，实施上述的一系列处理。
这样，根据本实施方式的超声波内窥镜系统1000，如果关注区域位于穿刺针1600可到达的位置，则在显示图像中显示表示关注区域的位置的标志。由此，在进行组织采集时，能够在适当的时机将目标报知给施术者，能够适当地辅助施术者。
[变形例]
[报知的变形例]
在上述实施方式中，设为了通过与内窥镜图像重叠地显示表示关注区域的位置的标志来报知关注区域位于处置器具可到达的位置时的结构，但报知方法不限于此。以下对报知方法的变形例进行说明。
(1)报知方法的第一变形例
图19是表示显示图像的第一变形例的图。图19表示关注区域位于处置器具可到达的位置时的显示图像。
如图19所示，在本例中，当关注区域位于处置器具可到达的位置时，与超声波图像1412重叠地显示表示关注区域的位置的标志1420以及表示处置器具1600的突出方向的引导线GL。引导线GL是表示处置器具1600的突出方向的信息，当使处置器具1600从处置器具突出口1022突出时，处置器具1600沿着该引导线GL移动。引导线GL与从处置器具突出口1022突出的处置器具1600的延长线一致。
这样，通过显示引导线GL，能够明确处置器具1600的突出方向，能够实现更良好的辅助。
此外，在本例中，设为了当关注区域位于处置器具可到达的位置时显示标志1420及引导线GL的结构，但也可设为仅显示引导线GL的结构。
另外，也可设为如下结构：表示关注区域的位置的标志1420始终显示，当关注区域位于处置器具可到达的位置时，显示引导线GL。在该情况下，也可以设为，当关注区域位于处置器具可到达的位置时和当关注区域未位于处置器具可到达的位置时，变更标志1420的显示方式。例如也可以设为，当关注区域位于处置器具可到达的位置时，切换标志1420的颜色、形状、亮度、线型等，变更强调程度。即，设为在关注区域位于处置器具可到达的位置的情况下，增强标志1420的强调程度。
另外，也可设为如下结构：引导线GL始终显示，当关注区域位于处置器具可到达的位置时，显示标志1420。在该情况下，也可以设为，在关注区域位于处置器具可到达的位置时和关注区域未位于处置器具可到达的位置时，变更引导线GL的显示方式。例如也可以设为，当关注区域位于处置器具可到达的位置时，切换引导线GL的颜色、亮度、线型等，变更强调程度。即，设为在关注区域位于处置器具可到达的位置的情况下，增强引导线GL的强调程度。
进而，也可以设为始终显示标志1420及引导线GL，当关注区域位于处置器具可到达的位置时，变更标志1420及引导线GL的显示方式。
另外，对于引导线GL而言，也可设为无论有没有检测到关注区域均始终显示的结构。
此外，对于表示关注区域的位置的标志1420的形状，不限于交叉(X)，可采用各种形状。
(2)报知方法的第二变形例
在上述实施方式中，设为了变更超声波图像的显示区域的显示来进行报知的结构。也可设为变更超声波图像的显示区域以外的显示来进行报知的结构。
图20是表示显示图像的第二变形例的图。
如图12所示，在本例中，当关注区域位于处置器具可到达的位置时，在超声波图像1412的显示区域外的区域显示消息1422。在本例中，作为消息1422，显示“Push！”字符。
这样，也能够通过显示规定的消息1422来报知关注区域位于处置器具可到达的位置的情况。
此外，在本例中，设为了当关注区域位于处置器具可到达的位置时仅显示消息1422的结构，但也可设为同时显示表示关注区域的位置的标志和/或表示突出方向的引导线的结构。另外，对于标志和/或引导线，也可设为始终显示的结构。另外，也可设为如下结构：在始终显示标志和/或引导线的情况下，在关注区域位于处置器具可到达的位置时和关注区域未位于处置器具可到达的位置时，切换其显示方式。
另外，在本例中，设为了在超声波图像的显示区域以外的区域显示消息的结构，但消息的显示位置不限于此。也可设为在超声波图像的显示区域内显示的结构。
另外，也可设为取代消息而显示图标等的结构。
(3)报知方法的第三变形例
也可设为在关注区域位于处置器具可到达的位置是情况下输出语音进行报知的结构。在该情况下，另外具备扬声器，从该扬声器输出规定语音，报知关注区域位于处置器具可到达的位置的情况。此外，基于语音的报知也可与基于向显示器400显示的报知并用。
[关于阈值(第二阈值)]
关于判定关注区域是否位于处置器具可到达的位置时的阈值(第二阈值)，也可与处置器具的类型及处置的类型等无关地设为恒定，但也可根据处置器具的类型及处置的类型等单独设定。
[第三实施方式]
在上述第一及第二实施方式中，设为了如下结构：当关注区域位于处置器具可到达的位置时显示表示关注区域的位置的标志等，报知给施术者。在本实施方式中，设为了如下结构：进一步判定在关注区域与处置器具之间是否存在障碍物，当不存在障碍物时，进行报知。下面，对由超声波内窥镜系统实施该处理的情况进行说明。
图21是本实施方式的图像处理装置实现的一功能的框图。
如图21所示，本实施方式的图像处理装置1300相对于上述第二实施方式的图像处理装置，还具有障碍物检测部1300F的功能。
障碍物检测部1300F从由图像获取部1300A获取的超声波图像中检测障碍物。此处的“障碍物”是在处置器具突出口1022使处置器具1600突出时成为障碍的物体。例如，大的血管等相当于该情况。障碍物检测部1300F例如通过图像识别从超声波图像内检测障碍物。图像识别例如可使用通过机器学习(例如，深度学习等)生成的图像识别模型来进行。除此之外，可使用公知的方法来进行。
此外，障碍物被特定其在图像内的位置来检测。位置例如作为存在于超声波图像内的障碍物的中心或重心的像素位置的信息来获取。
判定部1300C基于关注区域检测部1300B及障碍物检测部1300F的检测结果，判定是否需要报知。具体而言，当在关注区域与处置器具的顶端之间不存在障碍物且在处置器具可到达的位置存在关注区域时，判定为进行报知，除此以外判定为不报知。因此，即使在处置器具可到达的位置存在关注区域的情况下，当在处置器具的顶端与关注区域之间存在障碍物时，也判定为不报知。
图22及图23是表示显示图像的一例的图。在图22中，虚线所示的交叉(X)的标志1418表示关注区域的位置。另外，在图22及图23中，符号1424表示障碍物(在此为动脉)。图22表示在关注区域与处置器具1600之间存在障碍物时的一例。另外，图23表示在关注区域与处置器具1600之间不存在障碍物且在处置器具500可到达的位置存在关注区域时的一例。
如图22所示，当在关注区域与处置器具1600之间存在障碍物时，即使是在处置器具500可到达的位置存在关注区域的情况，在超声波图像的显示区域1414也仅显示超声波图像1412。此外，在图22中，为了便于说明，显示了沿着处置器具1600的突出方向延伸的直线以及表示关注区域的标志1418，但该直线及标志1418在实际的显示图像中并不显示。
另一方面，如图23所示，当在关注区域与处置器具1600之间不存在障碍物且在处置器具500可到达的位置存在关注区域时，与超声波图像1412重叠地显示引导线GL及表示关注区域的位置的标志1420。
图24是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
首先，从超声波用处理器装置1500获取超声波图像(步骤S21)。接着，从获取的超声波图像中检测关注区域(步骤S22)。另外，从获取的超声波图像中检测障碍物(步骤S23)。障碍物例如是动脉。接着，基于关注区域的检测结果判定是否检测到了关注区域(步骤S24)。当判定为未检测到关注区域时，生成通常的显示图像(步骤S25)。然后，在显示器1400上显示生成的显示图像(步骤S29)。另一方面，当判定为检测到关注区域时，进一步判定在穿刺针1600可到达的位置是否存在关注区域(步骤S26)。当判定为在穿刺针1600可到达的位置不存在关注区域时，与未检测到关注区域的情况同样，生成通常的显示图像(步骤S25)，并在显示器1400上显示生成的显示图像(步骤S29)。另一方面，当判定为在穿刺针1600可到达的位置存在关注区域时，判定有无障碍物(步骤S27)。即，判定在穿刺针1600的顶端与关注区域之间是否存在障碍物。当判定为存在障碍物时，与未检测到关注区域的情况及判定为在穿刺针1600可到达的位置不存在关注区域的情况同样，生成通常的显示图像(步骤S25)，并在显示器1400上显示生成的显示图像(步骤S29)。另一方面，当判定为不存在障碍物时，生成显示表示关注区域的位置的标志的显示图像(步骤S28)。然后，在显示器1400上显示生成的显示图像(步骤S29)。此后，判定超声波内窥镜1010进行的超声波摄影是否结束(步骤S30)。然后，通过摄影结束，结束显示处理。
这样，根据本实施方式的超声波内窥镜系统1000，仅在真正能够处置的情况下进行报知。由此，能够更适当地辅助施术者。
此外，在本实施方式中，设为了在进行报知时显示引导线GL及标志1420的结构，但报知的方式不限于此。例如，也可设为显示引导线GL及标志1420中的一方的结构。另外，也可设为引导线GL始终显示，显示标志1420进行报知的结构。相反地，也可设为始终显示表示关注区域的位置的标志1420，显示引导线GL进行报知的结构。除此之外，可将基于语音的报知、显示区域以外的区域中的信息显示等组合而进行报知。
另外，在本实施方式中，对超声波内窥镜的处理进行了说明，但可设为在通常的内窥镜中，也同样地判定有无障碍物，仅对不存在障碍物的情况进行报知的处理的结构。
[第四实施方式]
在本实施方式中，根据图像(内窥镜图像及超声波图像)判定处置器具是否为待用状态，仅在为待用状态的情况下进行报知的处理。待用状态是指可进行处置动作的状态。下面，以由超声波内窥镜系统实现本处理的情况为例进行说明。
图25是本实施方式的图像处理装置实现的一功能的框图。
如图25所示，本实施方式的图像处理装置1300相对于上述第三实施方式的图像处理装置，还具有处置器具检测部1300G的功能。
处置器具检测部1300G从由图像获取部1300A获取的超声波图像中检测处置器具(例如，穿刺针)。处置器具检测部1300G例如通过图像识别从超声波图像内检测处置器具。图像识别例如可使用通过机器学习(例如，深度学习等)生成的图像识别模型来进行。除此之外，可使用公知的方法来进行。
判定部1300C基于处置器具检测部1300G的检测结果，判定是否需要报知处理。具体而言，当检测到处置器具1600时，判定为需要报知处理。
图26是表示图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤的流程图。
首先，从超声波用处理器装置1500获取超声波图像(步骤S41)。接着，从获取的超声波图像中检测处置器具(步骤S42)。接着，基于处置器具的检测结果，判定是否检测到了处置器具(步骤S42)。即，判定处置器具是否映入图像内。当判定为未检测到处置器具时，生成通常的显示图像(步骤S44)。然后，在显示器1400上显示生成的显示图像(步骤S51)。另一方面，当判定为检测到处置器具时，从获取的超声波图像中检测关注区域(步骤S45)。另外，从获取的超声波图像中检测障碍物(例如，动脉)(步骤S46)。接着，基于关注区域的检测结果，判定是否检测到了关注区域(步骤S47)。当判定为未检测到关注区域时，生成通常的显示图像(步骤S44)。然后，在显示器1400上显示生成的显示图像(步骤S51)。另一方面，当判定为检测到关注区域时，进一步判定在穿刺针1600可到达的位置是否存在关注区域(步骤S48)。当判定为在穿刺针1600可到达的位置不存在关注区域时，与未检测到关注区域的情况同样，生成通常的显示图像(步骤S44)，在显示器1400上显示生成的显示图像(步骤S51)。另一方面，当判定为在穿刺针1600可到达的位置存在关注区域时，判定有无障碍物(步骤S49)。当判定为存在障碍物时，与未检测到关注区域的情况及判定为在穿刺针1600可到达的位置不存在关注区域的情况同样，生成通常的显示图像(步骤S44)，并在显示器1400上显示生成的显示图像(步骤S51)。另一方面，当判定为不存在障碍物时，生成显示表示关注区域的位置的标志的显示图像(步骤S50)。然后，在显示器1400上显示生成的显示图像(步骤S51)。此后，判定超声波内窥镜1010进行的超声波摄影是否结束(步骤S52)。然后，通过摄影结束，结束显示处理。
这样，根据本实施方式的超声波内窥镜系统1000，仅在待用状态的情况下进行报知处理。由此，能够更适当地辅助施术者。
此外，在本实施方式中，以由超声波内窥镜系统实施的情况为例进行了说明，但可设为在通常的内窥镜系统中也同样地检测处置器具的待用状态，仅在待用状态的情况下进行报知处理的结构。
[其他实施方式]
[可应用的处置]
在上述实施方式中，以进行组织采集的情况为例进行了说明，但本公开的应用不限于此。能够应用于使各种器具从内窥镜(包括超声波内窥镜)的顶端突出而进行的处置。例如，除了上述实施方式的组织采集之外，也可应用于超声波内窥镜下的胆道引流中的导丝的插入等处置。
[关注区域]
关注区域不限于病变部，也可以是特定的脏器。例如，在通常的内窥镜的情况下，成为关注区域的病变部例示出大肠息肉、胃癌、食道癌、巴瑞特氏食道、溃疡性大肠炎等。另外，在超声波内窥镜的情况下，例示出胰腺癌等。在超声波内窥镜的情况下，成为关注区域的脏器例示出下胆道引流中的胆总管等。
[关于图像处理装置的硬件结构]
图像处理装置的各功能可以由各种处理器(processor)来实现。各种处理器中包括执行程序并作为各种处理部发挥作用的通用处理器即CPU、FPGA(Field ProgramableGate Array)等制造后可变更电路结构的处理器即可编程逻辑器件(Programable LogicDevice，PLD)以及ASIC(Application Specific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上的处理器构成。例如，一个处理部也可以由多个FPGA、或者CPU及FPGA的组合构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以用户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
此外，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。
另外，图像处理装置的功能也可搭载到构成内窥镜系统的处理器装置、构成超声波内窥镜系统的超声波用处理器装置中。
[关于照明光]
照明光选择白色光、或者一个或多个特定波长频带的光、或者这些的组合等与观察目的对应的各种波长频带的光。“特定波长频带”是比白色波长频带窄的频带。以下示出与特定波长频带相关的具体例。
特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下的波长频带或530nm以上550nm以下的波长频带，且第一例的光在390nm以上450nm以下的波长频带内或530nm以上550nm以下的波长频带内具有峰波长。
特定的波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下的波长频带或610nm以上730nm以下的波长频带，且第二例的光在585nm以上615nm的波长频带内或610nm以上730nm以下的波长频带内具有峰波长。
特定的波长频带的第三例包括吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，且第三例的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带中具有峰波长。该第三例的波长频带包括400±10nm、440±10nm的波长频带、470±10nm的波长频带、或600nm以上750nm以下的波长频带，且第三例的光在上述400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带内具有峰波长。
特定的波长频带的第四例为用于观察生物体内的荧光物质发出的荧光(荧光观察)且激励该荧光物质的激励光的波长频带，例如为390nm至470nm。
特定的波长频带的第五例为红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下的波长频带或905nm以上970nm以下的波长频带，且第五例的光在790nm以上820nm以下的波长频带内或905nm以上970nm以下的波长频带内具有峰波长。
[关于照明光的切换]
光源的类型可采用激光光源、氙气光源、或者LED(Light-Emitting Diode)光源、或这些的适当的组合。光源的类型、波长、滤光片的有无等优选根据被摄体的类型、观察目的等而构成，另外，在观察时，优选根据被摄体的类型、观察目的等组合和/或切换照明光的波长。当切换波长时，例如，也可以通过使配置于光源的前方且设置有透过或遮住特定波长的光的滤光片的圆盘状的滤光片(旋转彩色滤光片)旋转来切换照射的光的波长。
[关于摄像部]
内窥镜的摄像部所具备的图像传感器不限于针对各像素配设有彩色滤光片的彩色图像传感器，也可以是单色图像传感器。当使用单色图像传感器时，能够依次切换照明光的波长，以面顺序(颜色顺序)进行摄像。例如，可以将射出的照明光的波长在紫色、蓝色、绿色及红色之间依次切换，也可以切换照射白色光而由旋转彩色滤光片(红色、绿色、蓝色等)射出的照明光的波长。另外，也可以切换照射一个或多个窄频带光而由旋转彩色滤光片射出的照明光的波长。窄频带光也可以是波长不同的两个波长以上的红外光。
[特殊光图像的生成例]
处理器装置也可以基于使用白色光进行摄像而获得的图像(所谓的普通光图像)，生成具有特定波长频带的信息的图像(所谓的特殊光图像)。处理器装置例如可通过进行基于普通光图像中所含的红色(Red，R)、绿色(Green，G)及蓝色(Blue，B)、或青色(Cyan，C)、品红色(Magenta，M)及黄色(Yellow，Y)的颜色信息的运算，获取特定波长频带的信号。
[关于使计算机实现图像处理装置的功能的程序]
可以将使计算机实现在上述实施方式中说明的图像处理装置的功能的程序记录于光盘、磁盘、或者半导体存储器和其他作为有形物的非暂时性信息存储介质即计算机可读介质中，并通过该信息存储介质来提供程序。另外，也可以取代将程序存储在这样的作为有形物的非暂时性信息存储介质中来提供的方式，而利用因特网等电讯线路提供程序信号作为下载服务。
另外，也可以提供在上述实施方式中说明的图像处理装置的功能的一部分或全部作为应用服务器，进行通过电讯线路提供处理功能的服务。
[关于实施方式及变形例等的组合]
在上述实施方式中说明的构成要素及在变形例中说明的构成要素可适当地组合使用，另外，也可替换一部分构成要素。
符号说明
1 内窥镜系统
10 内窥镜
12 内窥镜的插入部
12A 插入部的顶端部
12B 插入部的弯曲部
12C 插入部的软性部
14 内窥镜的操作部
16 内窥镜的连接部
16A 连接部的连接器
16B 连接部的连接器
20 观察窗
22 照明窗
24 喷嘴
26 钳道口
28 钳子插入口
30 弯角钮
32 供气供水按钮
34 吸引按钮
36 快门按钮
38 钳子插入口
40 钳子通道
100 光源装置
200 处理器装置
300 图像处理装置
300A 图像获取部
300B 关注区域检测部
300C 判定部
300D 显示图像生成部
300E 显示控制部
400 显示器
410 显示图像
410A 显示图像
410B 显示图像
412 内窥镜图像
412A 内窥镜图像
412B 内窥镜图像
414 内窥镜图像的显示区域
416 表示处置器具可到达的范围的圆
418 表示关注区域的位置的标志
420 表示关注区域的位置的标志
420A 表示关注区域的位置的标志
420B 表示关注区域的位置的标志
422 消息
500 处置器具(活检钳等)
510 处置器具的插入部
512 处置器具的操作部
514 处置器具的顶端爪部
512A 操作部的把手
512B 操作部的滑块
1000 超声波内窥镜系统
1010 超声波内窥镜
1012 超声波内窥镜的插入部
1012A 插入部的顶端部
1012B 插入部的弯曲部
1012C 插入部的软性部
1014 超声波内窥镜的操作部
1016 超声波内窥镜的连接部
1016A 连接部的连接器
1016B 连接部的连接器
1016C 连接部的连接器
1020 处置器具突出部
1022 处置器具突出口
1024 竖立台
1030 内窥镜观察部
1032 观察窗
1034 照明窗
1036 喷嘴
1040 超声波探头
1050 弯角钮
1052 吸引按钮
1054 供气供水按钮
1056 竖立杆
1060 处置器具插入口
1100 光源装置
1200 内窥镜用处理器装置
1300 图像处理装置
1300A 图像获取部
1300B 关注区域检测部
1300C 判定部
1300D 显示图像生成部
1300E 显示控制部
1300F 障碍物检测部
1300G 处置器具检测部
1400 显示器
1410 显示图像
1412 超声波图像
1412B 超声波图像
1414 超声波图像的显示区域
1418 表示关注区域的位置的标志
1420 表示关注区域的位置的标志
1422 消息
1424 障碍物(动脉等)
1500 超声波用处理器装置
1600 处置器具(穿刺针等)
GL 引导线
P 基准点
S1～S8 图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤
S11～S18 图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤
S21～S30 图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤
S41～S52 图像处理装置进行的内窥镜图像向显示器的显示的处理的步骤

Claims (22)

1.一种图像处理装置，其对由器具可从顶端突出的内窥镜拍摄的图像进行处理，其中，
所述图像处理装置具备处理器，
所述处理器进行：
获取由所述内窥镜拍摄的图像的处理；
在显示器上显示获取的所述图像的处理；
从获取的所述图像中检测关注区域的处理；
判定在从所述内窥镜的顶端突出的所述器具可到达的位置是否存在所述关注区域的处理；以及
当判定为在从所述内窥镜的顶端突出的所述器具可到达的位置存在所述关注区域时进行报知的处理。
2.根据权利要求1所述的图像处理装置，其中，
所述处理器判定从在所述图像中设定的基准点到所述关注区域的距离是否为第一阈值以下，判定在从所述内窥镜的顶端突出的所述器具可到达的位置是否存在所述关注区域。
3.根据权利要求2所述的图像处理装置，其中，
所述基准点是所述图像的中心。
4.根据权利要求1所述的图像处理装置，其中，
所述处理器判定从自所述内窥镜的顶端突出的所述器具的延长线到所述关注区域的距离是否为第二阈值以下，判定在从所述内窥镜的顶端突出的所述器具可到达的位置是否存在所述关注区域。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述处理器还进行根据获取的所述图像判定在所述关注区域与所述器具之间是否存在障碍物的处理，
在判定为不存在所述障碍物、且判定为在从所述内窥镜的顶端突出的所述器具可到达的位置存在所述关注区域时，所述处理器进行报知。
6.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述处理器还进行从获取的所述图像中检测所述器具的处理，
所述处理器进行在从所述图像中检测到所述器具、且判定为在从所述内窥镜的顶端突出的所述器具可到达的位置存在所述关注区域时进行报知的处理。
7.根据权利要求1至6中任一项所述的图像处理装置，其中，
所述处理器变更在所述显示器上显示的显示图像来进行报知。
8.根据权利要求7所述的图像处理装置，其中，
所述处理器变更在所述显示图像中设定的所述图像的显示区域的显示来进行报知。
9.根据权利要求8所述的图像处理装置，其中，
所述处理器与所述显示区域所显示的所述图像重叠地显示表示所述关注区域的图形来进行报知。
10.根据权利要求7所述的图像处理装置，其中，
当检测到所述关注区域时，所述处理器还进行与在所述显示图像中设定的所述图像的显示区域所显示的所述图像重叠地显示表示所述关注区域的图形的处理，
所述处理器变更所述图形的显示来进行报知。
11.根据权利要求10所述的图像处理装置，其中，
所述处理器变更所述图形的颜色、形状、亮度及线型中的至少一个，来变更所述图形的显示。
12.根据权利要求7所述的图像处理装置，其中，
所述处理器还进行与在所述显示图像中设定的所述图像的显示区域所显示的所述图像重叠地显示表示所述器具的突出方向的信息的处理，
所述处理器变更表示所述器具的突出方向的信息的显示来进行报知。
13.根据权利要求12所述的图像处理装置，其中，
所述处理器显示沿着所述器具的突出方向的直线作为表示所述器具的突出方向的信息。
14.根据权利要求13所述的图像处理装置，其中，
所述处理器变更所述直线的颜色、亮度及线型中的至少一个，来变更所述直线的显示。
15.根据权利要求7所述的图像处理装置，其中，
所述处理器变更在所述显示图像中设定的所述图像的显示区域以外的区域的显示来进行报知。
16.根据权利要求15所述的图像处理装置，其中，
所述处理器在所述图像的显示区域以外的区域显示信息来进行报知。
17.根据权利要求16所述的图像处理装置，其中，
所述处理器显示消息或图形作为所述信息。
18.根据权利要求1至17中任一项所述的图像处理装置，其中，
所述处理器输出语音来进行报知。
19.根据权利要求1至18中任一项所述的图像处理装置，其中，
所述关注区域为病变部。
20.根据权利要求1至19中任一项所述的图像处理装置，其中，
所述关注区域为脏器。
21.一种图像处理方法，其包括：
获取由器具可从顶端突出的内窥镜拍摄的图像的步骤；
在显示器上显示获取的所述图像的步骤；
从获取的所述图像中检测关注区域的步骤；
判定在从所述内窥镜的顶端突出的所述器具可到达的位置是否存在所述关注区域的步骤；以及
当判定为在从所述内窥镜的顶端突出的所述器具可到达的位置存在所述关注区域时进行报知的步骤。
22.一种图像处理程序，其使计算机实现：
获取由器具可从顶端突出的内窥镜拍摄的图像的功能；
在显示器上显示获取的所述图像的功能；
从获取的所述图像中检测关注区域的功能；
判定在从所述内窥镜的顶端突出的所述器具可到达的位置是否存在所述关注区域的功能；以及
当判定为在从所述内窥镜的顶端突出的所述器具可到达的位置存在所述关注区域时进行报知的功能。
CN202180056152.1A 2020-08-24 2021-07-19 图像处理装置、方法及程序 Pending CN116034307A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-140944 2020-08-24
JP2020140944 2020-08-24
PCT/JP2021/026905 WO2022044617A1 (ja) 2020-08-24 2021-07-19 画像処理装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
CN116034307A true CN116034307A (zh) 2023-04-28

Family

ID=80355062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056152.1A Pending CN116034307A (zh) 2020-08-24 2021-07-19 图像处理装置、方法及程序

Country Status (5)

Country Link
US (1) US20230186588A1 (zh)
EP (1) EP4202527A4 (zh)
JP (1) JPWO2022044617A1 (zh)
CN (1) CN116034307A (zh)
WO (1) WO2022044617A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
EP2532299B1 (en) * 2010-09-14 2014-11-05 Olympus Medical Systems Corp. Endoscope system and low visibility determining method
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6030435B2 (ja) * 2012-12-25 2016-11-24 富士フイルム株式会社 画像処理装置および画像処理方法、並びに画像処理プログラム
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017002184A1 (ja) 2015-06-29 2017-01-05 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2019116593A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 手術支援装置
JP7009636B2 (ja) * 2018-08-17 2022-01-25 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
JPWO2022044617A1 (zh) 2022-03-03
WO2022044617A1 (ja) 2022-03-03
EP4202527A1 (en) 2023-06-28
EP4202527A4 (en) 2024-02-14
US20230186588A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US12114832B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP4566754B2 (ja) 画像処理装置
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
US12020808B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JP2023015232A (ja) 内視鏡システム
US20200090333A1 (en) Endoscope image processing device and endoscope image processing method
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
US20220414956A1 (en) Endoscope system, medical image processing device, and operation method therefor
US20220172827A1 (en) Medical image processing system and operation method therefor
JPWO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
CN116034307A (zh) 图像处理装置、方法及程序
JP7029281B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
EP4108157A1 (en) Medical image processing device, operation method therefor, and endoscope system
US20240296563A1 (en) Image processing apparatus and endoscope system
CN111989026B (zh) 内窥镜装置、内窥镜装置的工作方法及记录介质
US20230347169A1 (en) Phototherapy device, phototherapy method, and computer-readable recording medium
CN115209785A (zh) 内窥镜系统、控制方法及控制程序
CN115038375A (zh) 内窥镜系统、控制方法及控制程序
CN114727753A (zh) 内窥镜系统、控制方法及控制程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination