CN114269221A - 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序 - Google Patents

医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序 Download PDF

Info

Publication number
CN114269221A
CN114269221A CN202080058661.3A CN202080058661A CN114269221A CN 114269221 A CN114269221 A CN 114269221A CN 202080058661 A CN202080058661 A CN 202080058661A CN 114269221 A CN114269221 A CN 114269221A
Authority
CN
China
Prior art keywords
image
image processing
unobserved
region
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058661.3A
Other languages
English (en)
Inventor
目黑美沙纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114269221A publication Critical patent/CN114269221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种可辅助使用了未观察的关注区域的信息的搜索的医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序。所述医疗图像处理装置具备：图像获取部(40)，其获取观察图像(38)；显示信号发送部(44)，其向显示装置(400)发送表示观察图像的第一显示信号；关注区域检测部(50)，其从观察图像中检测关注区域；以及未观察图像存储部(71)，其存储检测到关注区域的观察图像中满足表示关注区域未观察的未观察条件的未观察图像。

Description

医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
技术领域
本发明涉及一种医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序。
背景技术
对内窥镜图像等导入AI技术等，进行病变的检测及诊断辅助的系统使漏看病变的比率降低，与不需要的活检的削减相关而受到关注。这样的系统在内窥镜检查的实施中实时地动作，实现实施识别结果等的画面显示等对医生的报知。此外，AI是ArtificialIntelligence的缩写。
专利文献1至专利文献3记载了如下的内窥镜系统：基于从观察图像计算出的特征量来检测观察图像的病变候选区域，并使检测到的病变候选区域显示于显示装置。
专利文献1所记载的内窥镜系统将强调病变候选区域的位置的标记图像附加到观察图像上。该系统根据病变候选区域的检测持续期间的长度来改变标记图像的显示方式。具体而言，在病变候选区域的检测持续期间达到规定期间时开始强调处理。
专利文献2所记载的内窥镜系统存储在持续检测期间中从视频处理器依次输出的观察图像。该系统在持续检测期间小于规定期间的情况下，在经过了规定期间之后，在与显示观察图像的显示区域不同的显示区域中，以与存储顺序相反的顺序显示所存储的观察图像。
专利文献3所记载的内窥镜系统在检测到病变候选区域并开始报知处理时，将静止图像暂时存储在存储器中。该系统在将操作开关设为接通状态的情况下，对暂时存储在存储器中的静止图像附加标记图像，并使静止图像显示于显示部。
专利文献4记载了一种插入到受检体内，对受检体内部进行观察的电子内窥镜装置。该文献所记载的装置在检测到异常像素时，自动地向存储器暂时存储静止图像。另外，该装置使暂时存储在存储器中的静止图像的缩略图图像显示在缩略图显示区域中。
以往技术文献
专利文献
专利文献1：国际公开第2018/198161号
专利文献2：国际公开第2017/216922号
专利文献3：国际公开第2017/073337号
专利文献4：日本特开2006-198106号公报
发明内容
发明要解决的技术课题
漏看了关注区域的检测的医生由于关注区域的检测的报知，可识别关注区域的漏看。医生在实施漏看的关注区域等的搜索时，需要使用了与漏看的关注区域相关的信息的辅助。但是，专利文献1至专利文献4中没有与上述被漏看的关注区域的信息相关的记载或暗示。
专利文献1中所记载的系统在病变区域等的检测期间达到规定的期间时实施病变区域等的强调处理，减轻通过目视确认病变候选区域的医生的负担。另一方面，该文献所记载的系统不具备存储漏看的病变候选区域的信息的构成要素。
专利文献2中所记载的系统在从关注区域的检测开始到中断为止的期间存储一个以上的观察图像，并在关注区域的检测中断后自动显示所存储的观察图像，从而减少病变部的漏看。另一方面，观察图像的依次自动再显示与医生的注意力下降有关联，有可能导致关注区域的漏看。另外，该文献所记载的系统不具备存储被漏看的病变候选区域的信息的构成要素。
专利文献3中所记载的系统在检测到病变候选区域时暂时存储包含病变候选区域的静止图像，根据操作开关的接通来显示静止图像。在该文献中没有记载选择性地存储检测到病变候选区域的静止图像的旨意，可认为该文献中记载的系统存储了所有包含病变候选区域的静止图像。这样一来，难以区分医生是否正在对暂时存储的静止图像实施观察。
在专利文献4中，没有记载在检测到异常像素时选择性地暂时存储静止图像的旨意，可认为该文献中所记载的装置在检测到异常像素时暂时存储所有的静止图像。这样一来，难以区分医生是否正在对暂时存储的静止图像实施观察。
即，专利文献1至4中记载的系统等均难以在医生探查漏看的未观察的关注区域时进行辅助。
本发明是鉴于这样的情况而完成的，其目的在于提供一种可辅助使用了未观察的关注区域的信息的搜索的医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序。
用于解决技术课题的手段
为了实现上述目的，提供以下的发明方式。
第一方式所涉及的医疗图像处理装置是具备以下部件的医疗图像处理装置：图像获取部，其获取被摄体的观察图像；显示信号发送部，其向显示装置发送表示观察图像的第一显示信号；关注区域检测部，其从构成观察图像的帧图像中检测关注区域；以及未观察图像存储部，其存储检测到关注区域的帧图像中满足表示关注区域未观察的未观察条件的帧图像。
根据第一方式，存储检测到关注区域的观察图像中包含满足未观察条件的未观察的关注区域的帧图像。由此，可辅助使用了未观察图像的未观察的关注区域的搜索。
被摄体的观察图像可以是动态图像，也可以是包括多个静止图像的静止图像组。作为观察图像的一例，可举出使用内窥镜拍摄到的内窥镜图像。
帧图像等同于包括多个静止图像的静止图像组中包括的一个静止图像。
作为未观察的关注区域的例子，可举出用户不实施变焦等摄像装置的操作的关注区域。
第二方式可以构成为，在第一方式的医疗图像处理装置中，具备未观察条件判定部，其针对使用关注区域检测部检测到关注区域的帧图像，判定是否满足未观察条件。
根据第二方式，能够基于未观察条件，从检测到关注区域的多个帧图像中判定未观察图像。
在第二方式中，优选具备设定未观察条件的未观察条件设定部的方式。
第三方式可以构成为，在第二方式的医疗图像处理装置中，未观察条件判定部在规定期间内包含同一关注区域的帧图像为规定数以下的情况下，判定为满足未观察条件。
根据第三方式，作为未观察条件，可应用包含同一关注区域的帧图像的数量。
第四方式可以构成为，在第二方式或第三方式的医疗图像处理装置中，未观察条件判定部在帧图像之间的变化量为规定的阈值以上的情况下，判定为满足未观察条件。
根据第四方式，作为未观察条件，可应用帧图像间的变化量。
第五方式可以构成为，在第二方式至第四方式中的任一方式的医疗图像处理装置中，未观察条件判定部在规定期间内同一关注区域停留在画面内的任意区域的情况下，判定为满足未观察条件。
根据第五方式，作为未观察条件，可应用同一关注区域在画面内的位置。
第六方式可以构成为，在第二方式至第五方式中的任一方式的医疗图像处理装置中，显示信号发送部向显示装置发送表示在未观察条件判定部中判定为满足未观察条件的未观察图像的第二显示信号。
根据第六方式，使用显示装置来显示未观察图像。由此，可辅助使用了显示于显示装置的未观察图像的未观察的关注区域的搜索。
第七方式可以构成为，在第六方式的医疗图像处理装置中，具备用户输入信号获取部，其获取响应于用户操作而发送的用户输入信号，显示信号发送部在使用用户输入信号获取部获取了表示未观察的关注区域的显示的用户输入信号的情况下，向显示装置发送表示未观察图像的第二显示信号。
根据第七方式，响应于用户输入信号的获取，向显示装置发送表示未观察图像的显示信号。由此，可辅助使用了显示于显示装置的未观察图像的未观察的关注区域的搜索。
第八方式可以构成为，在第七方式的医疗图像处理装置中，具备第一图像处理部，其对使用关注区域检测部检测到的关注区域实施第一图像处理而生成第一图像，显示信号发送部向显示装置发送表示第一图像的显示信号作为第一显示信号。
根据第八方式，可将实施了第一图像处理的第一图像显示于显示装置。
在第八方式中，可具备存储第一图像处理的结果的第一图像处理结果存储部。
第一图像处理的处理结果可以应用第一图像，也可以应用观察图像和表示与观察图像相关联的第一图像处理的处理结果的信息的组合。
第九方式可以构成为，在第八方式的医疗图像处理装置中，具备第二图像生成部，其对未观察图像实施第二图像处理而生成第二图像，显示信号发送部向显示装置发送表示第二图像的显示信号作为第二显示信号。
根据第九方式，可将对未观察图像实施了第二图像处理的第二图像显示于显示装置。
第十方式可以构成为，在第九方式的医疗图像处理装置中，第一图像处理部实施针对观察图像的关注区域的强调处理，第二图像处理部对未观察图像实施比针对观察图像的关注区域的强调处理更增强强调程度的强调处理。
根据第十方式，可将比观察图像的强调处理更增强了强调程度的第二图像显示于显示装置。由此，第二图像中的关注区域的视觉辨认变得容易。
第十一方式可以构成为，在第九方式或第十方式的医疗图像处理装置中，第二图像处理部对多个未观察图像中的每个未观察图像实施第二图像处理，显示信号发送部向显示装置发送与多个第二图像中的每一个第二图像对应的显示信号作为第二显示信号。
根据第十一方式，可将多个未观察图像或多个第二图像显示于显示装置。由此，用户可对利用多个未观察图像或多个第二图像的观察图像中的关注区域实施搜索。
第十二方式可以构成为，在第十一方式的医疗图像处理装置中，具备选择部，其从显示于显示装置的多个未观察图像中选择一个以上的未观察图像，或者从显示于显示装置的多个第二图像中选择一个以上的第二图像。
根据第十二方式，用户可从多个未观察图像中设定在观察图像中的关注区域的搜索中应用的未观察图像，或者从多个第二图像中设定在观察图像中的关注区域的搜索中应用的第二图像。
第十三方式可以构成为，在第九方式至第十二方式中的任一方式的医疗图像处理装置中，具备第三图像处理部，其对显示于显示装置的未观察图像或第二图像处理的处理结果实施第三图像处理。
根据第十三方式，可对未观察图像或第二图像实施第三图像处理。
第十四方式可以构成为，在第十三方式的医疗图像处理装置中，具备第三图像处理结果存储部，其存储第三图像处理的处理结果。
根据第十四方式，可存储第三图像处理的处理结果。
第三图像处理结果存储部可存储第三图像作为第三图像处理的处理结果。第三图像处理结果存储部也可以存储处理对象的图像和表示与处理对象的图像相关联的第三图像处理的处理结果的信息的组合作为第三图像处理的处理结果。
第十五方式可以构成为，在第十三方式或第十四方式的医疗图像处理装置中，第三图像处理部在用户输入信号获取部获取了表示未观察图像的编辑的用户输入信号的情况下，实施未观察图像的编辑，或者在用户输入信号获取部获取了表示第二图像的编辑的用户输入信号的情况下，实施第二图像的编辑。
根据第十五方面，响应于用户输入信号的获取，可实施未观察图像或第二图像的编辑。
第十六方式可以构成为，在第十三方式至第十五方式中的任一方式的医疗图像处理装置中，第三图像处理部在用户输入信号获取部获取了表示向外部装置发送未观察图像的用户输入信号的情况下，向外部装置发送未观察图像，或者在用户输入信号获取部获取了表示向外部装置发送第二图像的用户输入信号的情况下，向外部装置发送第二图像。
根据第十六方式，可实施未观察图像或第二图像向外部装置的发送。
第十七方式可以构成为，在第十三方式至第十六方式中的任一方式的医疗图像处理装置中，第三图像处理部在用户输入信号获取部获取了表示多个未观察图像的重新排列的用户输入信号的情况下，实施多个未观察图像的重新排列，或者在用户输入信号获取部获取了表示多个第二图像的重新排列的用户输入信号的情况下，实施多个第二图像的重新排列。
根据第十七方式，在将多个未观察图像或多个第二图像显示于显示装置的方式中，可实施多个未观察图像的重新排列或多个第二图像等的重新排列。
第十八方式可以构成为，在第十三方式至第十七方式中的任一方式的医疗图像处理装置中，第三图像处理部在用户输入信号获取部获取了表示删除未观察图像的用户输入信号的情况下，删除未观察图像，或者在用户输入信号获取部获取了表示删除第二图像的用户输入信号的情况下，删除第二图像。
根据第十八方面，响应于用户输入信号的获取，可删除未观察图像或第二图像。
第十九方式可以构成为，在第六方式至第十八方式中的任一方式的医疗图像处理装置中，显示信号发送部在从第二显示信号的发送定时起经过了规定的期间之后，停止发送第二显示信号。
根据第十九方式，可自动地实施未观察图像或第二图像的非显示。
第二十方式可以构成为，在第六方式至第十八方式中的任一方式的医疗图像处理装置中，显示信号发送部在将未观察的关注区域显示于显示装置的情况下，停止发送第二显示信号。
根据第二十方式，在发现了搜索对象的关注区域的情况下，可实施未观察图像或第二图像的非显示。
第二十一方式可以构成为，在第一方式至第十九方式中的任一方式的医疗图像处理装置中，具备由用户操作的用户操作部，用户输入信号获取部获取在用户操作用户操作部时发送的用户输入信号。
根据第二十一方式，可响应于用户的操作来发送用户输入信号。
第二十二方式可以构成为，在第一方式至第二十一方式中的任一方式的医疗图像处理装置中，具备获取用户的声音的声音获取部，用户输入信号获取部获取表示使用声音获取部获取的用户的声音的用户输入信号。
根据第二十二方式，可响应于用户的声音发送用户输入信号。
第二十三方式可以构成为，在第一方式至第二十二方式中的任一方式的医疗图像处理装置中，具备已观察图像存储部，其存储使用所述关注区域检测部检测到关注区域的帧图像中表示所述关注区域已观察的已观察图像。
根据第二十三方式，已观察图像被存储。由此，可使用已观察图像来辅助观察的关注区域的搜索。
第二十四方式可以构成为，在第一方式至第二十三方式中的任一方式的医疗图像处理装置中，具备报知部，其报知观察图像中的关注区域的检测。
根据第二十四方式，用户可识别关注区域的检测。
第二十五方式所涉及的内窥镜系统具备：内窥镜；内窥镜控制装置，其控制内窥镜；以及医疗图像处理装置，其对使用内窥镜获取的内窥镜图像实施处理，其中，医疗图像处理装置具备：图像获取部，其获取被摄体的观察图像；显示信号发送部，其向显示装置发送表示观察图像的第一显示信号；关注区域检测部，其从构成观察图像的帧图像中检测关注区域；以及未观察图像存储部，其存储检测到关注区域的帧图像中满足表示关注区域未观察的未观察条件的未观察图像。
根据第二十五方式，能够得到与第一方式同样的效果。
在第二十五方式中，可适当组合与在第二方式至第二十四方式中特定的事项同样的事项。在该情况下，承担在医疗图像处理装置中特定的处理或功能的构成要素可作为承担与其对应的处理或功能的内窥镜系统的构成要素来掌握。
第二十六方式所涉及的医疗图像处理方法包括：图像获取工序，获取被摄体的观察图像；显示信号发送工序，向显示装置发送表示观察图像的第一显示信号；关注区域检测工序，从构成观察图像的帧图像中检测关注区域；以及未观察图像存储工序，存储检测到关注区域的帧图像中满足表示关注区域未观察的未观察条件的未观察图像。
根据第二十六方式，能够得到与第一方式同样的效果。
在第二十六方式中，可适当组合与在第二方式至第二十四方式中特定的事项同样的事项。在该情况下，承担在医疗图像处理装置中特定的处理或功能的构成要素可作为承担与其对应的处理或功能的医疗图像处理方法的构成要素来掌握。
第二十七方式所涉及的程序是一种使计算机实现以下功能的程序：图像获取功能，获取被摄体的观察图像；显示信号发送功能，向显示装置发送表示观察图像的第一显示信号；关注区域检测功能，从构成观察图像的帧图像中检测关注区域；以及未观察图像存储功能，存储检测到关注区域的帧图像中满足表示关注区域未观察的未观察条件的未观察图像。
根据第二十七方式，能够得到与第一方式同样的效果。
在第二十七方式中，可适当组合与在第二方式至第二十四方式中特定的事项同样的事项。在该情况下，承担在医疗图像处理装置中特定的处理或功能的构成要素可作为承担与其对应的处理或功能的程序的构成要素来掌握。
发明效果
根据本发明，检测到关注区域的观察图像中包含满足未观察条件的未观察的关注区域的帧图像被存储。由此，可辅助使用了未观察图像的未观察的关注区域的搜索。
附图说明
图1是包含实施方式所涉及的图像处理装置的内窥镜系统的整体结构图。
图2是内窥镜系统的功能框图。
图3是第一实施方式所涉及的图像处理装置的功能框图。
图4是示出第一实施方式所涉及的图像处理方法的顺序的流程图。
图5是观察图像的示意图。
图6是第一图像的示意图。
图7是获取了表示未观察的关注区域的显示的用户输入信号时的画面的示意图。
图8是未观察图像显示区域的非显示的示意图。
图9是第二实施方式所涉及的图像处理装置的功能框图。
图10是示出第二实施方式所涉及的图像处理方法的顺序的流程图。
图11是应用了增强强调程度的图像处理的第二图像的示意图。
图12是显示多个第二图像的方式的示意图。
图13是显示多个第二图像的方式中的第二图像的选择的示意图。
图14是第三实施方式所涉及的图像处理装置的功能框图。
图15是示出第三实施方式所涉及的图像处理方法的顺序的流程图。
图16是第三图像处理的一例的说明图。
具体实施方式
以下，根据附图对本发明的优选实施方式进行详细说明。在本说明书中，对相同的构成要素附加相同的参照符号，并适当省略重复的说明。
[内窥镜系统的整体结构]
图1是包含实施方式所涉及的图像处理装置的内窥镜系统的整体结构图。内窥镜系统10具备内窥镜主体100、处理器装置200、光源装置300以及监视器400。此外，在该图中放大示出了内窥镜主体100所具备的顶端硬质部116的一部分。
〔内窥镜主体的结构例〕
内窥镜主体100具备手边操作部102和插入部104。用户把持并操作手边操作部102，将插入部104插入受检体的体内，对受检体的体内进行观察。此外，用户与医生和施术者等同义。另外，在此所说的受检体与患者和被检查者同义。
手边操作部102具备供气供水按钮141、吸引钮142、功能按钮143以及摄像按钮144。供气供水按钮141接受供气指示及供水指示的操作。
吸引钮142接受吸引指示。功能按钮143被分配了各种功能。功能按钮143接受各种功能的指示。摄像按钮144接受摄像指示操作。摄像包括动态图像摄像和静止图像摄像。
手边操作部102作为用户输入部发挥功能。虽然省略了图示，但作为用户输入部也可具备脚踏开关。脚踏开关包括踏板、踏板指示器和电缆。电缆连接到处理器装置200。
用户可操作脚踏开关向处理器装置200发送用户输入信号。处理器装置200获取从脚踏开关发送来的用户输入信号，并实施与用户输入信号对应的处理。
插入部104具备软性部112、弯曲部114及顶端硬质部116。关于软性部112、弯曲部114及顶端硬质部116，从手边操作部102侧开始依次配置软性部112、弯曲部114及顶端硬质部116。即，在顶端硬质部116的基端侧连接弯曲部114，在弯曲部114的基端侧连接软性部112，在插入部104的基端侧连接手边操作部102。
用户可操作手边操作部102使弯曲部114弯曲，将顶端硬质部116的朝向上下左右改变。顶端硬质部116具备摄像部、照明部及钳道口126。
在图1中示出构成摄像部的摄影透镜132。另外，在该图中示出构成照明部的照明用透镜123A和照明用透镜123B。此外，摄像部附加符号130而在图2中示出。另外，照明部附加符号123而在图2中示出。
在观察及处置时，响应于图2所示的操作部208的操作，经由照明用透镜123A和照明用透镜123B输出白色光和窄带光中的至少任一种。
在供气供水按钮141被操作时，从供水喷嘴排放出清洗水，或者从供气喷嘴排放出气体。清洗水及气体用于照明用透镜123A等的清洗。此外，省略了供水喷嘴及供气喷嘴的图示。也可以共用供水喷嘴及供气喷嘴。
钳道口126与管路连通。在管路中插入处置器具。处置器具被支撑为可适当进退。在将肿瘤等摘除时，可应用处置器具实施必要的处置。此外，省略了与钳道口126连通的管路的图示。
图2是内窥镜系统的功能框图。内窥镜主体100具备摄像部130。摄像部130配置在顶端硬质部116的内部。摄像部130具备摄影透镜132、摄像元件134、驱动电路136以及模拟前端138。此外，图2所示的AFE是Analog Front End的缩写。
摄影透镜132配置在顶端硬质部116的顶端侧端面116A。在摄影透镜132的与顶端侧端面116A相反侧的位置配置摄像元件134。作为摄像元件134，可应用CMOS型图像传感器。摄像元件134也可以应用CCD型图像传感器。此外，CMOS是Complementary Metal-OxideSemiconductor的缩写。CCD是Charge Coupled Device的缩写。
摄像元件134可应用彩色摄像元件。作为彩色摄像元件的例子，可举出具备与RGB对应的滤色器的摄像元件。此外，RGB是作为红色、绿色和蓝色各自的英文标记的Red、Green和Yellow的首字母。
摄像元件134可应用单色摄像元件。在将单色摄像元件应用于摄像元件134的情况下，摄像部130可切换摄像元件134的入射光的波长频带，实施面顺序或颜色顺序的摄像。
驱动电路136基于从处理器装置200发送的控制信号，向摄像元件134提供摄像元件134的动作所需的各种定时信号。
模拟前端138包括放大器、滤波器及AD转换器。此外，AD是作为模拟及数字的各自的英文标记的analog及digital的首字母。模拟前端138对摄像元件134的输出信号实施放大、去噪以及模拟数字转换等处理。向处理器装置200发送模拟前端138的输出信号。
观察对象的光学图像经由摄影透镜132成像于摄像元件134的受光面。摄像元件134将观察对象的光学图像转换为电信号。经由信号线向处理器装置200发送从摄像元件134输出的电信号。
照明部123配置于顶端硬质部116。照明部123具备照明用透镜123A和照明用透镜123B。照明用透镜123A和照明用透镜123B配置在顶端侧端面116A中的摄影透镜132的邻接位置。
照明部123具备光导170。光导170的射出端配置在照明用透镜123A和照明用透镜123B的与顶端侧端面116A相反侧的位置。
光导170插入到图1所示的插入部104、手边操作部102以及通用电缆106中。光导170的入射端配置在光导连接器108的内部。此外，实施方式中记载的内窥镜主体100相当于内窥镜的一例。
〔处理器装置的结构例〕
处理器装置200具备图像输入控制器202、图像处理部204和视频输出部206。图像输入控制器202获取从内窥镜主体100发送的、与观察对象的光学图像对应的电信号。
图像处理部204基于与观察对象的光学图像对应的电信号即摄像信号，生成观察对象的内窥镜图像。此外，本说明书中的图像这一术语可包含图像本身及表示图像的图像数据之意。图像可包括动态图像和静止图像。此外，内窥镜图像附加符号38而图示在图3中。
图像处理部204可对摄像信号实施应用了白平衡处理及阴影校正处理等数字信号处理的画质校正。图像处理部204也可以将由DICOM标准规定的附带信息附加到内窥镜图像中。此外，DICOM是Digital Imaging and Communications in Medicine的缩写。
视频输出部206向监视器400发送表示使用图像处理部204生成的图像的显示信号。监视器400显示观察对象的图像。
处理器装置200在图1所示的摄像按钮144被操作时，响应于从内窥镜主体100发送的摄像指示信号，使图像输入控制器202及图像处理部204等动作。
处理器装置200在从内窥镜主体100获取了表示静止图像摄像的冻结指示信号的情况下，应用图像处理部204，生成基于摄像按钮144的操作定时的帧图像的静止图像。处理器装置200使静止图像显示于监视器400。此外，帧图像附加符号38B而图示在图3中。静止图像附加符号39而图示在图3中。
处理器装置200具备通信控制部205。通信控制部205控制与经由医院内系统及医院内LAN等可通信地连接的装置之间的通信。通信控制部205可应用基于DICOM标准的通信协议。此外，作为医院内系统的例子，可举出HIS(Hospital Information System)。LAN是Local Area Network的缩写。
处理器装置200具备存储部207。存储部207存储使用内窥镜主体100生成的内窥镜图像。存储部207也可以存储内窥镜图像所附带的各种信息。
处理器装置200具备操作部208。操作部208输出响应了用户的操作的指示信号。操作部208可应用键盘、鼠标、操纵杆等。
向CPU210发送从操作部208发送的用户输入信号。CPU210获取从操作部208发送的用户输入信号，并实施与所获取的用户输入信号对应的控制。操作部208可包括上述的脚踏开关。
CPU210获取从图1所示的手边操作部102发送的用户输入信号，实施与所获取的用户输入信号对应的内窥镜主体100的控制、处理器装置200的控制以及光源装置300的控制。
处理器装置200具备声音处理部209和扬声器209A。声音处理部209生成表示作为声音报知的信息的声音信号。扬声器209A将使用声音处理部209生成的声音信号转换为声音。作为从扬声器209A输出的声音的例子，可举出消息、声音引导以及警告音等。
处理器装置200具备CPU210、ROM211和RAM212。此外，CPU是Central ProcessingUnit的缩写。ROM是Read Only Memory的缩写。RAM是Random Access Memory的缩写。
CPU210作为处理器装置200的整体控制部发挥功能。CPU210作为控制ROM211和RAM212的存储器控制器发挥功能。ROM211存储应用于处理器装置200的各种程序和控制参数等。
RAM212应用于各种处理中的数据的暂时存储区域及使用了CPU210的运算处理的处理区域。RAM212可应用于获取内窥镜图像时的缓冲存储器。
处理器装置200对使用内窥镜主体100生成的内窥镜图像实施各种处理，并使内窥镜图像及内窥镜图像所附带的各种信息显示于监视器400。处理器装置200存储内窥镜图像及内窥镜图像所附带的各种信息。
即，处理器装置200在使用了内窥镜主体100的内窥镜检查中，实施使用了监视器400的内窥镜图像等的显示、使用了扬声器209A的声音信息的输出以及针对内窥镜图像的各种处理。
处理器装置200可作为使用图像处理部204等构成要素对医用图像实施规定的处理的图像处理装置发挥功能。作为规定的处理的例子，可举出关注区域的检测处理、关注区域的强调处理、关注区域的分类处理、医用图像的鉴别处理以及关注区域的测定处理等。
〔处理器装置的硬件结构〕
处理器装置200可应用计算机。计算机可应用以下的硬件，执行规定的程序来实现处理器装置200的功能。此外，程序与软件同义。
处理器装置200可应用各种处理器作为实施信号处理的信号处理部。作为处理器的例子，可举出CPU和GPU(Graphics Processing Unit)。CPU是执行程序并作为信号处理部发挥功能的通用处理器。GPU是专门用于图像处理的处理器。处理器的硬件可应用将半导体元件等电路元件组合而成的电路。各控制部具备存储程序等的ROM及作为各种运算的作业区域等的RAM。
可以对一个信号处理部应用两个以上的处理器。两个以上的处理器可以是相同种类的处理器，也可以是不同种类的处理器。另外，也可以对多个信号处理部应用一个处理器。此外，实施方式中记载的处理器装置200相当于内窥镜控制装置的一例。
〔光源装置的结构例〕
光源装置300具备光源310、光圈330、聚光透镜340以及光源控制部350。光源装置300使观察光入射到光导170。光源310具备红色光源310R、绿色光源310G以及蓝色光源310B。红色光源310R、绿色光源310G和蓝色光源310B分别发出红色、绿色和蓝色窄带光。
光源310可生成将红色、绿色和蓝色窄带光任意组合而得的照明光。例如，光源310可组合红色、绿色和蓝色窄带光来生成白色光。另外，光源310可组合红色、绿色和蓝色窄带光中的任意两种颜色来生成窄带光。
光源310可使用红色、绿色和蓝色窄带光中的任意一种颜色来生成窄带光。光源310可选择性地切换发出白色光或窄带光。此外，窄带光与特殊光同义。光源310可具备发出红外光的红外光源和发出紫外光的紫外光源等。
光源310可采用具备发出白色光的白色光源、使白色光通过的滤波器及使窄带光通过的滤波器的方式。该方式的光源310可切换使白色光通过的滤波器和使窄带光通过的滤波器，选择性地发出白色光或窄带光的任一种。
使窄带光通过的滤波器可包括与不同的频带对应的多个滤波器。光源310可选择性地切换与不同频带对应的多个滤波器，以选择性地发射具有不同频带的多个窄带光。
光源310可应用与观察对象的种类及观察的目的等对应的种类及波长频带等。作为光源310的种类的例子，可举出激光光源、氙光源以及LED光源等。此外，LED是Light-Emitting Diode的缩写。
在光导连接器108被连接到光源装置300时，从光源310发出的观察光经由光圈330及聚光透镜340到达光导170的入射端。观察光经由光导170及照明用透镜123A等照射到观察对象。
光源控制部350基于从处理器装置200发送的指示信号，向光源310及光圈330发送控制信号。光源控制部350控制从光源310发出的观察光的照度、观察光的切换以及观察光的开/关等。
[第一实施方式所涉及的图像处理装置的结构例]
〔概要〕
在操作内窥镜主体100的医生漏看了观察图像中的病变等关注区域而前进到内窥镜检查的情况下，由于声音报知及关注区域的强调图像等的触发，有时会注意到关注区域的漏看。在注意到关注区域的漏看的情况下，医生有时操作内窥镜主体100来搜索未观察的关注区域。
本实施方式所示的图像处理装置在医生发送了表示未观察的关注区域的再显示的用户输入信号的情况下，读出包含未观察的关注区域的帧图像即未观察图像，并使其显示于图1所示的监视器400。未观察图像显示在与显示观察图像的观察图像显示区域不同的区域中。由此，医生可对观察图像和未观察图像进行比较，可在观察图像中搜索漏看的关注区域。
所谓观察图像是在内窥镜检查时显示于监视器400的、观察对象的实时内窥镜图像。观察图像可以是动态图像，也可以是静止图像。此外，实施方式中记载的观察对象相当于被摄体的一例。实施方式中记载的监视器400相当于显示装置的一例。
实时内窥镜图像可包括在从摄像定时起经过了由信号处理等引起的一定的延迟期间之后显示于监视器400的情况。本实施方式所示的图像处理装置与医用图像处理装置以及医疗图像处理装置同义。关于第二实施方式和第三实施方式也同样。
图3是第一实施方式所涉及的图像处理装置的功能框图。该图所示的图像处理装置14应用图2所示的处理器装置200中的图像处理部204等构成要素来实现。图像处理装置14具备图像获取部40、用户输入信号获取部42、显示控制部44以及报知部46。
图像处理装置14具备关注区域检测部50、未观察条件判定部51、第一图像处理部52、内窥镜图像存储部70、未观察图像存储部71、已观察图像存储部71A以及第一图像处理结果存储部72。以下，对各部进行说明。
〔图像获取部〕
图像获取部40获取使用图1所示的内窥镜主体100拍摄到的内窥镜图像38。以下，内窥镜图像38的获取可包括动态图像38A的获取、帧图像38B的获取以及静止图像39的获取。
图像获取部40将内窥镜图像38存储到内窥镜图像存储部70中。图像获取部40电可以经由传送表示内窥镜图像38的信号的电缆，从处理器装置200获取内窥镜图像38。
图像获取部40也可以经由存储卡等信息存储介质，从处理器装置200获取内窥镜图像38。图像获取部40也可以经由通信网络获取内窥镜图像38。
图像获取部40可获取由时间序列的帧图像38B构成的动态图像38A。图像获取部40可在动态图像38A的摄像过程中实施静止图像摄像的情况下获取静止图像39。图像获取部40对应于图2所示的图像输入控制器202。
〔用户输入信号获取部〕
用户输入信号获取部42获取响应于用户对操作部30的操作而从操作部30发送的用户输入信号。图3所示的操作部30可包括图1所示的手边操作部102、图2所示的操作部208以及未图示的脚踏开关等。
用户输入信号获取部42也可以具备获取用户的声音的麦克风。即，用户输入信号获取部42也可以获取基于用户的声音的用户输入信号。
此外，实施方式中记载的操作部30相当于用户操作部的一例。实施方式中记载的麦克风相当于获取用户的声音的声音获取部的一例。
〔显示控制部〕
显示控制部44向监视器400发送表示内窥镜图像38的显示信号。监视器400将内窥镜图像38显示为观察图像。显示控制部44在从内窥镜图像38中检测到关注区域的情况下，向监视器400发送表示使用第一图像处理部52对内窥镜图像38实施了第一图像处理的第一图像的显示信号。
显示控制部44在用户输入信号获取部42获取了表示未观察的关注区域的显示的用户输入信号的情况下，向监视器400发送表示未观察图像的显示信号。监视器400显示未观察图像。
显示控制部44基于显示于监视器400的未观察图像的非显示条件，实施未观察图像的非显示。显示控制部44对应于图2所示的视频输出部206。
此外，实施方式中记载的显示控制部44相当于向显示装置发送表示观察图像的第一显示信号的显示信号发送部的一例。实施方式中记载的表示内窥镜图像38的显示信号相当于第一显示信号的一例。实施方式中记载的表示未观察图像的显示信号相当于第二显示信号的一例。
〔报知部〕
报知部46在从构成内窥镜图像38的帧图像38B中检测到关注区域的情况下，实施表示内窥镜图像38中的关注区域的检测的报知。报知部46可实施使用了图2所示的扬声器209A的声音报知。报知部46可实施使用了监视器400的文字信息等的报知。
〔关注区域检测部〕
关注区域检测部50应用CNN(Convolutional Neural Network)等学习器，从使用图像获取部40获取的帧图像38B中检测关注区域。关注区域检测部50导出帧图像38B的特征量，并基于特征量来判定有无关注区域。
关注区域检测部50应用将帧图像38B与帧图像38B中的关注区域的对作为学习数据实施了学习的已学习的学习器。作为关注区域的检测的例子，可举出病变的检测及特定脏器的检测等。
〔未观察条件判定部〕
未观察条件判定部51针对检测到关注区域的帧图像38B，判定是否满足存储到未观察图像存储部71的帧图像38B的条件。即，未观察条件判定部51针对检测到关注区域的帧图像38B，判定是否为未观察图像。
在实施关注区域的观察的情况下，可认为医生使摄像部130的移动停止或者减慢摄像部130的移动速度。这样一来，在实施关注区域的观察的情况下，与不实施关注区域的观察的情况相比，包含同一关注区域的帧图像38B的数量变多。
因此，预先设定包含同一关注区域的帧图像38B的规定数，未观察条件判定部51在规定的期间内包含同一关注区域的帧图像38B为规定数以下的情况下，判定为未观察图像。规定数可根据摄像部130的帧速率和摄像部130的移动速度来规定。规定数可使用1以上的任意整数。包含同一关注区域的帧图像38B连续的情况较多，但可能存在画面闪烁关注区域的检测中断的情况。规定数量可以是连续的帧图像38B的数量，也可以是非连续的帧图像38B的数量。
摄像部130的移动表示内窥镜检查中的摄像部130沿着内窥镜主体100的移动路径的移动。另外，移动速度可包含表示移动速度的绝对值的速度的概念。
在实施关注区域的观察的情况下，可认为与不实施关注区域的观察的情况相比，摄像部130的摄像方向的变更变多。这样一来，未观察条件判定部51基于摄像部130的移动矢量的变化等帧图像38B间的变化量，可判定是否是医生未观察的帧图像38B。即，未观察条件判定部51在帧图像38B之间的变化量为规定的阈值以上的情况下可判定为未观察图像。作为帧图像38B间的变化量的其他例子，可举出帧图像38B间的互相关函数的值等。
另外，关注区域的观察大多在画面的中央部进行。因此，在关注区域停留在画面的外侧的状态下离开画面(frame out)时可判定为未观察图像。换言之，未观察条件判定部51在规定的期间内同一关注区域停留在画面的非中央部的情况下，可判定为未观察图像，在此，所谓的图像的中央部是包含画面的中心或重心的区域，且是不包含画面的端部的区域。另一方面，图像的外侧是不包含画面的中心或重心的区域，且是包含画面的端部的区域。
即，未观察条件判定部51在包含同一关注区域的帧图像38B的数量、帧图像38B间的变化量、以及关注区域在画面中的位置中的至少任一个被判定为未实施观察的情况下，可判定为未观察图像。
未观察条件判定部51在检测到关注区域的帧图像38B满足存储到未观察图像存储部71的未观察图像的条件的情况下，作为未观察图像存储到未观察图像存储部71。
另一方面，未观察条件判定部51在检测到关注区域的帧图像38B未满足存储到未观察图像存储部71的未观察图像的条件的情况下，作为已观察图像存储到已观察图像存储部71A。
〔第一图像处理部〕
第一图像处理部52在从构成内窥镜图像38的帧图像38B中检测到关注区域的情况下，对包含关注区域的帧图像38B实施第一图像处理。在此所说的内窥镜图像38和包含关注区域的帧图像38B与上述观察图像对应。
第一图像处理可应用关注区域的强调处理。第一图像处理部52生成对从帧图像38B中检测到的关注区域进行强调的强调图像。作为强调图像的例子，可举出与关注区域重叠的边界框、对关注区域附加的规定的颜色和图案等。
第一图像处理部52特定关注区域的位置，并根据关注区域的位置来规定强调图像的位置。第一图像处理部52特定关注区域的尺寸，并根据关注区域的尺寸来规定强调图像的尺寸。
第一图像处理部52将第一图像处理的处理结果存储到第一图像处理结果存储部72中。第一图像处理结果存储部72可存储对检测到关注区域的帧图像38B附加了强调图像的第一图像。第一图像处理结果存储部72也可以存储包含关注区域的帧图像38B和与包含关注区域的帧图像38B相关联的强调图像的信息的组合。即，第一图像处理部52也可以将帧图像38B的文件和强调图像的文件作为不同文件进行存储。
第一图像处理部52使用显示控制部44，将作为观察图像而重叠显示了强调图像的帧图像38B显示于监视器400。报知部46可使用重叠显示了强调图像的帧图像38B来实施表示内窥镜图像38中的关注区域的检测的报知。
〔内窥镜图像存储部〕
内窥镜图像存储部70存储使用图像获取部40获取的内窥镜图像38。在实施了静止图像摄像的情况下，内窥镜图像存储部70存储在静止图像摄像中生成的静止图像39。
〔未观察图像存储部〕
未观察图像存储部71存储未观察图像。在获取了表示未观察的关注区域的显示的用户输入信号的情况下，显示控制部44读出存储在未观察图像存储部71中的未观察图像。
在存储有未观察图像时新产生了未观察图像的情况下，未观察图像存储部71也可以代替已存储的未观察图像而存储新的未观察图像。
未观察图像存储部71也可以规定未观察图像的存储数。另外，未观察图像存储部71也可以规定未观察图像的存储期间。即，未观察图像存储部71也可以存储再显示的可能性高的未观察图像，并删除再显示的可能性低的未观察图像。此外，在图3中省略未观察图像的图示。
〔已观察图像存储部〕
已观察图像存储部71A存储已观察图像。在获取了表示已观察的关注区域的显示的用户输入信号的情况下，显示控制部44读出存储在已观察图像存储部71A中的已观察图像。
〔第一图像处理结果存储部〕
第一图像处理结果存储部72存储使用第一图像处理部52实施的第一图像处理的处理结果。第一图像处理结果可以应用第一图像，也可以应用帧图像38B和与帧图像38B对应的关注区域的信息的组合。
内窥镜图像存储部70、未观察图像存储部71、已观察图像存储部71A以及第一图像处理结果存储部72分别可应用一个以上的存储元件。即，图像处理装置14可具备与内窥镜图像存储部70、未观察图像存储部71、已观察图像存储部71A以及第一图像处理结果存储部72的每一个对应的四个存储元件。
内窥镜图像存储部70、未观察图像存储部71、已观察图像存储部71A以及第一图像处理结果存储部72可使用一个存储元件构成任意的两个至四个。例如，可使用一个存储元件来构成内窥镜图像存储部70、未观察图像存储部71以及已观察图像存储部71A。
[第一实施方式所涉及的图像处理方法的顺序]
图4是示出第一实施方式所涉及的图像处理方法的顺序的流程图。此外，本实施方式所示的图像处理方法与医用图像处理方法及医疗图像处理方法等同义。关于第二实施方式和第三实施方式也同样。
在内窥镜图像获取工序S10中，图3所示的图像获取部40获取内窥镜图像38。在内窥镜图像获取工序S10中，图像获取部40将内窥镜图像38存储到内窥镜图像存储部70中。在内窥镜图像获取工序S10之后前进到关注区域检测工序S12。
在关注区域检测工序S12中，关注区域检测部50从构成内窥镜图像38的各帧图像38B中检测关注区域。在关注区域检测工序S12中，关注区域检测部50可以从动态图像38A的所有帧图像38B中检测关注区域，也可以从每隔规定的期间的帧图像38B中检测关注区域。在关注区域检测工序S12之后前进到报知工序S14。
在报知工序S14中，报知部46实施表示帧图像38B中的关注区域的检测的报知。也可实施停止报知的报知停止工序。在报知工序S14之后，前进到第一图像处理工序S16。
在第一图像处理工序S16中，第一图像处理部52对检测到关注区域的帧图像38B实施第一图像处理。在第一图像处理工序S16之后，前进到第一图像处理结果存储工序S17。也可以在实施了第一图像处理工序S16之后，实施报知工序S14。
在第一图像处理结果存储工序S17中，第一图像处理部52将第一图像处理的处理结果存储到第一图像处理结果存储部72中。在第一图像处理结果存储工序S17之后，前进到未观察条件判定工序S18。也可以在第一图像处理结果存储工序S17之后实施显示第一图像的显示工序。另外，也可以省略第一图像处理工序S16及第一图像处理结果存储工序S17。
在未观察条件判定工序S18中，未观察条件判定部51判定检测到关注区域的帧图像38B是否满足未观察条件。即，在未观察条件判定工序S18中，未观察条件判定部51判定检测到关注区域的帧图像38B是否为未观察图像。
在未观察条件判定工序S18中，在未观察条件判定部51判定为未满足未观察条件的情况下判定为No。在判定为No的情况下，前进到用户输入信号获取判定工序S20。
另一方面，在未观察条件判定工序S18中，在未观察条件判定部51判定为满足未观察条件的情况下判定为Yes。在判定为Yes的情况下，前进到未观察图像存储工序S19。
在未观察图像存储工序S19中，未观察条件判定部51将未观察图像存储到未观察图像存储部71中。在未观察图像存储工序S19之后前进到用户输入信号获取判定工序S20。可在未观察图像存储工序S19的前后、或者与未观察图像存储工序S19并行地实施将已观察图像存储到已观察图像存储部71A中的已观察图像存储工序。
在用户输入信号获取判定工序S20中，用户输入信号获取部42判定是否获取了表示未观察的关注区域的显示的用户输入信号。在用户输入信号获取判定工序S20中，在判定为用户输入信号获取部42未获取表示未观察的关注区域的显示的用户输入信号的情况下判定为No。在判定为No的情况下，前进到最终帧图像判定工序S32。
另一方面，在用户输入信号获取判定工序S20中，在判定为用户输入信号获取部42获取了表示未观察的关注区域的显示的用户输入信号的情况下判定为Yes。在判定为Yes的情况下，前进到显示信号发送工序S26。此外，用户输入信号获取判定工序S20相当于用户输入信号获取工序的一例。
在显示信号发送工序S26中，显示控制部44向监视器400发送表示未观察的显示信号。监视器400显示未观察。在显示信号发送工序S26之后前进到非显示条件判定工序S28。
在非显示条件判定工序S28中，显示控制部44判定是否满足显示于监视器400的未观察图像的非显示条件。在非显示条件判定工序S28中，在显示控制部44判定为未满足未观察图像的非显示条件的情况下判定为No。在判定为No的情况下，继续实施非显示条件判定工序S28，直到在非显示条件判定工序S28中判定为Yes。
另一方面，在非显示条件判定工序S28中，在显示控制部44判定为满足未观察图像的非显示条件的情况下判定为Yes。在判定为Yes的情况下，前进到显示信号发送停止工序S30。此外，未观察图像的非显示条件的详细情况后述。
在显示信号发送停止工序S30中，显示控制部44停止发送表示显示于监视器400的未观察图像的显示信号。即，在显示信号发送停止工序S30中，显示控制部44将未观察图像设为非显示。在显示信号发送停止工序S30之后，前进到最终帧图像判定工序S32。
在最终帧图像判定工序S32中，关注区域检测部50判定是否实施了针对使用图像获取部40获取的内窥镜图像38中的最终的帧图像38B的关注区域的检测处理。
在最终帧图像判定工序S32中，在判定为关注区域检测部50未实施针对最终的帧图像38B的关注区域的检测处理的情况下判定为No。在判定为No的情况下，前进到内窥镜图像获取工序S10，反复实施从内窥镜图像获取工序S10至最终帧图像判定工序S32的各工序，直到在最终帧图像判定工序S32中判定为Yes。
另一方面，在最终帧图像判定工序S32中，在判定为关注区域检测部50实施了针对最终的帧图像38B的关注区域的检测处理的情况下判定为Yes。在判定为Yes的情况下，图像处理装置14结束图像处理方法。
[内窥镜图像的显示例]
图5是观察图像的示意图。在该图中，作为内窥镜图像38示出大肠的观察图像的示意图。关于图6至图11的各图也同样。在未从内窥镜图像38中检测到关注区域的情况下，内窥镜图像38被作为观察图像实时显示到在监视器400的画面402中的观察图像显示区域404。
即，图5所示的监视器400的画面402实时显示内窥镜检查中的内窥镜图像38的动态图像38A作为观察图像。图5所示的观察图像表示未从构成内窥镜图像38的帧图像38B中检测到关注区域的情况。
图6是第一图像的示意图。在从构成内窥镜图像38的帧图像38B中检测到关注区域510的情况下，图3所示的第一图像处理部52根据关注区域510的检测结果对帧图像38B实施第一图像处理。
图6所示的监视器400的画面402显示第一图像500，该第一图像500应用关注区域510的强调处理作为第一图像处理，对检测到关注区域510的帧图像38B重叠显示包围关注区域510的边界框512。
在针对同一关注区域510生成多个第一图像500的情况下，也可以存储任意一个以上的第一图像500。图6示出了与在任意定时中的帧图像38B对应的第一图像500。
图7是获取了表示未观察的关注区域的显示的用户输入信号时的画面的示意图。在医生因关注区域510的检测的报知而掌握了关注区域510的检测时，有时想使漏看的关注区域510显示于画面402。
在图3所示的用户输入信号获取部42获取了表示未观察的关注区域510的显示的用户输入信号时，显示控制部44从未观察图像存储部71读出未观察图像，并使读出的未观察图像39A显示于画面402的未观察图像显示区域406。显示控制部44使未观察图像39A实时显示于画面402的观察图像显示区域404。由此，医生可利用显示于未观察图像显示区域406的未观察图像39A观察内窥镜图像38，发现漏看的关注区域510。
在图7中，示出在未观察图像39A上重叠显示关注区域510和边界框512的第二图像520。即，未观察图像显示区域406可以显示未处理的未观察图像39A，也可以应用对未观察图像39A实施了第二图像处理的第二图像520。此外，第二图像处理的详细情况后述。
[未观察图像显示区域的非显示条件]
图8是未观察图像显示区域的非显示的示意图。在该图所示的画面402中，将显示于未观察图像显示区域406的第二图像520设为非显示。在图8中使用虚线示出被设为非显示的第二图像520。
第二图像520的非显示条件可应用从第二图像520的显示开始定时起经过规定期间。即，图像处理装置14具备计时器。计时器测量从第二图像520的显示开始定时起的期间。显示控制部44可基于计时器的测量值将第二图像520设为非显示。此外，省略计时器的图示。
此外，实施方式中记载的显示控制部44相当于在从第二显示信号的发送定时起经过了规定的期间之后停止发送第二显示信号的显示信号发送部的一例。
第二图像520的非显示条件可应用与第二图像520中的关注区域510相同的关注区域510的视觉辨认。图3所示的关注区域检测部50判定第二图像520中的关注区域510与从内窥镜图像38中检测的关注区域510的同一性。
图3所示的关注区域检测部50可对第二图像520中的关注区域510的特征量和从内窥镜图像38检测的关注区域510的特征量进行比较，并基于比较结果来判定两者的同一性。关注区域检测部50可应用像素值、像素数以及形状等信息等作为关注区域510的特征量。
显示控制部44在得到了表示第二图像520中的关注区域510与内窥镜图像38中的关注区域510相同的判定结果的情况下，实施显示于未观察图像显示区域406的第二图像520的非显示。
图3所示的报知部46在判定为第二图像520中的关注区域510与内窥镜图像38中的关注区域510相同的情况下，可应用声音报知及文字报知等来报知判定结果。未观察图像显示区域406的非显示条件也可应用于将未观察图像39A显示于未观察图像显示区域406的情况下的未观察图像39A。
[第一实施方式的作用效果]
第一实施方式所涉及的图像处理装置14及图像处理方法可得到以下的作用效果。
〔1〕
关注区域检测部50从构成内窥镜图像38的动态图像38A的帧图像38B中检测关注区域510。未观察图像存储部71存储检测到关注区域510的内窥镜图像38中的、包含未观察的关注区域510的未观察图像39A。由此，在医生因关注区域510的检测的报知而识别到关注区域510的漏看的情况下，可进行利用未观察图像39A等的关注区域510的搜索。
〔2〕
显示控制部44在获取了表示未观察的关注区域510的显示的用户输入信号的情况下，读出存储在未观察图像存储部71中的未观察图像39A，使所读出的未观察图像39A或第二图像520显示于监视器400。由此，在医生因关注区域510的检测的报知而识别到关注区域510的漏看的情况下，可进行利用使用监视器400显示的未观察图像39A等的关注区域510的搜索。
〔3〕
显示控制部44使未观察图像39A或第二图像520显示于与观察图像显示区域404不同的区域即未观察图像显示区域406。由此，医生容易搜索观察图像中的关注区域510。
〔4〕
显示控制部44在获取了表示未观察图像39A或第二图像520的非显示的用户输入信号的情况下，实施未观察图像39A或第二图像520的非显示。由此，在发现了搜索对象的关注区域510时，可将可能妨碍观察的未观察图像39A设为非显示。
〔5〕
显示控制部44在从未观察图像39A或第二图像520的显示开始定时起经过了规定的期间之后，实施未观察图像39A或第二图像520的非显示。由此，可将可能妨碍观察的未观察图像39A或第二图像520自动设为非显示。
〔6〕
用户输入信号获取部42获取从操作部发送的用户输入信号及与使用了麦克风的用户语音对应的用户输入信号。因此，用户输入信号获取部42可应用各种形式的用户输入信号。
〔7〕
第一图像处理部52对检测到关注区域510的帧图像38B实施第一处理。显示控制部44使表示第一图像处理部52的处理结果的第一图像500显示于观察图像显示区域404。由此，医生可视觉辨认观察图像中的关注区域的检测。
〔8〕
第一图像处理部52生成对未观察图像39A实施了应用与第一图像处理相同内容的图像处理的第二图像处理的第二图像520。显示控制部44将第二图像520显示于未观察图像显示区域406。由此，可提高第二图像520中的关注区域510的视觉辨认性。
[第一实施方式所涉及的图像处理装置及方法的变形例]
在第一实施方式所涉及的图像处理装置及方法中，基于用户输入信号使用监视器400使未观察图像39A显示，但也可以基于未观察图像39A的产生使用监视器400来使未观察图像39A显示。
根据该变形例，在产生了未观察图像39A的情况下，可使未观察图像39A自动显示于监视器400。
[第二实施方式所涉及的图像处理装置]
接着，对第二实施方式所涉及的图像处理装置进行说明。图9是第二实施方式所涉及的图像处理装置的功能框图。该图所示的图像处理装置14A相对于图3所示的图像处理装置14追加了第二图像处理部54和第二图像处理结果存储部74。
〔第二图像处理部〕
第二图像处理部54对图7所示的未观察图像39A实施第二图像处理。即，第二图像处理部54在使未观察图像39A显示于未观察图像显示区域406时，相对于显示于观察图像显示区域404的第一图像500的显示方式，变更第二图像520的显示方式。
第二图像处理可应用比第一图像500增强强调程度的强调处理。第二图像处理可应用多个不同的第二图像520的统一显示。第二图像处理可应用从多个不同的第二图像520中选择一个的处理。
第二图像处理部54将第二图像处理的处理结果存储到第二图像处理结果存储部74中。第二图像处理的处理结果可应用第二图像520。第二图像处理的处理结果也可以应用未观察图像39A和表示针对未观察图像39A的第二处理的处理结果的信息的组合。
〔第二图像处理结果存储部〕
第二图像处理结果存储部74存储使用第二图像处理部54实施的第二图像处理的处理结果。第二图像处理结果存储部74也可以存储从多个第二图像处理的处理结果中选择的第二图像处理的处理结果。
[第二实施方式所涉及的图像处理方法的顺序]
图10是示出第二实施方式所涉及的图像处理方法的顺序的流程图。图9所示的流程图相对于图4所示的流程图，追加了第二图像处理工序S22和第二图像处理结果存储工序S24。
图10所示的从内窥镜图像获取工序S10至用户输入信号获取判定工序S20的各工序与图4所示的从内窥镜图像获取工序S10至用户输入信号获取判定工序S20的各工序相同。在用户输入信号获取判定工序S20中判定为Yes的情况下，前进到第二图像处理工序S22。
在第二图像处理工序S22中，图9所示的第二图像处理部54对未观察图像39A实施第二图像处理。在第二图像处理工序S22之后前进到第二图像处理结果存储工序S24。
在第二图像处理结果存储工序S24中，第二图像处理部54将第二图像处理的结果存储到第二图像处理结果存储部74中。在第二图像处理结果存储工序S24之后前进到显示信号发送工序S26。此外，第二图像处理工序S22和第二图像处理结果存储工序S24也可以在第一图像处理结果存储工序S17与未观察条件判定工序S18之间实施。
[第二图像处理的具体例]
图11是应用了增强强调程度的图像处理的第二图像的示意图。该图所示的未观察图像显示区域406显示与图8所示的第一图像500的强调处理相比增强了强调程度的第二图像530。
第二图像530应用比图6所示的边界框512增强了关注区域510的强调程度的边界框532。边界框532与应用于第一图像500的边界框512相比，框线的种类从虚线变更为实线，框线的宽度变粗，框线的颜色使用红色等醒目的颜色。
增强强调程度的处理不限于图11所示的方式。例如，也可以变更图6所示的边界框512的框线的种类、框线的线宽以及框线的颜色中的至少任意一个。
在第二图像530显示于未观察图像显示区域406的画面402中，实时的内窥镜图像38显示于观察图像显示区域404。在医生注意到表示检测到关注区域510的报知时，在操作图1所示的内窥镜主体100来搜索关注区域510时可参照第二图像530。
图11所示的第二图像530与图7所示的未观察图像显示区域406中显示的帧图像38B相比，可提高关注区域510的视觉辨认性。
图12是显示多个第二图像的方式的示意图。图12所示的第二图像540及第二图像542分别与在不同的定时生成的未观察图像39A对应。
第二图像540在关注区域510A重叠显示边界框512A。第二图像542在关注区域510B重叠显示边界框512B。在显示多个第二图像540等时，也可以对第二图像540等分别进行时间分割显示。
图13是显示多个第二图像的方式中的第二图像的选择的示意图。在图13所示的画面402中，从第二图像540和第二图像542中选择的第二图像542被高亮显示。即，在获取了表示第二图像540等的选择的用户输入信号的情况下，第二图像处理部54基于用户输入信号，实施所选择的第二图像542的高亮显示。
在图13所示的画面402中，可以根据第二图像542的选择而将非选择的第二图像540设为非显示。也可以根据非选择的第二图像540的非显示将第二图像542的高亮显示设为非显示。此外，图9所示的用户输入信号获取部42相当于选择部的一例。
虽然图12和图13示出了显示两个第二图像540等的方式，但是也可以显示三个以上的第二图像。在显示多个第二图像540等的情况下，也可以附加表示各个获取定时的信息。优选按照分别获取多个第二图像540等的定时的顺序进行配置的方式。另外，将多个第二图像540等作为选项而实施的第二图像的选择也可以选择两个以上的第二图像。
根据图12和图13所示的方式，可利用多个第二图像540等作为多个搜索候选。另外，可从多个搜索候选中选择一个以上的搜索对象。
作为图11至图13所示的第二处理的其他例子，可举出关注区域510相对于第一图像500的色相、明度以及彩度中的至少任一个的变更。另外，作为第二处理的其他例子，可举出低分辨率化及高分辨率化等分辨率转换。而且，作为其他第二处理，可举出与未观察图像39A的存储定时相关的信息的显示及未观察图像39A中的关注区域510的鉴别结果的显示等与第二图像530等相关的各种信息的显示。各种信息的显示可应用文字和声音。
[第二实施方式的作用效果]
第二实施方式所涉及的图像处理装置14A及图像处理方法可得到以下的作用效果。
〔1〕
第二图像处理部54生成与第一图像500相比显示方式不同的第二图像530等。显示控制部44使第二图像530等显示于监视器。由此，在医生因关注区域510的检测的报知而识别到关注区域510的漏看的情况下，可进行利用第二图像530等的关注区域510的搜索。
〔2〕
第一图像处理应用关注区域510的强调处理。与第一图像处理所涉及的强调处理相比，第二图像处理所涉及的强调处理增强了强调的程度。由此，可提高第二图像530等中的关注区域510的视觉辨认性。
〔3〕
监视器400显示获取定时不同的多个第二图像540等。由此，可从多个第二图像540等中搜索在内窥镜图像38中漏看的关注区域510。
〔4〕
可从获取定时不同的多个第二图像540等中选择一个以上的第二图像542等。由此，可从获取定时不同的多个第二图像540等中设定应用于关注区域510的搜索的第二图像542等。
[第三实施方式所涉及的图像处理装置]
接着，对第三实施方式的图像处理装置进行说明。图14是第三实施方式所涉及的图像处理装置的功能框图。该图所示的图像处理装置14B相对于图9所示的图像处理装置14A，追加了第三图像处理部56和第三图像处理结果存储部76。
第三图像处理部56对显示于未观察图像显示区域406的未观察图像39A或第二图像520等实施第三图像处理。在此所说的第二图像520等表示图7所示的第二图像520、图11所示的第二图像530、图12所示的第二图像540以及第二图像542中的至少任一个。在以下的说明中也同样。
第三图像处理可应用未观察图像39A或第二图像520等的编辑、对未观察图像39A或第二图像520等进行编辑而生成的第三图像的存储、未观察图像39A或第二图像520等向外部装置32的发送、未观察图像39A或第二图像520等的删除以及多个未观察图像39A或多个第二图像520等的重新排列中的至少任一个。
第三图像处理结果存储部76在应用于第三图像处理部56的第三图像处理是未观察图像39A或第二图像520等的编辑的情况下，存储对未观察图像39A或第二图像520等进行编辑而生成的第三图像560。未观察图像39A或第二图像520等的编辑可应用未观察图像39A或第二图像520等的放大及缩小等。
在用户输入信号获取部42获取了表示未观察图像39A或第二图像520等向外部装置32的发送的用户输入信号的情况下，第三图像处理部56向外部装置32发送未观察图像39A或第二图像520等。外部装置32可应用与图像处理装置14B可通信地连接的存储装置等。此外，图14中示出了第二图像520等向外部装置32的发送。
在用户输入信号获取部42获取了表示未观察图像39A或第二图像520等的删除的用户输入信号的情况下，第三图像处理部56实施未观察图像39A或第二图像520等的删除。
在用户输入信号获取部42获取了表示未观察图像39A或第二图像520等的重新排列的用户输入信号的情况下，第三图像处理部56实施未观察图像39A或第二图像520等的配置的重新排列。
[第三实施方式所涉及的图像处理方法的顺序]
图15是示出第三实施方式所涉及的图像处理方法的顺序的流程图。在图15中，示出作为第三图像处理应用第二图像530的编辑的方式的工序。图15所示的流程图相对于图10所示的流程图追加了第三图像处理指示工序S40、第三图像处理工序S42以及第三图像处理结果存储工序S44。
图15所示的从内窥镜图像获取工序S10至显示信号发送工序S26的各工序与图10所示的从内窥镜图像获取工序S10至显示信号发送工序S26的各工序相同。在显示信号发送工序S26之后前进到第三图像处理指示工序S40。
在第三图像处理指示工序S40中，图14所示的用户输入信号获取部42获取表示第三图像处理的处理内容的第三图像处理指示信号。作为获取第三图像处理指示信号的例子，可举出获取从图14所示的操作部30发送的用户输入信号。在第三图像处理指示工序S40之后前进到第三图像处理工序S42。
在第三图像处理工序S42中，第三图像处理部56基于第三图像处理指示信号，对未观察图像39A或第二图像520等实施第三图像处理。在第三图像处理工序S42之后前进到第三图像处理结果存储工序S44。
在第三图像处理结果存储工序S44中，图14所示的第三图像处理结果存储部76存储第三图像处理的处理结果。在第三图像处理结果存储工序S44之后前进到非显示条件判定工序S28。在第三图像处理为未观察图像39A或第二图像520等向外部装置32的发送及未观察图像39A或第二图像520等的删除等情况下，省略第三图像处理结果存储工序S44。
图15所示的从非显示条件判定工序S28至最终帧图像判定工序S32的各工序与图10所示的从非显示条件判定工序S28至最终帧图像判定工序S32的各工序相同。
[第三图像处理的具体例]
图16是第三图像处理的一例的说明图。该图所示的画面402代替图7所示的第二图像520等而显示第三图像560。画面402也可以显示第二图像520等和第三图像560这两者。
在第三图像560中，图7所示的第二图像520的关注区域510被放大。即，图16所示的第三图像560包含图7所示的关注区域510被放大后的关注区域510C及图7所示的边界框512被放大后的边界框512C。
[第三实施方式的作用效果]
第三实施方式所涉及的图像处理装置14B及图像处理方法可得到以下的作用效果。
〔1〕
图像处理装置14B具备对未观察图像39A或第二图像520等实施第三图像处理的第三图像处理部56。由此，可实施未观察图像39A或第二图像520等的编辑等。
〔2〕
第三图像处理可应用未观察图像39A或第二图像520等的编辑、未观察图像39A或第二图像520等的编辑结果的存储、未观察图像39A或第二图像520等向外部设备的发送、未观察图像39A或第二图像520等的删除、以及使多个未观察图像39A或多个第二图像540等显示的方式中的未观察图像39A或第二图像540等的重新排列。由此，可实施未观察图像39A或第二图像520等的编辑。
[内窥镜系统的变形例]
〔照明光的变形例〕
作为可使用本实施方式所示的内窥镜系统10获取的医用图像的一例，可举出照射白色频带的光、或者作为白色频带的光照射多个波长频带的光而得到的普通光图像。
作为可使用本实施方式所示的内窥镜系统10获取的医用图像的其他例子，可举出照射特定波长频带的光而得到的图像。特定波长频带可应用比白色频带窄的频带。可应用以下的变形例。
<第一变形例>
特定波长频带的第一例是可见光范围内的蓝色频带或绿色频带。第一例的波长频带包括390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带，并且第一例的光在390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带内具有峰值波长。
<第二变形例>
特定波长频带的第二例是可见范围的红色频带。第二例的波长频带包括585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带，并且第二例的光在585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带内具有峰值波长。
<第三变形例>
特定波长频带的第三例包括在氧化血红蛋白和还原血红蛋白中吸光系数不同的波长频带，并且第三例的光在氧化血红蛋白和还原血红蛋白中吸光系数不同的波长频带具有峰值波长。该第三例的波长频带包括400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带，并且第三例的光在400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带具有峰值波长。
<第四变形例>
特定波长频带的第四例是用于观察生物体内的荧光物质发出的荧光、且激发该荧光物质的激励光的波长频带。例如，是390纳米以上470纳米以下的波长频带。此外，荧光的观察有时被称为荧光观察。
<第五变形例>
特定波长频带的第五实例是红外光的波长频带。该第五例的波长频带包括790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带，并且第五例的光在790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带具有峰值波长。
〔特殊光图像的生成例〕
处理器装置200也可以基于使用白色光进行摄像而得到的普通光图像，生成具有特定波长频带的信息的特殊光图像。此外，在此所说的生成包括获取。在该情况下，处理器装置200作为特殊光图像获取部发挥功能。而且，处理器装置200通过进行基于普通光图像中包含的红色、绿色和蓝色、或者青色、品红色和黄色的颜色信息的运算来获得特定波长频带的信号。
此外，青色、品红色和黄色有时使用各自的英文标记即Cyan、Magenta和Yellow的首字母表示为CMY。
〔特征量图像的生成例〕
作为医用图像，可使用基于照射白色频带的光、或者作为白色频带的光照射多个波长频带的光而得到的普通光图像、以及照射特定波长频带的光而得到的特殊光图像中的至少任一个的运算生成特征量图像。
[对使计算机作为图像处理装置发挥功能的程序的应用例]
上述图像处理装置和图像处理方法可构成为使用计算机来实现与图像处理装置中的各部或图像处理方法中的各工序对应的功能的程序。
例如，可构成使计算机实现图像获取功能、显示信号发送功能、关注区域检测功能、未观察图像存储功能以及用户输入信号获取功能的程序。
图像获取功能与图像获取部40和内窥镜图像获取工序S10对应。显示信号发送功能与显示控制部44和显示信号发送工序S26对应。关注区域检测功能与关注区域检测部50和关注区域检测工序S12对应。
未观察图像存储功能与未观察图像存储部71和未观察条件判定工序S18对应。用户输入信号获取功能与用户输入信号获取部42和用户输入信号获取判定工序S20对应。
程序可包括与第一图像处理部52和第一图像处理工序S16对应的第1图像处理。程序可包括与第一图像处理结果存储部72和第一图像处理结果存储工序S17对应的第一图像处理结果存储功能。
程序可包括与第二图像处理部54和第二图像处理工序S22对应的第二图像处理功能。程序可包括与第二图像处理结果存储部74和第二图像处理结果存储工序S24对应的第二图像处理结果存储功能。程序可包括与第三图像处理部56和第三图像处理工序S42对应的第三图像处理功能。
可将使计算机实现上述图像处理功能的程序存储在作为有形物的非暂时性信息存储介质的、计算机可读取的信息存储介质中，并通过信息存储介质提供程序。
另外，代替在非暂时性信息存储介质中存储并提供程序的方式，也可是经由通信网络提供程序信号的方式。
[关于实施方式和变形例等的组合]
在上述实施方式中说明的构成要素及在变形例中说明的构成要素可适当组合使用，另外，也可置换一部分构成要素。
以上说明的本发明的实施方式可在不脱离本发明的主旨的范围内适当地变更、追加、删除构成要件。本发明不限于以上说明的实施方式，本领域技术人员在本发明的技术思想内可进行多种变形。
符号说明
10 内窥镜系统
14 图像处理装置
14A 图像处理装置
38 内窥镜图像
38A 动态图像
39 静止图像
39A 未观察图像
40 图像获取部
42 用户输入信号获取部
44 显示控制部
46 报知部
50 关注区域检测部
51 未观察条件判定部
52 第一图像处理部
54 第二图像处理部
56 第三图像处理部
70 内窥镜图像存储部
71 未观察图像存储部
71A 已观察图像存储部
72 第一图像处理结果存储部
74 第二图像处理结果存储部
76 第三图像处理结果存储部
100 内窥镜主体
102 手边操作部
104 插入部
106 通用电缆
108 光导连接器
112 软性部
114 弯曲部
116 顶端硬质部
116A 顶端侧端面
123 照明部
123A 照明用透镜
123B 照明用透镜
126 钳道口
130 摄像部
132 摄影透镜
134 摄像元件
136 驱动电路
138 模拟前端
141 供气供水按钮
142 吸引钮
143 功能按钮
144 摄像按钮
170 光导
200 处理器装置
202 图像输入控制器
204 图像处理部
205 通信控制部
206 视频输出部
207 存储部
208 操作部
209 声音处理部
209A 扬声器
210 CPU
211 ROM
212 RAM
300 光源装置
310 光源
310B 蓝色光源
310G 绿色光源
310R 红色光源
330 光圈
340 聚光透镜
350 光源控制部
400 监视器
402 画面
404 观察图像显示区域
406 第二图像显示区域
500 第一图像
510 关注区域
510A 关注区域
510B 关注区域
510C 关注区域
512 边界框
512A 边界框
512B 边界框
512C 边界框
520 第二图像
530 第二图像
532 边界框
540 第二图像
542 第二图像
560 第三图像
S10至S44 图像处理方法的各工序

Claims (28)

1.一种医疗图像处理装置，具备：
图像获取部，其获取被摄体的观察图像；
显示信号发送部，其向显示装置发送表示所述观察图像的第一显示信号；
关注区域检测部，其从构成所述观察图像的帧图像中检测关注区域；以及
未观察图像存储部，其存储检测到关注区域的帧图像中满足表示所述关注区域未观察的未观察条件的未观察图像。
2.根据权利要求1所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
未观察条件判定部，其针对使用所述关注区域检测部检测到关注区域的帧图像，判定是否满足所述未观察条件。
3.根据权利要求2所述的医疗图像处理装置，其中，
所述未观察条件判定部在规定期间内包含同一关注区域的帧图像为规定数以下的情况下，判定为满足所述未观察条件。
4.根据权利要求2或3所述的医疗图像处理装置，其中，
所述未观察条件判定部在帧图像之间的变化量为规定的阈值以上的情况下，判定为满足所述未观察条件。
5.根据权利要求2至4中任一项所述的医疗图像处理装置，其中，
所述未观察条件判定部在规定期间内同一关注区域停留在画面内的任意区域的情况下，判定为满足所述未观察条件。
6.根据权利要求2至5中任一项所述的医疗图像处理装置，其中，
所述显示信号发送部向所述显示装置发送表示在所述未观察条件判定部中判定为满足未观察条件的所述未观察图像的第二显示信号。
7.根据权利要求6所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
用户输入信号获取部，其获取响应于用户操作而发送的用户输入信号，
所述显示信号发送部在使用所述用户输入信号获取部获取了表示未观察的关注区域的显示的用户输入信号的情况下，向所述显示装置发送表示所述未观察图像的第二显示信号。
8.根据权利要求7所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
第一图像处理部，其对使用所述关注区域检测部检测到的关注区域实施第一图像处理而生成第一图像，
显示信号发送部向所述显示装置发送表示所述第一图像的显示信号作为所述第一显示信号。
9.根据权利要求8所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
第二图像处理部，其对所述未观察图像实施第二图像处理而生成第二图像，
所述显示信号发送部向所述显示装置发送表示所述第二图像的显示信号作为所述第二显示信号。
10.根据权利要求9所述的医疗图像处理装置，其中，
所述第一图像处理部实施针对所述观察图像的所述关注区域的强调处理，
所述第二图像处理部对所述未观察图像实施比针对所述观察图像的关注区域的强调处理更增强强调程度的强调处理。
11.根据权利要求9或10所述的医疗图像处理装置，其中，
所述第二图像处理部对多个所述未观察图像中的每一个未观察图像实施所述第二图像处理，
所述显示信号发送部向所述显示装置发送与多个所述第二图像中的每一个第二图像对应的显示信号作为所述第二显示信号。
12.根据权利要求11所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
选择部，其从显示于所述显示装置的多个所述未观察图像中选择一个以上的所述未观察图像，或者从显示于所述显示装置的多个所述第二图像中选择一个以上的所述第二图像。
13.根据权利要求9至12中任一项所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
第三图像处理部，其对显示于所述显示装置的所述未观察图像或所述第二图像处理的处理结果实施第三图像处理。
14.根据权利要求13所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
第三图像处理结果存储部，其存储所述第三图像处理的处理结果。
15.根据权利要求13或14所述的医疗图像处理装置，其中，
所述第三图像处理部在所述用户输入信号获取部获取了表示所述未观察图像的编辑的用户输入信号的情况下，实施所述未观察图像的编辑，或者在所述用户输入信号获取部获取了表示所述第二图像的编辑的用户输入信号的情况下，实施所述第二图像的编辑。
16.根据权利要求13至15中任一项所述的医疗图像处理装置，其中，
所述第三图像处理部在所述用户输入信号获取部获取了表示所述未观察图像向外部装置的发送的用户输入信号的情况下，向所述外部装置发送所述未观察图像，或者在所述用户输入信号获取部获取了表示所述第二图像向外部装置的发送的用户输入信号的情况下，向所述外部装置发送所述第二图像。
17.根据权利要求13至16中任一项所述的医疗图像处理装置，其中，
所述第三图像处理部在所述用户输入信号获取部获取了表示多个所述未观察图像的重新排列的用户输入信号的情况下，实施多个所述未观察图像的重新排列，或者在所述用户输入信号获取部获取了表示多个所述第二图像的重新排列的用户输入信号的情况下，实施多个所述第二图像的重新排列。
18.根据权利要求13至17中任一项所述的医疗图像处理装置，其中，
所述第三图像处理部在所述用户输入信号获取部获取了表示所述未观察图像的删除的用户输入信号的情况下，删除所述未观察图像，或者在所述用户输入信号获取部获取了表示所述第二图像的删除的用户输入信号的情况下，删除所述第二图像。
19.根据权利要求6至18中任一项所述的医疗图像处理装置，其中，
所述显示信号发送部在从所述第二显示信号的发送定时起经过了规定的期间之后，停止发送所述第二显示信号。
20.根据权利要求6至18中任一项所述的医疗图像处理装置，其中，
所述显示信号发送部在将所述未观察的关注区域显示于所述显示装置的情况下，停止发送所述第二显示信号。
21.根据权利要求1至20中任一项所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
由用户操作的用户操作部，
用户输入信号获取部获取在用户操作所述用户操作部时发送的用户输入信号。
22.根据权利要求1至21中任一项所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
获取用户的声音的声音获取部，
用户输入信号获取部获取表示使用所述声音获取部获取的用户的声音的用户输入信号。
23.根据权利要求1至22中任一项所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
已观察图像存储部，其存储使用所述关注区域检测部检测到关注区域的帧图像中表示所述关注区域已观察的已观察图像。
24.根据权利要求1至23中任一项所述的医疗图像处理装置，其中，
所述医疗图像处理装置具备：
报知部，其报知所述观察图像中的所述关注区域的检测。
25.一种内窥镜系统，具备：
内窥镜；
内窥镜控制装置，其控制所述内窥镜；以及
医疗图像处理装置，其对使用所述内窥镜获取的内窥镜图像实施处理，
其中，
所述医疗图像处理装置具备：
图像获取部，其获取被摄体的观察图像；
显示信号发送部，其向显示装置发送表示所述观察图像的第一显示信号；
关注区域检测部，其从构成所述观察图像的帧图像中检测关注区域；以及
未观察图像存储部，其存储检测到关注区域的帧图像中满足表示所述关注区域未观察的未观察条件的未观察图像。
26.一种医疗图像处理方法，包括：
图像获取工序，获取被摄体的观察图像；
显示信号发送工序，向显示装置发送表示所述观察图像的第一显示信号；
关注区域检测工序，从构成所述观察图像的帧图像中检测关注区域；以及
未观察图像存储工序，存储检测到关注区域的帧图像中满足表示所述关注区域未观察的未观察条件的未观察图像。
27.一种使计算机实现以下功能的程序：
图像获取功能，获取被摄体的观察图像；
显示信号发送功能，向显示装置发送表示所述观察图像的第一显示信号；
关注区域检测功能，从构成所述观察图像的帧图像中检测关注区域；以及
未观察图像存储功能，存储检测到关注区域的帧图像中满足表示所述关注区域未观察的未观察条件的未观察图像。
28.一种记录介质，其是非暂时性计算机可读记录介质，其中，
在由计算机读取了存储在所述记录介质中的指令的情况下，使计算机执行权利要求27所述的程序。
CN202080058661.3A 2019-09-03 2020-08-25 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序 Pending CN114269221A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-160463 2019-09-03
JP2019160463 2019-09-03
PCT/JP2020/032049 WO2021044910A1 (ja) 2019-09-03 2020-08-25 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114269221A true CN114269221A (zh) 2022-04-01

Family

ID=74852339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058661.3A Pending CN114269221A (zh) 2019-09-03 2020-08-25 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序

Country Status (5)

Country Link
US (1) US20220151467A1 (zh)
EP (1) EP4026479A4 (zh)
JP (1) JP7256275B2 (zh)
CN (1) CN114269221A (zh)
WO (1) WO2021044910A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059526A1 (ja) * 2018-09-18 2020-03-26 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU687045B2 (en) * 1993-03-31 1998-02-19 Luma Corporation Managing information in an endoscopy system
US7986337B2 (en) * 2004-09-27 2011-07-26 Given Imaging Ltd. System and method for editing an image stream captured in vivo
JP2006198106A (ja) 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP5063866B2 (ja) * 2005-04-14 2012-10-31 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2007318431A (ja) * 2006-05-25 2007-12-06 Fujifilm Corp 表示制御システムおよび表示制御方法
JP5203648B2 (ja) * 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP5492729B2 (ja) * 2010-09-28 2014-05-14 富士フイルム株式会社 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
EP2637553A2 (en) * 2010-11-12 2013-09-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US10064541B2 (en) * 2013-08-12 2018-09-04 Endochoice, Inc. Endoscope connector cover detection and warning system
JP5784859B2 (ja) * 2013-08-30 2015-09-24 オリンパス株式会社 画像管理装置
WO2015076004A1 (ja) * 2013-11-21 2015-05-28 オリンパスメディカルシステムズ株式会社 画像表示装置
WO2017073337A1 (ja) 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017122400A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 内視鏡画像観察支援システム
JPWO2017216922A1 (ja) 2016-06-16 2019-04-11 オリンパス株式会社 画像処理装置及び画像処理方法
WO2018198161A1 (ja) 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2019180966A (ja) * 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム

Also Published As

Publication number Publication date
EP4026479A1 (en) 2022-07-13
EP4026479A4 (en) 2022-11-02
WO2021044910A1 (ja) 2021-03-11
JPWO2021044910A1 (zh) 2021-03-11
US20220151467A1 (en) 2022-05-19
JP7256275B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2023015232A (ja) 内視鏡システム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JPWO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2022054400A1 (ja) 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
JP7389257B2 (ja) 内視鏡システム及びその作動方法
JP6210923B2 (ja) 生体観察システム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2020184257A1 (ja) 医用画像処理装置及び方法
CN114554937A (zh) 内窥镜系统、控制程序及显示方法
CN115315210A (zh) 图像处理装置、图像处理方法、导航方法以及内窥镜系统
US20230074314A1 (en) Image processing device, image processing method, and program
WO2021117330A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
CN111989026B (zh) 内窥镜装置、内窥镜装置的工作方法及记录介质
CN117119942A (zh) 处理器装置、医疗图像处理装置、医疗图像处理系统及内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination