CN113453607A - 医用图像处理装置及方法 - Google Patents

医用图像处理装置及方法 Download PDF

Info

Publication number
CN113453607A
CN113453607A CN202080015012.5A CN202080015012A CN113453607A CN 113453607 A CN113453607 A CN 113453607A CN 202080015012 A CN202080015012 A CN 202080015012A CN 113453607 A CN113453607 A CN 113453607A
Authority
CN
China
Prior art keywords
notification information
medical image
display
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080015012.5A
Other languages
English (en)
Other versions
CN113453607B (zh
Inventor
竹之内星矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113453607A publication Critical patent/CN113453607A/zh
Application granted granted Critical
Publication of CN113453607B publication Critical patent/CN113453607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种不会阻碍基于医用图像的检查、并且能够使基于报知信息的辅助结果的灵活利用充分地发挥功能的医用图像处理装置及方法。所述医用图像处理装置具备：图像获取部(40)，其获取医用图像；分类部(42)，其基于由图像获取部(40)获取的医用图像对医用图像或医用图像中包含的关注区域进行分类；报知信息生成部(43)，其根据分类后的分类结果生成显示用的第一报知信息和与第一报知信息不同的保存用的第二报知信息；以及记录部(48)，其保存医用图像和第二报知信息。在此，通过使显示用的第一报知信息与保存用的第二报知信息不同，显示用的第一报知信息能够设为仅用户(医生)可识别的报知形式(患者等无法识别的形式)的第一报知信息，另一方面，保存用的第二报知信息能够设为用户以外的人也能够理解的报知形式。

Description

医用图像处理装置及方法
技术领域
本发明涉及一种医用图像处理装置及方法，特别是涉及一种将基于医用图像自动地对病变等进行分类而得到的分类结果报知给医生或患者的技术。
背景技术
在专利文献1中记载了一种使提供给医生的分类结果与提供给患者的分类结果不同的图像处理装置。
专利文献1所记载的图像处理装置按照以时间序列拍摄的图像组所包含的每个图像，根据不同的基准(作为病变候选的可靠度的高低)对各图像内的病变候选区域进行分类。然后，生成能够辨别可靠度低的基准以上的病变候选区域和其他区域的第一影像信号，并将其输出到医生用的第一显示装置，生成能够辨别可靠度高的基准以上的病变候选区域和其他区域的第二影像信号，并将其输出到患者用的第二显示装置。
由此，不向患者提供不需要提供给患者的信息(可靠度低的病变候选区域的信息)，不会给患者造成过度不安。
以往技术文献
专利文献
专利文献1：日本特开2017-213058号公报
发明内容
发明要解决的技术课题
期待一种根据医用图像对病变是癌性还是非癌性进行分类，并将其分类结果报知给用户的辅助系统。
在报知分类结果时，期望以文字或形式、位置等不妨碍用户的诊断的形式进行。另外，若以能够明确识别为癌性的形式进行报知，则对除用户以外的人、特别是患者来说，会造成过度不安。但是，如果是仅进行检查的用户可识别的形式，则也有可能在学会等中难以得到专家的理解。
专利文献1所记载的图像处理装置以不同的可靠度的基准对图像内的病变候选区域进行分类，生成可视觉辨认其分类结果的医生用的第一影像信号和患者用的第二影像信号，并使其分别显示于医生用的第一显示装置和患者用的第二显示装置，因此未设想向医生和患者报知相同信息(同一医用图像和分类结果)的情况。另外，在专利文献1中，没有关于将医用图像与分类结果相关联地保存的记录部的记载。
本发明是鉴于这样的情况而完成的，其目的在于提供一种医用图像处理装置及方法，通过根据医用图像的分类结果以显示用和保存用的多个形式生成报知信息，不会阻碍基于医用图像的检查，并且能够使基于报知信息的辅助结果的灵活利用充分地发挥功能。
用于解决技术课题的手段
为了达到上述目的，本发明的一个方式所涉及的医用图像处理装置具备：图像获取部，其获取医用图像；分类部，其基于由图像获取部获取的医用图像对医用图像或医用图像中包含的关注区域进行分类；报知信息生成部，其根据分类后的分类结果生成显示用的第一报知信息和与第一报知信息不同的保存用的第二报知信息；以及记录部，其保存医用图像和第二报知信息。
根据本发明的一个方式，基于获取的医用图像对医用图像或医用图像中包含的关注区域进行分类，根据分类后的分类结果生成显示用的第一报知信息和与第一报知信息不同的保存用的第二报知信息。所生成的保存用的第二报知信息与医用图像一起保存在记录部中。在此，通过使显示用的第一报知信息与保存用的第二报知信息不同，显示用的第一报知信息能够设为仅用户(医生)可识别的报知形式(患者等无法识别的形式)的第一报知信息，另一方面，保存用的第二报知信息能够设为用户以外的人也能够理解的报知形式。
在本发明的另一方式所涉及的医用图像处理装置中，优选的是，记录部保存合成了医用图像和第二报知信息而得的合成图像。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，记录部将医用图像与第二报知信息相关联地保存。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，记录部由多个记录部构成，报知信息生成部以多个记录部的总数为上限来生成多个第二报知信息，多个记录部保存医用图像以及多个第二报知信息中的与各记录部对应的第二报知信息。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，具备显示控制部，所述显示控制部使医用图像和第一报知信息显示于显示部。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，报知信息生成部以多个显示部的总数为上限来生成多个第一报知信息，显示控制部使医用图像和多个第一报知信息分别与多个显示部相对应地显示。例如，能够使显示于用户用的显示部的第一报知信息与显示于患者用的显示部的第一报知信息不同。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，报知信息生成部生成不将分类结果的详细内容传达给患者的报知形式的第一报知信息和表示分类结果的详细内容的第二报知信息。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，分类结果包括分类的病变的确信度的信息，报知信息生成部生成省略了确信度的信息的第一报知信息和包含确信度的信息的第二报知信息。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，报知信息生成部根据显示部的分辨率信息获取分类结果的显示区域，生成与显示区域的大小对应地简化了分类结果的详细内容的第一报知信息和表示分类结果的详细内容的第二报知信息。由于显示部的分辨率的原因，有时充分确保显示分类结果的显示区域。在该情况下，优选的是，以收敛为显示区域的大小的方式简化显示第一报知信息。
在本发明的再一方式所涉及的医用图像处理装置中，优选的是，图像获取部获取时间序列的医用图像，记录部保存时间序列的医用图像和第二报知信息、或者时间序列的医用图像中包含的进行静止图像拍摄而得的医用图像和第二报知信息。
本发明的再一方式所涉及的医用图像处理方法包括：获取医用图像的步骤；基于获取的医用图像对医用图像或医用图像中包含的关注区域进行分类的步骤；根据分类后的分类结果生成显示用的第一报知信息和与第一报知信息不同的保存用的第二报知信息的步骤；使医用图像和第一报知信息显示于显示部的步骤；以及保存医用图像和第二报知信息的步骤。
发明效果
根据本发明，通过根据医用图像的分类结果以显示用和保存用的多个形式生成报知信息，不会阻碍基于医用图像的检查，并且能够使基于报知信息的辅助结果的灵活利用充分地发挥功能。
附图说明
图1是表示包括本发明所涉及的医用图像处理装置的内窥镜系统9的整体结构的概略图。
图2是表示医用图像处理装置14的实施方式的框图。
图3是表示本例的分类部42中应用的CNN的代表性结构例的示意图。
图4是表示分类结果与显示用的第一报知信息、保存用的第二报知信息的关系的图表。
图5A是表示显示用的第一合成图像的报知形式的第一实施方式的图。
图5B是表示保存用的第二合成图像的报知形式的第一实施方式的图。
图6A是表示显示用的第一合成图像的报知形式的第一实施方式的变形例的图。
图6B是表示保存用的第二合成图像的报知形式的第一实施方式的变形例的图。
图7A是表示显示用的第一合成图像的报知形式的第二实施方式的图。
图7B是表示保存用的第二合成图像的报知形式的第二实施方式的图。
图8A是表示显示用的第一合成图像的报知形式的第三实施方式的图。
图8B是表示保存用的第二合成图像的报知形式的第三实施方式的图。
图9是表示与显示器和记录部的数量对应的分类结果与显示用的第一报知信息、保存用的第二报知信息的关系的图表。
图10A是表示合成了保存用1的第二报知信息的保存用1的合成图像的图。
图10B是表示合成了保存用2的第二报知信息的保存用2的合成图像的图。
图11A是表示合成了显示用1的第一报知信息的显示用1的合成图像的图。
图11B是表示合成了显示用2的第一报知信息的显示用2的合成图像的图。
图12是表示本发明所涉及的医用图像处理方法的实施方式的流程图。
具体实施方式
以下，根据附图对本发明所涉及的医用图像处理装置及方法的优选实施方式进行说明。
[包括医用图像处理装置的内窥镜系统的整体结构]
图1是表示包括本发明所涉及的医用图像处理装置的内窥镜系统9的整体结构的概略图。
如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器(scope)10、光源装置11、内窥镜处理器装置12、显示装置13、医用图像处理装置14、操作部15以及显示器16。
内窥镜观测器10是拍摄包括被摄体像的时间序列的医用图像的装置，例如是软性内窥镜。该内窥镜观测器10具有：插入部20)，其插入到受检体内且具有顶端和基端；手边操作部21，其与插入部20的基端侧连接设置且供施术者把持进行各种操作；以及通用塞绳22，其与手边操作部21连接设置。
插入部20整体细径且形成为长条状。插入部20构成为从其基端侧朝向顶端侧依次连接设置有具有挠性的软性部25、能够通过手边操作部21的操作而弯曲的弯曲部26、以及内置有未图示的摄像光学系统(物镜)和摄像元件28等的顶端部27。
摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型的摄像元件。被观察部位的图像光经由在顶端部27的顶端面开口的未图示的观察窗和配置在该观察窗的后方的未图示的物镜入射到摄像元件28的摄像面上。摄像元件28对入射到该摄像面的被观察部位的图像光进行摄像(转换为电信号)，并输出摄像信号。
在手边操作部21设置有由施术者操作的各种操作部件。具体而言，在手边操作部21设置有用于弯曲部26的弯曲操作的两种弯曲操作旋钮29、供气供水操作用的供气供水按钮30以及吸引操作用的吸引按钮31。另外，在手边操作部21设置有：静止图像拍摄指示部32，其用于进行被观察部位的静止图像39的拍摄指示；以及处置器具导入口33，其将处置器具(未图示)插入到插通于插入部20内的处置器具插通通路(未图示)内。
通用塞绳22是用于将内窥镜观测器10与光源装置11连接的连接塞绳。该通用塞绳22内置有插通于插入部20内的光导35、信号电缆36以及流体管(未图示)。另外，在通用塞绳22的端部设有与光源装置11连接的连接器37A和从该连接器37A分支且与内窥镜处理器装置12连接的连接器37B。
通过将连接器37A与光源装置11连接，将光导35和流体管(未图示)插入光源装置11。由此，经由光导35和流体管(未图示)从光源装置11对内窥镜观测器10供给所需的照明光、水和气体。其结果，从顶端部27的顶端面的照明窗(未图示)朝向被观察部位照射照明光。另外，根据上述供气供水按钮30的按下操作，从顶端部27的顶端面的供气供水喷嘴(未图示)向顶端面的观察窗(未图示)喷射气体或水。
通过将连接器37B与内窥镜处理器装置12连接，信号电缆36与内窥镜处理器装置12电连接。由此，经由信号电缆36从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且从内窥镜处理器装置12向内窥镜观测器10输出控制信号。
光源装置11经由连接器37A向内窥镜观测器10的光导35供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等与观察目的相应的各种波长频带的特殊光。此外，特定波长频带是比白色波长频带窄的频带。
各种波长频带的特殊光包括特殊光图像(BLI(Blue Light Imaging or BlueLASER Imaging)、LCI(Linked Color Imaging)或NBI(Narrow BandImaging))用的特殊光。
BLI用的照明光是表层血管中的吸收率高的紫色光的比率高、并抑制了中层血管中的吸收率高的绿色光的比率的照明光，适于生成适合于受检体的粘膜表层的血管或构造的强调的图像(BLI)。
LCI用的照明光是紫色光的比率比白色光高、并适于捕捉比白色光细微的色调变化的照明光，适于生成也利用红色成分的信号进行了如以粘膜附近的颜色为中心、带有红色的颜色更红、泛白的颜色更白那样的颜色强调处理的图像(LCI)。
另外，NBI的照明光通过缩小照射的照明光的波长范围，适于生成强调了被照射的面的细微变化的图像(NBI)。
特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且第一例的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
特定波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带，并且第二例的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
特定波长频带的第三例包括吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，并且第三例的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带具有峰波长。该第三例的波长频带包括400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带，并且第三例的光在上述400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带具有峰波长。
特定波长频带的第四例是用于生物体内的荧光物质所发出的荧光的观察(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带，并且第五例的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
内窥镜处理器装置12经由连接器37B和信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37B和信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由包括被摄体像的时间序列的帧图像38A构成的图像(也称为“动态图像38”)。并且，在利用内窥镜观测器10的手边操作部21操作了静止图像拍摄指示部32的情况下，内窥镜处理器装置12与动态图像38的生成并行地将动态图像38中的一张帧图像设为与拍摄指示的定时对应的静止图像39。
动态图像38和静止图像39是对受检体内、即生物体内进行摄像而得到的医用图像。进而，在动态图像38和静止图像39是通过上述的特定波长频带的光(特殊光)得到的图像的情况下，两者是特殊光图像。然后，内窥镜处理器装置12将生成的动态图像38和静止图像39分别输出到显示装置13和医用图像处理装置14。
另外，内窥镜处理器装置12也可以基于通过上述白色光得到的普通光图像，生成(获取)具有上述特定波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥功能。并且，内窥镜处理器装置12通过进行基于普通光图像中包含的红色、绿色及蓝色[RGB(Red、Green、Blue)]或者青色、品红色及黄色[CMY(Cyan、Magenta、Yellow)]的颜色信息的运算来得到特定波长频带的信号。
另外，内窥镜处理器装置12例如也可以基于通过上述白色光得到的普通光图像和通过上述特定波长频带的光(特殊光)得到的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥功能。此外，上述的包括生物体内图像、普通光图像、特殊光图像以及特征量图像的动态图像38或静止图像39均是以基于图像的诊断、检查为目的对人的人体进行摄像、或者将计测的结果图像化而得到的医用图像。
显示装置13与内窥镜处理器装置12连接，作为显示从该内窥镜处理器装置12输入的动态图像38和静止图像39的显示部发挥功能。用户(医生)一边确认显示于显示装置13的动态图像38，一边进行插入部20的插拔操作等，在被观察部位发现了病变等的情况下，操作静止图像拍摄指示部32来执行被观察部位的静止图像拍摄，另外，进行诊断、活检等。
[医用图像处理装置]
医用图像处理装置14主要基于时间序列的医用图像将拍摄中的医用图像或医用图像中包含的关注区域分类为两个以上的类别中的任一类别，并将分类结果报知给用户，在本实施方式中，例如使用个人计算机。另外，操作部15使用与个人计算机有线连接或无线连接的键盘以及鼠标等，显示器(显示部)16使用可与个人计算机连接的液晶监视器等各种监视器。
图2是表示医用图像处理装置14的实施方式的框图。
图2所示的医用图像处理装置14主要由图像获取部40、CPU(Central ProcessingUnit)41、分类部42、报知信息生成部43、合成图像生成部44、显示控制部46、存储部47以及记录部48构成。
CPU41基于存储在存储部47中的程序进行动作，统一控制图像获取部40、分类部42、报知信息生成部43、合成图像生成部44、显示控制部46以及记录部48，另外，作为这些各部的一部分发挥功能。
图像获取部40使用与内窥镜处理器装置12(图1)有线连接或无线连接的未图示的图像输入输出接口，从内窥镜处理器装置12获取由包括被摄体像的时间序列的帧图像38A构成的图像(在本例中，为由内窥镜观测器10拍摄的动态图像38)。另外，在利用内窥镜观测器10在动态图像38的拍摄中途进行了已述的静止图像39的拍摄的情况下，图像获取部40从内窥镜处理器装置12获取动态图像38和静止图像39。
分类部42基于由图像获取部40获取的时间序列的帧图像38A获取帧图像38A的特征量，基于获取的特征量将各帧图像38A或各帧图像38A中包含的关注区域分类为两个以上的类别中的任一类别。
在本例中，如后所述，作为两个以上的类别，分类为“非肿瘤性”、“肿瘤性”、“其他”这三个类别中的一个类别。
报知信息生成部43是根据由分类部42分类的帧图像38A或关注区域的分类结果来生成显示用的第一报知信息和与第一报知信息不同的保存用的第二报知信息的部分。此外，关于报知信息生成部43的详细内容在后面叙述。
合成图像生成部44生成将帧图像38A与根据该帧图像38A的分类结果生成的显示用的第一报知信息合成而得的合成图像(显示用的第一合成图像)、和将帧图像38A与根据该帧图像38A的分类结果生成的保存用的第二报知信息合成而得的合成图像(保存用的第二合成图像)。
显示控制部46基于由图像获取部40获取的医用图像(动态图像38、静止图像39)生成显示用的图像数据并输出到显示器16，但在通过合成图像生成部44生成了显示用的第一合成图像的情况下，将显示用的第一合成图像的图像数据优先输出到显示器16。
由此，在显示器16上显示医用图像，另外，对于具有病变等关注区域的医用图像，显示表示该医用图像或关注区域的分类结果的显示用的第一报知信息(即，显示用的第一合成图像)。
存储部47作为CPU41的作业区域发挥功能，或者作为存储操作系统、医用图像处理程序等各种程序、表示医用图像的分类结果和与该分类结果对应的第一报知信息、第二报知信息的关系的表等的存储部发挥功能。
记录部48保存所拍摄的动态图像38、静止图像39，但在由合成图像生成部44生成了保存用的第二合成图像的情况下，优先保存保存用的第二合成图像。
<分类部>
接着，对分类部42的一实施方式进行说明。
本例的分类部42根据图像(帧图像38A)计算特征量，包括进行图像的识别处理的卷积神经网络(CNN：Convolutional Neural Network)，根据图像内的颜色信息、像素值的梯度等计算特征量。分类部42基于计算出的特征量将图像(医用图像)或图像中包含的关注区域在本例中分类为“非肿瘤性”、“肿瘤性”、“其他”这样的多个类别中的任一类别。
图3是表示本例的分类部42中应用的CNN的代表性结构例的示意图。
如图3所示，分类部(CNN)42具备输入层42A、具有由卷积层和池化层构成的多组及全连接层的中间层42B、以及输出层42C，各层成为多个“节点”由“边缘”连结的构造。
动态图像38的各帧图像38A被依次输入到输入层42A。
中间层42B具有以卷积层和池化层为一组的多组、以及全连接层，从由输入层输入的帧图像38A中提取特征量。卷积层对在前一层中位于附近的节点进行滤波处理(进行使用了滤波器的卷积运算)，获取“特征图”。池化层将从卷积层输出的特征图缩小而得到新的特征图。“卷积层”承担从图像中提取边缘等特征提取的作用，“池化层”承担赋予鲁棒性以使提取出的特征不受平行移动等的影响的作用。
此外，在中间层42B中，不限于将卷积层和池化层设为一组的情况，也包括卷积层连续的情况或归一化层。
全连接层是与前一层的所有节点加权结合，并输出通过激活函数变换后的值(特征变量)的部分，在本例中，输出针对帧图像38A或帧图像38A中包含的病变等关注区域的每个分类的特征变量。
作为推理部发挥功能的输出层42C基于来自全连接层的输出(特征变量)，使用软最大函数变换为概率，计算针对分类的各类别的得分(概率)。在本例中，为了将帧图像38A或关注区域分类为“非肿瘤性”、“肿瘤性”、“其他”这三个类别中的任一类别，输出层42C将三个类别的得分(三个得分的合计为100％)中的得分最高的类别和该类别的得分作为分类结果进行输出。
此外，在中间层42B的各卷积层中使用的滤波器的参数、全连接层的权重系数等预先通过多个学习数据而被最优化。
图4是表示分类结果与显示用的第一报知信息、保存用的第二报知信息的关系的图表。
在图4所示的例子中，在医用图像或医用图像中包含的关注区域的分类结果为“非肿瘤性”的情况下，显示用的第一报知信息是“NN”的字符信息，保存用的第二报知信息是“nonneoplastic”的字符信息。
另外，在分类结果为“肿瘤性”的情况下，显示用的第一报知信息是“N”的字符信息，保存用的第二报知信息是“neoplastic”的字符信息，在分类结果为“其他”的情况下，显示用的第一报知信息是“0”的字符信息，保存用的第二报知信息是“other”的字符信息。
在图4所示的例子中，显示用的第一报知信息成为保存用的第二报知信息的首字符，在不同的分类结果的首字符相同的情况下，设为至少能够区别的简化的字符信息。
第一报知信息可以设为可由用户任意设定，也可以按照预先设定的规则根据第二报知信息自动地生成。另外，也可以设为准备如图4所示的表示分类结果与显示用的第一报知信息、保存用的第二报知信息的关系的表，用户使用操作部15，用户能够分别任意地设定表上的第一报知信息和第二报知信息。
<报知形式的第一实施方式>
图5A和图5B分别是表示显示用的第一合成图像和保存用的第二合成图像的报知形式的第一实施方式的图。
如上所述，合成图像生成部44生成将帧图像38A与根据该帧图像38A的分类结果生成的显示用的第一报知信息合成而得的显示用的第一合成图像(参照图5A)、和将帧图像38A与根据该帧图像38A的分类结果生成的保存用的第二报知信息合成而得的保存用的第二合成图像(参照图5B)。
图5A和图5B表示通过分类部42得到“肿瘤性”的分类结果的情况下的显示用的第一合成图像和保存用的第二合成图像的一例。
得到“肿瘤性”的分类结果的情况下的显示用的第一报知信息如图4所示是“N”的字符信息，因此图5A所示的第一合成图像是将医用图像和表示分类结果(result)的“N”的字符信息合成而得的图像。
另一方面，得到“肿瘤性”的分类结果的情况下的保存用的第一报知信息如图4所示是“neoplastic”的字符信息，因此如图5B所示，第二合成图像是将医用图像和表示分类结果(result)的“neoplastic”的字符信息合成而得的图像。此外，在本例的保存用的第二合成图像中，如图5B所示，合成了被分类为病变的“肿瘤性”的确信度(得分)的信息(“70％”)，但在显示用的第一合成图像中未合成“肿瘤性”的确信度的信息。
显示用的第一合成图像在内窥镜诊断中显示于显示器16，可供用户(医生)和患者观察。该显示用的第一合成图像被实时显示，但不会被保存。
用户能够根据显示于显示器16的第一合成图像所包含的医用图像来进行内窥镜检查，另外，能够将第一合成图像中包含的第一报知信息(表示分类结果的“N”的字符信息)灵活利用于内窥镜检查。
此外，用户能够根据第一报知信息的“N”来识别分类部42对医用图像或关注区域的分类结果，但用户以外的人(患者)无法识别第一报知信息的“N”意味着什么。即，第一报知信息的“N”是分类结果不直接传达给患者的报知形式的信息，不会被识别为造成患者不安那样的信息。
另外，在图4所示的例子中，在分类结果为“其他”的情况下，显示用的第一报知信息是“0”的字符信息，保存用的第二报知信息是“other”的字符信息，但显示用的第一报知信息也可以设为“other”的字符信息。这是因为，在分类结果为“其他”的情况下，即使患者对其进行识别也不会造成过度不安。即，根据分类结果，显示用的第一报知信息和保存用的第二报知信息可以不同，也可以相同。
另一方面，如第一报知信息的“N”那样，如果是仅进行检查的用户可识别的形式，则有可能在学会等中难以得到专家或其他医生的理解。因此，保存用的第二报知信息设为了这种专家等能够理解的报知形式的信息(在本例中，为“neoplasric”的字符信息)，在图5B所示的例子中，还附加有针对分类结果的确信度的信息(“70％”)。
包含保存用的第二报知信息的保存用的第二合成图像被保存在记录部48中。所保存的第二合成图像是按每帧合成了第二报知信息而得的动态图像，但也可以在记录部48中仅保存合成了在内窥镜检查中被指示了静止图像拍摄的帧和针对该帧的第二报知信息而得的静止图像的合成图像。
由分类部42进行的医用图像或关注区域的分类分类为上述实施方式的“非肿瘤性”、“肿瘤性”及“其他”中的任一类别，但分类的类别并不限定于此。例如，有作为内窥镜所见分类的NICE(NBI International Colorectal Endoscopic)分类、JNET(The Japan NBIExpert Team)分类等。另外，包括基于病种的分类(例如，增生性息肉、线型、粘膜内癌、高度浸润癌、炎症性息肉等)、基于病变的形状、大小、位置等的分类、基于病变部的分类结果的确信度、重伤度的分类、以及将它们组合的分类。
在内窥镜图像是在NBI用的特殊光下拍摄的图像的情况下，分类部42能够按照NICE分类或JNET分类对内窥镜图像进行分类。另外，与分类结果对应的显示用的第一报知信息和保存用的第二报知信息当然根据分类方法而不同。
另外，报知信息的形式要素不限于如上所述的为文字、数值，包括图形、颜色、位置等。
<报知形式的第一实施方式的变形例>
图6A和图6B是表示第一报知信息和第二报知信息的报知形式的第一实施方式的变形例的图，表示分类部42将医用图像或关注区域分类为NICE分类的“Type2”的情况下的显示用的第一合成图像和保存用的第二合成图像。
NICE分类的“Type2”是线型“adenoma”的可能性最高的病理，因此显示用的第一报知信息设为作为“adenoma”的首字符的“A”的字符信息。因此，如图6A所示，显示用的第一合成图像设为了将医用图像和“A”的字符信息合成而得的图像。
另一方面，得到NICE分类的“Type2”的分类结果的情况下的保存用的第二报知信息设为“adenoma”的字符信息。因此，如图6B所示，保存用的第二合成图像设为了将医用图像和“adenoma”的字符信息合成而得的图像。
这样，报知形式的第一实施方式的变形例与报知形式的第一实施方式同样，显示用的第一报知信息设为分类结果不直接传达给患者的报知形式的信息，保存用的第二报知信息设为专家等能够理解的报知形式的信息。
<报知形式的第二实施方式>
图7A和图7B是表示第一报知信息和第二报知信息的报知形式的第二实施方式的图，表示分类部42将医用图像或关注区域分类为NICE分类的“Type2”的情况下的显示用的第一合成图像和保存用的第二合成图像。
在分类为NICE分类的“Type2”的情况下，在得到作为线型“adenoma”的确信度高(癌性高)的分类结果的情况下，显示用的第一报知信息设为不引起注意的颜色(例如，无彩色)的“adenoma”的字符信息。因此，如图7A所示，显示用的第一合成图像设为了将医用图像和显示用的第一报知信息(不引起注意的颜色的“adenoma”的字符信息)合成而得的图像。
另一方面，得到NICE分类的“Type2”的分类结果的情况下的保存用的第二报知信息例如设为红色等唤起注意的颜色的“adenoma”的字符信息。因此，如图7B所示，保存用的第二合成图像设为了将医用图像和唤起注意的颜色的“adenoma”的字符信息合成而得的图像。
这样，报知形式的第二实施方式的显示用的第一报知信息在得到病变的确信度高(癌性高)的分类结果的情况下，设为不引起注意的颜色的字符信息，另一方面，保存用的第二报知信息设为引起注意的颜色的字符信息。
由此，即使患者观察显示器16所显示的第一合成图像，电能够使病变的癌性等不会传达给患者，能够避免对患者造成不安。
用于唤起用户注意的信息不限于字符信息的颜色，可考虑病变的确信度的数值信息的附加、字符信息的大小及位置等。
<报知形式的第三实施方式>
图8A和图8B是表示第一报知信息和第二报知信息的报知形式的第三实施方式的图，表示分类部42将医用图像或关注区域分类为NICE分类的“Type2”的情况下的显示用的第一合成图像和保存用的第二合成图像。
报知信息生成部43获取显示用的第一合成图像的输出目的地的显示器的分辨率信息。
在显示器的分辨率低的情况下，若减小医用图像的图像尺寸，则对诊断产生不良影响，因此医用图像优选以拍摄时的图像尺寸进行显示。因此，在显示器的分辨率低的情况下，医用图像满屏显示在显示器的画面上，其结果，有时无法确保充分显示与分类结果对应的显示用的第一报知信息的显示区域。
因此，报知信息生成部43根据从显示器获取的显示器的分辨率信息获取分类结果的显示区域，生成与显示区域的大小对应地简化了分类结果的详细内容的显示用的第一报知信息。
在图8A所示的报知形式的第三实施方式中，分类为NICE分类的“Type2”的情况下的显示用的第一报知信息将“adenoma”简化为仅其首字符的“A”。
另外，合成图像生成部44将显示器的画面的右下区域作为分类结果的显示区域，生成在该显示区域合成了“A”的显示用的第一合成图像。
另一方面，在图8B所示的报知形式的第三实施方式中，得到NICE分类的“Type2”的分类结果的情况下的保存用的第二报知信息不受显示器的分辨率影响，因此设为了表示分类结果的详细内容的第二报知信息(未简化的“adenoma”的字符信息)。
另外，合成图像生成部44生成在医用图像的右侧区域的大致中央合成了“adenoma”的字符信息的显示用的第二合成图像。
即，显示用的第一报知信息的尺寸有时因显示器的分辨率而受到限制，在该情况下，通过简化显示用的第一报知信息自身，减小第一显示信息的尺寸。另一方面，由于保存用的第二报知信息不必与显示器的尺寸一致，因此不减小与分类结果对应的第二报知信息的尺寸，设为了表示分类结果的详细内容的第二报知信息。
此外，在图8A和图8B所示的例子中，第一报知信息将“adenoma”简化为其首字符的“A”，但并不限于字符信息的简化，在作为分类结果包含多个信息的情况下，也可以设为通过从多个信息仅筛选为必要的信息来简化显示用的信息量。
<与显示器和记录部的数量对应的报知形式>
图9是表示与显示器和记录部的数量对应的分类结果与显示用的第一报知信息、保存用的第二报知信息的关系的图表，表示显示器和记录部分别各设置有两个的情况。
根据设施不同，存在将显示器分为患者用和用户用的情况、和一边观察相同的显示器一边进行检查的情况。另外，在记录时也存在想区分设施用和学会用等保存的信息的情况。
图9所示的两个显示用的第一报知信息和两个保存用的第二报知信息是分类部42将医用图像或关注区域分类为分类结果“1”、“2”、“3”、“4”、……的情况。
分类结果“1”、“2”、“3”分别表示分类为NICE分类的“Type1”、“Type2”、“Type3”的情况，分类结果“4”表示分类为“Adenoma”、确信度“70％”的情况。
与分类结果“1”、“2”、“3”、“4”对应的保存用1的第二报知信息是NICE分类的“Type1”、“Type2”、“Type3”所表示的可能性最高的病理的“Hyperplastic”、“adenoma”、“Malignancy”、及红色字符的“Adenoma”，与其对应的显示用1的第一报知信息是这些字符信息的首字符“H”、“A”、“M”、“A”。
另外，与分类结果“1”、“2”、“3”、“4”对应的保存用2的第二报知信息是“NICE分类Typel”、“NICE分类Type2”、“NICE分类Type3”及“Adenoma 70％”，与其对应的显示用2的第二报知信息是“Type A”、“Type B”、“Type C”及无彩色的“Adenoma”。
在此，与对应于分类结果“1”、“2”、“3”的保存用2的第二报知信息对应的显示用2的第一报知信息是“Type A”、“Type B”、“Type C”，但这些第一报知信息的分类方法、“TypeA”、“Type B”、“Type C”的含义不明，因此用户以外的人(患者)无法识别分类结果。与对应于分类结果“4”的保存用2的第二报知信息对应的显示用2的第一报知信息是无彩色的“Adenoma”，且省略了确信度的数值，不会对患者造成不安。
在图9所示的例子中，示出了显示器和记录部分别各设置有两个的情况，但也可以是显示器和记录部中的至少一方为两个以上的情况。另外，报知信息生成部43在设置有多个显示器的情况下，以多个显示器的总数为上限来生成多个第一报知信息，在设置有多个记录部的情况下，以多个记录部的总数为上限来生成多个第二报知信息。
图10A和图10B分别表示合成了保存用1、2的第二报知信息的保存用1、2的合成图像，保存用1的合成图像保存在记录部48A中，保存用2的合成图像保存在记录部48B中。此外，记录部48A及48B可以是物理上不同的记录部，也可以是记录部48(图2)中的不同的保存区域。
图11A和图11B分别表示合成了显示用1、2的第一报知信息的显示用1、2的合成图像，显示用1的合成图像显示于显示器16A，显示用2的合成图像显示于显示器16B。
[医用图像处理方法]
图12是表示本发明所涉及的医用图像处理方法的实施方式的流程图，表示图2所示的医用图像处理装置14的各部的处理顺序。
在图12中，图像获取部40从内窥镜处理器装置12获取作为处理对象的时间序列的医用图像中的一帧的医用图像(步骤S10)。
分类部42根据在步骤S10中获取的医用图像求出医用图像的特征量，基于该特征量将医用图像或医用图像中包含的关注区域分类为两个以上的类别中的任一类别(步骤S12)。例如，在图4所示的例子中，将医用图像或关注区域分类为“非肿瘤性”、“肿瘤性”、“其他”这样的多个类别中的任一类别。
报知信息生成部43根据分类部42对医用图像或关注区域的分类结果，生成显示用的第一报知信息和保存用的第二报知信息(步骤S14)。如图4所示，保存用的第二报知信息是与“非肿瘤性”、“肿瘤性”、“其他”的分类结果对应的“nonneoplastic”、“neoplastic”、“other”的字符信息，但显示用的第一报知信息是省略了这些第二报知信息的“NN”、“N”、“0”，用户以外的人(患者)无法识别显示用的第一报知信息所表示的分类结果。
合成图像生成部44生成将医用图像与第一报知信息合成而得的显示用的第一合成图像、和将医用图像与第二报知信息合成而得的保存用的第二合成图像(步骤S16)。
显示控制部46使显示用的第一合成图像显示于显示器16(步骤S18)，记录部48保存保存用的第二合成图像(步骤S20)。
接着，CPU41判别是否有来自操作部15的基于内窥镜图像的诊断结束(或摄影结束)的指示(步骤S22)。CPU41在没有诊断结束的指示的情况(“No”的情况)下，转移到步骤S10，通过步骤S10至步骤S22执行针对下一帧的医用图像的处理，在有诊断结束的指示的情况(“Yes”的情况)下，结束本处理。
[其他]
本发明所涉及的分类器不限于通过CNN等学习器对医用图像或医用图像中包含的关注区域进行分类的分类器，也可以通过图像处理对医用图像内的颜色、像素值的梯度、形状、大小等特征量进行分析来检测关注区域，根据检测到的关注区域的特征量将医用图像或医用图像中包含的关注区域分类为两个以上的类别中的任一类别，亦可以将其与学习器并用。
另外，医用图像处理装置14也可以不设置显示控制部46而将显示用的合成图像输出到内窥镜处理器装置12，内窥镜处理器装置12所包含的显示控制部(未图示)使显示用的合成图像显示于显示装置13。
在上述实施方式中，内窥镜处理器装置12和医用图像处理装置14分开设置，但是内窥镜处理器装置12和医用图像处理装置14也可以一体化。即，也可以在内窥镜处理器装置12中设置作为医用图像处理装置14的功能。
另外，在上述实施方式中，合成图像生成部44生成将医用图像和保存用的第二报知信息合成而得的第二合成图像，但不限于此，也可以将医用图像和第二报知信息相关联地保存。在该情况下，第二报知信息不是表示第二报知信息的图像信息，例如可以设为文本信息，能够作为针对医用图像的附属信息进行附加。通过将第二报知信息设为文本信息，可以编辑第二报知信息。另外，在医用图像是动态图像的情况下，通过将动态图像的帧编号或帧的类型戳赋予到与各帧对应的第二报知信息中，能够将动态图像的各帧与第二报知信息相关联地记录。
而且，执行上述实施方式的医用图像处理装置14的各种控制的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种控制部发挥功能的通用处理器即CPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等在制造后可改变电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、以及ASIC(Application Specific Integrated Circuit)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。另外，也可以由一个处理器构成多个控制部。作为由一个处理器构成多个控制部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个控制部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个控制部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种控制部。
另外，在上述实施方式中，将由内窥镜观测器10拍摄到的时间序列的图像或静止图像设为了处理对象的医用图像，但不限于此，例如也可以是由超声波诊断装置、X射线摄影装置等其他医疗设备拍摄到的医用图像。
而且另外，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内能够进行各种变形，这是不言而喻的。
符号说明
9 内窥镜系统
10 内窥镜观测器
11 光源装置
12 内窥镜处理器装置
13 显示装置
14 医用图像处理装置
15 操作部
16、16A、16B 显示器
20 插入部
21 手边操作部
22 通用塞绳
25 软性部
26 弯曲部
27 顶端部
28 摄像元件
29 弯曲操作旋钮
30 供气供水按钮
31 吸引按钮
32 静止图像拍摄指示部
33 处置器具导入口
35 光导
36 信号电缆
37A 连接器
37B 连接器
38 动态图像
38A 帧图像
39 静止图像
40 图像获取部
41 CPU
42 分类部
42A 输入层
42B 中间层
42C 输出层
43 报知信息生成部
44 合成图像生成部
46 显示控制部
47 存储部
48、48A、48B 记录部
S10～S22 步骤

Claims (11)

1.一种医用图像处理装置，其中，具备：
图像获取部，其获取医用图像；
分类部，其基于由所述图像获取部获取的所述医用图像对所述医用图像或所述医用图像中包含的关注区域进行分类；
报知信息生成部，其根据所述分类后的分类结果生成显示用的第一报知信息和与所述第一报知信息不同的保存用的第二报知信息；以及
记录部，其保存所述医用图像和所述第二报知信息。
2.根据权利要求1所述的医用图像处理装置，其中，
所述记录部保存合成了所述医用图像和所述第二报知信息而得的合成图像。
3.根据权利要求1所述的医用图像处理装置，其中，
所述记录部将所述医用图像与所述第二报知信息相关联地保存。
4.根据权利要求1至3中任一项所述的医用图像处理装置，其中，
所述记录部由多个记录部构成，
所述报知信息生成部以所述多个所述记录部的总数为上限来生成多个所述第二报知信息，
所述多个所述记录部保存所述医用图像以及所述多个所述第二报知信息中的与各记录部对应的所述第二报知信息。
5.根据权利要求1至4中任一项所述的医用图像处理装置，其中，
所述医用图像处理装置具备显示控制部，所述显示控制部使所述医用图像和所述第一报知信息显示于显示部。
6.根据权利要求5所述的医用图像处理装置，其中，
所述报知信息生成部以多个所述显示部的总数为上限来生成多个所述第一报知信息，
所述显示控制部使所述医用图像和所述多个所述第一报知信息分别与所述多个显示部相对应地显示。
7.根据权利要求1至6中任一项所述的医用图像处理装置，其中，
所述报知信息生成部生成不将所述分类结果的详细内容传达给患者的报知形式的所述第一报知信息和表示所述分类结果的详细内容的所述第二报知信息。
8.根据权利要求1至7中任一项所述的医用图像处理装置，其中，
所述分类结果包含所述分类的病变的确信度的信息，
所述报知信息生成部生成省略了所述确信度的信息的所述第一报知信息和包含所述确信度的信息的所述第二报知信息。
9.根据权利要求1至8中任一项所述的医用图像处理装置，其中，
所述报知信息生成部根据显示部的分辨率信息获取所述分类结果的显示区域，生成与所述显示区域的大小对应地简化了所述分类结果的详细内容的所述第一报知信息和表示所述分类结果的详细内容的所述第二报知信息。
10.根据权利要求1至9中任一项所述的医用图像处理装置，其中，
所述图像获取部获取时间序列的所述医用图像，
所述记录部保存所述时间序列的所述医用图像和所述第二报知信息、或者所述时间序列的所述医用图像中包含的进行静止图像拍摄而得的所述医用图像和所述第二报知信息。
11.一种医用图像处理方法，其中，包括：
获取医用图像的步骤；
基于所述获取的所述医用图像对所述医用图像或所述医用图像中包含的关注区域进行分类的步骤；
根据所述分类后的分类结果生成显示用的第一报知信息和与所述第一报知信息不同的保存用的第二报知信息的步骤；
使所述医用图像和所述第一报知信息显示于显示部的步骤；以及
保存所述医用图像和所述第二报知信息的步骤。
CN202080015012.5A 2019-03-08 2020-03-02 医用图像处理装置及方法 Active CN113453607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-042742 2019-03-08
JP2019042742 2019-03-08
PCT/JP2020/008729 WO2020184257A1 (ja) 2019-03-08 2020-03-02 医用画像処理装置及び方法

Publications (2)

Publication Number Publication Date
CN113453607A true CN113453607A (zh) 2021-09-28
CN113453607B CN113453607B (zh) 2024-02-13

Family

ID=72427447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080015012.5A Active CN113453607B (zh) 2019-03-08 2020-03-02 医用图像处理装置及方法

Country Status (5)

Country Link
US (1) US20210366593A1 (zh)
EP (1) EP3936027A4 (zh)
JP (1) JP7216187B2 (zh)
CN (1) CN113453607B (zh)
WO (1) WO2020184257A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686867A (zh) * 2020-12-31 2021-04-20 上海商汤智能科技有限公司 医学图像的识别方法及装置、电子设备和存储介质
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312472A (ja) * 2001-01-24 2002-10-25 Siemens Medical Solutions Usa Inc 医療情報システム及び医療情報システムによって使用される方法
CN102893306A (zh) * 2011-05-19 2013-01-23 株式会社东芝 医用图像诊断装置及图像处理装置
JP2013103023A (ja) * 2011-11-15 2013-05-30 Otoichi:Kk 画像診断支援装置および画像診断支援方法
CN103476329A (zh) * 2012-01-26 2013-12-25 奥林巴斯医疗株式会社 医疗信息记录装置
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
CN111278349B (zh) * 2017-10-26 2023-03-24 富士胶片株式会社 医疗图像处理装置
US20210183055A1 (en) * 2019-12-13 2021-06-17 GE Precision Healthcare LLC Methods and systems for analyzing diagnostic images
JP2022190622A (ja) * 2021-06-14 2022-12-26 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312472A (ja) * 2001-01-24 2002-10-25 Siemens Medical Solutions Usa Inc 医療情報システム及び医療情報システムによって使用される方法
CN102893306A (zh) * 2011-05-19 2013-01-23 株式会社东芝 医用图像诊断装置及图像处理装置
JP2013103023A (ja) * 2011-11-15 2013-05-30 Otoichi:Kk 画像診断支援装置および画像診断支援方法
CN103476329A (zh) * 2012-01-26 2013-12-25 奥林巴斯医疗株式会社 医疗信息记录装置
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL F BYRNE ET AL: "Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model", 《GUT MICROBIOTA》, vol. 68, no. 1, pages 94 - 100, XP055736721, DOI: 10.1136/gutjnl-2017-314547 *

Also Published As

Publication number Publication date
EP3936027A1 (en) 2022-01-12
JP7216187B2 (ja) 2023-01-31
CN113453607B (zh) 2024-02-13
WO2020184257A1 (ja) 2020-09-17
JPWO2020184257A1 (ja) 2021-12-16
US20210366593A1 (en) 2021-11-25
EP3936027A4 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
JP6890184B2 (ja) 医療画像処理装置及び医療画像処理プログラム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
CN111936032B (zh) 图像处理装置、内窥镜系统及图像处理方法
US20210097331A1 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
US11950760B2 (en) Endoscope apparatus, endoscope operation method, and program
US11918176B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP2009201994A (ja) 生体内画像コントラストを強化するための方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20210366593A1 (en) Medical image processing apparatus and medical image processing method
WO2020054542A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN111031889B (zh) 医疗图像处理装置及医疗图像处理方法
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
EP4356814A1 (en) Medical image processing device, medical image processing method, and program
CN112689469B (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
WO2017017735A1 (ja) 画像処理装置、表示制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant