CN112584742A - 医疗图像处理系统 - Google Patents

医疗图像处理系统 Download PDF

Info

Publication number
CN112584742A
CN112584742A CN201980054356.4A CN201980054356A CN112584742A CN 112584742 A CN112584742 A CN 112584742A CN 201980054356 A CN201980054356 A CN 201980054356A CN 112584742 A CN112584742 A CN 112584742A
Authority
CN
China
Prior art keywords
region
interest
display
medical image
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980054356.4A
Other languages
English (en)
Other versions
CN112584742B (zh
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112584742A publication Critical patent/CN112584742A/zh
Application granted granted Critical
Publication of CN112584742B publication Critical patent/CN112584742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种在从医疗图像中检测关注区域的情况下能够防止漏看关注区域、并且即使在关注区域从医疗图像中消失的情况下也能够掌握关注区域的消失方向的医疗图像处理系统。关注区域检测部(41)从医疗图像中检测关注区域。随着关注区域的移动，在关注区域的位置发生了变化的情况下，显示控制部(37)针对在关注区域的位置发生变化前利用关注区域检测部检测到的关注区域的检测位置，维持将关注区域的检测结果显示于监视器(34)固定期间。

Description

医疗图像处理系统
技术领域
本发明涉及一种使用医疗图像的分析结果的医疗图像处理系统。
背景技术
在当前的医疗领域中，像具备光源装置、内窥镜及处理器装置的内窥镜系统等那样，使用医疗图像的医疗图像处理系统正在普及。另外，近年来，通过从医疗图像中提取存在病变部可能性的关注区域，并对提取的关注区域进行图像分析，来获取有关病况的诊断信息。
例如，在专利文献1中，预先保存从医疗图像中检测到的关注区域的图像，并在关注区域从医疗图像上消失的定时，在与显示医疗图像的观察区域不同的区域，显示预先保存的关注区域的图像。另外，在专利文献2中，在检测到关注区域的情况下，设为将表示检测到关注区域的提醒信息显示固定期间(固定时间的期间)。
以往技术文献
专利文献
专利文献1：国际公开第2017/216922号
专利文献2：日本特开2011-160848号公报
发明内容
发明要解决的技术课题
如专利文献2所示，通过将提醒信息显示固定期间，能够防止用户漏看关注区域。然而，在关注区域只在医疗图像上瞬间闪过那样的情况下，虽然能够通过提醒信息的显示来防止漏看关注区域，但是由于提醒显示显示于医疗图像的整个周缘部，因此对于关注区域在哪个方向上消失却无法掌握。为此，用户需要花费时间来掌握关注区域的消失方向，因此可能无法可靠地进行诊断。
本发明的目的在于提供一种在从医疗图像中检测关注区域的情况下能够防止漏看关注区域、并且即使在关注区域从医疗图像中消失的情况下也能够掌握关注区域的消失方向的医疗图像处理系统。
用于解决技术课题的手段
本发明的医疗图像处理系统具备医疗图像获取部、关注区域检测部以及显示控制物。医疗图像获取部获取拍摄观察对象而得到的医疗图像。关注区域检测部从医疗图像中检测关注区域。随着关注区域的移动，在关注区域的位置发生了变化的情况下，显示控制部针对在关注区域的位置发生变化前利用关注区域检测部检测到的关注区域的检测位置，维持将关注区域的检测结果显示于显示部固定期间。
优选的是，显示控制部在关注区域的检测位置中的特定的检测位置维持关注区域的检测结果的显示固定期间。优选的是，显示控制部根据检测到关注区域的定时，使关注区域的检测结果的显示方式发生变化。
优选的是，关注区域的检测结果的显示方式是用至少包含关注区域的图形表示的关注区域用图形，显示控制部根据检测到关注区域的定时，使关注区域用图形的显示方式发生变化。优选的是，在关注区域用图形的显示方式中，包括关注区域用图形的形状、大小、颜色、或关注区域用图形的线的强调程度。
优选的是，关注区域的检测结果的显示方式是对关注区域进行了强调的关注区域强调显示，显示控制部根据检测到关注区域的定时，使关注区域强调显示的强调程度发生变化。优选的是，在关注区域强调显示中，包括用伪彩色对关注区域进行了强调的伪彩色强调显示，显示控制部根据检测到关注区域的定时，使关注区域强调显示的强调程度或颜色成分的比例发生变化。
优选的是，显示控制部在显示医疗图像的所述显示部的第一显示区域、或与显示医疗图像的显示部的第一显示区域不同的第二显示区域中的至少一方中显示关注区域的检测结果。优选的是，在第一显示区域显示的关注区域的检测结果的显示方式与在第二显示区域显示的关注区域的检测结果的显示方式相同或不同。优选的是，显示控制部在显示医疗图像的显示部的第一显示区域的外周部中的与关注区域的检测位置对应的部分显示关注区域的检测结果。
发明效果
根据本发明，在从医疗图像中检测关注区域的情况下，能够防止漏看关注区域，并且，即使在关注区域从医疗图像中消失的情况下，也能够掌握关注区域的消失方向。
附图说明
图1是表示图像处理系统和内窥镜系统等的框图。
图2是表示内窥镜系统的框图。
图3是表示医疗图像分析处理部的功能的框图。
图4是表示定时T(N)、定时T(N-Q)、定时T(N-S)的医疗图像的说明图。
图5是表示在关注区域处于医疗图像上的情况下、在关注区域的各检测位置显示固定期间的边界框的说明图。
图6是表示在关注区域从医疗图像中消失的情况下、在关注区域的各检测位置显示固定期间的边界框的图像图。
图7是表示边界框的连续显示的医疗图像的图像图。
图8是拉开多个检测位置中的几个检测位置而仅在特定的检测位置显示边界框的医疗图像的图像图。
图9是根据关注区域的检测定时使边界框的框的浓度发生了变化的医疗图像的图像图。
图10是根据关注区域的检测定时使边界框的显示方式发生了变化的医疗图像的图像图。
图11是根据关注区域的检测定时使关注区域用图形的形状发生了变化的医疗图像的图像图。
图12是表示在关注区域处于医疗图像上的情况下、显示固定期间的伪彩色强调显示的说明图。
图13是表示在关注区域处于医疗图像上的情况下、连续显示固定期间的伪彩色强调显示的说明图。
图14是表示在关注区域从医疗图像中消失的情况下、连续显示固定期间的伪彩色强调显示的说明图。
图15是根据关注区域的检测定时使伪彩色强调显示的强调程度发生了变化的医疗图像的图像图。
图16是表示显示于第二显示区域的边界框的监视器的图像图。
图17是表示显示于第一显示区域的边界框和显示于第二显示区域的伪彩色强调显示的监视器的图像图。
图18是表示显示于第一显示区域的左下外周部的条的监视器的图像图。
图19是表示包括图像处理系统的诊断支援装置的概略图。
图20是表示包括图像处理系统的医疗业务支援装置的概略图。
具体实施方式
[第一实施方式]
如图1所示，图像处理系统10具备医疗图像获取部11、医疗图像分析处理部12、显示部13、显示控制部15、输入接收部16、总括控制部17及保存部18。
医疗图像获取部11从作为医疗装置的内窥镜系统21等直接、或经由PACS(PictureArchiving and Communication System)22等管理系统或者其他信息系统，获取包含被摄体像的医疗图像。医疗图像是静止图像或动态图像(所谓的检查动态图像)。医疗图像为动态图像时，医疗图像获取部11可在检查后获取构成动态图像的帧图像作为静止图像。另外，医疗图像为动态图像时，在医疗图像的显示中，除了显示构成动态图像的一个代表帧的静止图像以外，还包括一次或多次回放动态图像。另外，在医疗图像获取部11获取的医疗图像中，除了医生使用内窥镜系统21等医疗装置拍摄的图像以外，还包括与医生的拍摄指示无关地由内窥镜系统21等医疗装置自动拍摄到的图像。此外，在本实施方式中，由于图像处理系统10及内窥镜系统21都使用医疗图像进行图像处理，故图像处理系统10及内窥镜系统21皆相当于医疗图像处理系统。作为医疗图像系统，此外还包括实时获取并显示图像的超声波诊断装置。
医疗图像获取部11在能够获取多个医疗图像的情况下，可选择性地获取这些医疗图像中的一个或多个医疗图像。另外，医疗图像获取部11可获取在多个互不相同的检查中获取的多个医疗图像。例如，可获取在过去进行的检查中获取的医疗图像和在最新的检查中获取的医疗图像中的一方或两方。即，医疗图像获取部11可任意获取医疗图像。
在本实施方式中，获得多个包含被摄体像的医疗图像。更具体而言，获取在一次特定的检查中拍摄到的医疗图像，并且，当存在多个在一次特定的检查中拍摄到的医疗图像时，获取一系列医疗图像中的多个医疗图像。另外，在本实施方式中，图像处理系统10与内窥镜系统21连接，从内窥镜系统21获取医疗图像。即，在本实施方式中，医疗图像是内窥镜图像。
显示部13是显示医疗图像获取部11获取的医疗图像、及医疗图像分析处理部12的分析结果的显示器。可共用图像处理系统10所连接的设备等包括的监视器或显示器，并作为图像处理系统10的显示部13来使用。显示控制部15控制显示部13中的医疗图像及分析结果的显示方式。
输入接收部16接受来自连接于图像处理系统10的鼠标、键盘、及其他操作设备的输入。图像处理系统10的各部的动作可使用这些操作设备进行控制。
总括控制部17总括控制图像处理系统10的各部的动作。在输入接收部16接收到使用了操作设备的操作输入的情况下，总括控制部17根据该操作输入控制图像处理系统10的各部。
保存部18将医疗图像的静止画面等保存在图像处理系统10包括的存储器等存储设备(未图示)、或内窥镜系统21等医疗装置或者PACS22包括的存储设备(未图示)中。
如图2所示，在本实施方式中，图像处理系统10所连接的内窥镜系统21具有通过照射白色的波长频带的光或特定波长频带的光中的至少任一种光拍摄被摄体来获取图像的内窥镜31、经由内窥镜31将照明光照射到被摄体内的光源装置32、处理器装置33、及显示使用内窥镜31拍摄到的内窥镜图像等医疗图像的监视器34。内窥镜31在照明光中使用的特定波长频带的光例如是比绿色波长频带短的波长频带的光、特别是可见范围的蓝色频带或紫色频带的光。
处理器装置33具备医疗图像获取部35、医疗图像分析处理部36及显示控制部37。医疗图像获取部35获取从内窥镜31输出的医疗图像。医疗图像分析处理部36对通过医疗图像获取部35获取的医疗图像进行分析处理。在医疗图像分析处理部36的处理内容与在图像处理系统10的医疗图像分析处理部12的处理内容同样。显示控制部37将在医疗图像分析处理部36获得的医疗图像显示于监视器34(显示部)。处理器装置33与图像处理系统10连接。此外，医疗图像获取部35与医疗图像获取部11同样，医疗图像分析处理部36与医疗图像分析处理部12同样，显示控制部37与显示控制部15同样。
医疗图像分析处理部36使用医疗图像获取部11获取的医疗图像进行分析处理。如图3所示，医疗图像分析处理部12包括关注区域检测部41。在关注区域检测部41中，进行从医疗图像中检测关注区域的关注区域检测处理。作为关注区域检测处理，例如，可以使用NN(Neural Network)、CNN(Convolutional Neural Network)、Adaboost、随机森林(randomforest)等。另外，作为关注区域检测处理，也可以基于通过医疗图像的颜色信息、像素值的梯度等获得的特征量，进行关注区域的检测。此外，像素值的梯度等例如根据被摄体的形状(粘膜的整体起伏或局部凹陷或者凸起等)、颜色(炎症、出血、发红、或由于萎缩引起的白化等颜色)、组织的特征(血管的粗细、深度、密度或者它们的组合等)、或结构的特征(腺管开口形态(pit pattern)等)等表现出变化。
此外，通过关注区域检测部41检测的关注区域例如是包括以癌症为代表的病变部、良性肿瘤部、炎症部(除了所谓的炎症以外，还包括有出血或萎缩等变化的部分)、大肠憩室、治疗疤痕(EMR(Endoscopic mucosal resection)瘢痕、ESD(Endoscopic SubmucosalDissection)瘢痕、夹持部位)、出血点、穿孔、血管异型性、由于因加热而导致的烧伤疤或者通过着色剂、荧光药剂等的着色进行了标记的标记部、或实施了生物体检查(所谓的活检)的活检实施部的区域。即，包含病变的区域、可能发生病变的区域、进行了活检等某种处置的区域、夹具或钳子等处置器具、或暗部区域(由于是褶皱(皱纹)的背后、管腔里面而导致观察光难以到达的区域)等无论是否可能发生了病变都需要详细观察的区域等可成为关注区域。在内窥镜系统21中，关注区域检测部41检测包括病变部、良性肿瘤部、炎症部、大肠憩室、治疗疤痕、出血点、穿孔、血管异型性标记部或活检实施部中的至少任意一者的区域作为关注区域。
表示通过关注区域检测部41检测到关注区域的关注区域的检测结果被显示控制部37显示于监视器34。在本实施方式中，如图4所示，随着时间的经过，在同一关注区域44从监视器34的第一显示区域34a的右上经由中央部移动到左下的情况下，显示关注区域的检测结果，以便知道关注区域44的移动路径。在此，定时(N)的医疗图像46是最新的图像。定时T(N-Q)的医疗图像47是在定时(N)之前的定时获取的图像。定时T(N-S)的医疗图像48是在定时T(N-Q)之前的定时获取的图像。在各医疗图像中，同一关注区域44由关注区域检测部41检测。以下，对关注区域44的移动移动到右上、中央部、左下时的关注区域的检测结果的显示进行说明。
此外，N、Q、S是2以上的自然数，N大于Q、S，S大于Q。另外，监视器34的第一显示区域34a设于监视器34的中央部分，是显示医疗图像的区域。监视器34的第二显示区域34b是与第一显示区域34a不同的显示区域，是用于显示各种诊断信息等的区域。
在第一实施方式中，通过用至少包含关注区域的图形表示的关注区域用图形来显示关注区域的检测结果。作为关注区域用图形，例如，使用矩形的边界框。如图5所示，在定时T(N)的医疗图像46中，显示有包围在左下位置(检测位置)检测到的关注区域44周围而显示的边界框50。在医疗图像46中，除了边界框50以外，还持续显示有表示在定时T(N-Q)在中央位置(检测位置)检测到关注区域44的边界框51和表示在定时T(N-S)在右上位置(检测位置)检测到关注区域44的边界框52。此外，边界框50、51、52在检测到关注区域44后持续显示固定期间，之后按照检测到关注区域44的时间顺序，边界框50、51、52的显示被删除。即，边界框52最先被删除，接着边界框51被删除，最后，边界框50被删除。
如以上所述，不仅对于表示最新检测到的结果的边界框50，而且对于表示在此之前检测到的结果的边界框51、52，也在检测到关注区域44的位置持续显示这些边界框51、52，从而即使在关注区域44瞬间消失的情况下，也能够防止用户漏看关注区域44。另外，按照检测到关注区域44的时间顺序，边界框从画面上消失，因此能够直观地掌握关注区域的移动。而且，如图6所示，在定时T(N)之后的定时T(N+M)的医疗图像54中，即使在关注区域44从监视器34的第一显示区域34a中消失的情况下，表示检测到关注区域44的结果的边界框50、51、52也持续显示固定期间，因此用户能够掌握关注区域44在哪个方向上消失。
此外，也可以通过缩短利用关注区域检测部41检测的时间间隔，并且在各检测位置显示边界框固定期间，从而如图7所示连续显示边界框55。由此，能够明确掌握关注区域44的移动方向。但是，边界框的连续显示有时会导致难以看清该部分的被摄体像(视野受到破坏)。对此，如图8所示，即使在关注区域检测部41在5个位置检测到关注区域44的情况下，也拉开检测到的5个检测位置中的几个检测位置而仅在特定的检测位置显示边界框58、60、62固定期间。由此，能够一边掌握被摄体像，一边掌握关注区域44的移动方向。
另外，如上所述，在维持显示边界框固定期间的情况下，也可以根据关注区域检测部41检测到关注区域的定时，使关注区域用图形的显示方式发生变化。作为关注区域用图形的显示方式，例如，可以使边界框的线、即框的浓度(线的强调程度)发生变化。例如，如图9所示，在定时T(N)的医疗图像46中，在除了表示在定时T(N)的检测结果的边界框58以外、还显示表示在定时T(N-P)的检测结果的边界框59、表示在定时T(N-Q)的检测结果的边界框60、表示在定时T(N-R)的检测结果的边界框61、表示在定时T(N-S)的检测结果的边界框62的情况下，使最早定时T(N)的边界框58的框的浓度最浓，使定时T(N)之前的定时T(N-P)的边界框59的框的浓度比边界框58的框的浓度淡。
另外，使定时T(N-P)之前的定时T(N-Q)的边界框60的框的浓度比边界框59的框的浓度淡。另外，使定时T(N-Q)之前的定时T(N-R)的边界框61的框的浓度比边界框60的框的浓度淡。另外，使定时T(N-R)之前的定时T(N-S)的边界框62的框的浓度比边界框61的框的浓度淡。如以上所述，通过使表示在时间上靠前的定时检测到的结果的边界框的框的浓度变淡，能够通过边界框的存在来避免难以看清被摄体像(视野受到破坏)。
另外，如上所述，在维持显示边界框固定期间的情况下，可以根据关注区域检测部41检测到关注区域的定时，使边界框等用图形表示关注区域的检测结果的关注区域用图形的形状发生变化。例如，如图10所示，在使用边界框作为关注区域用图形的情况下，表示在定时T(N)的检测结果的边界框58和表示在定时T(N-P)的检测结果的边界框59可以分别用实线表示框，另一方面，表示在定时T(N-P)之前的定时T(N-Q)、定时T(N-R)、定时T(N-S)的检测结果的边界框60、61、62可以分别用虚线表示框。这样，通过将表示在时间上靠前的定时检测到的结果的边界框的框设为虚线，能够通过边界框的存在来避免难以看清被摄体像(视野受到破坏)。
另外，例如，如图11所示，也可以设为，作为关注区域用图形，用矩形的边界框58显示在定时T(N)的检测结果，另一方面，作为关注区域用图形，用黑圆点65、66、67、68显示在定时T(N)之前的定时T(N-P)、定时T(N-Q)、定时T(N-R)、定时T(N-S)的检测结果。这样，对于在时间上靠前的定时检测到的结果，不是用显示空间大的边界框，而是用显示空间小的黑圆点来进行显示，从而能够避免难以看清被摄体像(视野受到破坏)。
此外，在第一实施方式中，作为根据关注区域检测部41检测到关注区域的定时使关注区域用图形的显示方式发生变化的图案，除上述图案以外，还可以使关注区域用图形的大小或颜色发生变化。作为使关注区域用图形的大小发生变化的图案，例如，在维持固定期间的显示的关注区域用图形中，检测到关注区域的定时越是在时间上靠后的定时，越缩小关注区域用图形的大小。作为使关注区域用图形的颜色发生变化的图案，例如，在维持固定期间的显示的关注区域用图形中，检测到关注区域的定时越是在时间上靠后的定时，越接近医疗图像的颜色成分(粘膜等的被摄体像的颜色成分)。另外，在第一实施方式中，也可以根据关注区域的检测定时使将关注区域用图形的大小、颜色、形状或线等中的至少两个以上组合而成的方式发生变化。
[第二实施方式]
在第一实施方式中，将关注区域的检测结果的显示方式设为了关注区域用图形，但在第二实施方式中，将关注区域的检测结果的显示方式设为对关注区域进行了强调的关注区域强调显示。在第二实施方式中，作为关注区域强调显示，使用用伪彩色对关注区域进行了强调的伪彩色强调显示，但也可以使用其他强调显示方法。作为其他强调显示方法，例如有对关注区域重叠显示特定区域的重叠显示处理、色调或者灰度的变更处理、或频率增强处理等。
如图12所示，在定时T(N)的医疗图像70中，作为表示在左下位置(检测位置)检测到关注区域44的关注区域的检测结果，显示有包围关注区域44周围而显示的伪彩色强调显示72。在医疗图像70中，除了伪彩色强调显示72以外，还持续显示有表示在定时T(N-Q)在中央位置(检测位置)检测到关注区域44的伪彩色强调显示73和表示在定时T(N-S)在右上位置(检测位置)检测到关注区域44的伪彩色强调显示74。此外，伪彩色强调显示72、73、74在检测到关注区域44后持续显示固定期间，之后，伪彩色强调显示72、73、74被删除。
如以上所述，不仅显示表示最近检测到的结果的伪彩色强调显示72，而且持续显示表示在此之前检测到的结果的伪彩色强调显示73、74，从而即使在关注区域44瞬间消失的情况下，也能够防止用户漏看关注区域44，并且，能够掌握关注区域44的消失方向。
另外，也可以通过缩短利用关注区域检测部41检测的时间间隔，并且在各检测位置显示伪彩色强调显示固定期间，从而如图13所示连续显示伪彩色强调显示76。由此，能够明确掌握关注区域44的移动方向。另外，即使在关注区域44从监视器34的第一显示区域34a中消失的情况下，如图14所示，也可以通过伪彩色强调显示76的连续显示，不仅能够防止用户漏看关注区域44，而且用户能够掌握关注区域44在哪个方向上消失。
但是，伪彩色强调显示的连续显示有时会导致难以看清该部分的被摄体像。因此，为了一边掌握被摄体像，一边掌握关注区域44的移动方向，可以根据关注区域检测部41检测到关注区域的定时，使伪彩色强调显示的显示方式发生变化。例如，由于越是远离关注区域44，检测到关注区域的定时越是靠前的定时，因此如图15所示，在连续显示的伪彩色强调显示76中，越是接近关注区域44，越增大强调程度(伪彩色强调的浓度)，另一方面，越是远离关注区域44，越减小强调程度。此外，在第二实施方式中，根据关注区域44的检测定时使伪彩色强调显示的强调程度发生变化，但也可以根据关注区域44的检测定时使关注区域强调显示的强调程度或颜色的比例发生变化。
由此，能够一边直观地掌握关注区域44的移动，一边通过伪彩色强调显示来避免难以看清被摄体像。此外，取代像图15那样，在关注区域检测部41检测到关注区域的定时使伪彩色强调显示的强调程度发生变化，也可以使伪彩色强调显示的颜色成分发生变化。在该情况下，例如，在伪彩色强调显示中，越是接近关注区域，越增大伪彩色(与被摄体像的颜色相差甚远的颜色)的颜色成分的比例，另一方面，越是远离关注区域，越减小伪彩色的颜色成分的比例而接近被摄体像的颜色成分。
此外，在上述第一、第二实施方式中，在监视器34的第一显示区域34a显示了关注区域的检测结果，但也可以不在第一显示区域34a显示关注区域的检测结果，而是在第二显示区域34b显示关注区域的检测结果。例如，如图16所示，可以在设于第二显示区域34b的子画面80中，显示关注区域44，并显示作为关注区域的检测结果的边界框82固定期间。由此，一边在第一显示区域34a观察被摄体像，一边适当地确认第二显示区域34b的子画面80，从而能够注意到关注区域的漏看，并且，能够掌握关注区域的移动。边界框82的显示方法与第一实施方式同样，在检测到关注区域后维持固定期间的显示。此外，在子画面80中，除了关注区域44以外，还可以显示包含被摄体像的医疗图像。
此外，在第二显示区域34b中显示关注区域的检测结果的情况下，除了显示边界框82等关注区域用图形以外，还可以通过伪彩色等关注区域强调显示进行显示。另外，也可以不是在第二显示区域34b中，而在与监视器34不同的监视器(未图示)中显示关注区域的检测结果。在该情况下，从内窥镜系统21向另一监视器发送关注区域的检测结果。
另外，也可以在第一显示区域34a和第二显示区域34b两方中显示关注区域的检测结果。例如，如图17所示，在第一显示区域34a中，显示边界框84作为关注区域的检测结果，另一方面，在第二显示区域的子画面80中，连续显示伪彩色强调显示85。在此，在子画面80中，不显示关注区域44，而仅显示伪彩色的强调显示，从而除去了除关注区域的移动以外的多余信息，因此用户易于掌握关注区域的移动。此外，也可以在第一显示区域34a进行关注区域强调显示，在第二显示区域34b显示边界框等关注区域用图形。
此外，在上述第一、第二实施方式中，在监视器34的第一显示区域34a显示了关注区域的检测结果，但也可以不在第一显示区域34a显示关注区域的检测结果，而是在第一显示区域34a的外周部显示关注区域的检测结果。例如，如图18所示，可以沿着第一显示区域34a的外周部中的、与检测到关注区域44的左下位置对应的左下外周部，显示表示关注区域的检测结果的检测显示用条86。检测显示用条86在检测到关注区域44后持续显示固定期间。
由此，能够防止用户漏看关注区域44，并且，即使在关注区域44从第一显示区域34a中消失的情况下，用户也能够直观地掌握关注区域的消失方向。另外，通过不将检测显示用条86显示于用户视线集中的第一显示区域34a，不会妨碍用户观察关注区域44。而且，通过将检测显示用条86显示于第一显示区域34a的外周部，能够减少用户的视线移动。此外，除了将关注区域的检测结果显示于第一显示区域34a的外周部以外，还可以将关注区域的检测结果显示于第一显示区域34a的内部固定时间，或将关注区域的检测结果显示于第二显示区域34b固定时间。另外，在将关注区域的检测结果维持显示于第一显示区域34a的外周部固定期间的情况下，也可以不维持显示第一显示区域34a中的关注区域的检测结果。在该情况下，能够减少对用户诊断第一显示区域34的医疗图像的妨碍，同时能够防止漏看关注区域。
此外，如图19所示，与内窥镜系统21及其他医疗设备(modality)、PACS22组合使用的诊断支援装置610可包括上述实施方式及其他变形例的图像处理系统10。另外，如图20所示，例如包括内窥镜系统21的、经由任意的网络626与第一检查装置621、第二检查装置622、…、第N检查装置633等各种检查装置连接的医疗业务支援装置630可包括上述实施方式及其他变形例的图像处理系统10。
此外，图像处理系统10、内窥镜系统21、及包括图像处理系统10的各种装置或系统还可进行以下的各种变更等来使用。
作为医疗图像，可使用照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像。
作为医疗图像，在使用照射特定波长频带的光而得到的图像时，特定波长频带可使用比白色的波长频带窄的频带。
特定波长频带例如是可见范围的蓝色频带或绿色频带。
当特定波长频带是可见范围的蓝色频带或绿色频带时，优选特定波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且，特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
特定波长频带例如是可见范围的红色频带。
当特定波长频带是可见范围的红色频带时，优选特定波长频带包括585nm以上615nm或610nm以上730nm以下的波长频带，并且，特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
特定波长频带例如包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，并且，特定波长频带的光可在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。
在特定波长频带包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带且特定波长频带的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长的情况下，优选特定波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，并且，特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
在医疗图像是拍摄生物体内而得到的生物体内图像的情况下，该生物体内图像可具有生物体内的荧光物质发出的荧光的信息。
另外，荧光可利用向生物体内照射峰波长为390nm以上470nm以下的激励光而得到的荧光。
在医疗图像是拍摄生物体内而得到的生物体内图像的情况下，前述的特定波长频带可利用红外光的波长频带。
在医疗图像是拍摄生物体内而得到的生物体内图像、且作为前述的特定波长频带利用红外光的波长频带的情况下，优选特定波长频带包括790nm以上820nm或905nm以上970nm以下的波长频带，并且，特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
医疗图像获取部11可具有特殊光图像获取部，所述特殊光图像获取部基于照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像，获取具有特定波长频带的信号的特殊光图像。在该情况下，作为医疗图像可利用特殊光图像。
特定波长频带的信号可通过基于包含在普通光图像中的RGB或CMY的颜色信息的运算来获得。
可具备特征量图像生成部，所述特征量图像生成部通过基于照射白色频带的光或作为白色频带的光的多个波长频带的光而得到的普通光图像、及照射特定波长频带的光而得到的特殊光图像中的至少一方的运算，生成特征量图像。在该情况下，作为医疗图像可利用特征量图像。
对于内窥镜系统21，可使用胶囊型内窥镜作为内窥镜31。在该情况下，可将光源装置32和处理器装置33的一部分搭载于胶囊型内窥镜。
在上述实施方式及变形例中，医疗图像获取部11、医疗图像分析处理部12及构成医疗图像分析处理部12的各部、显示控制部15、输入接收部16、总括控制部17、以及医疗图像获取部35、医疗图像分析处理部36、显示控制部37、关注区域检测部41之类的执行各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路、以及GPU(Graphical Processing Unit)等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器的组合(例如，多个FPGA、或CPU与FPGA的组合、CPU与GPU的组合)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System OnChip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。
作为本发明的另一方面，是一种医疗图像处理系统，其中，处理器装置利用医疗图像获取部获取拍摄观察对象而得到的医疗图像，利用关注区域检测部，从所述医疗图像中检测关注区域，随着所述关注区域的移动，在所述关注区域的位置发生了变化的情况下，利用显示控制部，针对在所述关注区域的位置发生变化前利用所述关注区域检测部检测到的所述关注区域的检测位置，维持将所述关注区域的检测结果显示于显示部固定期间。
符号说明
10 图像处理系统
11 医疗图像获取部
12 医疗图像分析处理部
13 显示部
15 显示控制部
16 输入接收部
17 总括控制部
18 保存部
21 内窥镜系统
22 PACS
31 内窥镜
32 光源装置
33 处理器装置
34 监视器
34a 第一显示区域
34b 第二显示区域
35 医疗图像获取部
36 医疗图像分析处理部
37 显示控制部
41 关注区域检测部
44 关注区域
46 医疗图像
47 医疗图像
48 医疗图像
50、51、52 边界框
54 医疗图像
55、58、59、60、61、62 边界框
65、66、67、68 黑圆点
70 医疗图像
72、73、74、76 伪彩色强调显示
80 子画面
82、84 边界框
85 伪彩色强调显示
86 检测显示用条
610 诊断支援装置
621 第一检查装置
622 第二检查装置
626 网络
630 医疗业务支援装置
633 检查装置

Claims (10)

1.一种医疗图像处理系统，其中，具备：
医疗图像获取部，其获取拍摄观察对象而得到的医疗图像；
关注区域检测部，其从所述医疗图像中检测关注区域；以及
显示控制部，随着所述关注区域的移动，在所述关注区域的位置发生了变化的情况下，该显示控制部针对在所述关注区域的位置发生变化前利用所述关注区域检测部检测到的所述关注区域的检测位置，维持将所述关注区域的检测结果显示于显示部固定期间。
2.根据权利要求1所述的医疗图像处理系统，其中，
所述显示控制部在所述关注区域的检测位置中的特定的检测位置维持所述关注区域的检测结果的显示固定期间。
3.根据权利要求1所述的医疗图像处理系统，其中，
所述显示控制部根据检测到所述关注区域的定时，使所述关注区域的检测结果的显示方式发生变化。
4.根据权利要求3所述的医疗图像处理系统，其中，
所述关注区域的检测结果的显示方式是用至少包含所述关注区域的图形表示的关注区域用图形，
所述显示控制部根据检测到所述关注区域的定时，使所述关注区域用图形的显示方式发生变化。
5.根据权利要求4所述的医疗图像处理系统，其中，
在所述关注区域用图形的显示方式中，包括所述关注区域用图形的形状、大小、颜色、或所述关注区域用图形的线。
6.根据权利要求3所述的医疗图像处理系统，其中，
所述关注区域的检测结果的显示方式是对所述关注区域进行了强调的关注区域强调显示，
所述显示控制部根据检测到所述关注区域的定时，使所述关注区域强调显示的强调程度发生变化。
7.根据权利要求6所述的医疗图像处理系统，其中，
在所述关注区域强调显示中，包括用伪彩色对所述关注区域进行了强调的伪彩色强调显示，
所述显示控制部根据检测到所述关注区域的定时，使所述关注区域强调显示的强调程度或颜色成分的比例发生变化。
8.根据权利要求1至7中任一项所述的医疗图像处理系统，其中，
所述显示控制部在显示所述医疗图像的所述显示部的第一显示区域、或与显示所述医疗图像的所述显示部的第一显示区域不同的第二显示区域中的至少一方中显示所述关注区域的检测结果。
9.根据权利要求8所述的医疗图像处理系统，其中，
在所述第一显示区域显示的关注区域的检测结果的显示方式与在所述第二显示区域显示的关注区域的检测结果的显示方式相同或不同。
10.根据权利要求1至7中任一项所述的医疗图像处理系统，其中，
所述显示控制部在显示所述医疗图像的所述显示部的第一显示区域的外周部中的与所述关注区域的检测位置对应的部分显示所述关注区域的检测结果。
CN201980054356.4A 2018-08-20 2019-08-19 医疗图像处理系统 Active CN112584742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-154054 2018-08-20
JP2018154054 2018-08-20
PCT/JP2019/032275 WO2020040087A1 (ja) 2018-08-20 2019-08-19 医療画像処理システム

Publications (2)

Publication Number Publication Date
CN112584742A true CN112584742A (zh) 2021-03-30
CN112584742B CN112584742B (zh) 2024-04-30

Family

ID=69593100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054356.4A Active CN112584742B (zh) 2018-08-20 2019-08-19 医疗图像处理系统

Country Status (5)

Country Link
US (1) US11436726B2 (zh)
EP (1) EP3841953B1 (zh)
JP (1) JP6936401B2 (zh)
CN (1) CN112584742B (zh)
WO (1) WO2020040087A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
JPWO2022191129A1 (zh) * 2021-03-09 2022-09-15
JP2024031468A (ja) * 2022-08-26 2024-03-07 富士フイルム株式会社 画像処理装置及びその作動方法並びに内視鏡システム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2003190134A (ja) * 2001-12-28 2003-07-08 Konica Corp 医用画像処理装置、医用画像処理方法、プログラム、及び記憶媒体
US6620103B1 (en) * 2002-06-11 2003-09-16 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic imaging system for low flow rate contrast agents
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN102665527A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
US20130069945A1 (en) * 2010-03-18 2013-03-21 Fundacion Para La Investigacion Biomedica Del Hospital Gregorio Maranon Method for displaying the information contained in three-dimensional images of the heart
CN103209634A (zh) * 2011-04-01 2013-07-17 奥林巴斯医疗株式会社 接收装置和胶囊型内窥镜系统
WO2013144841A2 (en) * 2012-03-27 2013-10-03 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220780B2 (ja) 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
US9066657B2 (en) * 2010-11-23 2015-06-30 General Electric Company Methods and systems of optical imaging for target detection in a scattering medium
KR20130109838A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 병변 진단 지원 장치와 방법
EP3357407A4 (en) * 2015-10-26 2019-04-17 Olympus Corporation PROCESSING DEVICE FOR ENDOSCOPIC IMAGES
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10201700A (ja) * 1997-01-20 1998-08-04 Olympus Optical Co Ltd 蛍光観察内視鏡装置
JP2003190134A (ja) * 2001-12-28 2003-07-08 Konica Corp 医用画像処理装置、医用画像処理方法、プログラム、及び記憶媒体
US6620103B1 (en) * 2002-06-11 2003-09-16 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic imaging system for low flow rate contrast agents
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
CN102665527A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
US20130069945A1 (en) * 2010-03-18 2013-03-21 Fundacion Para La Investigacion Biomedica Del Hospital Gregorio Maranon Method for displaying the information contained in three-dimensional images of the heart
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN103209634A (zh) * 2011-04-01 2013-07-17 奥林巴斯医疗株式会社 接收装置和胶囊型内窥镜系统
WO2013144841A2 (en) * 2012-03-27 2013-10-03 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
CN104736036A (zh) * 2012-11-30 2015-06-24 奥林巴斯株式会社 观察装置
WO2017216922A1 (ja) * 2016-06-16 2017-12-21 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
EP3841953A4 (en) 2021-10-13
JPWO2020040087A1 (ja) 2021-08-12
US11436726B2 (en) 2022-09-06
CN112584742B (zh) 2024-04-30
WO2020040087A1 (ja) 2020-02-27
EP3841953B1 (en) 2024-02-07
JP6936401B2 (ja) 2021-09-15
EP3841953A1 (en) 2021-06-30
US20210158520A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN112584742B (zh) 医疗图像处理系统
CN112512398B (zh) 医疗图像处理装置
CN111050628B (zh) 医疗图像处理装置
JP7235912B2 (ja) 医療画像処理システム、内視鏡システム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11867896B2 (en) Endoscope system and medical image processing system
US11862327B2 (en) Medical image processing system
CN112584740B (zh) 医疗图像处理装置
US11954897B2 (en) Medical image processing system, recognition processing processor device, and operation method of medical image processing system
US12020350B2 (en) Image processing apparatus
US11830185B2 (en) Medical image processing system and learning method
WO2021210331A1 (ja) 画像処理装置及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant