CN112584741A - 医疗图像处理系统 - Google Patents
医疗图像处理系统 Download PDFInfo
- Publication number
- CN112584741A CN112584741A CN201980054345.6A CN201980054345A CN112584741A CN 112584741 A CN112584741 A CN 112584741A CN 201980054345 A CN201980054345 A CN 201980054345A CN 112584741 A CN112584741 A CN 112584741A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- medical image
- specific
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 148
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 230000002093 peripheral effect Effects 0.000 claims description 46
- 238000010191 image analysis Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000001678 irradiating effect Effects 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 206010061218 Inflammation Diseases 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 5
- 230000004054 inflammatory process Effects 0.000 description 5
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 108010064719 Oxyhemoglobins Proteins 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 231100000241 scar Toxicity 0.000 description 4
- 206010039580 Scar Diseases 0.000 description 3
- 206010003694 Atrophy Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种在基于医疗图像进行关注区域的检测时能够与检测精度相对应地报知关注区域的检测结果、并且通过关注区域的检测位置来防止漏看关注区域的检测结果的医疗图像处理系统。获取拍摄观察对象而得到的医疗图像。从医疗图像中检测包含关注对象的关注区域。将关注区域的检测结果以至少根据关注区域的检测位置而不同的显示方式显示于监视器(34)。
Description
技术领域
本发明涉及一种使用医疗图像的分析结果的医疗图像处理系统。
背景技术
在当前的医疗领域中，像具备光源装置、内窥镜及处理器装置的内窥镜系统等那样，使用医疗图像的医疗图像处理系统正在普及。另外，近年来，通过从医疗图像中提取存在病变部可能性的关注区域，并对提取的关注区域进行图像分析，来获取有关病况的诊断信息。
例如，在专利文献1中，基于关于医疗图像的特定的特征量，检测医疗图像中的关注区域。然后，基于关注区域的检测，在画面外部显示报知检测到特征区域的报知图像，另外，在画面内部对特征区域附加标记图像。
以往技术文献
专利文献
专利文献1：国际公开第2017/073338号
发明内容
发明要解决的技术课题
在像专利文献1那样进行关注区域的检测时，根据关注区域的检测位置，检测精度有时较低。例如，关于医疗图像中的内窥镜图像，在内窥镜图像的周边区域(端部等)，存在由透镜(通常使用视场角大的透镜)带来的图像特性或照明光的照射不均等。因此，内窥镜图像的周边区域中的关注区域的检测精度有时比中央区域等其他区域低。这样，当关注区域的检测精度在中心区域与周边区域不同时，若将中央区域中的检测结果与周边区域中的检测结果显示为相同，则医生可能无法准确地进行诊断。
另外，根据关注区域的检测位置，有时难以引起用户的注意。例如，在插入内窥镜时，有时会注意与行进方向(后退方向)对应的中心区域，而不会注意处于中心区域外侧的周边区域。
本发明的目的在于提供一种在基于医疗图像进行关注区域的检测时能够与检测精度相对应地报知关注区域的检测结果、并且通过关注区域的检测位置来防止漏看关注区域的检测结果的医疗图像处理系统。
用于解决技术课题的手段
本发明的医疗图像处理系统具备医疗图像获取部、关注区域检测部及显示控制部。医疗图像获取部获取拍摄观察对象而得到的医疗图像。关注区域检测部从医疗图像中检测关注区域。显示控制部将关注区域的检测结果以至少根据关注区域的检测位置而不同的显示方式显示于显示部。作为关注区域，例如，优选为病变部、处理疤痕、手术疤痕、出血部位、良性肿瘤部、炎症部、标记部或活检实施部等用户期望作为关注区域的对象。
优选将医疗图像分割为多个区域，根据关注区域的检测位置包含在多个区域的哪一个中，改变关注区域的检测结果的显示方式。优选关注区域的检测位置包含于医疗图像的第一区域时的关注区域的检测结果的显示方式与关注区域的检测位置包含于医疗图像中不同于第一区域的第二区域时的关注区域的检测结果的显示方式不同。优选第一区域是医疗图像的中心区域，第二区域是医疗图像的中心区域的外侧的周边区域。
优选表示预定的特定位置与关注区域的检测位置之间的距离的特定距离进于特定范围内时的关注区域的检测结果的显示方式与特定距离处于特定范围外时的关注区域的检测结果的显示方式不同。优选特定位置包含于医疗图像的中心区域。
优选在用特定的图形表示关注区域的检测结果时，特定的图形的线的粗细根据关注区域的检测位置而不同。优选在用特定的图形表示关注区域的检测结果时，特定的图形的大小根据关注区域的检测位置而不同。优选在用特定的图形表示关注区域的检测结果时，特定的图形的显示时间根据关注区域的检测位置而不同。优选在用特定的图形表示关注区域的检测结果时，特定的图形的透明度根据关注区域的检测位置而不同。优选在用特定的颜色区域表示关注区域的检测结果时，特定的颜色区域的颜色根据关注区域的检测位置而不同。优选在用特定的颜色区域表示关注区域的检测结果时，特定的颜色区域的显示时间根据关注区域的检测位置而不同。
发明效果
根据本发明，在基于医疗图像进行关注区域的检测时，能够与检测精度相对应地报知关注区域的检测结果，并且通过关注区域的检测位置来防止漏看关注区域的检测结果。
附图说明
图1是表示图像处理系统和内窥镜系统等的框图。
图2是表示内窥镜系统的框图。
图3是表示医疗图像分析处理部的功能的框图。
图4是表示医疗图像中的中心区域与周边区域的图像图。
图5是表示边界框的粗细根据关注区域的检测位置而不同的医疗图像的图像图。
图6是不同于图5的医疗图像的图像图，是表示边界框的粗细根据关注区域的检测位置而不同的医疗图像的图像图。
图7是表示边界框的大小根据关注区域的检测位置而不同的医疗图像的图像图。
图8是不同于图7的医疗图像的图像图，是表示边界框的大小根据关注区域的检测位置而不同的医疗图像的图像图。
图9是表示边界框的显示时间根据关注区域的检测位置而不同的说明图。
图10是不同于图9的说明图，是表示边界框的显示时间根据关注区域的检测位置而不同的说明图。
图11是表示边界框的透明度根据关注区域的检测位置而不同的医疗图像的图像图。
图12是不同于图11的医疗图像的图像图，是表示边界框的透明度根据关注区域的检测位置而不同的医疗图像的图像图。
图13是表示特定的颜色区域的颜色根据关注区域的检测位置而不同的医疗图像的图像图。
图14是表示特定的颜色区域的显示时间根据关注区域的检测位置而不同的说明图。
图15是不同于图14的说明图，是表示特定的颜色区域的显示时间根据关注区域的检测位置而不同的说明图。
图16是表示特定位置SP、关注区域的检测位置DP及特定距离L的医疗图像的图像图。
图17是包括图像处理系统的诊断支援装置。
图18是包括图像处理系统的医疗业务支援装置。
具体实施方式
如图1所示，图像处理系统10具备医疗图像获取部11、医疗图像分析处理部12、显示部13、显示控制部15、输入接收部16、总括控制部17及保存部18。
医疗图像获取部11从作为医疗装置的内窥镜系统21等直接、或经由PACS(PictureArchiving and Communication System)22等管理系统或者其他信息系统，获取包含被摄体像的医疗图像。医疗图像为静止图像或动态图像(所谓的检查动态图像)。医疗图像为动态图像时，医疗图像获取部11可在检查后获取构成动态图像的帧图像作为静止图像。另外，医疗图像为动态图像时，在医疗图像的显示中，除了显示构成动态图像的一个代表帧的静止图像以外，还包括一次或多次回放动态图像。另外，在医疗图像获取部11获取的医疗图像中，除了医生使用内窥镜系统21等医疗装置拍摄的图像以外，还包括与医生的拍摄指示无关地由内窥镜系统21等医疗装置自动拍摄到的图像。此外，在本实施方式中，由于图像处理系统10及内窥镜系统21都使用医疗图像进行图像处理，故图像处理系统10及内窥镜系统21皆相当于医疗图像处理系统。
医疗图像获取部11在能够获取多个医疗图像的情况下，可选择性地获取这些医疗图像中的一个或多个医疗图像。另外，医疗图像获取部11可获取在多个互不相同的检查中获取的多个医疗图像。例如，可获取在过去进行的检查中获取的医疗图像和在最新的检查中获取的医疗图像中的一方或两方。即，医疗图像获取部11可任意获取医疗图像。
在本实施方式中，获得多个包含被摄体像的医疗图像。更具体而言，获取在一次特定的检查中拍摄到的医疗图像，并且，当存在多个在一次特定的检查中拍摄到的医疗图像时，获取一系列医疗图像中的多个医疗图像。另外，在本实施方式中，图像处理系统10与内窥镜系统21连接，从内窥镜系统21获取医疗图像。即，在本实施方式中，医疗图像是内窥镜图像。
显示部13是显示医疗图像获取部11获取的医疗图像、及医疗图像分析处理部12的分析结果的显示器。可共用图像处理系统10所连接的设备等包括的监视器或显示器，并作为图像处理系统10的显示部13来使用。显示控制部15控制显示部13中的医疗图像及分析结果的显示方式。
输入接收部16接受来自连接于图像处理系统10的鼠标、键盘、及其他操作设备的输入。图像处理系统10的各部的动作可使用这些操作设备进行控制。
总括控制部17总括控制图像处理系统10的各部的动作。当输入接收部16接收到使用了操作设备的操作输入的情况下，总括控制部17根据该操作输入控制图像处理系统10的各部。
保存部18将医疗图像的静止画面等保存在图像处理系统10包括的存储器等存储设备(未图示)、或内窥镜系统21等医疗装置或者PACS22包括的存储设备(未图示)中。
如图2所示，在本实施方式中，图像处理系统10所连接的内窥镜系统21具有通过照射白色的波长频带的光或特定波长频带的光中的至少任一种光拍摄被摄体来获取图像的内窥镜31、经由内窥镜31将照明光照射到被摄体内的光源装置32、处理器装置33、及显示使用内窥镜31拍摄到的内窥镜图像等的监视器34。内窥镜31在照明光中使用的特定波长频带的光例如是比绿色波长频带短的波长频带的光、特别是可见范围的蓝色频带或紫色频带的光。
处理器装置33具备医疗图像获取部35、医疗图像分析处理部36及显示控制部37。医疗图像获取部35获取从内窥镜31输出的医疗图像。医疗图像分析处理部36对通过医疗图像获取部35获取的医疗图像进行分析处理。在医疗图像分析处理部36的处理内容与在图像处理系统10的医疗图像分析处理部12的处理内容同样。显示控制部37将在医疗图像分析处理部36获得的医疗图像显示于监视器34。处理器装置33与图像处理系统10连接。此外，医疗图像获取部35与医疗图像获取部11同样，医疗图像分析处理部36与医疗图像分析处理部12同样，显示控制部37与显示控制部15同样。
医疗图像分析处理部36使用医疗图像获取部11获取的医疗图像进行分析处理。如图3所示，医疗图像分析处理部12包括关注区域检测部41和显示方式确定部42。在关注区域检测部41中，进行从医疗图像中检测关注区域的关注区域检测处理。作为关注区域检测处理，例如，可以使用NN(Neural Network)、CNN(Convolutional Neural Network)、Adaboost、随机森林(random forest)等。另外，作为关注区域检测处理，也可以基于通过医疗图像的颜色信息、像素值的梯度等获得的特征量，进行关注区域的检测。此外，像素值的梯度等例如根据被摄体的形状(粘膜的整体起伏或局部凹陷或者凸起等)、颜色(炎症、出血、发红、或由萎缩引起的白化等颜色)、组织的特征(血管的粗细、深度、密度或者它们的组合等)、或结构的特征(腺管开口形态(pit pattern)等)等表现出变化。
此外，通过关注区域检测部41检测的关注区域例如是包括以癌症为代表的病变部、处理疤痕、手术疤痕、出血部位、良性肿瘤部、炎症部(除了所谓的炎症以外，还包括有出血或萎缩等变化的部分)、由于因加热而导致的烧灼疤或者通过着色剂、荧光药剂等的着色进行了标记的标记部、或实施了生物体检查(所谓的活检)的活检实施部的区域。即，包含病变的区域、可能发生病变的区域、进行了活检等某种处置的区域、夹具或钳子等处置器具、或暗部区域(由于是褶皱(皱纹)的背后、管腔里面而导致观察光难以到达的区域)等无论是否可能发生了病变都需要详细观察的区域等可成为关注区域。在内窥镜系统21中，关注区域检测部41检测包括病变部、处理疤痕、手术疤痕、出血部位、良性肿瘤部、炎症部、标记部或活检实施部中的至少任意一者的区域作为关注区域。
显示方式确定部42基于关注区域的检测位置，确定关注区域的检测结果的显示方式。显示控制部37根据关注区域的检测结果的显示方式，在医疗图像上将关注区域的检测结果显示于监视器34。在此，由于由在内窥镜31中使用的透镜(通常使用视场角大的透镜)带来的图像特性或照明光的照射不均等，根据从医疗图像中检测到关注区域的检测位置，检测精度存在差异，因此优选改变关注区域的检测结果的显示方式。另外，考虑到存在用户容易漏看关注区域的区域和难以漏看关注区域的区域，优选根据关注区域的检测位置改变关注区域的检测结果的显示方式。
例如，如图4所示，优选改变关注区域的检测位置包含于医疗图像的中心区域43(第一区域)时的关注区域的检测结果的显示方式和关注区域的检测位置包含于医疗图像的周边区域44(第二区域)时的关注区域的检测结果的显示方式。例如，在用特定的图形表示关注区域的检测结果时，使在中心区域43检测到的关注区域的报知中所用的特定的图形的线的粗细与在周边区域44检测到的关注区域的报知中所用的特定的图形的线的粗细不同。此外，也可以设为改变在中心区域43检测到的关注区域的报知中所用的特定的图形的形状(例如，星形)和在周边区域44检测到的关注区域的报知中所用的特定的图形的形状(例如，圆形)。
在使用边界框作为特定的形状、并用边界框的粗细表示关注区域的检测精度时，如图5所示，优选使在中心区域43检测到的关注区域的报知中所用的边界框46的框的粗细比在周边区域44检测到的关注区域的报知中所用的边界框47的框的粗细粗。由此，用户可根据边界框46、47的粗细来掌握检测精度。即，用户可掌握在中心区域43检测到的关注区域的检测精度高、另一方面在周边区域44检测到的关注区域的检测精度低的情况。
另一方面，在使用边界框作为特定的形状、并用边界框的粗细表示关注区域的易漏看程度时，如图6所示，优选使在中心区域43检测到的关注区域的报知中所用的边界框48的框的粗细比在周边区域44检测到的关注区域的报知中所用的边界框49的框的粗细细。由此，对于在周边区域44检测到的关注区域，由于边界框49的可见性高，因此可防止漏看。另一方面，对于在中心区域43检测到的关注区域，由于边界框48的可见性低，因此可减少麻烦。
另外，在用特定的图形表示关注区域的检测结果时，使在中心区域检测到的关注区域的报知中所用的特定的图形的大小与在周边区域检测到的关注区域的报知中所用的特定的图形的大小不同。在该情况下，如图7所示，在使用边界框作为特定的形状、并用边界框的大小表示关注区域的检测精度时，优选使在中心区域43检测到的关注区域的报知中所用的边界框50的大小比在周边区域44检测到的关注区域的报知中所用的边界框51的大小大。由此，用户可根据边界框50、51的大小来掌握检测精度。即，用户可掌握在中心区域43检测到的关注区域的检测精度高、另一方面在周边区域44检测到的关注区域的检测精度低的情况。
另一方面，在使用边界框作为特定的形状、并用边界框的大小表示关注区域的易漏看程度时，如图8所示，优选使在中心区域43检测到的关注区域的报知中所用的边界框52的大小比在周边区域44检测到的关注区域的报知中所用的边界框53的大小小。由此，对于在周边区域44检测到的关注区域，通过较大地显示边界框53，可防止漏看。另一方面，对于在中心区域43检测到的关注区域，通过较小地显示边界框50，可减少麻烦。
另外，在用特定的图形表示关注区域的检测结果时，使利用监视器34持续显示在中心区域43检测到的关注区域的报知中所用的特定的图形的时间(显示时间)与在周边区域44检测到的关注区域的报知中所用的特定的图形的显示时间不同。在该情况下，如图9所示，在使用边界框作为特定的形状、并用边界框的显示时间表示关注区域的检测精度时，当在中心区域43与周边区域44双方中检测到关注区域时，例如，首先，显示在中心区域43检测到的关注区域的报知中所用的边界框54和在周边区域44检测到的关注区域的报知中所用的边界框55。
然后，在从关注区域的检测开始经过了第一显示时间的时点，继续显示边界框54(用实线显示)，另一方面，不显示边界框55(用虚线显示)。进而，在经过第一显示时间后，在经过了第二显示时间的时点，不显示边界框54、55双方。由此，用户可根据边界框54、56的显示时间来掌握检测精度。即，用户可掌握在中心区域43检测到的关注区域的检测精度高、另一方面在周边区域44检测到的关注区域的检测精度低的情况。
另一方面，如图10所示，在使用边界框作为特定的形状、并用边界框的显示时间表示关注区域的易漏看程度时，例如，首先，显示在中心区域43检测到的关注区域的报知中所用的边界框56和在周边区域44检测到的关注区域的报知中所用的边界框57。然后，在从关注区域的检测开始经过了第一显示时间的时点，持续显示边界框57(用实线显示)，另一方面，不显示边界框56(虚线)。由此，对于在周边区域44检测到的关注区域，通过长时间显示边界框57，可防止漏看。另一方面，对于在中心区域43检测到的关注区域，由于仅短时间显示边界框56，因此可减少麻烦。
另外，在用特定的图形表示关注区域的检测结果时，使在中心区域43检测到的关注区域的报知中所用的特定的图形的透明度与在周边区域44检测到的关注区域的报知中所用的特定的图形的透明度不同。在此，透明度是指在医疗图像中可视觉辨认处于特定的图形的背景中的被摄体像的程度。若透明度高，则可透视处于特定的图形的背景中的被摄体像，若透明度低，则在特定的图形中难以看到处于特定的图形的背景中的被摄体像。
而且，如图11所示，在使用边界框作为特定的形状、并用边界框的透明度表示关注区域的检测精度时，优选使在中心区域43检测到的关注区域的报知中所用的边界框58的透明度比在周边区域44检测到的关注区域的报知中所用的边界框59的透明度低。由此，用户可根据边界框的透明度来掌握检测精度。此外，在图11中，用阴影尺寸表示透明度，尺寸越大，透明度越低，尺寸越小，透明度越高。
另一方面，在使用边界框作为特定的形状、并用边界框的透明度表示关注区域的易漏看程度时，如图12所示，优选使在中心区域43检测到的关注区域的报知中所用的边界框60的透明度比在周边区域44检测到的关注区域的报知中所用的边界框61的透明度高。由此，对于在周边区域44检测到的关注区域，边界框61的透明度较低，从而易于视觉辨认边界框61，因此可防止漏看。另一方面，对于在中心区域43检测到的关注区域，边界框60的透明度较高，从而边界框60的可见性降低，因此可减少麻烦。
另外，在用特定的颜色区域表示关注区域的检测结果时，使在中心区域检测到的关注区域的报知中所用的特定的颜色区域的颜色与在周边区域检测到的关注区域的报知中所用的特定的颜色区域的颜色不同。特定的颜色区域优选包含关注区域。另外，特定的颜色区域优选使用与红色等生物体内的颜色完全不同的伪彩色，但优选设为可与关注区域的颜色进行区别那样的颜色。
在该情况下，在用特定的颜色区域的颜色表示关注区域的检测精度时，如图13所示，用可见性高的颜色(例如，亮度、彩度高的颜色)显示在中心区域43检测到的关注区域的报知中所用的特定的颜色区域62，另一方面，用可见性低的颜色(例如，亮度、彩度低的颜色)显示在周边区域44检测到的关注区域的报知中所用的特定的颜色区域63。由此，用户可根据特定的颜色区域的颜色来掌握检测精度。即，用户可掌握在中心区域43检测到的关注区域的检测精度高、另一方面在周边区域44检测到的关注区域的检测精度低的情况。
另一方面，在用特定的颜色表示关注区域的易漏看程度时，虽然省略图示，但是用可见性低的颜色(例如，亮度、彩度低的颜色)显示在中心区域43检测到的关注区域的报知中所用的特定的颜色区域，另一方面，用可见性高的颜色(例如，亮度、彩度高的颜色)显示在周边区域44检测到的关注区域的报知中所用的特定的颜色区域。由此，对于在周边区域44检测到的关注区域，由于特定的颜色区域的可见性高，因此可防止漏看。另一方面，对于在中心区域43检测到的关注区域，由于特定的颜色区域的可见性低，因此可减少麻烦。
另外，在用与生物体内的颜色完全不同的伪彩色等特定的颜色区域表示关注区域的检测结果时，使利用监视器34持续显示在中心区域43检测到的关注区域的报知中所用的特定的颜色区域的时间(显示时间)与在周边区域44检测到的关注区域的报知中所用的特定的颜色区域的显示时间不同。在该情况下，在用特定的颜色区域的显示时间表示关注区域的检测精度时，当在中心区域43与周边区域44双方中检测到关注区域时，如图14所示，首先，显示在中心区域43检测到的关注区域的报知中所用的特定的颜色区域64和在周边区域44检测到的关注区域的报知中所用的特定的颜色区域65。
然后，在从关注区域的检测开始经过了第一显示时间的时点，持续显示特定的颜色区域64(用实线显示)，另一方面，不显示特定的颜色区域65(用虚线显示)。在此，不显示是指特定的颜色区域的颜色与其他区域的颜色没有差异。进而，在经过了第一显示时间后，在经过了第二显示时间的时点，不显示特定的颜色区域64、64双方。由此，用户可根据特定的颜色区域的显示时间的长短来掌握检测精度。即，用户可掌握在中心区域43检测到的关注区域的检测精度高、另一方面在周边区域44检测到的关注区域的检测精度低的情况。
另一方面，在用特定的颜色区域的显示时间表示关注区域的易漏看程度时，当在中心区域43与周边区域44双方中检测到关注区域时，如图15所示，首先，显示在中心区域43检测到的关注区域的报知中所用的特定的颜色区域66和在周边区域44检测到的关注区域的报知中所用的特定的颜色区域67。然后，在从关注区域的检测开始经过了第一显示时间的时点，继续显示特定的颜色区域(用实线显示)，另一方面，不显示特定的颜色区域(虚线)。由此，对于在周边区域44检测到的关注区域，通过长时间显示特定的颜色区域67，可防止漏看。另一方面，对于在中心区域43检测到的关注区域，由于仅短时间显示特定的颜色区域66，因此可减少麻烦。
此外，根据关注区域的检测位置是否包含在医疗图像的中心区域或周边区域的哪一个中，来改变关注区域的检测结果的显示方式，但如图16所示，也可以基于表示预定的特定位置SP与关注区域的检测位置DP之间的距离的特定距离L，来改变关注区域的检测结果的显示方式。关于特定位置SP，优选包含在医疗图像的中心区域43中。例如，使特定距离L进于特定范围内时的关注区域的检测结果的显示方式(特定范围内显示方式)与特定距离处于特定范围外时的关注区域的检测结果的显示方式(特定范围外显示方式)不同。具体而言，使作为特定范围内显示方式的特定的图形的线的粗细、大小、显示时间、透明度、或特定的颜色、特定的颜色的显示时间与作为特定范围外显示方式的特定的图形的线的粗细、大小、显示时间、透明度、或特定的颜色、特定的颜色的显示时间不同。用于实现该不同的具体例与上述同样。
另外，将医疗图像分为中心区域或周边区域这两个区域，并在任一区域中改变关注区域的检测结果的显示方式，除此以外，也可以设为将医疗图像分为三个以上的区域，并在各区域中改变关注区域的检测结果的显示方式。另外，像中心区域和周边区域那样，将医疗图像分割为同心圆状，但是分割的形状也可以是矩形形状等其他形状。另外，在分割医疗图像时，可以组合同心圆、矩形形状等多个种类进行分割。
另外，作为特定的图形，列举了边界框，但也可以是其他图形。例如，可以对边界框附加颜色，或者用图标(手指标记或鼠标光标)等来指示包含在关注区域中的观察对象。
此外，如图17所示，与内窥镜系统21及其他医疗设备(modality)、PACS22组合使用的诊断支援装置610可包括上述实施方式及其他变形例的图像处理系统10。另外，如图18所示，例如包括内窥镜系统21的、经由任意的网络626与第一检查装置621、第二检查装置622、…、第N检查装置633等各种检查装置连接的医疗业务支援装置630可包括上述实施方式及其他变形例的图像处理系统10。
此外，图像处理系统10、内窥镜系统21、及包括图像处理系统10的各种装置或系统还可进行以下的各种变更等来使用。
作为医疗图像，可使用照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像。
作为医疗图像，在使用照射特定波长频带的光而得到的图像时，特定波长频带可使用比白色的波长频带窄的频带。
特定波长频带例如是可见范围的蓝色频带或绿色频带。
当特定波长频带是可见范围的蓝色频带或绿色频带时，优选特定波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且，特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
特定波长频带例如是可见范围的红色频带。
当特定波长频带是可见范围的红色频带时，优选特定波长频带包括585nm以上615nm或610nm以上730nm以下的波长频带，并且，特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
特定波长频带例如包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，并且，特定波长频带的光可在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。
在特定波长频带包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带且特定波长频带的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长的情况下，优选特定波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，并且，特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
在医疗图像是拍摄生物体内而得到的生物体内图像的情况下，该生物体内图像可具有生物体内的荧光物质发出的荧光的信息。
另外，荧光可利用向生物体内照射峰波长为390nm以上470nm以下的激励光而得到的荧光。
在医疗图像是拍摄生物体内而得到的生物体内图像的情况下，前述的特定波长频带可利用红外光的波长频带。
在医疗图像是拍摄生物体内而得到的生物体内图像、且作为前述的特定波长频带利用红外光的波长频带的情况下，优选特定波长频带包括790nm以上820nm或905nm以上970nm以下的波长频带，并且，特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
医疗图像获取部11可具有特殊光图像获取部，所述特殊光图像获取部基于照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像，获取具有特定波长频带的信号的特殊光图像。在该情况下，作为医疗图像可利用特殊光图像。
特定波长频带的信号可通过基于包含在普通光图像中的RGB或CMY的颜色信息的运算来获得。
可具备特征量图像生成部，所述特征量图像生成部通过基于照射白色频带的光或作为白色频带的光的多个波长频带的光而得到的普通光图像、及照射特定波长频带的光而得到的特殊光图像中的至少一方的运算，生成特征量图像。在该情况下，作为医疗图像可利用特征量图像。
对于内窥镜系统21，可使用胶囊型内窥镜作为内窥镜31。在该情况下，可将光源装置32和处理器装置33的一部分搭载于胶囊型内窥镜。
在上述实施方式及变形例中，医疗图像获取部11、医疗图像分析处理部12、及构成医疗图像分析处理部12的各部、显示控制部15、输入接收部16、总括控制部17、以及医疗图像获取部35、医疗图像分析处理部36、显示控制部37、关注区域检测部41、显示方式确定部42之类的执行各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路、以及同时大量进行图像处理等处理的GPU(Graphical Processing Unit)等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合、或CPU与GPU的组合)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System OnChip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。另外，存储部的硬件结构是HDD(hard disc drive)或SSD(solid state drive)等存储装置。
另外，本发明的另一方面如下所述。
本发明的医疗图像处理系统中，
处理器装置利用医疗图像获取部，获取拍摄观察对象而得到的医疗图像，
利用关注区域检测部，从所述医疗图像中检测关注区域，
利用显示控制部，将所述关注区域的检测结果以至少根据所述关注区域的检测位置而不同的显示方式显示于显示部。
符号说明
10 图像处理系统
11 医疗图像获取部
12 医疗图像分析处理部
13 显示部
15 显示控制部
16 输入接收部
17 总括控制部
18 保存部
21 内窥镜系统
22 PACS
31 内窥镜
32 光源装置
33 处理器装置
34 监视器
35 医疗图像获取部
36 医疗图像分析处理部
37 显示控制部
41 关注区域检测部
42 显示方式确定部
43 中心区域
44 周边区域
46 边界框
46～61 边界框
62～67 特定的颜色区域
610 诊断支援装置
621 第一检查装置
622 第二检查装置
623 第三检查装置
626 网络
630 医疗业务支援装置
SP 特定位置
DP 检测位置
L 特定距离。
Claims (12)
1.一种医疗图像处理系统，其中，具备：
医疗图像获取部，其获取拍摄观察对象而得到的医疗图像；
关注区域检测部，其从所述医疗图像中检测关注区域；以及
显示控制部，其将所述关注区域的检测结果以至少根据所述关注区域的检测位置而不同的显示方式显示于显示部。
2.根据权利要求1所述的医疗图像处理系统，其中，
将所述医疗图像分割为多个区域，
根据所述关注区域的检测位置包含在所述多个区域的哪一个中，改变所述关注区域的检测结果的显示方式。
3.根据权利要求2所述的医疗图像处理系统，其中，
所述关注区域的检测位置包含于所述医疗图像的第一区域时的所述关注区域的检测结果的显示方式与所述关注区域的检测位置包含于所述医疗图像中不同于所述第一区域的第二区域时的所述关注区域的检测结果的显示方式不同。
4.根据权利要求3所述的医疗图像处理系统，其中，
所述第一区域是所述医疗图像的中心区域，所述第二区域是所述医疗图像的所述中心区域的外侧的周边区域。
5.根据权利要求1所述的医疗图像处理系统，其中，
表示预定的特定位置与所述关注区域的检测位置之间的距离的特定距离进入特定范围内时的所述关注区域的检测结果的显示方式与所述特定距离处于所述特定范围外时的所述关注区域的检测结果的显示方式不同。
6.根据权利要求5所述的医疗图像处理系统，其中，
所述特定位置包含于所述医疗图像的中心区域。
7.根据权利要求1至6中任一项所述的医疗图像处理系统，其中，
在用特定的图形表示所述关注区域的检测结果时，所述特定的图形的线的粗细根据所述关注区域的检测位置而不同。
8.根据权利要求1至7中任一项所述的医疗图像处理系统，其中，
在用特定的图形表示所述关注区域的检测结果时，所述特定的图形的大小根据所述关注区域的检测位置而不同。
9.根据权利要求1至8中任一项所述的医疗图像处理系统，其中，
在用特定的图形表示所述关注区域的检测结果时，所述特定的图形的显示时间根据所述关注区域的检测位置而不同。
10.根据权利要求1至9中任一项所述的医疗图像处理系统，其中，
在用特定的图形表示所述关注区域的检测结果时，所述特定的图形的透明度根据所述关注区域的检测位置而不同。
11.根据权利要求1至6中任一项所述的医疗图像处理系统，其中，
在用特定的颜色区域表示所述关注区域的检测结果时，所述特定的颜色区域的颜色根据所述关注区域的检测位置而不同。
12.根据权利要求1至6中任一项所述的医疗图像处理系统，其中，
在用特定的颜色区域表示所述关注区域的检测结果时，所述特定的颜色区域的显示时间根据所述关注区域的检测位置而不同。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-154120 | 2018-08-20 | ||
| JP2018154120 | 2018-08-20 | ||
| PCT/JP2019/031432 WO2020039968A1 (ja) | 2018-08-20 | 2019-08-08 | 医療画像処理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112584741A true CN112584741A (zh) | 2021-03-30 |
Family
ID=69593203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980054345.6A Pending CN112584741A (zh) | 2018-08-20 | 2019-08-08 | 医疗图像处理系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210153722A1 (zh) |
| EP (1) | EP3841954A4 (zh) |
| JP (2) | JP7079849B2 (zh) |
| CN (1) | CN112584741A (zh) |
| WO (1) | WO2020039968A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7337073B2 (ja) * | 2018-08-17 | 2023-09-01 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
| US20220296082A1 (en) * | 2019-10-17 | 2022-09-22 | Sony Group Corporation | Surgical information processing apparatus, surgical information processing method, and surgical information processing program |
| JP7428055B2 (ja) * | 2020-04-07 | 2024-02-06 | コニカミノルタ株式会社 | 診断支援システム、診断支援装置及びプログラム |
| JP7237883B2 (ja) * | 2020-04-14 | 2023-03-13 | Eizo株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
| US20230181002A1 (en) * | 2021-12-14 | 2023-06-15 | Karl Storz Imaging, Inc. | Frame processing of imaging scope data for user interface presentation |
| WO2024048098A1 (ja) * | 2022-08-30 | 2024-03-07 | 富士フイルム株式会社 | 医療支援装置、内視鏡、医療支援方法、及びプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101448459A (zh) * | 2006-05-19 | 2009-06-03 | 株式会社日立医药 | 医用图像显示装置和程序 |
| JP2011115264A (ja) * | 2009-12-01 | 2011-06-16 | Konica Minolta Medical & Graphic Inc | 医用情報表示装置及びプログラム |
| US20110254937A1 (en) * | 2010-04-15 | 2011-10-20 | Olympus Corporation | Image processing device and program |
| JP2012005512A (ja) * | 2010-06-22 | 2012-01-12 | Olympus Corp | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 |
| US20150193966A1 (en) * | 2012-09-26 | 2015-07-09 | Fujifilm Corporation | Virtual endoscopic image generation device, method, and medium containing program |
| JP2017023834A (ja) * | 2016-11-07 | 2017-02-02 | キヤノン株式会社 | 画像処理装置、撮影システム及び画像処理方法 |
| CN106659360A (zh) * | 2014-11-26 | 2017-05-10 | 奥林巴斯株式会社 | 诊断支援装置和诊断支援信息显示方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009086765A (ja) * | 2007-09-27 | 2009-04-23 | Fujifilm Corp | 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法 |
| JP5380348B2 (ja) * | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
| WO2014084134A1 (ja) * | 2012-11-30 | 2014-06-05 | オリンパス株式会社 | 観察装置 |
| JP2015016067A (ja) * | 2013-07-10 | 2015-01-29 | 富士フイルム株式会社 | 画像表示方法および装置並びにプログラム |
| EP3125806B1 (en) * | 2014-03-28 | 2023-06-14 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes |
| CN108135457B (zh) | 2015-10-26 | 2020-02-21 | 奥林巴斯株式会社 | 内窥镜图像处理装置 |
| EP3360461A4 (en) * | 2015-11-10 | 2019-05-08 | Olympus Corporation | ENDOSCOPE DEVICE |
| WO2018003503A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに医療用撮像システム |
-
2019
- 2019-08-08 EP EP19851797.1A patent/EP3841954A4/en active Pending
- 2019-08-08 WO PCT/JP2019/031432 patent/WO2020039968A1/ja unknown
- 2019-08-08 JP JP2020538311A patent/JP7079849B2/ja active Active
- 2019-08-08 CN CN201980054345.6A patent/CN112584741A/zh active Pending
-
2021
- 2021-02-07 US US17/169,510 patent/US20210153722A1/en active Pending
-
2022
- 2022-05-23 JP JP2022083825A patent/JP7235912B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101448459A (zh) * | 2006-05-19 | 2009-06-03 | 株式会社日立医药 | 医用图像显示装置和程序 |
| JP2011115264A (ja) * | 2009-12-01 | 2011-06-16 | Konica Minolta Medical & Graphic Inc | 医用情報表示装置及びプログラム |
| US20110254937A1 (en) * | 2010-04-15 | 2011-10-20 | Olympus Corporation | Image processing device and program |
| JP2012005512A (ja) * | 2010-06-22 | 2012-01-12 | Olympus Corp | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 |
| US20150193966A1 (en) * | 2012-09-26 | 2015-07-09 | Fujifilm Corporation | Virtual endoscopic image generation device, method, and medium containing program |
| CN106659360A (zh) * | 2014-11-26 | 2017-05-10 | 奥林巴斯株式会社 | 诊断支援装置和诊断支援信息显示方法 |
| JP2017023834A (ja) * | 2016-11-07 | 2017-02-02 | キヤノン株式会社 | 画像処理装置、撮影システム及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210153722A1 (en) | 2021-05-27 |
| WO2020039968A1 (ja) | 2020-02-27 |
| EP3841954A4 (en) | 2021-10-13 |
| JPWO2020039968A1 (ja) | 2021-08-12 |
| JP7079849B2 (ja) | 2022-06-02 |
| EP3841954A1 (en) | 2021-06-30 |
| JP2022103441A (ja) | 2022-07-07 |
| JP7235912B2 (ja) | 2023-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112584741A (zh) | 医疗图像处理系统 | |
| US11436726B2 (en) | Medical image processing system | |
| US11881190B2 (en) | Medical image processing apparatus | |
| US11867896B2 (en) | Endoscope system and medical image processing system | |
| US11862327B2 (en) | Medical image processing system | |
| CN112584740B (zh) | 医疗图像处理装置 | |
| US11954897B2 (en) | Medical image processing system, recognition processing processor device, and operation method of medical image processing system | |
| US11830185B2 (en) | Medical image processing system and learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |