CN111031889B - 医疗图像处理装置及医疗图像处理方法 - Google Patents
医疗图像处理装置及医疗图像处理方法 Download PDFInfo
- Publication number
- CN111031889B CN111031889B CN201880054511.8A CN201880054511A CN111031889B CN 111031889 B CN111031889 B CN 111031889B CN 201880054511 A CN201880054511 A CN 201880054511A CN 111031889 B CN111031889 B CN 111031889B
- Authority
- CN
- China
- Prior art keywords
- image
- moving image
- reproduction
- control unit
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种能够准确地掌握对基于医生等用户的医疗图像的动态图像的再现状况的医疗图像处理装置及医疗图像处理方法。所述医疗图像处理装置具备:动态图像再现控制部,控制对显示装置中的医疗图像的动态图像的再现;再现次数控制部,对基于动态图像再现控制部的动态图像的再现次数进行计数,且当动态图像在构成动态图像的多个帧图像中再现至特定帧图像时,累加对动态图像的再现次数;及信息显示控制部,将通过再现次数控制部对动态图像进行计数的再现次数显示于显示装置。
Description
技术领域
本发明涉及一种再现医疗图像的动态图像的医疗图像处理装置及医疗图像处理方法。
背景技术
以往,在医疗领域中,使用电子内窥镜(以下,简称为内窥镜)进行内窥镜检查。在该内窥镜检查中,例如对受检体内的被观察部位照射照明光,并根据拍摄经被观察部位反射的照明光的反射光而获取的反射光图像,对被观察部位进行观察。并且,在该情况下,通过内窥镜对被观察部位进行动态图像摄影,并获得被观察部位的动态图像。该动态图像用作基于医生的准确的诊断、基于图像分析(动态图像分析)的有无病变等的判定及医疗报告的资料等。
基于频繁进行内窥镜检查,与此相应地通过内窥镜检查获得的动态图像的数量也会变多,因此优选设为医生能够一眼确认各动态图像的再现状况。例如,专利文献1及专利文献2中公开有将各动态图像的再现次数作为记录来保存的内容。并且,专利文献3中公开有当再现了通篇动态图像时累加对该动态图像的再现次数的内容。
现有技术文献
专利文献
专利文献1:日本特开2010-283477号公报
专利文献2:日本特开2000-350165号公报
专利文献3:日本特开2016-119590号公报
发明内容
发明要解决的技术课题
但是,在通过内窥镜检查获得的医疗图像的动态图像中,包含病变等关注区域的帧图像在诊断等中尤其重要。因此,医生即便没有再现通篇动态图像,只要完成包含关注区域的帧图像的确认,则可以说实际上确认了动态图像的内容。因此,如上述专利文献3所记载,当以再现通篇动态图像为条件对再现次数进行累加时,即便医生实际上已确认动态图像的内容,也不会在该动态图像的再现次数中反映,因此难以准确地掌握基于医生的各动态图像的再现状况。
本发明是鉴于这种情况而完成的,其目的在于提供一种能够准确地掌握基于医生等用户的医疗图像的动态图像的再现状况的医疗图像处理装置及医疗图像处理方法。
用于解决技术课题的手段
用于实现本发明的目的的医疗图像处理装置具备:动态图像再现控制部,控制对显示装置中的医疗图像的动态图像的再现;再现次数控制部,对基于动态图像再现控制部的动态图像的再现次数进行计数,且当动态图像在构成动态图像的多个帧图像中再现至特定帧图像时,累加对动态图像的再现次数;及信息显示控制部,将通过再现次数控制部计数的动态图像的再现次数显示于显示装置。
根据该医疗图像处理装置,即便没有再现通篇动态图像,当实际上完成了基于用户的动态图像的内容确认时,也能够累加对该动态图像的再现次数。
本发明的另一方式所涉及的医疗图像处理装置具备:医疗图像分析处理部,按每个帧图像分析是否包含应关注的区域即关注区域,并将包含关注区域的帧图像确定为特定帧图像。由此,能够将基于用户(医生)的准确的诊断及确认等中非常需要的帧图像确定为特定帧图像。
在本发明的另一方式所涉及的医疗图像处理装置中,医疗图像分析处理部通过使用深度学习的图像分析处理分析在帧图像内是否包含关注区域。由此,能够将基于用户(医生)的诊断及确认等中非常需要的帧图像确定为特定帧图像。
在本发明的另一方式所涉及的医疗图像处理装置中,动态图像通过具有对动态图像进行拍摄及在动态图像的拍摄中对静态图像进行拍摄的功能的医疗装置获取,医疗图像处理装置具备:定时信息存储部,当通过医疗装置对静态图像执行拍摄时,存储表示在对动态图像的拍摄中对静态图像执行拍摄的定时的定时信息;及图像确定部,根据存储于定时信息存储部的定时信息,将以对静态图像执行拍摄的定时拍摄的帧图像确定为特定帧图像。由此,能够将基于用户(医生)的诊断及确认等中非常需要的帧图像确定为特定帧图像。
本发明的另一方式所涉及的医疗图像处理装置具备:再现次数存储部,存储通过再现次数控制部计数的动态图像的再现次数。通过存储动态图像的再现次数,能够随时进行动态图像的再现次数的显示及确认。
本发明的另一方式所涉及的医疗图像处理装置具备:用户确定部,对动态图像再现控制部中的动态图像执行再现的用户进行确定,再现次数控制部按每个用户单独地对动态图像的再现次数进行计数,再现次数存储部按每个用户单独地对存储动态图像的再现次数。由此,能够准确地掌握每个用户的动态图像的再现状况。
在本发明的另一方式所涉及的医疗图像处理装置中,信息显示控制部将表示有无对动态图像的再现的再现有无信息显示于显示装置。由此,能够轻松地判别有无基于用户的动态图像的再现。
在本发明的另一方式所涉及的医疗图像处理装置中,信息显示控制部作为对动态图像的再现次数,将表示对动态图像的再现次数的数字及图表中的至少一个显示于显示装置。由此,能够轻松地掌握动态图像的再现次数。
在本发明的另一方式所涉及的医疗图像处理装置中,当存在多个动态图像时,信息显示控制部将对动态图像的再现次数按每个动态图像显示于显示装置。由此,能够轻松地掌握每个动态图像的再现状况。
用于实现本发明的目的的医疗图像处理方法具有:动态图像再现控制步骤,控制对显示装置中的医疗图像的动态图像的再现;再现次数控制步骤,对在动态图像再现控制步骤中再现的动态图像的再现次数进行计数,且当动态图像在构成动态图像的多个帧图像中再现至特定帧图像时,累加对动态图像的再现次数;及显示控制步骤,将在再现次数控制步骤中对动态图像计数的再现次数显示于显示装置。
发明效果
本发明的医疗图像处理装置及医疗图像处理方法能够准确地掌握基于医生等用户的医疗图像的动态图像的再现状况。
附图说明
图1是表示内窥镜系统的整体结构的示意图。
图2是表示医疗图像处理装置的功能的功能框图。
图3是图像存储部的示意图。
图4是用于说明特定帧图像的一例的说明图。
图5是表示再现图像选择画面的一例的说明图。
图6是用于说明基于再现控制部的动态图像的再现控制的说明图。
图7是存储部内的再现次数存储部的示意图。
图8是用于说明通过医疗图像分析处理部进行了特定特定帧图像的特定时的基于再现次数控制部的动态图像的再现次数的累加的说明图。
图9是用于说明通过图像确定部进行了特定特定帧图像的特定时的基于再现次数控制部的动态图像的再现次数的累加的说明图。
图10是用于对基于信息显示控制部的再现次数显示的更新进行说明的说明图。
图11是表示对内窥镜系统中的动态图像的再现及动态图像的再现次数的计数的流程的流程图。
具体实施方式
[内窥镜系统的整体结构]
图1是表示内窥镜系统9的整体结构的示意图。如图1所示,内窥镜系统9具备电子内窥镜即内窥镜10、光源装置11、处理器12、显示装置13、医疗图像处理装置14、操作部15及显示装置16。
内窥镜10相当于本发明的医疗装置,例如为柔性内窥镜。该内窥镜10具有插入于受检体内且具有前端及基端的插入部20、连接设置于插入部20的基端侧且执业医师把持而进行各种操作的操作部21及连接设置于操作部21的通用塞绳22。
插入部20的整体以细径且长条状形成。插入部20从其基端侧朝向前端侧依次连接设置具有挠性的柔性部25、通过操作部21的操作能够弯曲的弯曲部26以及内置有未图示的摄影光学系统及成像元件28等的前端部27而构成。
成像元件28为CMOS(complementary metal oxide semiconductor:互补金属氧化物半导体)型或CCD(charge coupled device:电荷耦合器件)型的成像元件。被观察部位的像光经由开口于前端部27的前端面的未图示的观察窗及配置于该观察窗后方的未图示的摄影光学系统等入射于成像元件28的成像面。成像元件28拍摄入射于其成像面的被观察部位的像光(转换为电信号)而输出拍摄信号。
在操作部21设置有由执业医师操作的各种操作部件。具体而言,在操作部21设置有用于弯曲部26的弯曲操作的两种弯曲操作旋钮29、送气送水操作用送气送水按钮30及抽吸操作用抽吸按钮31。并且,在操作部21设置有用于进行被观察部位的静态图像39的摄影命令的静态图像摄影命令部32及向插入贯通插入部20内的处置器具插通路(未图示)内插入处置器具(未图示)的处置器具导入口33。
通用塞绳22为用于将内窥镜10与光源装置11连接的连接塞绳。该通用塞绳22内含插入贯通插入部20内的光导件35、信号电缆36及流体软管(未图示)。并且,在通用塞绳22的端部设置有与光源装置11连接的连接器37A及从该连接器37A分支且与处理器12连接的连接器37B。
通过将连接器37A与光源装置11连接,光导件35及流体软管(未图示)插入于光源装置11。由此,经由光导件35及流体软管(未图示),从光源装置11对内窥镜10供给所需的照明光、水及气体。其结果,从前端部27的前端面的照明窗(未图示)朝向被观察部位照射照明光。并且,根据前述的送气送水按钮30的按压操作,从前端部27的前端面的送气送水喷嘴(未图示)朝向前端面的观察窗(未图示)喷射气体或水。
通过将连接器37B与处理器12连接,信号电缆36与处理器12电连接。由此,经由信号电缆36从内窥镜10的成像元件28向处理器12输出被观察部位的拍摄信号,并且从处理器12向内窥镜10输出控制信号。
另外,在本实施方式中,作为内窥镜10以柔性内窥镜为例子进行了说明,但例如也可以使用刚性内窥镜等能够进行被观察部位的动态图像摄影的各种电子内窥镜。
光源装置11经由连接器37A向内窥镜10的光导件35供给照明光。照明光可选择白色光(白色波长频带的光或多个波长频带的光),或一个或多个特定波长频带的光,或它们的组合等与观察目的相应的各种波长频带的光。另外,特定波长频带为窄于白色波长频带的频带。
特定波长频带的第1例为例如可见区域的蓝色频带或绿色频带。该第1例的波长频带包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带,且第1例的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。
特定波长频带的第2例为例如可见区域的红色频带。该第2例的波长频带包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带,且第2例的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
特定波长频带的第3例包含在氧合血红蛋白及还原血红蛋白中吸光系数不同的波长频带,且第3例的光在氧合血红蛋白及还原血红蛋白中吸光系数不同的波长频带中具有峰值波长。该第3例的波长频带包含400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带,且第3例的光在上述400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带中具有峰值波长。
特定波长频带的第4例为用于活体内荧光物质发射的荧光的观察(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。
特定波长频带的第5例为红外光的波长频带。该第5例的波长频带包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带,且第5例的光在790nm以上且820nm以下或905nm以上且970nm以下的波长频带中具有峰值波长。
处理器12经由连接器37B及信号电缆36控制内窥镜10的动作。并且,处理器12根据经由连接器37B及信号电缆36从内窥镜10的成像元件28获取的拍摄信号,生成被观察部位的动态图像38。而且,当通过内窥镜10的操作部21操作了静态图像摄影命令部32时,处理器12与动态图像38的生成并行地,根据从成像元件28获取的拍摄信号生成被观察部位的静态图像39。该静态图像39可以生成为比动态图像38的分辨率更高。
动态图像38及静态图像39为拍摄了受检体内即活体内的活体内图像。而且,当动态图像38及静态图像39为通过上述特定波长频带的光(特殊光)获得的图像时,两者为特殊光图像。而且,处理器12将所生成的动态图像38及静态图像39分别输出至显示装置13及医疗图像处理装置14。
另外,处理器12也可以根据通过上述白色光获得普通光图像,生成(获取)具有上述特定波长频带的信息的特殊光图像。在该情况下,处理器12作为特殊光图像获取部而发挥功能。而且,处理器12通过进行基于普通光图像中所包含的红色、绿色及蓝色[RGB(Red、Green、Blue)]或青色、品红色及黄色[CMY(Cyan、Magenta、Yellow)]的颜色信息的运算获得特定波长频带的信号。
并且,处理器12例如也可以根据通过上述白色光获得的普通光图像及通过上述特定波长频带的光(特殊光)获得的特殊光图像中的任一个,生成公知的氧饱和度图像等特征量图像。在该情况下,处理器12作为特征量图像生成部发挥功能。
显示装置13与处理器12连接,并显示从该处理器12输入的动态图像38及静态图像39。用户(医生)一边确认显示于显示装置13的动态图像38,一边进行插入部20的进退操作等,当在被观察部位发现了病变等时,操作静态图像摄影命令部32而对被观察部位执行静止图像摄影。
在本实施方式中,医疗图像处理装置14例如使用个人电脑。并且,操作部15使用与个人电脑有线连接或无线连接的键盘及鼠标等,显示装置16使用能够与个人电脑连接的各种显示器。
并且,作为医疗图像处理装置14,可以使用工作站(服务器)等诊断支持装置,在该情况下,操作部15及显示装置16分别与工作站连接的多个终端的每一个设置。而且,作为医疗图像处理装置14,例如也可以使用进行支持创建医疗报告等的诊疗服务支持装置。
医疗图像处理装置14进行对动态图像38及静态图像39的获取及存储、对动态图像38及静态图像39的再现控制、对动态图像38的再现次数的计数以及对该计数结果的显示。操作部15用于对医疗图像处理装置14输入操作命令。显示装置16在医疗图像处理装置14的控制下,进行对动态图像38及静态图像39的显示,或进行对动态图像38的再现次数等的显示。
[医疗图像处理装置的功能]
图2是表示医疗图像处理装置14的功能的功能框图。如图2所示,执行对包含动态图像38的再现控制、对动态图像38的再现次数的计数及对该再现次数的计数结果的显示的医疗图像处理装置14的各种控制的控制部的硬件结构为如下所示的各种处理器(processor)。各种处理器中包含执行软件(程序)而作为各种控制部发挥功能的通用的处理器即CPU(Central Processing Unit/中央处理器)、FPGA(Field Programmable GateArray/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device/PLD)、ASIC(Application Specific Integrated Circuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器(例如,多个FPGA或CPU与FPGA的组合)构成。并且,也可以将多个控制部由一个处理器来构成。作为将多个控制部由一个处理器来构成的例子,第1,有如以客户端或服务器等计算机为代表,由一个以上的CPU与软件的组合来构成一个处理器,且该处理器作为多个控制部而发挥功能的方式。第2,有如以片上系统(System On Chip:SoC)等为代表,使用将包含多个控制部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此,各种控制部作为硬件结构使用一个以上上述各种处理器而构成。
医疗图像处理装置14的处理器(未图示)根据程序51,作为图像获取部41、用户确定部42、医疗图像分析处理部43A、图像确定部43B、显示控制部44及再现次数控制部45而发挥功能。并且,在医疗图像处理装置14中设置有存储医疗图像处理装置14的各种控制所涉及的信息的存储部47。
在存储部47存储有用户信息50及程序51,且设置有图像存储部53及再现次数存储部54。用户信息50为将使用医疗图像处理装置14的医生等用户固有的用户ID(identification:识别码)与按每个用户ID设定的密码建立对应关联的信息。程序51为用于使医疗图像处理装置14执行已叙述的动态图像38的再现控制、动态图像38的再现次数的计数及其计数结果的显示等的应用程序。
虽然详细内容将在后面叙述,但图像存储部53存储医疗图像处理装置14所获取的动态图像38及静态图像39。并且,虽然详细内容将在后面叙述,但再现次数存储部54按每个用户存储动态图像38的再现次数。
另外,在本实施方式中,存储部47设置于医疗图像处理装置14内,但存储部47也可以设置于互联网上的服务器或数据库内。因此,在本发明的医疗图像处理装置中还包含由多个装置构成的医疗图像处理系统。
图像获取部41使用与处理器12有线连接或无线连接的未图示的图像输入输出接口而从处理器12获取动态图像38。并且,当在通过内窥镜10拍摄动态图像38的途中进行了已叙述的静态图像39的拍摄时,图像获取部41从处理器12获取动态图像38及静态图像39。而且,图像获取部41将所获取的动态图像38及静态图像39储存于存储部47内的图像存储部53。图中的符号38a为构成动态图像38的多个帧图像。
另外,图像获取部41代替从处理器12直接获取动态图像38及静态图像39,也可以经由存储卡等各种信息存储介质获取动态图像38及静态图像39。并且,图像获取部41也可以经由互联网获取上传到互联网上的服务器或数据库等的动态图像38及静态图像39。
并且,当作为动态图像38及静态图像39获取具有已叙述的特定波长频带的信息的特殊光图像时,图像获取部41作为特殊光图像获取部而发挥功能。
此外,图像获取部41无需将从处理器12等输入的所有动态图像38存储于图像存储部53,例如,当根据静态图像摄影命令部32的操作进行了被观察部位的静止图像摄影时,也可以将其前后一分钟(拍摄前一分钟至拍摄后一分钟)的动态图像38存储于图像存储部53。
图3是图像存储部53的示意图。如图3所示,图像获取部41将从处理器12等获取的动态图像38按图像存储部53内的各文件夹(文件夹A、文件夹B、文件夹C、...)单独地存储。并且,当通过内窥镜10拍摄动态图像38的途中进行了已叙述的静态图像39的拍摄时,图像获取部41将从处理器12与动态图像38一同获取的静态图像39存储于与该动态图像38相同的文件夹内。
在图中,动态图像38以一帧来表示,但当动态图像38的摄影时间较长时,也可以分割为多帧。
在静态图像39的标题信息39a中记录有表示通过处理器12拍摄动态图像38中对静态图像39进行拍摄的摄影定时的时间信息。因此,通过参考标题信息39a,能够判别前述的摄影定时。因此,标题信息39a相当于本发明的定时信息,且图像存储部53作为本发明的定时信息存储部而发挥功能。
另外,在本实施方式中,将静态图像39的标题信息39a用作本发明的定时信息,但只要能够判别前述的摄影定时,则并不特别限定于标题信息39a,例如也可以存储于动态图像38的标题,或与动态图像38及静态图像39另行存储。
在图像存储部53内的各文件夹中存储有后述的医疗图像分析处理部43A及图像确定部43B的分析结果即特定帧信息56。虽然详细内容将在后面叙述,但该特定帧信息56为表示构成存储于相同的文件夹内的动态图像38的多个帧图像38a中所包含的特定帧图像60(参考图4)的信息。
返回图2,用户确定部42在开始利用基于用户的医疗图像处理装置14时对该用户进行确定。例如用户确定部42控制后述的显示控制部44而在显示装置16中显示登录画面,并督促用户输入用户ID及密码。接着,当在登录画面上输入了用户ID及密码时,用户确定部42通过对照所输入的用户ID及密码与已叙述的存储部47内的用户信息50,对利用医疗图像处理装置14的用户进行确定。而且,用户确定部42将用户的确定结果分别向显示控制部44及再现次数控制部45输出。
另外,代替基于用户ID及密码对用户进行确定,也可以利用用户持有的ID卡,或利用公知的活体认证技术。
医疗图像分析处理部43A及图像确定部43B从构成动态图像38的多个帧图像38a中特定预先设定的特定帧图像60(参考图4)。该特定帧图像60是为了进行基于用户(医生)的准确的诊断而在确认中非常需要的图像。
医疗图像分析处理部43A按每个帧图像38a分析是否包含应关注的区域即关注区域61(参考图4),并将包含该关注区域61的帧图像38a确定为特定帧图像60(参考图4)。
图4用于说明特定帧图像60的一例的说明图。如图4所示,关注区域61例如为在被观察部位内所产生的病变区域。并且,在关注区域61中,除了病变区域以外,还包含因过去通过处置器具等的处置或检查而残留于被观察部位的体壁的痕迹(治疗痕迹及检查痕迹)。而且,作为关注区域61,还包含通过处置器具等进行处置或检查的区域即照出处置器具等应关注的对象的区域。
返回图2,本实施方式的医疗图像分析处理部43A在新的动态图像38每次存储于图像存储部53时,根据深度学习算法65,进行使用深度学习(Deep Learning)的图像分析处理,由此对每个帧图像38a分析是否包含关注区域61。深度学习算法65为公知的卷积神经网络(Convolutional neural network)方法即经卷积层及池化层的重复、全连接层及输出层而识别在帧图像38a中是否包含关注区域61的算法。另外,使用深度学习的图像分析处理为公知技术,因此省略具体说明。
医疗图像分析处理部43A将包含关注区域61的帧图像38a确定为特定帧图像60,并将在动态图像38内能够识别该特定帧图像60的信息(帧编号等)作为已叙述的特定帧信息56来存储于与动态图像38相同的文件夹内。
当在内窥镜10中拍摄动态图像38的途中进行了静态图像39的拍摄时,图像确定部43B将以对该静态图像39执行拍摄的摄影定时拍摄的动态图像38的帧图像38a确定为特定帧图像60。在此,对静态图像39的拍摄经常在被观察部位发生了病变区域时、在被观察部位存在治疗痕迹或检查痕迹时及通过处置器具等对被观察部位进行处置或检查时等进行。因此,在以已叙述的摄影定时拍摄的动态图像38的帧图像38a中包含已叙述的关注区域61的可能性较高。
图像确定部43B在图像存储部53每次存储新的动态图像38时,确认在与该动态图像38相同的文件夹内是否存储有静态图像39。接着,当在与动态图像38相同的文件夹内存储有静态图像39时,图像确定部43B根据静态图像39的标题信息39a,在动态图像38的各帧图像38a中,将以已叙述的摄影定时拍摄的帧图像38a确定为特定帧图像60。而且,图像确定部43B与已叙述的医疗图像分析处理部43A相同地,将在动态图像38内能够识别特定帧图像60的信息作为已叙述的特定帧信息56来存储于与动态图像38相同的文件夹内。
如此,在本实施方式的特定帧信息56中包含表示通过医疗图像分析处理部43A特定的特定帧图像60的信息及表示通过图像确定部43B特定的特定帧图像60的信息这两者。
另外,本实施方式的医疗图像处理装置14具备医疗图像分析处理部43A及图像确定部43B这两者,但也可以设为仅具备其中任一个。
显示控制部44控制基于显示装置16的图像显示。该显示控制部44作为再现控制部44A及信息显示控制部44B而发挥功能。
再现控制部44A相当于本发明的动态图像再现控制部,并进行对通过显示装置16再现按图像存储部53内的每个文件夹存储的动态图像38(也可以是静态图像39)的再现控制。若在操作部15中进行再现图像选择画面显示操作,则再现控制部44A根据存储部47内的程序51及图像存储部53等,将再现图像选择画面69(参考图5)显示于显示装置16。
图5是表示再现图像选择画面69的一例的说明图。另外,对在图5中设为均不进行基于用户(用户1)的动态图像再现来进行说明。如图5所示,在再现图像选择画面69设置有用户栏71及图像一览显示栏72。并且,在再现图像选择画面69显示根据操作部15的操作而在画面内移动的光标73。
在用户栏71中显示利用医疗图像处理装置14的用户的用户名(也可以是用户ID)。再现控制部44A根据从已叙述的用户确定部42输入的用户确定结果,在用户栏71内显示用户名。
在图像一览显示栏72中显示按图像存储部53内的每个文件夹存储的动态图像38的缩略图像38S、动态图像再现按钮75及后述的再现次数显示77。当进行再现图像选择画面69显示时,再现控制部44A生成图像存储部53内的各动态图像38的缩略图像38S。例如,当在与动态图像38相同的文件夹内存储有静态图像39时,再现控制部44A根据该静态图像39生成缩略图像38S,相反,当存储有静态图像39时,再现控制部44A根据动态图像38中的任意的帧图像38a生成缩略图像38S。
接着,再现控制部44A在图像一览显示栏72内显示各动态图像38的缩略图像38S。另外,当在图像一览显示栏72内无法显示所有动态图像38的缩略图像38S时,再现控制部44A在每次进行经由操作部15通过光标73选择图像一览显示栏72的显示切换按钮72a的选择操作时,切换显示于图像一览显示栏72内的缩略图像38S。
并且,再现控制部44A在图像一览显示栏72内按每个缩略图像38S显示与各缩略图像38S对应的动态图像38的文件夹名(也可以是动态图像38的文件名)及动态图像再现按钮75。
信息显示控制部44B参考存储部47内的后述的再现次数存储部54,按图像一览显示栏72内的每个缩略图像38S显示表示基于用户的各动态图像38的再现次数的再现次数显示77。由此,当在图像一览显示栏72内存在多个缩略图像38S时,能够按每个缩略图像38S,将与各缩略图像38S对应的动态图像38的再现次数显示77建立对应关联并显示。
图6是用于说明基于再现控制部44A的动态图像38的再现控制的说明图。如图6所示,若进行经由操作部15通过光标73选择图像一览显示栏72内的任意动态图像再现按钮75的选择操作,则再现控制部44A从图像存储部53获取与该选择操作对应的动态图像38,并且使显示装置16执行基于该动态图像38的动态图像再现。由此,在本实施方式中,在与再现图像选择画面69不同的视窗中动态图像再现画面80显示于显示装置16,且在该动态图像再现画面80内开始再现动态图像38。另外,当对静态图像39进行拍摄时,也可以再现该静态图像39的拍摄前一分钟至拍摄后一分钟的动态图像38。
在此,关于动态图像38的再现方式并无特别限定,例如也可以在显示装置16中进行动态图像再现画面80的整个画面显示等。
若进行经由操作部15通过光标73选择动态图像再现画面80内的关闭按钮80a的关闭操作,则再现控制部44A关闭动态图像再现画面80。由此,能够以动态图像38的再现途中或通篇再现后等的任意定时来结束动态图像38的再现。
图7是存储部47内的再现次数存储部54的示意图。如图7所示,再现次数存储部54用于基于后述的再现次数控制部45的动态图像38的再现次数的计数及该再现次数的计数结果的存储。再现次数存储部54按每个用户(用户1、用户2、用户3、…)单独地存储表示图像存储部53内的各文件夹的动态图像38各自的再现次数的再现次数信息82。由此,通过参考再现次数存储部54,能够判别每个用户的各动态图像38的再现次数。而且,通过后述的再现次数控制部45更新各再现次数信息82。
返回图2,再现次数控制部45在开始再现基于再现控制部44A的动态图像38时进行工作,并且按每个用户单独地对各动态图像38的再现次数进行计数。
首先,再现次数控制部45根据从已叙述的用户确定部42输入的用户确定结果及通过再现控制部44A开始再现的动态图像38的种类(文件夹名),并参考再现次数存储部54,获取用户对该动态图像38的再现次数。接着,再现次数控制部45根据与开始再现的动态图像38对应的图像存储部53内的特定帧信息56,当动态图像38在构成该动态图像38的多个帧图像38a中再现至特定帧图像60时,累加对该动态图像38的再现次数。
图8是用于说明通过医疗图像分析处理部43A进行了特定帧图像60的特定时的基于再现次数控制部45的动态图像38的再现次数的累加的说明图。另外,设为动态图像38的再现时间从图中左侧朝向右侧经过。
图9是用于说明通过图像确定部43B进行了特定帧图像60的特定时的基于再现次数控制部45的动态图像38的再现次数的累加的说明图。在该情况下,已叙述的再现控制部44A在动态图像再现画面80内优选显示拖动条85及移动标识86和固定标识87。
拖动条85及移动标识86表示现在再现动态图像38的整个再现时间(各帧图像38a)中的哪一部分。固定标识87为表示动态图像38的整个再现时间(帧图像38a)中特定帧图像60的再现定时的标识。该固定标识87根据与动态图像38对应的特定帧信息56,确定在拖动条85上的位置。另外,也可以在已叙述的图8所示的动态图像再现画面80内进行相同的显示。
如图8及图9所示,当基于再现控制部44A的动态图像38开始再现时,再现次数控制部45根据与该动态图像38对应的特定帧信息56,在构成该动态图像38的各帧图像38a中再现特定帧图像60为止,不累加对该动态图像38的再现次数。而且,如图中的箭头SP所示,若动态图像38的再现持续至特定帧图像60,则再现次数控制部45累加(+1)该动态图像38的再现次数。即,只要动态图像38再现至特定帧图像60,则即便其以后的某一定时下结束动态图像再现,动态图像38的再现次数也会被累加。
在此,当在一个动态图像38中包含多个特定帧图像60时,例如当再现了最后的特定帧图像60时即再现了所有特定帧图像60时,再现次数控制部45累加对动态图像38的再现次数。另外,当再现了最初的特定帧图像60时,或在所有特定帧图像60中再现了一定比例以上的特定帧图像60时,也可以累计动态图像38的再现次数。而且,当再现了由医疗图像分析处理部43A及图像确定部43B中的预先设定的一个特定的所有特定帧图像60时,也可以累加对动态图像38的再现次数。
当动态图像38的再现结束,且累加了对该动态图像38的再现次数时,再现次数控制部45将该累加后的再现次数存储于与用户及动态图像38的种类这两者对应的再现次数存储部54内的再现次数信息82。由此,在再现次数存储部54内,按每个用户且按动态图像38的每个种类单独地存储及更新再现次数信息82。
图10是用于对基于信息显示控制部44B的再现次数显示77的更新进行说明的说明图。如图10所示,若通过再现次数控制部45进行再现次数信息82的更新,则信息显示控制部44B根据该更新后的再现次数信息82,更新图像一览显示栏72内的再现次数显示77。
信息显示控制部44B将与再现次数为“0”的动态图像38(缩略图像38S)对应的再现次数显示77以“数字”来显示,而将与再现次数为“1”以上的动态图像38(缩略图像38S)对应的再现次数显示77以“数字”及“图表”这两者来显示。另外,也可以与动态图像38的再现次数无关地,将再现次数显示77以“数字”及“图表”中的至少一个来显示。
并且,信息显示控制部44B在图像一览显示栏72内,关于再现次数为“1”以上的缩略图像38S,以包围缩略图像38S的方式进行框显示89。有无该框显示89表示有无对与显示于图像一览显示栏72内的缩略图像38S对应的动态图像38的再现。因此,框显示89相当于本发明的再现有无信息。另外,也可以设为通过除了框显示89以外的其他显示方式或显示方法,能够判别有无对动态图像38的再现。
[内窥镜系统的作用]
图11是表示内窥镜系统9中的动态图像38的再现及动态图像38的再现次数的计数(医疗图像处理方法)的流程的流程图。如图11所示,在对基于医疗图像处理装置14的动态图像38进行再现之前,图像获取部41从处理器12等获取动态图像38,并将所获取的动态图像38按图像存储部53内的每个文件夹单独地存储(步骤S1)。
而且,在新的动态图像38通过图像获取部41每次存储于图像存储部53时,医疗图像分析处理部43A及图像确定部43B进行工作。医疗图像分析处理部43A通过使用已叙述的深度学习的图像分析处理,对动态图像38的每个帧图像38a分析是否包含关注区域61,并将包含关注区域61的帧图像38a确定为特定帧图像60(步骤S2)。由此,能够将包含为了基于用户(医生)的准确的诊断而在确认中非常需要的关注区域61的帧图像38a确定为特定帧图像60。
另一方面,图像确定部43B确认在与新存储的动态图像38相同的文件夹内是否存储有静态图像39。而且,当在相同的文件夹内存储有静态图像39时,图像确定部43B根据该静态图像39的标题信息39a,将以静态图像39的摄影定时拍摄的帧图像38a确定为特定帧图像60(步骤S2)。由此,能够将包含上述关注区域61的可能性较高的帧图像38a确定为特定帧图像60。
而且,医疗图像分析处理部43A及图像确定部43B将与所确定的特定帧图像60相关的特定帧信息56存储于与图像存储部53内的新的动态图像38对应的文件夹内。
若用户通过操作部15进行医疗图像处理装置14的利用开始操作(登录操作),则用户确定部42控制显示控制部44而在显示装置16中显示登录画面。用户接收该显示而通过操作部15进行输入用户ID及密码的登录操作,则用户确定部42通过对照所输入的用户ID及密码与存储部47内的用户信息50,对用户进行确定(步骤S3)。而且,用户确定部42将用户确定结果分别向显示控制部44及再现次数控制部45输出。
接着,若用户经由操作部15进行再现图像选择画面显示操作(步骤S4),则再现控制部44A根据存储部47内的程序51及图像存储部53,将再现图像选择画面69显示于显示装置16(步骤S5)。此时,信息显示控制部44B根据基于用户确定部42的用户确定结果,并参考再现次数存储部54,将与该用户对应的每个动态图像38的再现次数显示77分别与图像一览显示栏72内的各缩略图像38S建立对应关联并显示(步骤S5)。由此能够轻松地掌握用户对每个动态图像38的再现状况。
若用户经由操作部15进行通过光标73选择任意的动态图像再现按钮75的选择操作,则再现控制部44A从图像存储部53获取与该选择操作对应的动态图像38(步骤S6)。而且,再现控制部44A根据从图像存储部53获取的动态图像38,使显示装置16执行动态图像再现画面80中的动态图像再现(步骤S7相当于本发明的动态图像再现控制步骤)。由此,开始再现动态图像38。
若开始基于再现控制部44A的动态图像再现,则再现次数控制部45根据从用户确定部42输入的用户确定结果及通过再现控制部44A开始再现的动态图像38的种类,并参考再现次数存储部54,获取用户对该动态图像38的再现次数。接着,再现次数控制部45根据与开始再现的动态图像38对应的特定帧信息56,当动态图像38再现至特定帧图像60时,累加对该动态图像38的再现次数(在步骤S8中为“是”,步骤S9相当于本发明的再现次数控制步骤)。
而且,再现次数控制部45将累加后的对动态图像38的再现次数存储于与用户及动态图像38的种类这两者对应的再现次数存储部54内的再现次数信息82(步骤S10)。由此,更新再现次数存储部54内的再现次数信息82。如此,在本实施方式中,设成按每个用户单独地对动态图像38的再现次数进行计数,且按每个用户单独地存储对动态图像38的再现次数,因此能够准确地掌握每个用户对动态图像38的再现状况。
在动态图像再现画面80中的动态图像再现结束之后,当通过再现次数控制部45更新了再现次数信息82时,信息显示控制部44B根据该更新后的再现次数信息82,更新图像一览显示栏72内的再现次数显示77(步骤S11相当于本发明的显示控制步骤)。由此,基于用户的最新的动态图像38的再现次数显示于显示装置16。
并且,当动态图像38的再现次数从0累加到1时,信息显示控制部44B对与该动态图像38对应的缩略图像38S进行已叙述的框显示89。由此,能够轻松地判别分别与图像一览显示栏72内的各缩略图像38S对应的各动态图像38有无再现。
另一方面,当动态图像38未再现至特定帧图像60时,再现次数控制部45不进行对动态图像38的再现次数的累加(在步骤S8中为“否”)。
以下,当用户进行其他动态图像38的再现时,重复执行上述步骤S6至步骤S11的处理(步骤S12中为“是”)。
[本实施方式的效果]
当动态图像38在构成动态图像38的各帧图像38a中再现至特定帧图像60时,本实施方式的内窥镜系统9累加对该动态图像38的再现次数。因此,即便没有再现通篇动态图像38,当实际上完成了基于用户的动态图像38的内容确认时,也能够累加对该动态图像38的再现次数。其结果,能够准确地掌握基于用户的各动态图像38的再现状况。
[其他]
上述实施方式的医疗图像分析处理部43A通过使用深度学习的图像分析处理,按每个帧图像38a判定是否包含关注区域61,但也可以使用其他方法进行判定。例如将帧图像38a分割为多个矩形区域,并将所分割的各矩形区域设定为局部区域。而且,按帧图像38a的每个局部区域计算局部区域内的像素的特征量(例如色相)。接着,从各局部区域中将具有特定色相的局部区域确定为关注区域61。以下,对所有帧图像38a重复执行上述各处理。
如此,医疗图像分析处理部43A能够根据帧图像38a内的像素的特征量检测帧图像38a内的关注区域61。
在上述实施方式中,通过医疗图像处理装置14的医疗图像分析处理部43A按每个帧图像38a分析是否包含关注区域61,但也可以获取通过其他装置进行的对每个帧图像38a的图像分析结果。例如,医疗图像分析处理部43A从记录有每个帧图像38a的图像分析结果的记录装置(存储装置)获取图像分析结果(特定帧信息56等)。在该情况下,医疗图像分析处理部43A作为获取图像分析结果的医疗图像分析结果获取部而发挥功能。
在上述实施方式中,分体设置有处理器12与医疗图像处理装置14,但也可以使处理器12与医疗图像处理装置14一体化。即,也可以在处理器12中设置作为医疗图像处理装置14的功能。
在上述实施方式中,对通过内窥镜10拍摄的动态图像38的再现进行了说明,但例如在进行通过超声波诊断装置、X射线图像诊断系统、数字化乳腺X线摄影、CT(ComputedTomography:计算机断层扫描)检查装置及MRI(Magnetic Resonance Imaging:磁共振成像)检查装置等进行被观察部位的动态图像摄影的各种医疗装置拍摄的动态图像38的再现的各种医疗图像处理装置中也能够适用本发明。并且,本发明能够适用于医疗图像即动态图像38的分析及诊断中所使用的图像诊断(分析)装置及医疗报告创建等中所使用的诊疗服务支持装置等进行动态图像38的再现的各种动态图像再现装置中。
[附记]
本说明书中包括包含以下所示的发明的各种技术思想的公开内容。
[附记A1]
在本发明所涉及的医疗图像处理装置中,还具有医疗图像分析处理部,医疗图像分析处理部根据医疗图像的像素的特征量,检测应关注的区域即关注区域,医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
[附记A2]
在本发明所涉及的医疗图像处理装置中,还具有医疗图像分析处理部,医疗图像分析处理部根据医疗图像的像素的特征量,检测有无应关注的对象,医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
[附记A3]
在附记A1或附记A2所涉及的医疗图像处理装置中,医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置获取分析结果,分析结果为医疗图像中所包含的应关注的区域即关注区域及有无应关注的对象中的任一个或两者。
[附记B1]
在附记A1至附记A3中的任一个记载的医疗图像处理装置中,医疗图像为白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像。
[附记B2]
附记B1所涉及的医疗图像处理装置的特征在于,医疗图像为照射特定波长频带的光而获得的图像,特定波长频带为窄于白色波长频带的频带。
[附记B3]
在附记B2所涉及的医疗图像处理装置中,特定波长频带为可见区域的蓝色或绿色频带。
[附记B4]
在附记B3所涉及的医疗图像处理装置中,特定波长频带包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带,且特定波长频带的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。
[附记B5]
在附记B2所涉及的医疗图像处理装置中,特定波长频带为可见区域的红色频带。
[附记B6]
在附记B5所涉及的医疗图像处理装置中,特定波长频带包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带,且特定波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
[附记B7]
在附记B2所涉及的医疗图像处理装置中,特定波长频带包含在氧合血红蛋白及还原血红蛋白中吸光系数不同的波长频带,且特定波长频带的光在氧合血红蛋白及还原血红蛋白中吸光系数不同的波长频带中具有峰值波长。
[附记B8]
在附记B7所涉及的医疗图像处理装置中,特定波长频带包含400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带,且特定波长频带的光在400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带中具有峰值波长。
[附记B9]
在附记B2所涉及的医疗图像处理装置中,医疗图像为照出活体内的活体内图像,活体内图像具有活体内的荧光物质发射的荧光的信息。
[附记B10]
在附记B9所涉及的医疗图像处理装置中,对活体内照射峰值为390nm至470nm的激励光而获得荧光。
[附记B11]
在附记B2所涉及的医疗图像处理装置中,医疗图像为照出活体内的活体内图像,特定波长频带为红外光的波长频带。
[附记B12]
在附记B11所涉及的医疗图像处理装置中,特定波长频带包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带,且特定波长频带的光在790nm以上且820nm以下或905nm以上且970nm以下的波长频带中具有峰值波长。
[附记B13]
在附记A1至附记A3中的任一个记载的医疗图像处理装置中,医疗图像获取部具备特殊光图像获取部,该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得普通光图像,获取具有特定波长频带的信息的特殊光图像,医疗图像为特殊光图像。
[附记B14]
在附记B13所涉及的医疗图像处理装置中,特定波长频带的信号通过基于普通光图像中所包含的红色、绿色及蓝色或青色、品红色及黄色的颜色信息的运算获得。
[附记B15]
附记A1至附记A3中的任一个记载的医疗图像处理装置具备:特征量图像生成部,通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像及照射特定波长频带的光而获得的特殊光图像中的至少一个的运算,生成特征量图像,医疗图像为特征量图像。
[附记C1]
一种内窥镜装置,其具备:上述各附记中的任一个记载的医疗图像处理装置;及内窥镜,照射白色波长频带的光或特定波长频带的光中的至少任一个而获取图像。
[附记C2]
一种诊断支持装置,其具备上述各附记中的任一个记载的医疗图像处理装置。
[附记C3]
一种医疗服务支持装置,其具备上述各附记中的任一个记载的医疗图像处理装置。
符号说明
9-内窥镜系统,10-内窥镜,11-光源装置,12-处理器,13-显示装置,14-医疗图像处理装置,16-显示装置,20-插入部,21-操作部,22-通用塞绳,25-柔性部,26-弯曲部,27-前端部,28-成像元件,29-弯曲操作旋钮,30-送气送水按钮,31-抽吸按钮,32-静态图像摄影命令部,33-处置器具导入口,35-光导件,36-信号电缆,37A-连接器,37B-连接器,38-动态图像,38S-缩略图像,38a-帧图像,39-静态图像,39a-标题信息,41-图像获取部,42-用户确定部,43A-医疗图像分析处理部,43B-图像确定部,44-显示控制部,44A-再现控制部,44B-信息显示控制部,45-再现次数控制部,47-存储部,50-用户信息,51-程序,53-图像存储部,54-再现次数存储部,56-特定帧信息,60-特定帧图像,61-关注区域,65-深度学习算法,69-再现图像选择画面,71-用户栏,72-图像一览显示栏,72a-显示切换按钮,73-光标,75-动态图像再现按钮,77-再现次数显示,80-动态图像再现画面,80a-关闭按钮,82-再现次数信息,85-拖动条,86-移动标识,87-固定标识,89-框显示,S1~S12-步骤(医疗图像处理方法),SP-箭头。
Claims (10)
1.一种医疗图像处理装置,其中,该医疗图像处理装置具备:
医疗图像分析处理部,其按构成医疗图像的动态图像的每个帧图像分析是否包含作为应关注的区域的关注区域,将包含所述关注区域的所述帧图像确定为特定帧图像;
动态图像再现控制部,其对显示装置中的所述动态图像的再现进行控制,根据再现的指示从所述动态图像的先头开始再现;
再现次数控制部,其对基于所述动态图像再现控制部的所述动态图像的再现次数进行计数,在开始所述动态图像再现控制部进行的所述动态图像的再现、且持续再现至所述特定帧图像的情况下,累加所述动态图像的再现次数;以及
信息显示控制部,其将通过所述再现次数控制部进行计数的所述动态图像的再现次数显示于所述显示装置。
2.根据权利要求1所述的医疗图像处理装置,其中,
所述医疗图像分析处理部通过使用了深度学习的图像分析处理,分析在所述帧图像内是否包含所述关注区域。
3.一种医疗图像处理装置,其对通过具有如下功能的医疗装置获取的动态图像进行处理,该功能是进行医疗图像的所述动态图像的拍摄以及在所述动态图像的拍摄中对静态图像进行拍摄的功能,其中,
所述医疗图像处理装置具备:
定时信息存储部,其存储表示在对所述动态图像的拍摄中对所述静态图像执行了拍摄的定时的定时信息;
图像确定部,其根据所述定时信息存储部中存储的所述定时信息,从构成所述动态图像的多个帧图像中将在对所述静态图像执行了拍摄的定时拍摄的所述帧图像确定为特定帧图像;
动态图像再现控制部,其对显示装置中的所述动态图像的再现进行控制,根据再现的指示从所述动态图像的先头开始再现;
再现次数控制部,其对基于所述动态图像再现控制部的所述动态图像的再现次数进行计数,在开始所述动态图像再现控制部进行的所述动态图像的再现、且持续再现至所述特定帧图像的情况下,累加所述动态图像的再现次数;以及
信息显示控制部,其将通过所述再现次数控制部进行计数的所述动态图像的再现次数显示于所述显示装置。
4.一种医疗图像处理装置,其对通过具有如下功能的医疗装置获取的动态图像进行处理,该功能是进行医疗图像的所述动态图像的拍摄以及在所述动态图像的拍摄中对静态图像进行拍摄的功能,其中,
所述医疗图像处理装置具备:
定时信息存储部,其存储表示在对所述动态图像的拍摄中对所述静态图像执行了拍摄的定时的定时信息;
图像确定部,其根据所述定时信息存储部中存储的所述定时信息,从构成所述动态图像的多个帧图像中将在对所述静态图像执行了拍摄的定时拍摄的所述帧图像确定为特定帧图像;
动态图像再现控制部,其对显示装置中的所述动态图像的再现进行控制,根据再现的指示,从对所述静态图像执行了拍摄的定时之前的固定时间起开始再现,并且在到对所述静态图像执行了拍摄的定时之后的固定时间为止的范围内对所述动态图像进行再现;
再现次数控制部,其对基于所述动态图像再现控制部的所述动态图像的再现次数进行计数,在开始所述动态图像再现控制部进行的所述动态图像的再现、且持续再现至所述特定帧图像的情况下,累加所述动态图像的再现次数;以及
信息显示控制部,其将通过所述再现次数控制部进行计数的所述动态图像的再现次数显示于所述显示装置。
5.根据权利要求1至4中任意一项所述的医疗图像处理装置,其中,该医疗图像处理装置具备:
再现次数存储部,其存储通过所述再现次数控制部计数的所述动态图像的再现次数。
6.根据权利要求5所述的医疗图像处理装置,其中,该医疗图像处理装置具备:
用户确定部,其确定使所述动态图像再现控制部执行所述动态图像的再现的用户,
所述再现次数控制部按每个所述用户单独地对所述动态图像的再现次数进行计数,
所述再现次数存储部按每个所述用户单独地存储所述动态图像的再现次数。
7.根据权利要求1至4中任意一项所述的医疗图像处理装置,其中,
所述信息显示控制部将表示有无所述动态图像的再现的再现有无信息显示于所述显示装置。
8.根据权利要求1至4中任意一项所述的医疗图像处理装置,其中,
所述信息显示控制部作为对所述动态图像的再现次数,将表示所述动态图像的再现次数的数字以及图表中的至少一方显示于所述显示装置。
9.根据权利要求1至4中任意一项所述的医疗图像处理装置,其中,
当存在多个所述动态图像时,所述信息显示控制部将所述动态图像的再现次数按每个动态图像显示于所述显示装置。
10.一种医疗图像处理方法,其中,该医疗图像处理方法具有以下步骤:
医疗图像分析处理步骤,按构成医疗图像的动态图像的每个帧图像分析是否包含作为应关注的区域的关注区域,将包含所述关注区域的所述帧图像确定为特定帧图像;
动态图像再现控制步骤,对显示装置中的所述动态图像的再现进行控制,根据再现的指示从所述动态图像的先头开始再现;
再现次数控制步骤,对在所述动态图像再现控制步骤中再现的所述动态图像的再现次数进行计数,在开始所述动态图像再现控制部进行的所述动态图像的再现、且持续再现至所述特定帧图像的情况下,累加所述动态图像的再现次数;以及
显示控制步骤,将在所述再现次数控制步骤中计数的所述动态图像的再现次数显示于所述显示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017160986 | 2017-08-24 | ||
JP2017-160986 | 2017-08-24 | ||
PCT/JP2018/029384 WO2019039252A1 (ja) | 2017-08-24 | 2018-08-06 | 医療画像処理装置及び医療画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111031889A CN111031889A (zh) | 2020-04-17 |
CN111031889B true CN111031889B (zh) | 2022-04-05 |
Family
ID=65438697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880054511.8A Active CN111031889B (zh) | 2017-08-24 | 2018-08-06 | 医疗图像处理装置及医疗图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200184644A1 (zh) |
JP (1) | JP6975241B2 (zh) |
CN (1) | CN111031889B (zh) |
WO (1) | WO2019039252A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210391046A1 (en) * | 2018-10-16 | 2021-12-16 | Koninklijke Philips N.V. | A system and method for medical visit documentation automation and billing code suggestion in controlled environments |
JPWO2023090091A1 (zh) * | 2021-11-19 | 2023-05-25 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11216108A (ja) * | 1998-01-30 | 1999-08-10 | Fuji Photo Optical Co Ltd | 電子内視鏡装置 |
JP2007318200A (ja) * | 2006-05-23 | 2007-12-06 | Sony Corp | コンテンツ再生装置およびコンテンツ再生方法 |
CN102426574A (zh) * | 2010-07-22 | 2012-04-25 | 富士胶片株式会社 | 信息处理装置、信息处理方法以及程序 |
CN103269635A (zh) * | 2011-08-12 | 2013-08-28 | 奥林巴斯医疗株式会社 | 图像管理装置、方法和读片用程序 |
CN103491851A (zh) * | 2011-05-30 | 2014-01-01 | 奥林巴斯医疗株式会社 | 医疗信息记录装置 |
JP2014210134A (ja) * | 2013-04-22 | 2014-11-13 | 株式会社ハート・オーガナイゼーション | 医用画像データ情報交換システム |
JP2016119590A (ja) * | 2014-12-22 | 2016-06-30 | ブラザー工業株式会社 | 動画サーバ装置及びシーン抽出プログラム |
CN105848559A (zh) * | 2014-01-30 | 2016-08-10 | 奥林巴斯株式会社 | 医疗用运动图像记录再现系统以及医疗用运动图像记录再现装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4183819B2 (ja) * | 1999-01-26 | 2008-11-19 | オリンパス株式会社 | 医療用画像ファイリングシステム |
JP2004267273A (ja) * | 2003-03-05 | 2004-09-30 | Sangaku Renkei Kiko Kyushu:Kk | 医用システム |
CN101449274B (zh) * | 2006-05-18 | 2010-10-06 | 松下电器产业株式会社 | 用于内容再现控制的电子设备、方法和集成电路 |
CN101677756B (zh) * | 2007-05-17 | 2012-10-17 | 奥林巴斯医疗株式会社 | 图像信息的显示处理装置以及显示处理方法 |
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
WO2011013475A1 (ja) * | 2009-07-29 | 2011-02-03 | オリンパスメディカルシステムズ株式会社 | 画像表示装置、読影支援システムおよび読影支援プログラム |
KR100931931B1 (ko) * | 2009-08-31 | 2009-12-15 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법 |
WO2012042966A1 (ja) * | 2010-09-28 | 2012-04-05 | オリンパスメディカルシステムズ株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
JP5451718B2 (ja) * | 2011-11-14 | 2014-03-26 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 |
JP5987357B2 (ja) * | 2012-02-29 | 2016-09-07 | 株式会社ニコン | サーバ、電子機器システムおよびプログラム |
JP5980604B2 (ja) * | 2012-07-18 | 2016-08-31 | オリンパス株式会社 | 内視鏡システム |
WO2016084779A1 (ja) * | 2014-11-27 | 2016-06-02 | オリンパス株式会社 | 画像再生装置および画像再生プログラム |
-
2018
- 2018-08-06 WO PCT/JP2018/029384 patent/WO2019039252A1/ja active Application Filing
- 2018-08-06 CN CN201880054511.8A patent/CN111031889B/zh active Active
- 2018-08-06 JP JP2019538044A patent/JP6975241B2/ja active Active
-
2020
- 2020-02-13 US US16/790,659 patent/US20200184644A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11216108A (ja) * | 1998-01-30 | 1999-08-10 | Fuji Photo Optical Co Ltd | 電子内視鏡装置 |
JP2007318200A (ja) * | 2006-05-23 | 2007-12-06 | Sony Corp | コンテンツ再生装置およびコンテンツ再生方法 |
CN102426574A (zh) * | 2010-07-22 | 2012-04-25 | 富士胶片株式会社 | 信息处理装置、信息处理方法以及程序 |
CN103491851A (zh) * | 2011-05-30 | 2014-01-01 | 奥林巴斯医疗株式会社 | 医疗信息记录装置 |
CN103269635A (zh) * | 2011-08-12 | 2013-08-28 | 奥林巴斯医疗株式会社 | 图像管理装置、方法和读片用程序 |
JP2014210134A (ja) * | 2013-04-22 | 2014-11-13 | 株式会社ハート・オーガナイゼーション | 医用画像データ情報交換システム |
CN105848559A (zh) * | 2014-01-30 | 2016-08-10 | 奥林巴斯株式会社 | 医疗用运动图像记录再现系统以及医疗用运动图像记录再现装置 |
JP2016119590A (ja) * | 2014-12-22 | 2016-06-30 | ブラザー工業株式会社 | 動画サーバ装置及びシーン抽出プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019039252A1 (ja) | 2019-02-28 |
JPWO2019039252A1 (ja) | 2020-07-30 |
US20200184644A1 (en) | 2020-06-11 |
CN111031889A (zh) | 2020-04-17 |
JP6975241B2 (ja) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6890184B2 (ja) | 医療画像処理装置及び医療画像処理プログラム | |
US11600385B2 (en) | Medical image processing device, endoscope system, diagnosis support method, and program | |
US11526986B2 (en) | Medical image processing device, endoscope system, medical image processing method, and program | |
JP7346693B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
JP7383105B2 (ja) | 医療画像処理装置及び内視鏡システム | |
JP4294440B2 (ja) | 画像処理装置 | |
JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
US20210082568A1 (en) | Medical image processing device, processor device, endoscope system, medical image processing method, and program | |
US20220058799A1 (en) | Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method | |
US11103197B2 (en) | Diagnosis support system, endoscope system, processor and diagnosis support method | |
JP7050817B2 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム | |
CN111031889B (zh) | 医疗图像处理装置及医疗图像处理方法 | |
CN112969403A (zh) | 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置 | |
JP7562193B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP7148534B2 (ja) | 画像処理装置、プログラム、及び内視鏡システム | |
JP7289241B2 (ja) | ファイリング装置、ファイリング方法及びプログラム | |
WO2022163514A1 (ja) | 医療画像処理装置、方法及びプログラム | |
JP7257544B2 (ja) | 情報表示システムおよび情報表示方法 | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP4624575B2 (ja) | 内視鏡システム | |
JP2023039245A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN115135225A (zh) | 内窥镜系统、控制方法及控制程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |