CN116471993A - 医疗用图像显示系统、医疗用图像显示方法、以及程序 - Google Patents

医疗用图像显示系统、医疗用图像显示方法、以及程序 Download PDF

Info

Publication number
CN116471993A
CN116471993A CN202180078335.3A CN202180078335A CN116471993A CN 116471993 A CN116471993 A CN 116471993A CN 202180078335 A CN202180078335 A CN 202180078335A CN 116471993 A CN116471993 A CN 116471993A
Authority
CN
China
Prior art keywords
image
display
labels
medical image
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078335.3A
Other languages
English (en)
Inventor
能年智治
石井正宏
近藤坚司
木村浩彦
坂井豊彦
田中雅人
藤本真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Holdings Corp filed Critical Panasonic Holdings Corp
Publication of CN116471993A publication Critical patent/CN116471993A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4422Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to hygiene or sterilisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

医疗用图像显示系统是对医疗用图像进行显示的医疗用图像显示系统,医疗用图像具有第一显示区域和第二显示区域,在所述第一显示区域显示处理图像(54a),处理图像(54a)是在拍摄了被摄对象的摄影图像(32b)上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在该摄影图像(32b)上的一个以上的解剖学上的结构物的检测结果,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对所述一个以上的解剖学上的结构物的每一个进行识别,并且,所述医疗用图像显示系统具备:显示部(54),对所述医疗用图像进行显示;以及控制部(53),根据用户针对所述一个以上的标注以及所述一个以上的结构标签的一方的输入,来变更所述一个以上的标注以及所述一个以上的结构标签的另一方的显示方式。

Description

医疗用图像显示系统、医疗用图像显示方法、以及程序
技术领域
本公开涉及医疗用图像显示系统、医疗用图像显示方法、以及程序。
背景技术
迄今为止,在医疗领域,医疗用的摄影图像的数字化方面取得了进展,例如进行了如下的研究:对摄影图像进行图像处理以使能够识别规定的病变。另一方面,提出了如下的建议:在进行诊断时,除经图像处理后的处理图像以外,还利用用于与该处理图像进行对比的对比用图像(例如图像处理前的摄影图像)。因此,专利文献1公开了一种输出处理图像及对比用图像的信息处理装置。
现有技术文献
专利文献
专利文献1:日本特开2015-100424号公报
但是,希望在利用处理图像进行诊断的基础上,对诊断效率的下降进行抑制。
发明内容
因此,本公开提供一种能够对诊断效率的下降进行抑制的医疗用图像显示系统以及医疗用图像显示方法。
本公开的一个形态所涉及的医疗用图像显示系统是对医疗用图像进行显示的医疗用图像显示系统,所述医疗用图像具有第一显示区域和第二显示区域,所述第一显示区域,在所述第一显示区域显示处理图像,所述处理图像是在拍摄了被摄对象的摄影图像上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在所述摄影图像上的一个以上的解剖学上的结构物的检测结果,所述第二显示区域,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对所述一个以上的解剖学上的结构物的每一个进行识别,所述医疗用图像显示系统具备:显示部,对所述医疗用图像进行显示;以及控制部,根据用户针对所述一个以上的标注以及所述一个以上的结构标签的一方的输入,来变更所述一个以上的标注以及所述一个以上的结构标签的另一方的显示方式。
并且,本公开的一个形态所涉及的医疗用图像显示方法是对医疗用图像进行显示的医疗用图像显示方法,所述医疗用图像具有第一显示区域和第二显示区域,所述第一显示区域,在所述第一显示区域显示图像,所述图像是在拍摄了被摄对象的摄影图像上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在所述摄影图像上的一个以上的解剖学上的结构物的检测结果,所述第二显示区域,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对所述一个以上的解剖学上的结构物的每一个进行识别,在所述医疗用图像显示方法中,根据用户针对所述一个以上的标注以及所述一个以上的结构标签的一方的输入,来变更所述一个以上的标注以及所述一个以上的结构标签的另一方的显示方式。
并且,本公开的一个形态所涉及的程序是用于使计算机执行上述的医疗用图像显示方法的程序。
通过本公开,提供一种能够对诊断效率的下降进行抑制的医疗用图像显示系统、医疗用图像显示方法、以及程序。
附图说明
图1是示出实施方式1所涉及的诊断支援系统的构成的方框图。
图2A示出了解剖学上的结构物的例子。
图2B示出了解剖学上的结构物的其他的例子。
图2C示出了解剖学上的结构物的其他的例子。
图2D示出了解剖学上的结构物的其他的例子。
图3示出了实施方式1所涉及的显示部显示的医疗用图像的一个例子。
图4示出了从图像分割中选择了气管阴影的情况下的医疗用图像的一个例子。
图5是示出实施方式1所涉及的浏览装置的主要的工作的流程图。
图6是示出实施方式1所涉及的浏览装置中的显示状态的转换的状态转换图。
图7是示出实施方式2所涉及的浏览装置的构成的方框图。
图8A示出了实施方式2所涉及的显示部显示的医疗用图像的第一例。
图8B示出了实施方式2所涉及的显示部显示的医疗用图像的第二例。
图8C示出了实施方式2所涉及的显示部显示的医疗用图像的第三例。
图9是示出实施方式2所涉及的浏览装置的主要的工作的流程图。
具体实施方式
(本公开的基础知识)
近年来,作为对医生诊断的支援,进行了使用了AI(Artificial Intelligence:人工智能)技术的CAD(Computer-Aided Diagnosis:计算机辅助诊断)的开发。CAD是指,由计算机来进行医疗用的摄影图像的量化及分析并将该结果作为第二意见(Second Opinion)利用于医生等(用户)进行图像诊断。“背景技术”栏中所记载的输出处理图像及对比用图像是对医生诊断的支援的一个例子。
然而,CAD在市场上并不广为人知,并且AI的类型(例如,用于X射线图像、用于超音波图像等)也存在多种。因此,从对用户诊断效率的下降进行抑制的角度出发,希望能够容易地了解到正在使用的AI具有什么样的功能(例如能够检测出哪种异常)
因此,本申请的发明人员对即使在利用了CAD等并不广为人知的针对诊断的支援技术的情况下,也能够对用户的诊断效率的下降进行抑制的医疗用图像显示系统、医疗用图像显示方法、以及程序进行了认真的研究,发明了以下将要说明的医疗用图像显示系统、医疗用图像显示方法、以及程序。另外,医疗用图像是包括通过摄影装置拍摄了被摄对象的医疗用的摄影图像的图像,也是被用于用户进行诊断的诊断用图像。
以下,利用附图对本公开的实施方式详细地进行说明。另外以下将要说明的实施方式均为示出本公开的一个具体例。以下实施方式所示的数值、形状、构成要素、构成要素的配置位置以及连接方式、步骤以及步骤的顺序等均为一个例子,其主旨并非是对本公开进行限定。并且,各个图并非是严谨的图示。在各个图中,对于实质上相同的构成赋予相同的符号,并省略或简化重复说明。
并且,在本说明书中,“固定不变”“相同”等表示要素之间的关系的术语、以及数值范围,并非仅为严谨的表达,而且还表示实质上等同的范围,例如意味着可以有百分之几左右的误差。
(实施方式1)
[1-1.诊断支援系统的构成]
图1是示出本实施方式所涉及的诊断支援系统10的构成的方框图。诊断支援系统10是基于医疗用图像来支援医生等高效地进行诊断的系统。诊断例如是对解剖学上的结构物进行的诊断,但并非受此所限。
如图1所示,诊断支援系统10具备摄影装置20、图像服务器30、异常检测系统40、以及浏览装置50。摄影装置20、图像服务器30、异常检测系统40、以及浏览装置50通过互联网等信道连接成能够彼此进行通信。
摄影装置20是通过拍摄人的解剖学上的结构物来生成摄影图像31a的装置,在本实施方式中,摄影装置20是生成胸部X射线图像以作为医疗用的摄影图像并将其存放在图像服务器30的X射线摄影装置。另外,作为医疗用的摄影图像,并非受胸部X射线图像所限,既可以是其他的部位的X射线图像,也可以是CT(Computed Tomography:计算机断层扫描)扫描、PET(Positron Emission Tomography:正电子发射计算机断层显像)/CT扫描、SPECT(Single Photon Emission Tomography:单光子发射计算机断层扫描)扫描、MRI(MagneticResonance Imaging:核磁共振成像)、超声波、X射线、乳房摄影、血管造影、荧光摄影、显微镜照片的图像或者是由这些组合提供的图像。
图像服务器30是保持由摄影装置20生成的摄影图像31a以及由异常检测系统40生成的检测后的摄影图像32a、或者将保持的摄影图像32b提供给浏览装置50的数据服务器,例如是具备硬盘等存储器的计算机装置。另外,图像服务器30与其他的装置进行收发的数据中不仅包括摄影图像,而且还包括附带在摄影图像上的各种信息(摄影日期和时刻、与患者有关的信息、解剖学上的结构物的检测结果、解析结果等)。并且,数据中也可以进一步包括与异常检测系统40的功能有关的信息。与异常检测系统40的功能有关的信息例如包括示出能够由异常检测系统40检测出异常的解剖学上的结构物的信息。在检测部42利用学习后的机器学习模型的情况下,与异常检测系统40的功能有关的信息包括示出该学习后的机器学习模型能够检测出的解剖学上的结构物的信息。另外,患者是由摄影装置20进行拍摄的被摄对象的一个例子。
异常检测系统40是根据从图像服务器30获得的检测对象的摄影图像31b,对于摄影图像31b包括的预先确定的解剖学上的结构物检测有无医学上的异常的系统,其具有通信部41、检测部42、以及解析部43。
通信部41通过通信从图像服务器30获得摄影图像31b。通信部41例如被构成为包括通信电路。通信部41是获得部的一个例子。
检测部42从作为从图像服务器30获得的检测对象的摄影图像31b中检测出解剖学上的结构物。检测部42例如通过从摄影图像31b中抽取预先设定的一个以上的解剖学上的结构物来进行检测。检测部42例如从摄影图像31b中检测出预先设定的一个以上的脏器等的阴影。检测部42例如将示出解剖学上的结构物的信息重叠于摄影图像31b并输出。示出解剖学上的结构物的信息是标注的一个例子。在此的标注例如是附加(或附带)在图像上的信息,也是示出由检测部42检测出的解剖学上的结构物的检测结果的信息。该信息例如也可以包括与解剖学上的结构物的大小、形状、以及位置等有关的信息。并且,标注也可以包括示出解剖学上的结构物的区域的数据、图像分割(Image Segmentation)网络的输出值(例如每个像素的可靠性)。示出解剖学上的结构物的区域的数据既可以是二值数据,也可以是多值数据。
在本实施方式中,检测部42例如利用进行用于区分各解剖学上的结构物的图像分割(Image Segmentation)的学习后的模型(例如神经网络模型),来抽取各解剖学上的结构物。学习后的模型以能够检测出各解剖学上的结构物的方式预先进行了学习。学习后的模型例如将显现有正常的解剖学上的结构物的摄影图像作为输入数据,并且将该摄影图像中的示出正常的解剖学上的结构物的区域的信息作为正确答案数据通过机器学习进行了学习之后被存储在存储装置(未图示)。正常的解剖学上的结构物的区域是图2A至图2D的解剖学上的结构物的区域的项目所示的区域。
在这种情况下,检测部42的检测结果(输出)是重叠了图像分割显示(图像分割)的摄影图像31b。以下以检测结果是重叠了图像分割显示的摄影图像31b为例进行说明。另外,图像分割显示是抽取了解剖学上的结构物的结果,也是示出解剖学上的结构物的轮廓或区域等的信息。图像分割显示是标注的一个例子。
如上所述,学习后的模型利用显现了正常的解剖学上的结构物的摄影图像进行了学习,从而检测部42在异常的解剖学上的结构物存在的情况下,对该解剖学上的结构物检测会失败。异常检测系统40通过利用这种特点,从而能够不将异常限定为是特定的疾病而大范围地进行检测。另外,学习后的模型例如以能够检测出有无特定的疾病的方式进行了学习。
解析部43进行针对检测部42的检测结果的解析。解析部43例如根据从检测部42输出的摄影图像31b的图像分割显示的大小、形状、位置等的至少其中之一来进行解析。解析部43根据从检测部42输出的摄影图像31b,来判断解剖学上的结构物有无异常,并且生成示出判断为异常的判断理由的信息(解析结果的一个例子)。
构成异常检测系统40的通信部41、检测部42、以及解析部43至少由一个计算机来实现,具体而言,该计算机具备:保持程序的非易失性存储器、作为暂时作业区域的易失性存储器、执行程序的处理器、以及包括通信接口和通信端口的输入输出电路等。
并且,构成异常检测系统40的通信部41、检测部42、以及解析部43既可以由一个计算机或图像处理装置来实现,也可以由通过信道连接的多个计算机或图像处理装置分别来实现。
另外,异常检测系统40也可以不具有解析部43。
浏览装置50是对包括摄影图像的医疗用图像进行显示的装置。浏览装置50是按照经由接受部52而得到的来自用户的指示,以各种各样的显示方式来显示保持在图像服务器30的摄影图像32b以及附带在摄影图像32b上的各种信息的装置,其具有通信部51、接受部52、控制部53、以及显示部54。浏览装置50也可以由多个装置来实现,是医疗用图像显示系统的一个例子。
通信部51通过通信从图像服务器30获得摄影图像32b。通信部51例如被构成为包括通信电路。通信部51是获得部的一个例子。
接受部52包括从用户接受指示(输入)的GUI(Graphical User Interface:图形用户界面)。接受部52例如由鼠标、键盘、以及触摸面板等输入装置构成。并且,接受部52也可以被构成为能够接受到来自用户通过声音、姿势等发出的指示。
控制部53对浏览装置50的各构成要素进行控制。控制部53例如进行与显示部54显示的医疗用图像有关的各种控制。控制部53例如根据从图像服务器30获得的摄影图像32b和从接受部52接受的用户的指示,对显示在显示部54的医疗用图像的显示方式进行控制。控制部53例如根据用户针对一个以上的标注以及一个以上的结构标签(参照后述的图3等)的一方的输入,来进行变更一个以上的标注以及一个以上的结构标签的另一方的显示方式的控制。另外,结构标签是用于区分解剖学上的结构物的ID或名称。
显示部54通过控制部53的控制来显示从图像服务器30获得的摄影图像32b。显示部54例如是液晶显示器等,但并非受此所限。
构成浏览装置50的通信部51、接受部52、控制部53、以及显示部54至少由一个计算机来实现,具体而言,该计算机具备:保持程序的非易失性存储器、作为暂时作业区域的易失性存储器、执行程序的处理器、以及包括通信接口和通信端口的输入输出电路等。
并且,构成浏览装置50的通信部51以及控制部53既可以由一个计算机或图像显示装置来实现,也可以由通过信道连接的多个计算机或图像显示装置分别来实现。
并且,虽然诊断支援系统10由通过信道连接的摄影装置20、图像服务器30、异常检测系统40、以及浏览装置50构成,但也可以由这些构成要素的全部或一部分组装成一个装置。
在此,参照图2A至图2D对本公开中的解剖学上的结构物的例子进行说明。图2A至图2D示出了解剖学上的结构物的例子(共计有七种解剖学上的结构物的例子)。更详细而言,作为解剖学上的结构物的例子,图2A至图2D分别示出了右房阴影和左室阴影、降主动脉阴影、右横隔膜圆顶阴影和左横隔膜圆顶阴影、右肺外侧和左肺外侧。在图2A至图2D的各个表中,示出了以下的例子:从左开始依次是胸部X射线图像、解剖学上的结构物名称、解剖学上的结构物的区域、胸部X射线图像和解剖学上的结构物的重叠。胸部X射线图像和解剖学上的结构物重叠的例子例如是检测部42的检测结果的一个例子。
如图2A至图2C所示,胸部X射线图像上的解剖学上的结构物是右房阴影、左室阴影、降主动脉阴影、以及横隔膜圆顶阴影等。右房阴影是胸部X射线图像上的描绘在右房和其周边的边界的分界线。左室阴影是胸部X射线图像上的描绘在左室和其周边的边界的分界线。降主动脉阴影是胸部X射线图像上的描绘在下行大动脉和其周边的边界的分界线。横隔膜圆顶阴影是胸部X射线图像上的描绘在横隔膜和其周边的边界的分界线。
另外,解剖学上的结构物不受这些所限。如图2D所示,解剖学上的结构物例如可以是作为胸部X射线图像上的描绘在肺的外侧部分和其周边的边界的分界线的肺外缘,也可以是其他的结构物或脏器等。并且,解剖学上的结构物不仅只限于是胸部X射线图像中包括的结构物等,也可以是像CT图像或MRI图像等通过其他的摄影装置拍摄的医疗用图像中包括的结构物等。
[1-2.医疗用图像的构成]
接下来,参照图3以及图4对显示部54显示的医疗用图像的构成进行说明。图3示出了本实施方式所涉及的显示部54显示的医疗用图像的一个例子。在图3中,显示方式的不同以使阴影线形态不同的方式来表示。另外,在这以后,对作为解剖学的结构的一个例子的气管阴影被检测出异常的情况进行说明。并且,在这以后示出的医疗用图像是通过控制部53的控制由显示部54来显示的。
如图3所示,医疗用图像中包括处理图像54a(图3中的解析结果)、对比用图像54b(图3中的对比图像)、结构标签栏54c(图3中的结构标签)、以及解析结果栏54d(图3中的解析结果显示)。处理图像54a以及对比用图像54b是被包括在从图像服务器30获得的摄影图像32b中的图像。在一个医疗用图像中,处理图像54a、对比用图像54b、结构标签栏54c、以及解析结果栏54d同时被显示。并且,在医疗用图像中,处理图像54a被显示的区域是第一显示区域的一个例子,结构标签栏54c被显示的区域是第二显示区域的一个例子,对比用图像54b被显示的区域是第三显示区域的一个例子,解析结果栏54d被显示的区域是第四显示区域的一个例子。并且,至少第一显示区域以及第二显示区域可以是医疗用图像中相互不重叠的显示区域。例如,第一显示区域至第四显示区域的每一个可以是医疗用图像中相互不重叠的显示区域。据此,能够提高医疗用图像的可视性。并且,在浏览装置50是使用窗口操作系统(Windows System)的装置的情况下,第一显示区域至第四显示区域既可以被显示在一个窗口内,也可以被分开显示在两个以上的窗口内。
处理图像54a是示出检测部42的检测结果的图像。处理图像54a例如是拍摄了被摄对象的摄影图像32b,也是在该摄影图像32b上重叠了一个以上的图像分割而得到的图像,该一个以上的图像分割示出显现在该摄影图像32b的一个以上的解剖学上的结构物。在图3的例子中,处理图像54a是胸部X射线图像上被重叠了示出第一基准结构、第二基准结构、正常结构、以及异常结构的信息的图像。另外,图像分割是示出作为对摄影图像32b进行了图像分割处理的结果(图像分割结果)的区域数据。
第一基准结构以及第二基准结构是由异常检测系统40进行的异常检测的检测对象以外的解剖学上的结构物(基准结构物),示出异常检测系统40进行检测的范围(结构上的基准)。第一基准结构以及第二基准结构是处理图像54a中的一个以上的解剖学上的结构物在结构上的基准。并且也可以是,第一基准结构示出成为对象的脏器(例如肺)有可能存在的大致上限的位置,第二基准结构示出成为该对象的脏器有可能存在的大致下限的位置。可以认为第一基准结构以及第二基准结构例如示出在摄影诊断中用户应该特别需要注意并确认的范围。在本实施方式中,第一基准结构以及第二基准结构示出在胸部图像诊断中用户应该特别需要注意并确认的范围。在本实施方式中,第一基准结构例如是第一胸椎阴影,第二基准结构示出背侧肺底部阴影,但并非受此所限。
正常结构示出异常检测系统40没有检测出异常的解剖学上的结构物(正常结构物)。异常结构示出检测部42检测出了异常的解剖学上的结构物(异常结构物)。在异常检测系统40没有检测出异常的情况下,异常结构将不会被显示。
另外,在没有特别注明的情况下,第一基准结构、第二基准结构、正常结构、以及异常结构示出结构物。
在此,对第一基准结构、第二基准结构、正常结构、以及异常结构的呈现方式进行说明。
示出第一基准结构和第二基准结构、正常结构、以及异常结构的图像分割以相互不同的呈现方式来呈现。由于第一基准结构以及第二基准结构是基准,所以以不显眼且比其他的结构更细的线来呈现。第一基准结构以及第二基准结构与其他的结构相比,例如以在视觉上不显眼的颜色(例如无彩色)来呈现,例如以白色(也就是灰度的调整)来呈现。也可以认为与正常结构以及异常结构相比,第一基准结构以及第二基准结构以不具有含义的呈现方式来呈现。
正常结构以表示为正常的印象颜色(例如有彩色)来呈现,例如以蓝色(与图3中的右下斜阴影线对应)来呈现。并且,正常结构以比第一基准结构以及第二基准结构更粗的线或面状来呈现。并且,例如在多个解剖学上的结构物被判断为是正常的情况下,被判断为是正常的多个解剖学上的结构物的每一个的呈现方式可以相同。也就是说,在多个解剖学上的结构物被判断为是正常的情况下,与该多个解剖学上的结构物对应的图像分割的每一个也可以以蓝色来呈现。蓝色是第一显示色彩的一个例子。
异常结构以促使引起注意的颜色(例如有彩色)来呈现,例如以黄色(与图3中的右上斜阴影线对应)来呈现。并且,异常结构也可以以比正常结构更粗的线或面状来呈现。并且,例如在多个解剖学上的结构物被判断为是异常的情况下,被判断为是异常的多个解剖学上的结构物的每一个的显示方式也可以相同。也就是说,在多个解剖学上的结构物被判断为是异常的情况下,与该多个解剖学上的结构物对应的图像分割的每一个也可以以黄色来呈现。黄色是第二显示色彩的一个例子。
如此,显示色彩并非由解剖学上的结构物的种类来决定,而是由异常检测系统40的检测结果也就是有无异常来决定。
如此,作为显示色彩,有蓝色及黄色这两种颜色,例如不进行三种颜色以上的颜色区分。据此,显示部54能够对考虑了色弱用户的处理图像54a进行显示。并且,由于能够通过使得显示色彩种类少而减少处理图像54a的信息量,所以用户能够顺利地理解处理图像54a。并且,通过利用蓝色及黄色这两种颜色作为显示色彩,从而能够将正常结构以及异常结构直观地传达给用户。
并且,正常结构以及异常结构的至少一方也可以以具有透明度的方式来呈现。也就是说,正常结构以及异常结构的至少一方也可以以透过摄影图像本身而能够看到的方式来呈现。例如也可以是,在正常结构以及异常结构中,至少异常结构以具有透明度的方式来呈现。并且也可以是,正常结构以及异常结构以具有相互不同的透明度来呈现。例如也可以是,异常结构被设定为透明度比正常结构高。
据此,仅确认处理图像54a就能够对原图像进行图像解读。
另外,第一基准结构和第二基准结构、正常结构、以及异常结构的呈现方式并非受显示色彩不同所限。第一基准结构和第二基准结构、正常结构、以及异常结构也可以分别以相互不同的呈现方式来呈现,例如既可以是线的呈现方式(实线、虚线、点划线等)不同,也可以是有无闪烁等不同,也可以是这些的组合。
对比用图像54b是用于为了确认处理图像54a而进行对比的图像。对比用图像54b例如表示由异常检测系统40进行异常检测之前的摄影图像31b,在本实施方式中,表示输入到学习后的模型之前的摄影图像31b(原图像)。对比用图像54b例如是摄影装置20所拍摄的摄影图像31b。另外,对比用图像54b也可以不被显示。例如在对处理图像54a进行闪烁显示的情况下,对比用图像54b可以不被显示。
处理图像54a和对比用图像54b例如被并列显示在一个画面上。通过处理图像54a和对比用图像54b被并列显示在一个画面上,从而用户能够一边对两个图像的关注点进行对比一边进行诊断。另外,处理图像54a和对比用图像54b被显示的区域是图像显示区域的一个例子。
另外,对比用图像54b不限于是与处理图像54a对应的摄影图像,也可以是以往(例如1年前等)拍摄的患者同一部位的摄影图像。据此,用户能够考虑到以往的摄影图像中有无异常等而进行诊断。并且,对比用图像54b也可以是通过与用于拍摄处理图像54a的装置不同的装置对被摄对象进行了拍摄的图像(例如CT图像)。据此,用户能够考虑到其他的装置拍摄的图像中的异常等而进行诊断。
另外,对同时被显示的对比用图像54b的数量并没有特别的限定,也可以是两张以上。例如也可以是,作为对比用图像54b,以往不同的时期(例如半年前和1年前)拍摄的两张图像同时被显示。并且,在这种情况下,既可以使两张图像中最近拍摄的图像显示在处理图像54a的旁边,也可以使两张图像中的更早以前拍摄的图像显示在处理图像54a的旁边。
另外,对比用图像54b不限于是拍摄了患者的图像,在此的该患者是指被拍摄了处理图像54a的患者。对比用图像54b例如也可以是拍摄了示出与该患者有相似的发现或相似的症状等的、不同的患者的图像。
另外,在图3中,虽然示出了对比用图像54b是没有由异常检测系统40进行异常检测的图像的例子,但并非受此所限,也可以是由异常检测系统40进行了异常检测的图像(例如针对以往拍摄的图像,由异常检测系统40进行了异常检测的处理的图像)。在对比用图像54b是没有由异常检测系统40进行异常检测的图像的情况下,控制部53也可以使异常检测系统40进行该图像的异常检测。
结构标签栏54c是显示一个以上的结构标签的区域,该一个以上的结构标签用于对能够由异常检测系统40检测出异常的一个以上的解剖学上的结构物的每一个进行识别。例如,示出能够通过检测部42所利用的学习后的模型抽取的解剖学上的结构物的结构标签被显示在结构标签栏54c。从能够使用户容易地把握异常检测系统40所具有的异常检测的功能的角度出发,例如示出所有能够在异常检测系统40检测出异常的解剖学上的结构物的结构标签也可以被显示在结构标签栏54c。
在本实施方式中,“气管阴影”、“降主动脉阴影”、“右房阴影”、“左室阴影”、“右横隔膜圆顶阴影”、以及“左横隔膜圆顶阴影”这六个结构标签被显示在结构标签栏54c。据此,用户仅看结构标签栏54c就能够知道异常检测系统40能够检测出哪个解剖学上的结构物的异常。
另外,在接受部52没有从用户接受到针对处理图像54a的图像分割的选择(用户对想确认的解剖学上的结构物的选择)的情况下,只有结构标签被显示在结构标签栏54c。也就是说,测量结果等与结构标签不同的信息不被显示在结构标签栏54c。
处理图像54a的呈现方式与结构标签栏54c的呈现方式例如建立了对应。处理图像54a中的异常结构物的呈现方式(例如,气管阴影的左下斜的阴影线)与结构标签栏54c中示出该异常结构物的结构标签的呈现方式(结构标签的气管阴影54c1的左下斜的阴影线)建立了对应。例如,在处理图像54a中的异常结构物以黄色来呈现的情况下,示出该异常结构物的结构标签也以黄色来呈现。例如,处理图像54a中的示出异常结构物的呈现方式与示出该异常结构物的结构标签的呈现方式相同。
据此,用户能够容易地从多个结构标签中找到处理图像54a中的与异常结构物对应的结构标签。也就是说,用户仅看结构标签栏54c就能够知道哪个解剖学上的结构物是异常的。
并且例如是,在处理图像54a中的正常结构物以蓝色来呈现的情况下,示出该正常结构物的结构标签也以蓝色来呈现。据此,用户能够容易地从多个结构标签中找到处理图像54a中的与正常结构物对应的结构标签。也就是说,用户仅看结构标签栏54c就能够知道哪个解剖学上的结构物是正常的。
解析结果栏54d是医疗用图像中显示对检测部42的检测结果进行了解析的解析结果的区域。也就是说,解析部43针对一个以上的解剖学上的结构物的异常的解析结果被显示在解析结果栏54d。例如,示出基于检测结果解剖学上的结构物为何被判断为异常的信息被显示在解析结果栏54d。
另外,在接受部52没有接收到来自用户针对处理图像54a的图像分割或结构标签的选择的情况下,在解析结果栏54d,也可以不进行针对解析结果的显示。另外,解析结果栏54d也可以不被显示。
另外,图3所示的医疗用图像中的布局的配置、形状、大小等既可以预先存储在浏览装置50,也可以从图像服务器30等获得。
在此,控制部53针对图3所示的医疗用图像,当接受部52接受到用户针对处理图像54a的图像分割或结构标签的一方的输入时,则根据该输入以使图像分割或结构标签的另一方的显示方式发生变化的方式对显示部54进行控制。关于随着用户针对图像分割的输入而结构标签栏54c的显示方式也发生了变化的医疗用图像,将参照图4进行说明。图4示出了从图像分割中选择了气管阴影(参照图4所示的左下斜的阴影线)的情况下的医疗用图像的一个例子。另外,选择例如是点击操作、触摸操作等简单的操作。
如图4所示,当接受部52从用户接受到针对图像分割的选择时,显示部54将与该图像分割对应的解剖学上的结构物的测量值54c2显示在结构标签栏54c内(追加显示)。显示部54例如仅将各解剖学上的结构物的测量值中与被用户选择的图像分割对应的解剖学上的结构物的测量值54c2显示在结构标签栏54c内。此时,显示部54也可以对多个结构标签的至少其中之一的位置以及大小的至少一方进行变更。另外,将测量值54c2显示在结构标签栏54c内(追加显示)是对一个以上的结构标签的显示方式进行变更的一个例子。
虽然显示部54将该测量值54c2显示在与被用户选择的图像分割对应的结构标签邻近的位置(例如,与该结构标签相接的位置),但也可以将该测量值54c2显示在与被用户选择的图像分割对应的结构标签内(追加显示)。显示部54将测量值54c2显示在所对应的结构标签邻近的位置或该结构标签内是将测量值54c2追加显示在与图像分割对应的结构标签的一个例子。
在图4的例子中,由于接受部52从用户接受到针对示出异常结构(例如气管阴影)的图像分割的选择,所以显示部54仅显示与结构标签栏54c的气管阴影54c1对应的测量值54c2。并且,显示部54以与该结构标签相同的显示方式来显示该测量值54c2。在本实施方式中,显示部54以黄色(黄色的背景)来显示测量值54c2。据此,显示部54能够仅在用户需要时使测量值显示出来。
另外,当接受部52进一步从用户接受到针对別的图像分割的选择时,显示部54可以不显示与之前选择的图像分割对应的测量值,也可以使该测量值保持被显示的状态。
并且,当接受部52从用户接受到针对作为结构标签的气管阴影54c1的选择时,显示部54既可以对在处理图像54a中显示该结构标签所示的图像分割和不显示该结构标签所示的图像分割进行切换,也可以强调该图像分割并显示。并且,当接受部52从用户接受到该选择时,显示部54也可以将针对选择的结构标签的测量值54c2紧挨着该结构标签显示。
如此,处理图像54a与结构标签栏54c的显示方式联动,当用户选择了处理图像54a以及结构标签栏54c的一方时,则处理图像54a以及结构标签栏54c的另一方的图像根据该选择而发生变化。
并且,当接受部52从用户接受到针对图像分割的选择时,显示部54也可以进一步将与该图像分割对应的解剖学上的结构物在解析部43解析的解析结果显示在解析结果栏54d。也就是说,显示部54和用户针对图像分割的选择联动,例如可以和与选择的图像分割对应的测量值54c2的显示联动,将与选择的图像分割对应的解剖学上的结构物在解析部43解析的解析结果显示在解析结果栏54d。
仅与由用户选择的图像分割对应的解剖学的结构的解析结果被显示在解析结果栏54d。解析结果以文本的方式被显示在解析结果栏54d,例如,“不能充分检测出气管阴影,不清晰。”作为解析结果而被显示。另外,“不能充分检测出气管阴影,不清晰。”例如表示与气管阴影对应的图像分割的面积比规定面积小(例如面积不够)。
另外,在接受部52从用户接受到针对结构标签栏54c的结构标签的选择的情况下,显示部54也可以同样地将与选择的结构标签对应的解剖学上的结构物在解析部43解析的解析结果显示在解析结果栏54d。
如此,处理图像54a以及结构标签栏54c与解析结果栏54d的显示方式联动,当用户选择了处理图像54a以及结构标签栏54c的一方时,则处理图像54a以及结构标签栏54c的另一方的图像根据该选择而发生变化,进一步,与该选择对应的解剖学上的结构物的解析结果也可以被显示在解析结果栏54d。该控制由控制部53来进行。
据此,在用户进行的诊断中,由于能够仅显示用户想确认的解析结果,因此,与多个解析结果被显示的情况相比,能够使用户的诊断有效地进行。
[1-3.诊断支援系统的工作]
接下来,关于如上构成的本实施方式所涉及的诊断支援系统10的工作,以构成诊断支援系统10的特征性的浏览装置50的工作为中心进行说明。
图5是示出本实施方式所涉及的浏览装置50的主要的工作(也就是医疗用图像显示方法)的流程图。另外,在图5中,在接受到针对图像分割的选择的情况下,对变更结构标签的显示方式的工作进行说明。
如图5所示,首先,通信部51从图像服务器30获得摄影图像32b(图3所示的解析结果以及对比图像)(S10)。通信部51例如获得处理图像54a以及对比用图像54b以作为摄影图像32b。处理图像54a以及对比用图像54b既可以同时获得,也可以在不同的定时获得。获得摄影图像32b例如可以根据用户对浏览装置50的接受部52的操作来进行,也可以每当图像服务器30从异常检测系统40获得异常检测后的摄影图像32a就进行。并且,在浏览装置50存放有对比用图像54b的情况下,控制部53也可以从浏览装置50的存储装置获得对比用图像54b。
控制部53对获得的摄影图像32b的处理图像54a是否存在异常结构(异常结构物)进行判断(S20)。控制部53例如也可以根据从异常检测系统40输出的数据中包括的异常检测系统40的检测结果以及解析结果的至少一方,来判断是否存在异常结构。控制部53例如也可以根据解析结果中包括的有无异常的判断结果来判断是否存在异常结构。
在处理图像54a中存在异常结构的情况下(S20的“是”),控制部53将异常结构的显示方式决定为是与正常结构(正常结构物)不同的显示方式(S30)。控制部53例如以使异常结构与正常结构的显示方式相互不同的方式来决定显示方式,例如根据由异常检测系统40进行的有无异常的判断结果来决定显示方式。也可以认为控制部53不考虑解剖学上的结构物的种类而决定异常结构以及正常结构各自的显示方式。在本实施方式中,控制部53决定为以促使引起对异常结构的注意的黄色以及以作为表示正常的印象颜色的蓝色来进行显示。
控制部53例如也可以利用有无异常结构与显示色彩的关系建立了对应的表来决定显示色彩。
并且,控制部53在步骤S30中,可以进一步决定第一基准结构以及第二基准结构的显示方式。控制部53也可以将第一基准结构以及第二基准结构的显示方式决定为与异常结构的显示方式以及正常结构的显示方式分别不同的显示方式,也是在处理图像54a中比其他的结构在视觉上不显眼的显示方式。控制部53例如也可以以白色来显示第一基准结构以及第二基准结构。
并且,控制部53也可以进一步将结构标签栏54c的各结构标签的显示方式决定为是与处理图像54a对应的显示方式。控制部53例如也可以不考虑解剖学上的结构物以如下的方式来决定显示方式,该方式是指,示出异常结构的结构标签的显示方式与处理图像54a中的示出异常结构的图像分割的显示方式相同、且示出正常结构的结构标签的显示方式与处理图像54a中的示出正常结构的图像分割的显示方式相同的方式。
另外,在处理图像54a中不存在异常结构的情况下(S20的“否”),控制部53进入到步骤S40。
接下来,控制部53将解析结果和对比图像(也就是处理图像54a和对比用图像54b)显示在一个画面上(S40)。控制部53例如使显示部54显示图3所示的医疗用图像。也就是说,控制部53例如将包括处理图像54a、对比用图像54b、结构标签栏54c、以及解析结果栏54d的医疗用图像显示在显示部54。
接下来,控制部53对经由接受部52是否从用户接受到针对图像分割(图像分割显示)的选择进行判断(S50)。当经由接受部52从用户接受到针对图像分割的选择(S50的“是”)时,控制部53对与接受到选择的图像分割有关的测量结果以及解析结果进行显示(S60)。在步骤S50的“是”的情况下,控制部53将与接受到选择的图像分割对应的解剖学上的结构物的测量结果(例如测量值54c2)显示在没有与处理图像54a以及对比用图像54b重叠的位置。在本实施方式中,控制部53将该测量结果显示在结构标签栏54c内。并且,在本实施方式中,在步骤S50的“是”的情况下,控制部53进一步将与接受到选择的图像分割对应的解剖学上的结构物的解析结果显示在解析结果栏54d。也就是说,在步骤S60中,控制部53对图4所示的医疗用图像进行显示。也可以认为被显示在显示部54的医疗用图像的显示方式从图3所示的显示方式转换为图4所示的显示方式。
控制部53例如使作为测量结果的一个例子的测量值紧挨着与选择的图像分割对应的结构标签显示出来,并且在该结构标签为异常的情况下,将解析结果显示在解析结果栏54d。测量值例如包括通过检测部42抽取的解剖学上的结构物的位置(图4中的“Position”)、面积(图4中的“Area”)以及是否有不连续(图4中的“Fragment”)。另外,不连续是指,例如阴影的线被检测出有多个不连续。例如在有不连续的情况下,判断为异常。
据此,显示部54能够将用户在诊断中所需要的信息在需要时显示出来。因此,由于显示部54能够抑制显示在用户的诊断中不需要的信息,所以能够对诊断效率的下降进行抑制。
并且,在本实施方式所涉及的诊断支援系统10中,可以进行切换全部结构显示模式和选择结构显示模式的显示,对此将参照图6进行说明。也可以进行以下图6所示的显示。图6是示出本实施方式所涉及的浏览装置50中的显示状态的转换的状态转换图。另外,图6所示的工作不是必须的。
另外,在初始状态I1的图3的处理图像54a中,将对各个图像分割全部都进行闪烁显示作为全部结构闪烁显示进行说明。闪烁可以以能够进行异常结构的诊断的程度的时间间隔来进行,例如每几秒钟进行一次,但并非受此所限。初始状态I1是第一显示模式的一个例子。
在初始状态I1中,期待通过对检测部42的功能的全部内容(例如结构标签)进行提示来防止用户忽略的同时,还期待得到促进用户的理解的效果。并且,由于图像分割在闪烁,所以无需用户进行操作就能够对原图像进行图像解读。另外,在初始状态I1中,进行闪烁显示不是必须的。
例如,在图3所示的状态下,也可以在进行了规定的操作(例如鼠标点击等)时进行闪烁显示。另外,图6所示的显示是图3所示的处理图像54a中的显示,而对比用图像54b中的显示不会发生变化。也就是说,对比用图像54b的显示方式在以下所示的工作下不会发生变化。
如图6所示,当显示部54在初始状态I1中经由接受部52从用户接受到用于转换为全部结构显示模式的操作(第一操作)时,则使初始状态I1转换为全部结构显示模式,进行全部结构显示I2a(S70)。在全部结构显示模式中,对在初始状态I1中停止了图像分割的闪烁显示的状态下的图像进行显示。也就是说,在全部结构显示模式中,总是全部显示各个图像分割(例如连续显示)。全部结构显示模式是第三显示模式的一个例子。
当显示部54进一步经由接受部52从用户接受到第二操作时,则使全部结构显示I2a转换为原图像I2b的显示(S71)。原图像是相对于全部结构显示I2a而言,对图像分割(标注)不进行显示的图像。原图像是图3所示的处理图像54a中的对图像分割不进行显示的图像。在对比用图像54b是被输入到学习后的模型之前的摄影图像31b的情况下,对比用图像54b与原图像I2b是同一图像。
当显示部54进一步经由接受部52接受到第二操作时,则使原图像I2b的显示转换为全部结构显示I2a(S72)。显示部54在每当第二操作被进行时,就交替显示全部结构显示I2a和原图像I2b。并且,当显示部54经由接受部52接受到用于停止全部结构显示模式的操作(第三操作)时,则使全部结构显示模式转换为初始状态I1(S73)。
另外,第一操作至第三操作例如也可以是通过键盘或鼠标进行的规定的操作。第一操作至第三操作例如也可以是对键盘中规定的键进行的操作。并且,第一操作和第二操作也可以是相同的操作(相同的键操作)。并且,用于步骤S71的转换的第二操作和用于步骤S72的转换的第二操作既可以是相同的操作(相同的键操作),也可以是不同的操作。
当在初始状态I1中接受部52从用户接受到针对图像分割或结构标签的选择(第四操作)时,显示部54使初始状态I1转换为选择结构显示模式,进行选择结构显示I3a(S80)。选择结构显示模式是强调显示由用户选择的图像分割的模式。在本实施方式的选择结构显示模式中,对由用户选择的图像分割进行闪烁显示,并且对其他的图像分割不进行显示。也就是说,在选择结构显示模式中,仅对由用户选择的图像分割进行闪烁显示。选择结构显示模式是第二显示模式的一个例子。
当显示部54进一步经由接受部52接受到第五操作时,则使选择结构显示I3a转换为原图像I3b的显示(S81)。原图像是相对于选择结构显示I3a而言,对图像分割(标注)不进行显示的图像。原图像是图3所示的处理图像54a中的对图像分割不进行显示的图像。原图像I3b例如也可以是与原图像I2b相同的图像。
当显示部54进一步经由接受部52接受到第五操作时,则使原图像I3b的显示转换为选择结构显示I3a(S82)。显示部54在每当第五操作被进行时,就交替显示选择结构显示I3a和原图像I3b。并且,当显示部54经由接受部52接受到用于停止选择结构显示模式的操作(第六操作)时,则使选择结构显示模式转换为初始状态I1(S83)。
另外,第四操作至第六操作例如也可以是通过键盘或鼠标进行的规定的操作。第四操作至第六操作例如也可以是对键盘中规定的键进行的操作。并且,用于步骤S81的转换的第五操作和用于步骤S82的转换的第五操作既可以是相同的操作(相同的键操作),也可以是不同的操作。并且,第四操作和第五操作也可以是相同的操作(相同的键操作),第五操作和第二操作也可以是相同的操作。并且,第六操作和第三操作也可以是相同的操作(相同的键操作)。
并且也可以是,当显示部54正在以全部结构显示模式进行显示时而经由接受部52接受到第七操作时,则使全部结构显示模式转换为选择结构显示模式(S90)。并且也可以是,当显示部54正在以选择结构显示模式进行显示时而经由接受部52接受到第八操作时,则使选择结构显示模式转换为全部结构显示模式(S91)。另外,第七操作和第八操作也可以是相同的操作。
如此,浏览装置50也可以根据用户针对接受部52的操作,使处理图像54a的显示方式发生转换。据此,由于浏览装置50能够通过由用户来进行规定的操作,在用户需要时提供所需要的量的信息,所以能够抑制妨碍到用户进行图像解读。
并且,浏览装置50能够通过进行第一操作至第八操作的一部分共通的操作,从而无需进行多种操作就容易地使显示状态发生转换。
另外,通过针对接受部52的规定的操作而进行的显示的切换并非受上述所限。浏览装置50例如也可以通过规定的操作,对于医疗用图像中包括的对比用图像54b、结构标签栏54c、以及解析结果栏54d的至少其中之一,进行显示和不显示的切换。也就是说,通过针对接受部52的操作,至少可以使对比用图像54b、结构标签栏54c、以及解析结果栏54d的其中之一不显示出来。
并且,浏览装置50例如也可以通过规定的操作,使面状结构物(例如气管阴影)或线状结构物(例如气管阴影以外的五个解剖学上的结构物的阴影)的图像分割的透明程度发生变化。浏览装置50的控制部53例如也可以根据针对示出异常结构物的图像分割以及与该图像分割对应的结构标签的一方的输入,使该图像分割的透明程度发生变化。
面状结构物或线状结构物的图像分割的透明率例如也可以产生如在初始状态为50%,而通过规定的操作后变为80%、100%(未显示)这样阶段性的变化。据此,用户能够确认重叠在图像分割上的其他的脏器。
并且,浏览装置50例如也可以通过规定的操作,使第一显示色彩以及第二显示色彩的至少一方的显示色彩发生变化。浏览装置50的控制部53例如也可以根据针对图像分割以及该一个以上的结构标签的一方的输入,使第一显示色彩以及第二显示色彩的至少一方的显示色彩发生变化。控制部53例如也可以根据针对示出异常结构物的图像分割以及与该图像分割对应的结构标签的一方的输入,使示出该异常结构物的图像分割的显示色彩发生变化。并且,控制部53例如也可以根据针对示出正常结构物的图像分割以及与该图像分割对应的结构标签的一方的输入,使示出该正常结构物的图像分割的显示色彩发生变化。另外,也可以随着图像分割的显示色彩的变化,同样地使与该图像分割对应的结构标签的显示色彩发生变化。
并且,浏览装置50例如也可以通过规定的操作,使面状结构物的图像分割(标注的一个例子)在有填充颜色和没有填充颜色之间发生变化。通过消除面状结构物的图像分割的填充颜色,浏览装置50能够保留面状结构物的轮廓并进行显示。据此,用户能够确认到重叠在图像分割上的其他的脏器。
并且,浏览装置50例如也可以通过规定的操作,使线状结构物的图像分割(标注的一个例子)的线的粗细发生变化。通过使线状结构物的线的粗细发生变化,从而能够成为使得用户容易进行图像解读的线的粗细。
另外,规定的操作例如通过鼠标的拖动操作或键操作等简单的操作来进行,但并非受此所限。
[1-4.效果等]
如上所述,本实施方式所涉及的浏览装置50(医疗用图像显示系统的一个例子)是对医疗用图像进行显示的医疗用图像显示系统。医疗用图像具有第一显示区域以及第二显示区域(例如结构标签栏54c),在所述第一显示区域显示处理图像54a,处理图像54a是在拍摄了被摄对象的摄影图像32b上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在该摄影图像32b上的一个以上的解剖学上的结构物的检测结果,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对一个以上的解剖学上的结构物的每一个进行识别。并且,浏览装置50具备对医疗用图像进行显示的显示部54以及控制部53,控制部53根据用户针对一个以上的标注以及一个以上的结构标签的一方的输入,来变更一个以上的标注以及一个以上的结构标签的另一方的显示方式。
据此,由于浏览装置50能够使用户仅确认被显示在第二显示区域的结构标签就一目了然地识别是针对哪个解剖学上的结构物的检测结果被显示在处理图像54a上,所以有助于防止用户忽略解剖学上的结构物、以及促进用户对解剖学上的结构物的理解。因此,浏览装置50能够对用户在利用处理图像54a进行诊断的情况下的诊断效率的下降进行抑制。换而言之,浏览装置50能够使用户在利用处理图像54a进行诊断的情况下的诊断效率得到提高。
并且,控制部53根据针对一个以上的标注中的第一标注进行选择的输入,将与该第一标注对应的解剖学上的结构物的测量结果追加显示在与该第一标注对应的结构标签。
据此,控制部53能够仅在用户需要时使测量结果显示出来。例如,与总是显示各解剖学上的结构物的测量结果的情况相比,由于控制部53能够减少显示的信息量,所以能够促进用户对测量结果的理解。因此,浏览装置50能够对在利用测量结果进行诊断的情况下的诊断效率的下降进行抑制。
并且,控制部53根据针对一个以上的结构标签中的第一结构标签进行选择的输入,对显示与该第一结构标签对应的标注和不显示与该第一结构标签对应的标注进行切换。
据此,浏览装置50能够仅在用户需要时使标注显示出来。例如,与总是显示各标注的情况相比,由于控制部53能够减少显示的信息量,所以能够促进用户对处理图像54a的理解。因此,浏览装置50能够进一步对在利用处理图像54a进行诊断的情况下的诊断效率的下降进行抑制。
并且,医疗用图像还具有第三显示区域,在所述第三显示区域显示用于与处理图像54a进行对比的对比用图像54b。
据此,由于浏览装置50能够将处理图像54a和对比用图像54b显示在一个画面上,所以能够使用户容易进行处理图像54a与对比用图像54b的对比。因此,浏览装置50能够对在对比处理图像54a与对比用图像54b而进行诊断的情况下的诊断效率的下降进行抑制。
并且,医疗用图像还具有第四显示区域(例如解析结果栏54d),在所述第四显示区域显示针对一个以上的解剖学上的结构物的异常的解析结果。
据此,浏览装置50能够使用户利用解析结果来进行诊断。能够期待通过利用解析结果进行诊断,从而使用户进行的诊断精度得到提高。
并且,控制部53根据针对一个以上的标注以及一个以上的结构标签的一方的输入,将通过该输入确定的解剖学上的结构物的解析结果显示在第四显示区域。
据此,控制部53能够仅在用户需要时使解析结果显示出来。例如,与总是显示各解剖学上的结构物的解析结果的情况相比,由于控制部53能够减少显示的信息量,所以能够促进用户对解析结果的理解。因此,浏览装置50能够对在利用解析结果进行诊断的情况下的诊断效率的下降进行抑制。
并且,一个以上的标注是分别示出一个以上的解剖学上的结构物中的异常结构物以及正常结构物的图像分割,示出异常结构物的图像分割具有透明度。
据此,浏览装置50能够使用户利用处理图像54a进行原图像的图像解读。因此,由于浏览装置50能够使得原图像的图像解读容易地进行,所以能够对诊断效率的下降进行抑制。
并且,控制部53根据针对示出异常结构物的图像分割以及与该图像分割对应的结构标签的一方的输入,使该图像分割的透明程度发生变化。
据此,控制部53能够使图像分割的透明程度变化为用户所希望的透明程度。也就是说,控制部53具有提示让用户容易理解的处理图像54a的功能。因此,浏览装置50能够进一步对诊断效率的下降进行抑制。
并且,一个以上的标注是分别示出一个以上的解剖学上的结构物中的异常结构物以及正常结构物的图像分割。示出正常结构物的图像分割以及与该图像分割对应的结构标签以第一显示色彩来呈现,示出异常结构物的图像分割以及与该图像分割对应的结构标签以与第一显示色彩不同的第二显示色彩来呈现。
据此,由于浏览装置50能够以两种颜色的显示色彩来显示作为有无异常的检测对象的解剖学上的结构物的检测结果,所以能够对考虑了色弱者的医疗用图像进行显示。因此,即使用户是色弱者,浏览装置50也能够对诊断效率的下降进行抑制。
并且,控制部53根据针对图像分割以及一个以上的结构标签的一方的输入,使第一显示色彩以及第二显示色彩的至少一方的显示色彩发生变化。
据此,控制部53能够使图像分割的显示色彩变化为用户所希望的显示色彩。也就是说,控制部53具有提示让用户容易理解的处理图像54a的功能。因此,浏览装置50能够进一步对诊断效率的下降进行抑制。
并且,一个以上的标注还包括示出基准结构物的图像分割,所述基准结构物是处理图像54a中的一个以上的解剖学上的结构物在结构上的基准。示出基准结构物的图像分割以无彩色来呈现。
据此,在对基准结构物进行显示的情况下,浏览装置50能够对显示色彩的增加进行抑制。因此,即使用户是色弱者,浏览装置50也能够进一步对诊断效率的下降进行抑制。
并且,显示方式包括第一显示模式和第二显示模式,所述第一显示模式是对一个以上的标注的每一个进行闪烁显示的模式,所述第二显示模式是对一个以上的标注中的与输入对应的第二标注进行闪烁显示、且对该第二标注以外的标注不进行显示的模式。并且,控制部53当在第一显示模式中接受到针对一个以上的标注中的第二标注进行选择的输入时,则使第一显示模式转换为第二显示模式。
据此,控制部53能够以第一显示模式以及第二显示模式中的用户所希望的显示模式来显示处理图像54a。也就是说,控制部53具有提示让用户容易理解的处理图像54a的功能。因此,浏览装置50能够进一步对诊断效率的下降进行抑制。并且,控制部53通过使标注闪烁显示出来,从而能够显示无需用户操作就能够对原图像进行图像解读的图像。
并且,如上所述,本实施方式所涉及的医疗用图像显示方法是对医疗用图像进行显示的医疗用图像显示方法。医疗用图像具有第一显示区域以及第二显示区域(例如结构标签栏54c),在所述第一显示区域显示处理图像54a,处理图像54a是在拍摄了被摄对象的摄影图像32b上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在该摄影图像32b上的一个以上的解剖学上的结构物的检测结果,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对一个以上的解剖学上的结构物的每一个进行识别。并且,在医疗用图像显示方法中,根据用户针对一个以上的标注以及一个以上的结构标签的一方的输入,来变更一个以上的标注以及一个以上的结构标签的另一方的显示方式(S60)。并且,如上所述,本实施方式所涉及的程序也可以是用于使计算机执行上述的医疗用图像显示方法的程序。
据此,能够得到与上述的浏览装置50相同的效果。
(实施方式2)
[2-1.诊断支援系统的构成]
图7是示出本实施方式所涉及的浏览装置50a的构成的方框图。本实施方式所涉及的浏览装置50a主要在具有图像处理部55的这一点上,与实施方式1所涉及的浏览装置50不同。在这以后,关于本实施方式所涉及的浏览装置50a,以与实施方式1所涉及的浏览装置50的不同点为中心进行说明。并且,对于与实施方式1所涉及的浏览装置50相同或类似的构成,赋予与实施方式1所涉及的浏览装置50相同的符号,并省略或简化说明。另外,诊断支援系统10所具备的其他的构成要素可以与实施方式1的相同或类似,并省略其说明。
浏览装置50a是按照经由接受部52得到的来自用户的指示,以各种各样方式来显示被保持在图像服务器30的摄影图像32b以及附带在摄影图像32b上的各种信息的装置,其具有通信部51、接受部52、控制部53、显示部54、以及图像处理部55。
图像处理部55是根据通过检测部42抽取的解剖学上的结构物的抽取量(例如像素的数量),针对摄影图像32b来进行图像处理的处理部。图像处理部55例如在通过检测部42抽取的解剖学上的结构物的抽取量小于阈值的情况下,将与抽取量小于阈值的解剖学上的结构物对应的概率图谱重叠于摄影图像32b。概率图谱是解剖学上的模型,示出在医疗用图像上的、各解剖学上的结构在空间上的存在概率(概率图)。也可以认为概率图谱是示出解剖学上的结构物的存在概率的存在概率图。由于概率图谱示出存在概率,所以为多值。
概率图谱例如通过对正常的解剖学上的结构物进行模型化来生成。概率图谱例如根据预先获得的多个正常案例图像(显现有正常的解剖学上的结构物的图像)来生成。作为具体的顺序,首先,针对多个正常案例图像中的每一个,通过手动指定作为对象的解剖学上的结构物所占的图像上的区域(解剖结构区域)来制作基准图像。基准图像也被称为正确答案数据或教师数据。接下来,利用像肺野区域等这样是该解剖学上的结构物以外的、可以成为基准的解剖结构物的位置或大小来对指定的解剖结构区域进行规范化。针对基于多个正常案例图像的多个基准图像的每一个来进行规范化。接下来,通过对规范化后的解剖结构区域进行平均化,来构建示出该解剖学上的结构物的存在概率的存在概率图。该存在概率图相当于概率图谱。另外,概率图谱的生成方法并非受此所限,也可以利用已知的任何方法。
在本实施方式中,概率图谱通过分别对“气管阴影”、“降主动脉阴影”、“右房阴影”、“左室阴影”、“右横隔膜圆顶阴影”、“左横隔膜圆顶阴影”这六个正常的解剖学上的结构物进行模型化来生成。虽然概率图谱被预先生成并存放在浏览装置50a的存储装置,但也可以从图像服务器30等获得。
虽然图像处理部55例如通过控制部53的控制来执行上述的处理,但并非受此所限。
控制部53除了进行实施方式1所记载的控制以外,还进行以下的控制,或者以以下的控制来代替实施方式1所记载的控制,该控制是指,用于使概率图谱重叠于处理图像并显示出来的控制。控制部53例如在一个以上的标注中示出被检测出异常的解剖学上的结构物(异常结构物)的标注的尺寸小于阈值的情况下,使概率图谱重叠于摄影图像并显示出来,所述概率图谱示出该异常结构物在正常的情况下的正常结构(假设该异常结构物在正常的情况下的正常结构)。
构成浏览装置50a的图像处理部55至少由一个计算机来实现,具体而言,该计算机具备:保持程序的非易失性存储器、作为暂时作业区域的易失性存储器、执行程序的处理器、以及包括通信接口和通信端口的输入输出电路等。
并且,构成浏览装置50a的通信部51、控制部53、以及图像处理部55既可以由一个计算机或图像显示装置来实现,也可以由通过信道连接的多个计算机或图像显示装置分别来实现。
另外,控制部53既可以进行对通过检测部42抽取的解剖学上的结构物的抽取量是否小于阈值的判断处理,也可以从外部的装置获得判断结果。
[2-2.医疗用图像的构成]
接下来,参照图8A至图8C对显示部54显示的医疗用图像的构成进行说明。图8A示出了本实施方式所涉及的显示部54显示的医疗用图像的第一例。另外,在图8A及图8B中,仅对各解剖学的结构中的气管阴影的抽取量小于阈值的情况进行了图示。
图8A示出了检测部42没有检测出气管阴影的情况下的处理图像154a。也就是说,图8A示出了气管阴影的抽取量(结构抽取量)小于阈值(为0像素)的情况下的处理图像154a。处理图像154a是医疗用图像的一个例子。
在这种情况下,图像处理部55使概率图谱154a1重叠于处理图像154a并显示出来。并且,图像处理部55例如以与图像分割(例如二值化显示)不同的显示方式使概率图谱154a1显示出来。
例如在图像分割以灰度或色调的至少一方固定不变的方式被显示(例如二值化显示)的情况下,图像处理部55也可以以浓淡层次来显示概率图谱154a1。浓淡层次是指,逐渐地使灰度或色调的至少一方发生变化并显示出来。图像处理部55例如既可以以从第一色彩(例如黄色)至第二色彩(例如红色)的浓淡层次来显示概率图谱154a1,也可以以从第一亮度(例如暗的显示)至第二亮度(例如比第一亮度亮的显示)的浓淡层次来显示。
并且,图像处理部55例如也可以以浓淡层次来显示概率图谱154a1中的概率小于规定值的区域。也就是说,图像处理部55也可以仅对概率图谱154a1的一部分以浓淡层次来进行显示。在图8A中,示出了仅对概率图谱154a1的外周进行了比其他的部分更亮的显示的例子。并且,图像处理部55例如也可以由概率图谱的浓淡层次来反映解剖学上的结构物的存在概率的大小。图像处理部55也可以对存在概率高的部分进行亮的(提高灰度)显示,对存在概率低的部分进行暗的(降低灰度)显示。图像处理部55例如也可以以暖色系的颜色来显示存在概率高的部分,以冷色系的颜色来显示存在概率低的部分。也就是说,图像处理部55也可以进行像所谓的热图这样的显示。
并且例如也可以是,图像处理部55在图像分割不具有透明度的情况下,使概率图谱154a1以具有透明度的方式显示出来,在图像分割具有透明度的情况下,使概率图谱154a1以不具有透明度的方式显示出来。
据此,在概率图谱154a1重叠在处理图像154a上的情况下,图像处理部55能够对用户将该概率图谱154a1错误地判断为是图像分割(通过检测部42抽取的结构物)进行抑制。并且,图像处理部55通过将若原本不变地显示检测部42的检测结果则将不会被显示出来的解剖学上的结构物作为概率图谱154a1显示出来,从而能够抑制用户忽略该解剖学上的结构物。
另外,图像处理部55例如也可以根据第一基准结构以及第二基准结构,来调整概率图谱的大小以及位置。例如,图像处理部55也可以根据第一基准结构以及第二基准结构的大小以及位置的至少一方,来对概率图谱的大小以及位置的至少一方进行规范化。另外,成为用于对概率图谱进行规范化的基准的解剖学上的结构物不限于是第一基准结构以及第二基准结构,也可以是可以成为基准的其他的解剖学上的结构物。
接下来,参照图8B对虽然由检测部42检测出了气管阴影,但抽取量(结构抽取量)小于阈值的情况下的处理图像154b进行说明。图8B示出了本实施方式所涉及的显示部54显示的医疗用图像的第二例。在图8B中,由于气管阴影通过检测部42被抽取出来了一部分,所以示出该气管阴影的一部分的图像分割154b2被包括在处理图像154b中。
如图8B所示,图像处理部55以能够目视确认图像分割154b2的方式,将概率图谱154b1重叠于处理图像154b并显示。例如,在概率图谱154b1和示出异常结构物的图像分割154b2重叠于处理图像154b并显示的情况下,图像处理部55以能够目视确认图像分割154b2的方式,来显示图像分割154b2和概率图谱154b1。也可以认为图像处理部55例如以概率图谱154b1来显示除通过检测部42抽取的区域(图像分割154b2的区域)以外的区域。由于概率图谱154b1和图像分割154b2的显示方式不同,所以即使概率图谱154b1和图像分割154b2混在一起,浏览装置50a也能够抑制用户混淆概率图谱154b1和图像分割154b2。
接下来,参照图8C对由检测部42检测出的气管阴影的抽取量(结构抽取量)在阈值以上的情况下的处理图像154c进行说明。图8C示出了本实施方式所涉及的显示部54显示的医疗用图像的第三例。在图8C中,由于气管阴影通过检测部42被抽取出了阈值以上,所以与该气管阴影对应的概率图谱没有被显示。
如图8C所示,处理图像154c是被重叠了由阈值以上的像素构成的图像分割154c1的图像。在这种情况下,在处理图像154c上并没有显示概率图谱,而仅重叠了包括图像分割154c1的多个图像分割。图8C所示的处理图像154c例如也可以是与图3所示的处理图像54a相同的图像。
据此,在由检测部42检测出的气管阴影的抽取量(结构抽取量)在阈值以上、且难以发生用户忽略异常结构物的情况下,由于能够减少被显示在显示部54的信息,所以能够对用户的诊断效率的下降进行抑制。
另外,阈值例如既可以按每个解剖学上的结构物来设定,也可以根据显示部54的像素数量等来设定。
另外,在与对包括概率图谱的处理图像进行显示的情况下的图6所示的步骤S70至S73对应的操作被进行了的情况下,控制部53既可以仅使图像分割的显示方式发生转换,也可以除图像分割以外使概率图谱的显示方式发生转换,也可以仅使概率图谱的显示方式发生转换。例如,在步骤S71的转换中,也可以将不显示概率图谱的图像作为原图像来显示。并且,关于概率图谱的显示方式,可以与图像分割一样,根据针对概率图谱的选择来切换有闪烁的显示和无闪烁的显示,也可以是,透明程度是可变的,也可以是,切换浓淡层次的状态。另外,不显示是指,只要接受部52没有接受到规定的操作而概率图谱就不会被显示的状态。
[2-3.诊断支援系统的工作]
接下来,关于如上构成的本实施方式所涉及的诊断支援系统10的工作,以构成诊断支援系统10的特征性的浏览装置50a的工作为中心进行说明。图9是示出本实施方式所涉及的浏览装置50a的主要的工作(也就是医疗用图像显示方法)的流程图。
另外,在图9中,虽然对浏览装置50a除实施方式所涉及的浏览装置50的工作以外还进行步骤S110以及S120的工作的例子进行了说明,但并非受此所限,浏览装置50a至少进行步骤S110以及S120的工作即可。并且,在图9中,对于与图5相同或类似的工作赋予与图5相同的符号并省略说明。
如图9所示,在获得的摄影图像32b中存在异常结构(异常结构物)的情况下(S20的“是”),控制部53进一步对是否存在抽取量小于阈值的结构(异常结构物)进行判断(S110)。控制部53例如也可以对结构标签栏54c包括的各结构标签所示的解剖学上的结构物的每一个中是否存在抽取量小于阈值的异常结构物进行判断。抽取量例如是像素数量,但并非受此所限。控制部53例如通过从浏览装置50a所具有的存储装置(未图示)读出像素数量的阈值,并对读出的阈值与摄影图像32b中的图像分割的像素数量进行对比,来进行步骤S110的判断。另外,像素数量的阈值按每个解剖学上的结构物来设定。并且,作为抽取量的其他的例子,也可以是像素数量除以该解剖学上的结构物的标准的像素数量而得到的比率。
在抽取量小于阈值的结构(异常结构物)存在的情况下(S110的“是”),控制部53使图像处理部55进行将概率图谱重叠于摄影图像32b的处理。图像处理部55从浏览装置50a所具有的存储装置(未图示)读出与抽取量小于阈值的异常结构物对应的概率图谱,并将读出的概率图谱重叠于摄影图像32b。也就是说,图像处理部55将与抽取量小于阈值的异常结构物对应的概率图谱重叠于摄影图像32b(S120)。图像处理部55将概率图谱重叠在摄影图像32b中与该异常结构物对应的位置。
如此,控制部53对示出异常结构物的图像分割的尺寸是否小于阈值进行判断,在判断为图像分割的尺寸小于阈值的情况下,使与该异常结构物对应的概率图谱重叠于摄影图像32b并显示出来。
并且,在抽取量小于阈值的结构(异常结构物)不存在的情况下(S110的“否”),控制部53进入到步骤S30的处理。
另外,控制部53当在步骤S50中接受到针对概率图谱而不是图像分割显示(图像分割)的选择的情况下,则也可以在步骤S60中将与接受到选择的概率图谱有关的信息以及解析结果显示在显示部54。
与概率图谱有关的信息例如既可以是概率图谱的大小、像素数量等,也可以是示出正在显示概率图谱的这种信息。另外,解析结果也可以是示出异常的解剖学上的结构物的图像分割的像素数量。
另外,浏览装置50a既可以将处理图像154a至154c作为医疗用图像使显示部54显示出来,也可以将包括处理图像154a至154c的图像作为医疗用图像来代替图3所示的处理图像54a并使显示部54显示出来。浏览装置50a例如也可以使显示部54显示出包括处理图像154a至154c的任一个的处理图像、对比用图像54b、结构标签栏54c、以及解析结果栏54d的医疗用图像。
[2-4.效果等]
如上所述,本实施方式所涉及的浏览装置50a(医疗用图像显示系统的一个例子)是对医疗用图像进行显示的医疗用图像显示系统。医疗用图像包括在拍摄了被摄对象的摄影图像32b上重叠了一个以上的标注(例如图像分割154b2等)而得到的处理图像154a等,所述一个以上的标注示出显现在该摄影图像32b上的一个以上的解剖学上的结构物的检测结果。浏览装置50a具备对医疗用图像进行显示的显示部54以及控制部53,控制部53在一个以上的标注中示出被检测出异常的解剖学上的结构物(异常结构物)的标注的尺寸小于阈值的情况下,使概率图谱154a1等重叠于摄影图像32b并显示出来,概率图谱154a1示出该异常结构物在正常的情况下的正常结构。
据此,由于浏览装置50a在因示出异常结构物的标注的尺寸小而存在用户会忽略异常的可能性的情况下,对示出该异常结构物在正常的情况下的正常结构的概率图谱154a1等进行显示,所以能够抑制用户忽略解剖学上的结构物的异常。因此,浏览装置50a能够对用户在利用处理图像154a等进行诊断的情况下的诊断效率的下降进行抑制。
并且,概率图谱154a1等与一个以上的标注的显示方式不同。
据此,浏览装置50a能够抑制用户混淆标注和概率图谱154a1等。因此,与标注和概率图谱154a1等的显示方式相同的情况相比,浏览装置50a能够对诊断效率的下降进行抑制。
并且例如也可以是,一个以上的标注不具有透明度,而概率图谱154a1等具有透明度。
据此,浏览装置50a仅以概率图谱154a1等具有透明度的方式来进行显示,就能够抑制用户混淆标注和概率图谱154a1等。
并且例如也可以是,关于一个以上的标注的显示方法,其灰度或色调的至少一方以固定不变的方式来显示,概率图谱154a1等以使灰度或色调的至少一方逐渐发生变化的浓淡层次来显示。
据此,浏览装置50a只要以浓淡层次来显示概率图谱154a1等,就能够抑制用户混淆标注和概率图谱154a1等。
并且,控制部53在概率图谱154a1等和示出被检测出异常的解剖学上的结构物的标注重叠于摄影图像32b并显示的情况下,以能够目视确认标注的方式使概率图谱154a1等和标注显示出来。
据此,浏览装置50a即使是在显示概率图谱154a1等的情况下,也能够使用户目视确认到由检测部42检测出的标注。也就是说,用户能够将由检测部42检测出的标注包括在内而进行诊断。因此,与不使用户目视确认由检测部42检测出的标注的情况相比,浏览装置50a能够对诊断效率的下降进行抑制。
并且,控制部53对示出被检测出异常的解剖学上的结构物的标注的尺寸是否小于阈值进行判断,在判断为标注的尺寸小于阈值的情况下,使与被检测出该异常的解剖学上的结构物对应的概率图谱154a1等重叠于摄影图像32b并显示出来。
据此,在浏览装置50a中,能够将从是否重叠概率图谱的判断至重叠概率图谱为止的工作总括起来进行。
并且,如上所述,本实施方式所涉及的医疗用图像显示方法是对医疗用图像进行显示的医疗用图像显示方法。医疗用图像包括在拍摄了被摄对象的摄影图像32b上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在该摄影图像32b上的一个以上的解剖学上的结构物的检测结果。并且,在医疗用图像显示方法中,在一个以上的标注中示出被检测出异常的解剖学上的结构物的标注的尺寸小于阈值的情况下(S110的“是”),使概率图谱154a1等重叠于摄影图像32b并显示出来(S120),概率图谱154a1示出被检测出该异常的解剖学上的结构物在正常的情况下的正常结构。并且,如上所述,本实施方式所涉及的程序也可以是用于使计算机执行上述的医疗用图像显示方法的程序。
据此,能够得到与上述的浏览装置50a相同的效果。
(其他的实施方式)
以上,虽然根据实施方式对本公开的诊断支援系统、医疗用图像显示系统、以及医疗用图像显示方法进行了说明,但本公开并非受该实施方式所限。在不脱离本公开的主旨的范围内,将本领域技术人员所能够想到的各种变形执行于本实施方式而得到的形态、以及对实施方式中一部分的构成要素进行组合而构成的别的形态,均包括在本公开的范围之内。
例如,在上述实施方式中,虽然作为医疗用图像显示系统的一个例子,对浏览装置进行了例示,但医疗用图像显示系统除浏览装置以外,还可以具备摄影装置、图像服务器、以及异常检测系统的至少其中之一。
并且,在上述实施方式中,虽然关于检测部利用神经网络模型来进行检测的例子进行了说明,但学习后的机器学习模型并非受神经网络模型所限,也可以利用任何机器学习模型。并且,检测部并非受利用学习后的机器学习模型来进行解剖学上的结构物的检测所限,例如,也可以利用图案匹配技术来进行解剖学上的结构物的检测。从摄影图像中检测出解剖学上的结构物的检测方法也可以利用任何已知的技术。
并且,在上述实施方式中,虽然关于考虑到色弱用户而图像分割以两种有彩色(黄色和蓝色)以及白色(也就是灰度的调整)来呈现的例子进行了说明,但并非受此所限。浏览装置例如也可以经由接受部来获得使用浏览装置的用户是否为色弱者的输入,并根据获得的输入来使显示检测出解剖学上的结构物的标注的显示色彩发生变化。例如,浏览装置在用户为色弱者的情况下,进行在上述实施方式中所说明的显示色彩的显示,在用户不是色弱者的情况下,也可以进行三种颜色以上的显示色彩的显示。在用户不是色弱者的情况下,浏览装置例如也可以按每个解剖学上的结构物来使显示色彩发生变化。
并且,虽然上述实施方式的医疗用图像显示方法中包括通过浏览装置进行的处理,但并非受这些处理所限,也可以进一步包括通过异常检测系统进行的处理(例如异常的检测处理)、以及通过摄影装置进行的处理的至少一方。
并且,在上述实施方式中,虽然作为标注的一个例子对图像分割进行了说明,但标注并非受此所限。标注例如也可以是以线条(例如虚线)来围住检测部所检测出的区域的框形。
并且,在正常结构物以及异常结构物分别以线状的标注来呈现的情况下,上述实施方式中的示出基准结构物的线状的标注的粗细也可以比示出正常结构物的线状的标注以及示出异常结构物的线状的标注各自的粗细更细。
并且,在上述实施方式中,虽然对处理图像以及原图像被显示在一个画面上的例子进行说明,但并非受此所限,也可以根据接受到的规定的操作来交替显示处理图像和原图像。
并且,在上述实施方式中,虽然关于对有两张摄影图像被显示在医疗用图像上的例子进行了说明,但被显示在一张医疗用图像上的摄影图像的数量并非受两张所限,也可以是三张以上。另外,三张以上的摄影图像中的一张摄影图像是示出异常检测系统的检测部的检测结果的图像。
并且,异常检测系统以及浏览装置所具有的功能也可以在异常检测系统以及浏览装置间任意分配。例如,浏览装置所具有的图像处理部,异常检测系统也可以具有。并且,异常检测系统以及浏览装置例如可以作为单一的装置来实现,也可以通过多个装置(例如,三个以上的装置)来实现。在异常检测系统以及浏览装置通过多个装置来实现的情况下,异常检测系统以及浏览装置所具有的构成要素可以任意分配在多个装置中。并且,对多个装置间的通信方法并没有特别的限定。
并且,方框图中的功能块的分割为一个例子,多个功能块可以作为一个功能块来实现,一个功能块也可以分割为多个,并且其中一部分的功能也可以转移到其他的功能块。并且,具有类似功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或进行时间分割处理。
并且,在上述实施方式中,各构成要素可以由专用的硬件来构成,或者也可以由执行适于各构成要素的软件程序来实现。各构成要素也可以由处理器等程序执行部读出并执行记录在硬盘或半导体存储器等的记录介质的软件程序来实现。处理器由包括半导体集成电路(IC)或LSI(Large scale integration:大规模集成电路)的一个或多个电子电路构成。多个电子电路既可以集成在一个芯片,也可以设置在多个芯片。多个芯片既可以汇集在一个装置,也可以由多个装置来具备。
并且,上述实施方式中所说明的多个处理的顺序是一个例子。多个处理的顺序可以被变更,多个处理的至少一部分也可以被并行执行。
并且,本公开的一个形态也可以是使计算机执行包括在医疗用图像显示方法中的特征性的各个步骤的计算机程序。并且,本公开的一个形态也可以是记录了这样的程序的、DVD等这样的计算机可读取的非暂时性的记录介质。例如也可以将这样的程序记录在记录介质并进行分发或流通。例如,通过将分发的程序安装在具有其他的处理器的装置上并使该处理器执行该程序,从而使该装置能够进行上述各处理。
并且,本公开的概括性的或具体的方式既可以由系统、方法、集成电路、上述的计算机程序或上述的非暂时性的记录介质来实现,也可以由系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。程序既可以被预先存储在记录介质,也可以通过包括互联网等的广域通信网而被提供给记录介质。
本公开所涉及的医疗用图像显示系统以及医疗用图像显示方法作为对于医疗用图像中包括的解剖学上的结构物有无异常进行检测的系统,例如能够用作支援医生高效诊断疾病的系统。
符号说明
10诊断支援系统
20摄影装置
30图像服务器
31a,31b,32a,32b摄影图像
40异常检测系统
41,51通信部
42检测部
43解析部
50,50a浏览装置
52接受部
53控制部
54显示部
54a,154a,154b,154c处理图像
54b对比用图像
54c结构标签栏
54c1气管阴影
54c2测量值
54d解析结果栏
55图像处理部
154a1,154b1概率图谱
154b2,154c1图像分割
I1初始状态
I2a全部结构显示
I2b,I3b原图像
I3a选择结构显示

Claims (14)

1.一种医疗用图像显示系统,是对医疗用图像进行显示的医疗用图像显示系统,
所述医疗用图像具有第一显示区域和第二显示区域,
所述第一显示区域,在所述第一显示区域显示处理图像,所述处理图像是在拍摄了被摄对象的摄影图像上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在所述摄影图像上的一个以上的解剖学上的结构物的检测结果,
所述第二显示区域,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对所述一个以上的解剖学上的结构物的每一个进行识别,
所述医疗用图像显示系统具备:
显示部,对所述医疗用图像进行显示;以及
控制部,根据用户针对所述一个以上的标注以及所述一个以上的结构标签的一方的输入,来变更所述一个以上的标注以及所述一个以上的结构标签的另一方的显示方式。
2.如权利要求1所述的医疗用图像显示系统,
所述控制部,根据针对所述一个以上的标注中的第一标注进行选择的所述输入,将与该第一标注对应的解剖学上的结构物的测量结果追加显示在与该第一标注对应的结构标签。
3.如权利要求1或2所述的医疗用图像显示系统,
所述控制部,根据针对所述一个以上的结构标签中的第一结构标签进行选择的所述输入,对显示与该第一结构标签对应的标注和不显示与该第一结构标签对应的标注进行切换。
4.如权利要求1至3的任一项所述的医疗用图像显示系统,
所述医疗用图像还具有第三显示区域,在所述第三显示区域显示用于与所述处理图像进行对比的对比用图像。
5.如权利要求1至4的任一项所述的医疗用图像显示系统,
所述医疗用图像还具有第四显示区域,在所述第四显示区域显示针对所述一个以上的解剖学上的结构物的异常的解析结果。
6.如权利要求5所述的医疗用图像显示系统,
所述控制部,根据针对所述一个以上的标注以及所述一个以上的结构标签的所述一方的所述输入,将通过该输入确定的解剖学上的结构物的所述解析结果显示在所述第四显示区域。
7.如权利要求1至6的任一项所述的医疗用图像显示系统,
所述一个以上的标注是分别示出所述一个以上的解剖学上的结构物中的异常结构物以及正常结构物的图像分割,
示出所述异常结构物的所述图像分割具有透明度。
8.如权利要求7所述的医疗用图像显示系统,
所述控制部,根据针对示出所述异常结构物的所述图像分割以及与该图像分割对应的结构标签的所述一方的所述输入,使该图像分割的透明程度发生变化。
9.如权利要求1至6的任一项所述的医疗用图像显示系统,
所述一个以上的标注是分别示出所述一个以上的解剖学上的结构物中的异常结构物以及正常结构物的图像分割,
示出所述正常结构物的所述图像分割以及与该图像分割对应的结构标签以第一显示色彩来呈现,
示出所述异常结构物的所述图像分割以及与该图像分割对应的结构标签以与所述第一显示色彩不同的第二显示色彩来呈现。
10.如权利要求9所述的医疗用图像显示系统,
所述控制部,根据针对所述图像分割以及所述一个以上的结构标签的所述一方的所述输入,使所述第一显示色彩以及所述第二显示色彩的至少一方的显示色彩发生变化。
11.如权利要求9或10所述的医疗用图像显示系统,
所述一个以上的标注还包括示出基准结构物的图像分割,所述基准结构物是所述处理图像中的所述一个以上的解剖学上的结构物在结构上的基准,
示出所述基准结构物的所述图像分割以无彩色来呈现。
12.如权利要求1至11的任一项所述的医疗用图像显示系统,
所述显示方式包括第一显示模式和第二显示模式,所述第一显示模式是对所述一个以上的标注的每一个进行闪烁显示的模式,所述第二显示模式是对所述一个以上的标注中的与所述输入对应的第二标注进行闪烁显示、且对该第二标注以外的标注不进行显示的模式,
所述控制部当在所述第一显示模式中接受到针对所述一个以上的标注中的所述第二标注进行选择的所述输入时,则使所述第一显示模式转换为所述第二显示模式。
13.一种医疗用图像显示方法,是对医疗用图像进行显示的医疗用图像显示方法,
所述医疗用图像具有第一显示区域和第二显示区域,
所述第一显示区域,在所述第一显示区域显示图像,所述图像是在拍摄了被摄对象的摄影图像上重叠了一个以上的标注而得到的图像,所述一个以上的标注示出显现在所述摄影图像上的一个以上的解剖学上的结构物的检测结果,
所述第二显示区域,在所述第二显示区域显示一个以上的结构标签,所述一个以上的结构标签用于对所述一个以上的解剖学上的结构物的每一个进行识别,
在所述医疗用图像显示方法中,根据用户针对所述一个以上的标注以及所述一个以上的结构标签的一方的输入,来变更所述一个以上的标注以及所述一个以上的结构标签的另一方的显示方式。
14.一种程序,所述程序用于使计算机执行权利要求13所述的医疗用图像显示方法。
CN202180078335.3A 2020-11-25 2021-11-15 医疗用图像显示系统、医疗用图像显示方法、以及程序 Pending CN116471993A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-195467 2020-11-25
JP2020195467 2020-11-25
PCT/JP2021/041894 WO2022113798A1 (ja) 2020-11-25 2021-11-15 医療用画像表示システム、医療用画像表示方法及びプログラム

Publications (1)

Publication Number Publication Date
CN116471993A true CN116471993A (zh) 2023-07-21

Family

ID=81755986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078335.3A Pending CN116471993A (zh) 2020-11-25 2021-11-15 医疗用图像显示系统、医疗用图像显示方法、以及程序

Country Status (5)

Country Link
US (1) US20230298178A1 (zh)
EP (1) EP4252655A1 (zh)
JP (1) JPWO2022113798A1 (zh)
CN (1) CN116471993A (zh)
WO (1) WO2022113798A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873717B2 (en) * 2002-07-09 2005-03-29 Riverain Medical Group, Llc Input/output interface for computer aided diagnosis (CAD) system
JP3836097B2 (ja) * 2003-09-19 2006-10-18 ザイオソフト株式会社 医用画像生成装置および方法、ならびに、プログラム
KR20080021723A (ko) * 2005-06-02 2008-03-07 더 메디패턴 코포레이션 컴퓨터­보조 검진을 위한 시스템 및 방법
JP5670079B2 (ja) * 2009-09-30 2015-02-18 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
JP5395823B2 (ja) * 2011-02-15 2014-01-22 富士フイルム株式会社 手術支援装置、手術支援方法および手術支援プログラム
JP6413232B2 (ja) 2013-11-22 2018-10-31 コニカミノルタ株式会社 情報処理装置及び情報処理方法
US9839490B2 (en) * 2015-01-28 2017-12-12 Terarecon, Inc. Touchless advanced image processing and visualization
JPWO2018030015A1 (ja) * 2016-08-08 2019-07-04 国立大学法人京都大学 切離プロセス推定装置及び切離プロセスナビゲーションシステム

Also Published As

Publication number Publication date
US20230298178A1 (en) 2023-09-21
EP4252655A1 (en) 2023-10-04
JPWO2022113798A1 (zh) 2022-06-02
WO2022113798A1 (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
US7593562B2 (en) Method and system for computer aided detection (CAD) cued reading of medical images
US6661456B1 (en) Imaging of pixel defects in digital detectors
TWI446202B (zh) 用於數位放射照相軟拷貝讀取之智慧型質與量分析的方法及系統
EP1979856B1 (en) Enhanced navigational tools for comparing medical images
US9168007B2 (en) Computer-aided diagnostic apparatus
US8498492B2 (en) Methods of analyzing a selected region of interest in medical image data
CN102138827B (zh) 图像显示装置
US10290101B1 (en) Heat map based medical image diagnostic mechanism
US10188361B2 (en) System for synthetic display of multi-modality data
US11200443B2 (en) Image processing apparatus, image processing method, and image processing system
JP2007151645A (ja) 医用画像診断支援システム
JP4748991B2 (ja) 医用画像診断支援装置
KR20160140194A (ko) Pacs 이미지의 개인화 분석 기반 이상 검출 방법 및 그 장치
US20230343455A1 (en) Medical image diagnosis assistant apparatus and method for generating and visualizing assistant information based on distributions of signal intensities in medical images
CN116471993A (zh) 医疗用图像显示系统、医疗用图像显示方法、以及程序
CN116456905A (zh) 医疗用图像显示系统、医疗用图像显示方法、以及程序
JP2009061170A (ja) 医用画像診断支援装置
US20130137966A1 (en) Tissue extraction system and three-dimensional display method of the same
CN114334128A (zh) 基于ct影像的肿瘤演进过程分析方法、系统及存储介质
JP4635077B2 (ja) コンピュータ支援診断装置
US20240029874A1 (en) Work support apparatus, work support method, and work support program
EP4358022A1 (en) Medical image diagnostic system, medical image diagnostic method, and program
US20230410305A1 (en) Information management apparatus, method, and program and information processing apparatus, method, and program
JP2008000496A (ja) 医用画像表示装置およびそのプログラム
CN113707291A (zh) 医学影像辅助判读系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination