CN106560827B - 控制方法 - Google Patents

控制方法 Download PDF

Info

Publication number
CN106560827B
CN106560827B CN201610750854.0A CN201610750854A CN106560827B CN 106560827 B CN106560827 B CN 106560827B CN 201610750854 A CN201610750854 A CN 201610750854A CN 106560827 B CN106560827 B CN 106560827B
Authority
CN
China
Prior art keywords
image
interest
region
similar
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610750854.0A
Other languages
English (en)
Other versions
CN106560827A (zh
Inventor
小冢和纪
高田和丰
近藤坚司
坂井丰彦
木村浩彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN106560827A publication Critical patent/CN106560827A/zh
Application granted granted Critical
Publication of CN106560827B publication Critical patent/CN106560827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

本公开的控制方法使信息终端(100)的计算机执行如下处理:检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,从病例检索系统(300)接收与所述对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,在所述输入的表示关心区域的信息表示一个所述关心区域的情况(S611)下,使所述横断面图像显示于显示器(S613),在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况(S611)下,使所述冠状面图像显示于所述显示器(S612)。

Description

控制方法
技术领域
本公开涉及用于检索与读片对象的医用图像相似的相似医用图像的信息终端的控制方法。
背景技术
近年来,例如CT(Computed Tomography,计算机断层扫描)、MRI(MagneticResonance Imaging,磁共振成像)等的医用图像装置正在发展普及。这些CT或MRI等能够大容量地取得数字化后的高精细的医用图像。另外,医生进行了读片的医用图像与读片报告一起依次存储在PACS(Picture Archiving and Communication Systems,影像归档和通信系统)中。在此,例如如专利文献1所公开的那样,开始开发如下技术:为了作为新的读片的参考,从已经存储在PACS中的过去病例中检索与读片对象的医用图像相似的过去的医用图像。
现有技术文献
专利文献1:日本特开2008-257292号公报
发明内容
然而,需要进一步的改善。
本公开的一个技术方案是一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,从病例检索系统接收与所述对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,在所述输入的表示关心区域的信息表示一个所述关心区域的情况下,使所述横断面图像显示于显示器,在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,使所述冠状面图像显示于所述显示器。
此外,该总括性或具体的技术方案既可以通过装置、系统、集成电路、计算机程序或计算机可读取的记录介质来实现,也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开,能够实现进一步的改善。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种技术方案及特征提供,无需为了获得一个以上益处和/或优点而实施所有的技术方案及特征。
附图说明
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。
图2是表示信息终端、医用信息管理系统以及病例检索系统的构成的框图。
图3是2台显示器的外观图。
图4是表示信息终端的安装方式的构成例的图。
图5是表示在信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图6是表示在对检索查询图像设定了一个关心区域时,通过信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图7是表示在对检索查询图像设定了两个以上的关心区域时以及未设定关心区域时,通过信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图8是将病例显示区域所显示的某个相似病例的显示区域截取显示的图。
图9是病名列表显示区域的放大图。
图10是表示以“真菌病”筛选了相似病例时的基本画面的图。
图11是表示以“转移性肺癌”筛选了相似病例时的基本画面的图。
图12是分布列表显示区域的放大图。
图13是表示向两侧性的复选框输入了复选标记的分布列表显示区域的图。
图14是表示以两侧性的病变分布实施了筛选的基本画面的图。
图15是表示患者信息的数据结构的图。
图16是表示登记在图15所示的患者信息中的检查信息的数据结构的图。
图17是表示医用图像数据库的数据结构的图。
图18是表示诊断报告的数据结构的图。
图19是表示局限性病变的相似病例数据的数据结构的图。
图20是表示弥漫性病变的相似病例数据的数据结构的图。
图21是示意性示出了对检索查询对象的切片图像设定的两个关心区域的图。
图22是表示在用户设定了一个关心区域的情况下,信息终端从医用信息管理系统取得了诊断对象病例之后,对病例检索系统进行相似病例检索的请求,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图23是检查列表的画面图。
图24是选择了检查之后的检查列表的画面图。
图25是表示在由用户选择了序列时显示于显示器的切片图像的图。
图26是表示在由用户启动了相似病例检索应用时显示于显示器的切片图像的图。
图27是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
图28是表示图27的S610的处理的一例的流程图。
图29是表示图27的S620的处理的一例的流程图。
图30是表示图27的S670所示的生成初始的基本画面的处理的详细内容的流程图。
图31是表示在图30的S1300中生成的病名列表的数据结构的图。
图32是表示病名列表显示区域的第1显示例的图。
图33是表示病名列表显示区域的第2显示例的图。
图34是表示病名列表显示区域的第3显示例的图。
图35是表示图33所示的病名列表显示区域的画面转换的图。
图36是表示在图30的S1400中生成的分布列表的数据结构的图。
图37是表示使用图36所示的分布列表而生成的分布列表显示区域的图。
图38是表示对大尺寸的病变部设定了关心区域的诊断对象病例的切片图像的图。
图39是表示图27的S610的处理的不同于图28的例子的流程图。
图40是表示图27的S620的处理的不同于图29的例子的流程图。
图41是采用了信息终端提取图像特征的方式的情况下的信息终端、医用信息管理系统以及病例检索系统的框图。
图42是表示在信息终端从医用信息管理系统取得了诊断对象病例之后,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图43是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
图44是表示在用户未设定关心区域的情况下或设定了两个以上的关心区域的情况下,信息终端从医用信息管理系统取得了诊断对象病例之后,对病例检索系统进行相似病例检索的请求,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图45是表示不同于图44的例子的时序图。
标号的说明
100 信息终端
101、101a、101b 显示器
102 操作部
103 输入控制部
104 显示控制部
200 医用信息管理系统
300 病例检索系统
710 病例显示区域
K2 基本画面
ROI 关心区域
具体实施方式
(发明本公开涉及的一个技术方案的经过)
首先,对本公开涉及的一个技术方案的着眼点进行说明。
专利文献1公开了在基于诊断对象图像的图像诊断时提示对疾病的判断而言有用的病例图像或者关于该疾病的统计信息等的图像诊断辅助装置。该图像诊断辅助装置的检索结果的画面,显示诊断对象图像以及按各种疾病的代表病例的信息。具体而言,所述检索结果的画面显示:(i)前面3种疾病A、D、G的代表病例的图像;(ii)按各种疾病显示与诊断对象图像的相似度、登记病例数以及代表病例数;(iii)检索件数(检索出的疾病的总数);以及(iv)用于参照无法显示在一个画面上的其他疾病的信息的软按钮“翻页”等(专利文献1的段落[0062]~[0063]以及图6(E))。
但是,在专利文献1中,对于在检索结果的画面中按各种疾病使代表病例的图像的显示形式变更,则完全没有记载。因此,专利文献1连按各种疾病使代表病例的图像的显示形式变更都没有公开,因此也就没有公开例如按各种疾病使代表病例的图像以横断面图像(axial image)进行显示或以冠状面图像(Coronal Image)进行显示等的想法。
根据以上的考察,本申请发明人想到了以下公开的各技术方案。
本公开的一个技术方案是一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,从病例检索系统接收与所述对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,在所述输入的表示关心区域的信息表示一个所述关心区域的情况下,使所述横断面图像显示于显示器,在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,使所述冠状面图像显示于所述显示器。
根据本技术方案,从病例检索系统接收与对象医用图像具有预定的相似度的多个相似医用图像,所接收到的多个相似医用图像显示于显示器。由此,能够高效地从登记在医用图像数据库中的庞大的医用图像中提取相似医用图像并提示给医生,所述相似医用图像是为了研究对象医用图像所呈现的病变的病名而成为参考的医用图像。
在此,作为病变的分布形态,存在弥漫性病变和局限性病变这两种。对于弥漫性病变,病变在整个脏器大范围地分布。另一方面,对于局限性病变,病变部局部地分布在脏器内的一部分。
对于弥漫性病变,其病变部扩散的区域的大小在确定病名时成为非常重要的信息。例如,在肺的医用图像的情况下,病变部扩散到肺的上叶、中叶和下叶的哪一方为止,在确定病名时成为非常有用的信息。因此,在相似病例检索系统中,在将弥漫性病变的相似医用图像显示于显示器时,希望显示能够一目了然地判别该病变部整体的冠状面图像。
另一方面,对于局限性病变,病变部是否沿着血管(例如在肺的情况下为血管以及气道)的方向存在、和病变部的三维形状这两方在确定病名时成为非常重要的信息。因此,在相似病例检索系统中,在将局限性病变的相似医用图像显示于显示器时,希望显示能够确认该病变部是否沿着血管的方向存在和病变部的三维形状的横断面图像。
另外,对于对象医用图像是局限性病变还是弥漫性病变的判别,能够基于是否输入了表示对象医用图像中的关心区域的指定信息和所输入的指定信息表示的关心区域的数量来判别。其原因是,由于医生指定的关心区域是对象医用图像中所包含的病变部,所以在指定信息表示一个关心区域的情况下,可以判别为是局限性病变。另一方面,在指定信息表示两个以上的关心区域的情况下,因为病变部遍及大范围,所以可以判别为是弥漫性病变。另外,在一个病变部遍及大范围的情况下,医生有时也不输入表示关心区域的指定信息。因此,在未输入指定信息的情况下,可以判别为是弥漫性病变。
根据本技术方案,在将多个相似医用图像显示于显示器时,在指定信息表示一个关心区域的情况下使用横断面图像,在指定信息表示两个以上的关心区域或者未输入指定信息的情况下使用冠状面图像。也即,在指定信息表示一个关心区域的情况下,医生想要研究的相似医用图像是局限性病变的可能性高。因此,在显示器显示横断面图像。另一方面,在指定信息表示两个以上的关心区域或者未输入指定信息的情况下,医生想要研究的相似医用图像是弥漫性病变的可能性高。因此,在显示器显示冠状面图像。由此,能够有效且高效地对医生提示用于确定病名所需的信息即相似医用图像。
在上述技术方案中,可以,在所输入的表示所述关心区域的信息表示一个所述关心区域的情况下,所述对象医用图像的关心区域与所述多个相似医用图像各自的关心区域具有预定的相似度,在所输入的表示所述关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,包含所述对象医用图像的图像组与包含所述多个相似医用图像的各个医用图像的图像组具有预定的相似度。
在上述技术方案中,可以,所述横断面图像是与被检查者的身高方向上的轴垂直的断面为断层面的图像,所述冠状面图像是与平行于所述被检查者的身高方向上的轴的面成0度以上且45度以下的角度的面为断层面的图像。
在上述技术方案中,例如可以,
所述多个相似医用图像分别是通过断层摄影法进行拍摄的,并且分别是沿着第1方向排列的图像组中的一个医用图像,
所述横断面图像是所述图像组中的与所述关心区域相当的区域的面积值最大的医用图像。
根据本技术方案,与关心区域相当的区域的面积值为最大的横断面图像显示于显示器。也即,显示于显示器的相似医用图像,按各病例是图像组中病变部的大小最大的医用图像。在此,显示病变部最大的相似医用图像,将会提示该病变部的特征被良好呈现的医用图像。因此,根据本技术方案,可提示病变部的特征被良好呈现的相似医用图像,因此能够有助于医生的准确诊断。
在上述技术方案中,例如可以,
所述多个相似医用图像分别是通过断层摄影法进行拍摄的,并且分别是沿着第1方向排列的图像组中的一个医用图像,
在输入了表示所述关心区域的信息的情况下,所述冠状面图像是所述图像组中的与多个所述关心区域相当的区域的面积值最大的医用图像。
根据本技术方案,与多个关心区域相当的区域的面积值为最大的冠状面图像显示于显示器。也即,显示于显示器的相似医用图像,按各病例图像组中病变部的大小最大的医用图像。在此,显示病变部最大的相似医用图像,将会提示该病变部的特征被良好呈现的医用图像。因此,根据本技术方案,可提示病变部的特征被良好呈现的相似医用图像,因此能够有助于医生的准确诊断。
本公开的另一技术方案是一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:
在读片对象的医用图像即对象医用图像中检测表示关心区域的信息,
从病例检索系统接收多个相似医用图像,所述多个相似医用图像分别基于所述对象医用图像来选择,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,
在所述关心区域在所述对象医用图像中所占的比例值小于预定的阈值的情况下,使所述横断面图像显示于显示器,在所述比例值为所述阈值以上的情况下,使所述冠状面图像显示于所述显示器。
根据本技术方案,从病例检索系统接收与对象医用图像具有预定的相似度的多个相似医用图像,所接收到的多个相似医用图像显示于显示器。由此,能够高效地从登记在医用图像数据库中的庞大的医用图像中提取相似医用图像并提示给医生,所述相似医用图像是为了研究对象医用图像所呈现的病变的病名而成为参考的医用图像。
在此,作为病变的分布形态,存在局限性病变和弥漫性病变这两种。对于局限性病变,病变部局部地分布在脏器内的一部分。另一方面,对于弥漫性病变,病变在整个脏器大范围地分布。
对于弥漫性病变,其病变部扩散的区域的大小在确定病名时成为非常重要的信息。例如,在肺的医用图像的情况下,病变部扩散到肺的上叶、中叶和下叶的哪一方为止,在确定病名时成为非常有用的信息。因此,在相似病例检索系统中,在将弥漫性病变的相似医用图像显示于显示器时,希望显示能够一目了然地判别该病变部整体的冠状面图像。
另一方面,对于局限性病变,病变部是否沿着血管(例如在肺的情况下为血管以及气道)的方向存在、和病变部的三维形状这两方在确定病名时成为非常重要的信息。因此,在相似病例检索系统中,在将局限性病变的相似医用图像显示于显示器时,希望显示能够确认该病变部是否沿着血管的方向存在和病变部的三维形状的横断面图像。
另外,对于对象医用图像是局限性病变还是弥漫性病变的判别,能够基于对象医用图像中的关心区域在对象医用图像所占的比例值来判别。其原因是,由于医生指定的关心区域是对象医用图像中所包含的病变部,所以例如在关心区域在对象医用图像中所占大小的比例小于预定的阈值的情况下,可以判别为是病变部存在于脏器的一个地方的局限性病变。另一方面,例如在关心区域在对象医用图像中所占大小的比例为预定的阈值以上的情况下,可以判别为是病变部扩散到整个脏器的弥漫性病变。
作为关心区域在对象医用图像中所占的比例值,也可以使用关心区域的面积相对于对象医用图像所包含的脏器的面积的比率。此外,在设定关心区域时,往往将关心区域设为矩形,将脏器以外的区域也包含在内地设定关心区域。因此,作为关心区域在对象医用图像中所占的比例值,也可以使用关心区域与脏器重叠的区域的面积相对于对象医用图像所包含的脏器的面积的比率。但是,不使用关心区域与脏器重叠的区域而单纯使用关心区域的话,能够使计算简单。
根据本技术方案,在将多个相似医用图像显示于显示器时,在关心区域在对象医用图像中所占的比例值小于预定的阈值的情况下,使用横断面图像,在上述比例值为上述阈值以上的情况下,使用冠状面图像。也即,在上述比例值小于预定的阈值的情况下,医生想要研究的相似医用图像是局限性病变的可能性高。因此,使横断面图像显示于显示器。另一方面,在上述比例值为预定的阈值以上的情况下,医生想要研究的相似医用图像是弥漫性病变的可能性高。因此,使冠状面图像显示于显示器。由此,能够有效且高效地对医生提示用于确定病名所需的信息即相似医用图像。
在上述技术方案中,例如可以,
所述对象医用图像是通过断层摄影法拍摄到的肺的医用图像,
所述比例值是所述关心区域与所述肺重叠的区域的面积相对于所述对象医用图像所包含的所述肺的面积的比率,
所述阈值为四分之一。
根据经验,在关心区域与肺重叠的区域的面积相对于对象医用图像所包含的肺的面积的比率小于四分之一的情况下可判断为局限性病变,在为四分之一以上的情况下可判断为弥漫性病变。根据本技术方案,在关心区域与肺重叠的区域的面积相对于对象医用图像所包含的肺的面积的比率小于四分之一的情况下使用横断面图像,在为四分之一以上的情况下使用冠状面图像。因此,能够有效且高效地对医生提示用于确定病名所需的信息即相似医用图像。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机执行如下处理:
基于通过所述输入的表示关心区域的信息所表示的所述关心区域和所述对象医用图像来算出所述比例值。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机执行如下处理:
将所述对象医用图像以及所述输入的表示关心区域的信息发送给所述病例检索系统,
从所述病例检索系统接收所述比例值。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机执行如下处理:
将表示所述关心区域的特征量的信息发送给所述病例检索系统,
从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的多个相似医用图像。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机执行如下处理:
将所述对象医用图像以及表示所述关心区域的信息发送给所述病例检索系统,
从所述病例检索系统接收与根据所述对象医用图像和表示所述关心区域的信息而得到的所述关心区域的特征量具有所述预定的相似度的多个相似医用图像。
本公开的另一技术方案是一种控制方法,使信息终端的计算机执行如下处理:检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,所述关心区域分别是一个连续区域,从病例检索系统接收多个相似医用图像,所述多个相似医用图像分别基于所述对象医用图像来选择,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,在所述输入的表示关心区域的信息表示一个所述关心区域的情况下,使所述横断面图像显示于显示器,在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,使作为所述冠状面图像的所述接收到的多个相似医用图像显示于所述显示器。
在上述技术方案中,可以,在所输入的表示所述关心区域的信息表示一个所述关心区域的情况下,所述对象医用图像的关心区域与所述多个相似医用图像各自的关心区域具有预定的相似度,在所输入的表示所述关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,包含所述对象医用图像的图像组与包含所述多个相似医用图像的各个医用图像的图像组具有预定的相似度。
在上述技术方案中,可以,所述横断面图像是与被检查者的身高方向上的轴垂直的断面为断层面的图像,所述冠状面图像是与平行于所述被检查者的身高方向上的轴的面成0度以上且45度以下的角度的面为断层面的图像。
(实施方式)
以下,参照附图对本公开的一个实施方式进行说明。此外,在各附图中,对相同的构成要素使用相同的标号。
(整体构成)
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。如图1所示,医院信息系统具备信息终端100、医用信息管理系统200以及病例检索系统300。
信息终端100、医用信息管理系统200以及病例检索系统300经由网络400以能够相互通信的方式连接。
此外,医用信息管理系统200以及病例检索系统300未必需要配置在医院中,也可以是在医院外的数据中心、私有云服务器、公共云服务器等上工作的软件。在医用信息管理系统200以及病例检索系统300设置在医院内的情况下,作为网络400,可以采用局域网。作为局域网,可以采用IEEE802.3系列的有线LAN、IEEE802.11系列的无线LAN或者两者混和存在的网络。在医用信息管理系统200以及病例检索系统300使用医院外的服务器来实现的情况下,作为网络400,可以采用因特网。
作为信息终端100,采用个人计算机或平板终端等信息终端。作为医用信息管理系统200,采用PACS(Picture Archiving and Communication Systems)或电子病例系统等。
(信息终端100)
图2是表示信息终端100、医用信息管理系统200以及病例检索系统300的构成的框图。如图2所示,信息终端100具备显示器101、操作部102、输入控制部103、显示控制部104、ROI管理部105、病名列表管理部108、分布列表管理部109、通信控制部110。
显示器101例如由液晶监视器构成,显示成为诊断对象的医用图像以及病例图像,并且显示用于写入诊断结果的报告输入图像等。此外,显示器101最少需要1台,通常在图像诊断中使用2~3台显示器101。在本实施方式中使用2台显示器101,将一台显示器101设为显示器101a,将另一台显示器101设为显示器101b(参照图3)。
图3是2台显示器101a、101b的外观图。在图3中,在显示器101a上,以2行2列的配置显示4个医用图像查看器,在显示器101b上显示病例检索系统300的画面。此外,在将显示器101设为1台的情况下,两个显示画面在1台显示器101的显示画面上分区域显示。
操作部102例如包括键盘以及鼠标,受理由用户对信息终端100输入的各种操作。例如,操作部102受理用户对显示于显示器101的医用图像以及病例图像的操作以及对报告输入画面输入诊断结果的操作等。
输入控制部103在检测到用户对操作部102的操作时,对该操作的内容进行解析,向其他的构成要素通知操作内容。例如,输入控制部103根据从作为操作部102的鼠标输出的坐标数据来检测显示器101上的鼠标光标的位置,使鼠标光标显示在显示器101上。并且,输入控制部103在检测到鼠标被点击时,如果在鼠标光标的显示位置显示有由显示控制部104生成的GUI(Graphical User Interface)控件(例如,GUI按钮),则判定为用户选择了该GUI,向其他的构成要素通知该GUI控件已被用户选择这一情况。
显示控制部104生成信息终端100的GUI并使其显示于显示器101。
ROI管理部105生成表示在进行相似病例检索时对后述的检索查询图像设定的关心区域(Region Of Interest,感兴趣区域)的关心信息并保存于存储器,管理关心信息。
病名列表管理部108生成显示于病例显示区域710(图6)的相似病例的病名列表(图9)并保存于存储器,管理病名列表。
分布列表管理部109生成表示显示于病例显示区域710的相似病例的病变分布的分布列表(图12)并保存于存储器,管理分布列表。
通信控制部110例如包括用于将信息终端100连接于网络400的通信装置,控制信息终端100与医用信息管理系统200间的通信和/或信息终端100与病例检索系统300间的通信。另外,通信控制部110从其他块(block)受理各种数据的发送请求,向医用信息管理系统200或者病例检索系统300进行发送,并且接收从医用信息管理系统200或者病例检索系统300发送来的数据,转发给相应的块。
(医用信息管理系统200)
如图2所示,医用信息管理系统200具备患者信息存储部201、患者信息管理部202、医用图像数据存储部203、医用图像数据管理部204、诊断报告管理部205以及通信控制部206。
患者信息存储部201存储登记了患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息的患者信息1000(图15)。
患者信息管理部202对患者信息存储部201所存储的患者信息1000(图15)执行登记从用户输入的数据来更新患者信息1000的处理以及将患者信息1000输出到显示控制部104的处理等,管理患者信息1000。医用图像数据存储部203存储作为患者的检查图像的医用图像数据。
医用图像数据管理部204将医用图像数据存储于医用图像数据存储部203,管理医用图像数据。
诊断报告管理部205管理表示医生针对对患者进行的各检查的诊断结果的诊断报告3000(图18)。
通信控制部206例如包括用于将医用信息管理系统200连接于网络400的通信装置,从其他块受理各种数据的发送请求,向信息终端100或者病例检索系统300进行发送,并且接收从信息终端100或者病例检索系统300发送来的数据,转发给相应的块。
(病例检索系统300)
如图2所示,病例检索系统300具备相似病例数据存储部301、图像特征提取部302、相似病例检索部303以及通信控制部304。
相似病例数据存储部301预先存储登记了从医用信息管理系统200管理的相似病例中的作为相似病例检索的对象数据而选定的许多相似病例中提取出的图像特征、和/或生成的缩略图像等的局限性病变的相似病例数据4000(图19)、弥漫性病变的相似病例数据5000(图20)。
图像特征提取部302提取由从信息终端100的通信控制部110发送来的检索查询图像的关心区域信息确定的区域(关心区域)的图像特征(关心区域的个数为一个的情况)。图像特征提取部302提取从信息终端100的通信控制部110发送来的序列图像的图像特征(未设定关心区域(=关心区域的个数为0个)的情况、或关心区域的个数为两个以上的情况。在变形后的实施方式中,关心区域的面积比例值为预定值以上的情况)。此外,关心区域信息是表示关心区域的指定信息的一例。
在本实施方式中,根据用户输入的关心区域的个数来变更图像特征的提取内容。即,图像特征提取部302在关心区域信息表示一个关心区域的情况下,提取多个种类(多个维度)的预先确定为局限性病变用的图像特征。另外,图像特征提取部302在关心区域信息表示两个以上的关心区域以及关心区域信息未包含关心区域的情况下,提取多个种类(多个维度)的预先确定为弥漫性病变用的图像特征。
相似病例检索部303通过将由图像特征提取部302提取出的图像特征与相似病例数据存储部301所存储的一个以上的相似病例的图像特征分别进行比较来生成相似病例检索结果。
通信控制部304例如由使病例检索系统300连接于网络400的通信装置构成,从其他块受理各种数据的发送请求,向信息终端100或者医用信息管理系统200进行发送,并且接收从信息终端100或者医用信息管理系统200发送来的数据,转发给相应的块。
(安装方式)
图4是表示信息终端100的安装方式的构成例的图。如图4所示,信息终端100具备应用501、OS(Operating System,操作系统)502、存储器503以及未图示的其他硬件。
应用501是用于使个人计算机和/或平板终端作为信息终端100发挥功能的应用软件,通过信息终端100的处理器来执行。信息终端100既可以从计算机可读取的记录介质中读出应用501来安装应用501,也可以通过从网络下载来安装应用501。
在此,应用501包括医用信息管理应用以及相似病例检索应用。医用信息管理应用是用于使信息终端100与医用信息管理系统200协同工作的应用,相似病例检索应用是用于使信息终端100与病例检索系统300协同工作的应用。并且,两个应用相互收发数据,在信息终端100中合并医用信息管理系统200和病例检索系统300提供的服务。
OS502是信息终端100的基本软件,通过信息终端100的处理器来执行。存储器503由信息终端100具备的RAM、ROM等存储装置构成,存储应用501所包含的数据群。
通过信息终端100的处理器执行应用501,实现图2所示的输入控制部103、显示控制部104、ROI管理部105、病名列表管理部108、分布列表管理部109、通信控制部110的功能。
但是,在本实施方式中,信息终端100既可以单独仅安装应用501,也可以以应用501以及OS502的方式安装,还可以以应用501、OS502以及存储器503的方式安装,还可以以应用501、OS502、存储器503以及其他未图示的硬件的方式安装。对于任何安装方式都能够实现本实施方式的信息终端100。
(读片流程~显示画面)
图5是表示在信息终端100刚刚启动了相似病例检索应用之后显示于显示器101a的基本画面K1的一例的图。图5所示的基本画面K1由4个医用图像查看器610~640构成。医用图像通常以DICOM(Digital Imaging and Communication in Medicine,医学数字成像和通信)格式进行记录,医用图像查看器610~640是能够处理DICOM的查看器。在本实施方式中处理的医用图像,设为由DICOM格式的许多断层图像(以下,称为切片图像)构成的胸部CT图像。但是,这只不过是一例,也可以采用其他部位(例如,头部、腹部、腿或者胳膊)的CT图像。
医用图像查看器610~640所显示的胸部CT图像,通过鼠标和/或键盘的操作而切换切片图像。在此,构成胸部CT图像的切片图像例如按从头侧向腹侧的顺序配置。
例如,在医用图像查看器610上定位鼠标光标,当由输入控制部103检测到鼠标滚轮的旋转时,显示控制部104根据所检测到的旋转量来切换医用图像查看器610所显示的切片图像。在此,例如若在医用图像查看器610上鼠标滚轮向鼠标的后方侧旋转一下,则显示控制部104将显示中的切片图像切换为下一个切片位置的切片图像。另一方面,例如若在医用图像查看器610上鼠标滚轮向鼠标的前方侧旋转一下,则显示控制部104将显示中的切片图像切换为前一个切片位置的切片图像。由此,医生等用户一边使鼠标滚轮向前方侧或者后方侧旋转,一边适当地切换医用图像查看器610所显示的切片图像,搜索所希望的切片图像。
此外,作为医用图像,也可以取代胸部CT图像而采用MRI(Magnetic ResonanceImaging)图像。另外,在图5的例子中,医用图像查看器的个数设为了4个,但这只不过是一例,也可以采用6个或8个等其他的个数。当医用图像查看器的个数增多时能够同时比较的图像增多,但每个图像的显示面积会缩小。因此,采用该个数能够根据显示器101a的显示尺寸而适当变更的构成即可。在此,医用图像查看器的个数设为用户或者管理者能够自如变更的个数。
在相似病例检索应用被启动之前,在显示器101a的整个区域显示某患者的胸部CT图像的切片图像。并且,在该状态下,当通过读片者等用户启动了相似病例检索应用时,在医用图像查看器610上显示在显示器101a的整个区域显示过的切片图像。
也即,当用户启动了相似病例检索应用时,在医用图像查看器610上初始显示在显示器101a的整个区域显示过的检索查询图像。此外,显示控制部104也可以在检索查询图像上重叠显示进行相似病例检索的对象的关心区域(ROI:Region Of Interest)。检索查询图像是读片对象的医用图像即对象医用图像的一例。这里的关心区域意味着在显示于医用图像查看器610的医用图像中由四边形包围的区域。换言之,关心区域是由四边形包围的连续区域。此外,关心区域也可以显示为在医用图像中由圆形或多边形包围的区域。不取决于包围关心区域的形状,只要是可区分关心区域与其他区域的显示即可。
在图5中,在其他的医用图像查看器620~640上都没有显示任何图像,但在成为诊断对象的患者的检查图像存在多个、并在相似病例检索应用启动之前在显示器101a上显示了多个检查图像的情况下,显示控制部104在医用图像查看器620~640直接显示该多个检查图像即可。
图6是表示在对检索查询图像设定了一个关心区域时、通过信息终端100刚刚启动了相似病例检索应用之后显示于显示器101b的基本画面K2的一例的图。图6所示的基本画面K2包括病例显示区域710、病名列表显示区域730以及分布列表显示区域750。病例显示区域710是按相似度顺序来显示与检索查询图像相似的相似病例的缩略图像(横断面图像)的区域。在此,相似病例的缩略图像是相似医用图像的一例。
图7是表示在对检索查询图像设定了两个以上的关心区域时以及未设定关心区域时、通过信息终端100刚刚启动了相似病例检索应用之后显示于显示器101b的基本画面K2的一例的图。图7所示的基本画面K2包括病例显示区域710、病名列表显示区域730。病例显示区域710是按相似度顺序来显示与检索查询图像相似的相似病例的缩略图像(冠状面图像)的区域。在此,相似病例的缩略图像是相似医用图像的一例。
在图6所示的基本画面K2中,作为相似病例的缩略图像,显示有横断面(axial)图像。在图7所示的基本画面K2中,作为相似病例的缩略图像,显示有冠状面(coronal)图像。在此,横断面图像是指与体轴垂直的断面图像。换言之,横断面图像是与用户的身高方向垂直的断面图像。本说明书中的垂直除了与用户的体轴(身高方向)成90度之外还包括图像拍摄时的误差范围。冠状面图像是指将身体分割为前侧和后侧的断面图像。此外,在本说明书中,冠状面图像不仅包括将身体在与左右方向平行的平面上分割成前侧和后侧的情况,还包括倾斜(例如45度左右以内)地进行了分割的图像。换言之,冠状面图像是与相对于用户的身高方向上的轴平行的面具有0度以上~45度以下的角度的断面的图像。在此,与相对于用户的身高方向上的轴平行的面成0度以上~45度以下的角度包含图像拍摄时的误差范围。也即,(0度-图像拍摄时的误差范围)<冠状面图像的断面的角度<45度+图像拍摄时的误差范围。
此外,以下,以横断面图像显示为例来进行说明,但关于冠状面图像显示,在缩略图像的生成处理、病名列表的显示处理中也进行同样的处理。
由于在病例显示区域710显示很多相似病例,所以若当场进行分辨率和/或像素值的变换则处理会花费时间。由此,缩略图像预先根据原始的切片图像制作,并保存于病例检索系统300。
以下,对分辨率和/或像素值的变换稍作补充。原始的切片图像的分辨率为512×512像素,而缩略图像的分辨力较低,因此需要进行分辨率变换。因此,缩略图像是对作为基础的切片图像进行了低分辨率处理以及灰阶变换处理而生成的。
灰阶变换处理例如如下那样来进行。通过CT而取得的切片图像的各像素值(CT值)取-1000~+1000(单位HU:Hounsfield Unit,亨氏单位)的2000灰阶的值,无法直接显示于通常的8位灰阶的显示器。另外,即使能够显示,人也难以通过肉眼在2000灰阶中区分肺气肿区域(CT值:-1000HU)、肺野的正常组织(CT值:约-900HU)、磨砂玻璃影区域(CT值:-800HU)、软组织(CT值:-100~-50HU)、水(CT值:0HU)以及骨(CT值:1000HU)。
由此,通常,切片图像对各像素值设定窗位以及窗宽,重构为8位的像素值并显示于显示器。在此,窗位表示成为窗中心的CT值,窗宽表示窗中心的上下的宽度。
例如,在肺野条件下重构DICOM图像的情况下,窗位被设定为-550~-800,窗宽被设定为1000~1600。因此,缩略图像也通过从作为基础的切片图像经上述的处理将像素值降低到8位来生成。
此外,显示于病例显示区域710的缩略图像,是表示相对于诊断对象病例的特征向量的距离为预定的阈值以下的相似病例的缩略图像。在此,作为距离,例如使用欧几里得距离。此外,作为距离,也可以采用市街区距离等另外的距离尺度。距离越近,成为比较对象的两个图像越相似。另外,特征向量不是从缩略图像获得的向量,而采用从作为源图像的切片图像获得的向量。
图8是将病例显示区域710所显示的某个相似病例的显示区域701截取显示的图。在相似病例的显示区域701显示缩略图像,在该缩略图像的下部,配置有确诊病名显示区域711以及距离显示区域712。在确诊病名显示区域711显示成为对象的相似病例的确诊病名。确诊病名是指对成为对象的相似病例确定了诊断的病名。在距离显示区域712,显示成为对象的相似病例的切片图像的特征向量、和与检索查询图像的特征向量的距离。在图8的例子中,由于在确诊病名显示区域711显示为“非结核性抗酸菌病”,所以该缩略图像表示被确诊为“非结核性抗酸菌病”的相似病例的缩略图像。另外,由于在距离显示区域712显示为“0.05”,所以表示该相似病例的切片图像与检索查询图像的距离为“0.05”。
如图8所示,在相似病例的显示区域701显示的缩略图像,包含对应关心区域CROI。对应关心区域CROI是与设定在检索查询图像(读片对象的医用图像)中的关心区域相当的区域(即与关心区域相似的区域)。此外,以下,对应关心区域也被简称为“关心区域”。
返回到图6,在基本画面K2的例如左上,配置有检索结果件数显示区域713。在检索结果件数显示区域713,显示作为检索处理的结果的、从病例检索系统300取得的与诊断对象病例相似的相似病例的数量。
此外,在相似病例的数量庞大的情况下,病例显示区域710无法一次显示全部相似病例。因此,在病例显示区域710的例如右侧,设置有沿上下方向为长条的滚动条715。显示控制部104根据滚动条715的移动量,使显示在病例显示区域710内的缩略图像沿上下方向滚动显示。由此,用户能够使处于非显示状态的相似病例显示在病例显示区域710,观察该相似病例。
此外,滚动条715也可以是沿左右方向为长条。该情况下,显示控制部104根据滚动条715的移动量使显示在病例显示区域710内的缩略图像沿左右方向滚动显示即可。或者,也可以:在病例显示区域710定位了鼠标光标的状态下,当按压键盘的方向键时,显示控制部104在按着键的期间,使显示在病例显示区域710内的缩略图像向按着的键的方向滚动显示。
此外,信息终端100从病例检索系统300取得了与检索查询图像的距离为预定的阈值以下的缩略图像,但这只不过是一例。例如,信息终端100也可以从病例检索系统300按相似度从高到低的顺序始终取得一定数的缩略图像。或者,信息终端100也可以以使得始终包含一定数的某确诊病名的缩略图像的方式从病例检索系统300取得缩略图像。
此外,作为病例显示区域710中的缩略图像的显示方法,例如可以采用如下的显示方法:在最上部的行的左端显示与检索查询图像的距离最短的缩略图像,以随着向右侧而距离依次增大的方式显示缩略图像,当到达同一行的右端时,在从上起第2行的左端显示接下来距离大的缩略图像。也即,可以采用如下的显示方法:在病例显示区域710,以从左上向右下蜿蜒行进的方式按距离从小到大的顺序显示缩略图像。
当然,本实施方式也可以采用其他的显示方法。例如,也可以采用如下的显示方法:在从左起第1列的上端显示距离最短的缩略图像,以随着向下侧而距离依次增大的方式显示缩略图像,当到达同一列的下端时,在从左起第2列的上端显示接下来距离大的缩略图像。另外,也可以采用能够由用户切换该多个显示方法的构成。
另外,在上述的例子中,作为相似度采用了距离,但只要是表示余弦相似度这样的图像彼此的相似性的指标,采用什么样的指标都可以。在采用了余弦相似度的情况下,值越接近1,成为比较对象的两个图像的相似性越高。
此外,虽然详细内容在后面叙述,但在病例显示区域710进行显示的相似病例,能够通过显示在病名列表显示区域730的病名和/或显示在分布列表显示区域750的病变分布来进行筛选。当前设定的相似病例的筛选条件显示在显示条件显示区域714。在图6的例子中,为刚进行相似病例检索之后的状态,没有进行任何筛选,因此在显示条件显示区域714显示为“全部疾病”。
(病名列表)
返回到图6,基本画面K2的左侧的上部,配置有标着“病名列表”这一标题的病名列表显示区域730。在病名列表显示区域730,显示作为相似病例的检索结果而取得的全部相似病例的确诊病名。诊断对象病例在诊断结束而赋予了确诊病名之后作为相似病例存储在病例检索系统300中。因此,对各相似病例分别预先赋予通过诊断而赋予的确诊病名。
图9是病名列表显示区域730的放大图。在图9中,确诊病名分成大分类的病名(731,734,737,741,744)和详细分类的病名(732,733,735,736,738,739,740,742,743,745)而显示。在图6的例子中,作为大分类的病名,显示有真菌病731(mycosis)、肿瘤性734(neoplastic)、非肿瘤性737(nonneoplastic)、分支杆菌病741(mycobacteriosis)以及其他744。
另外,在图9的例子中,作为真菌病731的详细分类的病名,显示有曲霉病732(aspergillosis)、隐球菌病733(cryptococcosis)。另外,作为肿瘤性734的详细分类的病名,显示有原发性肺癌735(lungcancer)、转移性肺癌736(metastaticlungcancer)。另外,作为非肿瘤性737的详细分类的病名,显示有肺脓肿738(lung abscess)、结节病739(sarcoidosis)、败血性血栓740(septic emboli)。另外,作为分支杆菌病741的详细分类的病名,显示有非结核性抗酸菌病742(NTM:nontuberculous mycobacteria)、肺结核743(tuberculosis)。另外,作为其他744的详细分类的病名,显示有支气管扩张病745(bronchiectasis)。
另外,在大分类的病名以及详细分类的病名的旁边,显示有该病名的病例数。用户通过选择该病名列表显示区域730中的大分类的病名或详细分类的病名的任意行,能够筛选病例显示区域710所显示的相似病例。在如图6所示刚刚进行相似病例的检索之后的状态下,包括多种疾病的62个相似病例成为了显示对象,但在用鼠标点击了图9的真菌病731的行的情况下,显示控制部104如图10所示仅将真菌病的相似病例显示于病例显示区域710。另外,在用鼠标点击了图9的转移性肺癌736的行的情况下,显示控制部104如图11所示仅将转移性肺癌的相似病例显示于病例显示区域710。
此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例是以何种筛选条件进行的筛选的方式,在显示条件显示区域714显示进行了筛选的病名。
图10是表示以“真菌病”筛选了相似病例时的基本画面K2的图。图11是表示以“转移性肺癌”筛选了相似病例时的基本画面K2的图。
在图10的例子中,由于以“真菌病”实施了筛选,所以在显示条件显示区域714显示为“真菌病”,在图11的例子中,由于以“转移性肺癌”实施了筛选,所以在显示条件显示区域714显示为“转移性肺癌”。
另外,此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例的件数的方式,在检索结果件数显示区域713显示该件数。在图10的例子中,由于符合“真菌病”的相似病例为14件,所以在检索结果件数显示区域713显示为14件,在图11的例子中,由于符合“转移性肺癌”的相似病例为3件,所以在检索结果件数显示区域713显示为3件。
通过该功能,作为图像诊断的对象而仅医生设想的病名的相似病例显示于病例显示区域710,医生能够容易地确认诊断对象病例是否与所设想的病名不发生矛盾。
在图10中,在最大显示件数ND(本实施方式中,ND=20)的病例显示区域710显示有M个(图10中,M=14)相似病例的缩略图像。
(病变分布)
在图6所示的基本画面K2的左侧的中部,配置有标着“病变分布”这一标题的分布列表显示区域750。在分布列表显示区域750,显示作为检索了相似病例的结果的、从病例检索系统300取得的全部相似病例的病变分布的种类。
图12是分布列表显示区域750的放大图。在图12的例子中,显示有7个病变分布的名称,在各病变分布的名称的左侧配置有复选框。在图12的例子中,作为病变分布,显示有弥漫性751(diffuse)、区域性752(segmental)、气道性753(bronchial)、两侧性754(bilateral)、多发性755(multiple)、胸膜下756(subpleural)以及血行性757(hematogenous)。
这些病变分布被预先定义,对各相似病例预先赋予表示符合弥漫性751~血行性757的哪个的分布标记值(符合:1,不符合:0)。根据相似病例,有时全部分布标记值被设定为不符合(:0),也有时多个分布标记值被设定为符合(:1)。
本实施方式的病例检索系统300针对用户对诊断对象病例的切片图像设定的关心区域,检索具有相似的关心区域的相似病例。有时在用户设定了关心区域的切片图像以外也存在病变。并且,用户在以设定了关心区域的切片图像检索了相似病例之后,有时也希望对该切片图像以外的切片图像与所检索出的相似病例进行比较。该情况下,用户在医用图像查看器610中输入切片切换的操作来显示其他的切片图像,进行与所检索出的相似病例比较的作业。该情况下,如果所检索出的全部相似病例中的仅与关注的病变关联的相似病例显示在病例显示区域710,则能够顺畅地进行从设定了关心区域的切片图像以外的切片图像中提取具有所希望的病变的切片图像的作业。因此,在本实施方式中,为了更顺畅地进行该作业,设有以所希望的病变分布对所检索出的相似病例进行筛选的功能。
在本实施方式中,作为肺野区域内的病变分布,采用了图12的由弥漫性751~血行性757所示的病变分布。另外,如图12所示,关于复选框以及病名分布的名称,显示控制部104将能够筛选的病变分布以激活状态进行显示,将不能筛选的病变分布以非激活状态进行显示。在此,作为激活状态,采用辉度比非激活状态高的状态,作为非激活状态,采用辉度比激活状态低的状态。
在图12的例子中,弥漫性751、气道性753~血行性757以激活状态显示,区域性752以非激活状态显示。这是因为:在当前通过相似病例的检索而取得的全部相似病例中的至少任一个相似病例中弥漫性751、气道性753~血行性757的分布标记值被设定为1(符合),在所取得的全部相似病例中的任何相似病例中区域性752的分布标记值都被设定为0(不符合)。
当输入控制部103检测到在激活状态的复选框中的一个以上的复选框输入了复选标记时,显示控制部104仅使符合被输入复选标记的病变条件的相似病例显示于病例显示区域710。
此外,关于区域性752,作为检索结果而取得的相似病例的任何相似病例中分布标记值都被设定为0(不符合)。因此,若采用在区域性752能够输入复选标记的构成,则在该病变分布输入了复选标记的情况下,在病例显示区域710不会显示任何相似病例,输入复选标记就失去了意义。因此,在本实施方式中,为了避免这种情况,在作为检索结果而取得的相似病例的任何相似病例中分布标记值都为0(不符合)的病变分布,以非激活状态进行显示。
图13是表示在两侧性754的复选框输入了复选标记的分布列表显示区域750的图。图14是表示以两侧性的病变分布实施了筛选的基本画面K2的图。如图13所示,在向两侧性754的复选框输入了复选标记的情况下,显示控制部104如图14所示,仅将具有两侧性的病变分布的相似病例显示于病例显示区域710。在该例中,具有两侧性的病变分布的相似病例为10件。因此,显示控制部104在检索结果件数显示区域713显示为“10件”。另外,显示控制部104在显示条件显示区域714显示显示对象的病名和作为病变分布的名称的“两侧性”。在图14的例子中,由于没有实施基于病名列表显示区域730所列举的病名的筛选,所以在显示条件显示区域714显示为“全部疾病”。
(患者信息1000)
图15是表示患者信息1000的数据结构的图。患者信息1000通过医用信息管理系统200中的患者信息管理部202按患者存储于患者信息存储部201来管理。在患者信息1000中登记有患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息。如图15所示,患者信息1000包括患者ID1100、姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600、主诉1700、检查信息1800以及确诊1900。
患者ID1100是患者固有的标识符。姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600以及主诉1700分别是患者ID1100的患者的姓名、年龄、性别、既往病史、家族病史以及主诉。检查信息1800如图16所示,表示与该患者过去接受的1次以上的检查相关的信息。
图16是表示登记在图15所示的患者信息1000中的检查信息1800的数据结构的图。检查信息1800是与对患者进行的检查相关的信息,对应于每个检查而逐个制作。检查信息1800包括检查ID1810、检查日期时间1820、检查类型1830以及检查结果1840。检查ID1810是检查固有的标识符。检查日期时间1820是进行了检查的日期时间。检查类型1830是检查的种类。作为检查的种类,例如有血液检查、呼吸功能检查、内窥镜检查、普通X射线拍摄、CT拍摄等。
如果是血液检查,则检查结果1840适用白血球数、LDH以及GPT等各种指标的值。另外,检查结果1840也适用医生基于各种指标所作出的判断等。另外,如果是普通X射线拍摄、CT拍摄等图像检查,则包含指向所拍摄的图像的指针信息和/或指向图像诊断结果的报告的指针信息。此外,通过检查而拍摄到的图像,以DICOM的格式存储在医用信息管理系统200的医用图像数据存储部203中。
另外,在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,它们的医用图像数据存储在医用信息管理系统200的医用图像数据存储部203存储的医用图像数据库2000中。
图17是表示医用图像数据库2000的数据结构的图。医用图像数据库2000具有检查ID1810以及序列(series)ID2100。因为有时一次检查进行多种拍摄(例如,普通CT和造影CT等),所以有时相对于一个检查ID1810关联有多个序列ID2100。也即,获得与拍摄的种类相应的个数的序列。
另外,对于序列,除了可以按拍摄的种类而获得以外,也可以按所拍摄到的图像的重构条件而获得。例如,在所拍摄到的图像以肺野条件以及纵膈条件进行了重构的情况下,按这些条件的每个条件获得一个序列。此外,以肺野条件进行了重构的图像,强调显示肺中的血管、支气管以及肺泡等。另外,以纵膈条件进行了重构的图像,强调显示血管和/或淋巴结等的纵膈。由于肺野条件以及纵膈条件通过对由一次拍摄得到的图像进行重构而获得,所以在通过普通CT和造影CT进行两次拍摄、对于该两次拍摄分别以肺野条件以及纵膈条件重构了图像的情况下,获得两个肺野条件的序列,并获得两个纵膈条件的序列。
在CT以及MRI的图像检查的情况下,因为通过一次拍摄而取得多个切片图像,所以对一个序列ID2100关联有多个切片ID2200。由于对图17的检查ID“13227989”关联有两个序列ID“CT149123”、“CT149124”,所以可知从该检查获得两个序列的CT图像。另外,可知对序列ID“CT149123”、“CT149124”分别关联有多个切片ID2200。
在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,在医用信息管理系统200的诊断报告管理部205中存储图18所示那样的诊断报告3000。在诊断报告3000中登记有医生对于各检查的诊断结果。
图18是表示诊断报告3000的数据结构的图。诊断报告3000包括检查ID1810、观察结果3100以及诊断3200。检查ID1810与图17中所示的检查ID1810相同。由此,诊断报告3000与检查信息1800关联。观察结果3100登记有表示医生对于检查的观察结果的语句。诊断3200登记有表示医生对于检查的诊断的语句。
图19是表示局限性病变的相似病例数据4000的数据结构的图。局限性病变的相似病例数据4000是在检索与诊断对象病例相似的相似病例时参照的数据,对应于一个相似病例逐个制作。此外,局限性病变的相似病例数据4000是相似病例数据的附加信息的一例。相似病例数据4000在病例检索系统300的相似病例数据存储部301中按各个相似病例进行存储。如图19所示,局限性病变的相似病例数据4000包括相似病例ID4100、切片ID4200、关心区域信息4300、图像特征数据4400、缩略图像数据4500、病变分布信息4600、确诊(大分类病名)4700以及确诊(详细分类病名)4800。
相似病例ID4100是局限性病变的相似病例数据4000的标识符。在局限性病变的情况下,由于按对相似病例的切片图像设定的关心区域而生成一个相似病例数据,所以相似病例ID4100也可以说是关心区域的标识符。在图19的例子中,相似病例ID4100通过由“SIM”和之后的编号构成的符号串构成。
切片ID4200是设定了关心区域的切片图像的标识符,与图17所示的切片ID2200相同。关心区域信息4300是表示对切片图像设定的关心区域的位置的信息。在切片图像中,如使用图8说明的那样设定有关心区域。在图8的例子中,关心区域设定成矩形状。因此,关心区域信息4300由关心区域的左上的顶点的坐标和右下的顶点的坐标的4个值构成。当然,关心区域也可以是矩形以外的形状,该情况下,采用能够唯一确定区域的参数作为关心区域信息4300。例如,如果关心区域为圆形,则采用圆的中心坐标和半径作为关心区域信息4300。
图像特征数据4400是从由关心区域信息4300定义的关心区域提取的预定维度(在此为N1维度)的特征值。缩略图像数据4500是基于由切片ID确定的DICOM格式的切片图像,为了显示于病例显示区域710而生成的缩略图像的图像数据。在此,缩略图像数据4500例如从缩略图像的左上的顶点向右下的顶点按光栅扫描的顺序配置缩略图像的像素值。前面进行了说明,通过CT检查而得到的DICOM图像是512×512像素的11位(像素值:-1000~+1000)图像。因此,在本实施方式中,为了使缩略图像的显示高速化,预先对作为缩略图像的根源的DICOM图像进行低分辨率处理以及灰阶变换处理来制作具有8位像素值的缩略图像,登记在相似病例数据4000中。局限性病变的相似病例数据4000的缩略图像数据4500是图6所示那样的横断面图像。
此外,缩略图像的制作,例如既可以由医用信息管理系统200制作并发送到病例检索系统300,也可以由病例检索系统300从医用信息管理系统200取得DICOM图像来制作。
病变分布信息4600是表示成为对象的相似病例符合预先设定的由弥漫性4610~血行性4670表示的病变分布的哪一个的分布标记值(1:符合,0:不符合)。
确诊(大分类病名)4700是对成为对象的相似病例确定的大分类的病名。确诊(大分类名)4700在以大分类的病名筛选相似病例时使用。
确诊(详细分类病名)4800是对成为对象的相似病例确定的详细分类的病名。确诊(详细分类病名)4800在以小分类的病名筛选相似病例时使用。
对于确诊(大分类病名)4700,预先定义了相对于确诊(详细分类病名)4800唯一对应的大分类病名,使用该对应关系保存于相似病例数据4000。
对于确诊(详细分类病名)4800,在医用图像数据存储部203中根据图17所示的切片ID2200来确定序列ID2100。并且,根据所确定出的序列ID,在患者信息存储部201中确定检查ID1810,根据检查ID1810来确定对应的患者信息1000(图15),根据所确定出的患者信息1000来确定该患者的确诊1900。
图20是表示弥漫性病变的相似病例数据5000的数据结构的图。弥漫性病变的相似病例数据5000是在检索与诊断对象病例相似的相似病例时参照的数据,对应于一个相似病例逐个制作。此外,弥漫性病变的相似病例数据5000是相似病例数据的附加信息的一例。弥漫性病变的相似病例数据5000在病例检索系统300的相似病例数据存储部301中按各个相似病例进行存储。如图20所示,弥漫性病变的相似病例数据5000包括相似病例ID5100、序列ID5200、图像特征数据5300、缩略图像数据5400、确诊(大分类病名)5500以及确诊(详细分类病名)5600。
相似病例ID5100是弥漫性病变的相似病例数据5000的标识符。在弥漫性病变的情况下,按各个序列生成一个相似病例数据,因此相似病例ID5100也可以说是序列的标识符。在图20的例子中,相似病例ID5100通过由“SIM”和之后的编号构成的符号串构成。
序列ID5200是设定了病变区域的序列图像的标识符,与图17所示的序列ID2100相同。
图像特征数据5300是从序列ID5200的图像中提取出的整个脏器的预定维度(在此为N2维度)的特征值。此外,图像特征数据5300的维数N2既可以与图像特征数据4400的维数N1相同也可以不同。
缩略图像数据5400是基于由序列ID确定的DICOM格式的切片图像,为了显示于病例显示区域710而生成的缩略图像的图像数据。在此,缩略图像数据5400例如按从图像的左上的顶点向右下的顶点的光栅扫描顺序配置有像素值。与缩略图像数据4500同样,在本实施方式中,为了使缩略图像的显示高速化,预先对作为缩略图像的根源的DICOM图像进行低分辨率处理以及灰阶变换处理来制作具有8位像素值的缩略图像,登记在相似病例数据4000中。弥漫性病变的相似病例数据5000的缩略图像数据5400是图7所示那样的冠状面图像。
此外,缩略图像的制作例如既可以由医用信息管理系统200制作并发送到病例检索系统300,也可以由病例检索系统300从医用信息管理系统200取得DICOM图像来制作。
确诊(大分类病名)5500与图19的确诊(大分类病名)4700同样,确诊(详细分类病名)5600与图19的确诊(详细分类病名)4800同样。
此外,对于弥漫性病变,由于整个脏器的病变成为问题,所以图像特征数据5300是整个脏器的特征值。因此,对于弥漫性病变,不设定关心区域。因此,如图20所示,弥漫性病变的相似病例数据5000不同于局限性病变的相似病例数据4000,不包含关心区域信息。
(处理流程)
接着,说明信息终端100与医用信息管理系统200和病例检索系统300协同工作而从读片作业开始起到开始相似病例检索为止的流程。
图22是表示在用户设定了一个关心区域的情况下信息终端100从医用信息管理系统200取得了诊断对象病例之后,对病例检索系统300进行相似病例检索的请求,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。此外,在图22中,时序图的左侧所示的2列的矩形表示通过相应的步骤的处理而显示于显示器101a、101b的画面。另外,在图22中,信息终端的“A”表示医用信息管理应用,“B”表示相似病例检索应用。设为在该时序开始前预先启动了医用信息管理应用。
首先,信息终端100通过操作部102受理用户(进行读片的医生)的成为读片对象的检查列表的显示请求,通过输入控制部103以及通信控制部110,向医用信息管理系统200的通信控制部206发送检查列表的显示请求(S510)。
医用信息管理系统200的患者信息管理部202在实施了图像检查后使未结束读片的检查列表化,生成成为读片对象的检查列表。然后,患者信息管理部202通过通信控制部206,将所生成的检查列表发送到信息终端100的通信控制部110(S520)。在此,在检查列表中包括相应患者的患者信息1000以及检查信息1800。
信息终端100的显示控制部104将由通信控制部110接收到的检查列表显示于显示器101(S530)。
该情况下,在显示器101a显示检查列表,在显示器101b没有任何显示。
图23是检查列表的画面图。检查列表包括表示未结束读片的检查的区域800和表示与检查所包含的序列相关的信息的区域810。在区域800,设有“患者ID”、“患者姓名”、“检查日期时间”、“检查ID”以及“检查类型”的栏。在“患者ID”、“患者姓名”的栏,显示登记在患者信息1000中的患者ID1100以及姓名1200,在“检查日期时间”、“检查ID”以及“检查类型”的栏,显示登记在检查信息1800中的检查日期时间1820、检查ID1810以及检查类型1830。区域810是用于显示用户在区域800选择出的检查的详细内容的区域,设有“序列ID”、“定义”以及“图像”的栏。在此,由于在区域800中用户没有选择检查(与行对应),所以在区域810没有任何显示。
用户从区域800所显示的检查中选择现在开始进行读片的检查。当由输入控制部103检测到该选择时,如图22所示,通信控制部110将选择出的检查的检查ID所包含的全部序列的显示请求发送给医用信息管理系统200(S540)。
当医用信息管理系统200的通信控制部206接收到该显示请求时,患者信息管理部202参照图17所示的医用图像数据库2000,取得显示请求所指定的检查ID所包含的全部序列的全部切片图像,通过通信控制部206发送到信息终端100(S550)。例如,在图17的例子中,当由用户选择了检查ID“13227989”的检查时,在S550中发送序列ID“CT149123”、“CT149124”的序列所包含的全部切片图像。
当信息终端100的通信控制部110取得全部序列的图像时,显示控制部104将对与指定的检查ID所包含的全部序列相关的信息进行一览显示的序列列表显示于区域810(S560)。
该情况下,在显示器101a所显示的检查列表的区域810,显示与在区域800选择出的检查对应的序列的序列列表,在显示器101b没有任何显示。
图24是选择了检查之后的检查列表的画面图。对在图24的区域800中选择出的行的背景标亮。在图24的例子中,在区域800中,选择了第2行的“巴拿太郎”的检查。因此,在区域810,显示关于所选择出的检查的“序列ID”、“定义”以及“图像”。在此,在“序列ID”的栏,显示在医用图像数据库2000中与所选择出的检查的检查ID关联的序列ID,在“图像”的栏显示代表所显示的序列ID的一张切片图像的缩略图像。在此,作为代表序列ID的一张切片图像,采用预定的切片位置的图像。作为预定的切片位置,既可以是开头的切片位置,也可以是中央的切片位置。“定义”表示与相应的序列对应的拍摄条件和/或重构的条件。对于该“定义”,虽然省略了图示,但例如可在图17的医用图像数据库2000中与序列ID关联地进行登记。
当在区域810中由用户选择读片对象的序列,并由输入控制部103检测到该选择时,显示控制部104如图25所示那样将所选择出的序列的开头的切片图像显示于显示器101a(S570)。
图25是表示由用户选择了序列时显示于显示器101a的切片图像的图。图25是表示胸部CT拍摄的开头切片的图,是比肺尖部稍稍偏向头方向的肩位置的切片图像。在此,显示控制部104将所选择出的序列的全部切片图像以能够切换序列的状态显示于显示器101a。此外,在显示器101b没有任何显示。例如,通过用户在显示器101a上定位鼠标光标并输入使鼠标滚轮旋转的切换切片的操作,输入控制部103检测到该操作。于是,显示控制部104根据鼠标滚轮的旋转量,将显示在显示器101a的切片图像切换为其他的切片位置的切片图像。用户一边输入切换切片的操作,一边进行图像诊断。然后,用户在对图像诊断产生疑惑的情况下,启动相似病例检索应用。
在此,相似病例检索应用既可以在操作部102的键盘输入预先设定的快捷键来启动,也可以通过鼠标的右键点击来显示医用图像查看器的菜单,从该菜单中指定相似病例检索菜单来启动。当指示了相似病例检索应用的启动时,信息终端100的管理交付给ROI管理部105,信息终端100成为等待接收关心区域(ROI)的等待状态。
图26是表示由用户启动了相似病例检索应用时显示于显示器101a的切片图像的图。图26是从图25的开头切片的切片图像切换了切片后的切片位置的切片图像。用户通过操作部102对显示于显示器101a的切片图像上的病变设定一个关心区域(ROI)(S580)。在此,如图26所示,用户例如左键点击鼠标来输入切片图像3101中的关心区域ROI的左上的顶点的坐标。并且,用户通过在左键点击的状态下向右斜下方向拖拽鼠标并解除左键点击来输入关心区域ROI的右下的顶点即可。
当输入控制部103检测到设定关心区域的操作时,ROI管理部105从输入控制部103受理关心区域的左上以及右下的顶点的坐标数据,生成所受理的坐标数据作为关心区域信息。然后,ROI管理部105将所生成的关心区域信息发送到通信控制部110(S590)。ROI管理部105也可以生成关心区域的数量的信息(在本例中,关心区域的个数=一个),并使关心区域的数量的信息包含于关心区域信息。
同时,因为用户输入的关心区域的个数为一个,所以ROI管理部105将诊断对象病例的切片图像发送到通信控制部110(S600)。
接着,通信控制部110受理从ROI管理部105发送的关心区域信息,并发送到病例检索系统300的通信控制部304(S601)。
同时,通信控制部110受理从ROI管理部105发送的切片图像,并发送到病例检索系统300的通信控制部304(S602)。
在此,在S600、S601中,设为了发送切片图像本身,但也可以仅发送切片图像的切片ID。该情况下,接收到切片ID的病例检索系统300指定该切片ID来从医用信息管理系统200取得相应的图像即可。
因为在S580中用户设定了一个关心区域,所以可以解释为用户意图检索如图26所示那样病变部集中在一个部位的局限性病变。
图44是表示在用户未设定关心区域的情况或设定了两个以上的关心区域的情况下信息终端100从医用信息管理系统200取得了诊断对象病例之后,对病例检索系统300进行相似病例检索的请求,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。
图44的S510~S570与图22的S510~S570相同。在S570中所选择出的序列的开头的切片图像显示于显示器101a之后,用户启动相似病例检索应用或通过操作部102如图21所示那样对显示于显示器101a的切片图像上的病变设定两个以上的关心区域(ROI)(S571)。
图21是示意性表示对检索查询图像的切片图像3101设定的两个关心区域的图。在检索查询图像的切片图像3101中存在两个以上的病变的情况下,用户设定多个关心区域。在图21的例子中,两个关心区域分别被设定成矩形状。因此,左侧的关心区域由左上的顶点的坐标(xl1,yt1)和右下的顶点的坐标(xr1,yb1)这4个值表示,右侧的关心区域由左上的顶点的坐标(xl2,yt2)和右下的顶点的坐标(xr2,yb2)这4个值表示。
返回到图44,当输入控制部103检测到设定关心区域的操作时,ROI管理部105从输入控制部103受理关心区域的顶点的坐标数据(在图21的例子中为与两个ROI相关的坐标数据,即4个坐标数据),生成所受理的坐标数据来作为关心区域信息。然后,ROI管理部105将生成的关心区域信息发送给通信控制部110(S576)。ROI管理部105也可以生成关心区域的数量的信息(在图21的例子中,关心区域的个数=两个),使关心区域的数量的信息包含于关心区域信息。
此外,当输入控制部103检测到用户未设定关心区域时,ROI管理部105生成表示未设定关心区域这一情况的关心区域信息。ROI管理部105也可以生成关心区域的数量的信息(在本例中,关心区域的个数=0个),使关心区域的数量的信息包含于关心区域信息。“表示未设定关心区域这一情况的关心区域信息”也可以是表示“关心区域的个数=0个”的信息。
“用户未设定关心区域”的检测,可以是如下情况:从通过S570的处理在显示器101a开始显示检索查询图像的切片图像起经过预定的时间、例如1分钟为止,输入控制部103未检测到设定关心区域的操作。
“用户未设定关心区域”的检测,也可以是如下情况:在显示器101a显示由显示控制部104生成的表示“未设定关心区域”之意的GUI按钮,检测用户使用鼠标选择表示“未设定关心区域”之意的GUI按钮的操作。
接着,ROI管理部105在输入控制部103检测到设定多个关心区域的操作时,将诊断对象病例的序列图像发送给通信控制部110(S572)。
接着,通信控制部110受理从ROI管理部105发送来的关心区域信息,并发送给病例检索系统300的通信控制部304(S577)。
接着,通信控制部110受理从ROI管理部105发送来的序列图像,并发送给病例检索系统300的通信控制部304(S573)。
因为在S571中用户未设定关心区域或设定了两个以上的关心区域,所以可以解释为用户意图检索如图7所示那样病变部大范围地分布的弥漫性病变。
在此,与图22同样地,在S572、S573中,设为了发送序列图像本身,但也可以如图45所示那样仅发送序列图像的序列ID。
图45是表示与图44不同的例子的时序图。此外,图45的S510~S570与图22的S510~S570相同。
在继S570之后的S574中,ROI管理部105将诊断对象病例的序列图像的序列ID发送给通信控制部110。在S575中,通信控制部110受理从ROI管理部105发送来的序列ID,并发送给病例检索系统300的通信控制部304。
在图45的情况下,接收到序列ID的病例检索系统300指定该序列ID来从医用信息管理系统200取得相应的图像即可。在图45中,最先将在S530、S540中有可能由用户选择为读片对象(诊断对象病例)的序列图像、即全部的未读片的序列图像从医用信息管理系统200发送给病例检索系统300(S501)。然后,事先从该序列图像中提取弥漫性病变的图像特征(S502)。由此,在图45中,能够缩短从序列ID的指定(S575)到检索为止的时间。
(相似病例检索流程)
接着,说明病例检索系统300进行相似病例检索,直到信息终端100初始显示相似病例检索结果为止的处理。
图27是表示病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端100为止的处理的时序图。图28是表示图27的S610的处理的一例的流程图。图29是表示图27的S620的处理的一例的流程图。
病例检索系统300的图像特征提取部302从检索查询图像中提取预先设定的多个维度的图像特征(S610)。此时,如图28所示,图像特征提取部302判定关心区域的个数是否为一个(S611)。在关心区域的个数为一个的情况下(S611:是),图像特征提取部302从设定于检索查询图像的关心区域中提取与局限性病变相关的关心区域的图像特征(S613)。另一方面,在关心区域的个数为0或两个以上的情况下(S611:否),图像特征提取部302从诊断对象病例(读片对象)的序列图像中提取与弥漫性病变相关的整个脏器的图像特征(S612)。
作为“图像特征”,可以采用医用图像中的与脏器或病变部分的形状相关的图像特征、或者与辉度分布相关的图像特征等。例如,在非专利文献:“根本,清水,萩原,小畑,绳野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案(基于从大量特征量进行的特征选择的乳房X射线像上的肿瘤影辨别精度的改善和高速的特征选择法的提案)”、电子信息通信学会论文志D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”中,记载了使用490维的图像特征。在本实施方式中,例如采用该非专利文献所记载的图像特征。但是,这只不过是一例,也可以采用其他的图像特征。
相似病例检索部303对由图像特征提取部302提取出的诊断对象病例(读片对象)的图像特征与相似病例数据存储部301所存储的各相似病例的图像特征进行比较(S620)。在此,如图29所示,相似病例检索部303判定关心区域的个数是否为一个(S621)。在关心区域的个数为一个的情况下(S621:是),通过算出从设定于检索查询图像的关心区域提取出的关心区域的图像特征数据与在相似病例数据存储部301中按相似病例存储的局限性病变的相似病例数据4000(图19)所登记的图像特征数据4400之间的距离,对两个图像特征进行比较(S623)。
另一方面,在关心区域的个数为0或两个以上的情况下(S621:否),通过算出从诊断对象病例(读片对象)的序列图像中提取出的整个脏器的图像特征数据与在相似病例数据存储部301中按相似病例存储的弥漫性病变的相似病例数据5000(图20)所登记的图像特征数据5300之间的距离,对两个图像特征进行比较(S622)。
接着,相似病例检索部303对距离为预定的阈值以下的相似病例按距离从小到大的顺序进行排序,并决定为发送对象的相似病例(S630)。接着,通信控制部304将决定为发送对象的相似病例的相似病例数据进行发送(S640)。
接着,使用在S640中发送的相似病例数据,显示控制部104生成显示了相似病例检索结果的初始的基本画面K2(S670)。
此时,如果用户输入的关心区域的个数为一个,则在显示器101b上显示图6所示那样的相似病例的横断面图像作为基本画面K2。另一方面,如果用户输入的关心区域的个数为两个以上,则在显示器101b上显示图7所示那样的相似病例的冠状面图像作为基本画面K2。另外,在显示器101a上显示有检索查询图像。
此外,如图45所示,在事先提取了弥漫性病变的图像特征的情况下,可以省略图28的S612。
(相似病例检索结果显示流程)
图30是表示图27的S670所示的生成初始的基本画面K2的处理的详细内容的流程图。
首先,在S1000中,显示控制部104对在图27的S640中接收到的相似病例的数量进行计数,将计数值显示于检索结果件数显示区域713。
接着,在S1100中,显示控制部104在显示条件显示区域714显示为“全部疾病”。在此,显示为“全部疾病”是因为在初始的基本画面K2中用户没有实施以病名和/或病变分布的筛选。
接着,在S1200中,显示控制部104按在图27的S640中接收到的相似病例中的在病例显示区域710能够显示缩略图像的相似病例的件数,将相似病例的缩略图像显示于病例显示区域710,并且与各缩略图像关联地显示确诊以及相似度。
能够显示在病例显示区域710的相似病例的件数的最大值ND在图7的例子中为20。该最大值ND被预先设定。另外,也可以设为该最大值ND能够由用户自如变更的构成。在图27的S640中接收到的相似病例的数量比最大值ND多的情况下,显示控制部104在病例显示区域710的右端显示沿纵向为长条的滚动条715。由此,用户使滚动条715移动,能够阅览在初始的基本画面K2非显示的相似病例的缩略图像。
接着,在S1300中,生成病名列表并显示。首先,根据在图27的S640中接收到的相似病例,生成病名列表。病名列表是按确诊病名对在S640中接收到的相似病例进行了分类而得到的列表。
在此,在S640中接收到的相似病例的件数设为NC件。病名列表管理部108使用在NC件相似病例数据4000分别登记的确诊(大分类病名)4700以及确诊(详细分类病名)4800,生成病名列表。所生成的病名列表,如图31所示那样作为表形式的数据由病名列表管理部108进行管理。
图31是表示在图30的S1300中生成的病名列表的数据结构的图。在病名列表中,包括“病名ID”、“大分类病名”、“详细分类病名”、“件数”以及“相似病例ID”的栏。“病名ID”是按确诊病名而赋予的标识符。在此,对大分类病名和详细分类病名的一个组合赋予一个病名ID。
“大分类病名”是登记在相似病例数据4000中的确诊(大分类病名)4700所表示的确诊病名。“详细分类病名”是登记在相似病例数据4000中的确诊(详细分类病名)4800所表示的确诊病名。“件数”是与“病名ID”所表示的确诊病名相应的相似病例的件数。“相似病例ID”是表示与“病名ID”所表示的病名相应的相似病例的相似病例ID。
病名列表管理部108针对在S640中接收到的全部相似病例数据4000,提取确诊(大分类病名)4700以及确诊(详细分类病名)4800,将两者相同的相似病例数据4000作为相同的确诊病名的相似病例进行分类。并且,病名列表管理部108对确诊病名相同的相似病例的件数进行计数,并登记在相应的确诊病名的记录的“件数”的栏中。另外,病名列表管理部108将分类到相同的确诊病名的相似病例的相似病例ID登记到相应的确诊病名的记录的“相似病例ID”的栏中。
在图31的例子中,对大分类病名为“肿瘤性”且详细分类病名为“原发性肺癌”的确诊病名赋予病名ID“DIS528”。并且,由于与该确诊病名相应的相似病例的件数为10件,所以在相应的记录的“件数”的栏中登记10,与该确诊病名相应的相似病例的相似病例ID“SIM258”、“SIM551”、“SIM1209”以及“SIM2341”等登记在相应的记录的“相似病例ID”的栏中。
并且,显示控制部104使用如此生成的病名列表来生成病名列表显示区域730,并显示于显示器101。
图32、图33、图34分别表示病名列表显示区域730的第1显示例、第2显示例、第3显示例的图。如图32所示,在第1显示例中,相似病例检索的结果所得到的相似病例,按详细分类病名的件数从多到少的顺序与件数关联地进行一览显示。
如图33所示,在第2显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数关联地进行一览显示。
如图34所示,在第3显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数地关联地进行一览显示,并且,按大分类病名,其中所包含的详细分类病名按件数从多到少的顺序与件数关联地进行一览显示。该情况下,确诊病名由大分类病名和详细分类病名的分层构造来表现。
图35是表示图33所示的病名列表显示区域730的画面转换的图。如图35的上部所示,当输入控制部103检测到一览显示的大分类病名中的一个大分类病名被用户选择的操作时,显示控制部104如图35的下部所示,使属于所选择出的大分类病名的详细分类病名按件数从多到少的顺序与件数关联地显示。在此,用户例如通过对在病名列表显示区域730中一览显示的大分类病名中的所希望一个大分类病名进行例如双击或者单击来选择一个大分类病名即可。在图35的例子中,由于非肿瘤性被双击,所以属于非肿瘤性的详细分类病名被一览显示。
在图35的下部,当一览显示有详细分类病名的区域被用户双击或者单击时,显示控制部104使显示在相应区域的详细分类病名非显示即可。
此外,显示控制部104通过参照病名列表(图31)来判定属于大分类病名的详细分类病名即可。例如,在图31的例子中,由于对真菌病关联了曲霉病以及隐球菌病,所以显示控制部104判断为曲霉病以及隐球菌病属于真菌病即可。
返回到图30,在S1400中,生成分布列表并显示。首先,根据在S640中接收到的相似病例,生成分布列表。分布列表是将在S640中接收到的相似病例按病变分布进行分类而得到的列表。
病名列表管理部108使用在NC件相似病例数据4000分别登记的病变分布信息4600来生成分布列表。所生成的分布列表如图36所示那样作为表形式的数据由分布列表管理部109进行管理。
图36是表示在图30的S1400中生成的分布列表的数据结构的图。在分布列表中,包括“分布名”、“病例数”以及“相似病例ID”的栏。“分布名”是弥漫性、区域性这样的预先设定的多个病变分布的名称。“病例数”是与病变分布相应的相似病例的件数。“相似病例ID”是表示与病变分布相应的相似病例的相似病例ID。
分布列表管理部109针对在S640中接收到的全部相似病例数据4000,提取病变分布信息4600,对在所提取出的病变分布信息4600中对分布标记值设定了1(符合)的病变分布的数量进行计数,将计数值登记在相应的病变分布的记录的“病例数”的栏中。另外,分布列表管理部109将对分布标记值设定了1的相似病例的相似病例ID登记在相应的病变分布的记录的“相似病例ID”的栏中。
在图36的例子中,由于与弥漫性相应的相似病例的件数为3件,所以在弥漫性的记录的“病例数”的栏中登记了3。另外,与弥漫性相应的相似病例的相似病例ID“SIM2521”、“SIM4123”以及“SIM5225”登记在弥漫性的记录的“相似病例ID”的栏中。
然后,显示控制部104使用如此生成的分布列表来生成分布列表显示区域750,并显示于显示器101。
图37是表示使用图36所示的分布列表而生成的分布列表显示区域750的图。在图36中,由于区域性以及胸膜下的病例数为0,所以在图37中,区域性752以及胸膜下756以非激活状态显示,对于除此以外的病变分布,由于病例数为1以上,所以以激活状态显示。
(效果)
如上所述,在本实施方式中,在病例显示区域710,根据作为用户的医生指定的关心区域的个数来切换显示横断面图像和冠状面图像。
在关心区域的个数为一个的情况下,可以解释为医生意图检索局限性病变。该情况下,对于所检索出的相似病例,病变都集中在一个部位。因此,显示控制部104与关心区域的设定时同样地,将包含病变的横断面图像显示于病例显示区域710。由此,能够进行符合想要细致观察病变形态这样的医生意图的显示。
另一方面,在关心区域的个数为0或两个以上的情况下,可以解释为医生意图检索弥漫性病变。该情况下,重要的是检索查询图像的病变分布与相似病例的病变分布的比较。然而,若在关心区域的个数为0或两个以上的情况下显示横断面图像,则会仅显示大范围分布的一个或多个病变的一个断面。因此,检索查询图像的病变分布与相似病例的病变分布的准确比较变得困难。因此,在本实施方式中,在关心区域的个数为0或两个以上的情况下,显示控制部104将冠状面图像显示于病例显示区域710。由此,能够一目了然地观察病变分布的概要。因此,能够进行符合想要比较病变分布这样的医生意图的显示。
如此,在本实施方式中,根据用户输入的关心区域的个数,将病例显示区域710中的相似病例的图像变更为横断面图像或冠状面图像。因此,根据本实施方式,通过将冠状面图像显示于病例显示区域710,能够将弥漫性肺疾病的病变分布在作为诊断对象病例的检索查询图像与相似病例的缩略图像之间进行适当地比较。其结果是,能够实现医生的诊断精度的提高。另外,在检索了弥漫性肺疾病时,根据显示于病例显示区域710的相似病例的缩略图像,能够一目了然地观察肺的病变分布。因此,能够缩短确认或理解相似病例所需的时间。
(变形后的实施方式)
(1)在上述实施方式中,示出了根据关心区域的个数来切换横断面图像和冠状面图像的例子,但切换显示图像的原因不限于关心区域的个数。例如,也可以使用用户输入的关心区域的面积来切换显示图像。
图38是表示对大尺寸的病变部设定了关心区域ROI的诊断对象病例的切片图像(检索查询图像)的图。在图38中,关心区域ROI与肺重叠的区域的面积相对于右肺3801和左肺3802相加的肺整体的面积的比例值达到四分之一以上。
在患有弥漫性肺疾病的检索查询图像中,一个或多个病变部遍及大范围地分布。因此,医生有时以包围遍及大范围地分布的病变部的方式设定关心区域。因此,在医生对单个小面积设定了关心区域时,可以解释为医生意图检索局限性病变。另外,如图38所示,在医生对单个大面积设定了关心区域时,可以解释成医生意图检索弥漫性病变。
根据经验,在关心区域ROI与肺重叠的区域的面积相对于肺整体的面积的比率小于四分之一的情况下可判断为是局限性病变,在为四分之一以上的情况下可判断为是弥漫性病变。因此,在本实施方式中,将四分之一作为阈值来判断是局限性病变或弥漫性病变。
此外,作为上述比率,也可以取代关心区域ROI与肺重叠的区域的面积而单纯使用关心区域ROI的面积。即,可以使用关心区域ROI的面积相对于肺整体的面积的比率。在以下的说明中,使用关心区域ROI的面积相对于肺整体的面积的比率。
图39是表示图27的S610的处理的不同于图28的例子的流程图。图40是表示图27的S620的处理的不同于图29的例子的流程图。
在图39中,图像特征提取部302首先判定关心区域ROI的面积相对于右肺3801和左肺3802相加后的肺整体的面积的比例值是否为四分之一以上(S614)。如果关心区域ROI的面积相对于肺整体的面积的比例值为四分之一以上(S614:是),则处理进入S612,如果上述比例值小于四分之一(S614:否),则处理进入S613。S612、S613分别与图28的S612、S613相同。
在图40中,相似病例检索部303判定关心区域ROI的面积相对于右肺3801和左肺3802相加后的肺整体的面积的比例值是否为四分之一以上(S624)。如果关心区域ROI的面积相对于肺整体的面积的比例值为四分之一以上(S624:是),则处理进入S622,如果上述比例值小于四分之一(S624:否),则处理进入S623。S622、S623分别与图29的S622、S623相同。
根据图38~图40的实施方式,在关心区域的面积相对于肺整体的面积的比例值小于四分之一的情况下(图26),如图6所示那样将横断面图像显示于病例显示区域710。另一方面,在关心区域的面积相对于肺整体的面积的比例值为四分之一以上的情况下(图38),如图7所示那样将冠状面图像显示于病例显示区域710。
如此,在图38~图40的实施方式中,与上述实施方式同样,也能够将符合医生意图的缩略图像显示于病例显示区域710。
(2)在上述实施方式中,示出了病例检索系统300提取图像特征的例子,但也可以由信息终端100提取图像特征。
图41是采用了信息终端100提取图像特征的技术方案的情况下的信息终端100、医用信息管理系统200以及病例检索系统300的框图。
与图2不同之处在于:在信息终端100中追加了图像特征提取部113,并且从病例检索系统300删除图像特征提取部302。
图42是表示在信息终端100从医用信息管理系统200取得了诊断对象病例之后,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。
与图22不同之处在于:在ROI管理部105将诊断对象病例的切片图像发送给通信控制部110的处理(S600)之后,由信息终端100进行图像特征的提取(S603),将提取出的图像特征发送给病例检索系统300(S604)。图像特征的提取(S604)的处理内容与由病例检索系统300进行图像特征的提取的情况同样。
图43是表示在病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回给信息终端100为止的处理的时序图。与图27不同之处在于:在信息终端100侧进行图像特征的提取,因此,在图43中,删除了图27中的图像特征的提取(S610)。
根据本公开,能够利用于提示在使用作为读片对象的医用图像进行诊断时成为参考的相似病例的相似病例检索装置以及实习读片医生用的读片教学装置等。

Claims (14)

1.一种信息终端的对多个相似医用图像的显示进行控制的控制方法,使所述信息终端的计算机执行如下处理:
检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,
从病例检索系统接收与所述对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,
在所述输入的表示关心区域的信息表示一个所述关心区域的情况下,使所述横断面图像显示于显示器,在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,使所述冠状面图像显示于所述显示器。
2.根据权利要求1所述的控制方法,
在所输入的表示所述关心区域的信息表示一个所述关心区域的情况下,所述对象医用图像的关心区域与所述多个相似医用图像各自的关心区域具有预定的相似度,
在所输入的表示所述关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,包含所述对象医用图像的图像组与包含所述多个相似医用图像的各个医用图像的图像组具有预定的相似度。
3.根据权利要求2所述的控制方法,
所述横断面图像是与被检查者的身高方向上的轴垂直的断面为断层面的图像,
所述冠状面图像是与平行于所述被检查者的身高方向上的轴的面成0度以上且45度以下的角度的面为断层面的图像。
4.根据权利要求1所述的控制方法,
所述多个相似医用图像分别是通过断层摄影法进行拍摄的,并且分别是沿着第1方向排列的图像组中的一个医用图像,
所述横断面图像是所述图像组中的与所述关心区域相似的区域的面积值最大的医用图像。
5.根据权利要求1或4所述的控制方法,
所述多个相似医用图像分别是通过断层摄影法进行拍摄的,并且分别是沿着第1方向排列的图像组中的一个医用图像,
在输入了表示所述关心区域的信息的情况下,所述冠状面图像是所述图像组中的与多个所述关心区域相似的区域的面积值最大的医用图像。
6.一种信息终端的对多个相似医用图像的显示进行控制的控制方法,使所述信息终端的计算机执行如下处理:
在读片对象的医用图像即对象医用图像中检测表示关心区域的信息,
从病例检索系统接收多个相似医用图像,所述多个相似医用图像分别基于所述对象医用图像来选择,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,
在所述关心区域在所述对象医用图像中所占的比例值小于预定的阈值的情况下,使所述横断面图像显示于显示器,在所述比例值为所述阈值以上的情况下,使所述冠状面图像显示于所述显示器。
7.根据权利要求6所述的控制方法,
所述对象医用图像是通过断层摄影法拍摄到的肺的医用图像,
所述比例值是所述关心区域与所述肺重叠的区域的面积相对于所述对象医用图像所包含的所述肺的面积的比率,
所述阈值为四分之一。
8.根据权利要求6或7所述的控制方法,
所述控制方法使所述信息终端的计算机执行如下处理:
基于检测到的表示关心区域的信息所表示的所述关心区域和所述对象医用图像来算出所述比例值。
9.根据权利要求6或7所述的控制方法,
所述控制方法使所述信息终端的计算机执行如下处理:
将所述对象医用图像以及检测到的表示关心区域的信息发送给所述病例检索系统,
从所述病例检索系统接收所述比例值。
10.根据权利要求1~4、6~7中任一项所述的控制方法,
所述控制方法使所述信息终端的计算机执行如下处理:
将表示所述关心区域的特征量的信息发送给所述病例检索系统,
从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的多个相似医用图像。
11.根据权利要求1~4、6~7中任一项所述的控制方法,
所述控制方法使所述信息终端的计算机执行如下处理:
将所述对象医用图像以及表示所述关心区域的信息发送给所述病例检索系统,
从所述病例检索系统接收与根据所述对象医用图像和表示所述关心区域的信息而得到的所述关心区域的特征量具有所述预定的相似度的多个相似医用图像。
12.一种对多个相似医用图像的显示进行控制的控制方法,使信息终端的计算机执行如下处理:
检测对于读片对象的医用图像即对象医用图像是否输入了表示关心区域的信息,所述关心区域分别是一个连续区域,
从病例检索系统接收多个相似医用图像,所述多个相似医用图像分别基于所述对象医用图像来选择,所述接收到的多个相似医用图像包括横断面图像和冠状面图像,
在所述输入的表示关心区域的信息表示一个所述关心区域的情况下,使所述横断面图像显示于显示器,
在所述输入的表示关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,使作为所述冠状面图像的所述接收到的多个相似医用图像显示于所述显示器。
13.根据权利要求12所述的控制方法,
在所输入的表示所述关心区域的信息表示一个所述关心区域的情况下,所述对象医用图像的关心区域与所述多个相似医用图像各自的关心区域具有预定的相似度,
在所输入的表示所述关心区域的信息表示两个以上的所述关心区域或者未输入表示所述关心区域的信息的情况下,包含所述对象医用图像的图像组与包含所述多个相似医用图像的各个医用图像的图像组具有预定的相似度。
14.根据权利要求13所述的控制方法,
所述横断面图像是与被检查者的身高方向上的轴垂直的断面为断层面的图像,
所述冠状面图像是与平行于所述被检查者的身高方向上的轴的面成0度以上且45度以下的角度的面为断层面的图像。
CN201610750854.0A 2015-09-30 2016-08-29 控制方法 Active CN106560827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015193501 2015-09-30
JP2015-193501 2015-09-30

Publications (2)

Publication Number Publication Date
CN106560827A CN106560827A (zh) 2017-04-12
CN106560827B true CN106560827B (zh) 2021-11-26

Family

ID=58409724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610750854.0A Active CN106560827B (zh) 2015-09-30 2016-08-29 控制方法

Country Status (3)

Country Link
US (1) US10055543B2 (zh)
JP (1) JP6722857B2 (zh)
CN (1) CN106560827B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854190B2 (en) 2018-08-31 2023-12-26 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018181458A1 (ja) 2017-03-29 2018-10-04 シンクサイト株式会社 学習結果出力装置及び学習結果出力プログラム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
WO2019054265A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
JP7119327B2 (ja) * 2017-10-03 2022-08-17 富士通株式会社 プログラム、情報処理方法及び情報処理装置
JP7228332B2 (ja) * 2017-11-17 2023-02-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理方法
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) * 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
CN112055555A (zh) * 2018-05-14 2020-12-08 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法及内窥镜系统
WO2020013814A1 (en) * 2018-07-11 2020-01-16 Google Llc Similar image search for radiology
KR102192164B1 (ko) * 2018-08-08 2020-12-16 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
DE102018214325A1 (de) * 2018-08-24 2020-02-27 Siemens Healthcare Gmbh Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
JPWO2020044736A1 (ja) * 2018-08-31 2021-08-10 富士フイルム株式会社 類似度決定装置、方法およびプログラム
WO2020110520A1 (ja) * 2018-11-27 2020-06-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
US10811135B2 (en) * 2018-12-27 2020-10-20 General Electric Company Systems and methods to determine disease progression from artificial intelligence detection output
JP7074101B2 (ja) * 2019-03-20 2022-05-24 コニカミノルタ株式会社 動態解析装置、動態解析システム、予測率算出方法及びプログラム
US20220179891A1 (en) * 2019-04-09 2022-06-09 University Of Washington Systems and methods for providing similarity-based retrieval of information stored in dna
US10957444B2 (en) * 2019-05-06 2021-03-23 Wisconsin Alumni Research Foundation Apparatus for tomography repeat rate/reject rate capture
CN112420167A (zh) * 2019-08-20 2021-02-26 阿里巴巴集团控股有限公司 影像报告的生成方法、装置及设备
US11322243B2 (en) * 2019-10-18 2022-05-03 Neosoft, Llc Method and system for identifying and displaying medical images
WO2021130906A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 画像検索システム、画像検索方法及び記憶媒体
JP7440317B2 (ja) * 2020-03-26 2024-02-28 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置及び医用情報処理プログラム
WO2024035976A2 (en) * 2022-05-09 2024-02-15 Mofaip, Llc Dynamic areas of interest that travel and interact with maps and void spaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1729937A (zh) * 2004-08-05 2006-02-08 株式会社东芝 图像处理装置及图像处理方法
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
CN104161516A (zh) * 2014-01-09 2014-11-26 上海联影医疗科技有限公司 磁共振成像方位判断方法及其装置
CN104510488A (zh) * 2013-09-30 2015-04-15 株式会社东芝 医用图像显示系统、装置、方法以及医用图像服务器系统

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157675A (ja) * 1999-12-02 2001-06-12 Fuji Photo Film Co Ltd 画像表示方法および画像表示装置
US6901156B2 (en) * 2000-02-04 2005-05-31 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
US6901277B2 (en) * 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
JP2004005364A (ja) 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
US7346199B2 (en) * 2002-11-30 2008-03-18 Intuitive Software, Inc. Anatomic triangulation
JP5128154B2 (ja) 2006-04-10 2013-01-23 富士フイルム株式会社 レポート作成支援装置、レポート作成支援方法およびそのプログラム
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
US8295568B2 (en) * 2006-06-30 2012-10-23 Fujifilm Corporation Medical image display processing apparatus and medical image display processing program
JP4818846B2 (ja) * 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
JP5098253B2 (ja) * 2006-08-25 2012-12-12 コニカミノルタエムジー株式会社 データベースシステム、プログラム、及びレポート検索方法
JP4979334B2 (ja) * 2006-10-18 2012-07-18 富士フイルム株式会社 医用画像読影支援システム及びプログラム
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP2009018048A (ja) * 2007-07-12 2009-01-29 Fujifilm Corp 医用画像表示装置、方法及びプログラム
JP4786685B2 (ja) * 2007-11-16 2011-10-05 株式会社モリタ製作所 X線画像表示方法、x線撮影装置、及びx線画像表示装置
JP2010017410A (ja) 2008-07-11 2010-01-28 Fujifilm Corp 類似症例画像検索システム及び類似症例画像検索装置
JP5502346B2 (ja) * 2009-03-09 2014-05-28 富士フイルム株式会社 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
US20110054295A1 (en) * 2009-08-25 2011-03-03 Fujifilm Corporation Medical image diagnostic apparatus and method using a liver function angiographic image, and computer readable recording medium on which is recorded a program therefor
JP5670079B2 (ja) * 2009-09-30 2015-02-18 富士フイルム株式会社 医用画像表示装置および方法、並びにプログラム
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
US9451924B2 (en) * 2009-12-30 2016-09-27 General Electric Company Single screen multi-modality imaging displays
US8929627B2 (en) * 2010-03-31 2015-01-06 Hitachi Medical Corporation Examination information display device and method
JP5661382B2 (ja) * 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
CN102985924A (zh) * 2011-02-14 2013-03-20 松下电器产业株式会社 相似病例检索装置以及相似病例检索方法
WO2013001678A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
JP4979842B1 (ja) * 2011-06-30 2012-07-18 パナソニック株式会社 類似症例検索装置および類似症例検索方法
JP5871104B2 (ja) * 2013-08-01 2016-03-01 パナソニック株式会社 病変判定装置、類似症例検索装置、病変判定装置の駆動方法、類似症例検索装置の駆動方法、およびプログラム
JP5896084B2 (ja) * 2013-08-01 2016-03-30 パナソニック株式会社 類似症例検索装置、類似症例検索装置の制御方法、およびプログラム
JP5927591B2 (ja) * 2013-08-07 2016-06-01 パナソニックIpマネジメント株式会社 症例表示装置、症例表示方法およびプログラム
KR102244258B1 (ko) * 2013-10-04 2021-04-27 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상표시방법
JP6225636B2 (ja) * 2013-10-22 2017-11-08 コニカミノルタ株式会社 医用画像処理装置及びプログラム
US20150186599A1 (en) * 2014-01-02 2015-07-02 Paul Lee McCune Integrated orthopedic examination and image management system
JP5810251B1 (ja) * 2014-04-09 2015-11-11 パナソニック株式会社 情報端末の制御方法及びプログラム
JP5815167B1 (ja) * 2014-04-09 2015-11-17 パナソニック株式会社 情報端末の制御方法及びプログラム
JP6548393B2 (ja) * 2014-04-10 2019-07-24 キヤノンメディカルシステムズ株式会社 医用画像表示装置および医用画像表示システム
JP2016006635A (ja) * 2014-05-29 2016-01-14 パナソニック株式会社 制御方法及びプログラム
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
JP6318102B2 (ja) * 2015-02-04 2018-04-25 富士フイルム株式会社 画像表示制御装置,画像表示制御方法,および画像表示制御プログラムならびにそのプログラムを格納した記録媒体
EP3255603B1 (en) * 2015-02-05 2022-09-07 Ricoh Company, Limited Image processing device, image processing system, and image processing method
CN105912831B (zh) * 2015-02-19 2021-08-20 松下知识产权经营株式会社 信息终端的控制方法
JP6638729B2 (ja) * 2015-07-22 2020-01-29 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックIpマネジメント株式会社 情報端末の制御方法及びプログラム
JP6675099B2 (ja) * 2015-09-30 2020-04-01 パナソニックIpマネジメント株式会社 制御方法及びプログラム
CN106557536B (zh) * 2015-09-30 2021-12-21 松下知识产权经营株式会社 控制方法
JP6699339B2 (ja) * 2016-05-13 2020-05-27 コニカミノルタ株式会社 動態解析システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1729937A (zh) * 2004-08-05 2006-02-08 株式会社东芝 图像处理装置及图像处理方法
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
CN104510488A (zh) * 2013-09-30 2015-04-15 株式会社东芝 医用图像显示系统、装置、方法以及医用图像服务器系统
CN104161516A (zh) * 2014-01-09 2014-11-26 上海联影医疗科技有限公司 磁共振成像方位判断方法及其装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Medical image databaseds:a content-based retrieval approach;hemant D.tagare et al.;《journal of the American medical informatics association》;19970531;第4卷(第3期);第594-604页 *
The medical imaging interaction toolkit;ivo wolf et al.;《medical image analysis》;20051231;第9卷(第6期);第184-198页 *
多级多特征的医学图像检索系统;王伟蔚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120415(第04期);第I138-2265页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854190B2 (en) 2018-08-31 2023-12-26 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program

Also Published As

Publication number Publication date
JP6722857B2 (ja) 2020-07-15
CN106560827A (zh) 2017-04-12
US20170091930A1 (en) 2017-03-30
US10055543B2 (en) 2018-08-21
JP2017064387A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
CN106560827B (zh) 控制方法
JP7065436B2 (ja) 制御方法及びプログラム
JP6799115B2 (ja) 情報端末の制御方法及びプログラム
US11179036B2 (en) Control method of information terminal and computer-readable recording medium
US11185228B2 (en) Control method of information terminal and computer-readable recording medium
JP6907381B2 (ja) 制御方法及びプログラム
CN106560828B (zh) 控制方法
CN105912831B (zh) 信息终端的控制方法
CN106557647B (zh) 控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant