CN102958425A - 类似病例检索装置以及类似病例检索方法 - Google Patents

类似病例检索装置以及类似病例检索方法 Download PDF

Info

Publication number
CN102958425A
CN102958425A CN2011800147119A CN201180014711A CN102958425A CN 102958425 A CN102958425 A CN 102958425A CN 2011800147119 A CN2011800147119 A CN 2011800147119A CN 201180014711 A CN201180014711 A CN 201180014711A CN 102958425 A CN102958425 A CN 102958425A
Authority
CN
China
Prior art keywords
sheet
reading
read
feature amount
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800147119A
Other languages
English (en)
Other versions
CN102958425B (zh
Inventor
近藤坚司
续木贵史
高田和丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102958425A publication Critical patent/CN102958425A/zh
Application granted granted Critical
Publication of CN102958425B publication Critical patent/CN102958425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

类似病例检索装置具备:权重决定部(170),根据预先规定的、从医用图像中提取的各个图像特征量与针对医用图像的读片报告中所包含的各个读片项目或各个疾病名称之间的关联性这两项间关系信息,针对从读片对象图像提取的多个图像特征量的每一个,在该图像特征量与对象读片报告中包含的读片项目或疾病名称之间的关联性越高的情况下就越决定值大的权重;以及类似病例检索部(180),以权重决定部(170)决定的按照每个图像特征量的权重,对从读片对象图像中提取的多个图像特征量、和从被登记在病例数据库中的病例数据所包含的从医用图像中提取的多个图像特征量进行加权并比较,从而检索包含与读片对象图像类似医用图像的病例数据。

Description

类似病例检索装置以及类似病例检索方法
技术领域
本发明涉及用于检索成为医用图像读片的参考的类似病例的类似病例检索装置以及类似病例检索方法。
背景技术
近些年,由于CT(Computed Tomography:电脑断层扫描),MRI(Magnetic Resonance Imaging:磁共振成像)等医用图像装置的发展以及普及,能够以大容量来获得被数字化的高精细的医用图像。并且,由医师读片完毕的医用图像,与读片报告一起依次被存储蓄积到PACS(Picture Archiving and Communication Systems:图像存储与通信系统)。在此,为了成为新的读片的参考,开始开发了从蓄积完毕的过去病例中,检索与读片对象的医用图像类似的过去的医用图像。
在类似图像检索中,用于决定图像间的类似度的图像特征量的选择是重要的,作为以往的图像检索装置公开了以下的技术。
用于决定医用图像间的类似度的图像特征量会因疾病的种类,疾病的行进度,或疾病的重症度等而不同,但是在以往的医用图像类似检索中存在的课题是,没有考虑实际状况而采用了相同的图像特征量。在非专利文献1中公开的是,作为解决方法采用“customized-queries””approach(CQA:特定化-询问方法)这两个步骤的检索方法。具体而言,在第一步骤,利用能够将疾病的种类,疾病的行进度或疾病的重症度等种类进行最佳分类的图像特征量,来对查询图像进行分类。在第二步骤,利用被最佳化了的图像特征量,来检索类似图像,所述最佳化用于对成为分类结果的种类中所包含的病例进一步进行的细分类。此时,每个种类的最佳的图像特征量是不通过教师的学习(unsupervised learning)事先求出的。并且,在该文献中,将CQA适用于肺部CT图像,这比利用以往的一种图像特征量来检索类似图像更能提高检索复现率。
(现有技术文献)
(非专利文献)
非专利文献1Jennifer G.Dy et al.“Unsupervised FeatureSelection Applied to Content-based Retrieval of Lung Images”,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.25,no.3,March 2003
然而,在上述以往的构成中,由于图像特征量(即,类似基准)是由被识别的疾病的种类,疾病的行进度或疾病的重症度等而被决定的,是仅利用被决定的图像特征量来检索类似图像的,因此没有结合反映了针对读片对象的医用图像的读片者关注点的类似图像检索。即,存在的课题是不能成为读片者下出诊断的依据或不能协助读片者犹豫不决时的诊断。
发明内容
本发明为了解决上述以往的课题,目的在于提供一种能够将读片者的关注点反映到类似图像检索的类似病例检索装置。
本发明的一个局面所涉及的类似病例检索装置,从病例数据库中检索与包含医用图像和读片报告的病例数据类似的病例数据,所述读片报告是记载有对该医用图像进行读片后的结果的文本数据,所述类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;报告分析部,从对象读片报告中提取:(a)作为示出医用图像的特征的字符串的读片项目、或者(b)作为读片者根据医用图像进行的诊断结果的疾病名称,所述对象读片报告是通过读片者对所述读片对象图像进行读片而得到的读片报告;权重决定部,根据预先规定的、从医用图像中提取的各个图像特征量与从针对所述医用图像的读片报告中提取的各个读片项目或者各个疾病名称之间的关联性这两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,在该图像特征量与所述报告分析部所提取的所述读片项目或者所述疾病名称之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以所述权重决定部所决定的按照每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、和从被登记在病例数据库中的病例数据所包含的从医用图像中提取的多个图像特征量,进行加权并进行比较,从而从所述病例数据库中检索包含与所述读片对象图像类似的医用图像的病例数据。
根据此构成,针对从医用图像或读片对象图像中提取的各图像特征量,在对象读片报告中所记载的读片项目或疾病名称之间的关联性越高的情况下就以大的权重来进行加权,通过对被加权的图像特征量彼此进行比较,来检索类似病例。据此,能够在反映了被记入到对象读片报告的读片者的关注点的基础上,对类似病例进行检索。
另外,本发明不仅可以作为具备具有这种特征的处理部的类似病例检索装置来实现,而且能够作为将类似病例检索装置中所具备的特征性的处理部所执行的处理作为步骤来实现的类似病例检索方法来实现。并且,可以作为使计算机执行,使作为类似病例检索装置中所包含的特征性的处理部的计算机发挥功能的程序或类似病例检索方法中所包含的特征性的步骤的程序来实现。并且,这些程序是可以通过CD-ROM(Compact Disc-ReadOnly Memory)等计算机可读取的非一时性的记录介质或互联网等通信网络来流通的。
通过本发明的类似病例检索装置,能够提供一种将读片者的关注点反映到类似图像检索的类似病例检索装置。
附图说明
图1是示出本发明的实施例1中的类似病例检索装置的构成的方框图。
图2是本发明的实施例1中的读片知识制作顺序的流程图。
图3是本发明的实施例1中的图像特征量提取顺序的流程图。
图4示出了本发明的实施例1中的腹部CT检查的读片报告的例子。
图5示出了从本发明的实施例1中的读片报告中提取的读片项目以及疾病名称。
图6示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称,以及与读片项目同时提取的位置与时相的信息。
图7示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称,以及与进行了逻辑性解释的读片项目同时提取的位置与时相的信息。
图8示出了本发明的实施例1中的用于获得读片知识提取的一系列数据。
图9是本发明的实施例1中的读片项目与图像特征量之间的相关关系(二值)的概念图。
图10是本发明的实施例1中的读片项目与图像特征量之间的相关关系(多值)的概念图。
图11是本发明的实施例1中的疾病名称与图像特征量之间的相关关系(二值)的概念图。
图12是本发明的实施例1中的读片项目与疾病名称之间的相关关系(二值)的概念图。
图13示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-读片项目)之间的相关关系的存放形式。
图14示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-疾病名称)之间的相关关系的存放形式。
图15示出了本发明的实施例1中的作为读片知识而提取的(读片项目-疾病名称)之间的相关关系的存放形式。
图16是本发明的实施例1中的类似病例检索顺序的流程图。
图17示出了本发明的实施例1中的类似病例检索画面的一个例子。
图18是用于说明本发明的实施例1中的病变位置或区域的指定的图。
图19示出了本发明的实施例1中的类似病例检索时的加权方法1。
图20示出了本发明的实施例1中的类似病例检索时的加权方法2。
图21示出了本发明的实施例1中的类似病例检索时的加权方法3。
图22示出了本发明实施例2中的因读片项目的有无而图像特征量的分布出现不同的图。
图23示出了本发明实施例2中的存放了图像特征量的分布参数的状态。
图24示出了本发明实施例2中的因疾病名称的有无而图像特征量的分布差异的图。
图25示出了本发明实施例2中的存放了图像特征量的分布参数的状态。
图26示出了本发明实施例2中的腹部CT检查的读片报告的例子。
图27示出了本发明实施例2中的从读片报告中提取的读片项目以及疾病名称。
图28示出了本发明实施例2中的根据与读片项目相对应的图像特征量的分布来判断读片者所记入的读片项目的妥当性的情况。
图29示出了在本发明的实施例2中对被输入的读片报告进行加工并显示的例子。
图30示出了本发明实施例2中的与某个读片项目相对应的多个图像特征量的分布。
图31是示出类似病例检索装置的其他的构成的方框图。
图32是示出类似病例检索装置在本发明中所需要的构成要素的方框图。
具体实施方式
以下,对本发明的实施例参照附图进行说明。另外,以下说明的实施例均为本发明的一个优选的具体例子。以下的实施例所示的数值、构成要素、构成要素的连接方式、步骤、步骤的顺序等仅为一个例子,本发明并非受此所限。本发明仅受限于权利要求书。因此,在以下的实施例的构成要素中,对于示出本发明的最上位概念的独立权利要求中没有记载的构成要素,虽然不是达成本发明的课题的必要因素,但作为优选的构成方式来进行说明。
本发明的一个实施例所涉及的类似病例检索装置,从病例数据库中检索与包含医用图像和读片报告的病例数据类似的病例数据,所述读片报告是记载有对该医用图像进行读片后的结果的文本数据,所述类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;报告分析部,从对象读片报告中提取:(a)作为示出医用图像的特征的字符串的读片项目、或者(b)作为读片者根据医用图像进行的诊断结果的疾病名称,所述对象读片报告是通过读片者对所述读片对象图像进行读片而得到的读片报告;权重决定部,根据预先规定的、从医用图像中提取的各个图像特征量与从针对所述医用图像的读片报告中提取的各个读片项目或者各个疾病名称之间的关联性这两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,在该图像特征量与所述报告分析部所提取的所述读片项目或者所述疾病名称之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以所述权重决定部所决定的按照每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、和从被登记在病例数据库中的病例数据所包含的从医用图像中提取的多个图像特征量,进行加权并进行比较,从而从所述病例数据库中检索包含与所述读片对象图像类似的医用图像的病例数据。
根据此构成,针对从医用图像或读片对象图像中提取的各图像特征量,在对象读片报告中所记载的读片项目或疾病名称之间的关联性越高的情况下就以大的权重来进行加权,通过对被加权的图像特征量彼此进行比较,来检索类似病例。据此,能够在反映了被记入到对象读片报告的读片者的关注点的基础上,对类似病例进行检索。
最好是,所述两项间关系信息还示出,从读片报告提取的读片项目与疾病名称之间的关联性;在所述报告分析部从所述对象读片报告中提取了读片项目以及疾病名称这双方的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将如下的乘积决定为针对该图像特征量的权重,所述乘积是指:示出该图像特征量与所述报告分析部所提取的所述读片项目之间的关联性的值、与示出该读片项目与所述报告分析部所提取的所述疾病名称之间的关联性的值的乘积。
根据此构成,在对象读片报告中记入有读片项目以及疾病名称双方的情况下,能够进行同时对图像特征量与读片项目之间的关联性、和读片项目与疾病名称之间的关联性进行评价的类似病例检索。
并且,也可以是,在所述报告分析部从所述对象读片报告中提取了读片项目的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将示出该图像特征量与所述报告分析部所提取的所述读片项目之间的关联性的值,决定为针对该图像特征量的权重。
根据此构成,虽然能够判断读片者所关注的读片项目,但是在最终的疾病名称的诊断上产生犹豫,在想要根据类似病例检索的结果来得到疾病名称诊断的启发的状况下,能够进行确切的类似病例检索。
并且,也可以是,在所述报告分析部从所述对象读片报告中提取了疾病名称的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将示出该图像特征量与所述报告分析部所提取的所述疾病名称之间的关联性的值,决定为针对该图像特征量的权重。
根据此构成,在读片者虽然根据直觉等推定了疾病名称,但是在成为该推定的依据的读片项目的判断上产生犹豫的情况下,能够确切地进行类似病例检索。读片者能够从类似病例检索的结果中,得到诊断依据(读片项目)的启发。
并且,也可以是,所述权重决定部,进一步,根据按照每个读片项目的、成为记载有该读片项目的读片报告的制作依据的医用图像中所包含的各个图像特征量的预先决定的概率分布数据,在与所述报告分析部所提取的读片项目相对应的、所述图像特征提取部所提取的各个图像特征量的似然值越高的情况下,就越将针对所述报告分析部所提取的读片项目的妥当性判断为高。
根据此构成,能够判断对象读片报告中所包含的用于类似病例检索的读片项目的妥当性。
最好是,该类似病例检索装置还包括显示部,该显示部显示所述对象读片报告;所述显示部,根据所述权重决定部所判断的针对读片项目的妥当性的高度,对所述对象读片报告中所包含的读片项目进行视觉上的区分后显示。
根据此构成,能够对对象读片报告中的用于类似病例检索的读片项目之中的、被判断为妥当性低的与被判断为妥当性高的进行区分显示,从而能够向读片者提示类似病例检索的依据以及读片报告中的妥当性低的部分。
并且,也可以是,所述权重决定部,进一步,根据按照每个疾病名称的、成为记载有该疾病名称的读片报告的制作依据的医用图像中所包含的各个图像特征量的预先决定的概率分布数据,在与所述报告分析部所提取的疾病名称相对应的、所述图像特征提取部所提取的各个图像特征量的似然值越高的情况下,就越将针对所述报告分析部所提取的疾病名称的妥当性判断为高。
根据此构成,能够判断对象读片报告中所包含的用于类似病例检索的疾病名称的妥当性。
最好是,该类似病例检索装置还包括显示部,该显示部显示所述对象读片报告;所述显示部,根据所述权重决定部所判断的针对疾病名称的妥当性的高度,对所述对象读片报告中所包含的疾病名称进行视觉上的区分后显示。
根据此构成,能够对对象读片报告中的用于类似病例检索的读片项目之中的、被判断为妥当性低的与被判断为妥当性高的进行区分显示,从而能够向读片者提示类似病例检索的依据以及读片报告中的妥当性低的部分。
(实施例1)
图1是本发明的实施例1中的类似病例检索装置的方框图。
类似病例检索装置包括:病例数据库100、读片知识数据库110、读片对象图像读取部120、读片对象图像显示部130、报告输入输出部140、报告分析部150、图像特征提取部160、权重决定部170、类似病例检索部180、以及类似病例显示部190。
病例数据库100是存放有多个病例数据(以下,简单称为“病例”)的数据库,该病例数据是由CT(Computed Tomography:电脑断层扫描)或MRI(Magnetic Resonance Imaging:磁共振成像)等医用图像(在本说明书中将“图像数据”简称为“图像”)与读片报告配对而构成的,所述读片报告是对该医用图像进行读片后的结果。读片知识数据库110是存放有通过对多个病例进行分析而得到的读片知识的数据库。详细待后述。病例数据库100以及读片知识数据库110被存储在HDD(Hard Disk Drive:硬盘驱动器)等存储装置。
读片对象图像读取部120从医用图像摄像装置或在外部连接的存储装置等中,读取以CT或MRI等医用图像摄像装置拍摄的图像。
读片对象图像显示部130由医疗用的高精细显示器等构成,显示由读片对象图像读取部120读取的读片对象图像。
报告输入输出部140由输入装置和显示装置构成,所述输入装置例如是键盘或鼠标等,所述显示装置用于通过显示由上述的输入装置输入的报告,来使输入者确认。读片者一边参照被显示在读片对象图像显示部130的读片对象图像,一边通过报告输入输出部140来输入读片报告。
读片对象图像显示部130、报告输入输出部140、以及后述的类似病例显示部190构成读片终端200。
报告分析部150分析在报告输入输出部140输入的读片报告,并提取文本特征量(读片项目以及疾病名称)。
图像特征提取部160从由读片对象图像读取部120读取的读片对象图像中,提取多种图像特征量。
权重决定部170根据由报告分析部150提取的文本特征量、由图像特征提取部160提取的图像特征量、以及存放在读片知识数据库110的读片知识,决定针对在图像检索时所使用的多个图像特征量的每一个的权重。
类似病例检索部180利用由图像特征提取部160提取的图像特征量、以及由权重决定部170决定的权重,从病例数据库100中检索包含读片对象图像以及与其类似的医用图像的病例。
类似病例显示部190显示由类似病例检索部180检索的类似病例。类似病例显示部190的构成可以是与构成读片对象图像显示部130的高精细监视器为相同的机种,也可以将读片对象图像和类似病例同时显示在读片对象图像显示部130。另外,类似病例显示部190和读片对象图像显示部130的机种也可以不同。
以下,对本发明的各个部的工作进行详细说明。
<读片知识数据库的事前制作>
在进行类似病例检索之时,需要事前得到读片知识,并将读片知识存放到数据库110。读片知识是从聚集的多个“病例”中得到的,该“病例”是由医用图像与读片报告的配对构成的,该读片报告是对该医用图像进行读片后的结果。作为病例,可以利用被存放于在类似病例检索时用于检索类似病例的病例数据库100中的病例,也可以利用被存放在其他的数据库中的病例。所需的病例数是,利用各种数据挖掘算法能够得到某些法则性以及知识所需要的数量。通常采用数百~数万个的数据。在本实施例中,作为读片知识采用(1)图像特征量、(2)读片项目、(3)疾病名称这三项之中的每两项间的相关关系。
作为“图像特征量”例如有医用图像中的脏器或与病变部分的形状相关的或者与亮度分布相关的图像特征量。图像特征量例如可以采用如下的非专利文献中所记载的490种特征量,该非专利文献是:“根本、清水、萩原、小
Figure BDA00002159221900091
绳野所著‘根据来自多数特征量的特征选择的乳房X线图像上的肿瘤影像判别精度的改善以及快速的特征选择法的提出(多数の特徴量からの特徴選択による乳房X線像上の肿瘤影判別精度の改善と高速な特徴選択法の提案)’,电子信息通信学会论文集(電子情報通信学会論文誌)-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”。在本实施例也按照医用图像的拍摄中所使用的医用图像摄像装置(医疗影像设备)或读片的对象脏器,来采用预先规定的数十~数百种的图像特征量。
“读片项目”是指,在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等,作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化,嵌合体状、早期染色、低回声、高回声、以及起毛等。
“疾病名称”是指,医师(读片者)根据医用图像或其他的检查而诊断的疾病名称。读片時的诊断疾病名称与经过其他的检查而确定诊断的疾病名称会有不同的情况,在制作读片知识数据库之时,采用确定诊断的结果。
以下,利用图2的流程图来说明制作读片知识的顺序。在本实施例成为对象的是,即使用的医用图像摄像装置为多层面CT,对象脏器以及疾病分别为肝脏以及肝脏以及肝肿瘤。
在步骤S10,从存放有用于得到读片知识的病例的数据库中获得一个病例。在此,将用于得到读片知识的病例的总数设为C个。每一个病例由医用图像与作为对该医用图像进行读片后的结果的读片报告的配对构成。在医用图像由多层面CT装置获得的情况下,每一个病例将包含多张切片图像。并且,通常在多层面CT图像由医师读片的情况下,将重要的切片图像的一张或多张作为关键图像添附到读片报告中。以下对多张的切片图像集合或多张的关键图像简称为“医用图像”或“图像”。
在步骤S11,从医用图像提取图像特征量。利用图3的流程图对步骤S11的处理进行详细说明。
在步骤S111,提取对象脏器的区域。在本实施例中提取肝脏区域。作为肝脏区域的提取方法,例如有利用非专利文献:“田中、清水、小
Figure BDA00002159221900101
所著‘考虑了异常部位的浓度图案的肝脏区域的提取方法的改善<第二部>(異常部位の濃度パターンを考慮した肝臓領域抽出手法の改良<第二報>’,电子信息通信学会技术研究报告(電子情報通信学会技术研究報告),医用图像,104(580),pp.7-12,2005年1月”等方法。
在步骤S112,从在步骤S111提取的脏器区域中提取病变区域。在本实施例中为从肝脏区域提取肿瘤区域。作为肝肿瘤区域提取方法,例如有利用非专利文献:“中川、清水、一杉、小
Figure BDA00002159221900111
所著的‘根据三维腹部CT图像的肝肿瘤影像的自动提取方法的开发<第二部>(三次元腹部CT像からの肝腫瘤影の自動抽出手法の開発<第二報>’,医用图像,102(575),pp.89-94,2003年1月”等方法。在此,若将从第i个病例中的图像中提取的肿瘤的数量设为Mi,则肿瘤能够从(病例编号,肿瘤编号)的组(i,j)中来确定。在此,1≤i≤C,1≤j≤Mi。并且,在本实施例中由于病变的对象是肝肿瘤,虽然称为了“肿瘤编号”,不过在本发明中采用共同的表现,称为“病变编号”。
在步骤S113,从在步骤S112提取的病变区域选择一个区域。
在步骤S114,从在步骤S113选择的病变区域中提取图像特征量。在本实施例中,作为图像特征量,从非专利文献:“根本、清水、萩原、小
Figure BDA00002159221900112
绳野所著‘根据多个特征量中的特征选择的乳房X线图像上的肿瘤影像判别精确度的改善以及快速的特征选择法的提出(多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案’,电子信息通信学会论文集(電子情報通信学会論文誌)D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”中所记载的490种的特征量中,选用若干个能够适用于肝肿瘤的特征量。将该特征量数量设为NF个。在该步骤中提取的特征量是根据(病例编号、从该病例(医用图像)中提取的肿瘤编号、特征量编号)的组(i,j,k)来确定的。在此为,1≤i≤C,1≤j≤Mi,1≤k≤NF
在步骤S115,检查在步骤S112提取的病变区域中是否有未选择的病变,在有未选择的病变的情况下,返回到步骤S113,在选择了未选择的病变区域之后,再次执行步骤S114。在没有未选择的病变的情况下,即,在针对步骤S112所提取的所有的病变区域,进行了步骤S114的特征量选择的情况下,结束图3的流程图的处理,返回到图2的流程图。
在图2的步骤S12,进行读片报告的分析处理。具体而言,从读片报告中提取读片项目以及疾病名称。在本实施例中,进行词素分析以及文法分析,该词素分析以及文法分析利用了存放有读片项目的读片项目单词辞典以及存放有疾病名称的疾病名称单词辞典。通过这些处理,提取与在各个单词辞典中存放的单词一致的单词。作为词素分析技术例如有,非专利文献:MeCab(http://mecab.sourceforge.net)或ChaSen(http://chasen-legacy.sourceforge.jp)等,作为文法分析技术例如有,非专利文献:KNP(http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html),CaboCha(http://chasen.org/~taku/software/cabocha/)等。读片报告由于是由医师以读片报告独特的表现来描述的情况较多,因此,希望能够开发出对读片报告具有针对性的词素分析技术、文法分析技术、以及各种单词辞典。
图4示出了腹部CT检查的读片报告的例子,图5示出了从图4的读片报告中提取的读片项目以及疾病名称。读片项目通常提取多个,疾病名称提取一个。将从第i个病例中的读片报告中提取的读片项目的数量设为Ni,则读片项目能够根据(病例编号,读片项目编号)的组(i,j)来确定。在此为,1≤i≤C,1≤j≤Ni
并且,在图5中虽然仅提取了读片项目以及疾病名称的单词,不过也可以同时提取表示读片报告中的病变的位置的字符串,以及表示时相的字符串。在此对时相进行补充说明。在对肝脏的病变进行鉴别时有效的方法是,快速静脉注射造影剂,并随着时间的经过来进行拍摄的造影检查。一般在肝脏的造影检查中,对肝脏进行拍摄一般是在以下情况:造影剂流入肝动脉,多血症肿瘤染色的动脉相;分布到肠道以及脾脏的造影剂从门静脉流入,肝实质主要被造影的门静脉相;造影剂均衡地达到肝的血管内外的平衡相;以及造影剂留置在肝的间质组织的晩期相等。在读片报告中描述的较多的是病变在脏器上的位置以及在造影检查时关注的时相的信息。这样,由于不仅是读片项目,位置以及时相的信息也被合在一起提取,这将有用于以后将要说明的读片知识的提取。图6示出了与读片项目同时提供了位置和时相的信息的例子。例如,分析图4的读片报告,根据“在肝S3区域发现早期染色”这一文节,作为“早期染色”的位置属性“肝S3区域”被提取。同样,根据“在晚期相出现洗脱(washout)”这一文节,作为“洗脱(washout)”的时相属性“晚期相”被提取。
若单纯地解释图4的读片报告,则如图6所示,关于“早期染色”的时相以及关于洗脱(washout)的位置的部分成为空白。对此,通过利用读片项目“早期染色”是与早期相相对应的单词这一事前知识,以及对表示示出“早期染色”的状态的肿瘤与“在晚期相的洗脱(washout)”的肿瘤为同一肿瘤的上下文进行解释,被提取的位置和时相的信息则成为图7所示那样。
在步骤S13,检查在存放有用于得到读片知识的病例的数据库中是否有未获得的病例,在有未获得的病例的情况下,返回步骤S10,在获得了未获得的病例之后,执行步骤S11以及S12。在没有未获得的病例的情况下,即针对所有的病例执行了步骤S11的图像特征提取以及步骤S12的报告分析之后的情况下,进入步骤S14。
由于步骤S11与步骤S12的结果不相互依存,因此执行顺序也可以相反。
在达到步骤S14之时,例如获得图8所示的一系列数据。即,按照每个病例获得图像特征量、读片项目、以及疾病名称。对于病例编号1的病例,在医用图像中包含M1个病变,从各个病变提取的图像特征量的个数为NF个。并且,读片报告中的读片项目的数量为N1个。例如,在以病变编号(1,1)所示的第一个病变中,第一个图像特征量的值为0.851。并且,以读片项目编号(1,1)所示的第一个读片项目的值为“早期染色”。在图8的例子中,各个图像特征量为0以上1以下的数值,读片项目以及疾病名称为字符串。作为图像特征量也可以使用负的值或比1大的值。并且,作为读片项目以及疾病名称,也可以以预先决定的单词ID的形式来存放数据。
在步骤S14,根据在步骤S11得到的图像特征量、在步骤S12得到的读片项目以及疾病名称,来提取读片知识。在本实施例中,将图像特征量、读片项目、以及疾病名称这三项中的两项的相关关系作为读片知识。
以下对从图像特征量、读片项目、以及疾病名称这三项中得到的三组两项相关关系进行说明。
(1)(图像特征量-读片项目)之间的相关关系
对求出(图像特征量,读片项目)这一对之间的相关关系的方法进行说明。相关关系的表现形式虽然有多个,在此利用相关比。相关比是表示质的数据与量的数据之间的相关关系的指标,由(式1)来表示。
[数式1]
&eta; 2 = &Sigma; i N i ( x &OverBar; i &CenterDot; - x &OverBar; ) 2 &Sigma; i &Sigma; j ( x ij - x &OverBar; ) 2 = S B S T (式1)
在此,xij:属于质的数据的种类i的第j个观测值
Figure BDA00002159221900142
属于质的数据的种类i的观测值的平均值
Figure BDA00002159221900143
全体的平均值
Ni:属于种类i的观测数
SB:种类间方差
ST:所有方差
在读片报告中考虑包含某读片项目的情况以及不包含的情况这两个种类,将此作为质的数据。将从医用图像提取的某图像特征量的值本身作为量的数据。例如,针对被包含在用于提取读片知识的病例数据库中的所有病例,将读片报告划分为包含某读片项目的或不包含某读片项目的。在此,对求出读片项目“早期染色”与图像特征量“早期相中的肿瘤内部的平均亮度值”的相关比的方法进行说明。在(式1)中,将种类i=1设为包含“早期染色”,将种类i=2设为不包含“早期染色”。将从读片报告中包含“早期染色”的病例中提取的作为肿瘤图像的“早期相中的肿瘤内部的平均亮度值”的第j个观测值设为x1j。并且,将从读片报告中不包含“早期染色”的病例中提取的作为肿瘤图像的“早期相中的肿瘤内部的平均亮度值”的第j个观测值设为x2j。“早期染色”是指,由于表示的是在造影早期相中CT值上升,因此在这种情况下,能够预想到相关比增大(接近于1)。并且,早期染色依存于肿瘤的种类,而不依存于肿瘤的大小,因此能够预想到读片项目“早期染色”与图像特征量“肿瘤面积”的相关比变小(接近于0)。这样,计算所有的读片项目与所有的图像特征量之间的相关比。
图9示出了读片项目与图像特征量之间的相关关系(在此为相关比)的概念图。左侧列举了多个读片项目,右侧列举了多个图像特征量的名称。并且,相关比为阈值以上的读片项目与图像特征量之间以实线连接。由于相关比的值在0以上1以下,因此作为阈值能够利用0.3~0.7左右的值。最终以阈值对计算的相关比进行二值化,从而求出图9所示的信息。对其中的一个例子进行补充。在肝肿瘤的造影CT检查中,肿瘤几乎在使用造影剂之前的CT图像(称为单纯、单纯CT、单纯相等)呈现低浓度,在大多的情况下,读片报告描述为“低浓度”、“有LDA(Low Density Area:低密度区)”等。因此,“低亮度”或“LDA”的读片项目与造影剂使用前的CT图像中的肿瘤内部的平均亮度(在图9中略记作“单纯相平均亮度”)之间的相关性增大。
并且,图10是读片项目与图像特征量之间的相关关系(例如,相关比)的其他的概念图。在该图中,对相关比进行多值表现,读片项目与图像特征量之间的实线的宽度相当于相关比的大小。例如,在造影早期相的CT值上升的“早期染色”与早期动脉相(略称为早期相、动脉相)中的肿瘤内部的平均亮度(在图10中略记作“动脉相平均亮度”)之间的相关增大。
通过关注相关比的值,能够确定与某读片项目相关性高的图像特征量。实际上在一个病例中,含有多个图像以及多个病变(肿瘤)的情况较多,在这种情况下,读片报告中含有多个与病变相关的记载。例如,在造影CT检查中,以造影剂使用前以及使用后的多个时刻中的定时来进行CT摄影。因此,能够得到多个切片图像的集合,切片图像的一个集合中含有多个病变(肿瘤),从一个病变中提取多个图像特征量。因此能够得到的图像特征量的数量为:(切片图像集合数)×(从一个患者检测出的病变数)×(图像特征量的种类数),并且需要求出这些多个图像特征量与从一个读片报告中提取的多个读片项目或疾病名称的相关关系。当然虽然能够通过利用大量的病例,来进行正确的对应,与利用图7所示的病变位置和时相同样,只要事先将读片报告的记载与对应的图像特征量进行对应,就能够求出更正确的相关关系。
在以上的说明中,虽然对质的数据为包含某读片项目以及不包含的这两种情况进行了说明,不过也可以是某读片项目(例如,“边界清晰”)和成为其反义词的读片项目(例如,“边界不清晰”)这两种。并且,在读片项目为“低浓度”、“中浓度”、“高浓度”等序号尺度的情况下,作为上述的各个种类(在该例子中为三种)也可以计算相关比。
并且,对于“低浓度”、“低亮度”、“低吸収”等同义语而言,可以预先制作同义语辞典,将这些作为相同的读片项目来处理。
(2)(图像特征量-疾病名称)之间的相关关系
关于一对的(图像特征量,疾病名称)之间的相关关系,能够与(图像特征量,读片项目)之间的情况同样利用相关比。图11示出了疾病名称与图像特征量之间的相关关系(例如,相关比)的概念图。在该图中与图9相同,对相关关系进行二值表现,当然也可以进行图10所示的多值表现。
(3)(读片项目-疾病名称)之间的相关关系
针对一对的(读片项目,疾病名称)之间的相关关系的求出方法进行说明。相关关系的表现方式为多个,在此利用对数似然比。对数似然比是表示质的数据之间的搭配强度的指标,以(式2)表示。
[数式2]
G ( X , Y ) = a log aN ( a + b ) ( a + c ) + b log bN ( a + b ) ( b + d )
(式2)
+ c log cN ( a + c ) ( c + d ) + d log dN ( b + d ) ( c + d )
在此,X为读片项目,Y为疾病名称。
a、b、c、d如下表所示,为单词各个组合的出现频度。
Figure BDA00002159221900163
a:单词X,Y搭配的频度
b:单词X以单体出现的频度
c:单词Y以单体出现的频度
d:单词X和Y均未出现的频度
从(式2)可知,对数似然比可以看作是考虑了事件X、Y以及互斥事件
Figure BDA00002159221900164
的搭配指标。
并且,也可以取代对数似然比,来采用(式3)所示的支持度(Support)、(式4)所示的可信度(Confidence)、以及(式5)所示的提高度Lift等。除此以外,也可以采用conviction、φ系数。关于conviction、φ系数,在与关联规则分析相关的文献(例如,非专利文献:加藤、羽室、矢田共著的“数据挖掘及其应用(テ一タマイニンクとその応用)”,朝仓书店)中有记载。
[数式3]
support ( X &DoubleRightArrow; Y ) = count ( X &cup; Y ) | D | (式3)
在此,X,Y:任意的项集合
Figure BDA00002159221900172
|D|:所有事项数量
count(X):在数据库D中的包含有项集合X的事项数
在此,由于求的是一对的(読影項目、疾病名)之间的关联规则,因此可以进行以下的再定义。
X:一个读片项目
Figure BDA00002159221900173
为读片项目名的项集合
Y:一个疾病名称
疾病名称的项集合
|D|:所有病例数量
count(X∪Y):所有病例中包含读片项目X与疾病名称Y双方的病例数量该支持度的意思是,在所有病例,读片项目X与疾病名称Y同时出现的概率(搭配概率)。若读片项目X与疾病名称Y同时出现在较多的读片报告时,可以看作读片项目X与疾病名称Y的关联性(相关性)强。
[数式4]
confidence ( X &DoubleRightArrow; Y ) = count ( X &cup; Y ) count ( X ) = P ( Y | X ) (式4)
在此,X,Y:任意的项集合
Figure BDA00002159221900176
count(X):数据库D中的包含项集合X的事项数量
可信度是指,在将条件部X的项的出现作为条件时,结论部Y的项的出现概率。在出现了读片项目X的读片报告中,若疾病名称Y出现得较多,则视为读片项目X与疾病名称Y的关联性强。
[数式5]
lift ( X &DoubleRightArrow; Y ) = confidemce ( X &DoubleRightArrow; Y ) P ( Y ) = P ( Y | X ) P ( Y ) (式5)
在此,X,Y:任意的项集合
Figure BDA00002159221900182
count(X):在数据库D中,包含项集合X的事项数量
P(Y):项集合Y的出现概率
P ( Y ) = count ( Y ) | D |
|D|:所有事项数量
提高度是指,相对于在不将读片项目X的出现作为条件时的疾病名称Y的出现概率,在将读片项目X的出现作为条件时的疾病名称Y的出现概率(即可信度)上升了多少的指标。提高度为1.0是指,不论读片项目X是否出现,疾病名称Y的出现概率不变,可以考虑为不关注规则
Figure BDA00002159221900184
Figure BDA00002159221900185
。这意味着,读片项目X的出现与疾病名称Y的出现从统计上来看是独立的。在提高度比1.0大,且在该值越大的情况下越被视为关注规则。即视为读片项目X与疾病名称Y之间的相关性大。
图12是读片项目与疾病名称之间的相关关系(例如,对数似然比)的概念图。在该图中与图9同样对相关关系进行二值表现,不过也可以是图10所示的进行多值表现。
在以上的方法中,若进行步骤S14的处理,则能够分别得到图13、图14、图15所示的(图像特征量-读片项目)之间的相关关系、(图像特征量-疾病名称)之间的相关关系、(读片项目-疾病名称)之间的相关关系。另外表中的数值在图13和图14中为相关比,在图15中为对数似然比。相关比为0以上1以下的值。对数似然比取0以上的值。并且,得到的相关关系以图13、图14、图15的形式被存放到读片知识数据库110。
<类似病例检索>
以下,利用图16的流程图以及图17的类似病例检索画面的例子对类似病例检索的顺序进行说明。图17所示的类似病例检索画面的例子是,在将读片对象图像显示部130、报告输入输出部140以及类似病例显示部190的显示部兼用在一台显示装置之时,该显示装置的画面例子。
在步骤S20,通过读片对象图像读取部120,从医用图像摄像装置获得读片对象图像。与图2的制作读片知识之时相同,在本实施例中成为对象的医用图像摄像装置为多层面CT,对象脏器以及疾病为肝肿瘤。读取的图像(图17中的读片对象图像201),被显示在读片对象图像显示部130。
在步骤S21,读片者一边参照被显示在读片对象图像显示部130的读片对象图像,一边通过报告输入输出部140来输入读片报告。被输入的读片报告被显示在图17所示的读片报告输入输出区域210。在多层面CT装置的情况下,通过重构通常能够得到多张与体轴垂直的面(axial view:轴位)的切片图像。读片者针对这些多个切片图像一边改变切片位置一边确认病变(在本实施例为肝肿瘤)的有无,并输入读片报告。在输入读片报告之时,读片者可以利用鼠标等输入设备,来指定在读片对象图像上检测出的病变的位置(切片编号,以及切片图像上的坐标和区域信息)。在读片对象图像上存在多个病变,并在读片报告中进行了与这些多个病变相关的描述的情况下,只要明确地记录读片对象图像的病变与读片报告中的描述,就将该读片报告利用于读片知识数据库110的制作中。
关于病变位置或区域的指定,利用图18来进行说明。图18示出了在读片对象图像300(在此为腹部CT)中,包含腹部周围310、对象脏器(在此为肝脏)320、以及病变区域330。在指定坐标的情况下,例如,用鼠标来点击肿瘤的中心位置附近(图18的点340)。在指定区域的情况下,所进行的方法是以矩形或圆形、椭圆来圈出图18的病变区域330,或者以自由的曲线来指定病变部(图18的病变区域330)与正常组织(图18的病变区域330的外侧)之间的边界。在仅指定中心坐标的情况下以及通过以矩形、圆形或椭圆形等来圈出指定的区域的情况下,虽然具有对读片者的负担小的优点,但是为了图像特征量的提取,需要另外通过图像处理算法来自动地提取正确的病变区域。关于肿瘤区域的提取可以采用与步骤S112相同的方法。
在步骤S22,接受来自读片者的类似病例检索的请求。
在具有典型的症状的肿瘤的情况以及读片者为熟练的专业人员的情况下,通常能够毫不犹豫地结束读片报告的记入。在具有非典型的症状的肿瘤的情况以及读片者的熟练度低的情况下等,读片者在读片终端200进行类似病例检索的请求。类似病例检索的请求例如可以利用鼠标来点击图17中的类似病例检索图符220来进行。在读片对象图像中存在多个病变的情况下,在指定了诊断中犹豫的病变之后,进行类似病例检索的请求。
对该病变的指定进行说明。在步骤S21的读片报告记入时,在包含了在诊断时犹豫的病变的病变位置以及区域被指定了多个的情况下,只要选择其中的某个即可。在步骤S21,若没有指定在诊断时犹豫的病变,则在此重新指定病变。作为指定的方法可以是指定病变的中心付近的一点,也可以指定病变区域。关于点或区域的指定,能够采用与步骤S21相同的方法。在中心付近的一点被指定的情况下,以被指定的点为基准,从该点的近旁的区域中,利用与步骤S112相同的方法来设定详细的病变区域。在大致指定了病变区域的情况下,利用与步骤S112相同的方法,从该区域中设定详细的病变区域。
并且,在存在来自读片者的类似病例检索请求的情况下,进入到步骤S23。此时,可以是读片报告记入结束的状态,也可以是正在进行记入的状态。即使是完全没有记入的状态下,也能够在以后的步骤S25来进行类似病例检索,在这种情况下,不进行按照作为本发明的特征的读片者的关注点的类似病例检索,而是以预先设定的标准的图像特征量集合来进行类似病例检索。
并且,在读片报告记入经过了一定时间以上的情况下,或有来自读片者的有关读片结束的输入的情况下,结束图16的处理。用于受理类似病例检索请求以及读片结束输入的处理部虽然在图1没有示出,既可以是被内藏于读片终端200的键盘内等的物理开关,也可以是以医疗用的高精细监视器等构成的被显示在读片对象图像显示部130的GUI(图形用户界面)菜单等。图17是GUI菜单的一个例子,类似病例检索图符220是用于受理类似病例检索请求的虚拟按键,图符230是用于受理读片结束输入的虚拟按键。
步骤S23,图像特征提取部160针对读片对象图像,从在步骤S22被指定或被提取的病变区域提取图像特征量。若被指定或被提取的病变区域为多个,则针对所有的病变区域提取预先决定的NF个特征量。图像特征量的提取方法与步骤S114相同。
在步骤S24,报告分析部150对在步骤S21记入的读片报告进行分析。在此,进行与读片知识数据库的制作时的步骤S12的读片项目以及疾病名称的提取相同的处理。
在步骤S25,权重决定部170以及类似病例检索部180根据读片对象图像以及读片者所记入的读片报告,从病例数据库100检索类似病例。被检索的类似病例被显示在图17的类似病例输出区域240。在此考虑到的状况是,在步骤S21,读片者已经对图4的读片报告记入完毕,在步骤S24,图5的读片项目以及疾病名称已经被提取,在步骤S23,图像特征量已经从读片对象图像中被提取。并且,在读片知识数据库110中已经存放有,图13、图14、图15所示的图像特征量、读片项目、疾病名称这三项之中的二项之间的相关关系。
在本实施例中,根据从读片报告提取的读片项目以及疾病名称的至少一方,在类似病例检索时进行加权距离计算。即,针对与被提取的读片项目以及疾病名称的至少一方相关联的图像特征量使权重相对增大,针对没有关联的图像特征量使权重相对减小。据此,能够对反映了被记入到读片报告的医师的关注点的类似病例进行检索。即,类似病例检索部180在被存储在病例数据库100的病例中所包含的医用图像与读片对象图像之间算出加权距离。类似病例检索部180将包含成为算出比规定的阈值小的加权距离的依据的医用图像的病例,作为类似病例,从病例数据库100中进行检索。或者,类似病例检索部180将包含成为算出从小到大的顺序中的规定个数的加权距离的医用图像的病例,作为类似病例,从病例数据库100中进行检索。
加权距离例如能够由(式6)来计算。
[数式6]
D W ( x , u i ) = &Sigma; j = 1 n w j ( x j - u j i ) 2 (式6)
x:未知矢量
ui:比较对象中的第i个矢量
n:矢量的维数
wj:针对第j个维数的权重
在此,x为连接了所有的从读片对象图像中提取的多个(NF个)图像特征量的矢量。ui是从被存放在病例数据库100的病例中的第i个病例中提取的图像特征量。在连接不同种类的图像特征量之时,为了不受因每个特征量的尺度的不同而带来的影响而进行正规化(正规化为平均值为0、方差值为1)。
以下示出加权方法的具体例子。
(1)从读片报告提取了读片项目以及疾病名称双方的情况
这种情况相当于,读片者几乎结束了读片报告的记入,以类似病例检索的结果来提高记入内容的可信度的状况。
在此,对利用(读片项目-图像特征量)之间的相关关系与(读片项目-疾病名称)之间的相关关系来进行加权的例子进行说明。前者示出了工学上的图像特征量与医学上的(换而言之,“由医师的观点决定的”)读片项目的对应关系,相当于在医学上定义的图像特征量。后者示出了以医师的观点决定的读片项目与(以该读片项目的组合决定的)疾病名称的对应关系,相当于医师所具有的诊断知识。在以后述的方法来并用两个相关关系的情况下,同时考虑两者来进行类似病例检索。具体而言,在读片报告中记入有多个读片项目的情况下,能够按照读片项目对决定疾病名称的影响程度,来合成(读片项目-图像特征量)之间的权重。
(疾病名称-图像特征量)之间的相关关系虽然也能够使用,但是由于以下的理由而此次不使用。在某个疾病具有多个症状(例如A,B,C这三种)的情况下,与症状A相关的图像特征量和与症状B相关的图像特征量分别不同。在从疾病名称来决定图像特征量的权重的情况下,将症状A、B、C的图像特征量的权重混在(被平均化后的权重)一起来利用。由于以读片项目来确定多个症状中的症状的情况较多,因此,只要利用被记入的读片项目,就能够进行符合医师的关注点的类似病例检索。
在此时刻,从图4的读片报告中,提取图5所示的“早期染色”和“washout(洗脱)”来作为读片项目,提取“肝细胞癌”来作为疾病名称。权重决定部170参照读片知识数据库110中的以图15的形式而被存放的(读片项目-疾病名称)之间的相关关系表,获得(早期染色-肝细胞癌)之间的相关关系和(washout-肝细胞癌)之间的相关关系。在此将表示获得的相关关系的数值直接用作权重,分别表示为wx,wy。并且,权重决定部170参照读片知识数据库110中的以图13的形式而被存放的(图像特征量-读片项目)之间的相关关系表,获得“早期染色”与所有的图像特征量之间的相关关系,以及“washout”与所有的图像特征量之间的相关关系。在此,将表示获得的相关关系的数值直接用作权重,分别表示为wa’i,wb’i。在此,i是表示图像特征量的种类的注脚。权重决定部170利用这些权重,如(式7)那样计算与第i个图像特征量相对应的权重Wi
[数式7]
Wi=wxwa,i+wywb,i
                            (式7)
关于以上的加权方法在图19中示出了概要。
例如,针对第4个图像特征量“边缘强度”的权重,作为wxwa’4与wywb, 4的和而被求出。在此,wxwa’4是,对表示(早期染色-边缘强度)之间的相关关系的值wa’4,以表示包含相同读片项目的(早期染色-肝细胞癌)之间的相关关系的值wx来进行加权后的值。wywb’4是,对表示(washout-边缘强度)之间的相关关系的值wb ’4,以表示包含相同的读片项目的(washout-肝细胞癌)之间的相关关系的值wy来进行加权后的值。
即使在读片项目的个数为两个以外的情况下,通过对以(读片项目-疾病名称)之间的相关关系来加权后的(读片项目-图像特征量)之间的相关关系进行加法运算,从而也能够对应。根据该公式,能够算出同时考虑了读片者所着眼的读片项目以及疾病名称、读片项目与疾病名称之间的关联性、以及读片项目与图像特征量之间的关联性的权重,结果是,能够进行重视了这些的类似病例检索。具体而言,在多个读片项目被记入的情况下,按照读片项目对疾病名称的决定的影响程度,能够合成(读片项目-图像特征量)之间的权重。
并且,在图16的流程图中虽然是只有在有类似病例检索请求的情况下才执行类似病例检索,不过也可以在读片报告记入过程中的其他的定时进行类似病例检索。作为其他的定时是指,至少一个以上的读片项目或疾病名称被记入后,并经由一定时间以上仍未被记入到读片报告的情况等。这种方法是,解释为读片者对读片产生犹豫,并对成为启发的类似病例先进行提示,尽量使读片能够进展的工作方法。在本实施例中,在至少一个以上的读片项目或疾病名称被记入的情况下,能够按照读片者的关注点来进行类似病例检索。以后,对从读片报告中仅能提取读片项目的情况,以及仅能提取疾病名称的情况进行说明。
(2)从读片报告中仅能提取读片项目的情况
这种情况是,相当于读片者虽然能够判断应该关注的读片项目,但是在最终的疾病名称的诊断上犹豫,将要以类似病例检索的结果来得到疾病名称诊断的启发的状况。在此,仅利用(读片项目-图像特征量)之间的相关关系来进行加权。
此时,从图中未示出的读片报告中提取作为读片项目的“早期染色”和“washout(洗脱)”。权重决定部170参照读片知识数据库110中的以图13的形式而被存放的(图像特征量-读片项目)之间的相关关系表,获得“早期染色”与所有的图像特征量之间的相关关系,以及“washout”与所有的图像特征量之间的相关关系。在此,将表示获得的相关关系的数值直接用作权重,分别表示为wa’i,wb’i。在此,i为表示图像特征量的种类的注脚。利用这些权重,如(式8)所示计算与第i个图像特征量相对应的权重Wi
[数式8]
Wi=wa,i+wb,i    (式8)
以上的加权方法由图20示出了概要。
例如,针对第4个图像特征量“边缘强度”的权重是,将表示(早期染色-边缘强度)之间的相关关系的值wa’4与表示(washout-边缘强度)之间的相关关系的值wb’4相加后的值。
即使在读片项目的个数在两个以外的情况下,也能够通过对(读片项目-图像特征量)之间的相关关系进行相加来对应。根据该公式,能够计算同时考虑了读片者所关注的读片项目、以及读片项目与图像特征量之间的关联性的权重,结果是能够进行关注了这些的类似病例检索。但是,在被提取的读片项目为多个的情况下,则均等地进行处理,在读片项目中不能决定出优先顺序。成为仅以读片项目来进行类似病例检索,检索结果的病例成为推定疾病名称的启发,若将被推定的疾病名称重新记入到读片报告,则如在“(1)从读片报告中提取了读片项目以及疾病名称双方的情况”中说明的那样,按照读片项目对决定疾病名称的影响程度,来合成(读片项目-图像特征量)之间的权重。
(3)从读片报告仅提取了疾病名称的情况
这种情况相当于,读片者从直感上等来推定疾病名称,但是对于成为依据的读片项目在判断上产生犹豫,从类似病例检索的结果来得到诊断依据(读片项目)的启发的状况。在此,仅利用(疾病名称-图像特征量)之间的相关关系来进行加权。
此时,从读片报告中提取作为疾病名称的“肝细胞癌”。权重决定部170参照以图14的形式被存放在读片知识数据库110中的(图像特征量-疾病名称)之间的相关关系表,获得“肝细胞癌”与所有的图像特征量之间的相关关系。在此,将表示获得的相关关系的数值直接用作权重,表示为wi。在此,i是表示图像特征量的种类的注脚。利用这些权重,如(式9)所示那样计算与第i个图像特征量对应的权重Wi
[数式9]
Wi=wi    (式9)
关于以上的加权方法由图21示出概要。
例如,针对第4个图像特征量“边缘强度”的权重是表示(肝细胞癌边缘强度)之间的相关关系的值w4
由于疾病名称通常为一个,只要进行上述的处理即可,在记入了两个以上疾病名称的情况下等,通过对这些进行加法运算,从而能够对应。通过进行加法运算,针对两个以上的疾病,能够以平均的图像特征量来进行类似病例检索。通过该公式,能够计算同时考虑了读片者所关注的疾病名称,以及疾病名称与图像特征量之间的关联性的权重,其结果是,能够进行重视了这些的类似病例检索。仅以疾病名称来进行类似病例检索,检索结果的病例成为读片项目推定的启发,只要将被推定的读片项目重新记入到读片报告,就能够像在“(1)能够从读片报告中提取了读片项目以及疾病名称这双方的情况”中说明的那样,能够计算同时考虑了读片者所关注的读片项目以及疾病名称、读片项目与疾病名称的关联性、以及读片项目与图像特征量的关联性的权重,其结果是,能够进行重视了这些的类似病例检索。
并且,在本实施例中虽然是利用(式6)的加权距离来进行图像之间的类似判断的,但是在利用的特征量的总维数增大时,在被计算的距离中由于相关比小的(或中等程度)特征量较多,因此会出现相关比大的特征量被埋没的可能性。在这种情况下可以采用的方法是,在距离计算中仅使用对应的相关比为规定的阈值以上的图像特征量,或者,在距离计算中仅使用相关比为上位的若干个图像特征量。这种情况下的个数可以是事前决定的。
综上所述,在本实施例的类似病例的检索中,根据从读片报告中提取的读片项目以及疾病名称的至少一方,在类似病例检索中进行加权距离的计算。即,针对与被提取的读片项目以及疾病名称的至少一方相关联的图像特征量,使权重相对增大,针对没有关联的图像特征量,使权重相对减小。这样,能够进行反映了被记入在读片报告中的医师关注点的类似病例检索。
在此,对三种加权方法的使用区别进行说明。
在读片报告中记入了读片项目以及疾病名称双方的情况下使用图19的加权方法,在仅记载了读片项目的情况下使用图20的加权方法,在仅记载了疾病名称的情况下使用图21的加权方法。发明人员最希望的是图19的加权方法。另外,使用图20和图21的方法进行类似病例检索时,将检索结果的类似病例作为参考,能够将欠缺的疾病名称或读片项目追记到读片报告。在该阶段能够使用图19的加权方法。这样能够提高类似病例检索的精确度,而且能够将类似的检索结果作为参考,并能够更新读片报告。这样,通过利用本发明,在每当更新读片报告时进行检索,从而能够提高诊断精确度。
(实施例2)
在实施例1中,对反映了读片者所关注的被记入到读片报告的读片的图像检索(类似病例检索)进行了说明。在研修医等经验较少的读片者的情况下,会有记入的读片报告的内容不确切的可能性,在这种情况下则成为对反映了不确切的关注点的图像进行了检索。但是,即使在这种情况下,执行的也仅是与不确切的关注点相对应的图像特征量的(其他的观点的)类似图像检索,不会对完全不类似的病例进行检索。比起类似检索的结果而言,不如说是在不确切的读片报告的制作上出现问题。在本实施例中,对将该問題防止于未然的类似病例检索装置的工作进行说明。
本发明的实施例2中的类似病例检索装置的构成与实施例1中图1所示相同。对于与实施例1相同的构成要素省略说明。
在读片知识数据库110中存放有,通过分析多个病例而事前得到的读片知识。被存放的读片知识的内容与实施例1略有不同,详细待后述。权重决定部170根据在报告分析部150提取的文本特征量、在图像特征提取部160提取的图像特征量、以及被存放在读片知识数据库110的读片知识,在判断报告分析部150所提取的文本特征量的妥当性的同时,决定针对在图像检索时所使用的多个图像特征量的权重。
以下,对有关本发明的实施例2的各个部的工作进行说明。
<读片知识数据库的事前作成>
在进行类似病例检索之时,事前得到读片知识,并存放到读片知识数据库110。读片知识是从汇集了多个由医用图像与读片报告的配对来构成的病例中得到的,所述读片报告是对该医用图像进行读片的结果。作为病例可以使用被存放在病例数据库100中的,也可以使用被存放在其他的数据库中的,该病例数据库100是在进行类似病例检索时用于检索类似病例。所需的病例数是,利用各种数据挖掘算法,而能够充分地得到某种规则性以及知识的数量。通常利用数百至数万个数据。在本实施例中,作为读片知识,利用(1)图像特征量、(2)读片项目、(3)疾病名称这三项中的二项之间的相关关系,以及利用与某读片项目或疾病名称相对应的至少一种以上的图像特征量的值的分布。
以下,利用图2的流程图对读片知识的制作过程进行说明。与实施例1同样,成为本实施例的对象的是,使用的医用图像摄像装置为多层面CT,对象脏器以及疾病为肝肿瘤。
从步骤S10到步骤S13的工作与实施例1相同。在到达步骤S14的时刻,能够获得图8所示的一系列数据。
在步骤S14,从在步骤S11得到的图像特征量、在步骤S12得到的读片项目以及疾病名称中提取读片知识。在读片知识中,关于二项之间的相关关系由于与实施例1相同,因此省略说明。关于图像特征量的值的分布,以下对将与某读片项目或疾病名称相对应的“一种”图像特征量的值的分布作为读片知识的情况来进行说明。
(1)与读片项目相对应的图像特征量的分布
图22(a)示出了,在与肝肿瘤图像相对应的读片报告中记载了读片项目为“边界清晰”的病例中的图像特征量“边缘强度”的值的分布,图22(b)示出了,在上述的读片报告中没有记载读片项目为“边界清晰”的病例中的图像特征量“边缘强度”的值的分布。图像特征量“边缘强度”是,肿瘤(病变)区域与正常组织区域之间的边界边缘上的亮度的一级差分的值。在读片报告中被记载为“边界清晰”的病例中,肿瘤边界的边缘强度大的较多,成为图22(a)所示的有偏重的分布。另外,即使在边缘强度大也无助于疾病名称诊断的情况下,读片报告中不记载“边界清晰”的情况较多。因此,图22(b)与图22(a)相比偏重程度较小。并且,一般而言,在没有记载某读片项目的病例数比记载有某读片项目的病例数多的情况下,频度的总和(图22的积分值图表)则趋向于,比起图22(a)而言,图22(b)逐渐增大。
综上所述,在本实施例中,重新将“从记载了某读片项目(或疾病名称)的读片报告的病例中所包含的肿瘤图像中提取的图像特征量的分布”用作读片知识。此时,在(读片项目(或疾病名称)、图像特征量)的组合中,只有另外计算完毕的相关关系(例如,相关比)在预先规定的阈值以上的情况下,才算出图像特征量的分布。在记载了某读片项目(或疾病名称)的病例中,即使在图22(a)所示的具有图像特征量分布的偏重的情况下,当与没有记载该读片项目或疾病名称的病例同样具有分布的偏重的情况下,也不能说该读片项目或疾病名称具有图像特征量的分布形状的特征。
作为分布的具体的表现方法,例如,能够利用(Gaussian MixtureModel:高斯混合模型)。并且,在分布的计算中,能够利用最大期望演算法(EM:Expectation Maximization)。得到的分布参数以图23所示的形式被存放到读片知识数据库110。在读片项目1与图像特征量1的交点单元格中存放有dim维数的参数。在一维的高斯混合模型的情况下,参数为正规分布的个数、各正规分布的平均以及标准偏差、以及针对各正规分布的权重。在图23中虽然其他的单元格为空白,不过实际上在另外计算完毕的相关关系为预先规定的阈值以上的情况下,也存放有同样分布的参数。并且,由于每个读片项目与图像特征量的组合其分布的复杂程度均不同,因此分布的参数的数量也可以分别不同。并且,也可以采用Parzen窗估计等其他的方法来表现分布。
(2)与疾病名称对应的图像特征量的分布
在图24(a)示出了,在与肝肿瘤图像对应的读片报告中,记载了疾病名称为“肝细胞癌”的病例中的图像特征量“动脉相中的肿瘤内部区域的平均亮度”的值的分布。图24(b)示出了,在与肝肿瘤图像对应的读片报告中,记载了疾病名称为“囊肿”的病例中的图像特征量“动脉相中的肿瘤内部区域的平均亮度”的值的分布。在疾病名称为“肝细胞癌”的情况下,由于在造影动脉相中呈较强的造影(CT值上升),因此成为图24(a)所示的分布。另外,在疾病名称为“囊肿”的情况下,由于即使在造影动脉相也不呈现造影,因此成为图24(b)所示的分布。分布的计算能够采用与读片报告中记载了读片项目的病例的情况相同的方法。此时,关于读片项目如先前所说明的那样,在(疾病名称-图像特征量)的组合中,仅在另外计算完毕的相关关系在预先决定的阈值以上的情况下,才算出图像特征量的分布。得到的分布的参数以图25所示的形式被存放到读片知识数据库110。
在以上的方法中,进行步骤S14的处理,能够分别得到图13、图14、图15所示的(图像特征量-读片项目)之间的相关关系、(图像特征量-疾病名称)之间的相关关系、(读片项目-疾病名称)之间的相关关系、以及图23的与读片项目有关的图像特征量的分布参数、和图25的与疾病名称有关的图像特征量的分布参数。并且,得到的相关关系和分布参数被存放于读片知识数据库110。
<类似病例检索>
以下,利用图16的流程图对类似病例检索的过程进行说明。
从步骤S20到步骤S24的工作与实施例1相同。
在步骤S25,权重决定部170以及类似病例检索部180根据读片对象图像以及读片者所记入的读片报告,从病例数据库100中检索类似病例。
在本实施例中,除了在实施例1中所说明的,通过进行利用在检索时(步骤S24)提取的读片项目以及疾病名称的加权,来进行类似病例检索之外,权重决定部170还根据事前(步骤S14)提取的读片知识(与读片项目或疾病名称有关的图像特征量的分布),验证在步骤S24提取的读片项目以及疾病名称的妥当性。
在此,在步骤S14视为,在读片知识数据库110中已经存放了:图13、图14、图15的(图像特征量、读片项目、疾病名称)这三项中的每二项之间的相关关系、图23的与读片项目有关的图像特征量的分布、图25的与疾病名称有关的图像特征量的分布。并且,在步骤S21,读片者已经记入了图26的读片报告。在步骤S23,已经从读片对象图像中提取了图像特征量。在步骤S24已经提取了图27的读片项目以及疾病名称。
以下考虑图27的读片项目中的“边界清晰”。权重决定部170从被存放于读片知识数据库110的图23的数据中,获得与读片项目“边界清晰”相对应的所有的图像特征量的分布。此时,关于与读片项目为“边界清晰”的相关关系小的图像特征量,由于分布的参数没有被存放,因此不能获得。关于同一种类的图像特征量,验证获得的图像特征量的分布与在步骤S23提取的图像特征量之间的关系。在步骤S23提取的图像特征量的值若为x1,则如(式10)所示,通过在以x1为中心的微小幅度±δ的范围内对概率密度函数p(i)进行积分,从而计算针对图像特征量x1的validity(x1)。validity(x1)是似然的一种。根据该validity(x1)的值,能够判断读片者所记入的读片项目“边界清晰”的妥当性。
[数式10]
validity ( x 1 ) = &Sigma; i = x 1 - &delta; x 1 + &delta; p ( i ) (式10)
图28示出了,在上述说明的图像特征量的妥当性的判断例子。图28(b)的图像特征量x2被提取的情况,比图28(a)的图像特征量x1被提取的情况,所表现的被记入的读片项目“边界清晰”的妥当性高。
由于图像特征量的种类存在多个,因此读片项目“边界清晰”的妥当性能够从多个图像特征量中来评价。在此,利用在步骤S14算出的(图像特征量-读片项目)之间的相关关系大的上位的个数,来判断读片项目的妥当性。针对该上位的若干个图像特征量,若所有的妥当性均在阈值以上,读片项目“边界清晰”最终被判断为“妥当”。上位的若干个的个数以及阈值可以事前求出。并且,虽然设为“所有的妥当性为阈值以上”的(AND条件),不过在“某一个妥当性为阈值以上”的(OR条件)的情况下,也能够将读片项目“边界清晰”最终判断为“妥当”。
权重决定部170同样,对图27中剩余的读片项目“低吸収”以及疾病名称“肝囊肿”进行妥当性的判断。
并且,关于疾病名称,在此虽然根据图24所示的(图像特征量-疾病名称)之间的関係(图像特征量的分布)来判断妥当性,不过也可以是根据图15所示的(读片项目-疾病名称)之间的相关关系来判断妥当性。
接着,在类似病例检索中对加权距离进行计算,并检索类似病例。由于该计算与实施例1相同,因此省略说明。
权重决定部170所算出的读片项目、疾病名称的妥当性的判断结果利用于如下情况。
报告输入输出部140对在读片时通过报告输入输出部140的输入装置被输入的读片报告进行加工,并显示到报告输入输出部140的显示装置。例如,图29所示那样,能够对将被提取的读片项目以及疾病名称中的、被判断为妥当性低的(妥当性在阈值以下)与被判断为妥当性高的(妥当性比阈值大)进行区分显示。在图29中,以矩形围起来的三个单词是被提取的读片项目或疾病名称,其中被反相显示的“边界清晰”以及“肝囊肿”是被判断为妥当性低的读片项目或疾病名称。通过进行这样的显示,读片者能够把握在自己记入的读片报告中以哪个为依据来进行类似病例的检索,同时还能够把握由类似病例检索装置判断为妥当性低的部分。而且,能够在参考被检索的类似病例的诊断结果的同时,还能够针对读片对象的图像再次进行读片。另外,在此,虽然对读片项目与疾病名称这两项进行了区分显示,也可以对两者进行区分显示。并且,虽然以二值表现了妥当性(是否进行反相显示),不过也可以根据妥当性的值的大小来进行多值表现。
在本实施例的开头中,对“在研修医等经验较少的读片者的情况下,会有记入的读片报告的内容不确切的可能性,在这种情况下则成为对反映了不确切的关注点的图像进行了检索。但是,即使在这种情况下,执行的也仅是与不确切的关注点相对应的图像特征量的(其他的观点的)类似图像检索,不会对完全不类似的病例进行检索。”进行了说明,不过通过将与妥当性低的读片项目或疾病名称相对应的图像特征量的权重设为0来进行检索,从而能够防止反映了不确切的关注点的图像检索。例如,在图19中,在根据从读片对象图像提取的图像特征而判断的结果为,读片项目“早期染色”的妥当性低的情况下,设为wa’i=0。同样,也可以将与被存放在读片知识数据库110的图13、图14、图15、图23、图25的读片知识矛盾的事项视为妥当性低,将对应的权重设为0。在较多的读片项目和疾病名称被提取的情况下,利用与被判断为妥当性高的剩余的读片项目以及疾病名称相对应的图像特征量的权重,来进行检索。在剩余的读片项目和疾病名称的数量少(少于预先规定的阈值)时,可以利用标准的权重来对图像特征量进行加权,来进行病例检索。
另外,在以上所述中,对将与某读片项目或疾病名称相对应的“一种”图像特征量的值的分布作为读片知识的例子进行了说明,不过也可以将两种以上的图像特征量的值的分布作为读片知识。图30示出了,与某读片项目或疾病名称相对应的三种图像特征量的值的分布的例子。分布的模型化与以前的说明相同,能够采用高斯混合模型或Parzen窗估计。并且,在包含有某读片项目的情况下的图像特征量的分布、与没有包含某读片项目的情况下的图像特征量的分布在特征量空间上被良好地分离了的情况下,能够利用SVM(Support Vector Machine:支持向量机)等图案识别方法,学习用于区分这两个的分布的识别器,并根据该识别器的识别结果来判断妥当性。
以上,在本实施例的类似病例的检索中,与实施例1同样,根据从读片报告中提取的读片项目以及疾病名称的至少一方,在类似病例检索中进行加权距离计算,从而能够进行反映了读片者的关注点的类似病例检索。除此之外,通过对在读片报告之中用于类似病例检索的读片项目以及疾病名称中的、被判断为妥当性低的低,与被判断为妥当性高的进行区分显示,从而能够向读片者提示类似病例检索的依据,以及读片报告中妥当性低的部分。
另外,在实施例1以及2中,对以由医用图像和读片报告构成的病例进行检索为例进行了说明,不过本发明的检索对象并非限定于病例,也可以将由图像和与图像对应的文本数据构成的数据组合作为检索对象。例如,能够将由植物图像和与该植物图像对应的说明构成的数据组合作为检索对象。在这种情况下,取代医用图像的图像特征量,而利用植物图像的图像特征量(例如,花瓣数量,茎的粗细等),取代读片报告,而利用对植物图像的说明,这样,能够在制作上述的说明之时,在将用户关注的图像特征量作为权重来反映的基础上,能够对植物图像进行检索。
另外,如图31所示,读片知识数据库110以及病例数据库110也可以不必存在于类似病例检索装置中,也可以存在于与类似病例检索装置所存在的场所A不同的场所B。在这种情况下,类似病例检索装置的权重决定部170和类似病例检索部180分别通过网络与读片知识数据库110和病例数据库100相连接。
并且,如图32所示,类似病例检索装置在本发明中所必须的构成要素为:报告分析部150、图像特征提取部160、权重决定部170、以及类似病例检索部180,其他的构成要素不是实现本发明的课题所必须的构成要素。
并且,上述的各个装置,具体而言可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。RAM或硬盘驱动器中存储有计算机程序。微处理器通过按照计算机程序进行工作,各个装置能够实现其功能。在此,计算机程序是为了实现规定的功能,而由多个针对计算机指示指令的指令代码组合而成。
并且,构成上述的各个装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而被制造的超多功能LSI,具体而言是包括微处理器、ROM、RAM等而被构成的计算机系统。RAM中存储有计算机程序。微处理器通过按照计算机程序进行工作,系统LSI能够实现其功能。
而且,构成上述的各个装置的构成要素的一部分或全部可以由能够装卸于各个装置的IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包括上述的超多功能LSI。微处理器通过按照计算机程序进行工作,IC卡或模块能够实现其功能。该IC卡或模块可以具有抗篡改性。
并且,本发明也可以是以上所示的方法。并且,也可以作为使计算机执行这些方法的计算机程序来实现,也可以是由所述计算机程序构成的数字信号。
并且,本发明可以将上述的计算机程序或上述的数字信号记录到计算机可读取的非一时性记录介质中,这些非一时性记录介质例如是软盘、硬盘、CD-ROM、MO、DVD(数字多功能光盘)、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。并且,也可以作为被记录在这些非一时性的记录介质中的所述数字信号来实现。
并且,本发明可以通过电气通信电路、无线或有线通信电路、以因特网为代表的网络、以及数据广播等来传递上述的计算机程序或上述的数字信号。
并且,本发明可以是具备微处理器和存储器的计算机系统,所述存储器存储上述的计算机程序,所述微处理器按照上述的计算机程序来工作。
并且,可以将上述的程序或上述的数字信号记录到上述的非一时性的记录介质并传送,或者可以将上述的程序或上述的数字信号通过所述网络等来传送,从而可以由独立的其它的计算机系统来执行。
而且,上述的实施例以及上述的变形例可以分别自由组合。
此次所公开的实施例全部应该理解为是一个例子,对本发明没有任何限制。本发明的范围不是上述的说明而是由权利要求来表示,与权利要求具有同等意思以及范围内的所有的变更均为本发明的趣旨所在。
本发明能够应用于检索并提示成为读片者所要参考的类似病例的类似病例检索装置,并且能够应用于为了研修读片医的读片教育装置等。
符号说明
100 病例数据库
110 读片知识数据库
120 读片对象图像读取部
130 读片对象图像显示部
140 报告输入输出部
150 报告分析部
160 图像特征提取部
170 权重决定部
180 类似病例检索部
190 类似病例显示部
200 读片终端
201,300 读片对象图像
210 读片报告输入输出区域
220 类似病例检索图符
230 图符
240 类似病例输出区域
310 腹部周围
320 对象脏器
330 病变区域
340 点

Claims (10)

1.一种类似病例检索装置,从病例数据库中检索与包含医用图像和读片报告的病例数据类似的病例数据,所述读片报告是记载有对该医用图像进行读片后的结果的文本数据,所述类似病例检索装置包括:
图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;
报告分析部,从对象读片报告中提取:(a)作为示出医用图像的特征的字符串的读片项目、或者(b)作为读片者根据医用图像进行的诊断结果的疾病名称,所述对象读片报告是通过读片者对所述读片对象图像进行读片而得到的读片报告;
权重决定部,根据预先规定的、从医用图像中提取的各个图像特征量与从针对所述医用图像的读片报告中提取的各个读片项目或者各个疾病名称之间的关联性这两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,在该图像特征量与所述报告分析部所提取的所述读片项目或者所述疾病名称之间的关联性越高的情况下,就越决定值大的权重;以及
类似病例检索部,以所述权重决定部所决定的按照每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、和从被登记在病例数据库中的病例数据所包含的从医用图像中提取的多个图像特征量,进行加权并进行比较,从而从所述病例数据库中检索包含与所述读片对象图像类似的医用图像的病例数据。
2.如权利要求1所述的类似病例检索装置,
所述两项间关系信息还示出,从读片报告提取的读片项目与疾病名称之间的关联性;
在所述报告分析部从所述对象读片报告中提取了读片项目以及疾病名称这双方的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将如下的乘积决定为针对该图像特征量的权重,所述乘积是指:示出该图像特征量与所述报告分析部所提取的所述读片项目之间的关联性的值、与示出该读片项目与所述报告分析部所提取的所述疾病名称之间的关联性的值的乘积。
3.如权利要求1所述的类似病例检索装置,
在所述报告分析部从所述对象读片报告中提取了读片项目的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将示出该图像特征量与所述报告分析部所提取的所述读片项目之间的关联性的值,决定为针对该图像特征量的权重。
4.如权利要求1所述的类似病例检索装置,
在所述报告分析部从所述对象读片报告中提取了疾病名称的情况下,所述权重决定部根据所述两项间关系信息,按照所述图像特征提取部所提取的每个图像特征量,将示出该图像特征量与所述报告分析部所提取的所述疾病名称之间的关联性的值,决定为针对该图像特征量的权重。
5.如权利要求1所述的类似病例检索装置,
所述权重决定部,进一步,根据按照每个读片项目的、成为记载有该读片项目的读片报告的制作依据的医用图像中所包含的各个图像特征量的预先决定的概率分布数据,在与所述报告分析部所提取的读片项目相对应的、所述图像特征提取部所提取的各个图像特征量的似然值越高的情况下,就越将针对所述报告分析部所提取的读片项目的妥当性判断为高。
6.如权利要求5所述的类似病例检索装置,
该类似病例检索装置还包括显示部,该显示部显示所述对象读片报告;
所述显示部,根据所述权重决定部所判断的针对读片项目的妥当性的高度,对所述对象读片报告中所包含的读片项目进行视觉上的区分后显示。
7.如权利要求1所述的类似病例检索装置,
所述权重决定部,进一步,根据按照每个疾病名称的、成为记载有该疾病名称的读片报告的制作依据的医用图像中所包含的各个图像特征量的预先决定的概率分布数据,在与所述报告分析部所提取的疾病名称相对应的、所述图像特征提取部所提取的各个图像特征量的似然值越高的情况下,就越将针对所述报告分析部所提取的疾病名称的妥当性判断为高。
8.如权利要求7所述的类似病例检索装置,
该类似病例检索装置还包括显示部,该显示部显示所述对象读片报告;
所述显示部,根据所述权重决定部所判断的针对疾病名称的妥当性的高度,对所述对象读片报告中所包含的疾病名称进行视觉上的区分后显示。
9.一种类似病例检索方法,从病例数据库中检索与包含医用图像和读片报告的病例数据类似的病例数据,所述读片报告是记载有对该医用图像进行读片后的结果的文本数据,所述类似病例检索方法包括:
图像特征提取步骤,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;
报告分析步骤,从对象读片报告中提取:(a)作为示出医用图像的特征的字符串的读片项目、或者(b)作为读片者根据医用图像进行的诊断结果的疾病名称,所述对象读片报告是通过读片者对所述读片对象图像进行读片而得到的读片报告;
权重决定步骤,根据预先规定的、从医用图像中提取的各个图像特征量与从针对所述医用图像的读片报告中提取的各个读片项目或者各个疾病名称之间的关联性这两项间关系信息,按照在所述图像特征提取步骤所提取的每个图像特征量,在该图像特征量与在所述报告分析步骤所提取的所述读片项目或者所述疾病名称之间的关联性越高的情况下,就越决定值大的权重;以及
类似病例检索步骤,以在所述权重决定步骤所决定的按照每个图像特征量的权重,对在所述图像特征提取步骤所提取的所述多个图像特征量、和从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量,进行加权并进行比较,从而从所述病例数据库中检索包含与所述读片对象图像类似的医用图像的病例数据。
10.一种程序,用于使计算机执行权利要求9所述的类似病例检索方法中所包含的所有步骤。
CN201180014711.9A 2011-06-30 2011-11-16 类似病例检索装置以及类似病例检索方法 Active CN102958425B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-146699 2011-06-30
JP2011146699 2011-06-30
PCT/JP2011/006375 WO2013001584A1 (ja) 2011-06-30 2011-11-16 類似症例検索装置および類似症例検索方法

Publications (2)

Publication Number Publication Date
CN102958425A true CN102958425A (zh) 2013-03-06
CN102958425B CN102958425B (zh) 2015-09-23

Family

ID=47423530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180014711.9A Active CN102958425B (zh) 2011-06-30 2011-11-16 类似病例检索装置以及类似病例检索方法

Country Status (2)

Country Link
CN (1) CN102958425B (zh)
WO (1) WO2013001584A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868524A (zh) * 2015-02-06 2016-08-17 国际商业机器公司 用于医学图像集的自动基准真值生成
CN105912831A (zh) * 2015-02-19 2016-08-31 松下知识产权经营株式会社 信息终端的控制方法
CN106133724A (zh) * 2014-03-27 2016-11-16 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106156457A (zh) * 2015-03-27 2016-11-23 时云医疗科技(上海)有限公司 一种基于体征数据的信息推送方法及系统
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106557647A (zh) * 2015-09-29 2017-04-05 松下知识产权经营株式会社 控制方法
CN106560828A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
CN110120254A (zh) * 2019-04-23 2019-08-13 镇江市第一人民医院 一种医疗数据存储和共享方法
CN113257431A (zh) * 2021-06-18 2021-08-13 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017109860A1 (ja) * 2015-12-22 2017-06-29 株式会社ニコン 画像処理装置
JP6711675B2 (ja) * 2016-04-11 2020-06-17 キヤノンメディカルシステムズ株式会社 読影支援装置
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN111991090B (zh) * 2016-08-30 2024-06-21 马科外科公司 用于术中骨盆配准的系统和方法
JP7224757B2 (ja) 2017-10-13 2023-02-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
WO2019176407A1 (ja) 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
WO2020110520A1 (ja) * 2018-11-27 2020-06-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JP6999118B2 (ja) * 2020-05-07 2022-01-18 株式会社ニコン 画像処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065460A1 (en) * 2000-11-29 2002-05-30 Kohei Murao Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
US20040003001A1 (en) * 2002-04-03 2004-01-01 Fuji Photo Film Co., Ltd. Similar image search system
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2010250359A (ja) * 2009-04-10 2010-11-04 Hitachi Ltd 擬似文書検索システム及び擬似文書検索方法
CN101911077A (zh) * 2007-12-27 2010-12-08 皇家飞利浦电子股份有限公司 用于细化相似病例搜索的方法和装置
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4021179B2 (ja) * 2000-11-29 2007-12-12 富士通株式会社 診断支援プログラム、診断支援プログラムを記録したコンピュータ読取可能な記録媒体、診断支援装置及び診断支援方法
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP5100285B2 (ja) * 2007-09-28 2012-12-19 キヤノン株式会社 医用診断支援装置およびその制御方法、プログラム、記憶媒体
JP5098559B2 (ja) * 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020065460A1 (en) * 2000-11-29 2002-05-30 Kohei Murao Computer readable recording medium recorded with diagnosis supporting program, diagnosis supporting apparatus and diagnosis supporting method
US20040003001A1 (en) * 2002-04-03 2004-01-01 Fuji Photo Film Co., Ltd. Similar image search system
CN101911077A (zh) * 2007-12-27 2010-12-08 皇家飞利浦电子股份有限公司 用于细化相似病例搜索的方法和装置
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2010250359A (ja) * 2009-04-10 2010-11-04 Hitachi Ltd 擬似文書検索システム及び擬似文書検索方法
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENNING MÜLLER等: "A review of content-based image retrieval systems in medical applications——clinical benefits and future directions", 《INTERNATIONAL JOURNAL OF MEDICAL INFORMATICS》, vol. 73, 31 December 2004 (2004-12-31), pages 1 - 23 *
MARCEL WORRING等: "Interaction in content-based image retrieval: An evaluation of the state-of-the-art", 《ADVANCES IN VISUAL INFORMATION SYSTEMS. SPRING BERLIN HEIDELBERG》, 31 December 2006 (2006-12-31), pages 26 - 36 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106133724A (zh) * 2014-03-27 2016-11-16 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106164903A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序
CN106164903B (zh) * 2014-03-27 2019-06-18 富士胶片株式会社 类似病例检索装置、以及类似病例检索方法
CN106133724B (zh) * 2014-03-27 2019-09-03 富士胶片株式会社 类似病例检索装置以及类似病例检索方法
CN105868524A (zh) * 2015-02-06 2016-08-17 国际商业机器公司 用于医学图像集的自动基准真值生成
CN105912831B (zh) * 2015-02-19 2021-08-20 松下知识产权经营株式会社 信息终端的控制方法
CN105912831A (zh) * 2015-02-19 2016-08-31 松下知识产权经营株式会社 信息终端的控制方法
CN106156457A (zh) * 2015-03-27 2016-11-23 时云医疗科技(上海)有限公司 一种基于体征数据的信息推送方法及系统
CN106156457B (zh) * 2015-03-27 2019-04-09 时云医疗科技(上海)有限公司 一种基于体征数据的信息推送方法及系统
CN106557647A (zh) * 2015-09-29 2017-04-05 松下知识产权经营株式会社 控制方法
CN106557647B (zh) * 2015-09-29 2022-03-22 松下知识产权经营株式会社 控制方法
CN106560828A (zh) * 2015-09-30 2017-04-12 松下知识产权经营株式会社 控制方法
CN106560828B (zh) * 2015-09-30 2021-08-27 松下知识产权经营株式会社 控制方法
CN110120254A (zh) * 2019-04-23 2019-08-13 镇江市第一人民医院 一种医疗数据存储和共享方法
CN113257431A (zh) * 2021-06-18 2021-08-13 武汉泰乐奇信息科技有限公司 一种基于虚拟人虚拟病例的自然人病例生成方法和系统

Also Published As

Publication number Publication date
CN102958425B (zh) 2015-09-23
WO2013001584A1 (ja) 2013-01-03

Similar Documents

Publication Publication Date Title
CN102958425B (zh) 类似病例检索装置以及类似病例检索方法
CN103200861B (zh) 类似病例检索装置以及类似病例检索方法
US8953857B2 (en) Similar case searching apparatus and similar case searching method
US8934695B2 (en) Similar case searching apparatus and similar case searching method
US9008390B2 (en) Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method
Miller Species distribution models: Spatial autocorrelation and non-stationarity
CN109192310A (zh) 一种基于大数据的大学生心理行为异动系统方案设计方法
US20090313047A1 (en) Brain Condition Assessment
US10372786B2 (en) State inference in a heterogeneous system
KR20200077852A (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN102165453A (zh) 用于融合临床和图像特征进行计算机辅助诊断的系统和方法
US20070282940A1 (en) Thread-ranking apparatus and method
CN106529110A (zh) 一种用户数据分类的方法和设备
CN116598014A (zh) 基于图注意力机制和语言大模型的医疗缺失数据补全方法
RU2559712C2 (ru) Обратная связь по релевантности для извлечения изображения на основе контента
Liang et al. Magnetic resonance imaging sequence identification using a metadata learning approach
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
CN106663144A (zh) 用于基于相互相关性进行分层数据分析的方法和装置
JP2013109597A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法
CN109711467A (zh) 数据处理装置及方法、计算机系统
Obuchowski Multivariate statistical methods
Oberst Towards Rigorously Tested & Reliable Machine Learning for Health
Quihui-Rubio et al. Assessing the performance of deep learning-based models for prostate cancer segmentation using uncertainty scores
Moassefi et al. Bridging Pixels to Genes
Woon Accurate calorie counting algorithm for carefuly plated dishes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant