CN106560828A - 控制方法 - Google Patents
控制方法 Download PDFInfo
- Publication number
- CN106560828A CN106560828A CN201610808111.4A CN201610808111A CN106560828A CN 106560828 A CN106560828 A CN 106560828A CN 201610808111 A CN201610808111 A CN 201610808111A CN 106560828 A CN106560828 A CN 106560828A
- Authority
- CN
- China
- Prior art keywords
- medical imaging
- case
- similar
- viewing area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0487—Special user inputs or interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Library & Information Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种控制方法,使包括第1显示区域和第2显示区域的显示画面显示于显示器(101),所述第1显示区域显示对象医用图像,所述第2显示区域显示所接收到的包括第1相似医用图像和第2相似医用图像的多个相似医用图像,所述第1相似医用图像和所述第2相似医用图像在所述第2显示区域内相邻,当检测到第1操作时,使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻,所述第1操作是如下操作:使所述对象医用图像移动成在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻。
Description
技术领域
本公开涉及用于检索与读片对象的医用图像相似的相似医用图像的信息终端的控制方法。
背景技术
近年来,例如CT(Computed Tomography,计算机断层扫描)、MRI(MagneticResonance Imaging,磁共振成像)等的医用图像装置正在发展普及。这些CT或MRI等能够大容量地取得数字化后的高精细的医用图像。另外,医生进行了读片的医用图像与读片报告一起依次存储在PACS(Picture Archiving and Communication Systems,影像归档和通信系统)中。在此,例如如专利文献1所公开的那样,开始开发如下技术:为了作为新的读片的参考,从已经存储在PACS中的过去病例中检索与读片对象的医用图像相似的过去的医用图像。
现有技术文献
专利文献
专利文献1:日本特开2008-257292号公报
专利文献2:日本特开2012-35124号公报
非专利文献
非专利文献1:大泽哲、另外4名,“画像診断を支援する類似症例検索システム“SYNAPSE Case Match”の開発(辅助图像诊断的相似病例检索系统“SYNAPSE Case Match”的开发)”,富士胶片研究报告,富士胶片株式会社,平成25年3月27日,第58号,p.11-14
发明内容
然而,需要进一步的改善
本公开的一个技术方案是一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:
从病例检索系统接收与读片对象的医用图像即对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括第1相似医用图像和第2相似医用图像,
使包括第1显示区域和第2显示区域的显示画面显示于显示器,所述第1显示区域显示所述对象医用图像,所述第2显示区域显示所接收到的所述多个相似医用图像,所述第1相似医用图像和所述第2相似医用图像在所述第2显示区域内相邻地显示,
当检测到第1操作时,使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示,
所述第1操作为如下操作:使所述对象医用图像移动成在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻。
此外,这些总括性或具体的技术方案既可以通过装置、系统、集成电路、计算机程序或计算机可读取的记录介质来实现,也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开,能够实现进一步的改善。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种技术方案及特征提供,无需为了获得一个以上益处和/或优点而实施所有的技术方案及特征。
附图说明
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。
图2是表示信息终端、医用信息管理系统以及病例检索系统的构成的框图。
图3是2台显示器的外观图。
图4是表示信息终端的安装方式的构成例的图。
图5是表示在信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图6是表示在信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图7是将病例显示区域所显示的某个相似病例的显示区域截取显示的图。
图8是表示下向病例显示区域插入检索查询图像之前的基本画面的图。
图9是表示插入检索查询图像时的病例显示区域所显示的缩略图像的移动状态的图。
图10是表示检索查询图像已插入病例显示区域的状态的图。
图11是表示在图10中操作滚动按钮对检索查询图像以及插入了检索查询图像的行的缩略图像进行了滚动的状态的图。
图12是表示禁止向病例显示区域的右端所显示的缩略图像的位置插入检索查询图像的情况下的基本画面的图。
图13是表示向病例显示区域的右端插入检索查询图像而导致缩略图像向左移动了的情况下的基本画面的图。
图14是病名列表显示区域的放大图。
图15是表示以“真菌病”筛选了相似病例时的基本画面的图。
图16是表示以“转移性肺癌”筛选了相似病例时的基本画面的图。
图17是分布列表显示区域的放大图。
图18是表示向两侧性的复选框输入了复选标记的分布列表显示区域的图。
图19是表示以两侧性的病变分布实施了筛选的基本画面的图。
图20是表示向气道性的复选框输入了复选标记的分布列表显示区域的图。
图21是表示以气道性的病变分布实施了筛选的基本画面的图。
图22是表示向胸膜下的复选框输入了复选标记的分布列表显示区域的图。
图23是表示以胸膜下的病变分布实施了筛选的基本画面的图。
图24是表示患者信息的数据结构的图。
图25是表示登记在图24所示的患者信息中的检查信息的数据结构的图。
图26是表示医用图像数据库的数据结构的图。
图27是表示诊断报告的数据结构的图。
图28是表示相似病例数据的数据结构的图。
图29是示意性示出了对切片图像设定的关心区域的图。
图30是表示在信息终端从医用信息管理系统取得了诊断对象病例之后,对病例检索系统进行相似病例检索的请求,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图31是检查列表的画面图。
图32是选择了检查之后的检查列表的画面图。
图33是表示在由用户选择了序列时显示于显示器的切片图像的图。
图34是表示在由用户启动了相似病例检索应用时显示于显示器的切片图像的图。
图35是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
图36是表示显示框管理信息的数据结构的图。
图37是表示图35的S670所示的生成初始的基本画面的处理的详细内容的流程图。
图38是表示在图37的S1300中生成的病名列表的数据结构的图。
图39是表示病名列表显示区域的第1显示例的图。
图40是表示病名列表显示区域的第2显示例的图。
图41是表示病名列表显示区域的第3显示例的图。
图42是表示图40所示的病名列表显示区域的画面转换的图。
图43是表示在图37的S1400中生成的分布列表的数据结构的图。
图44是表示使用图43所示的分布列表而生成的分布列表显示区域的图。
图45是表示图37所示的S1500的处理的流程图。
图46是表示向病例显示区域所显示的缩略图像插入检索查询图像的插入处理的一例的流程图。
图47是表示向病例显示区域所显示的缩略图像插入检索查询图像的插入处理的不同于图46的例子的流程图。
图48是表示选择了分布列表显示区域所显示的病变分布时的处理的流程图。
图49是表示追加了胸膜区域信息的相似病例数据的数据结构的图。
图50是说明胸膜区域的图。
图51是采用了信息终端提取图像特征的方式的情况下的信息终端、医用信息管理系统以及病例检索系统的框图。
图52是表示在信息终端从医用信息管理系统取得了诊断对象病例之后,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图53是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
标号的说明
100 信息终端
101、101a、101b 显示器
102 操作部
103 输入控制部
104 显示控制部
200 医用信息管理系统
300 病例检索系统
710 病例显示区域
720 布局区域
CROI 对应关心区域
K2 基本画面
ROI 关心区域
具体实施方式
(得到本公开涉及的一个技术方案的经过)
首先,对本公开涉及的一个技术方案的着眼点进行说明。
专利文献1公开了在基于诊断对象图像的图像诊断时提示对疾病的判断而言有用的病例图像或者关于该疾病的统计信息等的图像诊断辅助装置。该图像诊断辅助装置的检索结果的画面,显示诊断对象图像以及按各种疾病的代表病例的信息。具体而言,所述检索结果的画面显示:(i)前面3种疾病A、D、G的代表病例的图像;(ii)按各种疾病显示与诊断对象图像的相似度、登记病例数以及代表病例数;(iii)检索件数(检索出的疾病的总数);以及(iv)用于参考无法显示在一个画面上的其他疾病的信息的软按钮“翻页”等(段落[0062]~[0063]以及图6(E))。
在专利文献1中,在所述检索结果的画面中,各个疾病的代表病例的图像从距离诊断对象图像近的位置向远的位置依次显示。因此,在比较诊断对象图像与各个疾病的代表病例的图像时,根据医生想要比较的代表病例的图像的显示位置(例如,专利文献1的图6(E)的疾病G),中间隔着其他的代表病例的图像,医生的视线移动变大。该情况下,除了伴随视线移动的身体负担的增加之外,还会导致诊断精度的降低。这是因为:在医生对诊断对象图像与代表病例的图像进行比较时,医生针对图像中的与病变部相当的阴影的位置、尺寸、形状以及分布等多个项目进行详细比较。因此,在诊断对象图像与代表病例的图像不相邻而显示在远离的位置的情况下,难以进行上述的详细比较,其结果是,认为诊断精度会降低。
专利文献2公开了用于容易地对同一患者的多个序列的断层图像数据进行比较读片的医用图像显示装置。具体而言,基准/比较对象图像数据显示画面具有基准断层图像数据显示区域、缩略图像数据显示区域和比较对象图像数据显示区域。基准断层图像数据显示于所述基准断层图像数据显示区域。另外,比较缩略图像数据显示于所述缩略图像数据显示区域。在该状态下,通过将显示于所述缩略图像数据显示区域的比较缩略图像数据拖拽&放置到所述比较对象断层图像数据显示区域,与所述比较缩略图像数据对应的比较断层图像数据被显示于所述比较对象诊断图像数据显示区域(专利文献2的段落[0046]~[0049]以及图7)。在此,比较读片是指使用了对同一患者通过不同的图像诊断装置或拍摄条件而得到的图像数据的比较读片、或者使用了对同一患者通过同一图像诊断装置得到的过去和最新的图像数据的比较读片。
如此,在专利文献2中,由于以对同一患者的图像进行比较作为前提,所以完全没有关于与其他患者的图像进行比较的记载。如果是同一患者的图像,则图像中的与病变部相当的阴影的位置等某种程度地相同。因此,相比于使用使断层图像数据缩小后的缩略图像来进行比较,使用放大后的断层图像数据来进行详细比较的话,能够更高效地进行比较读片。因此,没有公开如下思想:在对医用图像彼此进行比较时,在缩略图像的阶段,使比较缩略图像数据与基准断层图像数据相邻地显示,并进行所述比较缩略图像数据的筛选。
非专利文献1公开了如下的相似病例检索系统:通过使用病变图像来检索过去的相似病例的功能,从上述的PACS等所存储的临床知识中瞬间提取准确的信息并进行提示,辅助医生的图像诊断。具体而言,本系统检索与检查图像的病变的特征相似的病例图像,按相似顺序显示多个。并且,从所显示的多个病例图像中选择1个参考病例图像,与检查图像并排显示(非专利文献1的p.12“2.2本系统的特征”以及Fig.3)。
非专利文献1所公开的系统,将所述选择出的参照病例图像与检查图像并排显示。因此,没有公开如下思想:在对医用图像彼此进行比较时,在缩略图像的阶段使检查图像与检索结果的病例图像相邻地显示,并进行筛选。
根据以上的考察,本申请发明人想到了以下的各技术方案。
本公开的一个技术方案是一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:
从病例检索系统接收与读片对象的医用图像即对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括第1相似医用图像和第2相似医用图像,
使包括第1显示区域和第2显示区域的显示画面显示于显示器,所述第1显示区域显示所述对象医用图像,所述第2显示区域显示所接收到的所述多个相似医用图像,所述第1相似医用图像和所述第2相似医用图像在所述第2显示区域内相邻地显示,
当检测到第1操作时,使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示,
所述第1操作为如下操作:使所述对象医用图像移动成在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻。
根据本技术方案,从病例检索系统接收与对象医用图像具有预定的相似度的多个相似医用图像,所接收到的多个相似医用图像显示于显示器。由此,能够高效地从登记在医用图像数据库中的庞大的医用图像中提取相似医用图像并提示给医生,所述相似医用图像是为了研究呈现在对象医用图像中的病变的病名而成为参考的医用图像。
另外,根据本技术方案,当进行使显示于第1显示区域的对象医用图像移动到显示于第2显示区域的第1相似医用图像与第2相似医用图像之间的操作时,能够使对象医用图像在第1相似医用图像与第2相似医用图像之间相邻地显示。由此,医生能够使对象医用图像与想要详细地进行比较研究的相似医用图像相邻地显示,能够大幅减少医生的视线移动。
以下说明理由。相似医用图像所包含的与病变部相当的阴影的位置各种各样。因此,根据相似医用图像所包含的阴影的位置,在比较对象医用图像所包含的阴影时,有时视线移动会变大。例如,考虑对象医用图像所包含的阴影位于右肺而相似医用图像所包含的阴影位于左肺的情况。该情况下,若在第2显示区域中将对象医用图像相对于该相似医用图像配置在右侧,则对象医用图像所包含的阴影与相似医用图像所包含的阴影之间的距离变短。因此,能够大幅减少医生的视线移动。其结果是,除了减轻医生伴随视线移动的身体负担之外,还有助于诊断精度的提高。
在上述技术方案中,例如可以,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述对象医用图像相比于所述多个相似医用图像进行强调显示。
由于对象医用图像与多个相似医用图像彼此相似,所以在使对象医用图像显示于第2显示区域的情况下,乍一看,有可能会无法判别哪个是对象医用图像。
根据本技术方案,显示于第2显示区域的对象医用图像相对于显示于第2显示区域的多个相似医用图像进行强调显示。因此,能够立即判别哪个是对象医用图像。
在上述技术方案中,例如可以,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述对象医用图像、所述第1相似医用图像和所述第2相似医用图像的显示尺寸为同一尺寸。
根据本技术方案,由于对象医用图像、第1相似医用图像和第2相似医用图像的显示尺寸成为同一尺寸,所以比较各医用图像所包含的病变部的大小变得容易。
在上述技术方案中,例如可以,
所述接收到的多个相似医用图像还包括第3相似医用图像,
所述第2显示区域的形状为矩形,
在所述第2显示区域的横向上显示的图像的数量一定,
在所述第2显示区域,所述第1相似医用图像、所述第2相似医用图像和所述第3相似医用图像按该顺序从左向右相邻地显示在同一行,
所述第3相似医用图像与所述第2显示区域的右边侧相邻地显示,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述第3相似医用图像不显示于所述第2显示区域。
若使对象医用图像移动到第1相似医用图像与第2相似医用图像之间,则配置在第2显示区域的横向上的医用图像的数量会增加一个。该情况下,若希望在移动对象医用图像之前所显示的横向的相似医用图像全部在对象医用图像的移动后也继续显示,则需要减小在横向上显示的各个医用图像的显示尺寸。但是,若减小显示尺寸,则可能会难以进行医用图像所包含的病变部的观察。
根据本技术方案,在使对象医用图像显示在第1相似医用图像与第2相似医用图像之间的情况下,在第2显示区域的横向上显示的医用图像的数量一定,第3相似医用图像不显示于第2显示区域。例如,第2相似医用图像向右移动,在显示过第3相似医用图像的位置显示第2相似医用图像,在显示过第2相似医用图像的位置插入对象医用图像。因此,不需要减小医用图像的显示尺寸。其结果是,不会发生难以观察病变部这样的事态。
在上述技术方案中,例如可以,
当所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻的操作时,所述计算机使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第2显示区域的右边侧相邻地显示,并且使所述第3相似医用图像不显示于所述第2显示区域。
根据本技术方案,当检测到使对象医用图像移动到第2相似医用图像与第3相似医用图像之间的操作时,对象医用图像在第2相似医用图像与第2显示区域的右边侧之间相邻地显示,第3相似医用图像不显示于第2显示区域。即,在显示过第3相似医用图像的位置插入对象医用图像。因此,用户在想要将对象医用图像与第2相似医用图像进行比较的情况下,能够适当地进行该比较。
在上述技术方案中,例如可以,
使滚动操作部显示于所述显示画面,
当检测到对所述滚动操作部的操作时,使包含所述第1相似医用图像的行的相似医用图像以及所述对象医用图像滚动。
根据本技术方案,当检测到对滚动操作部的操作时,包含第1相似医用图像的行的相似医用图像以及对象医用图像会滚动。因此,能够通过进行滚动使由于插入了对象医用图像而不再显示于第2显示区域的第3相似医用图像进行显示。因此,能够对与第2显示区域的右边侧相邻地显示过的第3相似医用图像与对象医用图像进行比较。由此,在用户想要将对象医用图像与第3相似医用图像进行比较的情况下,用户只要进行对滚动操作部的操作即可。
在上述技术方案中,例如可以,
所述接收到的多个相似医用图像还包括第4相似医用图像,
所述第4相似医用图像在包含所述第1相似医用图像的行,与所述第2显示区域的左边侧相邻地显示,
当所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻地显示的操作时,所述计算机使所述对象医用图像在所述第2显示区域中与所述第3相似医用图像相邻、且与所述第2显示区域的右边侧相邻地显示,并且使所述第4相似医用图像不显示于所述第2显示区域。
根据本技术方案,当检测到使对象医用图像移动到第2相似医用图像与第3相似医用图像之间的操作时,对象医用图像在第3相似医用图像与第2显示区域的右边侧之间相邻地显示。即,第3相似医用图像向左移动,在显示过第3相似医用图像的位置插入对象医用图像。因此,能够对与第2显示区域的右边侧相邻地显示过的第3相似医用图像与对象医用图像进行比较。
另外,在第2显示区域的横向上显示的医用图像的数量一定,第4相似医用图像不显示于第2显示区域。因此,不需要减小医用图像的显示尺寸。其结果是,不会发生难以观察病变部这样的事态。
在上述技术方案中,例如可以,
即使所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻地显示的操作,所述计算机也不使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻地显示,并且不使所述对象医用图像在所述第2显示区域中与所述第3相似医用图像相邻地显示。
若对象医用图像被插入到第2相似医用图像与第3相似医用图像之间,则由于在第2显示区域的横向上显示的医用图像的数量一定,所以第3相似医用图像将不会显示于第2显示区域。在该情况下,在医生想要对第3相似医用图像与对象医用图像进行比较的情况下,对象医用图像的移动操作会变得无用。
根据本技术方案,设定成即使检测到使对象医用图像移动到第2相似医用图像与第3相似医用图像之间的操作,也无法使对象医用图像在第2相似医用图像与第3相似医用图像之间相邻地显示。因此,能够将医生进行的对象医用图像的移动操作变得无用这样的事态防患于未然。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述对象医用图像中的关心区域的指定信息,
将表示所述关心区域的特征量的信息发送给所述病例检索系统,
从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的相似医用图像。
在上述技术方案中,例如可以,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述对象医用图像中的关心区域的指定信息,
将所述对象医用图像以及所述指定信息发送给所述病例检索系统,
从所述病例检索系统接收与根据所述对象医用图像以及所述指定信息得到的所述关心区域的特征量具有所述预定的相似度的相似医用图像。
在上述技术方案中,例如可以,
所述对象医用图像为肺的医用图像,
所述相似医用图像为肺的医用图像,具有表示所述相似医用图像中的病变部的对应关心区域,
所述显示画面包含第1分布信息、第2分布信息和第3分布信息,所述第1分布信息使得选择属于预定的第1范围的相似医用图像,所述预定的第1范围表示所述对应关心区域的大小相对于肺的区域而言为大范围这一情况,所述第2分布信息使得选择属于比所述第1范围小的预定的第2范围的相似医用图像,所述预定的第2范围表示所述对应关心区域的大小为肺的区域的一部分这一情况,所述第3分布信息使得选择所述对应关心区域包含胸膜的相似医用图像,
在检测到从所述第1分布信息到所述第3分布信息中的任一分布信息的选择的情况下,选择与所述选择出的一个分布信息对应的相似医用图像并显示于所述第2显示区域。
根据本技术方案,进一步,基于所述对应关心区域的分布类型来区分显示于所述第2显示区域的多个相似医用图像。由此,例如,能够高效地从大量显示的相似医用图像中选择病变部的分布与对象医用图像相似的相似医用图像。
在上述技术方案中,例如可以,
所述第2显示区域包括用于分别显示所述接收到的多个相似医用图像的多个单独区域,
在检测到所述第1分布信息的选择的情况下,使与所述第1分布信息对应的相似医用图像按初始显示尺寸分别显示于所述单独区域,
在检测到所述第2分布信息的选择的情况下,以与所述第2分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第2分布信息对应的相似医用图像分别放大显示于所述单独区域,
在检测到所述第3分布信息的选择的情况下,以与所述第3分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第3分布信息对应的相似医用图像以包含所述胸膜的状态分别放大显示于所述单独区域。
根据本技术方案,在基于所述对应关心区域的分布类型对相似医用图像进行了区分时,除了进行区分之外,还进行与所述分布类型相应的显示。由此,医生不需要另外进行基于所述对应关心区域的分布类型来区分相似医用图像、然后根据所述分布类型来放大相似医用图像或使所述对应关心区域成为中心的处理等。因此,能够大幅减轻如下麻烦:尽管基于所述对应关心区域的分布类型进行了区分,但接着却要对所述区分开的大量的相似医用图像逐个反复进行同样的操作。其结果是,能够大幅减轻应该专注于诊断的医生的思考或医生的注意力因操作的麻烦而中断,能够让医生的思考或医生的注意力专注于本来的诊断。因此,能够实现诊断精度的提高。
在上述技术方案中,例如可以,
所述第1分布信息是表示属于两侧性、多发性、弥漫性或血行性的类别的分布的信息,
所述第2分布信息是表示属于区域性或气道性的类别的分布的信息,
所述第3分布信息是表示属于胸膜下的类别的分布的信息。
根据本技术方案,在属于两侧性、多发性、弥漫性或血行性的类别的分布的情况下,按初始显示尺寸显示相似医用图像,在属于区域性或气道性的类别的分布的情况下,放大显示相似医用图像,在属于胸膜下的类别的分布的情况下,以包含胸膜的状态放大显示相似医用图像。
在属于两侧性、多发性、弥漫性或血行性的类别的分布的情况下,病变部扩散到整个肺的可能性高或在肺的大范围产生病变部的可能性高,因此,存在基于希望按初始显示尺寸即不进行放大来显示相似医用图像这样的医学观点的需求。
另一方面,在属于区域性或气道性的类别的分布的情况下,上述那样的可能性低。因此,通过选择属于区域性或气道性的类别的分布来放大显示相似医用图像,由此,能够省略进行放大显示这样的一个工序,能够防止医生的注意力被打断。另外,在属于胸膜下的类别的分布的情况下,因为胸膜与病变部的位置关系在诊断中成为重要的指标,所以存在基于想要以包含胸膜的状态来放大显示相似医用图像这一医学观点的需求。
(实施方式)
以下,参照附图对本公开的一个实施方式进行说明。此外,在各附图中,对相同的构成要素使用相同的标号。
(整体构成)
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。如图1所示,医院信息系统具备信息终端100、医用信息管理系统200以及病例检索系统300。
信息终端100、医用信息管理系统200以及病例检索系统300经由网络400以能够相互通信的方式连接。
此外,医用信息管理系统200以及病例检索系统300未必需要配置在医院中,也可以是在医院外的数据中心、私有云服务器、公共云服务器等上工作的软件。在医用信息管理系统200以及病例检索系统300设置在医院内的情况下,作为网络400,可以采用局域网。作为局域网,可以采用IEEE802.3系列的有线LAN、IEEE802.11系列的无线LAN或者两者混和存在的网络。在医用信息管理系统200以及病例检索系统300使用医院外的服务器而实现的情况下,作为网络400,可以采用因特网。
作为信息终端100,例如可采用个人计算机或平板终端等信息终端。作为医用信息管理系统200,例如可采用PACS(Picture Archiving and Communication Systems)或电子病例系统。
(信息终端100)
图2是表示信息终端100、医用信息管理系统200以及病例检索系统300的构成的框图。如图2所示,信息终端100具备显示器101、操作部102、输入控制部103、显示控制部104、ROI管理部105、显示框管理部106、病名列表管理部108、分布列表管理部109、通信控制部110。
显示器101例如由液晶监视器构成,显示成为诊断对象的医用图像以及病例图像,并且显示用于写入诊断结果的报告输入图像等。此外,显示器101最少需要1台,通常在图像诊断中使用2~3台显示器101。在本实施方式中使用2台显示器101,将一台显示器101设为显示器101a,将另一台显示器101设为显示器101b(参照图3)。
图3是2台显示器101a、101b的外观图。在图3中,在显示器101a上,以2行2列的配置显示4个医用图像查看器,在显示器101b上显示病例检索系统300的画面。此外,在将显示器101设为1台的情况下,2个显示画面在1台显示器101的显示画面上分区域显示。
操作部102例如包括键盘以及鼠标,受理由用户对信息终端100输入的各种操作。例如,操作部102受理用户对显示于显示器101的医用图像以及病例图像的操作以及对报告输入画面输入诊断结果的操作等。
输入控制部103在检测到用户对操作部102的操作时,对该操作的内容进行解析,向其他的构成要素通知操作内容。例如,输入控制部103根据从作为操作部102的鼠标输出的坐标数据检测显示器101上的鼠标光标的位置,使鼠标光标显示在显示器101上。并且,输入控制部103在检测到鼠标被点击时,如果在鼠标光标的显示位置显示有由显示控制部104生成的GUI(Graphical User Interface,图形用户接口)控件(例如,GUI按钮),则判定为用户选择了该GUI,向其他的构成要素通知该GUI控件已被用户选择这一情况。
显示控制部104生成信息终端100的GUI,并使其显示于显示器101。
ROI管理部105生成表示在进行相似病例检索时对后述的检索查询图像设定的关心区域(Region Of Interest,感兴趣区域)的关心区域信息而保存于存储器,管理关心区域信息。
显示框管理部106将后述的显示框管理信息4410(图36)保存于存储器,管理显示框管理信息4410。
病名列表管理部108生成显示于病例显示区域710(图6)的相似病例的病名列表(图14)并保存于存储器,管理病名列表。
分布列表管理部109生成表示显示于病例显示区域710的相似病例的病变分布的分布列表(图17)并保存于存储器,管理分布列表。
通信控制部110例如包括用于将信息终端100连接于网络400的通信装置,控制信息终端100与医用信息管理系统200间的通信和/或信息终端100与病例检索系统300间的通信。另外,通信控制部110从其他块(block)受理各种数据的发送请求,向医用信息管理系统200或者病例检索系统300进行发送,并且接收从医用信息管理系统200或者病例检索系统300发送来的数据,转发给相应的块。
(医用信息管理系统200)
如图2所示,医用信息管理系统200具备患者信息存储部201、患者信息管理部202、医用图像数据存储部203、医用图像数据管理部204、诊断报告管理部205以及通信控制部206。
患者信息存储部201存储登记了患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息的患者信息1000(图24)。
患者信息管理部202对患者信息存储部201所存储的患者信息1000(图24)执行登记从用户输入的数据来更新患者信息1000的处理以及将患者信息1000输出到显示控制部104的处理等,管理患者信息1000。医用图像数据存储部203存储作为患者的检查图像的医用图像数据。
医用图像数据管理部204将医用图像数据存储于医用图像数据存储部203,管理医用图像数据。
诊断报告管理部205管理表示医生针对对患者进行的各检查的诊断结果的诊断报告3000(图27)。
通信控制部206例如包括用于将医用信息管理系统200连接于网络400的通信装置,从其他块受理各种数据的发送请求,向信息终端100或者病例检索系统300进行发送,并且接收从信息终端100或者病例检索系统300发送来的数据,转发给相应的块。
(病例检索系统300)
如图2所示,病例检索系统300具备相似病例数据存储部301、图像特征提取部302、相似病例检索部303以及通信控制部304。
相似病例数据存储部301预先存储登记了从医用信息管理系统200管理的相似病例中的作为相似病例检索的对象数据而选定的许多相似病例中提取出的图像特征、和/或生成的缩略图像等的相似病例数据4000(图28)。
图像特征提取部302提取从信息终端100的通信控制部110发送的检索查询图像的关心区域信息的图像特征。此外,关心区域信息是表示关心区域的指定信息的一例。
相似病例检索部303通过将由图像特征提取部302提取出的图像特征与相似病例数据存储部301所存储的1个以上的相似病例的图像特征分别进行比较来生成相似病例检索结果。
通信控制部304例如由使病例检索系统300连接于网络400的通信装置构成,从其他块受理各种数据的发送请求,向信息终端100或者医用信息管理系统200进行发送,并且接收从信息终端100或者医用信息管理系统200发送来的数据,转发给相应的块。
(安装方式)
图4是表示信息终端100的安装方式的构成例的图。如图4所示,信息终端100具备应用501、OS(Operating System,操作系统)502、存储器503以及未图示的其他硬件。
应用501例如是用于使个人计算机或平板终端作为信息终端100发挥功能的应用软件,通过信息终端100的处理器来执行。信息终端100既可以从计算机可读取的记录介质中读出应用501来安装应用501,也可以通过从网络下载来安装应用501。
在此,应用501包括医用信息管理应用以及相似病例检索应用。医用信息管理应用是用于使信息终端100与医用信息管理系统200协同工作的应用,相似病例检索应用是用于使信息终端100与病例检索系统300协同工作的应用。并且,两个应用相互收发数据,在信息终端100中合并了医用信息管理系统200和病例检索系统300提供的服务。
OS502是信息终端100的基本软件,通过信息终端100的处理器来执行。存储器503由信息终端100具备的RAM、ROM等存储装置构成,存储应用501所包含的数据群。
通过信息终端100的处理器执行应用501,实现图2所示的输入控制部103、显示控制部104、ROI管理部105、显示框管理部106、病名列表管理部108、分布列表管理部109、通信控制部110的功能。
但是,在本实施方式中,信息终端100既可以单独以应用501的方式安装,也可以以应用501以及OS502的方式安装,还可以以应用501、OS502以及存储器503的方式安装,还可以以应用501、OS502、存储器503以及其他未图示的硬件的方式安装。对于任何安装方式都能够实现本实施方式的信息终端100。
(读片流程~显示画面)
图5是表示在信息终端100刚刚启动了相似病例检索应用之后显示于显示器101a的基本画面K1的一例的图。图5所示的基本画面K1由4个医用图像查看器610~640构成。医用图像通常以DICOM(Digital Imaging and Communication in Medicine,医学数字成像和通信)格式进行记录,医用图像查看器610~640是能够处理DICOM的查看器。在本实施方式中处理的医用图像,设为由DICOM格式的许多断层图像(以下,称为切片图像。)构成的胸部CT图像。但是,这只不过是一例,也可以采用其他部位(例如,头部、腹部、腿或者胳膊)的CT图像。
医用图像查看器610~640所显示的胸部CT图像,例如通过鼠标或键盘的操作而切换切片图像。在此,构成胸部CT图像的切片图像例如按从头侧向腹侧的顺序配置。
例如,在医用图像查看器610上定位鼠标光标,当由输入控制部103检测到鼠标滚轮的旋转时,显示控制部104根据所检测到的旋转量来切换医用图像查看器610所显示的切片图像。在此,例如若在医用图像查看器610上鼠标滚轮向鼠标的后方侧旋转一下,则显示控制部104将显示中的切片图像切换为下一个切片位置的切片图像。另一方面,例如若在医用图像查看器610上鼠标滚轮向鼠标的前方侧旋转一下,则显示控制部104将显示中的切片图像切换为前一个切片位置的切片图像。由此,医生等用户一边使鼠标滚轮向前方侧或者后方侧旋转,一边适当地切换医用图像查看器610所显示的切片图像,搜索所希望的切片图像。
此外,作为医用图像,也可以取代胸部CT图像而采用MRI(Magnetic ResonanceImaging)图像或普通X射线图像。另外,在图5的例子中,医用图像查看器的个数设为了4个,但这只不过是一例,例如也可以采用6个或8个即其他的个数。当医用图像查看器的个数增多时能够同时比较的图像增多,但每个图像的显示面积缩小。因此,采用该个数能够根据显示器101a的显示尺寸而适当变更的构成即可。在此,医用图像查看器的个数设为用户或者管理者能够自如变更的个数。
在相似病例检索应用被启动之前,在显示器101a的整个区域显示某患者的胸部CT图像的切片图像。并且,在该状态下,当通过读片者等用户启动了相似病例检索应用时,在医用图像查看器610上显示在显示器101a的整个区域显示过的切片图像。
也即,当用户启动了相似病例检索应用时,在医用图像查看器610上初始显示在显示器101a的整个区域显示过的检索查询图像。此外,显示控制部104也可以在检索查询图像上重叠显示进行相似病例检索的对象的关心区域(ROI:Region Of Interest)。检索查询图像是读片对象的医用图像的一例。
在图5中,在其他的医用图像查看器620~640上都没有显示任何图像,但在成为诊断对象的患者的检查图像存在多个、并在相似病例检索应用启动之前在显示器101a上显示了多个检查图像的情况下,显示控制部104将该多个检查图像直接显示于医用图像查看器620~640即可。
图6是表示在信息终端100刚刚启动了相似病例检索应用之后显示于显示器101b的基本画面K2的一例的图。图6所示的基本画面K2具备病例显示区域710、布局区域720、病名列表显示区域730以及分布列表显示区域750。此外,布局区域720是第1显示区域的一例,病例显示区域710是第2显示区域的一例。
病例显示区域710是按相似度的顺序显示与检索查询图像相似的相似病例的缩略图像的矩形区域。在此,相似病例的缩略图像是相似医用图像的一例。
由于在病例显示区域710显示很多相似病例,所以若当场进行分辨率和/或像素值的变换则处理会花费时间。由此,缩略图像预先根据原始的切片图像制作,并保存于病例检索系统300。
以下,对分辨率和/或像素值的变换稍作补充。原始的切片图像的分辨率为512×512像素,而缩略图像的分辨力较低,因此需要进行分辨率变换。因此,缩略图像是对作为基础的切片图像进行了低分辨率处理以及灰阶变换处理而生成的。
灰阶变换处理例如如下来进行。通过CT而取得的切片图像的各像素值(CT值)取-1000~+1000(单位HU:Hounsfield Unit,亨氏单位)的2000灰阶的值,无法直接显示于通常的8位灰阶的显示器。另外,即使能够显示,人也难以通过肉眼在2000灰阶中区分肺气肿区域(CT值:-1000HU)、肺野的正常组织(CT值:约-900HU)、磨砂玻璃影区域(CT值:-800HU)、软组织(CT值:-100~-50HU)、水(CT值:0HU)以及骨(CT值:1000HU)。
由此,通常,切片图像对各像素值设定窗位以及窗宽,重构为8位的像素值并显示于显示器。在此,窗位表示成为窗中心的CT值,窗宽表示窗中心的上下的宽度。
例如,在肺野条件下重构DICOM图像的情况下,窗位被设定为-550~-800,窗宽被设定为1000~1600。因此,缩略图像也通过从作为基础的切片图像经上述的处理将像素值降低到8位来生成。
此外,显示于病例显示区域710的缩略图像,是表示相对于诊断对象病例的特征向量的距离为预定的阈值以下的相似病例的缩略图像。在此,作为距离,例如使用欧几里得距离。此外,作为距离,也可以采用市街区距离等另外的距离尺度。距离越近,成为比较对象的2个图像越相似。另外,特征向量不是从缩略图像获得的向量,而采用从作为源图像的切片图像获得的向量。
图7是将病例显示区域710所显示的某个相似病例的显示区域701(单独区域的一例)截取显示的图。在相似病例的显示区域701显示缩略图像,在该缩略图像的下部,配置有确诊病名显示区域711以及距离显示区域712。在确诊病名显示区域711显示成为对象的相似病例的确诊病名。确诊病名是指对成为对象的相似病例确定了诊断的病名。在距离显示区域712,显示成为对象的相似病例的切片图像的特征向量、和与检索查询图像的特征向量的距离。在图7的例子中,由于在确诊病名显示区域711显示为“非结核性抗酸菌病”,所以该缩略图像表示被确诊为“非结核性抗酸菌病”的相似病例的缩略图像。另外,由于在距离显示区域712显示为“0.05”,所以表示该相似病例的切片图像与检索查询图像的距离为“0.05”。
如图7所示,相似病例的显示区域701所显示的缩略图像,包含对应关心区域CROI。对应关心区域CROI是与对检索查询图像(读片对象的医用图像)设定的关心区域对应的区域(即与关心区域相似的区域)。此外,以下,对应关心区域也被简称为“关心区域”。
返回到图6。在基本画面K2的例如左上,配置有检索结果件数显示区域713。在检索结果件数显示区域713,显示作为检索处理的结果的、从病例检索系统300取得的与诊断对象病例相似的相似病例的数量。
此外,在相似病例的数量庞大的情况下,病例显示区域710无法一次显示全部相似病例。因此,在病例显示区域710的例如右侧,设置有沿上下方向为长条的滚动条715。显示控制部104根据滚动条715的移动量,使显示在病例显示区域710内的缩略图像沿上下方向滚动显示。由此,用户能够使处于非显示状态的相似病例显示在病例显示区域710,观察该相似病例。
此外,滚动条715也可以是沿左右方向为长条。该情况下,显示控制部104根据滚动条715的移动量使显示在病例显示区域710内的缩略图像沿左右方向滚动显示即可。或者,也可以:在病例显示区域710定位了鼠标光标的状态下,当按压键盘的方向键时,显示控制部104在按着键的期间,使显示在病例显示区域710内的缩略图像向按着的键的方向滚动显示。
此外,信息终端100从病例检索系统300取得了与检索查询图像的距离为预定的阈值以下的缩略图像,但这只不过是一例。例如,信息终端100也可以从病例检索系统300按相似度从高到低的顺序始终取得一定数的缩略图像。或者,信息终端100也可以以使得始终包含一定数的某确诊病名的缩略图像的方式从病例检索系统300取得缩略图像。
此外,作为病例显示区域710中的缩略图像的显示方法,例如可以采用如下的显示方法:在最上部的行的左端显示与检索查询图像的距离最短的缩略图像,以随着向右侧而距离依次增大的方式显示缩略图像,当到达同一行的右端时,在从上起第2行的左端显示接下来距离大的缩略图像。也即,可以采用如下的显示方法:在病例显示区域710,以从左上向右下蜿蜒行进的方式按距离从小到大的顺序显示缩略图像。
当然,本实施方式也可以采用另外的显示方法。例如,也可以采用如下的显示方法:在从左起第1列的上端显示距离最短的缩略图像,以随着向下侧而距离依次增大的方式显示缩略图像,当到达同一列的下端时,在从左起第2列的上端显示接下来距离大的缩略图像。另外,也可以采用能够由用户切换该多个显示方法的构成。
另外,在上述的例子中,作为相似度采用了距离,但只要是表示余弦相似度这样的图像彼此的相似性的指标,采用什么样的指标都可以。在采用了余弦相似度的情况下,值越接近1,成为比较对象的2个图像的相似性越高。
此外,虽然详细内容在后面叙述,但在病例显示区域710进行显示的相似病例,例如能够通过显示在病名列表显示区域730的病名或显示在分布列表显示区域750的病变分布来进行筛选。当前设定的相似病例的筛选条件显示在显示条件显示区域714。在图6的例子中,为刚进行相似病例检索之后的状态,没有进行任何筛选,因此在显示条件显示区域714显示为“全部疾病”。
布局区域720例如配置在图6所示的基本画面K2的左下。布局区域720也可以用于使显示在了病例显示区域710的相似病例的缩略图像中的用户想要详细观察的图像显示于显示器101a的医用图像查看器。如图5所示那样,在显示器101a以2行2列显示有4个医用图像查看器610~640。另外,在布局区域720,以2行2列存在4个显示框。如此,显示器101a所显示的医用图像查看器610~640的数量以及配置和布局区域720中的显示框的数量以及配置也可以统一。如图5那样,按照在医用图像查看器610显示有检索查询图像,在显示框721初始显示检索查询图像的缩略图像。
(向病例显示区域710插入检索查询图像的插入动作)
在本实施方式中,构成为能够通过用户(医生)的操作将检索查询图像插入到病例显示区域710。若检索查询图像被插入到病例显示区域710,则病例显示区域710所显示的相似病例的缩略图像进行移动,检索查询图像与缩略图像相邻地显示。以下,说明向病例显示区域710插入检索查询图像的插入动作。
图8是表示向病例显示区域710插入检索查询图像之前的基本画面K2的图。当用户通过操作部102的鼠标拖拽布局区域720所显示的检索查询图像时,与鼠标光标801的位置联动地,检索查询图像802进行移动并显示于病例显示区域710。如图8所示,在检索查询图像802进行移动时,检索查询图像也显示于布局区域720。此外,也可以使得在检索查询图像802进行移动时检索查询图像不显示于布局区域720。
如图6、图8所示,在显示有刚进行相似病例检索之后的基本画面K2的状态下,在各显示区域701(图7)显示有缩略图像的图像整体。病例显示区域710包括分别显示缩略图像的预定数ND(在本实施方式中,ND=20)的显示区域701(图7)。在病例显示区域710中,在横向(一行)上显示的缩略图像的数量(即设置在横向上的显示区域701的数量)NE成为预先确定的一定值(在本实施方式中为NE=5)。
图9是表示插入检索查询图像时的显示于病例显示区域710的缩略图像的移动状态的图。通过用户的拖拽操作,检索查询图像802与鼠标光标801的位置联动地进行移动。在本实施方式中,用户将鼠标光标801移动到想使得移动的相似病例的缩略图像710a上。
输入控制部103检测到鼠标光标801的位置在包含缩略图像710a的预定区域内停止了预定时间以上。于是,显示控制部104如图9所示,使显示于病例显示区域710的相似病例的缩略图像中的用户想要使得移动的相似病例的缩略图像710a和显示在其右边的同一行的全部缩略图像(在图9中为缩略图像710b)向右移动。
此外,包含缩略图像710a的预定区域也可以是显示缩略图像710a的显示区域701(图7)。取而代之,包含缩略图像710a的预定区域也可以是在不与相邻的区域重叠的程度上比显示区域701大的区域。
用户在将检索查询图像802配置于缩略图像710a的左侧并想要比较缩略图像710a与检索查询图像802的情况以及将检索查询图像802配置于缩略图像710c的右侧并想要比较缩略图像710c与检索查询图像802的情况下,将缩略图像710a决定为想使得移动的缩略图像。如此,在本实施方式中,显示控制部104在将检索查询图像802插入到病例显示区域710时,使已显示的相似病例的缩略图像向右移动。
图10是表示检索查询图像802已被插入到病例显示区域710的状态的图。如图10所示,显示控制部104使缩略图像710a和与其右边相邻的缩略图像710b向右移动与一张缩略图像相当的量。由此,显示控制部104在原来显示过缩略图像710a的位置显示检索查询图像802。其结果是,图8中与病例显示区域710的右边侧相邻地显示过的缩略图像710b(第3相似医用图像的一例),在图10中不显示。
如此,显示控制部104使想要比较的缩略图像710a(第2相似医用图像的一例)或缩略图像710c(第1相似医用图像的一例)与检索查询图像802(对象医用图像的一例)必定相邻地显示。通过该功能,在检索查询图像802与想要比较的缩略图像710a或710c之间,不存在其他的缩略图像。其结果是,在进行比较作业时,医生的视线移动减小。因此,可减轻针对阴影的位置、尺寸、形状以及分布等多个项目进行详细比较时的伴随视线移动的身体负担,有助于诊断精度的提高。此外,在图10中,检索查询图像802显示在缩略图像710a和缩略图像710c之间。检索查询图像802不限于显示在缩略图像710a和缩略图像710c之间,即使与缩略图像710a和缩略图像710c的上边或下边相邻地显示,医生的视线移动也能够同样地减小。
如图8~图10所示,显示控制部104在将检索查询图像802显示于病例显示区域710时,通过由粗框803包围,使检索查询图像802相比于相似病例的缩略图像进行强调显示。此外,强调显示的方法,不限于粗框803,也可以显示不同颜色的框,还可以在检索查询图像802的周边显示文字。
通过该功能,用户能够简单地掌握插入到病例显示区域710的检索查询图像802的位置。因此,由于清楚了检索查询图像802的位置,所以能够省去医生用于比较布局区域720中的检索查询图像与病例显示区域710中的医用图像的视线移动。其结果是,能够为了针对阴影的位置、尺寸、形状以及分布等多个项目进行详细比较而进行视线移动。因此,可减轻用户的负担,有助于诊断精度的提高。
如图9、图10所示,显示控制部104使要插入的检索查询图像802的尺寸与病例显示区域710所显示的缩略图像的尺寸相同。通过该功能,即使在病例显示区域710的任何位置插入了检索查询图像802,缩略图像的移动量都被固定为与一张缩略图像相当的量。因此,即使在多个缩略图像发生了移动时,用户也能够容易地掌握插入前后的缩略图像的位置关系的差异。
如参照图6说明的那样,在本实施方式中,作为病例显示区域710中的缩略图像的显示方法,采用如下的显示方法:在最上部的行的左端显示与检索查询图像的距离最短的缩略图像,以随着向右侧而距离依次增大的方式显示缩略图像,当到达同一行的右端时,在从上起第2行的左端显示接下来距离大的缩略图像。
该情况下,也考虑在将全部缩略图像显示于病例显示区域710的同时保持距离的顺序。为此,在将检索查询图像插入到例如第1行的情况下,使第1行的右端的缩略图像向第2行的左端移动。于是,与该移动联动地,与插入了检索查询图像的位置的缩略图像相比距离较大的相似病例的缩略图像会全都进行移动。于是,与检索查询图像的插入前相比,缩略图像的配置的变化较大,用户不再能容易地掌握插入前后的缩略图像的位置关系。因此,在本实施方式中,不进行缩略图像的跨行的位置移动。
即,显示控制部104使在插入了检索查询图像802的行的右端显示过的缩略图像(在图8、图9中为缩略图像710b)如图9所示那样向病例显示区域710之外移动。并且,在检索查询图像802的插入完成时,如图10所示,显示控制部104使缩略图像710b不显示于病例显示区域710。由此,可保持插入了检索查询图像802的行以外的行中的缩略图像的配置关系。
通过该功能,用户能够容易地掌握检索查询图像的插入前后的缩略图像的位置关系。其结果是,能够为了针对阴影的位置、尺寸、形状以及分布等多个项目进行详细比较而进行视线移动。因此,可减轻用户的负担,有助于诊断精度的提高。
如图9、图10所示,在使在插入了检索查询图像802的行的右端显示过的缩略图像不显示于病例显示区域710的情况下,医生想要比较的接着相似病例的相似度高的相似病例有时会隐藏在病例显示区域710之外。例如,在医生想要比较检索查询图像802与缩略图像710a的情况下,接着缩略图像710a的与检索查询图像802的距离短的缩略图像710b不显示于病例显示区域710。
因此,在本实施方式中,如图10所示,显示控制部104在病例显示区域710内的插入了检索查询图像802的行的右端显示滚动按钮716。滚动按钮716表示存在未被显示的缩略图像这一情况。当用户例如通过鼠标来左键点击滚动按钮716时,输入控制部103检测到该操作。于是,显示控制部104使检索查询图像802以及插入了检索查询图像802的行的缩略图像滚动。
图11是表示在图10中操作滚动按钮716来使检索查询图像802以及插入了检索查询图像802的行的缩略图像发生了滚动的状态的图。
如图11所示,图10中不再显示的缩略图像710b被显示于病例显示区域710。通过该功能,在检索查询图像802的插入后,不用再次移动检索查询图像802,就能够比较接着缩略图像710a的相似度高的缩略图像710b与检索查询图像802。此外,在图11中,为了对不再显示的图10的左端的缩略图像进行显示,在病例显示区域710的左端显示与滚动按钮716反向的滚动按钮717。
在图8~图11所示的实施方式中,在医生想要与检索查询图像802进行比较的相似病例是显示在病例显示区域710的右端的缩略图像710b的情况下,若将检索查询图像802插入到缩略图像710b的位置,则缩略图像710b会向右移动而不再显示于病例显示区域710。因此,为了使缩略图像710b显示于病例显示区域710,需要操作滚动按钮716。
因此,显示控制部104也可以设定成不能向显示在病例显示区域710的右端的缩略图像的位置插入检索查询图像802。
图12是表示禁止向显示在病例显示区域710的右端的缩略图像710b的位置插入检索查询图像802的情况下的基本画面K2的图。在图12的实施方式中,即使鼠标光标801的位置在缩略图像710b上经过了预定时间以上,缩略图像710b也不移动。
显示控制部104对缩略图像710b显示粗框804,进行禁止插入的强调显示。由此,表示病例显示区域710不是故障而是正在正常地动作。显示控制部104也可以以红色来显示粗框804。若以红色来显示粗框804,则可更明确地表示禁止插入。
取而代之,如图13所示,也可以在向病例显示区域710的右端插入检索查询图像的情况下使缩略图像的移动方向为向左。
图13是表示在向病例显示区域710的右端插入检索查询图像802而导致缩略图像向左移动了的情况下的基本画面K2的图。输入控制部103检测到鼠标光标801的位置在包含病例显示区域710的右端的缩略图像710b的预定区域内停止了预定时间以上。于是,显示控制部104使缩略图像710b和显示在其左的同一行的全部缩略图像向左移动。通过该功能,能够向病例显示区域710的右端的缩略图像710b的右侧插入检索查询图像802,并对缩略图像710b与检索查询图像802进行比较。
在图13的动作中,在病例显示区域710的左端显示过的缩略图像710d(图9)不再显示。因此,显示控制部104也可以如图13所示那样在病例显示区域710的左端显示滚动按钮717。当通过输入控制部103检测到对滚动按钮717的操作时,显示控制部104使病例显示区域710的第1行的医用图像向右滚动。
但是,当使病例显示区域710的第1行的医用图像向右滚动时,已被插入的检索查询图像802会不再显示。因此,显示控制部104也可以不显示滚动按钮717。
在图8~图11所示的实施方式中,通过操作滚动按钮716,能够在病例显示区域710的右端所显示的缩略图像710b的左边插入检索查询图像802,并对缩略图像710b与检索查询图像802进行比较。另外,在图13所示的实施方式中,能够在病例显示区域710的右端所显示的缩略图像710b的右边插入检索查询图像802,并对缩略图像710b与检索查询图像802进行比较。
因此,在本实施方式中,也可以构成为:在病例显示区域710的右端插入检索查询图像802的情况下,可以选择使病例显示区域710所显示的缩略图像的移动方向是向右还是向左。
在上述“向病例显示区域710插入检索查询图像的插入动作”的说明的记述中,“检索查询图像”也可以理解成“检索查询图像的缩略图像”。
(病名列表)
返回到图6,在基本画面K2的左侧的上部,配置有标着“病名列表”这一标题的病名列表显示区域730。在病名列表显示区域730,显示作为相似病例的检索结果而取得的全部相似病例的确诊病名。诊断对象病例在诊断结束而赋予了确诊病名之后作为相似病例存储在病例检索系统300中。因此,对各相似病例分别预先赋予通过诊断而赋予的确诊病名。
图14是病名列表显示区域730的放大图。在图14中,确诊病名分成大分类病名(731,734,737,741,744)和详细分类病名(732,733,735,736,738,739,740,742,743,745)而显示。在图6的例子中,作为大分类病名,显示有真菌病731(mycosis)、肿瘤性734(neoplastic)、非肿瘤性737(nonneoplastic)、分支杆菌病741(mycobacteriosis)以及其他744。
另外,在图14的例子中,作为真菌病731的详细分类病名,显示有曲霉病732(aspergillosis)、隐球菌病733(cryptococcosis)。另外,作为肿瘤性734的详细分类病名,显示有原发性肺癌735(lungcancer)、转移性肺癌736(metastaticlungcancer)。另外,作为非肿瘤性737的详细分类病名,显示有肺脓肿738(lung abscess)、结节病739(sarcoidosis)、败血性血栓740(septic emboli)。另外,作为分支杆菌病741的详细分类病名,显示有非结核性抗酸菌病742(NTM:nontuberculous mycobacteria)、肺结核743(tuberculosis)。另外,作为其他744的详细分类病名,显示有支气管扩张病745(bronchiectasis)。
另外,在大分类病名以及详细分类病名的旁边,显示有该病名的病例数。用户通过选择该病名列表显示区域730中的大分类病名或详细分类病名的任意行,能够筛选病例显示区域710所显示的相似病例。在如图6所示刚刚进行相似病例的检索之后的状态下,包括多种疾病的62个相似病例成为了显示对象,但在用鼠标点击了图14的真菌病731的行的情况下,显示控制部104如图15所示那样仅将真菌病的相似病例显示于病例显示区域710。另外,在用鼠标点击了图14的转移性肺癌736的行的情况下,显示控制部104如图16所示那样仅将转移性肺癌的相似病例显示于病例显示区域710。
此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例是以何种筛选条件进行的筛选的方式,在显示条件显示区域714显示进行了筛选的病名。
图15是表示以“真菌病”筛选了相似病例时的基本画面K2的图。图16是表示以“转移性肺癌”筛选了相似病例时的基本画面K2的图。
在图15的例子中,由于以“真菌病”实施了筛选,所以在显示条件显示区域714显示为“真菌病”,在图16的例子中,由于以“转移性肺癌”实施了筛选,所以在显示条件显示区域714显示为“转移性肺癌”。
另外,此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例的件数的方式,在检索结果件数显示区域713显示该件数。在图15的例子中,由于符合“真菌病”的相似病例为14件,所以在检索结果件数显示区域713显示为14件,在图16的例子中,由于符合“转移性肺癌”的相似病例为3件,所以在检索结果件数显示区域713显示为3件。
通过该功能,仅将医生设想的病名的相似病例作为图像诊断的对象而显示于病例显示区域710,医生能够容易地确认诊断对象病例是否与所设想的病名不发生矛盾。
在图15中,在最大显示件数ND(在本实施方式中,ND=20)的病例显示区域710显示有M个(在图15中,M=14)相似病例的缩略图像。
(病变分布)
在图6所示的基本画面K2的左侧的中部,配置有标着“病变分布”这一标题的分布列表显示区域750。在分布列表显示区域750,显示作为检索了相似病例的结果的、从病例检索系统300取得的全部相似病例的病变分布的种类。
图17是分布列表显示区域750的放大图。在图17的例子中,显示有7个病变分布的名称,在各病变分布的名称的左侧配置有复选框。在图17的例子中,作为病变分布,显示有弥漫性751(diffuse)、区域性752(segmental)、气道性753(bronchial)、两侧性754(bilateral)、多发性755(multiple)、胸膜下756(subpleural)以及血行性757(hematogenous)。
这些病变分布被预先定义,对各相似病例预先赋予表示符合弥漫性751~血行性757的哪个的分布标记值(符合:1,不符合:0)。根据相似病例,有时全部分布标记值被设定为不符合(:0),也有时多个分布标记值被设定为符合(:1)。
本实施方式的病例检索系统300针对用户对诊断对象病例的切片图像设定的关心区域,检索具有相似的关心区域的相似病例。有时在用户设定了关心区域的切片图像以外也存在病变。并且,用户在以设定了关心区域的切片图像检索了相似病例之后,有时也希望对该切片图像以外的切片图像与所检索出的相似病例进行比较。该情况下,用户在医用图像查看器610中输入切片切换的操作来显示其他的切片图像,进行与所检索出的相似病例比较的作业。该情况下,如果所检索出的全部相似病例中的仅与关注的病变关联的相似病例显示在病例显示区域710,则能够顺畅地进行从设定了关心区域的切片图像以外的切片图像中提取具有所希望的病变的切片图像的作业。因此,在本实施方式中,为了更顺畅地进行该作业,设有以所希望的病变分布对所检索出的相似病例进行筛选的功能。
在本实施方式中,作为肺野区域内的病变分布,采用了图17的由弥漫性751~血行性757所示的病变分布。另外,如图17所示,关于复选框以及病名分布的名称,显示控制部104将能够筛选的病变分布以激活状态显示,将不能筛选的病变分布以非激活状态显示。在此,作为激活状态,采用辉度比非激活状态高的状态,作为非激活状态,采用辉度比激活状态低的状态。
在图17的例子中,弥漫性751、气道性753~血行性757以激活状态显示,区域性752以非激活状态显示。这是因为:在当前通过相似病例的检索而取得的全部相似病例中的至少任一个相似病例中弥漫性751、气道性753血行性757的分布标记值被设定为1(符合),在所取得的全部相似病例中的任何相似病例中区域性752的分布标记值都被设定为0(不符合)。
当输入控制部103检测到在激活状态的复选框中的1个以上的复选框输入了复选标记时,显示控制部104仅使符合被输入复选标记的病变条件的相似病例显示于病例显示区域710。
此外,关于区域性752,作为检索结果而取得的相似病例的任何相似病例中分布标记值都被设定为0(不符合)。因此,若采用在区域性752能够输入复选标记的构成,则在该病变分布输入了复选标记的情况下,在病例显示区域710不会显示任何相似病例,输入复选标记就失去了意义。因此,在本实施方式中,为了避免这种情况,在作为检索结果而取得的相似病例的任何相似病例中分布标记值都为0(不符合)的病变分布以非激活状态进行显示。
图18是表示向两侧性754的复选框输入了复选标记的分布列表显示区域750的图。图19是表示以两侧性754的病变分布实施了筛选的基本画面K2的图。如图18所示,在向两侧性754的复选框输入了复选标记的情况下,显示控制部104如图19所示那样仅将具有两侧性的病变分布的相似病例显示于病例显示区域710。在该例中,具有两侧性的病变分布的相似病例为10件。因此,显示控制部104在检索结果件数显示区域713显示为“10件”。另外,显示控制部104在显示条件显示区域714显示显示对象的病名和作为病变分布的名称的“两侧性”。在图19的例子中,由于没有实施基于病名列表显示区域730所列举的病名的筛选,所以在显示条件显示区域714显示为“全部疾病”。
如图18所示,在向两侧性754的复选框输入了复选标记的情况下,如图19所示,显示控制部104在病例显示区域710显示按与所选择出的病变分布对应的放大率进行了放大的缩略图像。在选择了病变分布名“两侧性”的情况下,需要使得能够观测肺的两侧。因此,显示控制部104显示放大率为1.0倍的缩略图像。
同样地,在向多发性755的复选框输入了复选标记的情况下,显示控制部104在病例显示区域710仅显示具有多发性的病变分布的相似病例。在选择了病变分布名“多发性”的情况下,需要使得能够确认多发的病变的分布。因此,显示控制部104显示放大率为1.0倍的缩略图像。
同样地,在向弥漫性751的复选框输入了复选标记的情况下,显示控制部104在病例显示区域710仅显示具有弥漫性的病变分布的相似病例。在选择了病变分布名“弥漫性”的情况下,需要使得能够确认大范围扩散的弥漫性病变的分布。因此,显示控制部104显示放大率为1.0倍的缩略图像。
同样地,在向血行性757的复选框输入了复选标记的情况下,显示控制部104在病例显示区域710仅显示具有血行性的病变分布的相似病例。在血行性的情况下存在病变向关注病变以外转移的可能性。因此,需要确认图像整体。因此,显示控制部104显示放大率为1.0倍的缩略图像。
图20是表示向气道性753的复选框输入了复选标记的分布列表显示区域750的图。图21是表示以气道性753的病变分布实施了筛选的基本画面K2的图。在如图20所示那样向气道性753的复选框输入了复选标记的情况下,显示控制部104如图21所示那样在病例显示区域710仅显示具有气道性的病变分布的相似病例。在本例中,具有气道性的病变分布的相似病例为12件。因此,显示控制部104在检索结果件数显示区域713显示为“12件”。另外,显示控制部104在显示条件显示区域714显示显示对象的病名和病变分布的名称即“气道性”。在图21的例子中,由于未实施基于病名列表显示区域730所列举的病名的筛选,因此在显示条件显示区域714显示为“全部疾病”。
在如图20所示那样向气道性753的复选框输入了复选标记的情况下,如图21所示,显示控制部104在病例显示区域710显示按与所选择出的病变分布对应的放大率进行了放大的缩略图像。在选择了病变分布名“气道性”的情况下,需要使得能够判定是否为气道性。因此,显示控制部104显示按使关心区域的面积成为显示区域的二分之一左右那样的放大率进行了放大的各缩略图像。
同样地,在向区域性752的复选框输入了复选标记的情况下,显示控制部104在病例显示区域710仅显示具有区域性的病变分布的相似病例。在选择了病变分布名“区域性”的情况下,需要使得能够确认区域性病变的详细情况。因此,显示控制部104显示按使关心区域的面积成为显示区域的二分之一左右那样的放大率进行了放大的各缩略图像。
图22是表示向胸膜下756的复选框输入了复选标记的分布列表显示区域750的图。图23是表示以胸膜下756的病变分布实施了筛选的基本画面K2的图。在如图22所示那样向胸膜下756的复选框输入了复选标记的情况下,显示控制部104如图23所示那样在病例显示区域710仅显示具有胸膜下的病变分布的相似病例。在本例中,具有胸膜下的病变分布的相似病例为7件。因此,显示控制部104在检索结果件数显示区域713显示为“7件”。另外,显示控制部104在显示条件显示区域714显示显示对象的病名和病变分布的名称即“胸膜下”。在图23的例子中,由于未实施基于病名列表显示区域730所列举的病名的筛选,所以在显示条件显示区域714显示为“全部疾病”。
在如图22所示那样向胸膜下756的复选框输入了复选标记的情况下,如图23所示,显示控制部104在病例显示区域710显示按与所选择出的病变分布对应的放大率进行了放大的缩略图像。在选择了病变分布名“胸膜下”的情况下,需要使得能够观察与胸膜之间的位置关系。因此,显示控制部104显示按使得包含胸膜那样的放大率进行了放大的各缩略图像。
此外,对于图19、图21、图23中的病变分布选择时的各缩略图像的放大处理的详细情况,在后面叙述。
(患者信息1000)
图24是表示患者信息1000的数据结构的图。患者信息1000通过医用信息管理系统200中的患者信息管理部202按患者存储于患者信息存储部201来管理。在患者信息1000中登记有患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息。如图24所示,患者信息1000包括患者ID1100、姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600、主诉17001、检查信息1800以及确诊1900。
患者ID1100是患者固有的标识符。姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600以及主诉1700分别是患者ID1100的患者的姓名、年龄、性别、既往病史、家族病史以及主诉。检查信息1800如图25所示表示与该患者过去接受的1次以上的检查相关的信息。
图25是表示登记在图24所示的患者信息1000中的检查信息1800的数据结构的图。检查信息1800是与对患者进行的检查相关的信息,对应于每个检查而逐个制作。检查信息1800包括检查ID1810、检查日期时间1820、检查类型1830以及检查结果1840。检查ID1810是检查固有的标识符。检查日期时间1820是进行了检查的日期时间。检查类型1830是检查的种类。作为检查的种类,例如有血液检查、呼吸功能检查、内窥镜检查、普通X射线拍摄、CT拍摄等。
如果是血液检查,则检查结果1840适用白血球数、LDH以及GPT等各种指标的值。另外,检查结果1840也适用医生基于各种指标所作出的判断等。另外,如果是普通X射线拍摄或CT拍摄等图像检查,则包括指向所拍摄的图像的指针信息或指向图像诊断结果的报告的指针信息。此外,通过检查而拍摄到的图像,以DICOM的格式存储在医用信息管理系统200的医用图像数据存储部203中。
另外,在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,它们的医用图像数据存储在医用信息管理系统200的医用图像数据存储部203存储的医用图像数据库2000中。
图26是表示医用图像数据库2000的数据结构的图。医用图像数据库2000具有检查ID1810以及序列(series)ID2100。因为有时一次检查进行多种拍摄(例如,普通CT和造影CT等),所以有时相对于一个检查ID1810关联有多个序列ID2100。也即,获得与拍摄的种类相应的个数的序列。
另外,对于序列,除了按拍摄的种类而获得以外也按所拍摄到的图像的重构条件而获得。例如,在所拍摄到的图像以肺野条件以及纵膈条件进行了重构的情况下,按这些条件的每个条件获得一个序列。此外,以肺野条件进行了重构的图像,强调显示肺中的血管、支气管以及肺泡等。另外,以纵膈条件进行了重构的图像,强调显示血管和/或淋巴结等的纵膈。由于肺野条件以及纵膈条件通过对由一次拍摄得到的图像进行重构而获得,所以在通过普通CT和造影CT进行两次拍摄、对于该两次拍摄分别以肺野条件以及纵膈条件重构了图像的情况下,获得2个肺野条件的序列,并获得2个纵膈条件的序列。
在CT以及MRI的图像检查的情况下,因为通过一次拍摄而取得多个切片图像,所以对1个序列ID2100关联有多个切片ID2200。由于对图26的检查ID“13227989”关联有2个序列ID“CT149123”、“CT149124”,所以可知从该检查获得2个序列的CT图像。另外,可知对序列ID“CT149123”、“CT149124”分别关联有多个切片ID2200。
在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,在医用信息管理系统200的诊断报告管理部205中存储图27所示那样的诊断报告3000。在诊断报告3000中登记有医生对于各检查的诊断结果。
图27是表示诊断报告3000的数据结构的图。诊断报告3000包括检查ID1810、观察结果3100以及诊断3200。检查ID1810与图25中所示的检查ID1810相同。由此,诊断报告3000与检查信息1800关联。观察结果3100登记有表示对于检查的医生的观察结果的语句。诊断3200登记有表示对于检查的医生诊断的语句。
图28是表示相似病例数据4000的数据结构的图。相似病例数据4000是在检索与诊断对象病例相似的相似病例时所参考的数据,对应于每个相似病例而逐个制作。此外,相似病例数据4000是相似病例数据的附加信息的一例。相似病例数据4000在病例检索系统300的相似病例数据存储部301中按各个相似病例而存储。如图28所示,相似病例数据4000包括相似病例ID4100、切片ID4200、关心区域信息4300、图像特征数据4400、缩略图像数据4500、病变分布信息4600、确诊(大分类病名)4700、以及确诊(详细分类病名)4800。
相似病例ID4100是相似病例数据4000的标识符。在此,由于按对相似病例的切片图像设定的关心区域而生成一个相似病例数据,所以相似病例ID4100也可以说是关心区域的标识符。在图28的例子中,相似病例ID4100通过由“SIM”和之后的编号构成的符号串构成。
切片ID4200是设定了关心区域的切片图像的标识符,与图26所示的切片ID2200相同。关心区域信息4300是表示对切片图像设定的关心区域的位置的信息。
图29是示意性表示对切片图像设定的关心区域的图。在图29的例子中,关心区域设定成矩形状。因此,关心区域信息4300由关心区域的左上的顶点的坐标(xl,yt)和右下的顶点的坐标(xr,yb)这4个值构成。当然,关心区域也可以是矩形以外的形状,该情况下,采用能够唯一确定区域的参数作为关心区域信息4300。例如,如果关心区域为圆形,则采用圆的中心坐标和半径作为关心区域信息4300。
图像特征数据4400是从由关心区域信息4300定义的关心区域提取的预定维(在此为N维)的特征值。缩略图像数据4500是基于由切片ID确定的DICOM格式的切片图像,为了显示于病例显示区域710而生成的缩略图像的图像数据。在此,缩略图像数据4500例如从缩略图像的左上的顶点向右下的顶点按光栅扫描的顺序配置缩略图像的像素值。前面进行了说明,通过CT检查而得到的DICOM图像是512×512像素的11位(像素值:-1000~+1000)图像。因此,在本实施方式中,为了使缩略图像的显示高速化,预先对作为缩略图像的根源的DICOM图像进行低分辨率处理以及灰阶变换处理来制作具有8位像素值的缩略图像,登记在相似病例数据4000中。此外,缩略图像的制作例如既可以由医用信息管理系统200制作并发送到病例检索系统300,也可以由病例检索系统300从医用信息管理系统200取得DICOM图像来进行制作。
病变分布信息4600是表示成为对象的相似病例符合由预先设定的弥漫性4610~血行性4670表示的病变分布的哪一个的分布标记值(1:符合,0:不符合)。
确诊(大分类病名)4700是对成为对象的相似病例确定的大分类的病名。确诊(大分类病名)4700在以大分类的病名筛选相似病例时使用。
确诊(详细分类病名)4800是对成为对象的相似病例确定的详细分类的病名。确诊(详细分类病名)4800在以小分类的病名筛选相似病例时使用。
对于确诊(大分类病名)4700,预先定义了相对于确诊(详细分类病名)4800唯一对应的大分类病名,使用该对应关系保存于相似病例数据4000。
对于确诊(详细分类病名)4800,在医用图像数据存储部203中根据图26所示的切片ID2200来确定序列ID2100。并且,根据所确定出的序列ID2100,在患者信息存储部201中确定检查ID1810,根据检查ID1810来确定对应的患者信息1000(图24),根据所确定出的患者信息1000来确定该患者的确诊1900。
(处理流程)
接着,说明信息终端100与医用信息管理系统200和病例检索系统300协同工作而从读片作业开始起到开始相似病例检索为止的流程。
图30是表示信息终端100从医用信息管理系统200取得了诊断对象病例之后,对病例检索系统300进行相似病例检索的请求,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。此外,在图30中,时序图的左侧所示的2列的矩形表示通过相应的步骤的处理而显示于显示器101a、101b的画面。另外,在图30中,信息终端的“A”表示医用信息管理应用,“B”表示相似病例检索应用。设为在该时序开始前预先启动了医用信息管理应用。
首先,信息终端100通过操作部102受理用户(进行读片的医生)的成为读片对象的检查列表的显示请求,通过输入控制部103以及通信控制部110,向医用信息管理系统200的通信控制部206发送检查列表的显示请求(S510)。
医用信息管理系统200的患者信息管理部202在实施了图像检查后使未结束读片的检查列表化,生成成为读片对象的检查列表。然后,患者信息管理部202通过通信控制部206,将所生成的检查列表发送到信息终端100的通信控制部110(S520)。在此,在检查列表中包括相应患者的患者信息1000以及检查信息1800。
信息终端100的显示控制部104将由通信控制部110接收到的检查列表显示于显示器101(S530)。
该情况下,在显示器101a显示检查列表,在显示器101b没有任何显示。
图31是检查列表的画面图。检查列表包括表示未结束读片的检查的区域800和表示与检查所包含的序列相关的信息的区域810。在区域800,设有“患者ID”、“患者姓名”、“检查日期时间”、“检查ID”以及“检查类型”的栏。在“患者ID”、“患者姓名”的栏,显示登记在患者信息1000中的患者ID1100以及姓名1200,在“检查日期时间”、“检查ID”以及“检查类型”的栏,显示登记在检查信息1800中的检查日期时间1820、检查ID1810以及检查类型1830。区域810是用于显示用户在区域800选择的检查的详细内容的区域,设有“序列ID”、“定义”以及“图像”的栏。在此,由于在区域800中用户没有选择检查(与行对应),所以在区域810没有任何显示。
用户从区域800所显示的检查中选择现在开始进行读片的检查。当由输入控制部103检测到该选择时,如图30所示,通信控制部110将选择出的检查的检查ID所包含的全部序列的显示请求发送给医用信息管理系统200(S540)。
当医用信息管理系统200的通信控制部206接收到该显示请求时,患者信息管理部202参照图26所示的医用图像数据库2000,取得显示请求指定的检查ID所包含的全部序列的全部切片图像,通过通信控制部206发送到信息终端100(S550)。例如,在图26的例子中,当由用户选择了检查ID“13227989”的检查时,在S550中发送序列ID“CT149123”、“CT149124”的序列所包含的全部切片图像。
当信息终端100的通信控制部110取得全部序列的图像时,显示控制部104将一览显示与指定的检查ID所包含的全部序列相关的信息的序列列表显示于区域810(S560)。
该情况下,在显示器101a所显示的检查列表的区域810,显示与在区域800选择出的检查对应的序列的序列列表,在显示器101b没有任何显示。
图32是选择了检查之后的检查列表的画面图。对在图32的区域800中选择出的行的背景标亮。在图32的例子中,在区域800中,选择了第2行的“巴拿太郎”的检查。因此,在区域810,显示关于所选择出的检查的“序列ID”、“定义”以及“图像”。在此,在“序列ID”的栏,显示在医用图像数据库2000中与所选择出的检查的检查ID关联的序列ID,在“图像”的栏显示代表所显示的序列ID的1张切片图像的缩略图像。在此,作为代表序列ID的1张切片图像,采用预定的切片位置的图像。作为预定的切片位置,既可以是开头的切片位置,也可以是中央的切片位置。“定义”表示与相应的序列对应的拍摄条件和/或重构的条件。虽然该“定义”省略了图示,但例如在图26的医用图像数据库2000中与序列ID关联地登记。
当在区域810中由用户选择读片对象的序列,并由输入控制部103检测到该选择时,显示控制部104如图33所示将所选择出的序列的开头的切片图像显示于显示器101a(S570)。
图33是表示由用户选择了序列时显示于显示器101a的切片图像的图。图33是表示胸部CT拍摄方式的开头切片的图,是比肺尖部稍稍偏向头方向的肩位置的切片图像。在此,显示控制部104将所选择出的序列的全部切片图像以能够切换序列的状态显示于显示器101a。此外,在显示器101b没有任何显示。例如,通过用户在显示器101a上定位鼠标光标并输入使鼠标滚轮旋转的切换切片的操作,输入控制部103检测到该操作。于是,显示控制部104根据鼠标滚轮的旋转量,将显示在显示器101a的切片图像切换为另外的切片位置的切片图像。用户一边输入切换切片的操作一边进行图像诊断。然后,用户在对图像诊断产生疑惑的情况下,启动相似病例检索应用。
在此,相似病例检索应用既可以在操作部102的键盘输入预先设定的快捷键来启动,也可以通过鼠标的右键点击来显示医用图像查看器的菜单,从该菜单中指定相似病例检索菜单来启动。当指示了相似病例检索应用的启动时,信息终端100的管理交付给ROI管理部105,信息终端100成为等待接收关心区域(ROI)的等待状态。
图34是表示由用户启动了相似病例检索应用时显示于显示器101a的切片图像的图。图34是从图33的开头切片的切片图像切换了切片的切片位置上的切片图像。用户通过操作部102对显示于显示器101a的切片图像上的病变设定关心区域(ROI)(S580)。在此,用户如图34所示,例如左键点击鼠标来输入切片图像3101中的关心区域ROI的左上的顶点的坐标。并且,用户通过在左键点击的状态下向右斜下方向拖拽鼠标并解除左键点击来输入关心区域ROI的右下的顶点即可。
当输入控制部103检测到设定关心区域的操作时,ROI管理部105从输入控制部103受理关心区域的左上以及右下的顶点的坐标数据,生成所受理的坐标数据作为关心区域信息。然后,ROI管理部105将所生成的关心区域信息发送到通信控制部110(S590)。
同时,ROI管理部105将诊断对象病例的切片图像发送到通信控制部110(S600)。该情况下,在S550中,信息终端100发送从医用信息管理系统200受理的全部序列的切片图像中的在用户选择出的序列中由用户设定了关心区域的1张切片图像(检索查询图像)。
接着,通信控制部110受理从ROI管理部105发送的关心区域信息,并发送到病例检索系统300的通信控制部304(S601)。
同时,通信控制部110受理从ROI管理部105发送的切片图像,并发送到病例检索系统300的通信控制部304(S602)。
在此,在S600、S601中,设为了发送切片图像本身,但也可以发送切片图像的切片ID。该情况下,接收到切片ID的病例检索系统300指定该切片ID来从医用信息管理系统200取得切片图像即可。
(相似病例检索流程)
接着,说明病例检索系统300进行相似病例检索,直到信息终端100初始显示相似病例检索结果为止的处理。
图35是表示病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端100为止的处理的时序图。
病例检索系统300的图像特征提取部302从对检索查询图像设定的关心区域提取预先设定的多个维度的图像特征(S610)。
作为“图像特征”,可以采用医用图像中的与脏器或病变部分的形状相关的图像特征、或者与辉度分布相关的图像特征等。例如,在非专利文献:“根本,清水,萩原,小畑,绳野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案(基于从大量特征量进行的特征选择的乳房X射线像上的肿瘤影辨别精度的改善和高速的特征选择法的提案)”、电子信息通信学会论文志D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”中,记载了使用490维的图像特征。在本实施方式中,例如采用该非专利文献所记载的图像特征。但是,这只不过是一例,也可以采用其他的图像特征。
相似病例检索部303对由图像特征提取部302提取出的图像特征与相似病例数据存储部301所存储的各相似病例的图像特征进行比较(S620)。在此,相似病例检索部303通过算出从检索查询图像提取出的图像特征数据与在相似病例数据存储部301中按相似病例存储的相似病例数据4000(图28)所登记的图像特征数据4400之间的距离,对两个图像特征进行比较。
接着,相似病例检索部303将距离为预定的阈值以下的相似病例按距离从小到大的顺序进行排序,并决定为发送对象的相似病例(S630)。接着,通信控制部304将相似病例数据存储部301所存储的相似病例数据4000中的决定为发送对象的相似病例的相似病例ID4100、切片ID4200、关心区域信息4300、缩略图像数据4500、病变分布信息4600、确诊(大分类病名)4700、确诊(详细分类病名)4800以及由相似病例检索部303算出的距离发送到信息终端100(S640)。
以下,执行生成显示有相似病例检索结果的初始的基本画面K2(图6)的处理。首先,对在初始的基本画面K2中生成布局区域720时所使用的管理信息进行说明。
首先,病例检索系统300的通信控制部304将布局信息发送到信息终端100(S650)。在此,布局信息是指定构成布局区域720的显示框的行数、列数的信息。
接着,当信息终端100的通信控制部110接收到布局信息时,显示框管理部106将所发送来的布局信息指定的显示框的行数以及列数登记在显示框管理信息4410(图36)中,并且将检索查询图像的切片ID登记在显示框管理信息(图36)中(S660)。
图36是表示显示框管理信息4410的数据结构的图。在显示框管理信息4410中,包括登记行数以及列数的表4411和登记各显示框所显示的切片图像的切片ID的表4412。因此,显示框管理部106将从病例检索系统300发送来的布局信息指定的行数以及列数登记在表4411的行数以及列数的栏中。另外,在本实施方式中,在4个显示框中的左上的显示框721显示检索查询图像的缩略图像。因此,显示框管理部106将从医用信息管理系统200发送来的检索查询图像的切片ID登记在表4412的第1行第1列的项目中。此外,也可以是:病例检索系统300制作检索查询图像的缩略图像,在S640或S650中,病例检索系统300将制作出的检索查询图像的缩略图像发送给信息终端100。
在此,构成布局区域720的显示框的行数以及列数的默认值通过病例检索系统300预先设定。在此,行数以及列数的默认值例如为2行以及2列。因此,在图36所示的显示框管理信息4410中登记“2行2列”。
在图6的例子中,在布局区域720,显示框以2行2列进行了显示。该布局区域720中的行数以及列数可以由用户自由设定。
用户设定的布局区域720的布局信息既可以由信息终端100管理,也可以由病例检索系统300管理。此外,在布局信息由病例检索系统300管理的情况下,在图35的S650中,将相应的用户的布局信息发送给信息终端100。
接着,使用通过S640发送的相似病例数据以及通过S660保存的显示框管理信息4410,显示控制部104生成显示有相似病例检索结果的初始的基本画面K2(S670)。
该情况下,在显示器101b显示图6所示的基本画面K2。另外,在显示器101a显示有检索查询图像。
(相似病例检索结果显示流程)
图37是表示图35的S670所示的生成初始的基本画面K2的处理的详细内容的流程图。
首先,在S1000中,显示控制部104对在图35的S640中接收到的相似病例的数量进行计数,将计数值显示于检索结果件数显示区域713。
接着,在S1100中,显示控制部104在显示条件显示区域714显示为“全部疾病”。在此,显示为“全部疾病”是因为在初始的基本画面K2中用户没有实施以病名或病变分布的筛选。
接着,在S1200中,显示控制部104按通过图35的S640接收到的相似病例中的、在病例显示区域710能够显示缩略图像的相似病例的件数,将相似病例的缩略图像显示于病例显示区域710,并且与各缩略图像关联地显示确诊以及相似度。
能够显示在病例显示区域710的相似病例的件数的最大值在图6的例子中为20。该最大值被预先设定。另外,也可以设为该最大值能够由用户自如变更的构成。在图35的S640中接收到的相似病例的数量比最大值多的情况下,显示控制部104在病例显示区域710的右端显示沿纵向为长条的滚动条715。由此,用户使滚动条715移动,能够阅览在初始的基本画面K2非显示的相似病例的缩略图像。
接着,在S1300中,生成病名列表而显示。首先,根据在图35的S640中接收到的相似病例,生成病名列表。病名列表是按确诊病名对与通过S640接收到的相似病例进行了分类而得到的列表。
在此,在S640中接收到的相似病例的件数设为NC件。病名列表管理部108使用在NC件相似病例数据4000分别登记的确诊(大分类病名)4700以及确诊(详细分类病名)4800,生成病名列表。所生成的病名列表,如图38所示作为表形式的数据由病名列表管理部108进行管理。
图38是表示在图37的S1300中生成的病名列表的数据结构的图。在病名列表中,包括“病名ID”、“大分类病名”、“详细分类病名”、“件数”以及“相似病例ID”的栏。“病名ID”是按确诊病名而赋予的标识符。在此,对大分类病名和详细分类病名的一个组合赋予一个病名ID。
“大分类病名”是登记在相似病例数据4000中的确诊(大分类病名)4700所表示的确诊病名。“详细分类病名”是登记在相似病例数据4000中的确诊(详细分类病名)4800所表示的确诊病名。“件数”是与“病名ID”所表示的确诊病名相应的相似病例的件数。“相似病例ID”是表示与“病名ID”所表示的病名相应的相似病例的相似病例ID。
病名列表管理部108针对在S640中接收到的全部相似病例数据4000,提取确诊(大分类病名)4700以及确诊(详细分类病名)4800,将两者相同的相似病例数据4000作为相同的确诊病名的相似病例进行分类。并且,病名列表管理部108对确诊病名相同的相似病例的件数进行计数,并登记在相应的确诊病名的记录的“件数”的栏中。另外,病名列表管理部108将分类到相同的确诊病名的相似病例的相似病例ID登记到相应的确诊病名的记录的“相似病例ID”的栏中。
在图38的例子中,对大分类病名为“肿瘤性”且详细分类病名为“原发性肺癌”的确诊病名赋予病名ID“DIS528”。并且,由于与该确诊病名相应的相似病例的件数为10件,所以在相应的记录的“件数”的栏登记10,与该确诊病名相应的相似病例的相似病例ID“SIM258”、“SIM551”、“SIM1209”以及“SIM2341”等登记在相应的记录的“相似病例ID”的栏中。
并且,显示控制部104使用如此生成的病名列表来生成病名列表显示区域730,并显示于显示器101。
图39、图40、图41分别表示病名列表显示区域730的第1显示例、第2显示例、第3显示例的图。如图39所示,在第1显示例中,相似病例检索的结果所得到的相似病例,按详细分类病名的件数从多到少的顺序与件数关联地一览显示。
如图40所示,在第2显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数关联地一览显示。
如图41所示,在第3显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数地关联一览显示,并且,按大分类病名,其中所包含的详细分类病名按件数从多到少的顺序与件数关联地一览显示。该情况下,确诊病名由大分类病名和详细分类病名的分层构造来表现。
图42是表示图40所示的病名列表显示区域730的画面转换的图。如图42的上部所示,当输入控制部103检测到一览显示的大分类病名中的一个大分类病名被用户选择的操作时,显示控制部104如图42的下部所示,将属于所选择出的大分类病名的详细分类病名按件数从多到少的顺序与件数关联地显示。在此,用户例如通过对在病名列表显示区域730中一览显示的大分类病名中的所希望一个大分类病名进行例如双击或者单击来选择一个大分类病名即可。在图42的例子中,由于非肿瘤性被双击,所以属于非肿瘤性的详细分类病名被一览显示。
在图42的下部,当一览显示有详细分类病名的区域被用户双击或者单击时,显示控制部104使显示在相应区域的详细分类病名非显示即可。
此外,显示控制部104通过参照病名列表(图38)来判定属于大分类病名的详细分类病名即可。例如,在图38的例子中,由于对真菌病关联了曲霉病以及隐球菌病,所以显示控制部104判断为曲霉病以及隐球菌病属于真菌病即可。
返回到图37,在S1400中,生成分布列表并显示。首先,根据在S640中接收到的相似病例,生成分布列表。分布列表是将在S640中接收到的相似病例按病变分布进行分类而得到的列表。
病名列表管理部108使用在NC件相似病例数据4000分别登记的病变分布信息4600来生成分布列表。所生成的分布列表,如图43所示那样作为表形式的数据由分布列表管理部109进行管理。
图43是表示在图37的S1400中生成的分布列表的数据结构的图。在分布列表中,包括“分布名”、“病例数”以及“相似病例ID”的栏。“分布名”是弥漫性、区域性这样的预先设定的多个病变分布的名称。“病例数”是与病变分布相应的相似病例的件数。“相似病例ID”是表示与病变分布相应的相似病例的相似病例ID。
分布列表管理部109针对在S640中接收到的全部相似病例数据4000,提取病变分布信息4600,对在所提取出的病变分布信息4600中对分布标记值设定了1(符合)的病变分布的数量进行计数,将计数值登记在相应的病变分布的记录的“病例数”的栏中。另外,分布列表管理部109将对分布标记值设定了1的相似病例的相似病例ID登记在相应的病变分布的记录的“相似病例ID”的栏中。
在图43的例子中,由于与弥漫性相应的相似病例的件数为3件,所以在弥漫性的记录的“病例数”的栏中登记了3。另外,与弥漫性相应的相似病例的相似病例ID“SIM2521”、“SIM4123”以及“SIM5225”登记在弥漫性的记录的“相似病例ID”的栏中。
然后,显示控制部104使用如此生成的分布列表来生成分布列表显示区域750,并显示于显示器101。
图44是表示使用图43所示的分布列表而生成的分布列表显示区域750的图。在图43中,由于区域性以及胸膜下的病例数为0,所以在图44中,区域性752以及胸膜下756以非激活状态显示,对于除此以外的病变分布,由于病例数为1以上,所以以激活状态显示。
返回到图37,在S1500中,显示布局区域720。该处理通过显示控制部104来进行。
图45是表示图37所示的S1500的处理的流程图。在S1510中,显示控制部104从在S660中设定的显示框管理信息4410取得构成布局区域720的显示框的行数以及列数。在图36的显示框管理信息4410的例子中,由于作为行数以及列数设定了2行2列,所以取得“2行2列”这一信息。
接着,在S1520中,显示控制部104按照在S1510中取得的显示框的行数以及列数来描画显示框。
最后,在S1530中,显示控制部104根据显示框管理信息4410来确定各显示框的切片ID,使与所确定出的切片ID对应的缩略图像描画在对应的各显示框内。
在图36的例子中,在第1行第1列的显示框保存有诊断对象病例的切片ID。因此,显示控制部104根据在图30的S600中发送来的诊断对象病例的切片图像来生成缩略图像,将所生成的缩略图像(检索查询图像)描画在显示框721中。
在该阶段中,由于在剩余的显示框(第1行第2列、第2行第1列、第2行第2列的显示框)没有保存切片ID,所以显示控制部104在这些显示框不进行任何显示。
返回到图35,通信控制部110将保存在显示框管理部106中的显示框管理信息4410发送到显示控制部104(S680)。
接着,显示控制部104以与布局区域720的显示状态以及布局相同的显示状态以及布局来启动医用图像查看器(S690)。
(检索查询图像的插入处理流程)
接着,说明使用图8~图13说明的向病例显示区域710插入检索查询图像的插入处理。
图46是表示向病例显示区域710插入检索查询图像的插入处理的一例的流程图。
在S3100中,输入控制部103检测操作部102的鼠标是否正在拖拽布局区域720所显示的检索查询图像。即,输入控制部103接收从操作部102输出的信号,在鼠标光标位于布局区域720的检索查询图像时按下(ON)鼠标的左键,如果在该状态下进行使鼠标移动的拖拽(S3100:是),则处理进入S3200,如果未进行拖拽(S3100:否),则处理结束。
在S3200中,输入控制部103检测用户操作的鼠标的移动量。另外,输入控制部103将所检测到的鼠标的移动量输出给显示控制部104。
在S3300中,显示控制部104根据鼠标的移动量来移动检索查询图像并使其显示于病例显示区域710。如图8所示,显示控制部104基于从输入控制部103输入的鼠标的移动量,决定要显示检索查询图像的位置,在病例显示区域710重叠地显示检索查询图像。
在S3400中,输入控制部103判定鼠标光标801(图9)是否在病例显示区域710的预定区域内停止了预定时间以上。在鼠标光标801在预定区域内停止了预定时间以上的情况下(S3400:是),处理进入S3500。在除此以外的情况下(例如鼠标光标801不停止而正在移动)(S3400:否),处理返回到S3200。在此,预定区域例如是指缩略图像的显示区域701(图7)。此外,作为预定区域,也可以使用在不与相邻的缩略图像重叠的范围内对显示区域701进行了放大的区域。
在S3500中,输入控制部103根据鼠标光标801(图9)的位置来决定移动对象的缩略图像。即,输入控制部103例如如图9所示,取得鼠标光标801的位置坐标,取得鼠标光标801的位置的缩略图像的相似病例ID(图9中为缩略图像710a的相似病例ID)。然后,输入控制部103根据鼠标光标801的位置的相似病例ID和病例显示区域710的缩略图像的显示数,取得成为移动对象的缩略图像的相似病例ID(图9中为缩略图像710a的相似病例ID以及缩略图像710b的相似病例ID)。输入控制部103将所取得的移动对象的缩略图像的相似病例ID输出给显示控制部104。
在S3600中,显示控制部104使通过S3500从输入控制部103输入的相似病例ID的缩略图像移动。显示控制部104使移动对象的缩略图像向右偏移与病例显示区域710内的一张缩略图像相当的量。在此,若使缩略图像的一张张缩略图像瞬间发生移动,则用户难以掌握插入前后的缩略图像的位置关系。因此,如图8~图10所示,显示控制部104使缩略图像的显示位置逐渐地顺畅变化。
此时,在本实施方式中,在S3600中,显示控制部104在使病例显示区域710的缩略图像移动时,不进行缩略图像的跨行移动。即,如图9所示,显示控制部104在向病例显示区域710插入检索查询图像802时,使与病例显示区域710的右边相邻的相似病例的缩略图像710b不显示于病例显示区域710。由此,在本实施方式中,除插入了检索查询图像的行以外的行中的缩略图像的配置关系,在检索查询图像的插入的前后是相同的。
在S3700中,输入控制部103检测鼠标的拖拽是否结束,判定用户是否确定了检索查询图像的插入位置。输入控制部103例如检测鼠标的左键的按下松开(ON OFF)状态。如果鼠标的拖拽(左键的按下)持续(S3700:否),则处理返回到S3200。另一方面,如果拖拽结束(S3700:是),则判定为用户确定了检索查询图像的插入位置,处理进入S3800。
在S3800中,显示控制部104判定为用户确定了检索查询图像的插入位置,在成为移动对象的缩略图像的位置插入显示检索查询图像,处理结束。此外,在完全插入了检索查询图像之后,显示控制部104将与病例显示区域710的右边相邻地显示过的缩略图像710b(图9)如图10所示那样从病例显示区域710完全擦除。
图47是表示向病例显示区域710所显示的缩略图像插入检索查询图像的插入处理的不同于图46的例子的流程图。在图47中,如使用图12说明的那样,在检索查询图像的插入位置与病例显示区域710的右边相邻的情况下,使得无法插入检索查询图像。
S3100~S3400与图46的S3100~S3400相同。在鼠标光标801在预定区域内停止了预定时间以上的情况下(S3400:是),处理进入S3910。
在S3910中,输入控制部103判定检索查询图像的插入位置(即,与鼠标光标801的位置对应的缩略图像)是否与病例显示区域710的右边相邻。
在与鼠标光标801的位置对应的缩略图像不相邻于病例显示区域710的右边的情况下(S3910:否),处理进入S3500。S3500~S3800与图46的S3500~S3800相同。另一方面,在与鼠标光标801的位置对应的缩略图像相邻于病例显示区域710的右边的情况下(S3910:是),处理进入S3920。
在S3920中,显示控制部104如图12所示,例如在缩略图像710b的周围显示粗框804,表示禁止插入检索查询图像之意。
在S3930中,输入控制部103通过检测鼠标的拖拽是否结束,判定用户是否确认了检索查询图像的插入位置。输入控制部103检测鼠标的左键的按下松开(ON OFF)状态。如果鼠标的拖拽(左键的按下)持续(S3930:否),则处理返回到S3200。另一方面,如果鼠标的左键松开而拖拽结束(S3930:是),则判定为用户确定了检索查询图像的插入位置,处理进入S3940。
在S3940中,显示控制部104擦除病例显示区域710所显示的检索查询图像,处理结束。此外,因为在布局区域720显示有检索查询图像,所以用户通过之后再次用鼠标来拖拽检索查询图像,能够进行向其他位置插入检索查询图像的操作。
在上述“检索查询图像的插入处理流程”的说明的记述中,“检索查询图像”也可以理解成“检索查询图像的缩略图像”。
(分布列表选择)
接着,对选择了图18、图20、图22所示的分布列表显示区域750所显示的病变分布时的处理进行说明。
图48是表示选择了分布列表显示区域750所显示的病变分布时的处理的流程图。
在S2000中,当输入控制部103检测到从分布列表显示区域750所显示的病变分布(分布检查项目)中选择了任一个分布检查项目的操作时,显示控制部104判定所检测到的分布检查项目符合第1~第3分布信息的哪一个。在符合第1分布信息的情况下,处理进入S1301,在符合第2分布信息的情况下,处理进入S1302,在符合第3分布信息的情况下,处理进入S1303。
第1分布信息是用于使得从一览显示在病例显示区域710中的相似病例的缩略图像中选择属于预定的第1范围的缩略图像的信息,所述预定的第1范围表示关心区域的大小比肺的区域大这一情况。在此,作为第1分布信息,“两侧性”,“多发性”、“弥漫性”以及“血行性”是符合的。由此,作为第1范围,采用在对这些病变分布进行诊断时所设定的关心区域的大小所属的值域。
第2分布信息是用于使得从一览显示在病例显示区域710中的相似病例的缩略图像中选择属于预定的第2范围(比第1范围小:第2范围的上限值为第1范围的下限值以下)的缩略图像,所述预定的第2范围表示与关心区域相当的区域的大小为肺区域的一部分这一情况。在此,作为第2分布信息,“气道性”和“区域性”是符合的。由此,作为第2范围,采用在对这些病变分布进行诊断时所设定的关心区域的尺寸所属的值域。
第3分布信息是用于使得从一览显示在病例显示区域710中的相似病例的缩略图像中选择关心区域包含胸膜的缩略图像的信息。在此,作为第3分布信息,“胸膜下”是符合的。
在S1301中,显示控制部104从通过相似病例检索而得到的、且用户作为第1分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数(在本实施方式中为20件)以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ1。然后,显示控制部104将提取出的相似病例i(i为确定所提取出的相似病例的索引,为1以上的整数)的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2100、S1501的处理,直到i达到NZ1为止。显示控制部104每次执行S2100、S1501的处理时,使索引i递增一。若i超过NZ1(S1301:否),则处理结束。
在S2100中,显示控制部104算出与关于相似病例i的第1分布信息对应的第1放大率。在此,作为第1放大率,例如采用1.0。但是,这是一例,只要是使得对第1分布信息表示的病变分布进行诊断时所设定的关心区域的整个区域收敛在显示区域内的值,也可以采用1.0以外的放大率来作为第1放大率。
在S1501中,显示控制部104将以相似病例i的第1放大率对相似病例i的缩略图像进行了放大的图像显示于症例显示区域710。
在上述的图19中,选择了两侧性。该情况下,相似病例中的仅病变分布符合两侧性的相似病例的缩略图像显示于病例显示区域710。另外,该情况下,由于放大率为1.0,所以在病例显示区域710中,以与刚刚得到相似检索结果之后所显示的缩略图像相同的显示方式显示有缩略图像。即,不以使关心区域ROI的中心位于显示区域6801的中心的方式调整缩略图像的显示位置且不进行放大地显示缩略图像。
在S1302中,显示控制部104从通过相似病例检索而得到的、且用户作为第2分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ2。然后,显示控制部104将提取出的相似病例i的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2200、S1502的处理,直到i达到NZ2为止。显示控制部104每次执行S2200、S1502的处理时,使索引i递增一。若i超过NZ2(S1302:否),则处理结束。
在S2200中,显示控制部104使用在病例显示区域710中对一个缩略图像预先确定的显示区域的尺寸和相似病例i的关心区域信息,算出与关于相似病例i的第2分布信息对应的第2放大率。
在选择了第2分布信息的情况下,显示控制部104将相似病例i放大成使关心区域的尺寸成为显示区域的尺寸的1/2左右。因此,显示控制部104例如按下式来计算针对相似病例i的第2放大率ki。若将显示区域的面积设为Sd、将放大对象的相似病例i的缩略图像的关心区域的面积设为Si,则第2放大率ki可通过下式来算出。
ki=1/2(Sd/Si)
在S1502中,显示控制部104以第2放大率ki对相似病例i的缩略图像进行放大,以使缩略图像的关心区域的中心位于显示区域的中心的方式将缩略图像显示于病例显示区域710。
在上述的图21中,选择了气道性。该情况下,相似病例中的仅病变分布符合气道性的相似病例的缩略图像显示于病例显示区域710。另外,在病例显示区域710中,全部缩略图像都以第2放大率进行了放大,使得关心区域ROI的中心位于显示区域6901的中心。
在S1303中,显示控制部104从通过相似病例检索而得到的、且用户作为第3分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ3。然后,显示控制部104将提取出的相似病例i的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2300、S1503的处理,直到i达到NZ3为止。显示控制部104每次执行S2300、S1503的处理时,使索引i递增一。若i超过NZ3(S1303:否),则处理结束。
在S2300中,显示控制部104使用在病例显示区域710中对一个缩略图像预先确定的显示区域的尺寸、相似病例i的关心区域信息和胸膜区域信息4900,算出与关于相似病例i的第3分布信息对应的第3放大率。
图49是表示追加了胸膜区域信息4900的相似病例数据4000的数据结构的图。此外,在相似病例数据4000中未登记胸膜区域信息4930的情况下,得不到胸膜区域信息4900。该情况下,显示控制部104将第3放大率设定为与第1放大率相同的值即1.0即可。在此,胸膜区域信息4900是在相似病例中表示胸膜区域的信息。
在S1503中,显示控制部104以第3放大率ki对相似病例i的缩略图像进行放大,以使缩略图像的关心区域的中心位于显示区域的中心的方式将放大后的缩略图像显示于病例显示区域710。
图50是说明胸膜区域7101的图。如图50所示,胸膜区域7101是包含胸膜的区域,且是中心位于关心区域ROI的中心且比关心区域ROI大少许尺寸的矩形状的区域。在此,在胸膜区域信息4900中,包含胸膜区域7101的左上的顶点的坐标(xpl,ypt)和右下的顶点的坐标(xpr,ypb)这4个值。在选择了第3分布信息的情况下,对胸膜区域进行放大显示,因此显示控制部104通过下式来计算第3放大率ki。若将显示区域7102的面积设为Sd、将胸膜区域7101的面积设为Sp,则第3放大率ki可通过下式来算出。
ki=Sd/Sp
此外,可以在相似病例数据4000制作时,用户将胸膜区域信息4900与关心区域信息一起输入。或者,也可以通过图像处理装置从切片图像中自动地提取肺的区域并判定胸膜位置,由此自动地制作胸膜区域信息4900。
在上述的图23中,选择了胸膜下。该情况下,相似病例中的仅病变分布符合胸膜下的相似病例的缩略图像显示于病例显示区域710。另外,在病例显示区域710中,全部缩略图像都以第3放大率进行了放大,使得关心区域ROI的中心位于显示区域7001的中心。
通过以上的处理,在病例显示区域710,以反映了与病变分布相关的诊断内容的放大率显示缩略图像。并且,在病例显示区域710中,以关心区域的尺寸一致的方式显示缩略图像。因此,能够防止发生关心区域在一部分的相似医用图像中由于以很小的状态被放大而被漏掉的事态,能够实现诊断精度的提高。进而,不是对通过相似病例检索而得到的全部相似病例而是仅对在病例显示区域710显示的相似病例进行放大处理,因此能大幅减轻对系统的负荷。
(效果)
如上所述,在本实施方式中,显示控制部104在病例显示区域710的用户指定的位置插入显示检索查询图像。另外,与该插入动作联动地,显示控制部104使在插入位置显示过的相似病例的缩略图像移动,使检索查询图像与想要与检索查询图像进行比较的相似病例的缩略图像相邻地显示。
因此,在需要与检索查询图像进行比较的缩略图像和检索查询图像之间没有其他的缩略图像。因此,医生的视线移动减小。因此,可减轻针对阴影的位置、尺寸、形状以及分布等多个项目进行详细比较时的伴随视线移动的身体负担。
进而,医生能够一边在病例显示区域710中使检索查询图像移动,一边从病例显示区域710所显示的多个缩略图像中筛选应参照的缩略图像。其结果是,在进行详细判断之前的阶段、即在缩略图像的阶段,例如能够使医生进行缩略图像710a的阴影是否与检索查询图像802的阴影相似等的简单判断。
其结果是,在进行详细判断之前的阶段(即显示缩略图像的阶段),能够提高最终候选的选择精度。因此,能够实现之后进行的详细判断时的诊断精度的提高。另外,在与原图像相比信息量少的缩略图像的阶段,医生能够选择成为最终候选的相似病例。因此,节省了使用原图像来详细诊断读片对象的医用图像与相似病例的相似性的手续,能够高效地提取成为最终候选的相似病例。
在上述“效果”的说明的记述中,“检索查询图像”也可以理解成“检索查询图像的缩略图像”。
(变形后的实施方式)
在上述实施方式中,示出了病例检索系统300提取图像特征的例子,但也可以由信息终端100提取图像特征。
图51是采用了信息终端100提取图像特征的方式的情况下的信息终端100、医用信息管理系统200以及病例检索系统300的框图。
与图2不同之处在于:在信息终端100中追加了图像特征提取部113,并且从病例检索系统300删除图像特征提取部302。
图52是表示在信息终端100从医用信息管理系统200中取得了诊断对象病例之后,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。
与图30不同之处在于:在ROI管理部105将诊断对象病例的切片图像发送给通信控制部110的处理(S600)之后,由信息终端100进行图像特征的提取(S603),将提取出的图像特征发送给病例检索系统300(S604)。图像特征的提取(S604)的处理内容与由病例检索系统300进行图像特征的提取的情况同样。
图53是表示在病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回给信息终端100为止的处理的时序图。与图35不同之处在于:在信息终端100侧进行图像特征的提取,因此,在图53中,删除了图35中的图像特征的提取(S610)。
产业上的可利用性
根据本公开,能够利用于提示在使用作为读片对象的医用图像进行诊断时成为参考的相似病例的相似病例检索装置以及实习读片医生用的读片教学装置等。
Claims (13)
1.一种信息终端的控制方法,使所述信息终端的计算机执行如下处理:
从病例检索系统接收与读片对象的医用图像即对象医用图像具有预定的相似度的多个相似医用图像,所述接收到的多个相似医用图像包括第1相似医用图像和第2相似医用图像,
使包括第1显示区域和第2显示区域的显示画面显示于显示器,所述第1显示区域显示所述对象医用图像,所述第2显示区域显示所接收到的所述多个相似医用图像,所述第1相似医用图像和所述第2相似医用图像在所述第2显示区域内相邻地显示,
当检测到第1操作时,使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示,
所述第1操作为如下操作:使所述对象医用图像移动成在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻。
2.根据权利要求1所述的控制方法,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述对象医用图像相比于所述多个相似医用图像进行强调显示。
3.根据权利要求1所述的控制方法,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述对象医用图像、所述第1相似医用图像和所述第2相似医用图像的显示尺寸为同一尺寸。
4.根据权利要求1所述的控制方法,
所述接收到的多个相似医用图像还包括第3相似医用图像,
所述第2显示区域的形状为矩形,
在所述第2显示区域的横向上显示的图像的数量一定,
在所述第2显示区域,所述第1相似医用图像、所述第2相似医用图像和所述第3相似医用图像按该顺序从左向右相邻地显示在同一行,
所述第3相似医用图像与所述第2显示区域的右边侧相邻地显示,
在使所述对象医用图像在所述第2显示区域中与所述第1相似医用图像相邻、且与所述第2相似医用图像相邻地显示时,使所述第3相似医用图像不显示于所述第2显示区域。
5.根据权利要求4所述的控制方法,
当所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻的操作时,所述计算机使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第2显示区域的右边侧相邻地显示,并且使所述第3相似医用图像不显示于所述第2显示区域。
6.根据权利要求4所述的控制方法,
使滚动操作部显示于所述显示画面,
当检测到对所述滚动操作部的操作时,使包含所述第1相似医用图像的行的相似医用图像以及所述对象医用图像滚动。
7.根据权利要求4所述的控制方法,
所述接收到的多个相似医用图像还包括第4相似医用图像,
所述第4相似医用图像在包含所述第1相似医用图像的行,与所述第2显示区域的左边侧相邻地显示,
当所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻地显示的操作时,所述计算机使所述对象医用图像在所述第2显示区域中与所述第3相似医用图像相邻、且与所述第2显示区域的右边侧相邻地显示,并且使所述第4相似医用图像不显示于所述第2显示区域。
8.根据权利要求4所述的控制方法,
即使所述计算机检测到使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻、且与所述第3相似医用图像相邻地显示的操作,所述计算机也不使所述对象医用图像在所述第2显示区域中与所述第2相似医用图像相邻地显示,并且不使所述对象医用图像在所述第2显示区域中与所述第3相似医用图像相邻地显示。
9.根据权利要求1所述的控制方法,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述对象医用图像中的关心区域的指定信息,
将表示所述关心区域的特征量的信息发送给所述病例检索系统,
从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的相似医用图像。
10.根据权利要求1所述的控制方法,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述对象医用图像中的关心区域的指定信息,
将所述对象医用图像以及所述指定信息发送给所述病例检索系统,
从所述病例检索系统接收与根据所述对象医用图像以及所述指定信息得到的所述关心区域的特征量具有所述预定的相似度的相似医用图像。
11.根据权利要求1所述的控制方法,
所述对象医用图像为肺的医用图像,
所述相似医用图像为肺的医用图像,具有表示所述相似医用图像中的病变部的对应关心区域,
所述显示画面包含第1分布信息、第2分布信息和第3分布信息,所述第1分布信息使得选择属于预定的第1范围的相似医用图像,所述预定的第1范围表示所述对应关心区域的大小相对于肺的区域而言为大范围这一情况,所述第2分布信息使得选择属于比所述第1范围小的预定的第2范围的相似医用图像,所述预定的第2范围表示所述对应关心区域的大小为肺的区域的一部分这一情况,所述第3分布信息使得选择所述对应关心区域包含胸膜的相似医用图像,
在检测到从所述第1分布信息到所述第3分布信息中的任一分布信息的选择的情况下,选择与所述选择出的一个分布信息对应的相似医用图像并显示于所述第2显示区域。
12.根据权利要求11所述的控制方法,
所述第2显示区域包括用于分别显示所述接收到的多个相似医用图像的多个单独区域,
在检测到所述第1分布信息的选择的情况下,使与所述第1分布信息对应的相似医用图像按初始显示尺寸分别显示于所述单独区域,
在检测到所述第2分布信息的选择的情况下,以与所述第2分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第2分布信息对应的相似医用图像分别放大显示于所述单独区域,
在检测到所述第3分布信息的选择的情况下,以与所述第3分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第3分布信息对应的相似医用图像以包含所述胸膜的状态分别放大显示于所述单独区域。
13.根据权利要求11或12所述的控制方法,
所述第1分布信息是表示属于两侧性、多发性、弥漫性或血行性的类别的分布的信息,
所述第2分布信息是表示属于区域性或气道性的类别的分布的信息,
所述第3分布信息是表示属于胸膜下的类别的分布的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-193500 | 2015-09-30 | ||
JP2015193500 | 2015-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106560828A true CN106560828A (zh) | 2017-04-12 |
CN106560828B CN106560828B (zh) | 2021-08-27 |
Family
ID=58409267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610808111.4A Active CN106560828B (zh) | 2015-09-30 | 2016-09-07 | 控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10261681B2 (zh) |
JP (1) | JP6675099B2 (zh) |
CN (1) | CN106560828B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002336A (zh) * | 2017-06-06 | 2018-12-14 | 许继电气股份有限公司 | 一种充电桩远程监控导航视窗的生成方法和装置 |
CN109493396A (zh) * | 2018-11-07 | 2019-03-19 | 上海联影医疗科技有限公司 | 一种ct图像显示方法、装置、设备及介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
CN106560827B (zh) * | 2015-09-30 | 2021-11-26 | 松下知识产权经营株式会社 | 控制方法 |
US11137884B2 (en) * | 2016-06-14 | 2021-10-05 | International Business Machines Corporation | Modifying an appearance of a GUI to improve GUI usability |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
JP6920931B2 (ja) * | 2017-09-01 | 2021-08-18 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 |
US11699207B2 (en) | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
USD916878S1 (en) * | 2019-02-18 | 2021-04-20 | Samsung Electronics Co., Ltd. | Foldable mobile phone with transitional graphical user interface |
JP7172796B2 (ja) * | 2019-03-28 | 2022-11-16 | コニカミノルタ株式会社 | 表示システム、表示制御装置及び表示制御方法 |
JP7288070B2 (ja) * | 2019-10-07 | 2023-06-06 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050243381A1 (en) * | 2004-04-08 | 2005-11-03 | Canon Kabushiki Kaisha | Creating and sharing digital photo albums |
US20080243395A1 (en) * | 2007-03-30 | 2008-10-02 | Fujifilm Corporation | Image diagnosis supporting apparatus and system |
CN102572165A (zh) * | 2010-09-27 | 2012-07-11 | 夏普株式会社 | 图像显示控制装置及包括其的图像形成设备 |
CN102958425A (zh) * | 2011-06-30 | 2013-03-06 | 松下电器产业株式会社 | 类似病例检索装置以及类似病例检索方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11203837A (ja) * | 1998-01-16 | 1999-07-30 | Sony Corp | 編集システムおよび編集方法 |
US20020094119A1 (en) * | 2001-01-18 | 2002-07-18 | Velayudhan Sahadevan | High resolution digitized image analysis of chest x-rays for diagnosis of difficult to visualize evolving very ealrly stage lung cancer, pnumoconiosis and pulmonary diseases |
US20060241370A1 (en) * | 2005-03-30 | 2006-10-26 | George Kramp | Medical x-ray imaging workflow improvement |
JP4389011B2 (ja) * | 2004-04-07 | 2009-12-24 | 国立大学法人名古屋大学 | 医用レポート作成装置、医用レポート作成方法及びそのプログラム |
US7912268B2 (en) * | 2004-06-14 | 2011-03-22 | Canon Kabushiki Kaisha | Image processing device and method |
JP4701027B2 (ja) * | 2004-09-02 | 2011-06-15 | キヤノン株式会社 | 情報処理装置、制御方法及びプログラム |
US8411034B2 (en) * | 2009-03-12 | 2013-04-02 | Marc Boillot | Sterile networked interface for medical systems |
US8188971B2 (en) * | 2006-03-15 | 2012-05-29 | Kabushiki Kaisha Toshiva | Medical image interpreting apparatus and cursor-moving method |
JP4799251B2 (ja) * | 2006-04-05 | 2011-10-26 | 富士フイルム株式会社 | 類似症例検索装置、類似症例検索方法およびそのプログラム |
EP2008574B1 (en) * | 2006-04-14 | 2012-07-25 | Olympus Medical Systems Corp. | Image display apparatus |
JP4976164B2 (ja) * | 2007-03-02 | 2012-07-18 | 富士フイルム株式会社 | 類似症例検索装置、方法、およびプログラム |
JP2010017410A (ja) | 2008-07-11 | 2010-01-28 | Fujifilm Corp | 類似症例画像検索システム及び類似症例画像検索装置 |
JP5502346B2 (ja) * | 2009-03-09 | 2014-05-28 | 富士フイルム株式会社 | 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム |
JP5704825B2 (ja) | 2010-03-08 | 2015-04-22 | キヤノン株式会社 | 情報処理装置およびその制御方法およびプログラム |
JP6230787B2 (ja) * | 2010-03-31 | 2017-11-15 | 株式会社日立製作所 | 検査情報表示装置及び方法 |
WO2012104949A1 (ja) * | 2011-01-31 | 2012-08-09 | パナソニック株式会社 | 症例検索装置および症例検索方法 |
JP5204283B2 (ja) * | 2011-09-27 | 2013-06-05 | 楽天株式会社 | 画像編集装置、画像編集方法、プログラムおよびコンピュータ読み取り可能な記憶媒体 |
JP4997341B2 (ja) | 2011-11-21 | 2012-08-08 | 株式会社東芝 | 医用画像表示装置 |
WO2013076927A1 (ja) * | 2011-11-24 | 2013-05-30 | パナソニック株式会社 | 診断支援装置および診断支援方法 |
JP2014127011A (ja) * | 2012-12-26 | 2014-07-07 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
-
2016
- 2016-08-30 JP JP2016168086A patent/JP6675099B2/ja active Active
- 2016-09-07 CN CN201610808111.4A patent/CN106560828B/zh active Active
- 2016-09-14 US US15/264,882 patent/US10261681B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050243381A1 (en) * | 2004-04-08 | 2005-11-03 | Canon Kabushiki Kaisha | Creating and sharing digital photo albums |
US20080243395A1 (en) * | 2007-03-30 | 2008-10-02 | Fujifilm Corporation | Image diagnosis supporting apparatus and system |
CN102572165A (zh) * | 2010-09-27 | 2012-07-11 | 夏普株式会社 | 图像显示控制装置及包括其的图像形成设备 |
CN102958425A (zh) * | 2011-06-30 | 2013-03-06 | 松下电器产业株式会社 | 类似病例检索装置以及类似病例检索方法 |
Non-Patent Citations (1)
Title |
---|
AKIRA OOSAWA等: "Development of "SYNAPSE Case Match", Content-based Image Retrieval System for Supporting Image Diagnosis", 《FUJIFILM RESEARCH & DEVELOPMENT》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002336A (zh) * | 2017-06-06 | 2018-12-14 | 许继电气股份有限公司 | 一种充电桩远程监控导航视窗的生成方法和装置 |
CN109493396A (zh) * | 2018-11-07 | 2019-03-19 | 上海联影医疗科技有限公司 | 一种ct图像显示方法、装置、设备及介质 |
CN109493396B (zh) * | 2018-11-07 | 2024-03-26 | 上海联影医疗科技股份有限公司 | 一种ct图像显示方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
US10261681B2 (en) | 2019-04-16 |
CN106560828B (zh) | 2021-08-27 |
US20170090739A1 (en) | 2017-03-30 |
JP2017068837A (ja) | 2017-04-06 |
JP6675099B2 (ja) | 2020-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11179036B2 (en) | Control method of information terminal and computer-readable recording medium | |
CN106560828A (zh) | 控制方法 | |
US11185228B2 (en) | Control method of information terminal and computer-readable recording medium | |
CN106557536A (zh) | 控制方法 | |
CN106560827A (zh) | 控制方法 | |
JP6799115B2 (ja) | 情報端末の制御方法及びプログラム | |
CN105912831B (zh) | 信息终端的控制方法 | |
JP6578135B2 (ja) | 制御方法及びプログラム | |
EP3151142B1 (en) | Method and apparatus for searching similar medical images | |
JP2019087272A (ja) | 情報端末、制御方法及びプログラム | |
JP2016006635A (ja) | 制御方法及びプログラム | |
US20130093781A1 (en) | Examination information display device and method | |
Dodelzon et al. | Performance of 2D synthetic mammography versus digital mammography in the detection of microcalcifications at screening | |
JP2018130408A (ja) | 情報端末の制御方法 | |
JP2018142072A (ja) | 情報端末の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |