CN106557536A - 控制方法 - Google Patents
控制方法 Download PDFInfo
- Publication number
- CN106557536A CN106557536A CN201610772772.6A CN201610772772A CN106557536A CN 106557536 A CN106557536 A CN 106557536A CN 201610772772 A CN201610772772 A CN 201610772772A CN 106557536 A CN106557536 A CN 106557536A
- Authority
- CN
- China
- Prior art keywords
- case
- medical imaging
- image
- similar
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 242
- 231100000915 pathological change Toxicity 0.000 claims abstract description 113
- 230000036285 pathological change Effects 0.000 claims abstract description 113
- 230000003902 lesion Effects 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 101
- 230000008569 process Effects 0.000 claims description 82
- 210000004072 lung Anatomy 0.000 claims description 46
- 210000004224 pleura Anatomy 0.000 claims description 35
- 208000013210 hematogenous Diseases 0.000 claims description 16
- 238000003325 tomography Methods 0.000 claims description 10
- 210000002216 heart Anatomy 0.000 claims description 3
- 201000010099 disease Diseases 0.000 description 172
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 172
- 238000007726 management method Methods 0.000 description 134
- 238000003745 diagnosis Methods 0.000 description 83
- 238000007689 inspection Methods 0.000 description 67
- 238000004891 communication Methods 0.000 description 40
- 238000004519 manufacturing process Methods 0.000 description 36
- 230000003321 amplification Effects 0.000 description 20
- 238000003199 nucleic acid amplification method Methods 0.000 description 20
- 238000012216 screening Methods 0.000 description 17
- 210000000056 organ Anatomy 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 208000019802 Sexually transmitted disease Diseases 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 206010017533 Fungal infection Diseases 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 208000024386 fungal infectious disease Diseases 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 210000004204 blood vessel Anatomy 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 206010027476 Metastases Diseases 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000009401 metastasis Effects 0.000 description 7
- 230000002685 pulmonary effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000000481 breast Anatomy 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000012856 packing Methods 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 201000005202 lung cancer Diseases 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 5
- 241000894007 species Species 0.000 description 5
- 201000002909 Aspergillosis Diseases 0.000 description 4
- 208000036641 Aspergillus infections Diseases 0.000 description 4
- 201000007336 Cryptococcosis Diseases 0.000 description 4
- 241000221204 Cryptococcus neoformans Species 0.000 description 4
- 238000009534 blood test Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 239000002253 acid Substances 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 208000027531 mycobacterial infectious disease Diseases 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 2
- 201000009267 bronchiectasis Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 201000003453 lung abscess Diseases 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 201000000306 sarcoidosis Diseases 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 244000205754 Colocasia esculenta Species 0.000 description 1
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000233866 Fungi Species 0.000 description 1
- 206010050017 Lung cancer metastatic Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010040067 Septic embolus Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 241001278428 Trifolium glomeratum Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开的控制方法包括:从病例检索系统(200)接收多个数据,该多个数据包括与读片对象的医用图像即对象医用图像具有预定的相似度的多个相似医用图像对应的多个图像;使包含第1显示区域的显示画面显示于显示器(101),所述第1显示区域对所述多个相似医用图像进行缩略显示;检测从缩略显示于所述第1显示区域的所述多个相似医用图像中选择出的一个相似医用图像;在所述选择出的一个相似医用图像为弥漫性病变的情况下,使其他的多个医用图像显示于所述显示画面所包含的第2显示区域;在所述选择出的一个相似医用图像为局限性病变的情况下,使包含所述局限性病变的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
Description
技术领域
本公开涉及用于检索与读片对象的医用图像相似的相似医用图像的信息终端的控制方法。
背景技术
近年来,例如CT(Computed Tomography,计算机断层扫描)、MRI(MagneticResonance Imaging,磁共振成像)等的医用图像装置正在发展普及。这些CT或MRI等能够大容量地取得数字化后的高精细的医用图像。另外,医生进行了读片的医用图像与读片报告一起依次存储在PACS(Picture Archiving and Communication Systems,影像归档和通信系统)中。在此,例如如专利文献1所公开的那样,开始开发如下技术:为了作为新的读片的参考,从已经存储在PACS中的过去病例中检索与读片对象的医用图像相似的过去的医用图像。
现有技术文献
专利文献1:日本特开2009-45121号公报
发明内容
然而,需要进一步的改善。
本公开的一个技术方案是一种信息终端的控制方法,所述信息终端与病例检索系统连接并具有显示器,所述病例检索系统参照登记医用图像的医用图像数据库来检索医用图像,所述控制方法使所述信息终端的计算机执行如下处理:从所述病例检索系统接收包括与多个相似医用图像对应的多个图像的多个数据,所述多个相似医用图像与读片对象的医用图像即对象医用图像具有预定的相似度;所述多个相似医用图像分别是通过断层摄影法拍摄的、且沿着第1方向排列的图像组内的一个医用图像;在与所述多个数据分别对应的对应信息中,设定有弥漫性病变或局限性病变的识别信息;在设定有所述弥漫性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的其他的多个医用图像;在设定有所述局限性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的包含所述局限性病变的多个医用图像;使包含第1显示区域的显示画面显示于所述显示器,所述第1显示区域对所述多个相似医用图像进行缩略显示;检测从缩略显示于所述第1显示区域的所述多个相似医用图像中选择出的一个相似医用图像;在所述选择出的一个相似医用图像为弥漫性病变的情况下,使所述其他的多个医用图像显示于所述显示画面所包含的第2显示区域;在所述选择出的一个相似医用图像为局限性病变的情况下,使包含所述局限性病变的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
此外,这些总括性或具体的技术方案既可以通过装置、系统、集成电路、计算机程序或计算机可读取的记录介质来实现,也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开,能够实现进一步的改善。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种技术方案及特征提供,无需为了获得一个以上益处和/或优点而实施所有的技术方案及特征。
附图说明
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。
图2是表示信息终端、医用信息管理系统以及病例检索系统的构成的框图。
图3是2台显示器的外观图。
图4是表示信息终端的安装方式的构成例的图。
图5是表示在信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图6是表示在信息终端刚刚启动了相似病例检索应用之后显示于显示器的基本画面的一例的图。
图7是将病例显示区域所显示的某个相似病例的显示区域截取显示的图。
图8是病名列表显示区域的放大图。
图9是表示以“真菌病”筛选了相似病例时的基本画面的图。
图10是表示以“转移性肺癌”筛选了相似病例时的基本画面的图。
图11是分布列表显示区域的放大图。
图12是表示输入了复选标记的分布列表显示区域的图。
图13是表示以气道性的病变分布实施了筛选的基本画面的图。
图14是表示输入了多个复选标记的分布列表显示区域的图。
图15是表示以多个病变分布实施了筛选的基本画面的图。
图16是表示患者信息的数据结构的图。
图17是表示登记在图16所示的患者信息中的检查信息的数据结构的图。
图18A是表示医用图像数据库的数据结构的图。
图18B是表示医用图像数据库的数据结构的图。
图18C是表示医用图像数据库的数据结构的图。
图19是表示诊断报告的数据结构的图。
图20是表示弥漫性的相似病例数据的数据结构的第一例的图。
图21A是表示局限性的相似病例数据的数据结构的第一例的图。
图21B是表示局限性的相似病例数据的数据结构的第二例的图。
图22是示意性示出了对切片图像设定的关心区域的图。
图23是表示在信息终端从医用信息管理系统取得了诊断对象病例之后,对病例检索系统进行相似病例检索的请求,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图24是检查列表的画面图。
图25是选择了检查之后的检查列表的画面图。
图26是对病变设定了关心区域之后的画面的一例。
图27是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
图28是表示图27的S670所示的生成初始的基本画面的处理的详细内容的流程图。
图29是表示图28所示的S1500的处理的流程图。
图30是表示在图28的S1300中生成的病名列表的数据结构的图。
图31是表示病名列表显示区域的第1显示例的图。
图32是表示病名列表显示区域的第2显示例的图。
图33是表示病名列表显示区域的第3显示例的图。
图34是表示图32所示的病名列表显示区域的画面转换的图。
图35是表示在图28的S1400中生成的分布列表的数据结构的图。
图36是布局管理信息的一例的图。
图37是表示显示框管理信息的数据结构的图。
图38是表示医用图像查看器的启动处理的流程图。
图39是采用了信息终端提取图像特征的方式的情况下的信息终端、医用信息管理系统以及病例检索系统的框图。
图40是表示在信息终端从医用信息管理系统取得了诊断对象病例之后,直到病例检索系统受理相似病例检索的请求为止的处理的时序图。
图41是表示在病例检索系统受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端为止的处理的时序图。
图42是以应用的级别观察图23以及图27的时序图时的时序图。
图43是表示选择了分布列表显示区域所显示的病变分布时的处理的流程图。
图44是表示选择了第1分布信息时的基本画面的图。
图45是表示选择了第2分布信息时的基本画面的图。
图46是表示选择了第3分布信息时的基本画面的图。
图47是说明胸膜区域的图。
图48是表示追加了胸膜区域信息的相似病例数据的数据结构的图。
图49是表示在由用户选择了序列(series)时显示于显示器的切片图像的图。
图50是表示在刚进行相似病例检索之后的基本画面中用户选择了缩略图像的状态的一例的图。
图51是表示由用户选择出的缩略图像为局限性病变的情况下的基本画面的一例的图。
图52是表示由用户选择出的缩略图像为弥漫性病变的情况下的基本画面的一例的图。
图53是摘要图像生成处理的流程图。
图54是由摘要图像生成部进行的前后预定数量的缩略图像的取得处理的概念图。
图55是表示弥漫性的相似病例数据的数据结构的第二例的图。
图56是表示局限性的相似病例数据的数据结构的第三例的图。
图57是由摘要图像生成部进行的采样处理的概念图。
具体实施方式
(发明本公开涉及的一个技术方案的经过)
首先,对本公开涉及的一个技术方案的着眼点进行说明。
专利文献1公开了将读片对象图像和病例图像以读片者容易进行比较的方式来提示的医用图像处理系统。该医用图像处理系统生成使病例图像的图像特征量变化的变化图像(段落[0053]~[0054]以及图7),使生成的变化图像显示于相似病例图像窗口920(段落[0062]以及图9)。并且,对于该医用图像处理系统,当对显示于相似病例图像窗口920的动态图像显示按钮970进行指定时,使多个变化图像连续地显示于相似病例图像窗口920。
但是,在专利文献1中,对于在相似病例图像窗口920中根据病例图像的病变类型使显示形式变更,则完全没有记载。由此,因为专利文献1连根据病例图像的病变类型使显示形式变更都没有公开,所以也就没有公开例如根据局限性病变和弥漫性病变来使显示形式变更等的想法。
在对尚未确定病名的读片对象的医用图像所显示的病变进行研究时,参考已经确定了病名的其他医用图像中与所述读片对象的医用图像相似的相似医用图像被认为是有效的。但是,在构建了这种系统的情况下,在所述医用图像数据库中会登记庞大数量的医用图像。即使在这种情况下,也希望在对所述读片对象的医用图像进行诊断时将成为参考的相似医用图像有效地提示给医生。
根据以上的考察,本申请发明人想到了以下的发明的各技术方案。
本公开的第1技术方案是一种信息终端的控制方法,所述信息终端与病例检索系统连接并具有显示器,所述病例检索系统参照登记医用图像的医用图像数据库来检索医用图像,所述控制方法使所述信息终端的计算机执行如下处理:从所述病例检索系统接收包括与多个相似医用图像对应的多个图像的多个数据,所述多个相似医用图像与读片对象的医用图像即对象医用图像具有预定的相似度;所述多个相似医用图像分别是通过断层摄影法拍摄的、且沿着第1方向排列的图像组内的一个医用图像;在与所述多个数据分别对应的对应信息中,设定有弥漫性病变或局限性病变的识别信息;在设定有所述弥漫性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的其他的多个医用图像;在设定有所述局限性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的包含所述局限性病变的多个医用图像;使包含第1显示区域的显示画面显示于所述显示器,所述第1显示区域对所述多个相似医用图像进行缩略显示;检测从缩略显示于所述第1显示区域的所述多个相似医用图像中选择出的一个相似医用图像;在所述选择出的一个相似医用图像为弥漫性病变的情况下,使所述其他的多个医用图像显示于所述显示画面所包含的第2显示区域;在所述选择出的一个相似医用图像为局限性病变的情况下,使包含所述局限性病变的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
根据本技术方案,从病例检索系统接收与对象医用图像具有预定的相似度的多个相似医用图像,所接收到的多个相似医用图像被显示于显示器。由此,能够高效地从登记在医用图像数据库中的庞大的医用图像中提取相似医用图像并提示给医生,所述相似医用图像是为了研究对象医用图像所显示的病变的病名而成为参考的医用图像。
在此,作为病变的分布形态,存在弥漫性病变和局限性病变这两种。对于弥漫性病变,病变在整个脏器大范围地分布。另一方面,对于局限性病变,病变部局部地分布。
对于弥漫性病变,其病变部的扩散范围在确定病名时成为非常重要的信息。例如,在肺的医用图像的情况下,病变部扩散到肺的上叶、中叶和下叶的哪一方为止对于确定病名是很重要的。因此,在相似病例检索系统中,在显示弥漫性病变的相似医用图像时,希望能够一目了然地判别该病变部的扩展范围的大小。作为能够一目了然地判别病变部的扩展范围的大小的显示方式,存在如下的显示方式:显示通过断层摄影法拍摄到的医用图像组中的多个医用图像。
另一方面,对于局限性病变,病变部是否沿着血管的方向存在,在确定病名时成为非常重要的信息。因此,在相似病例检索系统中,在显示局限性病变的相似医用图像时,希望能够确认该病变部是否沿着血管的方向存在。另外,对于局限性病变,希望能够确认病变部的三维形状。作为能够确认病变部以何种三维形状沿着血管的方向存在的显示方式,存在如下的显示方式:连续地显示即以动态图像方式显示通过断层摄影法拍摄到的医用图像组中的包含局限性病变的多个医用图像。
根据本技术方案,在从缩略显示于第1显示区域的多个相似医用图像中选择出的一个相似医用图像为弥漫性病变的情况下,使通过断层摄影法拍摄的、且沿着第1方向排列的图像组中的其他的多个医用图像显示于第2显示区域。另外,在所选择出的一个相似医用图像为局限性病变的情况下,使通过断层摄影法拍摄的、且沿着第1方向排列的图像组中的包含局限性病变的多个医用图像沿着第1方向连续地显示于第2显示区域。由此,能够有效且高效地对医生提示用于确定病名所需的信息即相似医用图像。
另外,在上述技术方案中,可以为,在所述选择出的一个相似医用图像为局限性病变的情况下,使沿着所述第1方向排列的图像组中的包含所述局限性病变的一端到另一端的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
根据本技术方案,使包含局限性病变的一端到另一端的多个医用图像沿着第1方向连续地显示。因此,医生能够确认局限性病变的一端到另一端沿着血管的方向以何种三维形状扩展,能够提高诊断的精度。
另外,在上述技术方案中,可以为,在所述选择出的一个相似医用图像为局限性病变的情况下,使沿着所述第1方向排列的图像组中的包含所述选择出的一个相似医用图像在内的前后预定数量的医用图像沿着所述第1方向连续地显示于所述第2显示区域。
根据本技术方案,使沿着第1方向排列的图像组中的包含选择出的一个相似医用图像在内的前后预定数量的医用图像沿着第1方向连续地显示。如果显示所选择出的一个相似医用图像的前后预定数量的医用图像,则能够充分确认局限性病变以何种三维形状沿着血管的方向扩展。另外,不需要预先设定包含局限性病变的医用图像,能够使相似医用图像的附加信息的制作负担很少。
另外,在上述技术方案中,可以为,所述相似医用图像为肺的医用图像,在设定有所述局限性病变的识别信息的对应信息中,还附加有表示所述局限性病变位于上叶、中叶和下叶中的哪个肺野的信息,包含所述选择出的一个相似医用图像在内的前后预定数量,按所述上叶、所述中叶和所述下叶来分别设定。
因为局限性病变很少横跨肺野,所以医用图像针对局限性病变所在的各肺野内进行连续显示就足够了。在本技术方案中,在包含所选择出的一个相似医用图像的肺野内连续显示医用图像。因此,本技术方案能够减少连续显示的医用图像的阅览时间,能够更高效地对用户提示医用图像。
另外,在上述技术方案中,可以为,所述相似医用图像为肺的医用图像,在设定有所述弥漫性病变的识别信息的对应信息中,还附加有表示上叶、中叶和下叶各自的代表性医用图像的信息,在所述选择出的一个相似医用图像为弥漫性病变的情况下,使所述上叶、所述中叶和下叶的代表性医用图像显示于所述第2显示区域。
在要从整体上掌握肺的病变的情况下,上叶、中叶和下叶成为最小单位。由于弥漫性病变是在整个肺扩散的病变,所以只要观察各肺野的代表性医用图像就足够。在本技术方案中,在所选择出的一个相似医用图像为弥漫性病变的情况下,在第2显示区域显示沿着第1方向排列的图像组中的所述上叶、所述中叶和下叶的代表性医用图像。由此,能够更高效地提示医用图像。
另外,在上述技术方案中,可以为,所述控制方法使所述信息终端的计算机进行如下处理:检测表示所述读片对象的医用图像中的关心区域的指定信息;将所述关心区域的特征量发送给所述病例检索系统;从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的相似医用图像。
另外,在上述技术方案中,可以为,所述控制方法使所述信息终端的计算机进行如下处理:检测表示所述对象医用图像中的关心区域的指定信息;将所述对象医用图像以及所述指定信息发送给所述病例检索系统;从所述病例检索系统接收与根据所述对象医用图像以及所述指定信息得到的所述关心区域的特征量具有所述预定的相似度的相似医用图像。
另外,在上述技术方案中,可以为,所述对象医用图像为肺的医用图像,具有表示所述相似医用图像中的病变部的对应关心区域,所述显示画面包含第1分布信息、第2分布信息和第3分布信息,所述第1分布信息使得选择属于预定的第1范围的相似医用图像,所述预定的第1范围表示所述对应关心区域的大小相对于肺的区域而言为大范围这一情况,所述第2分布信息使得选择属于比所述第1范围小的预定的第2范围的相似医用图像,所述预定的第2范围表示所述对应关心区域的大小为肺的区域的一部分这一情况,所述第3分布信息使得选择所述对应关心区域包含胸膜的相似医用图像,在检测到从所述第1分布信息到所述第3分布信息中的某一分布信息的选择的情况下,选择与所述选择出的一个分布信息对应的相似医用图像并显示于所述第1显示区域。
根据本技术方案,进一步,基于所述对应关心区域的分布类型来区分显示于所述第1显示区域的多个相似医用图像。由此,例如,能够高效地从大量显示的相似医用图像中选择病变部的分布与对象医用图像的病变部的分布相似的相似医用图像。
另外,在上述技术方案中,可以为,所述第1显示区域包括用于分别显示所述接收到的多个相似医用图像的多个单独区域,在检测到所述第1分布信息的选择的情况下,使与所述第1分布信息对应的相似医用图像以初始显示尺寸分别显示于所述单独区域,在检测到所述第2分布信息的选择的情况下,以与所述第2分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第2分布信息对应的相似医用图像分别放大显示于所述单独区域,在检测到所述第3分布信息的选择的情况下,以与所述第3分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第3分布信息对应的相似医用图像以包含所述胸膜的状态分别放大显示于所述单独区域。
根据本技术方案,在基于所述对应关心区域的分布类型对相似医用图像进行了区分时,不仅简单地进行区分,还进行与所述分布类型相应的显示。由此,医生不需要另外进行基于所述对应关心区域的分布类型来区分相似医用图像、然后根据所述分布类型来放大相似医用图像或使所述对应关心区域成为中心的处理等。因此,能够大幅减轻如下麻烦:尽管基于所述对应关心区域的分布类型进行了区分,但接着却要对所述区分开的大量的相似医用图像逐个反复进行同样的操作。其结果是,能够大幅减轻应该专注于诊断的医生的思考或医生的注意力因操作的麻烦而中断,能够让医生的思考或医生的注意力专注于本来的诊断。因此,能够实现诊断精度的提高。
另外,在上述技术方案中,可以为,所述第1分布信息是表示属于两侧性、多发性、弥漫性或血行性的类别的分布的信息,所述第2分布信息是表示属于区域性或气道性的类别的分布的信息,所述第3分布信息是表示属于胸膜下的类别的分布的信息。
根据本技术方案,在属于两侧性、多发性、弥漫性或血行性的类别的分布的情况下,按初始显示尺寸显示相似医用图像,在属于区域性或气道性的类别的分布的情况下,放大显示相似医用图像,在属于胸膜下的类别的分布的情况下,以包含胸膜的状态放大显示相似医用图像。
在属于两侧性、多发性、弥漫性或血行性的类别的分布的情况下,病变部扩散到整个肺的可能性高或在肺的大范围产生病变部的可能性高,因此,存在基于希望按初始显示尺寸即不进行放大来显示相似医用图像这样的医学观点的需求。另一方面,在属于区域性或气道性的类别的分布的情况下,上述那样的可能性低。因此,通过选择属于区域性或气道性的类别的分布来放大显示相似医用图像,由此,能够省略进行放大显示这样的一个工序,能够防止医生的注意力被打断。另外,在属于胸膜下的类别的分布的情况下,因为胸膜与病变部的位置关系在诊断时成为重要的指标,所以存在基于想要以包含胸膜的状态来放大显示相似医用图像这一医学观点的需求。
(实施方式)
以下,参照附图对本公开的一个实施方式进行说明。此外,在各附图中,对相同的构成要素使用相同的附图标记。
图1是适用了本实施方式的信息终端的医院信息系统的整体构成图。如图1所示,医院信息系统具备信息终端100、医用信息管理系统200以及病例检索系统300。
信息终端100、医用信息管理系统200以及病例检索系统300经由网络400以能够相互通信的方式连接。
此外,医用信息管理系统200以及病例检索系统300未必需要配置在医院中,也可以是在医院外的数据中心、私有云服务器、公共云服务器等上工作的软件。在医用信息管理系统200以及病例检索系统300设置在医院内的情况下,作为网络400,可以采用局域网。作为局域网,可以采用IEEE802.3系列的有线LAN、IEEE802.11系列的无线LAN或者两者混和存在的网络。在医用信息管理系统200以及病例检索系统300使用医院外的服务器来实现的情况下,作为网络400,可以采用因特网。
作为信息终端100,采用个人计算机和/或平板终端等信息终端。作为医用信息管理系统200,采用PACS(Picture Archiving and Communication Systems)和/或电子病例系统等。
图2是表示信息终端100、医用信息管理系统200以及病例检索系统300的构成的框图。如图2所示,信息终端100具备显示器101、操作部102、输入控制部103、显示控制部104、ROI管理部105、显示框管理部106、病名列表管理部108、分布列表管理部109、通信控制部110、框布局管理部111以及摘要图像生成部112。
显示器101例如由液晶监视器构成,显示成为诊断对象的医用图像以及病例图像,并且显示用于写入诊断结果的报告输入图像等。此外,显示器101最少需要1台,通常在图像诊断中使用2~3台显示器101。在本实施方式中使用2台显示器101,将一台显示器101设为显示器101a,将另一台显示器101设为显示器101b(参照图3)。
另外,显示器101a的显示画面是第2显示画面的一例,显示器101b的显示画面是第1显示画面的一例。图3是2台显示器101a、101b的外观图。在图3中,在显示器101a上,以2行2列的配置显示4个医用图像查看器,在显示器101b上显示病例检索系统300的画面。此外,在将显示器101设为1台的情况下,第1显示画面和第2显示画面在1台显示器101的显示画面上分区域来显示。操作部102例如包括键盘以及鼠标,受理由用户对信息终端100输入的各种操作。例如,操作部102受理用户对显示于显示器101的医用图像以及病例图像的操作以及对报告输入画面输入诊断结果的操作等。
输入控制部103在检测到用户对操作部102的操作时,对该操作的内容进行解析,向其他的构成要素通知操作内容。例如,输入控制部103根据从作为操作部102的鼠标输出的坐标数据来检测显示器101上的鼠标光标的位置,使鼠标光标显示在显示器101上。并且,输入控制部103在检测到鼠标被点击时,如果在鼠标光标的显示位置显示有由显示控制部104生成的GUI控件(例如,GUI按钮),则判定为用户选择了该GUI,向其他的构成要素通知该GUI控件已被用户选择这一情况。
显示控制部104生成信息终端100的GUI(Graphical User Interface,图形用户接口),并使其显示于显示器101。
ROI管理部105生成表示在进行相似病例检索时对后述的检索查询图像设定的关心区域(Region Of Interest,关注区域)的关心区域信息并保存于存储器,管理关心区域信息。
显示框管理部106将后述的显示框管理信息4410(图37)保存于存储器,管理显示框管理信息4410。
病名列表管理部108生成显示于病例显示区域710(图6)的相似病例的病名列表(图30)并保存于存储器,管理病名列表。
分布列表管理部109生成表示显示于病例显示区域710的相似病例的病变分布的分布列表(图35)并保存于存储器,管理分布列表。
通信控制部110例如包括用于将信息终端100连接于网络400的通信装置,控制信息终端100与医用信息管理系统200间的通信和/或信息终端100与病例检索系统300间的通信。另外,通信控制部110从其他块(block)受理各种数据的发送请求,向医用信息管理系统200或者病例检索系统300进行发送,并且接收从医用信息管理系统200或者病例检索系统300发送来的数据,转发给相应的块。
框布局管理部111生成后述的布局管理信息4200(图36)并保存于存储器,对布局管理信息4200进行管理。
摘要图像生成部112在输入控制部103检测到从显示于病例显示区域710的缩略图像中选择一个缩略图像的操作的情况下,参照所选择出的缩略图像的相似病例数据4000,判定所选择出的缩略图像是局限性病变还是弥漫性病变。并且,摘要图像生成部112在判定为是局限性病变的情况下,生成连续帧图像717来作为局限性病变的摘要图像(图51)。另一方面,摘要图像生成部112在判定为是弥漫性病变的情况下,生成代表图像718来作为弥漫性病变的摘要图像(图52)。
此外,图51、图52使用同一相似病例进行了图示,但这是为了易于理解显示的不同。
如图2所示,医用信息管理系统200具备患者信息存储部201、患者信息管理部202、医用图像数据存储部203、医用图像数据管理部204、诊断报告管理部205以及通信控制部206。
患者信息存储部201存储登记了患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息的患者信息1000(图16)。
患者信息管理部202对患者信息存储部201所存储的患者信息1000(图16)执行登记从用户输入的数据来更新患者信息1000的处理以及将患者信息1000输出到显示控制部104的处理等,管理患者信息1000。医用图像数据存储部203存储作为患者的检查图像的医用图像数据。
医用图像数据管理部204将医用图像数据存储于医用图像数据存储部203,管理医用图像数据。
诊断报告管理部205管理表示医生针对对患者进行的各检查的诊断结果的诊断报告3000(图19)。
通信控制部206例如包括用于将医用信息管理系统200连接于网络400的通信装置,从其他块受理各种数据的发送请求,向信息终端100或者病例检索系统300进行发送,并且接收从信息终端100或者病例检索系统300发送来的数据,转发给相应的块。
如图2所示,病例检索系统300具备相似病例数据存储部301、图像特征提取部302、相似病例检索部303以及通信控制部304。
相似病例数据存储部301预先存储登记了从医用信息管理系统200管理的相似病例中的作为相似病例检索的对象数据而选定的许多相似病例中提取出的图像特征、和/或生成的缩略图像等的相似病例数据4000(图20等)。
图像特征提取部302提取从信息终端100的通信控制部110发送的检索查询图像的关心区域信息的图像特征。此外,关心区域信息是表示关心区域的指定信息的一例。
相似病例检索部303通过将由图像特征提取部302提取出的图像特征与相似病例数据存储部301所存储的1个以上的相似病例的图像特征分别进行比较来生成相似病例检索结果。
通信控制部304例如由使病例检索系统300连接于网络400的通信装置构成,从其他块受理各种数据的发送请求,向信息终端100或者医用信息管理系统200进行发送,并且接收从信息终端100或者医用信息管理系统200发送来的数据,转发给相应的块。
图4是表示信息终端100的安装方式的构成例的图。如图4所示,信息终端100具备应用501、OS(Operating System,操作系统)502、存储器503以及未图示的其他硬件。
应用501是用于使个人计算机或平板终端作为信息终端100发挥功能的应用软件,通过信息终端100的处理器来执行。信息终端100既可以从计算机可读取的记录介质中读出应用501来安装应用501,也可以通过从网络下载来安装应用501。
在此,应用501包括医用信息管理应用以及相似病例检索应用。医用信息管理应用是用于使信息终端100与医用信息管理系统200协同工作的应用,相似病例检索应用是用于使信息终端100与病例检索系统300协同工作的应用。并且,两个应用相互收发数据,在信息终端100中合并医用信息管理系统200和病例检索系统300提供的服务。
OS502是信息终端100的基本软件,通过信息终端100的处理器来执行。存储器503由信息终端100具备的RAM、ROM等存储装置构成,存储应用501所包含的数据群。
通过信息终端100的处理器执行应用501,实现图2所示的输入控制部103、显示控制部104、ROI管理部105、显示框管理部106、病名列表管理部108、分布列表管理部109、通信控制部110以及框布局管理部111的功能。
但是,在本实施方式中,信息终端100既可以单独仅以应用501的方式安装,也可以以应用501以及OS502的方式安装,还可以以应用501、OS502以及存储器503的方式安装,还可以以应用501、OS502、存储器503以及其他未图示的硬件的方式安装。对于任何安装方式都能够实现本实施方式的信息终端100。
图5是表示在信息终端100刚刚启动了相似病例检索应用之后显示于显示器101a的基本画面K1的一例的图。图5所示的基本画面K1由4个医用图像查看器610~640构成。医用图像通常以DICOM(Digital Imaging and Communicationin Medicine,医学数字成像和通信)格式进行记录,医用图像查看器610~640是能够处理DICOM的查看器。在本实施方式中处理的医用图像,设为由DICOM格式的许多断层图像(以下,称为切片图像)构成的胸部CT图像。但是,这只不过是一例,也可以采用其他部位(例如,头部、腹部、腿或者胳膊)的CT图像。
医用图像查看器610~640所显示的胸部CT图像,通过鼠标和/或键盘的操作而切换切片图像。在此,构成胸部CT图像的切片图像例如按从头侧向腹侧的顺序配置。
例如,在医用图像查看器610上定位鼠标光标,当由输入控制部103检测到鼠标滚轮的旋转时,显示控制部104根据所检测到的旋转量来切换医用图像查看器610所显示的切片图像。在此,例如若在医用图像查看器610上鼠标滚轮向鼠标的后方侧旋转一下,则显示控制部104将显示中的切片图像切换为下一个切片位置的切片图像。另一方面,例如若在医用图像查看器610上鼠标滚轮向鼠标的前方侧旋转一下,则显示控制部104将显示中的切片图像切换为前一个切片位置的切片图像。由此,医生等用户一边使鼠标滚轮向前方侧或者后方侧旋转,一边适当地切换医用图像查看器610所显示的切片图像,搜索所希望的切片图像。
此外,作为医用图像,也可以取代胸部CT图像而采用MRI(Magnetic ResonanceImaging)图像或普通X射线图像。另外,在图5的例子中,医用图像查看器的个数设为了4个,但这只不过是一例,也可以采用6个或8个等其他的个数。当医用图像查看器的个数增多时能够同时比较的图像增多,但每个图像的显示面积会缩小。因此,采用该个数能够根据显示器101a的显示尺寸而适当变更的构成即可。在此,医用图像查看器的个数设为用户或者管理者能够自如变更的个数。
在相似病例检索应用被启动之前,在显示器101a的整个区域显示某患者的胸部CT图像的切片图像。并且,在该状态下,当通过读片者等用户启动了相似病例检索应用时,在医用图像查看器610上显示在显示器101a的整个区域显示过的切片图像。
也即,当用户启动了相似病例检索应用时,在医用图像查看器610上初始显示在显示器101a的整个区域显示过的检索查询图像。此外,显示控制部104也可以在检索查询图像上重叠显示进行相似病例检索的对象的关心区域(ROI:Region Of Interest)。检索查询图像是读片对象的医用图像即对象医用图像的一例。
在图5中,在其他的医用图像查看器620~640上都没有显示任何图像,但在成为诊断对象的患者的检查图像存在多个、并在相似病例检索应用启动之前在显示器101a上显示了多个检查图像的情况下,显示控制部104将该多个检查图像直接显示于医用图像查看器620~640即可。
图6是表示在信息终端100刚刚启动了相似病例检索应用之后显示于显示器101b的基本画面K2的一例的图。图6所示的基本画面K2具备病例显示区域710、布局区域720、病名列表显示区域730以及分布列表显示区域750。
病例显示区域710是按相似度的顺序显示与检索查询图像相似的相似病例的缩略图像的区域。在此,相似病例的缩略图像是相似医用图像的一例。另外,病例显示区域710是第1显示区域的一例。
由于在病例显示区域710显示很多相似病例,所以若当场进行分辨率和/或像素值的变换则处理会花费时间。由此,缩略图像预先根据原始的切片图像制作,并保存于病例检索系统300。
以下,对分辨率和/或像素值的变换稍作补充。原始的切片图像的分辨率为512×512像素,而缩略图像的分辨力较低,因此需要进行分辨率变换。因此,缩略图像是对作为基础的切片图像进行了低分辨率处理以及灰阶变换处理而生成的。
灰阶变换处理例如如下那样来进行。通过CT而取得的切片图像的各像素值(CT值)取-1000~+1000(单位HU:Hounsfield Unit,亨氏单位)的2000灰阶的值,无法直接显示于通常的8位灰阶的显示器。另外,即使能够显示,人也难以通过肉眼在2000灰阶中区分肺气肿区域(CT值:-1000HU)、肺野的正常组织(CT值:约-900HU)、磨砂玻璃影区域(CT值:-800HU)、软组织(CT值:-100~-50HU)、水(CT值:0HU)以及骨(CT值:1000HU)。
由此,通常,切片图像对各像素值设定窗位以及窗宽,重构为8位的像素值并显示于显示器。在此,窗位表示成为窗中心的CT值,窗宽表示窗中心的上下的宽度。
例如,在肺野条件下重构DICOM图像的情况下,窗位被设定为-550~-800,窗宽被设定为1000~1600。因此,缩略图像也通过从作为基础的切片图像经上述的处理将像素值降低到8位来生成。
此外,显示于病例显示区域710的缩略图像,是表示相对于诊断对象病例的特征向量的距离为预定的阈值以下的相似病例的缩略图像。在此,作为距离,例如使用欧几里得距离。此外,作为距离,也可以采用市街区距离等另外的距离尺度。距离越近,成为比较对象的2个图像越相似。另外,特征向量不是从缩略图像获得的向量,而采用从作为源图像的切片图像获得的向量。
图7是将病例显示区域710所显示的某个相似病例的显示区域(单独区域的一例)截取显示的图。在相似病例的显示区域显示缩略图像,在该缩略图像的下部,配置有确诊病名显示区域711以及距离显示区域712。在确诊病名显示区域711显示成为对象的相似病例的确诊病名。确诊病名是指对成为对象的相似病例确定了诊断的病名。在距离显示区域712,显示成为对象的相似病例的切片图像的特征向量、和与检索查询图像的特征向量之间的距离。在图7的例子中,由于在确诊病名显示区域711显示为“非结核性抗酸菌病”,所以该缩略图像表示被确诊为“非结核性抗酸菌病”的相似病例的缩略图像。另外,由于在距离显示区域712显示为“0.05”,所以表示该相似病例的切片图像与检索查询图像的距离为“0.05”。
(病例显示区域710)
当输入控制部103检测到在病例显示区域710中指定相似病例的缩略图像的操作时,显示控制部104对与从包含所指定的缩略图像在内的序列中指定的缩略图像对应的摘要图像进行显示。图50是表示在刚刚进行相似病例检索之后的基本画面K2中用户选择了缩略图像的状态的一例的图。
在图50的例子中,光标定位于第1行第2列的原发性肺癌的相似病例的缩略图像716,可知由用户选择了该缩略图像716。在此,输入控制部103在鼠标定位于缩略图像716的区域内、并且检测到进行点击或双击的操作的情况下判定为选择了缩略图像716即可。或者,输入控制部103也可以在通过操作键盘的方向键使光标定位于缩略图像716的区域内、并按压了键盘的enter键的情况下,判定为选择了缩略图像716。
并且,在显示控制部104判定为由用户选择的缩略图像716为局限性病变的情况下,如图51所示,显示控制部104使连续帧图像717在缩略图像716的显示区域内716a进行动态图像显示。该情况下,将连续帧图像717作为摘要图像来显示。
图51是表示由用户选择出的缩略图像716为局限性病变的情况下的基本画面K2的一例的图。在此,连续帧图像717由包含缩略图像716的序列中的、包含缩略图像716在内的前后连续的预定数量的缩略图像F1~F5构成。在图51的例子中,连续帧图像717由以缩略图像716(F3)为中心之前的2帧缩略图像F1、F2和之后的2帧缩略图像F4、F5总共5帧缩略图像构成。并且,以预定的帧速率按从F1到F5的顺序将该5个缩略图像F1~F5显示于缩略图像716的显示区域。此外,在图51中,连续帧图像717由5个缩略图像F1~F5构成,但这是一例。连续帧图像717也可以由大于5的个数的缩略图像构成,还可以由2个以上且4个以下的缩略图像构成。如图51所示,在所选择出的缩略图像716为局限性病变的情况下,缩略图像716的显示区域716a构成第2显示区域的一例。
另一方面,若判定为由用户选择出的缩略图像716为弥漫性病变,则如图52所示,显示控制部104将构成缩略图像716所表示的器官的多个区域的代表图像718按各个区域逐个进行一览显示。图52是表示由用户选择出的缩略图像716为弥漫性病变的情况下的基本画面K2的一例的图。在图52的例子中,缩略图像716是肺的图像。肺由上叶、中叶和下叶这3个区域构成。因此,显示控制部104对上叶、中叶和下叶的3个代表图像718进行一览显示。该情况下,代表图像718构成摘要图像。
在图52的例子中,3张代表图像718被一览显示在摘要区域719内。在此,摘要区域719在缩略图像716的显示区域716a的下侧重叠显示于病例显示区域710。摘要区域719具备表示器官内的各区域的名称的名称显示栏718a(上叶、中叶、下叶)和配置在名称显示栏718a的下侧的代表图像718。此外,在图52的例子中,摘要区域719以横向一排的方式配置代表图像718,但这是一例,也可以以纵向一列的方式进行配置。如图52所示,在所选择出的缩略图像716为弥漫性病变的情况下,摘要区域719构成第2显示区域的一例。此外,关于连续帧图像717以及代表图像718的生成方法,将在后面叙述。
如此,显示控制部104根据所选择出的缩略图像716是局限性病变还是弥漫性病变来切换要提示的摘要图像。其结果是,能够有效地从登记在医用图像数据库2000中的庞大的病例中将在读片对象的医用图像进行诊断时成为参考的相似病例的缩略图像提示给医生。由此,本公开能够有助于提高医生的诊断精度。
返回参照图6。在基本画面K2的例如左上,配置有检索结果件数显示区域713。在检索结果件数显示区域713,显示作为检索处理的结果的、从病例检索系统300取得的与诊断对象病例相似的相似病例的数量。
此外,在相似病例的数量庞大的情况下,病例显示区域710无法一次显示全部相似病例。因此,在病例显示区域710的例如右侧,设置有沿上下方向为长条的滚动条715。显示控制部104根据滚动条715的移动量,使显示在病例显示区域710内的缩略图像沿上下方向滚动显示。由此,用户能够使处于非显示状态的相似病例显示在病例显示区域710,并观察该相似病例。
此外,滚动条715也可以是沿左右方向为长条。该情况下,显示控制部104根据滚动条715的移动量使显示在病例显示区域710内的缩略图像沿左右方向滚动显示即可。或者,也可以:在病例显示区域710定位了鼠标光标的状态下,当按压键盘的方向键时,显示控制部104在按着键的期间,使显示在病例显示区域710内的缩略图像向按着的键的方向滚动显示。
此外,信息终端100从病例检索系统300取得了与检索查询图像的距离为预定的阈值以下的缩略图像,但这只不过是一例。例如,信息终端100也可以从病例检索系统300按相似度从高到低的顺序始终取得一定数量的缩略图像。或者,信息终端100也可以以使得始终包含一定数量的某确诊病名的缩略图像的方式从病例检索系统300取得缩略图像。
此外,作为病例显示区域710中的缩略图像的显示方法,例如可以采用如下的显示方法:在最上部的行的左端显示与检索查询图像的距离最短的缩略图像,以随着向右侧而距离依次增大的方式显示缩略图像,当到达同一行的右端时,在从上起第2行的左端显示接下来距离大的缩略图像。也即,可以采用如下的显示方法:在病例显示区域710,以从左上向右下蜿蜒行进的方式按距离从小到大的顺序显示缩略图像。
当然,本实施方式也可以采用其他的显示方法。例如,也可以采用如下的显示方法:在从左起第1列的上端显示距离最短的缩略图像,以随着向下侧而距离依次增大的方式显示缩略图像,当到达同一列的下端时,在从左起第2列的上端显示接下来距离大的缩略图像。另外,也可以采用能够由用户切换该多个显示方法的构成。
另外,在上述的例子中,作为相似度采用了距离,但只要是表示余弦相似度这样的图像彼此的相似性的指标,采用什么样的指标都可以。在采用了余弦相似度的情况下,值越接近1,成为比较对象的2个图像的相似性就越高。
此外,虽然详细内容在后面叙述,但在病例显示区域710进行显示的相似病例,能够通过显示在病名列表显示区域730的病名和/或显示在分布列表显示区域750的病变分布来进行筛选。当前设定的相似病例的筛选条件显示在显示条件显示区域714。在图6的例子中,为刚进行相似病例检索之后的状态,没有进行任何筛选,因此在显示条件显示区域714显示为“全部疾病”。
布局区域720例如配置在图6所示的基本画面K2的左下。并且,布局区域720用于使显示在了病例显示区域710的相似病例缩略图像中的用户想要详细观察的图像显示于显示器101a的医用图像查看器。如图5所示那样,在显示器101a以2行2列显示有4个医用图像查看器610~640。另外,在布局区域720,以2行2列存在4个显示框721~724。如此,显示器101a所显示的医用图像查看器610~640的数量以及配置和布局区域720中的显示框721~724的数量以及配置统一。与如图5所示那样在医用图像查看器610显示有检索查询图像相应地,在显示框721初始显示检索查询图像的缩略图像。
在其他的显示框722~724,与医用图像查看器620~640联动地显示相似病例的缩略图像。也即,当输入控制部103检测到向显示框722~724的任一个显示框拖放了病例显示区域710所显示的一个缩略图像时,显示控制部104使该显示框显示一个缩略图像,并且在与该显示框对应的医用图像查看器上显示与该缩略图像对应的切片图像。如此,医用图像查看器610~640与显示框721~724一一对应。
在图6的例子中,由于显示框722~724为空白,所以图5所示的医用图像查看器620~640也成为空白。此外,显示相似病例的显示框722~724是第2显示框的一例。
用户通过拖放鼠标,使想要详细观察的缩略图像从病例显示区域710移动到布局区域720。例如,当用户向显示框722移动了缩略图像时,在与显示框722对应的医用图像查看器620上显示与该缩略图像对应的切片图像。同样,当用户向显示框723移动了缩略图像时,在与显示框723对应的医用图像查看器630上显示与该缩略图像对应的切片图像。即,当向显示框721~724中的任意的显示框移动缩略图像时,与检索查询图像的缩略图像相邻地显示相似病例的缩略图像。因此,用户能够在缩略图像的水平上进行诊断对象病例与相似病例的对比,能够快速判断两个病例的相似性。也即,由于缩略图像的信息量比切片图像的信息量少,所以用户能够对在布局区域720相邻配置的诊断对象病例与相似病例是何种程度地相似进行大体上的研究。因此,用户能够高效地从显示在了病例显示区域710的许多相似病例中筛选需要在切片图像的水平上详细地进行与对象诊断病例的比较的相似病例的最终候选。
同样,在显示器101a上也以与布局区域720相同的配置关系显示检索查询图像以及相似病例的切片图像。因此,当在布局区域720筛选成为最终候选的相似病例的作业结束时,即使不输入任何的操作,也在显示器101a上以切片图像的水平显示诊断对象病例和作为最终候选而筛选出的相似病例。因此,用户能够顺畅地转换到对对象诊断病例和最终候选的相似病例进行详细读片这样的接下来的作业步骤。
在图6所示的基本画面K2的左侧的上部,配置有标着“病名列表”这一标题的病名列表显示区域730。在病名列表显示区域730,显示作为相似病例的检索结果而取得的全部相似病例的确诊病名。诊断对象病例在诊断结束而赋予了确诊病名之后作为相似病例存储在病例检索系统300中。因此,对各相似病例分别预先赋予通过诊断而赋予的确诊病名。
图8是病名列表显示区域730的放大图。在图8中,确诊病名分成大分类病名(731,734,737,741,744)和详细分类病名(732,733,735,736,738,739,740,742,743,745)而显示。在图8的例子中,作为大分类病名,显示有霉菌病731(mycosis)、肿瘤性734(neoplastic)、非肿瘤性737(nonneoplastic)、分支杆菌病741(mycobacteriosis)以及其他744。
另外,在图8的例子中,作为真菌病731的详细分类病名,显示有曲霉病732(aspergillosis)、隐球菌病733(cryptococcosis)。另外,作为肿瘤性734的详细分类病名,显示有原发性肺癌735(lungcancer)、转移性肺癌736(metastaticlungcancer)。另外,作为非肿瘤性737的详细分类病名,显示有肺脓肿738(lung abscess)、结节病739(sarcoidosis)、败血性血栓740(septic emboli)。另外,作为分支杆菌病741的详细分类病名,显示有非结核性抗酸菌病742(NTM:nontuberculous mycobacteria)、肺结核743(tuberculosis)。另外,作为其他744的详细分类病名,显示有支气管扩张病745(bronchiectasis)。
另外,在大分类病名以及详细分类病名的旁边,显示有该病名的病例数。用户通过选择该病名列表显示区域730中的大分类病名或详细分类病名的任意行,能够筛选病例显示区域710所显示的相似病例。在如图6所示刚刚进行相似病例的检索之后的状态下,包括多种疾病的62个相似病例成为了显示对象,但在用鼠标点击了图8的真菌病731的行的情况下,显示控制部104如图9所示仅将真菌病的相似病例显示于病例显示区域710。另外,在用鼠标点击了图8的转移性肺癌736的行的情况下,显示控制部104如图10所示仅将转移性肺癌的相似病例显示于病例显示区域710。
此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例是以何种筛选条件进行的筛选的方式,在显示条件显示区域714显示进行了筛选的病名。图9是表示以“真菌病”筛选了相似病例时的基本画面K2的图。图10是表示以“转移性肺癌”筛选了相似病例时的基本画面K2的图。
在图9的例子中,由于以“真菌病”实施了筛选,所以在显示条件显示区域714显示为“真菌病”,在图10的例子中,由于以“转移性肺癌”实施了筛选,所以在显示条件显示区域714显示为“转移性肺癌”。
另外,此时,显示控制部104以使得了解当前显示在病例显示区域710的相似病例的件数的方式,在检索结果件数显示区域713显示该件数。在图9的例子中,由于符合“真菌病”的相似病例为14件,所以在检索结果件数显示区域713显示为14件,在图10的例子中,由于符合“转移性肺癌”的相似病例为3件,所以在检索结果件数显示区域713显示为3件。
通过该功能,仅将医生设想的病名的相似病例作为图像诊断的对象而显示于病例显示区域710,医生能够容易地确认诊断对象病例是否与所设想的病名不矛盾。
在图6所示的基本画面K2的左侧的中部,配置有标着“病变分布”这一标题的分布列表显示区域750。在分布列表显示区域750,显示作为检索了相似病例的结果的、从病例检索系统300取得的全部相似病例的病变分布的种类。
图11是分布列表显示区域750的放大图。在图11的例子中,显示有7个病变分布的名称,在各病变分布的名称的左侧配置有复选框。在图11的例子中,作为病变分布,显示有弥漫性751(diffuse)、区域性752(segmental)、气道性753(bronchial)、两侧性754(bilateral)、多发性755(multiple)、胸膜下756(subpleural)以及血行性757(hematogenous)。
这些病变分布被预先定义,对各相似病例预先赋予表示符合弥漫性751~血行性757的哪个的分布标记值(符合:1,不符合:0)。根据相似病例,有时全部分布标记值被设定为不符合(:0),也有时多个分布标记值被设定为符合(:1)。
本实施方式的病例检索系统300针对用户对诊断对象病例的切片图像设定的关心区域,检索具有相似的关心区域的相似病例。有时在用户设定了关心区域的切片图像以外也存在病变。并且,用户在以设定了关心区域的切片图像检索了相似病例之后,有时也希望对该切片图像以外的切片图像与所检索出的相似病例进行比较。该情况下,用户在医用图像查看器610中输入切片切换的操作来显示其他的切片图像,进行与所检索出的相似病例比较的作业。该情况下,如果所检索出的全部相似病例中的仅与关注的病变关联的相似病例显示在病例显示区域710,则能够顺畅地进行从设定了关心区域的切片图像以外的切片图像中提取具有所希望的病变的切片图像的作业。因此,在本实施方式中,为了更顺畅地进行该作业,设有以所希望的病变分布对所检索出的相似病例进行筛选的功能。
在本实施方式中,作为肺野区域内的病变分布,采用了图11的由弥漫性751~血行性757所示的病变分布。另外,如图11所示,关于复选框以及病名分布的名称,显示控制部104将能够筛选的病变分布以激活状态显示,将不能筛选的病变分布以非激活状态显示。在此,作为激活状态,采用辉度比非激活状态高的状态,作为非激活状态,采用辉度比激活状态低的状态。
在图11的例子中,弥漫性751、气道性753~多发性755以及血行性757以激活状态显示,区域性752以及胸膜下756以非激活状态显示。这是因为:在当前通过相似病例检索而取得的全部相似病例中的至少任一个相似病例中弥漫性751、气道性753~多发性755以及血行性757的分布标记值被设定为1(符合),在所取得的全部相似病例中的任何相似病例中区域性752以及胸膜下756的分布标记值都被设定为0(不符合)。
当输入控制部103检测到在激活状态的复选框中的1个以上的复选框输入了复选标记时,显示控制部104仅使符合被输入复选标记的病变条件的相似病例显示于病例显示区域710。
此外,关于区域性752、胸膜下756,作为检索结果而取得的相似病例的任何相似病例中分布标记值都被设定为0(不符合)。因此,若采用在区域性752、胸膜下756能够输入复选标记的构成,则在该病变分布输入了复选标记的情况下,在病例显示区域710不会显示任何相似病例,输入复选标记就没有了意义。因此,在本实施方式中,为了避免这种情况,在作为检索结果而取得的相似病例的任何相似病例中分布标记值都为0(不符合)的病变分布以非激活状态进行显示。
图12是表示输入了复选标记的分布列表显示区域750的图。图13是表示以气道性的病变分布实施了筛选的基本画面K2的图。如图12所示,在向气道性753的复选框输入了复选标记的情况下,显示控制部104如图13所示仅将具有气道性的病变分布的相似病例显示于病例显示区域710。在该例中,具有气道性的病变分布的相似病例为17件。因此,显示控制部104在检索结果件数显示区域713显示为“17件”。另外,显示控制部104在显示条件显示区域714显示显示对象的病名和作为病变分布的名称的“气道性”。在图13的例子中,由于没有实施基于病名列表显示区域730所列举的病名的筛选,所以在显示条件显示区域714显示为“全部疾病”。
图14是表示输入了多个复选标记的分布列表显示区域750的图。图15是表示以多个病变分布实施了筛选的基本画面K2的图。在图14的例子中,在弥漫性751和血行性757输入了复选标记。因此,显示控制部104如图15所示,将具有弥漫性以及血行性的病变分布的相似病例显示于病例显示区域710。在该例中,具有弥漫性以及血行性的病变分布的相似病例为11件。因此,显示控制部104在检索结果件数显示区域713显示为11件。另外,显示控制部104在显示条件显示区域714显示显示对象的病名(在此,由于没有实施基于病名的筛选所以为“全部疾病”)和作为病变分布的名称的“弥漫性&血行性”。
图16是表示患者信息1000的数据结构的图。患者信息1000通过医用信息管理系统200中的患者信息管理部202按患者存储于患者信息存储部201来管理。在患者信息1000中登记有患者的性别以及年龄等个人信息、既往病史等临床信息、以及血液检查等的检查信息。如图16所示,患者信息1000包括患者ID1100、姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600、主诉17001、检查信息1800以及确诊1900。
患者ID1100是患者固有的标识符。姓名1200、年龄1300、性别1400、既往病史1500、家族病史1600以及主诉1700分别是患者ID1100的患者的姓名、年龄、性别、既往病史、家族病史以及主诉。检查信息1800如图17所示表示与该患者过去接受的1次以上的检查相关的信息。
图17是表示登记在图16所示的患者信息1000中的检查信息1800的数据结构的图。检查信息1800是与对患者进行的检查相关的信息,对应于每个检查而逐个制作。检查信息1800包括检查ID1810、检查日期时间1820、检查类型1830以及检查结果1840。检查ID1810是检查固有的标识符。检查日期时刻1820是进行了检查的日期时间。检查类型1830是检查的种类。作为检查的种类,例如有血液检查、呼吸功能检查、内窥镜检查、普通X射线拍摄、CT拍摄等。
如果是血液检查,则检查结果1840适用白血球数、LDH以及GPT等各种指标的值。另外,检查结果1840也适用医生基于各种指标所作出的判断等。另外,如果是普通X射线拍摄、CT拍摄等图像检查,则包括指向所拍摄的图像的指针信息和/或指向图像诊断结果的报告的指针信息。此外,通过检查而拍摄到的图像,以DICOM的格式存储在医用信息管理系统200的医用图像数据存储部203中。
另外,在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,它们的医用图像数据存储在医用信息管理系统200的医用图像数据存储部203所存储的医用图像数据库2000中。
图18A是表示医用图像数据库2000的数据结构的图。医用图像数据库2000具有检查ID1810以及序列(series)ID2100。因为有时一次检查进行多种拍摄(例如,普通CT和造影CT等),所以有时相对于一个检查ID1810关联有多个序列ID2100。也即,获得与拍摄的种类相应的个数的序列。
另外,对于序列,除了可以按拍摄的种类而获得以外,也可以按所拍摄到的图像的重构条件而获得。例如,在所拍摄到的图像以肺野条件以及纵膈条件进行了重构的情况下,按这些条件的每个条件获得一个序列。此外,以肺野条件进行了重构的图像,强调显示肺中的血管、支气管以及肺泡等。另外,以纵膈条件进行了重构的图像,强调显示血管和/或淋巴结等的纵膈。由于肺野条件以及纵膈条件通过对由一次拍摄得到的图像进行重构而获得,所以在通过普通CT和造影CT进行两次拍摄、对于该两次拍摄分别以肺野条件以及纵膈条件重构了图像的情况下,获得2个肺野条件的序列,并获得2个纵膈条件的序列。
在CT以及MRI的图像检查的情况下,因为通过一次拍摄而取得多个切片图像,所以对1个序列ID2100关联有多个切片ID2200。由于对图18A的检查ID“13227989”关联有2个序列ID“CT149123”、“CT149124”,所以可知从该检查获得2个序列的CT图像。另外,可知对序列ID“CT149123”、“CT149124”分别关联有多个切片ID2200。
对于与一个序列ID对应的多个切片ID,可以为:随着切片ID所包含的数值增大,由各切片ID确定的切片图像的断层面向患者的身体的一个方向移动。例如,在一个序列ID中有10个切片ID,切片ID分别设为1、2、……、10。该情况下,也可以为:由切片ID=1确定的切片图像是10张图像中的距患者的头部顶端最近的断层面的图像,由切片ID=2确定的切片图像是10张图像中的具患者的头部顶端第二近的断层面的图像,……,由切片ID=10确定的切片图像是10张图像中的距患者的头部顶端第十近的的断层面的图像。
如图18B所示,医用图像数据库2000也可以与各个切片ID关联地存储通过由切片ID确定的检查而拍摄到的DICOM格式的切片图像(图像值的集合)。
如图18C所示,医用图像数据库2000也可以与各个切片ID关联地存储通过由切片ID确定的检查而拍摄到的DICOM格式的切片图像的缩略图像(像素值的集合)。可以通过医用信息管理系统200生成DICOM格式的切片图像的缩略图像。关于DICOM格式的切片图像的缩略图像,将在后面叙述。
在检查类型1830是普通X射线、CT、MRI、PET等的图像检查的情况下,在医用信息管理系统200的诊断报告管理部205中存储图19所示那样的诊断报告3000。在诊断报告3000中登记有医生对于各检查的诊断结果。图19是表示诊断报告3000的数据结构的图。
诊断报告3000包括检查ID1810、观察结果(所见)3100以及诊断3200。检查ID1810与图17中所示的检查ID1810相同。由此,诊断报告3000与检查信息1800关联。观察结果3100登记有表示医生对于检查的观察结果的语句。诊断3200登记有表示医生对于检查的诊断的语句。
图20是表示弥漫性的相似病例数据4000的数据结构的第一例的图。相似病例数据4000是在检索与诊断对象病例相似的相似病例时所参考的数据,对应于每个相似病例而逐个制作。此外,相似病例数据4000是相似病例数据的附加信息的一例。相似病例数据4000在病例检索系统300的相似病例数据存储部301中按各个相似病例而存储。如图20所示,相似病例数据4000包括相似病例ID4100、切片ID4200、关心区域信息4300、图像特征数据4400、缩略图像数据4500、病变分布信息4600、确诊(大分类病名)4700、确诊(详细分类病名)4800、病变属性4900以及摘要图像4910。
相似病例ID4100是相似病例数据4000的标识符。在此,由于按对相似病例的切片图像设定的关心区域而生成一个相似病例数据,所以相似病例ID4100也可以说是关心区域的标识符。在图20的例子中,相似病例ID4100通过由“SIM”和之后的编号构成的符号串构成。
切片ID4200是设定了关心区域的切片图像的标识符,与图18A所示的切片ID2200相同。关心区域信息4300是表示对切片图像设定的关心区域的位置的信息。图22是示意性表示对切片图像设定的关心区域的图。在图22的例子中,关心区域设定成矩形形状。因此,关心区域信息4300由关心区域的左上的顶点的坐标(xl,yt)和右下的顶点的坐标(xr,yb)这4个值构成。当然,关心区域也可以是矩形以外的形状,该情况下,采用能够唯一确定区域的参数作为关心区域信息4300。例如,如果关心区域为圆形,则采用圆的中心坐标和半径作为关心区域信息4300。
图像特征数据4400是从由关心区域信息4300定义的关心区域提取的预定维度(在此为N维)的特征值。缩略图像数据4500是基于由切片ID确定的DICOM格式的切片图像,为了显示于病例显示区域710而生成的缩略图像的图像数据。在此,缩略图像数据4500例如从缩略图像的左上的顶点向右下的顶点按光栅扫描的顺序配置缩略图像的像素值。前面进行了说明,通过CT检查而得到的DICOM图像是512×512像素的11位(像素值:-1000~+1000)图像。因此,在本实施方式中,为了使缩略图像的显示高速化,预先对作为缩略图像的来源的DICOM图像进行低分辨率处理以及灰阶变换处理来制作具有8位像素值的缩略图像,登记在相似病例数据4000中。此外,缩略图像的制作例如既可以由医用信息管理系统200制作并发送到病例检索系统300,也可以由病例检索系统300从医用信息管理系统200取得DICOM图像来进行制作。
病变分布信息4600是表示成为对象的相似病例符合由预先设定的弥漫性4610~血行性4670表示的病变分布的哪一个的分布标记值(1:符合,0:不符合)。
确诊(大分类病名)4700是对成为对象的相似病例确定的大分类病名。确诊(大分类病名)4700在以大分类的病名筛选相似病例时使用。
确诊(详细分类病名)4800是对成为对象的相似病例确定的详细分类的病名。确诊(详细分类病名)4800在以小分类病名筛选相似病例时使用。
对于确诊(大分类病名)4700,预先定义了与确诊(详细分类病名)4800唯一对应的大分类病名,使用该对应关系而保存于相似病例数据4000。
确诊(大分类病名)4700以及确诊(详细分类病名)4800以如下方式进行登记。在医用图像数据存储部203中根据图18A所示的切片ID2200来确定序列ID2100。并且,根据所确定出的序列ID2100,在患者信息存储部201中确定检查ID1810,根据检查ID1810来确定对应的患者信息1000(图16),根据所确定出的患者信息1000来确定该患者的确诊1900。并且,将所确定出的确诊登记于确诊(大分类病名)4700以及确诊(详细分类病名)4800。
病变属性4900是表示成为对象的相似病例是局限性病变还是弥漫性病变的信息。图20中,因为成为对象的相似病例是弥漫性病变,所以病变属性4900登记有弥漫性。
摘要图像4910保存有成为对象的相似病例的摘要图像的切片ID。图20中,因为成为对象的相似病例是弥漫性的,所以在摘要图像4910中登记有上叶的代表图像的切片ID(CT149391007)、中叶的代表图像的切片ID(CT149391025)以及下叶的代表图像的切片ID(CT149391043)。另外,在图20的例子中,成为对象的相似病例是中叶的相似病例,在摘要图像4910中,作为中叶的代表图像的切片ID,登记有与登记于切片ID4200的切片ID相同的切片ID(CT149391025),但这是一例。例如,在摘要图像4910中,也可以登记与登记于切片ID4200的切片ID不同的中叶的切片ID(例如,CT149391027)。由此,与成为对象的相似病例的缩略图像不同的缩略图像作为摘要图像显示于病例显示区域710,能够向用户提供更多样的信息。此外,在图20的例子中,对于摘要图像4910,在上叶、中叶、下叶中各登记有一个切片ID,但这是一例。例如,如果在上叶、中叶和下叶中显示2个以上的代表图像718,则摘要图像4910只要在上叶、中叶和下叶各自登记2个以上的切片ID即可。
图21A是表示局限性的相似病例数据4000的数据结构的第一例的图。因为图21A是局限性的相似病例数据4000,所以与此对应地登记在确诊4700、病变属性4900以及摘要图像4910中的信息不同于图20。具体而言,在图21A中,相对于图20,对于病变分布信息4600,在弥漫性4610登记有“0”,在血行性4670登记有“1”。另外,在确诊4700登记有“肿瘤性”,在确诊4800登记有“原发性肺癌”。另外,在图21A中,在病变属性4900登记有“局限性”。另外,在图21A中,在摘要图像4910,登记有登记于切片ID4200的切片ID(CT149391025)、以该切片ID为中心而连续的之前的2个切片ID(CT149391023、CT149391024)、和之后的2个切片ID(CT149391026、CT149391027)。此外,在图21A中,在摘要图像4910中登记有5个切片ID,但这只不过是一例,登记在摘要图像4910中的切片图像的个数根据构成连续帧图像717(图51)的缩略图像的个数而变动。
图21B是表示局限性的相似病例数据4000的数据结构的第二例的图。图21B的相似病例数据4000与图21A不同之处在于,取代摘要图像4910而具备区域4940。区域4940表示成为对象的相似病例属于器官的哪个区域。因为图21B的相似病例属于肺的中叶,所以在区域4940中登记有“中叶”。在采用了图21B的构成的情况下,因为不需要存储切片ID,所以相似病例数据4000的制作变得容易。
(图像选择-相似病例检索)
接着,说明信息终端100与医用信息管理系统200和病例检索系统300协同工作而从读片作业开始起到开始相似病例检索为止的流程。
图23是表示信息终端100从医用信息管理系统200取得了诊断对象病例之后,对病例检索系统300进行相似病例检索的请求,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。此外,在图23中,时序图的左侧所示的2列的矩形表示通过相应的步骤的处理而显示于显示器101a、101b的画面。另外,在图23中,信息终端的“A”表示医用信息管理应用,“B”表示相似病例检索应用。设为在该时序开始前预先启动了医用信息管理应用。
首先,信息终端100通过操作部102受理用户(进行读片的医生)的成为读片对象的检查列表的显示请求,通过输入控制部103以及通信控制部110,向医用信息管理系统200的通信控制部206发送检查列表的显示请求(S510)。
医用信息管理系统200的患者信息管理部202在实施了图像检查后使未结束读片的检查列表化,生成成为读片对象的检查列表。然后,患者信息管理部202通过通信控制部206,将所生成的检查列表发送到信息终端100的通信控制部110(S520)。在此,在检查列表中包括相应患者的患者信息1000以及检查信息1800。
信息终端100的显示控制部104将由通信控制部110接收到的检查列表显示于显示器101(S530)。
该情况下,在显示器101a显示检查列表,在显示器101b没有任何显示。
图24是检查列表的画面图。检查列表包括表示未结束读片的检查的区域800和表示与检查所包含的序列相关的信息的区域810。在区域800,设有“患者ID”、“患者姓名”、“检查日期时间”、“检查ID”以及“检查类型”的栏。在“患者ID”、“患者姓名”的栏,显示登记在患者信息1000中的患者ID1100以及姓名1200,在“检查日期时间”、“检查ID”以及“检查类型”的栏,显示登记在检查信息1800中的检查日期时间1820、检查ID1810以及检查类型1830。区域810是用于显示用户在区域800选择的检查的详细内容的区域,设有“序列ID”、“定义”以及“图像”的栏。在此,由于在区域800中用户没有选择检查(与行对应),所以在区域810没有任何显示。
用户从区域800所显示的检查中选择现在开始进行读片的检查。当由输入控制部103检测到该选择时,如图23所示,通信控制部110将选择出的检查的检查ID所包含的全部序列的显示请求发送给医用信息管理系统200(S540)。
当医用信息管理系统200的通信控制部206接收到该显示请求时,患者信息管理部202参照图18A所示的医用图像数据库2000,取得显示请求指定的检查ID所包含的全部序列的全部切片图像,通过通信控制部206发送到信息终端100(S550)。例如,在图18A的例子中,当由用户选择了检查ID“13227989”的检查时,在S550中发送序列ID“CT149123”、“CT149124”的序列所包含的全部切片图像。
当信息终端100的通信控制部110取得全部序列的图像时,显示控制部104将序列列表显示于区域810,所述序列列表一览显示与指定的检查ID所包含的全部序列相关的信息(S560)。
该情况下,在显示器101a所显示的检查列表的区域810,显示与在区域800选择出的检查对应的序列的序列列表,在显示器101b没有任何显示。
图25是选择了检查之后的检查列表的画面图。对在图25的区域800中选择出的行的背景标亮。在图25的例子中,在区域800中,选择了第2行的“巴拿太郎”的检查。因此,在区域810,显示关于所选择出的检查的“序列ID”、“定义”以及“图像”。在此,在“序列ID”的栏,显示在医用图像数据库2000中与所选择出的检查的检查ID关联的序列ID,在“图像”的栏显示代表所显示的序列ID的1张切片图像的缩略图像。在此,作为代表序列ID的1张切片图像,采用预定的切片位置的图像。作为预定的切片位置,既可以是开头的切片位置,也可以是中央的切片位置。“定义”表示与相应的序列对应的拍摄条件和/或重构的条件。对于该“定义”,虽然省略了图示,但例如可在图18A的医用图像数据库2000中与序列ID关联地进行登记。
当在区域810中由用户选择读片对象的序列,并由输入控制部103检测到该选择时,显示控制部104如图49所示将所选择出的序列的开头的切片图像显示于显示器101a(S570)。图49是表示由用户选择了序列时显示于显示器101a的切片图像的图。图49是表示胸部CT拍摄的开头的切片图像的图,是比肺尖部稍稍偏向头方向的肩位置的切片图像。在此,显示控制部104将所选择出的序列的全部切片图像以能够切换序列的状态显示于显示器101a。此外,在显示器101b没有任何显示。例如,通过用户在显示器101a上定位鼠标光标并输入使鼠标滚轮旋转的切换切片的操作,输入控制部103检测到该操作。于是,显示控制部104根据鼠标滚轮的旋转量,将显示在显示器101a的切片图像切换为其他的切片位置的切片图像。用户一边输入切换切片的操作,一边进行图像诊断。然后,用户在对图像诊断产生疑惑的情况下,启动相似病例检索应用。
在此,相似病例检索应用既可以在操作部102的键盘输入预先设定的快捷键来启动,也可以通过鼠标的右键点击来显示医用图像查看器的菜单,从该菜单中指定相似病例检索菜单来启动。当指示了相似病例检索应用的启动时,信息终端100的管理交付给ROI管理部105,信息终端100成为等待接收关心区域(ROI)的等待状态。
用户通过操作部102对显示于显示器101a的切片图像上的病变设定关心区域(ROI)(S580)。在此,用户如图22所示,例如左键点击鼠标来输入关心区域的左上的顶点的坐标。并且,用户通过在左键点击的状态下向右斜下方向拖拽鼠标并解除左键点击来输入关心区域的右下的顶点即可。图26是对病变设定了关心区域之后的画面的一例。
当输入控制部103检测到设定关心区域的操作时,ROI管理部105从输入控制部103受理关心区域的左上以及右下的顶点的坐标数据,生成所受理的坐标数据作为关心区域信息。然后,ROI管理部105将所生成的关心区域信息发送到通信控制部110(S590)。
同时,ROI管理部105将诊断对象病例的切片图像发送到通信控制部110(S600)。该情况下,在S550中,信息终端100发送从医用信息管理系统200受理的全部序列的切片图像中的在用户选择出的序列中由用户设定了关心区域的1张切片图像(检索查询图像)。
接着,通信控制部110受理从ROI管理部105发送的关心区域信息,并发送到病例检索系统300的通信控制部304(S601)。
同时,通信控制部110受理从ROI管理部105发送的切片图像,并发送到病例检索系统300的通信控制部304(S602)。
在此,在S600、S601中,设为了发送切片图像本身,但也可以仅发送切片图像的切片ID。该情况下,接收到切片ID的病例检索系统300指定该切片ID来从医用信息管理系统200取得切片图像即可。
(相似病例检索-初始显示)
接着,说明病例检索系统300进行相似病例检索,直到信息终端100初始显示相似病例检索结果为止的处理。
图27是表示病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端100为止的处理的时序图。
病例检索系统300的图像特征提取部302从对检索查询图像设定的关心区域提取预先设定的多个维度的图像特征(S610)。
作为“图像特征”,可以采用医用图像中的与脏器或病变部分的形状相关的图像特征、或者与辉度分布相关的图像特征等。例如,在非专利文献:“根本,清水,萩原,小畑,绳野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案(基于从大量特征量进行的特征选择的乳房X射线像上的肿瘤影辨别精度的改善和高速的特征选择法的提案)”、电子信息通信学会论文志D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”中,记载了使用490维的图像特征。在本实施方式中,例如采用该非专利文献所记载的图像特征。但是,这只不过是一例,也可以采用其他的图像特征。
相似病例检索部303对由图像特征提取部302提取出的图像特征与相似病例数据存储部301所存储的各相似病例的图像特征进行比较(S620)。在此,相似病例检索部303通过算出从检索查询图像提取出的图像特征数据与在相似病例数据存储部301中按相似病例存储的相似病例数据4000(图20)所登记的图像特征数据4400之间的距离,对两个图像特征进行比较。
接着,相似病例检索部303将距离为预定的阈值以下的相似病例按距离从小到大的顺序进行排序,并决定为发送对象的相似病例(S630)。接着,通信控制部304发送相似病例数据存储部301所存储的相似病例数据4000中的发送对象的相似病例的相似病例数据40000(S640)。
以下,执行生成显示有相似病例检索结果的初始的基本画面K2(图6)的处理。首先,对在初始的基本画面K2中生成布局区域720时所使用的管理信息进行说明。
首先,病例检索系统300的通信控制部304将布局信息发送到信息终端100(S650)。在此,布局信息是指定构成布局区域720的显示框的行数、列数的信息。
接着,当信息终端100的通信控制部110接收到布局信息时,显示框管理部106将所发送来的布局信息指定的显示框的行数以及列数登记在显示框管理信息4410(图37)中,并且将检索查询图像的切片ID登记在显示框管理信息(图37)中(S660)。
图37是表示显示框管理信息4410的数据结构的图。在显示框管理信息4410中,包括登记行数以及列数的表4411和登记各显示框所显示的切片图像的切片ID的表4412。因此,显示框管理部106将从病例检索系统300发送来的布局信息指定的行数以及列数登记在表4411的行数以及列数的栏中。另外,在本实施方式中,在4个显示框721~724中的左上的显示框721显示检索查询图像的缩略图像。因此,显示框管理部106将从医用信息管理系统200发送来的检索查询图像的切片ID登记在表4412的第1行第1列的项目中。
在此,构成布局区域720的显示框的行数以及列数的默认值通过病例检索系统300预先设定。在此,行数以及列数的默认值例如为2行以及2列。因此,在图37所示的显示框管理信息4410中登记“2行2列”。
接着,使用通过S640发送的相似病例数据以及通过S660保存的显示框管理信息4410,显示控制部104生成显示有相似病例检索结果的初始的基本画面K2(S670)。
该情况下,在显示器101b显示图6所示的基本画面K2。另外,在显示器101a显示有检索查询图像。
图28是表示图27的S670所示的生成初始的基本画面K2的处理的详细内容的流程图。
首先,在S1000中,显示控制部104对在图27的S640中接收到的相似病例数据的数量进行计数,将计数值显示于检索结果件数显示区域713。
接着,在S1100中,显示控制部104在显示条件显示区域714显示为“全部疾病”。在此,显示为“全部疾病”是因为在初始的基本画面K2中用户没有实施以病名和/或病变分布的筛选。
接着,在S1200中,显示控制部104按与通过图27的S640接收到的相似病例数据对应的相似病例中的、在病例显示区域710能够显示缩略图像的相似病例的件数,将相似病例的缩略图像显示于病例显示区域710,并且与各缩略图像关联地显示确诊(确定诊断)以及相似度。
能够显示在病例显示区域710的相似病例的件数的最大值在图6的例子中为20。该最大值被预先设定。另外,也可以设为该最大值能够由用户自如变更的构成。在图27的S640中接收到的相似病例数据的数量比最大值多的情况下,显示控制部104在病例显示区域710的右端显示沿纵向为长条的滚动条715。由此,用户使滚动条715移动,能够阅览在初始的基本画面K2非显示的相似病例的缩略图像。
接着,在S1300中,生成病名列表并进行显示。首先,根据在图27的S640中接收到的相似病例数据,生成病名列表。病名列表是按确诊病名对与通过S640接收到的相似病例数据对应的相似病例进行了分类而得到的列表。
在此,在S640中接收到的相似病例数据的件数设为NC件。病名列表管理部108使用在NC件相似病例数据4000分别登记的确诊(大分类病名)4700以及确诊(详细分类病名)4800,生成病名列表。所生成的病名列表,如图30所示作为表形式的数据由病名列表管理部108进行管理。
图30是表示在图28的S1300中生成的病名列表的数据结构的图。在病名列表中,包括“病名ID”、“大分类病名”、“详细分类病名”、“件数”以及“相似病例ID”的栏。“病名ID”是按确诊病名而赋予的标识符。在此,对大分类病名和详细分类病名的一个组合赋予一个病名ID。
“大分类病名”是登记在相似病例数据4000中的确诊(大分类病名)4700所表示的确诊病名。“详细分类病名”是登记在相似病例数据4000中的确诊(详细分类病名)4800所表示的确诊病名。“件数”是与“病名ID”所表示的确诊病名相应的相似病例的件数。“相似病例ID”是表示与“病名ID”所表示的病名相应的相似病例的相似病例ID。
病名列表管理部108针对在S640中接收到的全部相似病例数据4000,提取确诊(大分类病名)4700以及确诊(详细分类病名)4800,将两者相同的相似病例数据4000作为相同的确诊病名的相似病例进行分类。并且,病名列表管理部108对确诊病名相同的相似病例的件数进行计数,并登记在相应的确诊病名的记录的“件数”的栏中。另外,病名列表管理部108将分类到相同的确诊病名的相似病例的相似病例ID登记到相应的确诊病名的记录的“相似病例ID”的栏中。
在图30的例子中,对大分类病名为“肿瘤性”且详细分类病名为“原发性肺癌”的确诊病名赋予病名ID“DIS528”。并且,由于与该确诊病名相应的相似病例的件数为10件,所以在相应的记录的“件数”的栏登记10,与该确诊病名相应的相似病例的相似病例ID“SIM258”、“SIM551”、“SIM1209”以及“SIM2341”等登记在相应的记录的“相似病例ID”的栏中。
并且,显示控制部104使用如此生成的病名列表来生成病名列表显示区域730,并显示于显示器101。
图31、图32、图33分别表示病名列表显示区域730的第1显示例、第2显示例、第3显示例的图。如图31所示,在第1显示例中,相似病例检索的结果所得到的相似病例,按详细分类病名的件数从多到少的顺序与件数关联地被一览显示。
如图32所示,在第2显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数关联地被一览显示。
如图33所示,在第3显示例中,相似病例检索的结果所得到的相似病例,按大分类病名的件数从多到少的顺序与件数地关联被一览显示,并且,按大分类病名,其中所包含的详细分类病名按件数从多到少的顺序与件数关联地被一览显示。该情况下,确诊病名由大分类病名和详细分类病名的分层构造来表现。
图34是表示图32所示的病名列表显示区域730的画面转换的图。如图34的上部所示,当输入控制部103检测到一览显示的大分类病名中的一个大分类病名被用户选择的操作时,显示控制部104如图34的下部所示,将属于所选择出的大分类病名的详细分类病名按件数从多到少的顺序与件数关联地进行显示。在此,用户例如通过对在病名列表显示区域730中一览显示的大分类病名中的所希望一个大分类病名进行例如双击或者单击来选择一个大分类病名即可。在图34的例子中,由于非肿瘤性被双击,所以属于非肿瘤性的详细分类病名被一览显示。
在图34的下部,当一览显示有详细分类病名的区域被用户双击或者单击时,显示控制部104使显示在相应区域的详细分类病名非显示即可。
此外,显示控制部104通过参照病名列表(图30)来判定属于大分类病名的详细分类病名即可。例如,在图30的例子中,由于对真菌病关联了曲霉病以及隐球菌病,所以显示控制部104判断为曲霉病以及隐球菌病属于真菌病即可。
返回到图28,在S1400中,生成分布列表并进行显示。首先,根据在S640中接收到的相似病例,生成分布列表。分布列表是将在S640中接收到的相似病例按病变分布进行分类而得到的列表。
病名列表管理部108使用在NC件相似病例数据4000分别登记的病变分布信息4600来生成分布列表。所生成的分布列表,如图35所示作为表形式的数据由分布列表管理部109进行管理。
图35是表示在图28的S1400中生成的分布列表的数据结构的图。在分布列表中,包括“分布名”、“病例数”以及“相似病例ID”的栏。“分布名”是弥漫性、区域性这样的预先设定的多个病变分布的名称。“病例数”是与病变分布相应的相似病例的件数。“相似病例ID”是表示与病变分布相应的相似病例的相似病例ID。
分布列表管理部109针对在S640中接收到的全部相似病例数据4000,提取病变分布信息4600,对在所提取出的病变分布信息4600中对分布标记值设定了1(符合)的病变分布的数量进行计数,将计数值登记在相应的病变分布的记录的“病例数”的栏中。另外,分布列表管理部109将对分布标记值设定了1的相似病例的相似病例ID登记在相应的病变分布的记录的“相似病例ID”的栏中。
在图35的例子中,由于符合弥漫性的相似病例的件数为3件,所以在弥漫性的记录的“病例数”的栏中登记有3。另外,符合弥漫性的相似病例的相似病例ID“SIM2521”、“SIM4123”以及“SIM5225”登记在弥漫性的记录的“相似病例ID”的栏中。
然后,显示控制部104使用如此生成的分布列表来生成分布列表显示区域750,并显示于显示器101。
使用图35所示的分布列表而生成的分布列表显示区域750为图11。在图35中,由于区域性以及胸膜下的病例数为0,所以在图11中,区域性752以及胸膜下756以非激活状态显示,对于除此以外的病变分布,由于病例数为1个以上,所以以激活状态进行显示。
返回到图28,在S1500中,显示布局区域720。该处理通过显示控制部104来进行。
图29是表示图28所示的S1500的处理的流程图。在S1510中,显示控制部104从在S660中设定的显示框管理信息4410取得构成布局区域720的显示框的行数以及列数。在图37的显示框管理信息4410的例子中,由于作为行数以及列数设定了2行2列,所以取得“2行2列”这一信息。
接着,在S1520中,显示控制部104按照在S1510中取得的显示框的行数以及列数来描画显示框。
最后,在S1530中,显示控制部104根据显示框管理信息4410来确定各显示框的切片ID,使与所确定出的切片ID对应的缩略图像描画在对应的各显示框内。
在图37的例子中,在第1行第1列的显示框保存有诊断对象病例的切片ID。因此,显示控制部104根据在图23的S600中发送来的诊断对象病例的切片图像来生成缩略图像,使所生成的缩略图像描画在显示框721。
在该阶段,由于在剩余的显示框(第1行第2列、第2行第1列、第2行第2列的显示框722、723、724)没有保存切片ID,所以显示控制部104在这些显示框不进行任何显示。在这些显示框,将会通过后述的处理来显示相似病例的缩略图像。
返回到图27,通信控制部110将保存在显示框管理部106中的显示框管理信息4410发送到显示控制部104(S680)。
接着,显示控制部104以与布局区域720的显示状态以及布局相同的显示状态以及布局来启动医用图像查看器(S690)。
图38是表示医用图像查看器的启动处理的流程图。
在S2000中,显示控制部104关闭通过图23的S570启动的医用图像查看器。
在S2100中,显示控制部104以登记在显示框管理信息4410中的行数以及列数的布局启动与登记在显示框管理信息4410中的显示框相当的量的医用图像查看器。在图37的显示框管理信息4410中,以2行×2列登记有4个显示框。由此,显示控制部104如图5所示,以2行×2列的方式启动4个医用图像查看器610~640。
在S2200中,显示控制部104对用于确定成为处理对象的医用图像查看器的变量进行初始化。在此,由于第1行第1列的医用图像查看器设为了处理对象,所以该变量被设置为1行1列。
在S2300中,显示控制部104检查对于全部(在此为4个)医用图像查看器的处理是否结束。如果已经处理(S2300中“是”),则结束处理,如果存在未处理的医用图像查看器(S2300中“否”),则处理进入S2400。
在S2400中,显示控制部104将具有与作为变量而设置的行数以及列数关联的切片ID的切片图像显示于处理对象的医用图像查看器,并且使包含该切片ID的序列与医用图像查看器关联。
例如,在图37所示的显示框管理信息4410的例子中,在第1行第1列登记有切片ID“CT12353515”。由此,切片ID“CT12353515_1”显示于医用图像查看器610。另外,显示控制部104使表示对初始显示的切片图像设定的关心区域的矩形重叠描画于该切片图像。此外,包含登记在第1行第1列的切片ID的序列,已经通过图23的S550而取得。另外,关心区域已经通过图23的S580而设定。
返回到图38,在S2500中,将下一个医用图像查看器设定为处理对象的医用图像查看器。以第1行第1列的下一个例如是第1行第2列、再下一个是第2行第1列、再下一个是第2行第2列的方式设定处理对象。
在第2个循环的S2400中,第1行第2列的医用图像查看器620成为处理对象,但在图37的显示框管理信息4410中,在第1行第1列以外没有关联切片ID。因此,显示控制部104对第1行第2列的医用图像查看器不执行任何处理,维持空的状态。这对于第2行第1列、第2行第2列的医用图像查看器630、640也是同样的。
在该流程图结束的状态下,在显示器101a显示图5所示的初始状态的基本画面K1。在第1行第1列(左上)的医用图像查看器610显示检索查询图像,在其上重叠地描画关心区域。
在此,示出了病例检索系统300提取图像特征的例子,但也可以由信息终端100提取图像特征。图39是在采用了信息终端100提取图像特征的方式的情况下的信息终端100、医用信息管理系统200以及病例检索系统300的框图。
与图2不同之处在于:在信息终端100追加了图像特征提取部113;以及从病例检索系统300删除了图像特征提取部302。
图40是表示在信息终端100从医用信息管理系统200取得了诊断对象病例之后,直到病例检索系统300受理相似病例检索的请求为止的处理的时序图。
与图23不同之处在于:在ROI管理部105将诊断对象病例的切片图像发送到通信控制部110的处理(S600)之后,通过信息终端100进行图像特征的提取(S603),将所提取出的图像特征发送到病例检索系统300(S604)。图像特征的提取(S604)的处理内容与通过病例检索系统300提取图像特征的情况同样。
图41是表示在病例检索系统300受理了相似病例检索的请求之后,直到将相似病例检索结果返回到信息终端100为止的处理的时序图。与图27不同之处在于:由于在信息终端100侧进行图像特征的提取,所以在图41中,省去了图27中的图像特征的提取(S610)。
接着,对以应用的级别观察图23、图27的时序图时的信息终端100、医用信息管理系统200以及病例检索系统300的处理进行说明。图42是以应用的级别观察图23以及图27的时序图时的时序图。在图42中,对于与图23相同的处理标注相同的附图标记。
在图42中,“A”表示信息终端100执行的医用信息管理应用的处理,“B”表示信息终端100执行的相似病例检索应用的处理。以下,将医用信息管理应用记述为“应用A”,将相似病例检索应用记述为“应用B”。
首先,应用A从用户受理成为读片对象的检查列表的显示请求,并发送到医用信息管理系统200(S510)。医用信息管理系统200在接收到检查列表的显示请求时,将实施图像检查后未结束读片的检查列表化,生成成为读片对象的检查列表,并发送到应用A。
接收到检查列表的应用A,如图24所示,将检查列表显示于显示器101,当由用户从检查列表中选择了一个检查时(S530),将所选择出的检查的显示请求发送到医用信息管理系统200(S540)。
接收到检查的显示请求的医用信息管理系统200将显示请求所指定的检查ID所包含的全部序列的全部切片图像发送到应用A(S550)。
接着,应用A如图25所示,显示对与指定的检查ID所包含的全部序列相关的信息进行一览显示的序列列表(S560)。
接着,在由用户从序列列表中选择了读片对象的序列时,应用A将所选择出的序列的最开始的切片位置的切片图像显示于医用图像查看器610(S570)。此时,用户输入进行切换切片的操作,使所希望的切片图像显示于医用图像查看器610。
接着,应用A从用户受理在医用图像查看器610所显示的切片图像中设定关心区域的操作(S580)。
接着,应用A生成表示由用户设定的关心区域的关心区域信息,与设定了关心区域的切片图像(诊断对象病例的切片图像)一起发送到应用B(S590、S600)。
接着,应用B在接收到诊断对象病例的切片图像以及关心区域信息时,将该切片图像以及关心区域信息发送到病例检索系统(S601,S602)。
当接收到切片图像以及关心区域信息时,病例检索系统300与图27同样地执行S610~S640的处理。
接着,应用B使用通过S640发送的相似病例数据以及显示框管理信息4410来生成初始的基本画面(S670)。然后,应用B执行图28中详细示出的S670的处理。
(初始显示-缩略图选择)
接着,说明在将相似病例检索结果初始显示于信息终端100之后、直到用户在信息终端100选择相似病例检索结果的缩略图像并显示与所选择出的缩略图像对应的摘要图像为止的处理的流程。
图53是表示在将相似病例检索结果初始显示于信息终端100之后、直到显示与由用户选择出的缩略图像对应的摘要图像为止的处理(摘要图像生成处理)的流程的流程图。
(S5301)
摘要图像生成部112从显示于病例显示区域710的相似病例的缩略图像中,取得用户选择出的缩略图像的相似病例ID4100。
(S5302)
摘要图像生成部112根据通过S5301取得的相似病例ID4100,参照用户选择出的缩略图像的相似病例数据4000,取得病变属性4900。
(S5303)
如果通过S5302取得的病变属性4900表示局限性病变(S5303:是),则摘要图像生成部112使处理进入S5340,如果通过S5302取得的病变属性表示弥漫性病变(S5303:是),则摘要图像生成部112使处理进入S5306。
(S5304)
摘要图像生成部112使用通过S5301取得的相似病例ID4100和通过S5302取得的病变属性4900来生成连续帧图像717,使处理进入S5305。
下面示出具体的连续帧图像717的生成方法。
(连续帧图像的生成方法1)
连续帧图像的生成方法1是使用登记在相似病例数据4000的摘要图像4910中的切片ID来生成连续帧图像717的方法。该情况下,作为相似病例数据4000,采用图21A所示的相似病例数据4000即可。摘要图像生成部112参照与通过S5301取得的相似病例ID4100对应的相似病例数据4000,取得登记在摘要图像4910中的切片ID,从医用信息管理系统200取得与所取得的切片ID对应的缩略图像。然后,摘要图像生成部112使用所取得的缩略图像来生成连续帧图像717。
此外,医用信息管理系统200既可以事先制作成为管理对象的全部切片ID的缩略图像,也可以在从摘要图像生成部112接收到与切片ID对应的缩略图像的取得请求时生成与该切片ID对应的缩略图像。并且,医用信息管理系统200将与产生了取得请求的切片ID对应的缩略图像发送给信息终端100即可。这在以下所示的连续帧图像的生成方法以及代表图像的生成方法中也是同样的。
在此,在图21A所示的相似病例数据4000的摘要图像4910中,登记有对从局限性病变的一端到另一端进行连续显示的切片图像的切片ID。因此,在连续帧图像717中包含与从局限性病变的一端到另一端的切片图像对应的缩略图像。由此,通过连续显示连续帧图像717,连续显示表示从局限性病变的一端到另一端的缩略图像,连续显示异常阴影部分的图像。其结果是,用户能够确认病变部的三维形状和病变部是否沿着血管以及支气管的方向存在这样的、局限性病变的诊断所需要的信息。
也可以随着包含在与一个序列ID对应的多个切片ID中的切片ID所包含的数值增大,使得由各切片ID确定的切片图像的断层面向患者身体的一个方向移动。
虽然缩略图像与患者身体的断层面的图像即切片图像对应,但显示缩略图像的顺序也可以与如下顺序相同,该顺序是随着与切片图像对应的切片ID所包含的数值增大、使得与各切片ID对应的切片图像的断层面向患者身体的一个方向移动的顺序。
(连续帧图像的生成方法2)
连续帧图像的生成方法2是通过取得包含用户选择出的缩略图像在内的前后预定数量的缩略图像来生成连续帧图像717的方法。摘要图像生成部112参照与通过S5301取得的相似病例ID4100对应的相似病例数据4000,取得包含切片ID4200表示的缩略图像在内的前后预定数量的缩略图像。
图54是由摘要图像生成部112进行的前后预定数量的缩略图像的取得处理的概念图。在图54的例子中,用户选择出的缩略图像的切片ID表示构成同一序列的全部切片的第p张切片图像。该情况下,预先设定的前后预定数量(th)的切片图像成为从第p-th张到第p+th张的切片图像。该情况下,摘要图像生成部112指定与从第p-th张到第p+th张的切片图像对应的切片ID,并将缩略图像的取得请求发送给医用信息管理系统200即可。然后,医用信息管理系统200将从第p-th张到第p+th张的缩略图像发送给信息终端100即可。
在采用连续帧图像的生成方法2的情况下,能够从图21A所示的相似病例数据4000中去掉摘要图像4910栏,能够降低相似病例数据4000的制作负担。其结果是,能够提高相似病例数据4000的制作作业的效率,能够使相似病例数据4000的数据数增大,可期待读片精度的进一步提高。
(连续帧图像的生成方法3)
连续帧图像的生成方法3是使用包含病变区域的器官的区域内的全部缩略图像来生成连续帧图像717的方法。图56是表示局限性的相似病例数据4000的数据结构的第三例的图。在图56中,相似病例数据4000相对于图21A的相似病例数据4000,取代摘要图像4910而具备器官内区域4920。
器官内区域4920存储相应的相似病例数据4000所属的序列的各区域的切片ID的范围。在图56的例子中,器官内区域4920包括“上叶”栏、“中叶”栏、“下叶”栏。各个栏存储各区域(肺野)的切片ID的范围。
摘要图像生成部112根据图56所示的登记在切片ID4200中的切片ID和登记在器官内区域4920中的切片ID的范围,判定登记在切片ID4200中的切片ID属于器官内的哪个区域。在图56的例子中,登记在切片ID4200中的“CT149391025”处于“CT149391021-CT149391031”的范围内。因此,摘要图像生成部112判定为该相似病例为“中叶”。
然后,摘要图像生成部112指定登记在“中叶”中的切片ID的范围“CT149391021-CT149391031”,将属于该范围的缩略图像的取得请求发送给医用信息管理系统200。医用信息管理系统200在接收到缩略图像的取得请求时,将属于所指定的切片ID的范围的缩略图像发送给信息终端100。然后,摘要图像生成部112使用所发送的缩略图像来生成连续帧图像717。
对于连续帧图像的生成方法3,因为不显示病变部所属的区域以外的区域的缩略图像,所以能够有助于高效地提高诊断精度。
(S5305)
显示控制部104将通过S5304生成的连续帧图像717显示于病例显示区域710,结束处理。作为显示方法,例如如图51所示,可以采用在用户选择出的缩略图像716的显示区域716a对通过步骤S5304生成的连续帧图像717进行动态图像显示的方法。具体而言,显示控制部104通过将构成连续帧图像717的缩略图像按切片ID从小到大的顺序以一定的帧速率在显示区域716a内进行切换显示,由此对连续帧图像717进行动态图像显示。
(S5306)
摘要图像生成部112使用通过S5301取得的相似病例ID4100和通过S5302取得的病变属性4900来生成代表图像718,使处理进入S5307。
(代表图像的生成方法1)
代表图像的生成方法1是使用登记在相似病例数据4000的摘要图像4910中的切片ID来生成代表图像718的方法。该情况下,作为相似病例数据4000,采用图20所示的相似病例数据4000即可。摘要图像生成部112参照与通过S5301取得的相似病例ID4100对应的相似病例数据4000,取得登记在摘要图像4910中的切片ID。
在图20的相似病例数据4000的例子中,在摘要图像4910中,登记有代表上叶、中叶、下叶各自的肺野的切片图像的切片ID。因此,摘要图像生成部112指定登记在摘要图像4910中的3个切片ID,将缩略图像的取得请求发送给医用信息管理系统200,由此取得与这3个切片ID对应的缩略图像,基于所取得的缩略图像来生成代表图像718。
由此,如图52所示,在病例显示区域710对代表各肺野的3个代表图像718进行一览显示。
对于代表图像的生成方法1,因为对器官内的各区域的代表图像718进行一览显示,所以能够省掉不需要的病变区域的显示。其结果是,用户能够简单地掌握在诊断弥漫性病变时所需的病变的感染区域。
(代表图像的生成方法2)
代表图像的生成方法2是通过以预定间隔对与用户选择出的缩略图像对应的相似病例所属的序列进行采样来生成代表图像718的方法。图57是由摘要图像生成部112进行的采样处理的概念图。该情况下,作为相似病例数据4000,例如采用图55所示的相似病例数据4000。图55是表示弥漫性的相似病例数据4000的第二例的数据结构的图。
如图57所示,摘要图像生成部112将与用户选择出的缩略图像对应的相似病例所属的序列SR分割成三部分。在此,摘要图像生成部112通过将图55所示的登记在相似病例数据4000的器官内区域4920中的从开头的切片ID“CT149391000”到最后的切片ID“CT149391055”为止的切片ID分割成三部分,由此将序列SR分割成三部分。
在图57的例子中,序列SR被分割成区域p1、p2、p3。此外,区域p1、p2、p3分别对应于上叶、中叶、下叶。在此,摘要图像生成部112按预先确定的比例将序列SR分割成三部分即可。作为预先确定的比例,可以为区域p1:p2:p3=1:1:1,也可以采用考虑了各区域的通常大小的比例。
接着,摘要图像生成部112决定区域p1、p2、p3各自的中心位置m1、m2、m3的切片ID。然后,摘要图像生成部112指定所决定出的3个切片ID,将由这3个切片ID表示的切片图像的取得请求发送给医用信息管理系统200。由此,摘要图像生成部112取得各肺野的代表图像718。
对于代表图像的生成方法2,不需要将表示器官内的病变部分的代表图像登记于相似病例数据4000的作业,能够提高制作相似病例数据4000时的作业效率。因此,相似病例数据4000的数据数增大,可期待读片精度的进一步提高。
此外,在采用代表图像的生成方法2的方法的情况下,在图55所示的相似病例数据4000中,也可以省去器官内区域4920。该情况下,摘要图像生成部112指定用户选择出的相似病例数据4000的切片ID,将各肺野的代表图像的取得请求发送给医用信息管理系统200即可。如果切片ID可知,则医用信息管理系统200通过参照图18A所示的医用图像数据库2000,能够决定该切片ID所属的序列。由此,医用信息管理系统200在接收到代表图像的取得请求时,使用上述的图57所示的方法来决定各肺野的代表图像并发送给信息终端100即可。
(代表图像的生成方法3)
代表图像的生成方法3是使用登记在图55所示的相似病例数据4000的器官内区域4920中的信息来取得用户选择出的缩略图像的各区域的代表图像的方法。摘要图像生成部112参照与通过步骤S5301取得的相似病例ID对应的相似病例数据4000,从在器官内区域4920中按各区域登记的切片ID的范围中选择一个切片ID,由此取得各区域的代表图像718的切片ID。在图55的例子中,在器官内区域4920中,登记有“CT149391000-CT149391020”作为上叶的切片ID的范围,登记有“CT149391021-CT149391031”作为中叶的切片ID的范围,登记有“CT149391032-CT149391055”作为下叶的切片ID的范围。因此,摘要图像生成部112在构成器官内区域4920的各区域中取得中央位置的切片ID,从医用信息管理系统200取得将该切片ID的缩略图像即可。
对于代表图像的生成方法3,因为显示了各区域的代表图像718,所以能够更简单地掌握病变的感染范围,能够有助于高效地提高诊断精度。此外,在代表图像的生成方法3中,摘要图像生成部112也可以从各区域决定一个以上的预定数量的缩略图像并作为代表图像718来显示。
(S5307)
显示控制部104将通过S5306生成的代表图像718显示于病例显示区域710,结束处理。作为显示方法,例如采用如图52所示在所选择出的缩略图像的下部一览显示代表图像718的方法即可。
如从S5301到S5307的处理所示,当用户从病例显示区域710选择一个缩略图像时,根据所选择出的缩略图像是局限性病变还是弥漫性病变来切换要提示的摘要图像。因此,即使在医用图像数据库2000中登记有庞大数量的医用图像,本公开也能够有效地将在对读片对象的医用图像进行诊断时成为参考的相似医用图像提示给医生。由此,本公开能够有助于诊断精度的提高。
(分布列表选择)
接着,对选择了图11所示的分布列表显示区域750所显示的病变分布时的处理进行说明。图43是表示选择了分布列表显示区域750所显示的病变分布时的处理的流程图。
在S2000中,当输入控制部103检测到从分布列表显示区域750所显示的病变分布(分布检查项目)中选择了任一个分布检查项目的操作时,显示控制部104判定所检测到的分布检查项目符合第1~第3分布信息的哪一个。在符合第1分布信息的情况下,处理进入S1301,在符合第2分布信息的情况下,处理进入S1302,在符合第3分布信息的情况下,处理进入S1303。
第1分布信息是用于使得选择一览显示在病例显示区域710中的相似病例的缩略图像中的、属于预定的第1范围的缩略图像的信息,所述预定的第1范围表示关心区域的大小相对于肺的区域而言是大范围这一情况。在此,作为第1分布信息,“两侧性”,“多发性”、“弥漫性”以及“血行性”是符合的。由此,作为第1范围,采用在对这些病变分布进行诊断时所设定的关心区域的大小所属的值域。
第2分布信息是用于使得选择一览显示在病例显示区域710中的相似病例的缩略图像中的、属于预定的第2范围(比第1范围小:第2范围的上限值为第1范围的下限值以下)的缩略图像,所述预定的第2范围表示与关心区域相当的区域的大小为肺区域的一部分这一情况。在此,作为第2分布信息,“气道性”和“区域性”是符合的。由此,作为第2范围,采用在对这些病变分布进行诊断时所设定的关心区域的尺寸所属的值域。
第3分布信息是用于使得选择一览显示在病例显示区域710中的相似病例的缩略图像中的、选择关心区域包含胸膜的缩略图像的信息。在此,作为第3分布信息,“胸膜下”是符合的。
在S1301中,显示控制部104从通过相似病例检索而得到的、且用户作为第1分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数(在本实施方式中为20件)以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ1。然后,显示控制部104将提取出的相似病例i(i为确定所提取出的相似病例的索引,为1以上的整数)的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2100、S1501的处理,直到i达到NZ1为止。显示控制部104每次执行S2100、S1501的处理时,使i递增一。若i超过NZ1(S1301:否),则处理结束。
在S2100中,显示控制部104算出关于相似病例i的与第1分布信息对应的第1放大率。在此,作为第1放大率,例如采用1.0。但是,这是一例,只要是使得对第1分布信息表示的病变分布进行诊断时所设定的关心区域的整个区域收敛在显示区域内的值,也可以采用1.0以外的放大率来作为第1放大率。
在S1501中,显示控制部104以相似病例i的第1放大率对相似病例i的缩略图像进行放大。
图44是表示选择了第1分布信息时的基本画面K2的图。在图44中,选择了两侧性。该情况下,相似病例中的仅病变分布符合两侧性的相似病例的缩略图像显示于病例显示区域710。另外,该情况下,由于放大率为1.0,所以在病例显示区域710中,以与刚刚得到相似检索结果之后所显示的缩略图像相同的显示方式显示有缩略图像。即,不以使关心区域ROI的中心位于显示区域6801的中心的方式调整缩略图像的显示位置且不进行放大地,显示缩略图像。
在S1302中,显示控制部104从通过相似病例检索而得到的、且用户作为第2分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ2。然后,显示控制部104将提取出的相似病例i的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2200、S1502的处理,直到i达到NZ2为止。显示控制部104每次执行S2200、S1502的处理时,使i递增一。若i超过NZ2(S1302:否),则处理结束。
在S2200中,显示控制部104使用在病例显示区域710中对一个缩略图像预先确定的显示区域的尺寸和相似病例i的关心区域信息,算出关于相似病例i的与第2分布信息对应的第2放大率。
在选择了第2分布信息的情况下,相似病例i被放大成使关心区域的尺寸成为显示区域的尺寸的1/2左右。因此,显示控制部104例如按下式来计算针对相似病例i的第2放大率ki。若将显示区域的面积设为Sd、将放大对象的相似病例i的缩略图像的关心区域的面积设为Si,则第2放大率ki可通过下式来算出。
ki=1/2(Sd/Si)
在S1502中,显示控制部104以第2放大率ki对相似病例i的缩略图像进行放大,以使缩略图像的关心区域的中心位于显示区域的中心的方式将缩略图像显示于病例显示区域710。
图45是表示选择了第2分布信息时的基本画面K2的图。在图45中,选择了气道性。该情况下,相似病例中的仅病变分布符合气道性的相似病例的缩略图像显示于病例显示区域710。另外,在病例显示区域710中,全部缩略图像都以第2放大率进行了放大,使得关心区域ROI的中心位于显示区域6901的中心。
在S1303中,显示控制部104从通过相似病例检索而得到的、且用户作为第3分布信息而选择出的病变分布的相似病例中,按相似度从高到低的顺序提取病例显示区域710的缩略图像的最大显示件数以下的相似病例,将提取出的相似病例的件数决定为放大对象的相似病例数NZ3。然后,显示控制部104将提取出的相似病例i的缩略图像决定为处理对象的缩略图像。然后,显示控制部104反复进行S2300、S1503的处理,直到i达到NZ3为止。显示控制部104每次执行S2300、S1503的处理时,使i递增一。若i超过NZ3(S1303:否),则处理结束。
在S2300中,显示控制部104使用在病例显示区域710中对一个缩略图像预先确定的显示区域的尺寸、相似病例i的关心区域信息和胸膜区域信息4930,算出与关于相似病例i的第3分布信息对应的第3放大率。
图48是表示追加了胸膜区域信息4930的相似病例数据4000的数据结构的图。图48所示的相似病例数据4000相对于图20所示的相似病例数据4000,追加了胸膜区域信息4930。该胸膜区域信息4930也可以追加到图21A、图21B、图55、图56所示的相似病例数据4000中。
此外,在相似病例数据4000中未登记胸膜区域信息4930的情况下,得不到胸膜区域信息4930。该情况下,显示控制部104将第3放大率设定为与第1放大率相同的值即1.0即可。在此,胸膜区域信息4930是在相似病例中表示胸膜区域的信息。
在S1503中,显示控制部104以第3放大率ki对相似病例i的缩略图像进行放大,以使缩略图像的关心区域的中心位于显示区域的中心的方式将缩略图像显示于病例显示区域710。
图47是说明胸膜区域7101的图。如图47所示,胸膜区域7101是包含胸膜的区域,且是中心位于关心区域ROI的中心且比关心区域ROI大少许尺寸的矩形形状的区域。在此,在胸膜区域信息4930中,包含胸膜区域7101的左上的顶点的坐标(xpl,ypt)和右下的顶点的坐标(xrp,ypb)这4个值。在选择了第3分布信息的情况下,对胸膜区域进行放大显示,因此显示控制部104通过下式来计算第3放大率ki。若将显示区域7102的面积设为Sd、将胸膜区域7101的面积设为Sp,则第3放大率ki可通过下式来算出。
ki=Sd/Sp
此外,可以在制作相似病例数据4000时,用户将胸膜区域信息4930与关心区域信息一起输入。或者,也可以通过图像处理装置从切片图像中自动地提取肺的区域并判定胸膜位置,由此自动地制作胸膜区域信息4930。
图46是表示选择了第3分布信息时的基本画面K2的图。在图46中,选择了胸膜下。该情况下,相似病例中的仅病变分布符合胸膜下的相似病例的缩略图像显示于病例显示区域710。另外,在病例显示区域710中,全部缩略图像都以第3放大率进行了放大,使得关心区域ROI的中心位于显示区域7001的中心。
通过以上的处理,在病例显示区域710,以反映了与病变分布相关的诊断内容的放大率显示缩略图像。并且,在病例显示区域710中,以使关心区域的尺寸一致的方式显示缩略图像。因此,能够防止发生关心区域在一部分的相似医用图像中由于以很小的状态被放大而被漏掉的事态,能够实现诊断精度的提高。进而,不是对通过相似病例检索而得到的全部相似病例而是仅对在病例显示区域710显示的相似病例进行放大处理,因此能大幅减轻对系统的负荷。
此外,在本实施方式中,主体上使用了肺的医用图像,但本公开并不限定于此,也可以适用于心脏、胃、胰脏等其他器官的医用图像。
另外,在图51中,连续帧图像717在显示区域716a内进行了动态图像显示,但本公开并不限定于此,也可以在基本画面K22中在另行设置的显示区域内进行动态图像显示。另外,在图52中,代表图像718重叠显示于病例显示区域710,但也可以显示于基本画面K2内的其他的显示区域。
另外,显示控制部104也可以在连续帧图像717的最后的帧结束显示时返回到最初的帧,继续反复进行连续帧图像717的动态图像显示。
另外,显示控制部717也可以在连续帧图像717的动态图像显示期间由输入控制部103检测到点击连续帧图像717时,在被点击的部位使动态图像显示停止,使点击时显示的缩略图像停住显示。由此,用户能够使构成连续帧图像717的缩略图像中的想要细致观察的缩略图像停住显示。
根据本公开,能够利用于提示在使用作为读片对象的医用图像进行诊断时成为参考的相似病例的相似病例检索装置以及实习读片医生用的读片教学装置等。
标号说明
100信息终端;101显示器;101a显示器;101b显示器;102操作部;103输入控制部;104显示控制部;105ROI管理部;106显示框管理部;108病名列表管理部;109分布列表管理部;110通信控制部;112摘要图像生成部;113图像特征提取部;206通信控制部;300病例检索系统;301相似病例数据存储部;302图像特征提取部;303相似病例检索部;304通信控制部;400网络;K1基本画面;K2基本画面;710病例显示区域;715滚动条;716缩略图像;717连续帧图像;718代表图像;720布局区域;730病名列表显示区域;2000医用图像数据库;4000相似病例数据;4100相似病例ID;4300关心区域信息;4400图像特征数据;4500缩略图像数据;4600病变分布信息;4700确诊(大分类病名);4800确诊(详细分类病名);4900病变属性;4910摘要图像。
Claims (10)
1.一种信息终端的控制方法,所述信息终端与病例检索系统连接并具有显示器,所述病例检索系统参照登记医用图像的医用图像数据库来检索医用图像,所述控制方法使所述信息终端的计算机执行如下处理:
从所述病例检索系统接收包括与多个相似医用图像对应的多个图像的多个数据,所述多个相似医用图像与读片对象的医用图像即对象医用图像具有预定的相似度;
所述多个相似医用图像分别是通过断层摄影法拍摄的、且沿着第1方向排列的图像组内的一个医用图像;
在与所述多个数据分别对应的对应信息中,设定有弥漫性病变或局限性病变的识别信息;
在设定有所述弥漫性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的其他的多个医用图像;
在设定有所述局限性病变的识别信息的对应信息中,还附加有沿着所述第1方向排列的图像组中的包含所述局限性病变的多个医用图像;
使包含第1显示区域的显示画面显示于所述显示器,所述第1显示区域对所述多个相似医用图像进行缩略显示;
检测从缩略显示于所述第1显示区域的所述多个相似医用图像中选择出的一个相似医用图像;
在所述选择出的一个相似医用图像为弥漫性病变的情况下,使所述其他的多个医用图像显示于所述显示画面所包含的第2显示区域;
在所述选择出的一个相似医用图像为局限性病变的情况下,使包含所述局限性病变的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
2.根据权利要求1所述的控制方法,
在所述选择出的一个相似医用图像为局限性病变的情况下,使沿着所述第1方向排列的图像组中的包含所述局限性病变的一端到另一端的多个医用图像沿着所述第1方向连续地显示于所述第2显示区域。
3.根据权利要求1所述的控制方法,
在所述选择出的一个相似医用图像为局限性病变的情况下,使沿着所述第1方向排列的图像组中的包含所述选择出的一个相似医用图像在内的前后预定数量的医用图像沿着所述第1方向连续地显示于所述第2显示区域。
4.根据权利要求3所述的控制方法,
所述相似医用图像为肺的医用图像,
在设定有所述局限性病变的识别信息的对应信息中,还附加有表示所述局限性病变位于上叶、中叶和下叶中的哪个肺野的信息,
包含所述选择出的一个相似医用图像在内的前后预定数量,按所述上叶、所述中叶和所述下叶来分别设定。
5.根据权利要求1~4中任一项所述的控制方法,
所述相似医用图像为肺的医用图像,
在设定有所述弥漫性病变的识别信息的对应信息中,还附加有表示上叶、中叶和下叶各自的代表性医用图像的信息,
在所述选择出的一个相似医用图像为弥漫性病变的情况下,使所述上叶、所述中叶和下叶的代表性医用图像显示于所述第2显示区域。
6.根据权利要求1~4中任一项所述的控制方法,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述读片对象的医用图像中的关心区域的指定信息;
将所述关心区域的特征量发送给所述病例检索系统;
从所述病例检索系统接收与所述关心区域的特征量具有所述预定的相似度的相似医用图像。
7.根据权利要求1~4中任一项所述的控制方法,
所述控制方法使所述信息终端的计算机进行如下处理:
检测表示所述对象医用图像中的关心区域的指定信息;
将所述对象医用图像以及所述指定信息发送给所述病例检索系统;
从所述病例检索系统接收与根据所述对象医用图像以及所述指定信息得到的所述关心区域的特征量具有所述预定的相似度的相似医用图像。
8.根据权利要求1~4中任一项所述的控制方法,
所述对象医用图像为肺的医用图像,
具有表示所述相似医用图像中的病变部的对应关心区域,
所述显示画面包含第1分布信息、第2分布信息和第3分布信息,所述第1分布信息使得选择属于预定的第1范围的相似医用图像,所述预定的第1范围表示所述对应关心区域的大小相对于肺的区域而言为大范围这一情况,所述第2分布信息使得选择属于比所述第1范围小的预定的第2范围的相似医用图像,所述预定的第2范围表示所述对应关心区域的大小为肺的区域的一部分这一情况,所述第3分布信息使得选择所述对应关心区域包含胸膜的相似医用图像,
在检测到从所述第1分布信息到所述第3分布信息中的某一分布信息的选择的情况下,选择与所述选择出的一个分布信息对应的相似医用图像并显示于所述第1显示区域。
9.根据权利要求8所述的控制方法,
所述第1显示区域包括用于分别显示所述接收到的多个相似医用图像的多个单独区域,
在检测到所述第1分布信息的选择的情况下,使与所述第1分布信息对应的相似医用图像以初始显示尺寸分别显示于所述单独区域,
在检测到所述第2分布信息的选择的情况下,以与所述第2分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第2分布信息对应的相似医用图像分别放大显示于所述单独区域,
在检测到所述第3分布信息的选择的情况下,以与所述第3分布信息对应的相似医用图像中的所述对应关心区域为中心,使与所述第3分布信息对应的相似医用图像以包含所述胸膜的状态分别放大显示于所述单独区域。
10.根据权利要求8所述的控制方法,
所述第1分布信息是表示属于两侧性、多发性、弥漫性或血行性的类别的分布的信息,
所述第2分布信息是表示属于区域性或气道性的类别的分布的信息,
所述第3分布信息是表示属于胸膜下的类别的分布的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-193682 | 2015-09-30 | ||
JP2015193682 | 2015-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106557536A true CN106557536A (zh) | 2017-04-05 |
CN106557536B CN106557536B (zh) | 2021-12-21 |
Family
ID=57348431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610772772.6A Active CN106557536B (zh) | 2015-09-30 | 2016-08-30 | 控制方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10726295B2 (zh) |
EP (1) | EP3151143A1 (zh) |
JP (3) | JP6793332B2 (zh) |
CN (1) | CN106557536B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002336A (zh) * | 2017-06-06 | 2018-12-14 | 许继电气股份有限公司 | 一种充电桩远程监控导航视窗的生成方法和装置 |
CN114066875A (zh) * | 2021-11-25 | 2022-02-18 | 数坤(北京)网络科技股份有限公司 | 切片图像处理方法、装置、存储介质及终端设备 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
CN106560827B (zh) * | 2015-09-30 | 2021-11-26 | 松下知识产权经营株式会社 | 控制方法 |
KR20170064297A (ko) * | 2015-12-01 | 2017-06-09 | 삼성전자주식회사 | 의료 영상 장치 및 그 제어 방법 |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
JP6956853B2 (ja) * | 2018-03-30 | 2021-11-02 | オリンパス株式会社 | 診断支援装置、診断支援プログラム、及び、診断支援方法 |
US20220044395A1 (en) * | 2018-09-16 | 2022-02-10 | Integral Systems Pty Ltd | System, method and interface for communication and viewing of medical imaging |
WO2020110214A1 (ja) * | 2018-11-28 | 2020-06-04 | オリンパス株式会社 | 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム |
JP7233961B2 (ja) * | 2019-02-25 | 2023-03-07 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム |
JP7172796B2 (ja) * | 2019-03-28 | 2022-11-16 | コニカミノルタ株式会社 | 表示システム、表示制御装置及び表示制御方法 |
US11322243B2 (en) * | 2019-10-18 | 2022-05-03 | Neosoft, Llc | Method and system for identifying and displaying medical images |
US11798523B2 (en) * | 2020-01-31 | 2023-10-24 | Soundtrap Ab | Systems and methods for generating audio content in a digital audio workstation |
JP7092244B1 (ja) | 2021-08-30 | 2022-06-28 | コニカミノルタ株式会社 | 医療情報管理装置及び医療情報管理プログラム |
CN113901241A (zh) * | 2021-11-22 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 页面展示方法、装置、电子设备及存储介质 |
US11775153B2 (en) * | 2022-02-17 | 2023-10-03 | Fujifilm Medical Systems U.S.A., Inc. | Assessing measurement errors in software calculations |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102083415A (zh) * | 2008-04-18 | 2011-06-01 | 纳米生物公司 | 用于治疗疱疹病毒感染的方法 |
CN102171569A (zh) * | 2008-05-09 | 2011-08-31 | 杜克大学 | 检测和治疗癌症的自身抗体 |
CN103140160A (zh) * | 2011-03-30 | 2013-06-05 | 奥林巴斯医疗株式会社 | 图像管理装置、方法、程序以及胶囊型内窥镜系统 |
WO2013103424A9 (en) * | 2011-10-11 | 2013-10-10 | Tufts University | Silk-based multifunctional biomedical platform |
CN104673899A (zh) * | 2010-05-06 | 2015-06-03 | 赛昆塔公司 | 利用克隆型谱监测健康和疾病状态 |
US20150173684A1 (en) * | 2013-08-01 | 2015-06-25 | Panasonic Corporation | Lesion determination apparatus, similar case searching apparatus, lesion determination method, similar case searching method, and non-transitory computer-readable storage medium |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001155019A (ja) * | 1999-11-25 | 2001-06-08 | Olympus Optical Co Ltd | 類似画像検索装置 |
US20030013951A1 (en) * | 2000-09-21 | 2003-01-16 | Dan Stefanescu | Database organization and searching |
US7597663B2 (en) * | 2000-11-24 | 2009-10-06 | U-Systems, Inc. | Adjunctive ultrasound processing and display for breast cancer screening |
US7155043B2 (en) * | 2001-11-21 | 2006-12-26 | Confirma, Incorporated | User interface having analysis status indicators |
JP4182794B2 (ja) * | 2003-04-02 | 2008-11-19 | コニカミノルタエムジー株式会社 | 医用画像表示方法及び医用画像表示システム |
JP4912015B2 (ja) * | 2006-04-05 | 2012-04-04 | 富士フイルム株式会社 | 類似画像検索装置および方法並びにプログラム |
JP2008253292A (ja) | 2007-03-30 | 2008-10-23 | Fujifilm Corp | 症例画像検索装置及びシステム |
JP2009045121A (ja) * | 2007-08-14 | 2009-03-05 | Fujifilm Corp | 医用画像処理システム、医用画像処理方法、及びプログラム |
JP2009078050A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | 医用レポート作成システム及び医用レポート作成方法 |
US8520978B2 (en) | 2007-10-31 | 2013-08-27 | Mckesson Technologies Inc. | Methods, computer program products, apparatuses, and systems for facilitating viewing and manipulation of an image on a client device |
JP2009232970A (ja) * | 2008-03-26 | 2009-10-15 | Konica Minolta Medical & Graphic Inc | 医用画像管理装置、印刷画像順設定方法、及びプログラム |
US20100063842A1 (en) * | 2008-09-08 | 2010-03-11 | General Electric Company | System and methods for indicating an image location in an image stack |
JP2010082001A (ja) | 2008-09-29 | 2010-04-15 | Toshiba Corp | 画像表示装置 |
JP5395393B2 (ja) * | 2008-10-03 | 2014-01-22 | 株式会社日立メディコ | 画像診断装置 |
JP5374169B2 (ja) | 2009-01-21 | 2013-12-25 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
JP5383431B2 (ja) * | 2009-10-27 | 2014-01-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP4931027B2 (ja) * | 2010-03-29 | 2012-05-16 | 富士フイルム株式会社 | 医用画像診断支援装置および方法、並びにプログラム |
JP5700964B2 (ja) * | 2010-07-08 | 2015-04-15 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
JP2012230528A (ja) * | 2011-04-26 | 2012-11-22 | Canon Inc | 画像処理装置および画像処理装置の制御方法 |
CA2858610C (en) * | 2011-12-21 | 2021-03-09 | Catherine M. Shachaf | System for imaging lesions aligning tissue surfaces |
JP5789211B2 (ja) * | 2012-03-23 | 2015-10-07 | 富士フイルム株式会社 | 類似画像検索装置、方法及びプログラム |
-
2016
- 2016-08-30 CN CN201610772772.6A patent/CN106557536B/zh active Active
- 2016-09-01 JP JP2016170880A patent/JP6793332B2/ja active Active
- 2016-09-21 EP EP16189902.6A patent/EP3151143A1/en not_active Ceased
- 2016-09-21 US US15/272,277 patent/US10726295B2/en active Active
-
2020
- 2020-04-24 JP JP2020077547A patent/JP7065436B2/ja active Active
- 2020-06-22 US US16/907,481 patent/US20200320336A1/en active Pending
- 2020-10-23 JP JP2020178069A patent/JP6960612B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102083415A (zh) * | 2008-04-18 | 2011-06-01 | 纳米生物公司 | 用于治疗疱疹病毒感染的方法 |
CN102171569A (zh) * | 2008-05-09 | 2011-08-31 | 杜克大学 | 检测和治疗癌症的自身抗体 |
CN104673899A (zh) * | 2010-05-06 | 2015-06-03 | 赛昆塔公司 | 利用克隆型谱监测健康和疾病状态 |
CN103140160A (zh) * | 2011-03-30 | 2013-06-05 | 奥林巴斯医疗株式会社 | 图像管理装置、方法、程序以及胶囊型内窥镜系统 |
WO2013103424A9 (en) * | 2011-10-11 | 2013-10-10 | Tufts University | Silk-based multifunctional biomedical platform |
US20150173684A1 (en) * | 2013-08-01 | 2015-06-25 | Panasonic Corporation | Lesion determination apparatus, similar case searching apparatus, lesion determination method, similar case searching method, and non-transitory computer-readable storage medium |
Non-Patent Citations (2)
Title |
---|
AKIRA OOSAWA等: "Development of "SYNAPSE Case Match", Content-based Image Retrieval System for Supporting Image Diagnosis", 《FUJIFILM RESEARCH & DEVELOPMENT》 * |
史英杰: "医学图像辅助诊断系统中图像分割技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002336A (zh) * | 2017-06-06 | 2018-12-14 | 许继电气股份有限公司 | 一种充电桩远程监控导航视窗的生成方法和装置 |
CN109002336B (zh) * | 2017-06-06 | 2021-10-22 | 许继电气股份有限公司 | 一种充电桩远程监控导航视窗的生成方法和装置 |
CN114066875A (zh) * | 2021-11-25 | 2022-02-18 | 数坤(北京)网络科技股份有限公司 | 切片图像处理方法、装置、存储介质及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3151143A1 (en) | 2017-04-05 |
JP2021010777A (ja) | 2021-02-04 |
JP6793332B2 (ja) | 2020-12-02 |
JP2017064389A (ja) | 2017-04-06 |
US10726295B2 (en) | 2020-07-28 |
US20200320336A1 (en) | 2020-10-08 |
JP2020116429A (ja) | 2020-08-06 |
CN106557536B (zh) | 2021-12-21 |
JP7065436B2 (ja) | 2022-05-12 |
US20170091582A1 (en) | 2017-03-30 |
JP6960612B2 (ja) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106557536A (zh) | 控制方法 | |
US11179036B2 (en) | Control method of information terminal and computer-readable recording medium | |
CN106560827A (zh) | 控制方法 | |
US11185228B2 (en) | Control method of information terminal and computer-readable recording medium | |
JP6799115B2 (ja) | 情報端末の制御方法及びプログラム | |
CN106560828A (zh) | 控制方法 | |
US20200176123A1 (en) | Method and recording medium | |
JP2020155135A (ja) | 制御方法及びプログラム | |
CN105912831B (zh) | 信息终端的控制方法 | |
JP2018130408A (ja) | 情報端末の制御方法 | |
JP2018142072A (ja) | 情報端末の制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |