CN109716445B - 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法 - Google Patents

类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法 Download PDF

Info

Publication number
CN109716445B
CN109716445B CN201880003543.5A CN201880003543A CN109716445B CN 109716445 B CN109716445 B CN 109716445B CN 201880003543 A CN201880003543 A CN 201880003543A CN 109716445 B CN109716445 B CN 109716445B
Authority
CN
China
Prior art keywords
image
region
lung field
unit
chest wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880003543.5A
Other languages
English (en)
Other versions
CN109716445A (zh
Inventor
森胁康贵
杉村昌彦
远藤进
武部浩明
马场孝之
上原祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN109716445A publication Critical patent/CN109716445A/zh
Application granted granted Critical
Publication of CN109716445B publication Critical patent/CN109716445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/60ICT specially adapted for the handling or processing of medical references relating to pathologies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明能够基于弥漫性肺病等的脏器内分布病变的疾病中的病变的分布来检索类似病例。本发明是类似病例图像检索程序,使计算机执行如下的处理:从医用图像提取脏器区域,并将上述脏器区域分割为多个区域;对表示分割后的每个上述区域的病变的像素的个数进行计数;参照存储有表示每个区域的病变的像素的个数的存储部来确定表示病变的像素的个数的类似度对应的类似病例图像。

Description

类似病例图像检索程序、类似病例图像检索装置以及类似病 例图像检索方法
技术领域
本发明涉及类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法。
背景技术
以往,在医疗的现场中,利用类似病例图像检索装置,作为进行参照与诊断对象的医用图像的病例类似的过去的病例(类似病例)来进行诊断的比较阅片,检索类似病例的医用图像的装置。
在比较阅片时,作为对阅片医生等来说图像诊断较困难的病例之一,列举弥漫性肺病。弥漫性肺病是指在肺野区域的大范围中分布病变的疾病,在弥漫性肺病等脏器内分布病变的疾病的图像诊断中,重要的是确定肺野区域内的哪个区域中分布病变。因此,在类似病例图像检索装置中,要求在诊断对象的医用图像中将肺野区域分割为适合图像诊断的区域(例如,中枢区域、末梢区域等)。
与此相对,例如在下述专利文献1中提出从诊断对象的医用图像提取患者的身体的中心位置,并基于距提取出的中心位置的距离来分割确定区域的分割方法。
专利文献1:日本特开2009-90054号公报
然而,肺野区域具有复杂的形状,并且相对于身体的中心位置在左右方向以及前后方向上不对称。因此,在上述分割方法中,不能够将肺野区域分割为适合图像诊断的区域,即使判定病变分布的区域并检索类似病例,也较难精度良好地进行检索。
发明内容
在一个方面,目的在于能够基于弥漫性肺病等的脏器内分布病变的疾病中的病变的分布来检索类似病例。
根据一个方式,类似病例图像检索程序使计算机执行如下的处理:
从医用图像提取脏器区域以将上述脏器区域分割为多个区域;
对表示分割后的每个上述区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像。
可以基于弥漫性肺病等脏器内分布病变的疾病中的病变的分布来检索类似病例。
附图说明
图1是表示CT图像处理系统的一个例子的图。
图2是表示类似病例图像检索装置的硬件构成的图。
图3是表示类似病例图像检索装置的显示画面的一个例子的第一图。
图4是表示类似病例图像检索装置的显示画面的一个例子的第二图。
图5是表示特征量信息DB中储存的特征量信息的一个例子的第一图。
图6是表示图像DB中储存的CT图像信息的一个例子的图。
图7是表示类似病例图像检索装置的登记部的功能构成的一个例子的第一图。
图8是表示病变检测部的病变检测处理的具体例子的图。
图9是表示轮廓确定部的轮廓确定处理的一个例子的图。
图10是表示中枢区域模型的一个例子的图。
图11是表示分割曲线创建部的分割曲线创建处理的具体例子的图。
图12是表示类似病例图像检索装置的检索部的功能构成的一个例子的图。
图13是表示类似度计算部的类似度计算处理的具体例子的图。
图14是CT图像处理系统中的类似病例图像检索处理的时序图。
图15是表示类似病例图像检索装置的登记部的功能构成的一个例子的第二图。
图16是表示两肺野整合图像创建部的整合图像创建处理的具体例子的图。
图17是表示整合图像收缩部的整合图像收缩处理的具体例子的图。
图18是表示特征量信息DB中储存的特征量信息的一个例子的第二图。
具体实施方式
以下,参照附图对各实施方式进行说明。此外,在本说明书以及附图中,对于实际具有相同的功能构成的构成要素,通过标注同一符号来省略重复的说明。
[第一实施方式]
<CT图像处理系统的系统构成>
首先,对第一实施方式中的包括类似病例图像检索装置的CT图像处理系统进行说明。图1是表示CT图像处理系统的一个例子的图。
CT图像处理系统100具有CT(Computed Tomography:计算机体层摄影)装置110、类似病例图像检索装置120和图像数据库(以下,将数据库省略为DB)130。CT装置110和类似病例图像检索装置120经由布线111连接,在两装置间进行各种数据的收发。另外,类似病例图像检索装置120和图像DB130经由布线112连接,也在两装置间进行各种数据的收发。
CT装置110通过利用放射线等来扫描患者的体内并使用计算机进行处理,从而生成包含患者的多个切片图像的CT图像,作为医用图像(以下,将这样的处理称为“拍摄CT图像”)。CT装置110将拍摄到的CT图像发送至类似病例图像检索装置120。
在类似病例图像检索装置120中安装类似病例图像检索程序,通过由计算机执行类似病例图像检索程序,从而类似病例图像检索装置120作为类似病例图像检索部140发挥功能。
类似病例图像检索部140具有登记部141、检索部142以及显示控制部143。登记部141将在CT装置110中所拍摄到的CT图像储存至图像DB130。另外,登记部141通过对该CT图像的各切片图像进行表示肺野区域内的各区域的病变的像素的个数(病变像素数)的计数来生成直方图,并储存至特征量信息DB150。
检索部142通过对在CT装置110中所拍摄到的诊断对象的CT图像的各切片图像进行肺野区域内的各区域的病变像素数的计数来生成直方图。另外,检索部142从特征量信息DB150中储存的、检索对象的CT图像相关的直方图中检索与针对诊断对象的CT图像所生成的直方图类似的直方图。由此,检索部142检索与诊断对象的CT图像的病例类似的类似病例的CT图像。另外,检索部142将检索结果通知给显示控制部143。
显示控制部143对用于阅片医生等对诊断对象的CT图像进行比较阅片的显示画面进行显示。显示画面包括用于显示诊断对象的CT图像的显示功能。另外,显示画面包括用于阅片医生等检索与诊断对象的CT图像的病例类似的类似病例的CT图像的指示功能。而且,显示画面包括基于用于将来自检索部142的检索结果从图像DB130读出的CT图像作为类似病例的CT图像并与诊断对象的CT图像进行对比显示的对比显示功能。
图像DB130对在CT装置110中所拍摄到的CT图像进行储存。另外,图像DB130基于来自类似病例图像检索装置120的指示,将储存的CT图像发送至类似病例图像检索装置120。
<类似病例图像检索装置的硬件构成>
接下来,对类似病例图像检索装置120的硬件构成进行说明。图2是表示类似病例图像检索装置的硬件构成的图。如图2所示,类似病例图像检索装置120具备CPU(CentralProcessing Unit:中央处理器)201、ROM(Read Only Memory:只读存储器)202以及RAM(Random Access Memory:随机存取存储器)203。CPU201、ROM202以及RAM203形成所谓的计算机。
另外,类似病例图像检索装置120具备辅助存储装置204、连接装置205、显示装置206、操作装置207、驱动装置208。此外,类似病例图像检索装置120的各硬件经由总线209相互连接。
CPU201执行辅助存储装置204中储存的各种程序(例如,类似病例图像检索程序等)。
ROM202是非易失性存储器。ROM202作为主存储部发挥功能,对CPU201执行辅助存储装置204中储存的各种程序所需的各种程序、数据等进行储存。具体而言,ROM202储存BIOS(Basic Input/Output System:基本输入输出系统)、EFI(Extensible FirmwareInterface:可扩展固件接口)等启动程序等。
RAM203是易失性存储器,包括DRAM(Dynamic Random Access Memory:动态随机存取存储器)、SRAM(Static Random Access Memory:静态随机存取存储器)等。RAM203作为主存储部发挥功能,提供由CPU201执行辅助存储装置204中储存的各种程序时被展开的作业区域。
辅助存储装置204作为对在类似病例图像检索装置120中安装的各种程序、通过执行各种程序而生成的数据等进行记录的计算机可读取的辅助存储部发挥功能。在辅助存储装置204中实现特征量信息DB150。
连接装置205与CT装置110以及图像DB130连接,在CT装置110以及图像DB130之间进行各种数据的收发。显示装置206在显示控制部143的控制下对阅片医生等对诊断对象的CT图像进行比较阅片时所使用的显示画面进行显示。操作装置207接受阅片医生等对类似病例图像检索装置120进行的各种操作。
驱动装置208是用于设置记录介质210的设备。此处所说的记录介质210包括如CD-ROM、软盘、光磁盘等那样光学、电或磁性地记录信息的介质。或者,记录介质210也可以包括如ROM、闪存等那样电记录信息的半导体存储器等。
此外,例如通过将分发的记录介质210设置在驱动装置208中并由驱动装置208读出该记录介质210中记录的各种程序来安装辅助存储装置204中储存的各种程序。或者,也可以通过经由连接装置205从网络下载来安装辅助存储装置204中储存的各种程序。
<显示画面的显示例>
接下来,对在显示装置206上显示的显示画面进行说明。图3以及图4是表示类似病例图像检索装置的显示画面的一个例子的第一以及第二图。
如图3所示,在显示画面300上显示由CT装置110拍摄到的诊断对象的CT图像,包含诊断对象图像显示区域310。
另外,显示画面300包含检索按钮330。检索按钮330是用于对检索部142指示检索的按钮。
另外,显示画面300包含检索结果显示区域340。在检索结果显示区域340中显示通过检索部142从特征量信息DB150中储存的、检索对象的CT图像相关的直方图中检索与针对诊断对象的CT图像所生成的直方图类似的直方图而获得的检索结果。
另外,显示画面300包含类似病例检索结果显示区域350。在类似病例检索结果显示区域350中显示在检索结果显示区域340上显示的检索结果中由阅片医生等指定的CT图像。
图3(a)示出在显示画面300的诊断对象图像显示区域310中显示由CT装置110拍摄到的诊断对象的CT图像的样子。
图3(b)示出在显示画面300的诊断对象图像显示区域310中显示诊断对象的CT图像的状态下,由阅片医生等按压检索按钮330的样子。此外,当检索按钮330被按压时,迁移为图4所示的显示画面300。
图4(a)示出通过按压检索按钮330,从而由检索部142进行检索,并将检索结果显示在检索结果显示区域340上的样子。
如图4(a)所示,检索结果显示区域340上显示的检索结果包含“ID”、“缩略图”、“类似度”,作为信息的项目。在“ID”中储存用于识别由检索部142检索出的各CT图像的标识符。在“缩略图”中显示通过“ID”所识别出的CT图像的缩略图图像。在“类似度”中储存与由检索部142检索出的各CT图像相关的直方图和诊断对象的CT图像相关的直方图的类似度有关的信息。
图4(b)示出在检索结果显示区域340上显示的检索结果中由阅片医生等选择规定的检索结果,并将与所选择的检索结果对应的CT图像显示在类似病例检索结果显示区域350上的样子。
具体而言,图4(b)的例子示出选择ID=“ID001”,将对应的CT图像作为类似病例的CT图像并显示在类似病例检索结果显示区域350上的样子。由此,阅片医生等能够一边参照与诊断对象的CT图像的病例类似的类似病例的CT图像一边通过比较阅片对诊断对象的CT图像进行图像诊断。
此外,显示画面300的显示内容并不限于图3、图4所示的,例如,也可以显示诊断的患者的患者信息。或者,也可以与在类似病例检索结果显示区域350上显示的CT图像建立对应地显示图像DB130中储存的各种信息。
<特征量信息DB以及图像DB>
接下来,对特征量信息DB150中储存的特征量信息以及图像DB130中储存的CT图像信息的详细进行说明。
(1)特征量信息的详细
图5是表示特征量信息DB中储存的特征量信息的一个例子的第一图。如图5(a)所示,特征量信息500包含“ID”、“切片编号”、“缩略图图像”、“右肺野”、“左肺野”,作为信息的项目。
在“ID”中储存用于识别图像DB130中储存的CT图像的标识符。在“切片编号”中储存用于分别识别CT图像所包含的多个切片图像的编号。在“缩略图图像”中与切片编号建立对应地储存CT图像所包含的多个切片图像每个的缩略图图像。
在“右肺野”中还包含“末梢区域所包含的病变像素数”和“中枢区域所包含的病变像素数”。在“末梢区域所包含的病变像素数”中储存分布于右肺野中的末梢区域的病变的病变像素数。另外,在“中枢区域所包含的病变像素数”储存分布于右肺野中的中枢区域的病变的病变像素数。
同样地,“左肺野”还包含“末梢区域所包含的病变像素数”和“中枢区域所包含的病变像素数”。在“末梢区域所包含的病变像素数”中储存分布于左肺野中的末梢区域的病变的病变像素数。另外,在“中枢区域所包含的病变像素数”中储存分布于左肺野中的中枢区域的病变的病变像素数。
图5(b)示出基于特征量信息500所生成的病变像素数的直方图,横轴表示病变像素数,纵轴表示切片编号。其中,直方图501是右肺野的末梢区域中包含的病变像素数的直方图,直方图502是右肺野的中枢区域在包含的病变像素数的直方图。另外,直方图503是左肺野的末梢区域中包含的病变像素数的直方图,直方图504是左肺野的中枢区域中包含的病变像素数的直方图。直方图501~504与特征量信息500的“ID”建立对应地被储存至特征量信息DB150。
(2)CT图像信息的详细
图6是表示图像DB中储存的CT图像信息的一个例子的图。如图6所示,CT图像信息600包含“ID”、“图像”、“患者信息”、“诊断结果”、“诊断者”。
在“ID”中储存用于识别图像DB130中储存的CT图像的标识符。在“图像”中储存图像DB130中储存的CT图像的文件名。在“患者信息”中储存拍摄CT图像的患者相关的详细信息(患者ID、姓名、年龄、性别等)。在“诊断结果”中储存CT图像相关的阅片医生等的诊断结果。在“诊断者”中储存用于识别对对应的CT图像进行了图像诊断的阅片医生等的ID。在第一实施方式中,假设在CT图像拍摄时进行图像DB130中储存的CT图像相关的图像诊断。
此外,在CT图像信息600中,除了诊断结果之外还可以将对该患者进行过的处置的内容、处置后的状态等各种信息与诊断结果建立对应地进行储存。
<类似病例图像检索装置的各部的详细以及各部的处理的具体例子>
接下来,依次对类似病例图像检索装置120的各部(登记部141、检索部142、显示控制部143)中的登记部141和检索部142的详细以及登记部141和检索部142的处理的具体例子进行说明。
(1)登记部的详细
首先,对登记部141的详细进行说明。图7是表示类似病例图像检索装置的登记部的功能构成的一个例子的第一图。如图7所示,登记部141具有切片图像获取部710、病变检测部720、轮廓确定部730、中枢区域模型获取部740、分割曲线创建部750、直方图生成部760。
当阅片医生等在输入患者信息后,利用CT装置110对该患者进行CT图像的拍摄,并输入拍摄到的CT图像相关的诊断结果时,在图像DB130中储存拍摄到的CT图像。另外,在CT图像信息600中,将用于识别所储存的CT图像的ID、文件名、患者信息、诊断结果以及用于识别进行了图像诊断的阅片医生的ID与CT图像建立对应地储存。
当在图像DB130中新储存CT图像、且在CT图像信息600中储存ID、文件名、患者信息、诊断结果、用于识别进行了图像诊断的阅片医生的ID时,图7所示的登记部141的各部进行动作。
切片图像获取部710读出在图像DB130中新储存的CT图像所包含的各切片图像,并发送至病变检测部720以及轮廓确定部730。
病变检测部720执行病变检测处理。具体而言,病变检测部720通过将各切片图像划分为指定的大小的网格来生成部分图像(以下,称为“块”)。另外,病变检测部720通过针对所生成的每个块对块内所包含的各像素的亮度值进行统计处理来计算多维矢量。而且,病变检测部720基于计算出的多维矢量来识别各块是否对应于病变。
此外,每当基于计算出的多维矢量来识别各块是否对应于病变时,病变检测部720预先保持表示病变的代表矢量。病变检测部720通过计算从各块计算出的多维矢量和预先保持的表示病变的代表矢量的距离来识别各块是否对应于病变,从而检测病变。
另外,病变检测部720将表示检测到的病变的位置的病变信息通知给直方图生成部760。
轮廓确定部730对各切片图像执行轮廓确定处理。具体而言,轮廓确定部730从各切片图像提取肺野区域,并确定提取出的肺野区域的轮廓。另外,轮廓确定部730将确定出的各切片图像的肺野区域的轮廓通知给中枢区域模型获取部740以及分割曲线创建部750。
中枢区域模型获取部740执行中枢区域模型获取处理。具体而言,中枢区域模型获取部740读出模型信息储存部770中预先储存的中枢区域模型。中枢区域模型是指规定各切片位置的肺野区域中的、中枢区域和末梢区域的比例的模型。
中枢区域模型获取部740通过获取中枢区域模型来识别各切片图像的肺野区域中的中枢区域和末梢区域的比例,并通知给分割曲线创建部750。
分割曲线创建部750是分割部的一个例子,执行分割曲线创建处理。具体而言,分割曲线创建部750基于从中枢区域模型获取部740按照每个切片图像通知的比例对从轮廓确定部730通知的各切片图像的肺野区域的轮廓进行内分,计算内分点。另外,分割曲线创建部750通过将计算出的内分点相连接来创建将肺野区域分割为中枢区域和末梢区域的分割曲线。而且,分割曲线创建部750将针对各切片图像创建的分割曲线通知给直方图生成部760。
直方图生成部760是计数部的一个例子,对从病变检测部720通知的各切片图像中的病变信息、和从分割曲线创建部750通知的各切片图像中的分割曲线进行对比。由此,在直方图生成部760中,能够判定在各切片图像中,各病变是分布在中枢区域中还是分布在末梢区域中。
另外,直方图生成部760按照每个切片图像,针对每个右肺野以及每个左肺野,对判定为分布在中枢区域中的病变的病变像素数、和判定为分布在末梢区域中的病变的病变像素数进行计数。直方图生成部760将计数所得的病变像素数储存至特征量信息DB150的特征量信息500。
而且,直方图生成部760基于计数所得的病变像素数来生成直方图,并与特征量信息500的“ID”建立对应地进行储存。
(2)登记部的处理的具体例子
接下来,对类似病例图像检索装置120的登记部141的处理的具体例子进行说明。
(i)病变检测部的病变检测处理的具体例子
首先,对登记部141的病变检测部720的病变检测处理的具体例子进行说明。图8是表示病变检测部的病变检测处理的具体例子的图。
其中,图8(a)示出切片图像的一个例子。如图8(a)所示,切片图像800包含患者的右肺的肺野区域810和患者的左肺的肺野区域820。切片图像800上的块(例如,块830等)示出由病变检测部720生成的块。
图8(b)示出由病变检测部720生成的各块是否对应于病变的样子。示出图8(b)所示的各块中粗线所示的块(例如,块840、850)是被识别为病变的块。另一方面,示出粗线所示的块(例如,块840、850)以外的块是表示被识别为不是病变的块。
(ii)轮廓确定部的轮廓确定处理的具体例子
接着,对轮廓确定部730的轮廓确定处理的具体例子进行说明。图9是表示轮廓确定部的轮廓确定处理的具体例子的图。其中,图9(a)示出由轮廓确定部730进行轮廓确定处理前的切片图像800。另一方面,图9(b)示出轮廓确定部730从切片图像800提取肺野区域810、820,确定肺野区域810、820的轮廓911、912的样子。
(iii)中枢区域模型获取部的中枢区域模型获取处理的具体例子
接着,对中枢区域模型获取部740的中枢区域模型获取处理的具体例子进行说明。一般,肺的组织从被称为肺门的部位三维地扩散,关于各切片位置中的中枢区域,获取以下那样的医学见解。
·在有肺门的切片位置中,中枢区域的面积为最大。
·随着切片位置远离有肺门的切片位置,中枢区域的面积变小,不久之后消失。
·从肺野区域的上端到中枢区域的上端空出一定的间隔。另外,从肺野区域的下端到中枢区域的下端空出一定的间隔。
基于上述医学见解来生成中枢区域模型获取部740获取的中枢区域模型。图10是表示中枢区域模型的一个例子的图,示出在从正面观察患者的肺时的肺野区域1010、1020中叠加中枢区域模型1050的样子。
在中枢区域模型1050中,切片位置1034通过肺门,在该切片位置1034中,中枢区域的面积为最大。切片位置1031通过肺野区域1010、1020的上端,切片位置1032通过中枢区域1040的上端。在切片位置1031与切片位置1032之间空出β的间隔。另外,切片位置1036通过肺野区域1010,、1020的下端,切片位置1035通过中枢区域1040的下端。在切片位置1036与切片位置1035之间空出γ的间隔。
中枢区域模型1050被线形近似,使得切片位置1034中面积最大的中枢区域在切片位置1032以及切片位置1035中分别面积为零。
另外,中枢区域模型1050将各切片位置中从中心到中枢区域模型1050的边界的长度和从中枢区域模型1050的边界到肺野区域1010、1020的边界的长度的比例。在图10的例子中,中枢区域模型1050规定切片位置1033中从中心到中枢区域模型1050的边界的长度和从中枢区域模型1050的边界到肺野区域1010的边界的长度的比例规定为α:(1-α)。
中枢区域模型获取部740通过执行中枢区域模型获取处理来获取中枢区域模型1050。另外,中枢区域模型获取部740基于中枢区域模型1050来识别从各切片位置中的中心到中枢区域模型1050的边界的长度和从中枢区域模型1050的边界到肺野区域1010、1020的边界的长度的比例。
(iv)分割曲线创建部的分割曲线创建处理的具体例子
接着,对分割曲线创建部750的分割曲线创建处理的具体例子进行说明。图11是表示分割曲线创建部的分割曲线创建处理的具体例子的图。图11的例子示出针对切片位置1033中的切片图像,创建将肺野区域分割为中枢区域和末梢区域的分割曲线1111、1121的样子。
分割曲线创建部750从切片图像提取患者的身体的中心位置1130。另外,分割曲线创建部750从中心位置1130呈放射状地延伸直线,提取与从轮廓确定部730通知的肺野区域1110、1120的轮廓的交点(内侧(纵隔)的交点以及外侧(胸壁)的交点)。
例如,分割曲线创建部750从中心位置1130延伸直线1140,提取与肺野区域1110的轮廓的交点(内侧(纵隔)的交点1150和外侧(胸壁)的交点1160)。
接着,分割曲线创建部750通过基于从中枢区域模型获取部740通知的比例对内侧(纵隔)的交点与外侧(胸壁)的交点之间的线段进行内分来确定内分点。
例如,分割曲线创建部750通过按照α:(1-α)的比例对内侧(纵隔)的交点1150和外侧(胸壁)的交点1160之间的线段进行内分来确定内分点1170。
分割曲线创建部750通过针对从中心位置1130呈放射状地延伸的各直线确定内分点,并将确定出的各内分点相连接,从而创建基于肺野区域1110、1120的形状的分割曲线。由此,分割曲线创建部750能够创建肺野区域1110相关的分割曲线1111、和肺野区域1120相关的分割曲线1121。换句话说,能够将肺野区域1110、1120分别基于医学见解分割为中枢区域和末梢区域。
(3)检索部的详细
接下来,对类似病例图像检索装置120的各部(登记部141、检索部142、显示控制部143)中的检索部142的详细进行说明。
图12是表示类似病例图像检索装置的检索部的功能构成的一个例子的图。如图12所示,检索部142具有切片图像获取部1210、病变检测部1220、轮廓确定部1230、中枢区域模型获取部1240、分割曲线创建部1250、直方图生成部1260、类似度计算部1270、输出部1280。
当阅片医生等起动检索部142,输入诊断的患者的患者信息后,利用CT装置110进行该患者相关的CT图像的拍摄时,显示控制部143将所拍摄的CT图像作为诊断对象的CT图像并显示于显示画面300。通过显示控制部143显示显示画面300,并由阅片医生等输入检索指示,从而图12所示的检索部142的各部进行动作。
此外,检索部142的各部中除了类似度计算部1270、输出部1280之外各部除了对在显示画面300上显示的诊断对象的CT图像进行处理之外,也进行与图7所示的登记部141的各部相同的处理。因此,此处省略说明。
类似度计算部1270是图像确定部的一个例子。类似度计算部1270计算诊断对象的CT图像相关的直方图与从特征量信息DB150读出的检索对象的CT图像的直方图之间的类似度。类似度计算部1270针对右肺野的中枢区域以及末梢区域的直方图分别计算类似度,针对左肺野的中枢区域以及末梢区域的直方图分别计算类似度。另外,类似度计算部1270通过将计算出的各类似度相加来计算合计值(综合类似度)。类似度计算部1270将在诊断对象的CT图像与各检索对象的CT图像之间计算出的综合类似度通知给输出部1280。
输出部1280对从类似度计算部1270通知的综合类似度进行排序处理,将综合类似度按照从高到低的顺序进行排序。输出部1280针对综合类似度较高的规定量的检索对象,从特征量信息DB150读出对应的ID、缩略图图像,并与综合类似度一起作为检索结果并通知给显示控制部143。
(4)检索部的处理的具体例子
接下来,对类似病例图像检索装置120的检索部142的处理中类似度计算部1270的类似度计算处理的具体例子进行说明。图13是表示类似度计算部的类似度计算处理的具体例子的图。
在图13中,直方图1311~1314是诊断对象的CT图像相关的直方图。其中,直方图1311是右肺野的末梢区域相关的直方图,直方图1312是右肺野的中枢区域相关的直方图。另外,直方图1313是左肺野的末梢区域相关的直方图,直方图1314是左肺野的中枢区域相关的直方图。
另一方面,直方图1321~1324是检索对象相关的CT图像的直方图。其中,直方图1321是右肺野的末梢区域相关的直方图,直方图1322是右肺野的中枢区域相关的直方图。另外,直方图1323是左肺野的末梢区域相关的直方图,直方图1324是左肺野的中枢区域相关的直方图。
类似度计算部1270计算对应的直方图彼此的类似度,并将每个类似度相加来计算综合类似度。图13的例子示出右肺野的末梢区域相关的直方图彼此的类似度为S1,右肺野的中枢区域相关的直方图彼此的类似度为S2。另外,图13的例子示出左肺野的末梢区域相关的直方图彼此的类似度为S3,左肺野的中枢区域相关的直方图彼此的类似度为S4。因此,类似度计算部1270将诊断对象的CT图像和检索对象的CT图像的综合类似度计算为S=S1+S2+S3+S4
<CT图像处理系统中的类似病例图像检索处理整体的流程>
接下来,对CT图像处理系统100中的类似病例图像检索处理整体的流程进行说明。图14是CT图像处理系统中的类似病例图像检索处理的时序图。
如图14所示,CT图像处理系统100中的类似病例图像检索处理能够大致区分为登记阶段和检索阶段。首先,对登记阶段进行说明。
在步骤S1401中,CT装置110拍摄患者的CT图像。在拍摄CT图像时,向类似病例图像检索装置120输入患者信息。
在步骤S1402中,CT装置110将通过拍摄所获得的CT图像作为检索对象的CT图像并发送至类似病例图像检索装置120的登记部141。
在步骤S1403中,登记部141获取从CT装置110发送的检索对象的CT图像,附加标识符后,与患者信息一起储存至图像DB130。此外,每当登记部141将CT图像储存至图像DB130时,阅片医生等进行该CT图像相关的图像诊断。在登记部141中,将此时的诊断结果与该CT图像建立对应地储存至图像DB130。
在步骤S1404中,登记部141针对储存的检索对象的CT图像的各切片图像,执行病变检测处理,检测病变。
在步骤S1405中,登记部141通过针对储存的检索对象的CT图像的各切片图像执行轮廓确定处理、中枢区域模型获取处理、分割曲线创建处理而将肺野区域分割为中枢区域和末梢区域。
在步骤S1406中,登记部141对分布在中枢区域中的病变的病变像素数和分布在末梢区域中的病变的病变像素数进行计数,生成直方图1321~1324。
在步骤S1407中,登记部141将计数所得的病变像素数以及生成的直方图储存至特征量信息DB150的特征量信息500。
以上,登记阶段完成。此外,图14是登记阶段中的患者一人的处理的例子,实际上在登记阶段中,进行多个患者的处理。
接着,对检索阶段进行说明。在步骤S1411中,CT装置110拍摄诊断的患者的CT图像。在步骤S1411中的CT图像拍摄时,向类似病例图像检索装置120输入诊断的患者的患者信息。
在步骤S1412中,CT装置110将通过拍摄所获得的CT图像作为诊断对象的CT图像并发送至类似病例图像检索装置120的检索部142。
在步骤S1413中,检索部142获取从CT装置110发送的诊断对象的CT图像。另外,检索部142将获取到的诊断对象的CT图像通知给显示控制部143。
在步骤S1414中,显示控制部143在显示装置206上显示显示画面300,将从检索部142通知的CT图像所包含的任意一个切片图像显示于该显示画面300的诊断对象图像显示区域310。
在步骤S1415中,显示控制部143接受经由显示画面300的检索按钮330输入的检索指示。
在步骤S1416中,显示控制部143将接受到的检索指示通知给检索部142。
在步骤S1417中,检索部142若从显示控制部143接受到检索指示的通知,则对诊断对象的CT图像的各切片图像执行病变检测处理,检测病变。
在步骤S1418中,检索部142通过对诊断对象的CT图像的各切片图像执行轮廓确定处理、中枢区域模型获取处理、分割曲线创建处理而将肺野区域分割为中枢区域和末梢区域。
在步骤S1419中,检索部142对分布在中枢区域中的病变的病变像素数和分布在末梢区域中的病变的病变像素数进行计数,生成直方图1311~1314。
在步骤S1420中,检索部142从特征量信息DB150读出特征量信息500,获取各检索对象的CT图像相关的直方图(例如,直方图1321~1324)。
在步骤S1421中,检索部142在获取到的检索对象的CT图像相关的直方图1321~1324与生成的诊断对象的CT图像相关的直方图1311~1314之间,针对每个对应的区域计算类似度。另外,检索部142通过将针对每个对应的区域所计算出的类似度相加来计算综合类似度,并将计算出的综合类似度按照从高到低的顺序进行排序。
在步骤S1422中,检索部142将与综合类似度高的规定量的检索对象的CT图像建立对应的ID以及缩略图图像与综合类似度一起作为检索结果并通知给显示控制部143。
在步骤S1423中,显示控制部143将从检索部142通知的检索结果显示于检索结果显示区域340。
在步骤S1424中,由阅片医生等在检索结果显示区域340中选择了规定的检索结果的情况下,显示控制部143接受为CT图像显示指示。
在步骤S1425中,显示控制部143确定所选择的检索结果包含的ID,并从图像DB130读出通过确定出的ID所识别的CT图像。
在步骤S1426中,显示控制部143将读出的CT图像的任一的切片图像显示于类似病例检索结果显示区域350。由此,阅片医生等能够一边参照与诊断对象的CT图像的病例类似的类似病例的CT图像的切片图像一边通过比较阅片对诊断对象的CT图像图像进行诊断。
从以上的说明可知,在弥漫性肺病等脏器内分布病变的疾病的情况下,在肺野区域的大范围中分布,另一方面,以往不能够将肺野区域适当地分割为中枢区域和末梢区域。因此,即使要判定病变分布的区域并检索类似病例,也较难精度良好地检索。
与此相对,类似病例图像检索装置120通过基于医学见解对各切片图像确定对胸壁与纵隔之间进行内分的位置,从而将肺野区域分割为中枢区域和末梢区域。因此,根据类似病例图像检索装置120,能够将肺野区域分割为适合诊断的区域。
另外,类似病例图像检索装置120针对从各切片图像检测出的病变,对分布在中枢区域中的病变的病变像素数和分布在末梢区域中的病变的病变像素数进行计数,生成直方图。而且,类似病例图像检索装置120使用生成的直方图来计算类似度,确定类似病例图像。因此,根据类似病例图像检索装置120,能够判定病变分布的区域来检索类似病例。
结果是根据类似病例图像检索装置120,可以基于弥漫性肺病等脏器内分布病变的疾病中的病变的分布来精度良好地检索类似病例。
[第二实施方式]
在上述第一实施方式中,对针对各切片图像创建分割曲线以将肺野区域分割为中枢区域和末梢区域的方法进行了说明。然而,将肺野区域分割为中枢区域和末梢区域的方法并不限于此。在第二实施方式中,对通过与上述第一实施方式不同的方法将肺野区域分割为中枢区域和末梢区域的情况进行说明。此外,以下,以与上述第一实施方式的不同点为中心进行说明。
<类似病例图像检索装置的登记部的功能构成>
首先,对第二实施方式所涉及的类似病例图像检索装置120的登记部141的功能构成进行说明。图15是表示类似病例图像检索装置的登记部的功能构成的一个例子的第二图。与图7所示的功能构成的不同点是具有两肺野整合图像创建部1510、整合图像收缩部1520这一点。
两肺野整合图像创建部1510执行整合图像创建处理。具体而言,两肺野整合图像创建部1510基于从轮廓确定部730通知的各切片图像中的左右肺各个的肺野区域的轮廓来计算将胸壁和纵隔作为端点的基准线段。另外,两肺野整合图像创建部1510基于从轮廓确定部730通知的各切片图像中的左右肺各个的肺野区域的轮廓来创建将两肺野区域整合后的图像(整合图像)。而且,两肺野整合图像创建部1510将计算出的基准线段、和创建的整合图像通知给整合图像收缩部1520。
整合图像收缩部1520是分割部的一个例子,执行整合图像收缩处理。具体而言,整合图像收缩部1520通过使从两肺野整合图像创建部1510通知的整合图像收缩,并按照规定的比例对基准线段进行内分,从而将肺野区域分割为中枢区域和末梢区域。此外,整合图像收缩部1520基于从模型信息储存部770获取到的中枢区域模型来识别对基准线段进行内分的比例,并基于识别出的比例来确定内分点。
另外,整合图像收缩部1520将分割的中枢区域以及末梢区域通知给直方图生成部760。
<类似病例图像检索装置的登记部的处理的具体例子>
接下来,对类似病例图像检索装置120的登记部141的处理的具体例子进行说明。
(1)两肺野整合图像创建部整合图像创建处理的具体例子
首先,对登记部141的两肺野整合图像创建部1510的整合图像创建处理的具体例子进行说明。图16是表示两肺野整合图像创建部的整合图像创建处理的具体例子的图。图16的例子示出针对切片位置1033中的切片图像,计算基准线段,创建整合图像的样子。
如图16(a)所示,两肺野整合图像创建部1510基于从轮廓确定部730通知的轮廓来计算肺野区域1610、1620各个的重心位置1611、1621。接着,两肺野整合图像创建部1510计算通过计算出的重心位置1611的水平线1612、和通过计算出的重心位置1621的水平线1622。
接着,两肺野整合图像创建部1510提取水平线1612和肺野区域1610的外侧的轮廓(胸壁)的交点1613、和水平线1622和肺野区域1620的外侧的轮廓(胸壁)的交点1623。
接下来,两肺野整合图像创建部1510在水平线1612上提取相对于重心位置1611位于与交点1613相反侧的点、且距重心位置1611的距离与从交点1613到重心位置1611的距离相等的点1614。同样地,两肺野整合图像创建部1510在水平线1622上提取相对于重心位置1621位于与交点1623相反侧的点、且距重心位置1621的距离与从交点1623到重心位置1621的距离相等的点1624。
此外,两肺野整合图像创建部1510的这些处理是利用胸壁和肺野区域的重心位置的距离、以及肺野区域的重心位置和纵隔的距离在解剖学上相等来提取纵隔的处理。
由此,两肺野整合图像创建部1510能够计算将胸壁(交点1613、1623)和纵隔(点1614、1624)作为端点的基准线段1615、1625。
另外,两肺野整合图像创建部1510如图16(b)所示,基于肺野区域1610、1620的轮廓(胸壁)的形状来创建将肺野区域1610、1620整合后的整合图像1630。两肺野整合图像创建部1510将创建的整合图像1630和基准线段1615、1625通知给整合图像收缩部1520。
(2)整合图像收缩部的整合图像收缩处理的具体例子
接下来,对登记部141的整合图像收缩部1520的整合图像收缩处理的具体例子进行说明。图17是表示整合图像收缩部的整合图像收缩处理的具体例子的图。
如图17(a)所示,整合图像收缩部1520缩小从两肺野整合图像创建部1510通知的整合图像1630的大小,生成缩小整合图像1701。整合图像收缩部1520以缩小整合图像1701和基准线段1615的交点1711成为按照α:(1-α)的比例对基准线段1615(换句话说,胸壁与纵隔之间)进行内分的内分点的方式生成缩小整合图像1701。
由此,整合图像收缩部1520能够计算右肺的肺野区域中中枢区域的边界1721。整合图像收缩部1520将中枢区域的边界1721的内侧作为中枢区域,将外侧作为末梢区域,并通知给直方图生成部760。
同样地,如图17(b)所示,整合图像收缩部1520缩小从两肺野整合图像创建部1510通知的整合图像1630的大小,生成缩小整合图像1702。整合图像收缩部1520以缩小整合图像1702和基准线段1625的交点1712成为按照α:(1-α)的比例对基准线段1625(换句话说,胸壁与纵隔之间)进行内分的内分点的方式生成缩小整合图像1702。
由此,整合图像收缩部1520能够计算左肺的肺野区域中中枢区域的边界1722。整合图像收缩部1520将中枢区域的边界1722的内侧作为中枢区域,将外侧作为末梢区域,并通知给直方图生成部760。
从以上的说明可知,在第二实施方式中,在各切片图像的各肺野区域中,分别将胸壁和纵隔各提取1点来计算基准线段,并缩小整合图像的大小,以便按照基于医学见解的比例对该基准线段进行内分。另外,在第二实施方式中,基于缩小的整合图像来计算中枢区域的边界,并将肺野区域分割为中枢区域和末梢区域。因此,根据第二实施方式,能够将肺野区域分割为适合诊断的区域。
另外,在第二实施方式中,在提取纵隔时,一般不使用高精度下的提取较困难的肺野区域的纵隔侧的轮廓,而使用胸壁侧的轮廓和肺野区域的重心位置。因此,根据第二实施方式,计算中枢区域的边界时的计算精度提高,可以将肺野区域适当地分割为中枢区域和末梢区域。
[第三实施方式]
在上述第一以及第二实施方式中,对将肺野区域2分割为中枢区域和末梢区域的情况进行了说明。然而,肺野区域的分割数并不限于此,也可更精细地分割中枢区域内或末梢区域内。由此,可以针对细分化后的每个区域,对检测出的病变的病变像素数进行计数。
图18是表示特征量信息DB中储存的特征量信息的一个例子的第二图。与图5的不同点是在特征量信息1800的情况下,右肺野以及左肺野各个被细分化为3分割以上,并储存在每个区域中计数所得的病变的病变像素数这个点。
这样,通过将肺野区域分割为多个区域,并基于在每个区域中计数所得的病变像素数来生成直方图,能够提高类似病例的检索精度。
[其它实施方式]
在上述第二实施方式中,没有提及检索部的功能构成,但与第一实施方式同样地,第二实施方式的检索部也通过对登记部的功能构成(图15)追加类似度计算部1270、输出部1280的功能构成来实现。
另外,在上述各实施方式中,作为生成直方图来计算类似度而进行了说明,但类似度的计算方法并不限于此,只要是使用各区域的病变像素数来计算的方法,则也可以通过其它计算方法来计算类似度。
另外,在上述各实施方式中,对分为不同的DB来储存特征量信息500和CT图像信息600情况进行了说明,但特征量信息500和CT图像信息600也可以储存至相同的DB。
另外,在上述各实施方式中,作为接受检索指示之后生成诊断对象的CT图像相关的直方图进行了说明,但诊断对象的CT图像相关的直方图也可以在接受检索指示前生成。
另外,在上述各实施方式中,对检索CT图像作为医用图像的情况进行了说明,但也可以应用于检索CT图像以外的医用图像(例如,MRI(Magnetic resonance imaging:磁共振成像)图像)的情况。
此外,在公开的技术中,考虑以下所记载的附记那样的方式。
(附记1)
一种类似病例图像检索程序,使计算机执行如下的处理:
从医用图像提取脏器区域,并将上述脏器区域分割为多个区域;
对表示分割后的每个上述区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像。
(附记2)
一种类似病例图像检索程序,使计算机执行如下的处理:
从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状来将上述肺野区域分割为中枢区域和末梢区域;
对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像。
(附记3)
根据附记2所述的类似病例图像检索程序,其特征在于,
在上述医用图像所包含的多个切片图像每个中,基于表示针对每个区域进行计数所得的各切片位置中的病变的像素的个数来生成每个区域的直方图,
参照存储有每个区域的直方图的存储部来确定和与生成的每个区域的直方图的类似度对应的类似病例图像。
(附记4)
根据附记3所述的类似病例图像检索程序,其特征在于,
通过参照规定了上述医用图像所包含的多个切片图像每个中的对上述胸壁和上述纵隔之间进行内分的比例的模型来确定上述医用图像所包含的多个切片图像每个中的对上述胸壁和上述纵隔之间进行内分的位置。
(附记5)
根据附记4所述的类似病例图像检索程序,其特征在于,
在上述医用图像所包含的多个切片图像每个中提取身体的中心位置,并提取从该中心位置呈放射状地延伸的多个直线与确定出的上述肺野区域的轮廓的交点,作为上述胸壁或者上述纵隔。
(附记6)
根据附记5所述的类似病例图像检索程序,其特征在于,
在上述医用图像所包含的多个切片图像每个中创建将对上述胸壁和上述纵隔之间进行内分的多个位置连接的分割曲线,并将上述肺野区域分割为中枢区域和末梢区域。
(附记7)
根据附记4所述的类似病例图像检索程序,其特征在于,
在上述医用图像所包含的多个切片图像每个中提取通过上述肺野区域的重心位置的水平线和确定出的上述肺野区域的轮廓的交点,作为上述胸壁,并在上述水平线上提取相对于上述重心位置位于与上述胸壁相反侧的点、且距上述重心位置的距离与从上述胸壁到上述重心位置的距离相等的点,作为上述纵隔。
(附记8)
根据附记7所述的类似病例图像检索程序,其特征在于,
在上述医用图像所包含的多个切片图像每个中创建将两个上述肺野区域整合的整合图像,并将创建的该整合图像缩小到通过对上述胸壁和上述纵隔之间进行内分的位置的大小,基于缩小后的该整合图像来将上述肺野区域分割为中枢区域和末梢区域。
(附记9)
一种类似病例图像检索装置,其特征在于,具有:
轮廓确定部,从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
分割部,确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状将上述肺野区域分割为中枢区域和末梢区域;
计数部,对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
图像确定部,参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像。
(附记10)
一种类似病例图像检索方法,计算机执行如下的处理:
从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状将上述肺野区域分割为中枢区域和末梢区域;
对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像。
此外,本发明并不限定于上述实施方式中所列举的结构等和其它要素的组合等此处所示的结构。关于这些点,能够在不脱离本发明的主旨的范围内进行变更,能够根据其应用方式适当地决定。
图中符号说明:
100 :CT图像处理系统
110 :CT装置
120 :类似病例图像检索装置
140 :类似病例图像检索部
141 :登记部
142 :检索部
143 :显示控制部
300 :显示画面
500 :特征量信息
501~504 :直方图
600 :CT图像信息
710 :切片图像获取部
720 :病变检测部
730 :轮廓确定部
740 :中枢区域模型获取部
750 :分割曲线创建部
760 :直方图生成部
1210 :切片图像获取部
1220 :病变检测部
1230 :轮廓确定部
1240 :中枢区域模型获取部
1250 :分割曲线创建部
1260 :直方图生成部
1270 :类似度计算部
1280 :输出部
1510 :两肺野整合图像创建部
1520 :整合图像收缩部
1630 :整合图像

Claims (6)

1.一种存储介质,是存储有类似病例图像检索程序的计算机可读的存储介质,该类似病例图像检索程序使计算机执行如下的处理:
从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状来将上述肺野区域分割为中枢区域和末梢区域;
对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像,
在上述确定对上述胸壁和上述纵隔之间进行内分的上述位置的处理中,提取通过上述肺野区域的重心位置的水平线和上述肺野区域的确定出的轮廓的交点,作为上述胸壁,并在上述水平线上提取相对于上述重心位置位于与上述胸壁相反侧的点、且距上述重心位置的距离与从上述胸壁到上述重心位置的距离相等的点,作为上述纵隔。
2.根据权利要求1所述的存储介质,其特征在于,
在上述医用图像所包含的多个切片图像的每个中,基于表示针对每个区域进行计数所得的各切片位置中的病变的像素的个数来生成每个区域的直方图,
参照存储有每个区域的直方图的存储部来确定和与生成的每个区域的直方图的类似度对应的类似病例图像。
3.根据权利要求1所述的存储介质,其特征在于,
通过参照规定上述医用图像所包含的多个切片图像每个中的对上述胸壁和上述纵隔之间进行内分的比例的模型来确定上述医用图像所包含的多个切片图像每个中的对上述胸壁和上述纵隔之间进行内分的位置。
4.根据权利要求1所述的存储介质,其特征在于,
在上述医用图像所包含的多个切片图像每个中创建将两个上述肺野区域整合的整合图像,并将创建的该整合图像缩小到通过对上述胸壁和上述纵隔之间进行内分的位置的大小,基于缩小后的该整合图像来将上述肺野区域分割为中枢区域和末梢区域。
5.一种类似病例图像检索装置,其特征在于,具有:
轮廓确定部,从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
分割部,确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状将上述肺野区域分割为中枢区域和末梢区域;
计数部,对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
图像确定部,参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像,
上述分割部提取通过上述肺野区域的重心位置的水平线和上述肺野区域的确定出的轮廓的交点,作为上述胸壁,并在上述水平线上提取相对于上述重心位置位于与上述胸壁相反侧的点、且距上述重心位置的距离与从上述胸壁到上述重心位置的距离相等的点,作为上述纵隔。
6.一种类似病例图像检索方法,由计算机执行如下的处理:
从医用图像提取肺野区域以确定包括胸壁和纵隔的肺野区域的轮廓;
确定对上述胸壁和上述纵隔之间进行内分的位置,并基于上述肺野区域的形状将上述肺野区域分割为中枢区域和末梢区域;
对表示分割后的每个上述中枢区域和每个上述末梢区域的病变的像素的个数进行计数;以及
参照存储有表示每个区域的病变的像素的个数的存储部来确定与表示病变的像素的个数的类似度对应的类似病例图像,
在上述确定对上述胸壁和上述纵隔之间进行内分的上述位置的处理中,提取通过上述肺野区域的重心位置的水平线和上述肺野区域的确定出的轮廓的交点,作为上述胸壁,并在上述水平线上提取相对于上述重心位置位于与上述胸壁相反侧的点、且距上述重心位置的距离与从上述胸壁到上述重心位置的距离相等的点,作为上述纵隔。
CN201880003543.5A 2017-03-10 2018-01-24 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法 Active CN109716445B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017046736A JP6855850B2 (ja) 2017-03-10 2017-03-10 類似症例画像検索プログラム、類似症例画像検索装置及び類似症例画像検索方法
JP2017-046736 2017-03-10
PCT/JP2018/002089 WO2018163633A1 (ja) 2017-03-10 2018-01-24 類似症例画像検索プログラム、類似症例画像検索装置及び類似症例画像検索方法

Publications (2)

Publication Number Publication Date
CN109716445A CN109716445A (zh) 2019-05-03
CN109716445B true CN109716445B (zh) 2023-03-24

Family

ID=63447603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880003543.5A Active CN109716445B (zh) 2017-03-10 2018-01-24 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法

Country Status (6)

Country Link
US (1) US10964020B2 (zh)
EP (1) EP3594830B1 (zh)
JP (1) JP6855850B2 (zh)
CN (1) CN109716445B (zh)
ES (1) ES2875919T3 (zh)
WO (1) WO2018163633A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044736A1 (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 類似度決定装置、方法およびプログラム
WO2020044840A1 (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
JP7236239B2 (ja) * 2018-10-05 2023-03-09 キヤノンメディカルシステムズ株式会社 X線ctシステム及びctスキャン実行プログラム
JP7082287B2 (ja) * 2018-10-11 2022-06-08 富士通株式会社 画像検索プログラム、画像検索装置、及び画像検索方法
JP7151464B2 (ja) * 2018-12-21 2022-10-12 富士通株式会社 肺画像処理プログラム、肺画像処理方法および肺画像処理システム
JP7348469B2 (ja) * 2019-04-11 2023-09-21 富士通株式会社 異常陰影特定プログラム、異常陰影特定装置及び異常陰影特定方法
CN110706794B (zh) * 2019-09-26 2022-10-25 中国科学院深圳先进技术研究院 一种医学图像处理系统和医学图像处理方法
KR102516154B1 (ko) * 2019-12-31 2023-03-30 주식회사 코어라인소프트 정량화 파라미터를 이용하는 의료 영상 분석 시스템 및 유사 증례 검색 시스템, 및 그 시스템에서 실행되는 방법
JP2021149145A (ja) 2020-03-16 2021-09-27 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN111445463A (zh) * 2020-03-31 2020-07-24 上海联影智能医疗科技有限公司 相似肺部疾病病例的检索方法、装置和计算机设备
CN111507956B (zh) * 2020-04-15 2023-04-07 广西科技大学 一种纳米线数量统计方法及系统
CN117576321B (zh) * 2023-12-05 2024-07-19 上海长征医院 一种辅助肝脏手术规划建模系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036109A (zh) * 2014-03-14 2014-09-10 上海大图医疗科技有限公司 基于图像的病例检索、勾画及治疗计划系统和方法
CN106164902A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5881124A (en) * 1994-03-31 1999-03-09 Arch Development Corporation Automated method and system for the detection of lesions in medical computed tomographic scans
JPH08320923A (ja) * 1995-05-26 1996-12-03 Toshiba Medical Eng Co Ltd 異常陰影自動検出システム
JP4035216B2 (ja) * 1997-12-25 2008-01-16 キヤノン株式会社 画像処理方法及び画像処理装置
US7206462B1 (en) * 2000-03-17 2007-04-17 The General Hospital Corporation Method and system for the detection, comparison and volumetric quantification of pulmonary nodules on medical computed tomography scans
US7274810B2 (en) * 2000-04-11 2007-09-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US6577752B2 (en) * 2001-06-15 2003-06-10 Arch Development Corporation Automated method and system for the delineation of the chest wall in computed tomography scans for the assessment of pleural disease
US20050207630A1 (en) * 2002-02-15 2005-09-22 The Regents Of The University Of Michigan Technology Management Office Lung nodule detection and classification
JP2006006359A (ja) 2004-06-22 2006-01-12 Fuji Photo Film Co Ltd 画像生成装置、画像生成装置方法、およびそのプログラム
WO2006011545A1 (ja) 2004-07-30 2006-02-02 Hitachi Medical Corporation 医用画像診断支援方法、装置及び画像処理プログラム
JP2006181025A (ja) 2004-12-27 2006-07-13 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP2008200368A (ja) 2007-02-21 2008-09-04 Osaka Univ 間質性肺炎の定量的評価を自動的に実行する装置およびプログラム
JP5224768B2 (ja) 2007-10-12 2013-07-03 インフォコム株式会社 胸部正面x線画像の検像方法及び検像装置
CN102053963B (zh) * 2009-10-28 2012-08-08 沈阳工业大学 一种胸部x线图像检索方法
JP2011118543A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断系统
JP5607839B2 (ja) * 2011-11-24 2014-10-15 パナソニック株式会社 診断支援装置および診断支援方法
JP2014085851A (ja) * 2012-10-24 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像類似度算出装置およびその動作方法
JP2015136480A (ja) 2014-01-22 2015-07-30 富士フイルム株式会社 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015203920A (ja) * 2014-04-11 2015-11-16 キヤノン株式会社 類似症例検索システム、類似症例検索方法及びプログラム
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US10748661B2 (en) * 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
CN105957094B (zh) * 2016-06-15 2018-09-25 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统
WO2018107371A1 (zh) * 2016-12-13 2018-06-21 上海联影医疗科技有限公司 图像搜索系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036109A (zh) * 2014-03-14 2014-09-10 上海大图医疗科技有限公司 基于图像的病例检索、勾画及治疗计划系统和方法
CN106164902A (zh) * 2014-03-27 2016-11-23 富士胶片株式会社 类似病例检索装置、类似病例检索方法及类似病例检索程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Similarity searching for chest CT images based on object features and spatial relation maps;Sung-Nien Yu 等;《The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society》;20050314;第1298-1301页 *
基于边界逼近的肺实质分割方法;黄智定 等;《中国生物医学工程学报》;20161020;第35卷(第5期);第513-518页 *
融合SAE特征提取方法的医学图像检索研究;连伟烯;《中国优秀硕士学位论文全文数据库信息科技辑》;20161115;第I138-324页 *

Also Published As

Publication number Publication date
CN109716445A (zh) 2019-05-03
US10964020B2 (en) 2021-03-30
JP6855850B2 (ja) 2021-04-07
JP2018151791A (ja) 2018-09-27
US20190197688A1 (en) 2019-06-27
ES2875919T3 (es) 2021-11-11
EP3594830A4 (en) 2020-03-18
WO2018163633A1 (ja) 2018-09-13
EP3594830A1 (en) 2020-01-15
EP3594830B1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
CN109716445B (zh) 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US8483467B2 (en) Medical image diagnosis assisting apparatus and method, and computer readable recording medium on which is recorded program for the same
US8380013B2 (en) Case image search apparatus, method and computer-readable recording medium
KR102154733B1 (ko) 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
JP4640845B2 (ja) 画像処理装置およびそのプログラム
US20170221204A1 (en) Overlay Of Findings On Image Data
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
KR20150125436A (ko) 관심 영역별 추가 정보 제공 장치 및 방법
JP2007275408A (ja) 類似画像検索装置および方法並びにプログラム
US20140348387A1 (en) Lesion classification apparatus, and method of modifying lesion classification data
CN111445463A (zh) 相似肺部疾病病例的检索方法、装置和计算机设备
US8306354B2 (en) Image processing apparatus, method, and program
CN104217423B (zh) 选出图像数据组的自动产生
US20240046028A1 (en) Document creation support apparatus, document creation support method, and document creation support program
US10249050B2 (en) Image processing apparatus and image processing method
JP2006181025A (ja) 異常陰影検出方法および装置並びにプログラム
US20180308244A1 (en) Registration apparatus, registration method, and registration program
JP4554921B2 (ja) 異常陰影検出装置の作動方法および異常陰影検出装置並びにプログラム
JP6117865B2 (ja) コンピュータプログラム
US20240338817A1 (en) Information processing apparatus, information processing method, and storage medium
WO2006123272A2 (en) Automatic organ mapping method an device
US20240029870A1 (en) Document creation support apparatus, document creation support method, and document creation support program
JP2005087470A (ja) 異常陰影候補検出装置およびプログラム
JP2014121625A (ja) 画像診断支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant