CN114463246A - 圈选系统及圈选方法 - Google Patents

圈选系统及圈选方法 Download PDF

Info

Publication number
CN114463246A
CN114463246A CN202011347379.5A CN202011347379A CN114463246A CN 114463246 A CN114463246 A CN 114463246A CN 202011347379 A CN202011347379 A CN 202011347379A CN 114463246 A CN114463246 A CN 114463246A
Authority
CN
China
Prior art keywords
image
selection
format
module
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011347379.5A
Other languages
English (en)
Inventor
郭冠宏
彭忆亭
高竟中
许艾伶
杨毓仁
熊佩韦
陈俊佑
黄冠杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109138746A external-priority patent/TWI838592B/zh
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN114463246A publication Critical patent/CN114463246A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种圈选系统及圈选方法，该圈选系统通过一电子装置实现一神经网络圈选方法，用以自动地圈选病患三维医学图像内的预设目标，其中预设目标如肿瘤或邻近一或多个危急器官。圈选系统包含一存储单元、一处理单元、及多个计算机可运行模块。处理单元用以取得存储于存储单元的三维图像，并执行一圈选方法，以输出图像的一或多预设目标的圈选图像。处理单元执行的圈选方法包括：藉由一图像预处理模块，以增强预设目标的图像特征与提升圈选准确度；藉由一神经网络圈选模块，萃取至少一预设目标的多个抽象特征并还原至原输入图像的尺寸以产生至少一预设目标的圈选图像。

Description

圈选系统及圈选方法
技术领域
本发明涉及一种圈选系统及圈选方法，特别涉及以人体图像为输入，将该图像进行重组转换后的圈选系统及圈选方法。
背景技术
放射治疗为癌症治疗方法中相当重要的一环，以全世界第七大癌症的头颈癌为例，放射治疗为用于治疗头颈癌最广泛的疗法之一。然而，放射治疗计划的关键在于肿瘤与邻近多个危急器官(Organs at Risk，OAR)的圈选准确度，唯经此准确步骤方能将辐射剂量准确聚焦于肿瘤，并降低其邻近健康器官的潜在副作用。
临床上，治疗规划的圈选工作须仰赖放射肿瘤专科医师依据所得的高解析度计算机断层模拟图像，逐一手绘圈选每张图像的肿瘤组织与多个邻近危急器官。此一手绘圈选步骤平均须花费医师四小时以完成一位病患的圈选工作，导致延迟病患及早治疗的时间点、甚至阻碍依疗程重新制定放射治疗计划的密集性。
因此，如何快速地圈选出特定的器官或肿瘤，减少医生的人力负担，已成为本领域需解决的问题之一。
发明内容
为了解决上述的问题，本公开内容的一方面提供了一种圈选系统，用以实现一神经网络圈选方法，自动地圈选病患三维医学图像内的预设目标，其中预设目标如肿瘤或邻近一或多个危急器官。圈选系统包含一存储单元及一处理单元。处理单元用以取得存储于存储单元中的一可支持多维图像存储格式的三维图像，并执行一圈选方法，以输出至少一预设目标的圈选图像。处理单元执行的圈选方法包括：藉由一图像预处理模块，通过窗化一图像数值于至少一个窗口数值区间以增强至少一预设目标的图像特征，并正规化图像数值于一参照数值区间，其中参照数值区间介于0到1，或标准化图像数值，使图像数值具有平均值为0且标准差为1的特性，以提升一圈选准确度(Accuracy)；藉由一神经网络圈选模块，先通过萃取经预处理的医学图像中的一个，以萃取至少一预设目标的多个抽象特征，再通过还原抽象特征至原输入图像的尺寸，以产生至少一预设目标的圈选图像，其中圈选图像为二值图像，即为图像数值为0或1的图像，其中图像数值为0者为背景，图像数值为1者为圈选的至少一预设目标。
由上述可知，藉由以本申请圈选方法实现的圈选系统，可利用自动圈选方法对三维图像进行一系列三维空间的特征萃取，进而自动圈选出三维图像中的一或多预设目标，预设目标如肿瘤与邻近一或多个危急器官。综观而言，本申请的圈选系统与圈选方法可应用于辅助放射治疗计划的圈选关键步骤，有效地提升放射治疗规划的肿瘤、邻近危急器官、与需经放射线照射的区域的圈选效率。
附图说明
图1A是依照本发明一实施例绘示一种圈选系统、数据转换模块、数据去识别化模块、特殊文件格式的输出模块及圈选预览与修订模块的方块图。
图1B是依照本发明一实施例绘示一种圈选系统的方块图。
图2是根据本发明的一实施例绘示一种圈选预览与修订模块的显示界面的示意图。
图3是根据本发明的一实施例绘示一种圈选方法的流程图。
图4A～4B根据本发明的一实施例绘示一种圈选图像的示意图。
图5是根据本发明的一实施例绘示一种放射治疗结构集合格式产生方式的示意图。
【符号说明】
10：圈选系统
11：数据转换模块
12：数据去识别化模块
13：特殊文件格式的输出模块
14：圈选预览与修订模块
ST：存储单元
PU：处理单元
PRM：图像预处理模块
NNM：神经网络圈选模块
CL：字段
BR：大脑
IF：显示界面
300：圈选方法
310～350：步骤
50～53：三维图像
TA：目标位置
B1：脑干
B2：下颌骨
B3：腮腺
L：左腮腺
R：右腮腺
T：肿瘤
S：脊髓
SP：坐标空间
IMGO：初始三维图像
SL1～SLN：计算机断层摄影模拟图像
L’：左腮腺轮廓
R’：右腮腺轮廓
T’：肿瘤轮廓
S’：脊髓轮廓
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
请参照图1A、1B、2～3，图1A是依照本发明一实施例绘示一种圈选系统10、数据转换模块11、数据去识别化模块12、特殊文件格式的输出模块13及圈选预览与修订模块14的方块图。图1B是依照本发明一实施例绘示一种圈选系统10的方块图。图2是根据本发明的一实施例绘示一种圈选预览与修订模块14的显示界面IF的示意图。图3是根据本发明的一实施例绘示一种圈选方法300的流程图。
如图1A所示，圈选系统10耦接于数据转换模块11、数据去识别化模块12、特殊文件格式的输出模块13及圈选预览与修订模块14。数据转换模块11、数据去识别化模块12、特殊文件格式的输出模块13及圈选预览与修订模块14各自或一并可以由集成电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digital signalprocessor)、中央处理器(central processor)、图形处理器(graphics processor)、特殊应用集成电路(application specific integrated circuit，ASIC)、现场可编程逻辑门阵列(field programmable gate array，FPGA)或一逻辑电路来实施。在一实施例中，数据转换模块11、数据去识别化模块12、特殊文件格式的输出模块13及圈选预览与修订模块14可藉由具运算、传输及存储功能的装置实现，且不限定仅能实现于圈选系统10的装置。
如图1B所示，圈选系统10中包含存储单元ST、处理单元PU、图像预处理模块PRM、神经网络圈选模块NNM。在一实施例中，圈选系统10可以是计算机、服务器、或其他具有存储与运算功能的电子装置。在一实施例中，圈选系统10包括但不仅限于存储单元ST与处理单元PU。
在一实施例中，存储单元ST可被实作为只读存储器、快闪存储器、软盘、硬盘、光盘、移动盘、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的存储介质。在一实施例中，存储单元ST用以存储多个计算机可运行模块、接收到的一病患的一或多张医学图像、经数据转换模块11产生的一三维图像、经数据去识别化模块12产生的一去识别化三维图像、经特殊文件格式的输出模块13产生的一具特殊文件格式的文件、与经圈选预览与修订模块14编修的一三维图像。
在一实施例中，处理单元PU可以由集成电路如微控制单元、微处理器、数字信号处理器、中央处理器、图形处理器、特殊应用集成电路、现场可编程逻辑门阵列或一逻辑电路来实施。
在一实施例中，图像预处理模块PRM、神经网络圈选模块NNM可以由集成电路如微控制单元、微处理器、数字信号处理器、中央处理器、图形处理器、特殊应用集成电路、现场可编程逻辑门阵列或一逻辑电路来实施。在一实施例中，图像预处理模块PRM、神经网络圈选模块NNM可以由软件、固件或硬件实施。
在一实施例中，圈选系统10适用于圈选至少一预设目标，预设目标可以是人体部位，例如为大脑颞叶、内耳、视神经、视交叉、脑下垂体、水晶体、视神经、眼球、咽、喉、口腔、腮腺、下颌腺、甲状腺、咽缩肌、摄护腺…等危急器官(Organs at Risk，OAR)、抑或可以是颈部两侧淋巴区、异常淋巴结、肿瘤位置…等需经放射线照射的区域。
在一实施例中，如图2所示，圈选预览与修订模块14包含一显示界面IF，显示界面IF中可显示一些字段CL、三维图像及预设目标的圈选图像BR，显示界面IF可以由显示器或触控面板实现，显示器或触控面板可以是包含于在圈选预览与修订模块14中的装置，或是圈选预览与修订模块14的外接显示器或触控面板。
在一实施例中，临床放射治疗计划的规划藉由应用图1A所示的圈选系统10与各模块11～14作辅助，能节省人力资源，并且更快速且有效率的完成圈选工作。圈选方法300可以由图1A所示的圈选系统10与各模块11～14实现。
在步骤310中，处理单元PU取得一病患的一或多张二维图像，数据转换模块11将该一或多张二维图像重组转换为一三维图像并存储为一可支持多维图像存储格式的文件。
在一实施例中，处理单元PU用以存取存储于存储单元ST中的一可支持多维图像存储格式的三维图像。
在一实施例中，一预设目标的一或多张二维图像可利用图像装置拍摄，如计算机断层摄影装置(Computed Tomography，CT)；其中此些二维图像为符合一医疗数字图像传输协议(Digital Imaging and Communications in Medicine，DICOM)格式的一计算机断层摄影模拟图像，医疗数字图像传输协议格式包含一元数据与一像素数据。
在一实施例中，藉由计算机断层摄影装置可拍摄至少一预设目标，以提取至少一预设目标的至少一二维图像，藉由数据转换模块11将至少一二维图像重组转换为一三维图像并存储为一可支持多维图像存储格式的文件；其中，可支持多维图像存储格式包含一文件头数据与一图像数据，文件头数据为医疗数字图像传输协议格式中元数据的部分数据。
在一实施例中，处理单元PU取得一可支持多维图像存储格式的三维图像文件，并执行一图像圈选方法，以输出三维图像的一预设目标圈选图像。在一实施例中，图像预处理模块PRM通过窗化输入的一图像数值于至少一个窗口数值区间以增强至少一预设目标的图像特征；并正规化图像数值于一参照数值区间，其中参照数值区间介于0到1，或标准化图像数值，使图像数值具有平均值为0或标准差为1的特性，以提升一圈选准确度。
在一实施例中，数据转换模块11将接收的二维图像重组为一可支持多维图像存储格式的文件；其中，可支持多维图像存储格式包含一常见多维图像格式，例如为一神经图像讯息学协议(Neuroimaging Informatics Technology Initiative，NIfTI)格式或为似原始格栅数据格式(Nearly Raw Raster Data，NRRD)。具体而言，数据转换模块11用以接收至少一二维图像，将至少一二维图像转换成一三维图像，并存储为一可支持多维图像存储格式的文件；其中，二维图像存储格式包含一常见图像格式，例如为便携式网络图形(Portable Network Graphics，PNG)图像格式或为医疗数字图像传输协议格式。
在一实施例中，在步骤310中，处理单元PU所接收的医学图像可源自于已拍摄的计算机断层图像，其包含预设目标可以是至少一个人体部位，人体部位例如为大脑颞叶、内耳、视神经、视交叉、脑下垂体、水晶体、视神经、眼球、咽、喉、口腔、腮腺、下颌腺、甲状腺、咽缩肌、摄护腺…等危急器官、抑或可以是颈部两侧淋巴区、异常淋巴结、或肿瘤位置…等需经放射线照射的区域。然而，人体部位不限于此。
在一实施例中，藉由磁振造影(Magnetic Resonance Imaging，MRI)装置拍摄至少一预设目标，以提取至少一预设目标的一或多张二维图像，在步骤310，处理单元PU接受一或多张二维图像，此图像拍摄范围可以是危急器官或需经放射线照射的区域，其中危急器官是指对辐射敏感度高且邻近于肿瘤的正常器官，因此治疗计划的关键在于准确聚焦肿瘤的辐射剂量且降低危急器官的辐射剂量。
在一实施例中，在步骤310，处理单元PU所接受的医学图像数据遵从医疗数字图像传输协议的格式，其主要的功能是提供数字化的医学图像，并将医疗图像传递于网络上，以方便存储、调阅、与管理。医疗数字图像传输协议透由一物件信息定义(InformationObject Definition，IOD)描述每个图像，而每个物件信息定义可分为两大部分：图像属性(attribute)及像素数据(pixel data)。图像属性则包含基本信息的摘要，例如：病患姓名、病历号码、检查项目和日期、图像设备和扫描参数...等，图像属性使得数据易于搜寻与查阅；像素数据描述图像中每一图像点的值。
在一实施例中，计算机断层摄影模拟图像可应用于获得人体立体三维图像，再透由计算机断层摄影数值(CT number)计算得到电子密度，进而用于计算放射线治疗计划的组织吸收剂量，以供临床评估放射治疗计划的质量。
在一实施例中，数据转换模块11接收一或多个预设目标的一或多张二维图像，并将一或多张二维图像重组转换为一三维图像，并将三维图像存储为一可支持多维图像存储格式图像，并传输一可支持多维图像存储格式图像。
在一实施例中，神经图像讯息学协议格式是一种比较新的图像格式，通过将一或多张图像的图像属性与像素数据合并成一文件，以单一文件存储多维图像。
在一实施例中，数据转换模块11将具医疗数字图像传输协议的一或多张计算机断层摄影模拟图像(一或多张二维的DICOM图像)重组转换成一神经图像讯息学协议格式图像(三维的NIfTI图像)，图像重组转换方式可以通过已知的dcm2nii、dcm2niix、dicom2nifti、或其它套件实作。当数据转换模块11将具医疗数字图像传输协议的一或多张计算机断层摄影模拟图像重组转换成一神经图像讯息学协议格式图像后，代表已同时将一或多张二维图像转换成一三维图像。
在步骤320中，数据去识别化模块12将可支持多维图像存储格式的文件进行去识别化，并传送去识别化的可支持多维图像存储格式的文件。
在一实施例中，数据去识别化模块12传送去识别化的可支持多维图像存储格式的文件至一圈选预览与修订模块14。
在一实施例中，数据去识别化模块12通过一数据去识别化方法提取一可支持多维图像存储格式图像文件头的一图像解析度、一仿射变换矩阵与一数值尺度转换，而去除存于可支持多维图像存储格式图像文件头的病患个人数据，并存储为另一可支持多维图像存储格式的图像。
在一实施例中，数据去识别化模块12执行的数据去识别化方法包含去除可支持多维图像存储格式图像的一文件头部分数据并存储去除文件头部分数据的三维图像。在一实施例中，去识别化方法主要是在将一或多张二维图像转换成一三维图像时去除可能存于可支持多维图像存储格式图像文件头数据中的病患数据，其中，可支持多维图像存储格式文件头数据是指图像属性与一些基本信息的摘要，例如：病患姓名、病历号码、检查项目和日期。
在一实施例中，圈选系统10与数据转换模块11架设于不同局域网络(Local AreaNetwork，LAN)，当此两者之间要传输数据时，都需要先将数据进行去识别化后再做传输。
在一实施例中，圈选系统10与数据转换模块11架设于同一局域网络(例如同一间医院中)，当此两者之间要传输数据时，可以选择性地传输原数据或去识别化的数据。
在步骤330中，神经网络圈选模块NNM接收一可支持多维图像存储格式图像，并圈选一可支持多维图像存储格式图像的预设目标，以产生一或多圈选图像，并传送圈选图像。
在一实施例中，圈选预览与修订模块14用以使医疗领域专业人士对自动圈选的结果进行手绘编修、筛选与确认，并存储为一可支持多维图像存储格式，可支持多维图像存储文件格式为圈选预览与修订模块14的输入与输出文件格式。
在一实施例中，在神经网络圈选模块NNM中，神经网络不同层的各个神经元权重为先前权重数据；先前权重数据藉由神经网络于提升多个圈选图像与标注图像准确度的训练过程中，迭代而获得的各个神经元权重；其中，标注图像出于已被医疗领域专业人士标注的至少一预设目标的图像数据库，至少一预设目标为一肿瘤、一危急器官、或一需经放射线照射的区域。
在一实施例中，神经网络圈选模块NNM先通过执行一特征萃取步骤于经图像预处理模块PRM预处理的三维图像，以获取多个抽象特征，特征萃取步骤包含多个卷积层(Convolutional Layers)、多个池化层(Pooling Layers)、与多个激励函数(ActivationFunctions)。
在一实施例中，神经网络圈选模块NNM先通过执行一特征萃取步骤，以萃取经预处理三维图像中至少一预设目标的多个抽象特征后，再通过还原多个抽象特征至原一输入图像尺寸，以产生至少一预设目标的圈选图像；其中，此还原步骤包含将三维图像经由多个卷积层、多个扩增采样层(Upsampling Layers)、与多个激励函数的运算，以还原多个抽象特征至原一输入图像尺寸；其中，至少一预设目标的圈选图像为二值图像，即图像数值0或1的图像，图像数值为0者为背景、图像数值为1者为圈选的至少一预设目标。
在一实施例中，圈选系统10与数据转换模块11可以架设于同一或不同局域网络的计算机设备中。在一实施例中，圈选系统10与数据转换模块11架设于同一局域网络的计算机设备中，则圈选系统10可使用本地端数据夹(同计算机设备)或可藉由超文本传输协议(HyperText Transfer Protocol Application Programming Interface，HTTP API)实作的应用程序接口(不同计算机设备)，接收来自数据转换模块11的可支持多维图像存储格式图像，并执行一圈选方法，以产生至少一预设目标的圈选图像。在另一实施例中，圈选系统10与数据转换模块11架设于不同局域网络中，则圈选系统10可藉由超文本传输协议实作的应用程序接口，接收来自数据转换模块11的可支持多维图像存储格式图像，并执行一圈选方法，以产生至少一预设目标的圈选图像。
在一实施例中，请参阅图4A～4B，图4A～4B是根据本发明的一实施例绘示一种圈选图像的示意图。三维图像50为初始具尚未被圈选的预设目标，假定为肿瘤，则圈选系统10圈选预设目标肿瘤于目标位置TA处。以圈选预览与修订模块14显示已圈选的肿瘤目标位置TA处于三维图像51。
在一实施例中，在图4B中，三维图像52表示初始且其预设目标肿瘤尚未被圈选。以圈选系统10圈选预设目标肿瘤以及其他预设目标，如危急器官。圈选预览与修订模块14可以预览与修订圈选的多个预设目标，预设目标例如为肿瘤TA、脑干B1、下颌骨B2(图4B绘制下颌骨的一部分代表的)、腮腺B3，圈选预览与修订模块14显示三维图像52经圈选系统10已圈选的脑干B1、下颌骨B2、腮腺B3及肿瘤TA的位置，也可以如三维图像53所示，显示头颅图像的部分横切面，以更清楚的看到肿瘤TA的位置(如图4B所示)。
在一实施例中，圈选系统10采用神经网络模型。
在一实施例中，圈选系统10采用神经网络架构的三维图像分割算法，例如以三维U形神经网络(3D U-net)、三维遮罩区域卷积神经网络(3D mask region-basedconvolutional neural network，3D Mask R-CNN)、三维膨胀多光纤网络(3D dilatedmulti-fiber network，3D DMFNet)等网络架构。藉由将多个初始与标注的三维图像一同输入神经网络架构，在训练过程中，通过不停迭代各个神经元的参数权重，渐次提升多个圈选图像与放射肿瘤专科医师标注图像的准确度，使网络架构选择性存储具高准确度的参数权重，以产生神经网络模型。
在步骤340中，圈选系统10在训练神经网络模型时，多次接收多个正确目标及圈选结果，依据一准确度计算法计算多个正确目标与圈选结果的一准确度。其中，正确目标为放射肿瘤专科医生给定，用于产生神经网络模型及评估产生的神经网络模型准确度的标注图像，圈选结果为神经网络模型产生的圈选图像。
在一实施例中，圈选预览与修订模块14的目的在于使具医疗专业的从业人员能针对自动圈选完的圈选结果，进行手绘编修、筛选、确认、与存储成不同格式的文件。
在一实施例中，圈选系统10在训练神经网络模型时可以将标注图像数据分为三组，分别为训练数据集、验证数据集、以及不参与训练的测试数据集。训练数据集用以训练网络模型、验证数据集用以挑选训练过程中正确目标与圈选结果的最佳准确度模型、以及不参与训练的测试数据集用以测试产生模型于未用于训练数据集的正确目标与圈选结果的准确度。
在一实施例中，准确度计算法可为一体积交集与联集比例的度量函数(Intersection over Union，IoU)、一体积集合相似度度量函数(volumetric DiceSimilarity Coefficient，volumetric DSC)或一表面集合相似度度量函数(surface DiceSimilarity Coefficient，surface DSC)，此些度量函数可输出0至1之间的数值，数值越趋近于1则代表准确度越高。
例如，体积交集与联集比例的度量函数是将正确目标与圈选结果的交集除以正确目标与圈选结果的联集。
例如，体积集合相似度度量函数是将正确目标与圈选结果的体积相加，得到一体积和，再将正确目标与圈选结果图像的两倍交集除以体积和。
例如，表面集合相似度度量函数是先定义一以毫米定义的可接受圈选表面最大误差，再将正确目标与圈选结果在可接受误差之间的表面积(例如为三毫米内的可接受圈选表面最大误差)相加，以得到一可接受表面积和，另外将正确目标与圈选结果的表面积直接相加，得到一总表面积和，再将可接受表面积和除以总表面积和。
在步骤350中，当多个圈选结果与正确目标于验证数据集的准确度在特定的训练迭代次数后，无显著的提升，代表预设目标的一神经网络模型已建立完成。
在一实施例中，当验证数据集的准确度在特定的训练迭代次数后无显著的提升，则判断圈选系统10中对应于圈选结果(例如为肿瘤)的目标模型已经训练完成(例如圈选系统10中，用来圈选肿瘤的目标模型已经训练完成)。
在一实施例中，圈选预览与修订模块14调整圈选结果，并将调整后的圈选结果传到数据转换模块11，数据转换模块11依据与预设目标总数量一致的一或多个三维空间区域描绘项目(item)为基础，将圈选结果转换成符合医疗数字图像传输协议的一放射治疗结构集合(radiotherapy structure set，RTSS)格式，并将放射治疗结构集合格式存储到数据转换模块11中的一存储单元。
在一实施例中，圈选结果所存储的是一个区块(例如肿瘤)的体积，放射治疗结构集合格式所存储的是一个区块(例如肿瘤)最外框的轮廓线。
在一实施例中，以计算机断层摄影装置拍摄之一预设目标，在拍摄后存储为医疗数字图像传输协议图像，医疗数字图像传输协议图像是医疗图像存储格式，也是医疗用的传输协议，一般是以一或多张医疗数字图像传输协议图像存储一病患的拍摄结果。另一方面，放射治疗结构集合格式是放射治疗专用的格式，可以存储圈选结果的坐标。由前述可知，当数据转换模块11将一或多张医疗数字图像传输协议的计算机断层摄影模拟图像转换为一神经图像讯息学协议格式的三维图像后，将三维图像送入圈选系统10，由圈选系统10圈选一或多个预设目标并传送预设目标的圈选结果，由圈选预览与修订模块14接收圈选结果，再经医师对圈选结果进行调整及确认，并将确认过的圈选结果回传圈选系统10，圈选系统10将已确认的圈选结果传到数据转换模块11，数据转换模块11将已确认的圈选结果转成放射治疗结构集合格式，并存储符合放射治疗结构集合格式的圈选结果于数据转换模块11的存储单元中。
在一实施例中，数据转换模块11采用神经图像讯息学协议格式的三维数据以串接其它系统(例如圈选预览与修订模块14)。然而，数据转换可以采用任何三维数据格式，神经图像讯息协议格式仅为举例，故不限制符合此协议才能串接。
在一实施例中，圈选预览与修订模块14可以通过显示界面IF，如显示器或触控面板，显示圈选结果(例如为肿瘤)，医师可以通过鼠标(显示界面IF为显示器时)、手指、触控笔(显示界面IF为触控面板时)调整并确认圈选结果，圈选预览与修订模块14将确认后的圈选结果传到圈选系统10，圈选系统10将已确认的圈选结果传到数据转换模块11，数据转换模块11依据与预设目标总数一致的一或多三维空间区域描绘项目为基础，将圈选结果转换成符合医疗数字图像传输协议的一放射治疗结构集合格式，并将放射治疗结构集合格式存储到数据转换模块11中的一存储单元。
在一实施例中，数据转换模块11的存储单元用以提供一存储空间，存储单元可被实作为只读存储器、快闪存储器、软盘、硬盘、光盘、移动盘、磁带、可由网络存取的数据库或本领域技术人员可轻易思及具有相同功能的存储介质。
请参阅图5，图5是根据本发明的一实施例绘示一种放射治疗结构集合格式产生方式的示意图。
放射治疗结构集合格式产生方式是由同一组计算机断层摄影装置或同一组磁振造影装置扫描产生的一或多张医疗数字图像传输协议图像中，分别提取同组共通与单张个别信息。
其中，同组共通信息为同组跨多张医疗数字图像传输协议图像中记录的相同共通信息，如描述病人(patient)、设备制造商(manufacturer)、图像类型(modality)等信息。同组共通信息将建置于放射治疗结构集合格式中，作为病人、研究和系列(series)等数据实体(Information Entity)。
其中，单张个别信息指同组跨多张医疗数字图像传输协议图像中记录的相异个别信息，如图像编号。单张个别信息将建置于放射治疗结构集合格式中，作为结构集合数据实体。
欲产生单一个完整的放射治疗结构集合格式的步骤如下，先以提取的同组共通与单张个别信息描述放射治疗结构集合格式的一般项目；次以建入与一或多预设目标(可以是危急器官、肿瘤、一需经放射线照射的区域)总数一致的三维空间区域描绘项目，三维空间区域描绘项目例如，左腮腺L(parotid)、右腮腺R(parotid)、肿瘤T、脊髓S(spinalcord)。其中，三维空间区域描绘项目可以是指：依据预设目标的初始三维图像IMGO定义的一坐标空间SP中，预设目标于坐标空间SP的外框轮廓各点坐标(如肿瘤T在空间位置SP中的坐标)。此外，每一三维空间区域描绘项目包含对应危急器官或肿瘤的编号、三维空间区域描绘项目参照的医疗数字图像传输协议图像、与三维空间区域描绘项目的名称…等信息。
最后，以上一步骤建置的三维空间区域描绘项目为基础，分别建置危急器官、肿瘤、或所需放射线照射区域在每张医疗数字图像传输协议图像的坐标位置，例如，在计算机断层摄影模拟图像SL1中由10个点描绘出肿瘤T的最上部，在计算机断层摄影模拟图像SL2中由15个点描绘出肿瘤T的次上部，在计算机断层摄影模拟图像SL15中由5个点描绘出肿瘤T的最下部。由此可知，由多个点可以构成一个轮廓，例如，在计算机断层摄影模拟图像SLX中，可以看到左腮腺轮廓L’、右腮腺轮廓R’、肿瘤轮廓T’、脊髓轮廓S’。
在此例中，藉由一个放射治疗结构集合格式的文件，可以描述一人体体积(volume)中被圈选出的一或多个预设目标的轮廓，一或多个预设目标的轮廓以一或多个三维空间区域描绘项目表示，一或多个三维空间区域描绘项目在每个横切面(其它种切面也可以)的轮廓通过以毫米(millimeter，mm)为单位的坐标位置对应于计算机断层摄影模拟图像SL1～SLN。换句话说，人体体积(volume)包含计算机断层摄影模拟图像SL1～SLN。
在一实施例中，特殊文件格式的输出模块13用以将可支持多维图像存储文件格式转换为一治疗规划设备支持的文件格式；其中，特殊文件格式的输出模块13的输出方法通过提取同组的一或多医疗数字图像传输协议图像的同组共通信息与单张个别信息，并利用预设目标的三维空间二值图像产生与预设目标数目一致的三维空间区域描绘项目，分别建置至少一预设目标轮廓于相对应医疗数字图像传输协议图像的区域描绘坐标位置，以描述预设目标于一图像拍摄装置(如计算机断层摄影装置)的空间位置。
藉由将圈选结果转换成符合医疗数字图像传输协议的放射治疗结构集合格式，可以减少所需要的存储空间，因为放射治疗结构集合格式仅记录预设目标的轮廓坐标位置，并不是存整张图像，且市面上的医疗图像存储系统大多采用此格式，因此也有助于将具有圈选预设目标的放射治疗结构集合格式导入医疗图像存储系统，以利后续医疗图像存储系统的应用。
由上述可知，藉由本申请的圈选系统及圈选方法，可以自动圈选步骤通过对三维图像进行一系列三维空间的特征萃取，进而自动圈选出三维图像中的预设目标，预设目标如肿瘤、危急器官、或需经放射线治疗区域。综观而言，本申请的圈选系统及圈选方法可应用于辅助放射治疗计划的圈选关键步骤，有效地提升放射治疗规划的预设目标的圈选效率。

Claims (10)

1.一种圈选系统，包含：
存储单元，用以存储病患的多个医学图像；以及
处理单元，用以取得存储于该存储单元中的可支持多维图像存储格式的三维图像，并执行圈选方法，以输出至少一预设目标的圈选图像，该处理单元执行的该圈选方法包括：
藉由图像预处理模块，通过窗化输入的图像数值于至少一个窗口数值区间以增强该至少一预设目标的图像特征，并正规化该图像数值于参照数值区间，其中该参照数值区间介于0到1，或标准化该图像数值，使该图像数值具有平均值为0或标准差为1的特性，以提升圈选准确度；
藉由神经网络圈选模块先通过萃取经预处理的这些医学图像，以萃取该至少一预设目标的多个抽象特征，再通过还原这些抽象特征至原输入图像的尺寸，以产生该至少一预设目标的圈选图像，其中该圈选图像为二值图像，即为该图像数值为0或1的图像，其中该图像数值为0者为背景，该图像数值为1者为圈选的该至少一预设目标。
2.如权利要求1所述的圈选系统，其中，在神经网络圈选模块中，将卷积层、池化层、扩增采样层的各个神经元权重视为多个先前权重数据；这些先前权重数据藉由神经网络于提升多个圈选图像与多个标注图像准确度的训练过程中，迭代而获得的各个神经元权重；其中，多个标注图像是出于已被医疗领域专业人士标注的该至少一预设目标的图像数据库，该至少一预设目标为肿瘤、危急器官、或需经放射线照射的区域。
3.如权利要求1所述的圈选系统，还包括：
数据转换模块，用以接收至少一二维图像，将该至少一二维影重组转换为三维图像，并将三维图像存储为可支持多维图像存储格式图像；其中，这些二维图像存储格式包含常见图像格式或特定文件格式的文件，该特定文件格式为符合医疗数字图像传输协议(DigitalImaging and Communications in Medicine，DICOM)的文件格式，该医疗数字图像传输协议格式包含元数据与像素数据。
4.如权利要求3所述的圈选系统，还包括：
数据去识别化模块，通过数据去识别化方法提取可支持多维图像存储格式图像文件头之一图像解析度、仿射变换矩阵与数值尺度转换，而去除于该可支持多维图像存储格式图像文件头的病患个人数据，并存储为另一可支持多维图像存储格式的图像。
5.如权利要求1所述的圈选系统，还包括：
圈选预览与修订模块，用以使医疗领域专业人士对自动圈选的结果进行手绘编修、筛选与确认，并存储为可支持多维图像存储格式。
6.如权利要求1所述的圈选系统，还包括：
特殊文件格式的输出模块，用以将可支持多维图像存储格式转换为治疗规划设备支持的文件格式；
其中，该特殊文件格式的输出模块的输出方法通过提取同组的一或多医疗数字图像传输协议图像的同组共通信息与单张个别信息，并利用该至少一预设目标的三维空间二值图像产生与该至少一预设目标数目致的三维空间区域描绘项目(item)，分别建置该至少一预设目标轮廓于相对应这些医疗数字图像传输协议图像的区域描绘坐标位置，以描述该至少一预设目标于图像拍摄装置的空间位置。
7.如权利要求1所述的圈选系统，还包含：
计算机断层摄影装置，用以拍摄该至少一预设目标，以提取该至少一预设目标的至少一二维图像，藉由数据转换模块将该至少一二维图像重组为特定文件格式的文件。
8.如权利要求7所述的圈选系统，还包含：
去识别化模块，用以将该特定文件格式的文件进行去识别化。
9.如权利要求8所述的圈选系统，其中，该去识别化模块将去识别化的该特定文件格式的文件传送至圈选预览与修订模块。
10.如权利要求1所述的圈选系统，还包含：
数据转换模块，用以将特定文件格式的文件转换为符合医疗数字图像传输协议的文件格式。
CN202011347379.5A 2020-11-06 2020-11-26 圈选系统及圈选方法 Pending CN114463246A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109138746A TWI838592B (zh) 2020-11-06 圈選系統
TW109138746 2020-11-06

Publications (1)

Publication Number Publication Date
CN114463246A true CN114463246A (zh) 2022-05-10

Family

ID=81404638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347379.5A Pending CN114463246A (zh) 2020-11-06 2020-11-26 圈选系统及圈选方法

Country Status (2)

Country Link
US (1) US12014813B2 (zh)
CN (1) CN114463246A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN109378043A (zh) * 2017-10-13 2019-02-22 北京昆仑医云科技有限公司 基于患者的医学图像生成诊断报告的系统和方法及介质
CN109671053A (zh) * 2018-11-15 2019-04-23 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用
TW202040585A (zh) * 2019-02-07 2020-11-01 美商醫隼智慧公司 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073598A (ja) * 2011-09-29 2013-04-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US11573235B2 (en) * 2012-03-30 2023-02-07 Leica Microsystems Cms Gmbh Methods for generating an image of a biological sample
KR20180017606A (ko) * 2016-08-10 2018-02-21 삼성전자주식회사 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
US10817622B2 (en) * 2018-11-06 2020-10-27 Medicom Technologies Inc. Systems and methods for de-identifying medical and healthcare data
US20210391040A1 (en) * 2018-11-21 2021-12-16 Arterys Inc. Systems and methods for tracking, accessing and merging protected health information
FR3093217B1 (fr) * 2019-02-21 2022-01-07 Dental Monitoring Procede de correction d’un contour
US20210052157A1 (en) * 2019-08-21 2021-02-25 Case Western Reserve University Assessment of endothelial cells and corneas at risk from ophthalmological images
US11969280B2 (en) * 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
SG10202100119SA (en) * 2021-01-06 2021-07-29 Grabtaxi Holdings Pte Ltd Method, data processing apparatus and computer program product for generating map data
US20230329909A1 (en) * 2022-03-17 2023-10-19 Lensar, Inc. Systems and methods for determining the characteristics of structures of the eye including shape and positions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN109378043A (zh) * 2017-10-13 2019-02-22 北京昆仑医云科技有限公司 基于患者的医学图像生成诊断报告的系统和方法及介质
CN109671053A (zh) * 2018-11-15 2019-04-23 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用
TW202040585A (zh) * 2019-02-07 2020-11-01 美商醫隼智慧公司 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備

Also Published As

Publication number Publication date
US12014813B2 (en) 2024-06-18
US20220148711A1 (en) 2022-05-12
TW202219978A (zh) 2022-05-16

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
US11869202B2 (en) Method and system for processing multi-modality image
US20210358123A1 (en) AI Platform For Pixel Spacing, Distance, And Volumetric Predictions From Dental Images
KR101839789B1 (ko) 치과 영상의 판독 데이터 생성 시스템
US11366985B2 (en) Dental image quality prediction platform using domain specific artificial intelligence
US20220180447A1 (en) Artificial Intelligence Platform for Dental Claims Adjudication Prediction Based on Radiographic Clinical Findings
US20220012815A1 (en) Artificial Intelligence Architecture For Evaluating Dental Images And Documentation For Dental Procedures
Ren et al. Machine learning in dental, oral and craniofacial imaging: a review of recent progress
US11357604B2 (en) Artificial intelligence platform for determining dental readiness
Lo Giudice et al. Fully automatic segmentation of the mandible based on convolutional neural networks (CNNs)
US20210358604A1 (en) Interface For Generating Workflows Operating On Processing Dental Information From Artificial Intelligence
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
CN106462974B (zh) 用于分割图像的参数优化
US11526994B1 (en) Labeling, visualization, and volumetric quantification of high-grade brain glioma from MRI images
EP3748648A1 (en) Artificial intelligence dispatch in healthcare
Lumetti et al. Annotating the inferior alveolar canal: The ultimate tool
CA2854992C (en) Process and apparatus for data registration
TW202409874A (zh) 牙齒復原自動化技術
Miranda et al. Artificial intelligence applications in orthodontics
CN114463246A (zh) 圈选系统及圈选方法
TWI838592B (zh) 圈選系統
EP3794550B1 (en) Comparison of a region of interest along a time series of images
Liu et al. Fully automatic AI segmentation of oral surgery-related tissues based on cone beam computed tomography images
Jassim et al. The geometric and dosimetric accuracy of kilovoltage cone beam computed tomography images for adaptive treatment: a systematic review
AbuSalim et al. Analysis of Deep Learning Techniques for Dental Informatics: A Systematic Literature Review. Healthcare 2022, 10, 1892

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination