CN111223555B - 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法 - Google Patents

一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法 Download PDF

Info

Publication number
CN111223555B
CN111223555B CN201911366685.0A CN201911366685A CN111223555B CN 111223555 B CN111223555 B CN 111223555B CN 201911366685 A CN201911366685 A CN 201911366685A CN 111223555 B CN111223555 B CN 111223555B
Authority
CN
China
Prior art keywords
information
dicom
sequence
segmentation
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911366685.0A
Other languages
English (en)
Other versions
CN111223555A (zh
Inventor
韩荣强
许铭翔
阿法蒂·阿扎尼
刘奎恩
吴振洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ande Yizhi Technology Co ltd
Original Assignee
Beijing Ande Yizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ande Yizhi Technology Co ltd filed Critical Beijing Ande Yizhi Technology Co ltd
Priority to CN201911366685.0A priority Critical patent/CN111223555B/zh
Publication of CN111223555A publication Critical patent/CN111223555A/zh
Application granted granted Critical
Publication of CN111223555B publication Critical patent/CN111223555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明所提供的面向医学影像人工智能辅助诊断结果表征的DICOM扩展方法中,人工智能辅助诊断的输出信息为JSON格式的字符串,将所有的输出信息都新增到一个DICOM的私有标签(private tags)中,以便所得信息可以以DICOM标准协议进行通讯、存储(在任何PACS服务器)和检索,用于后续定制呈现,由此能够提高信息的处理效率。

Description

一种面向医学影像人工智能辅助诊断结果表征的DICOM扩展 方法
技术领域
本发明涉及一种面向医学影像人工智能辅助诊断结果表征的DICOM扩展方 法。
背景技术
放射诊断是综合医院必备的辅助检查手段,医学影像科诊断医生会根据临 床请检要求仔细阅读医学图像,并规范地书写诊断报告,报告通常会包括影像 表现和诊断提示等信息。由于医生长时间阅片带来的工作疲劳会造成漏诊率和 误诊率增加,所以人工智能辅助诊断系统正在逐渐被用来辅助影像医生阅片, 利用深度神经网络等技术识别出病变区域并生成诊断参考结果。人工智能辅助 诊断系统的工作原理是:整理已有MRI和CT等医疗影像数据(遵循DICOM数据 格式规范)的特定序列(例如T1、T2、DWI series)进行人工标注和分类,提 交深度神经网络进行算法模型的训练,然后基于训练所得模型对新生成的医疗 影像数据进行分析处理,输出病灶分割掩码和可用于生成诊断报告的病灶特征 信息。这些原始的辅助诊断数据(或称元数据)可以直接呈现给医生(例如在为 DICOM加上病灶伪彩),也用作其他展现形式(例如生成结构化格式化报告)的辅 助输入。本文提出了一种面向医学影像人工智能辅助诊断场景的DICOM扩展方 法,可以将这些元数据可以被容易地存储、呈现或用作其他表征方式的辅助输 入。患者这样的实体在DICOM中被称为信息对象,因为它们的功能就在于承载 信息。信息对象定义类似于一张包含很多空白字段的表格。像患者姓名、病案 号这样的信息片断都可以当作一个属性。即使一个空白表格,也代表了一定的 信息结构意义。当表格中的空白被填满,属性被赋予数值,对象就有了具体的 实际意义它可能代表一个患者,一幅影像或者其他什么对象。
发明内容
为克服现有技术中存在的问题,本发明将人工智能辅助诊断的输出信息都 新增到一个DICOM的私有标签(private tags)中,以便所得信息可以以DICOM 标准协议进行通讯、存储(在任何PACS服务器)和检索,用于后续定制呈现。 其中,本发明涉及的一种面向医学影像人工智能辅助诊断结果表征的DICOM扩 展方法,包括,
1)获取用于辅助诊断的输出信息,所述输出信息为JSON格式的字符串;
2)将所述输出信息新增到DICOM的私有标签中,以生成新的DICOM文件;
3)通过网络连接访问Orthanc服务器,以实现DICOM文件的传输、管理;
其中,在所述标签中的信息包括:AI关联信息集、AI分析结果集、以及AI 扩展信息集。
其中,所述AI关联信息集包括:数据路径,关联StudyInstanceUID对应 序列,语言类型,及其它元数据;
所述AI分析结果集包括:AI分割和分类信息,AI属性分析,AI报告模板;
所述AI扩展信息集包括:AI序列分类信息,算法模型信息。
其中,所述AI分割和分类信息用于记录按DICOM序列实例号分组的病灶分 割信息及分类信息。
其中,所述分割信息包括:分割病灶掩码、疾病映射到概率的分类字典、 和/或机器学习模型标识符。
其中,所述AI报告模板用于记录报告展现的模板信息,按照章节、分组和 字段进行组织。
其中,所述AI属性分析,包括利用AI算法模型进行分析时需要用到的DICOM 的特性属性。
其中,所述AI序列分类信息包括:序列组映射到序列实例号的映射关系。
本发明的有益效果是,本发明所提供的面向医学影像人工智能辅助诊断结 果表征的DICOM扩展方法中,人工智能辅助诊断的输出信息为JSON格式的字符 串,将所有的输出信息都新增到一个DICOM的私有标签(private tags)中,以 便所得信息可以以DICOM标准协议进行通讯、存储(在任何PACS服务器)和检 索,用于后续定制呈现,由此能够提高信息的处理效率。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的优选实施例的人工智能辅助诊断扩展的DICOM标签集;
图2是本发明的优选实施例的AI分割分类说明图;
图3是本发明的优选实施例的报告模板说明图;
图4本发明的优选实施例的报告模板的示例图;
图5是本发明的优选实施例的模型与预测分析示例图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图, 仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
为克服现有技术中存在的问题,本发明将人工智能辅助诊断的输出信息都 新增到一个DICOM的私有标签(private tags)中,以便所得信息可以以DICOM 标准协议进行通讯、存储(在任何PACS服务器)和检索,用于后续定制呈现。 具体使用流程是:通过导入pydicom软件包来提取和修改DICOM数据,修改后 生成并保存为新的DICOM文件,之后通过网络连接访问Orthanc服务器(基于 REST的DICOM服务器)来做影像的传输和管理,最后用适配的医学影像查看软 件里进行对DICOM图像文件信息解析与图像显示。
首先对本发明涉及的英文缩写进行示意:
DICOM:全称:Digital Imaging and Communications in Medicine(中文 释义:医学数字成像和通信。是医学图像和相关信息的国际标准(ISO 12052)。 它定义了质量能满足临床需要的可用于数据交换的医学图像格式);
Series:中文释义:序列;
SeriesInstanceUID:序列实例号:唯一标记不同序列的号码;
AI:artificial intelligence中文释义:人工智能;
VR:值表现,VR是DICOM标准中用来描述数据类型的,总共有27个值如LO;
LO:Long String长字符串,一个字符串,可能在开头、结尾填有空格。
本发明涉及的一种面向医学影像人工智能辅助诊断结果表征的DICOM扩展 方法,包括,
1)获取用于辅助诊断的输出信息,所述输出信息为JSON格式的字符串;
2)将所述输出信息新增到DICOM的私有标签中,以生成新的DICOM文件;
3)通过网络连接访问Orthanc服务器,以实现DICOM文件的传输、管理;
本发明中,从辅助诊断系统中获取的输出信息采用JSON格式,利用开发者 编写的代码,可以将输出信息新增到一私有标签中,格式的使用能够便于代码 的处理,实现数据的规范化。
举例来说,这些扩展的用于保存人工智能辅助诊断信息将以Tag Numer为(2017,0001),VR为LO的私有标签插入原始DICOM影像,保持原有 StudyInstanceUID(0020,000d)的前提下,更新原始dicom文件的 SeriesInstanceUID(0020,000e)和SOPInstanceUID(0008,0018)。在这个新增的 标签里,所有信息将会分为三个内容集合:如图1所示,标签中的信息包括: AI关联信息集、AI分析结果集、以及AI扩展信息集。
其中,所述AI关联信息集包括:数据路径,关联StudyInstanceUID对应 序列(有诊断结果的序列及有分割信息的切片),语言类型,及其它元数据(如 版本信息、时间戳信息)等;
所述AI分析结果集包括:AI分割和分类信息,AI属性分析,AI报告模板;
所述AI扩展信息集包括:AI序列分类信息,算法模型信息(如AI-Brain-MRI, AI-Brain-CT,AI-Brain-Tumor等模型名称及描述)。
图1给出了在DICOM原有标签上扩展的标签集合,其中“AI分割和分类信 息”,“AI属性分析”,“AI报告模板”,“AI序列分类信息”等四个是核心类标签, 下面将具体描述了这四类标签的内容和语义。
其中,所述AI分割和分类信息用于记录按DICOM序列实例号分组的病灶分 割信息及分类信息。数据结构图示参见图2,
其中,AI分割和分类信息JSON数据格式示例如下:
Figure BDA0002338613130000051
Figure BDA0002338613130000061
其中,所述分割信息包括:分割病灶掩码、疾病映射到概率的分类字典、 和/或机器学习模型标识符。
分割病灶掩码:是一个浮点数构成的三维矩阵,浮点数的取值在0.0-1.0 之间,整个矩阵以base-64编码的字符串压缩保存(如"mask": "eNrs2s1qVAcch+FzYmvrtN...ROouN22mn4z1/VYsul8=");
疾病映射到概率的分类字典:是一个可能的疾病分类和置信度的映射列表 (如"nml":0.865);
机器学习模型标识符:是生成前面两个结果的人工智能算法模型的标识符; (如aibraintumor 1.1.0)
其中,所述AI报告模板用于记录报告展现的模板信息,按照章节、分组和 字段进行组织。即在报告模板定义中,约定了三个关键词,如图3-4所示,图3 给出了一个AI报告模板的示意图,图4给出了一个报告的GUI界面示例。
章节(Section):按照章节对模板进行分组组织,比如按照核磁、CT分别 指定模板,并约定每个章节的显示形式(比如约定某类病灶always-on-top), 便于在用户界面上展现;
分组(Group):针对每一个章节,按照符合临床实践的语义约定对应某病 灶特征和特性进行分组;
字段(Field):采用键值对方式(Key-Value)描述所有语义对象的具体属 性。
其中,AI报告模板JSON数据格式示例如下:
Figure BDA0002338613130000071
Figure BDA0002338613130000081
Figure BDA0002338613130000091
Figure BDA0002338613130000101
Figure BDA0002338613130000111
Figure BDA0002338613130000121
Figure BDA0002338613130000131
Figure BDA0002338613130000141
Figure BDA0002338613130000151
Figure BDA0002338613130000161
其中,所述AI属性分析,包括利用AI算法模型进行分析时需要用到的DICOM 的特性属性,数据结构图示参见图5。
其中,所述AI序列分类信息包括:序列组映射到序列实例号的映射关系
StandardSeriesDescription1——Series UID 1
StandardSeriesDescription2——Series UID 2
其中,AI序列分类信息JSON数据格式示例如下
Figure BDA0002338613130000162
Figure BDA0002338613130000171
由于医疗影像设备的不同、采集时候操作医生的配置不同,一个DICOM中 的序列的描述(Series Description)没有固定的规范,而且DICOM协议也没有 强制要求,所以需要通过一些额外处理的方法,来将DICOM中的序列与标准序 列缩写名字进行关联。
本发明所提供的面向医学影像人工智能辅助诊断结果表征的DICOM扩展方 法中,人工智能辅助诊断的输出信息为JSON格式的字符串,将所有的输出信息 都新增到一个DICOM的私有标签(private tags)中,以便所得信息可以以DICOM 标准协议进行通讯、存储(在任何PACS服务器)和检索,用于后续定制呈现, 由此能够提高信息的处理效率。
对于本发明提供的方案还可以包括系统方案,并通过系统中对应的功能模 块实现各个步骤,也可以利用计算机可读介质中存储的指令,通过发送端和/或 接收端的处理器执行上述指令以实现各个方法步骤。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作 人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。 本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围 来确定其技术性范围。

Claims (1)

1.一种面向医学影像人工智能辅助诊断结果表征的DICOM扩展方法,其特征在于,所述方法包括:
1)获取用于辅助诊断的输出信息,所述输出信息为病灶分割掩码和可用于生成诊断报告的病灶特征信息,所述输出信息为JSON格式的字符串;
2)将所述输出信息新增到DICOM的私有标签中,以生成新的DICOM文件,所述输出信息将以Tag Numer为 (2017,0001), VR为LO的私有标签插入原始DICOM影像,保持原有StudyInstanceUID(0020,000d)的前提下,更新原始dicom文件的SeriesInstanceUID(0020,000e)和SOPInstanceUID(0008,0018);
3)通过网络连接访问Orthanc服务器,以实现DICOM文件的传输、管理,所述输出信息可以以DICOM标准协议进行通讯、在任何PACS服务器的存储和检索;
其中,在所述标签中的信息包括:AI关联信息集、AI分析结果集、以及AI扩展信息集;
所述AI关联信息集包括:数据路径,关联StudyInstanceUID对应序列,所述序列为有诊断结果的序列及有分割信息的切片,语言类型,及其它元数据,所述其它元数据包括版本信息、时间戳信息;
所述AI分析结果集包括:AI分割和分类信息,AI属性分析,AI报告模板;
所述AI扩展信息集包括:AI序列分类信息,算法模型信息;
所述AI分割和分类信息用于记录按DICOM序列实例号分组的病灶分割信息及分类信息,所述分割信息包括:分割病灶掩码、疾病映射到概率的分类字典、和/或机器学习模型标识符;
所述AI报告模板用于记录报告展现的模板信息,按照章节、分组和字段进行组织,所述章节为:按照章节对模板进行分组组织,并约定每个章节的显示形式,便于在用户界面上展现;所述分组为:针对每一个章节,按照符合临床实践的语义约定对应某病灶特征和特性进行分组;所述字段为:采用键值对方式(Key-Value)描述所有语义对象的具体属性;
所述AI属性分析,包括利用AI算法模型进行分析时需要用到的DICOM的特性属性;
所述AI序列分类信息包括:序列组映射到序列实例号的映射关系。
CN201911366685.0A 2019-12-26 2019-12-26 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法 Active CN111223555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911366685.0A CN111223555B (zh) 2019-12-26 2019-12-26 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911366685.0A CN111223555B (zh) 2019-12-26 2019-12-26 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法

Publications (2)

Publication Number Publication Date
CN111223555A CN111223555A (zh) 2020-06-02
CN111223555B true CN111223555B (zh) 2021-03-26

Family

ID=70811334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911366685.0A Active CN111223555B (zh) 2019-12-26 2019-12-26 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法

Country Status (1)

Country Link
CN (1) CN111223555B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844699A (zh) * 2023-08-29 2023-10-03 神州医疗科技股份有限公司 一种医学影像标注信息的保存和提取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598049A (zh) * 2010-10-25 2012-07-18 株式会社东芝 医用图像管理系统和医用图像管理装置
CN102609540A (zh) * 2012-02-17 2012-07-25 深圳市理邦精密仪器股份有限公司 一种超声图像存储方法及系统
CN102651055A (zh) * 2012-04-11 2012-08-29 华中科技大学 一种基于医学影像的文件生成方法及系统
CN105678052A (zh) * 2015-12-29 2016-06-15 上海联影医疗科技有限公司 Dicom文件的管理方法及管理系统
CN109346159A (zh) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 病例图像分类方法、装置、计算机设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332639B2 (en) * 2017-05-02 2019-06-25 James Paul Smurro Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams
EP3488381B1 (en) * 2016-07-21 2024-02-28 Siemens Healthineers AG Method and system for artificial intelligence based medical image segmentation
CN107977966A (zh) * 2017-12-20 2018-05-01 点内(上海)生物科技有限公司 基于人工智能对肺结节良恶性及浸润程度的辅助诊断方法
CN108630303A (zh) * 2018-04-28 2018-10-09 江苏医像信息技术有限公司 云标注系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598049A (zh) * 2010-10-25 2012-07-18 株式会社东芝 医用图像管理系统和医用图像管理装置
CN102609540A (zh) * 2012-02-17 2012-07-25 深圳市理邦精密仪器股份有限公司 一种超声图像存储方法及系统
CN102651055A (zh) * 2012-04-11 2012-08-29 华中科技大学 一种基于医学影像的文件生成方法及系统
CN105678052A (zh) * 2015-12-29 2016-06-15 上海联影医疗科技有限公司 Dicom文件的管理方法及管理系统
CN109346159A (zh) * 2018-11-13 2019-02-15 平安科技(深圳)有限公司 病例图像分类方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111223555A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
US10929420B2 (en) Structured report data from a medical text report
US11176188B2 (en) Visualization framework based on document representation learning
JP6749835B2 (ja) コンテキスト依存医学データ入力システム
US7889898B2 (en) System and method for semantic indexing and navigation of volumetric images
Noumeir Benefits of the DICOM structured report
US9317580B2 (en) Imaging protocol update and/or recommender
US20120035963A1 (en) System that automatically retrieves report templates based on diagnostic information
US20130124527A1 (en) Report authoring
US10210310B2 (en) Picture archiving system with text-image linking based on text recognition
US20060064328A1 (en) System and method for utilizing a DICOM structured report for workflow optimization
US11244755B1 (en) Automatic generation of medical imaging reports based on fine grained finding labels
JP2015524107A (ja) 患者情報を臨床基準にマッチングするシステム及び方法
CN106233289A (zh) 用于患者历史的可视化的方法和系统
US11630874B2 (en) Method and system for context-sensitive assessment of clinical findings
Müller et al. Content-based medical image retrieval
US20150379210A1 (en) Selecting a set of documents from a health record of a patient
Mongkolwat et al. The national cancer informatics program (NCIP) annotation and image markup (AIM) foundation model
CN111223555B (zh) 一种面向医学影像人工智能辅助诊断结果表征的dicom扩展方法
US11763081B2 (en) Extracting fine grain labels from medical imaging reports
US11928186B2 (en) Combined deep learning and knowledge driven reasoning for artificial intelligence classification
JP7132943B2 (ja) オーダーコードによる医療検査タイムラインのインテリジェント組織化
JP7370865B2 (ja) 画像読影環境において所見ベースの関連する臨床的コンテキストを提供する動的システム
EP3985679A1 (en) Technique for providing an interactive display of a medical image
WO2023001372A1 (en) Data-based clinical decision-making utilising knowledge graph
Wang et al. A Disease Labeler for Chinese Chest X-Ray Report Generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An extended DICOM method for medical image AI aided diagnosis result representation

Effective date of registration: 20220715

Granted publication date: 20210326

Pledgee: Su Qiwen

Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000432

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210326

Pledgee: Su Qiwen

Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000432