CN111986749A

CN111986749A - 一种数字病理图像检索系统

Info

Publication number: CN111986749A
Application number: CN202010679692.2A
Authority: CN
Inventors: 丁偕; 张敬谊; 王瑜; 付越; 韦金江; 崔浩阳
Original assignee: WONDERS INFORMATION CO Ltd
Current assignee: WONDERS INFORMATION CO Ltd
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2020-11-24

Abstract

本发明提供了一种数字病理图像检索系统。本发明可将图像、电子病历、检验检查报告以及诊断描述均作为检索依据，建立集病理图像检索和相关医学资料检索为一体的检索系统。将数字病理图像、检验检测报告以及病理特征的强相关信息整合在一起，构建完整可靠的数字病理图像检索系统。对于临床医生而言，可靠的数字病理图像检索系统能够提高诊断效率和准确率；对患者而言，可靠的数字病理图像检索系统能够减少就医时间，帮助患者详细的了解病情；对社会而言，可靠的数字病理图像检索系统为实现远程医疗，在线问诊新兴医疗提供了可靠的数据保障，也缓解了医疗资源紧缺的问题。

Description

一种数字病理图像检索系统

技术领域

本发明涉及数据库和医学图像技术领域，特别涉及一种数字病理图像检索系统。

背景技术

近年来，数据库技术、医学图像技术以及人工智能技术都在快速发展，而临床医学图像无论从种类还是数量上都呈几何指数增长，因此迫切需求建立数字病理图像检索系统。而由于病理图百万级的像素尺寸，且对病理图相关特征的描述手段是缺失的，对病理图进行精准检索十分困难。数字病理图像检索系统的建立不仅可以提高了临床医生的诊断水平，也为远程医疗和在线诊断新兴医疗形式提供了强大的数据保障。

数字病理图像知识库系统还未有非常成熟的产品，现有的医学图像知识库主要是针对单一的特征信息进行检索。例如，发明专利CN105912881B，该发明主要基于个性化治疗方案的知识库推荐系统，所涉及的病理信息有限，无法实现大规模的疑似病例检索。发明专利CN105608218B，该发明是一种智能问答知识库系统的建立，主要利用语义相似度进行信息的匹配与检索。

上述工作所涉及的特征信息比较单一，尚未将病理图像，病例报告以及一些指定的特征信息进行综合考虑。

发明内容

本发明的目的是：将电子病历、检验检查报告、病理图像、疾病症状特征以及图像AI病理诊断特征进行关联分析，提高数据的挖掘维度，为用户和临床医生提供准确的数据支撑。

为了达到上述目的，本发明的技术方案是提供了一种数字病理图像检索系统，其特征在于，包括：

检索接口，用于所述数字病理图像检索系统与其他系统交互，同时规范化输入、输出内容；

知识库，将电子病历、检验检查报告、病理图像、疾病症状特征、图像AI病理诊断结果，按照医疗领域的专业模式生成并保存在数据库中，后续根据获取到的新知识不断更新数据库；

基于相似数字病理图像检索模块，用于检索知识库中与输入的病理图像相似的病理图像以及该病理图像相关的电子病历、检验检查报告；

基于相似病历、报告检索模块，根据输入的病历、报告检索知识库，返回知识库中与输入的病历、报告相近的电子病历、检验检查报告以及对应的病理图像；

基于病理诊断描述检索模块，根据病理诊断描述，检索并返回知识库中与病理诊断描述语义特征相近的病理图像和相关的电子病历、检验检查报告。

优选地，所述知识库包括电子病历档案库、检验检查报告库、数字病理图像库、疾病症状特征库、图像AI病理诊断特征库，其中，电子病历档案库作为电子病历档案的数据库；检验检查报告库作为检验检查报告的数据库；数字病理图像库作为数字病理图像的数据库；疾病症状特征库作为疾病症状特征的数据库；图像AI病理诊断特征库作为图像AI病理诊断特征的数据库。

优选地，所述基于相似数字病理图像检索模块包括：病理图像预处理单元、描述病理图像额外特征单元及相似病理图像检索单元，其中：

病理图像预处理单元的实现包括以下步骤：

步骤101、输入限制大小的病理图像区域截图；

步骤102、对区域截图进行重采样，缩放至指定尺寸，获得尺寸标准化图像；

步骤103、统计尺寸标准化图像的色域分布，进行颜色标准化，获得尺寸、颜色标准化图像；

描述病理图像额外特征单元的实现包括以下步骤：

步骤201、输入特征量化描述；

步骤202、解析细胞基质占比描述，生成细胞基质比例特征向量；

步骤203、解析正常腺体占比描述，生成正常腺体比例特征向量；

步骤204、解析异常腺体区域占比描述，生成异常腺体区域比例特征向量；

步骤205、解析染色红蓝占比描述，生成染色比例特征向量；

步骤206、叠加各描述特征向量，生成额外特征总向量；

相似病理图像检索单元的实现包括以下步骤：

步骤301、输入病理图像预处理单元输出的尺寸、颜色标准化图像以及描述病理图像额外特征单元输出的额外特征向量；

步骤302、计算尺寸、颜色标准化图像特征，叠加额外特征向量，归一化，获得需检索的图像特征向量；

步骤303、根据步骤302获得的图像特征向量检索知识库，获取相似病理图小尺寸切图；

步骤304、根据病理图小尺寸切图检索知识库，获取相关的原尺寸病理图、病历、报告。

优选地，所述基于相似病历、报告检索模块包括：相似病历、报告检索单元，关联病理图检索单元，其中：

相似病历、报告检索单元的实现包括以下步骤：

步骤101、输入电子病历或报告,计算多项输入特征，叠加输入特征，归一化，获取需检索的文本特征向量；

步骤102、根据第一步获得的文本特征向量检索知识库，获取相似电子病历、相似检查报告；

关联病理图检索单元的实现包括以下步骤：

步骤201、输入电子报告、检查报告；

步骤202、检索知识库，获取关联原尺寸病理图；

优选地，所述基于病理诊断描述检索模块包括相似病理诊断描述检索单元，关联病理图检索单元，其中：

相似病理诊断描述检索单元的实现包括以下步骤：

步骤101、输入病理诊断自然语言描述，提取相关特征，叠加并归一化，获取需检索的病理诊断特征向量；

步骤102、根据病理诊断特征向量检索病理诊断库，获取相似病理诊断特征描述；

关联病理图检索单元的实现包括以下步骤：

步骤201、输入相似病理诊断特征描述，检索知识库，获取病理诊断相关的病理图小尺寸切图；

步骤202、根据病理图小尺寸切图进行检索，获取相关的原尺寸病理图、病历、报告。

本发明的有益效果是：可将图像、电子病历、检验检查报告以及诊断描述均作为检索依据，建立集病理图像检索和相关医学资料检索为一体的检索系统。将数字病理图像、检验检测报告以及病理特征的强相关信息整合在一起，构建完整可靠的数字病理图像检索系统。对于临床医生而言，可靠的数字病理图像检索系统能够提高诊断效率和准确率；对患者而言，可靠的数字病理图像检索系统能够减少就医时间，帮助患者详细的了解病情；对社会而言，可靠的数字病理图像检索系统为实现远程医疗，在线问诊新兴医疗提供了可靠的数据保障，也缓解了医疗资源紧缺的问题。

附图说明

图1为一种数字病理图像检索系统功能模块结构示意图；

图2为基于相似数字病理图像检索模块结构示意图；

图3为基于相似数字病理图像检索模块的病理图预处理流程示意图；

图4为基于相似数字病理图像检索模块的描述病理图额外特征流程示意图；

图5为基于相似数字病理图像检索模块的相似病理图检索流程示意图；

图6为基于相似病历、报告检索模块的结构示意图；

图7为基于相似病历、报告检索模块的相似病历、报告检索流程示意图；

图8为基于相似病历、报告检索模块的关联病理图检索流程示意图；

图9为基于病理诊断描述检索模块的结构示意图；

图10为基于病理诊断描述检索模块的相似病理诊断描述检索流程示意图；

图11为基于病理诊断描述检索模块的关联病理图检索流程示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明提供了一种数字病理图像检索系统，包括：

检索接口，用于数字病理图像检索系统与其他系统交互，同时规范化输入、输出内容。

知识库，将电子病历、检验检查报告、病理图像、疾病症状特征、图像AI病理诊断结果，按照医疗领域的专业模式生成并保存在数据库中，后续根据获取到的新知识不断更新数据库。本实施例中，知识库包括电子病历档案库、检验检查报告库、数字病理图像库、疾病症状特征库、图像AI病理诊断特征库。电子病历档案库主要作为电子病历档案的数据库；检验检查报告库主要作为检验检查报告的数据库；数字病理图像库主要作为数字病理图像的数据库；疾病症状特征库主要作为疾病症状特征的数据库；图像AI病理诊断特征库主要作为图像AI病理诊断特征的数据库。

基于相似数字病理图像检索模块，用于检索知识库中与输入的病理图像相似的病理图像以及该病理图像相关的电子病历、检验检查报告。

如图2所示，基于相似数字病理图像检索模块包括：病理图像预处理单元、描述病理图像额外特征单元及相似病理图像检索单元。

如图3所示，病理图像预处理单元的实现包括以下步骤：

第一步：输入限制大小的病理图像区域截图；

第二步：对区域截图进行重采样，缩放至指定尺寸，获得尺寸标准化图像；

第三步：统计尺寸标准化图像的色域分布，进行颜色标准化，获得尺寸、颜色标准化图像。

如图4所示，描述病理图像额外特征单元的实现包括以下步骤：

第一步：输入特征量化描述；

第二步：解析细胞基质占比描述，生成细胞基质比例特征向量；

第三步：解析正常腺体占比描述，生成正常腺体比例特征向量；

第四步：解析异常腺体区域占比描述，生成异常腺体区域比例特征向量；

第五步：解析染色红蓝占比描述，生成染色比例特征向量；

第六步：叠加各描述特征向量，生成额外特征总向量。

如图5所示，相似病理图像检索单元的实现包括以下步骤：

第一步：输入病理图像预处理单元输出的尺寸、颜色标准化图像以及描述病理图像额外特征单元输出的额外特征向量；

第二步：计算尺寸、颜色标准化图像特征，叠加额外特征向量，归一化，获得需检索的图像特征向量；

第三步：根据第二步获得的图像特征向量检索知识库，获取相似病理图小尺寸切图；

第四步：根据病理图小尺寸切图检索知识库，获取相关的原尺寸病理图、病历、报告。

基于相似病历、报告检索模块，根据输入的病历、报告检索知识库，返回知识库中与输入的病历、报告相近的电子病历、检验检查报告以及对应的病理图像。如图6所示，基于相似病历、报告检索模块包括：相似病历、报告检索单元，关联病理图检索单元。

如图7所示，相似病历、报告检索单元的实现包括以下步骤：

第一步：输入电子病历或报告,计算多项输入特征，叠加输入特征，归一化，获取需检索的文本特征向量；

第二步：根据第一步获得的文本特征向量检索知识库，获取相似电子病历、相似检查报告。

如图8所示，关联病理图检索单元的实现包括以下步骤：

第一步：输入电子报告、检查报告；

第二步：检索知识库，获取关联原尺寸病理图；

基于病理诊断描述检索模块，根据病理诊断描述，检索并返回知识库中与病理诊断描述语义特征相近的病理图像和相关的电子病历、检验检查报告。如图9所示，基于病理诊断描述检索模块包括：相似病理诊断描述检索单元，关联病理图检索单元。

如图10所示，相似病理诊断描述检索单元的实现包括以下步骤：

第一步：输入病理诊断自然语言描述，提取诊断描述、疾病症状描述等特征，叠加并归一化，获取需检索的病理诊断特征向量；

第二步：根据病理诊断特征向量检索病理诊断库，获取相似病理诊断特征描述。

如图11所示，关联病理图检索单元的实现包括以下步骤：

第一步：输入相似病理诊断特征描述，检索知识库，获取病理诊断相关的病理图小尺寸切图；

第二步：根据病理图小尺寸切图进行检索，获取相关的原尺寸病理图、病历、报告。

Claims

1.一种数字病理图像检索系统，其特征在于，包括：

2.如权利要求1所述的一种数字病理图像检索系统，其特征在于，所述知识库包括电子病历档案库、检验检查报告库、数字病理图像库、疾病症状特征库、图像AI病理诊断特征库，其中，电子病历档案库作为电子病历档案的数据库；检验检查报告库作为检验检查报告的数据库；数字病理图像库作为数字病理图像的数据库；疾病症状特征库作为疾病症状特征的数据库；图像AI病理诊断特征库作为图像AI病理诊断特征的数据库。

3.如权利要求1所述的一种数字病理图像检索系统，其特征在于，所述基于相似数字病理图像检索模块包括：病理图像预处理单元、描述病理图像额外特征单元及相似病理图像检索单元，其中：

病理图像预处理单元的实现包括以下步骤：

步骤101、输入限制大小的病理图像区域截图；

描述病理图像额外特征单元的实现包括以下步骤：

步骤201、输入特征量化描述；

步骤205、解析染色红蓝占比描述，生成染色比例特征向量；

步骤206、叠加各描述特征向量，生成额外特征总向量；

相似病理图像检索单元的实现包括以下步骤：

4.如权利要求1所述的一种数字病理图像检索系统，其特征在于，所述基于相似病历、报告检索模块包括：相似病历、报告检索单元，关联病理图检索单元，其中：

相似病历、报告检索单元的实现包括以下步骤：

关联病理图检索单元的实现包括以下步骤：

步骤201、输入电子报告、检查报告；

步骤202、检索知识库，获取关联原尺寸病理图。

5.如权利要求1所述的一种数字病理图像检索系统，其特征在于，所述基于病理诊断描述检索模块包括相似病理诊断描述检索单元，关联病理图检索单元，其中：

相似病理诊断描述检索单元的实现包括以下步骤：

关联病理图检索单元的实现包括以下步骤：