CN114242197B - 一种结构化报告处理方法、装置及计算机可读存储介质 - Google Patents
一种结构化报告处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114242197B CN114242197B CN202111568186.7A CN202111568186A CN114242197B CN 114242197 B CN114242197 B CN 114242197B CN 202111568186 A CN202111568186 A CN 202111568186A CN 114242197 B CN114242197 B CN 114242197B
- Authority
- CN
- China
- Prior art keywords
- editing
- lesion
- description information
- medical image
- text description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000003902 lesion Effects 0.000 claims description 170
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 208000024891 symptom Diseases 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 208000004434 Calcinosis Diseases 0.000 description 6
- 208000031481 Pathologic Constriction Diseases 0.000 description 6
- 230000002308 calcification Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000036262 stenosis Effects 0.000 description 6
- 208000037804 stenosis Diseases 0.000 description 6
- 210000004351 coronary vessel Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 206010002329 Aneurysm Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000011066 hemangioma Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了结构化报告处理方法、装置及计算机可读存储介质，其中，该方法的步骤包括：获取用户对包含相互之间具有关联的文字描述信息和医学图像的结构化报告的编辑操作；基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；基于所述第一编辑内容，对与所述第一编辑对象相对应的第二编辑对象进行编辑，获得第二编辑内容。该方案根据用户的编辑操作确定编辑对象，在编辑对象为医学图像时，根据编辑操作对对应的文本描述信息进行修改，在编辑对象为文本描述信息时，根据编辑操作对对应的医学图像进行修改，提高了结构化报告处理的效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种结构化报告处理方法、装置及计算机可读存储介质。
背景技术
医院信息化将信息科学与计算机技术全面应用于医学和医疗卫生事业管理，对传统的医疗保健产业进行技术改造，实现了医疗现代化。其中，结构化报告（StructuredReporting，SR）可以支持传统自由文档和结构化信息，并提高了精确度、分类、医疗文档中数值的记录等功能。此外，SR还消除了图像和图像相关数据信息分离的弊端，可以生成具有高度规范性和标准性的图文并茂的检查报告。
医生在阅读结构化报告时，如果发现结构化报告里的文本信息描述不准确后，需要先根据文本信息查找到对应的医学图像，对文本信息和医学图像依次进行修改，过程较为繁琐。
发明内容
本发明实施例提供一种结构化报告处理方法、装置及计算机可读存储介质，可以提高结构化报告处理的效率。
第一方面，本发明实施例提供了一种结构化报告处理方法，该方法的步骤包括：
获取用户对包含相互之间具有关联的文本描述信息和医学图像的结构化报告的编辑操作；
基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；
基于所述第一编辑内容，对与所述第一编辑对象相对应的第二编辑对象进行编辑，获得第二编辑内容。
第二方面，本发明实施例提供了一种结构化报告处理装置，该装置包括：
操作获取模块，用于获取用户对包含相互之间具有关联的文本描述信息和医学图像的结构化报告的编辑操作；
第一编辑模块，用于基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；
第二编辑模块，基于所述第一编辑内容，对与所述第一编辑对象相对应的第二编辑对象进行编辑，获得第二编辑内容。
在一种实例中，所述第一编辑模块包括：
第一状态调整模块，用于将第一编辑对象设置为可编辑状态；
图像编辑模块，用于获取所述医学图像的编辑信息，根据所述编辑信息对所述医学图像进行编辑，得到编辑后的医学图像；
文本编辑模块，用于获取所述医学图像的编辑信息，根据所述编辑信息对所述医学图像进行编辑，得到编辑后的文本描述信息。
在一种实例中，所述第二编辑模块包括：
第二状态调整模块，用于将第二边界对象设置为可编辑状态；
文本调整模块，获取所述医学图像中病灶区域经病灶边界编辑操作后得到的第一目标病灶区域，以及病灶边界编辑操作对应的第一病灶识别模型；根据所述第一病灶识别模型对所述第一目标病灶区域中的病灶信息进行识别，得到第一识别结果；根据所述第一识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；或者，
获取所述医学图像中病灶区域经所述缩小操作后得到的第二目标病灶区域；对所述第二目标病灶区域中的病灶信息进行识别，得到第二识别结果；根据所述第二识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息。
图像调整模块，获取经编辑操作后的所述文本描述信息中与病灶的属性信息相对应的目标病灶识别模型；根据所述目标病灶识别模型，重新对所述医学图像中的病灶进行识别，得到经识别后的具有目标病灶的医学图像。
在一种实例中，该装置还包括模型构建模块，根据病灶的病变程度，获取第一预设病灶识别模型和置信度；
根据所述置信度对所述第一预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病变程度，获取第二预设病灶识别模型和识别阈值；
根据所述识别阈值对所述第二预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病灶类型信息匹配对应的第三预设病灶识别模型，并将其作为所述目标病灶识别模型。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其内存储有处理器可执行指令，该处理器通过执行所述指令提供如上任一的结构化报告处理方法。
本发明实施例的结构化报告的处理方法、装置及计算机可读存储介质，根据用户的编辑操作确定编辑对象，在编辑对象为医学图像时，根据编辑操作对该医学图像对应的文本描述信息进行修改，在编辑对象为文本描述信息时，根据编辑操作对该文本描述信息对应的医学图像进行修改，提高了结构化报告处理的效率。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的结构化报告的处理方法系统的场景示意图。
图2为本发明实施例提供的结构化报告的处理方法的流程示意图。
图3为本发明实施例提供的一种结构化报告的示意图；
图4为本发明实施例提供的另一种结构化报告的示意图；
图5为本发明实施例提供的结构化报告的处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例涉及人工智能(Artificial Intelligence, AI)技术领域。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明实施例还涉及机器学习(Machine Learning, ML)。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本发明实施例提供了一种结构化报告处理系统、方法、装置、服务器、终端及计算机可读存储介质，以下将分别进行详细说明。
请参见图1，图1为本发明实施例提供的结构化报告的处理系统的场景示意图。该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述。其中，用户侧设备包括终端101，服务侧设备包括服务器102。
终端101包括但不局限于手机、平板等便携终端，电脑、查询机、广告机等固定终端，以及各种虚拟终端等。服务器102包括本地服务器和/或远程服务器等。
如图1所示，通过终端展示结构化报告。当用户通过终端对结构化报告进行编辑操作时，服务器获取该编辑操作，确定该编辑操作对应的编辑对象。当所述编辑对象为所述医学图像时，根据所述编辑操作对所述医学图像对应的文本描述信息进行修改。当所述编辑对象为所述文本描述信息时，根据所述编辑操作对所述文本描述信息对应的医学图像进行修改。
在本发明实施例中，将从结构化报告的处理装置的角度进行描述，该结构化报告的处理装置可以集成在服务器中。装置中存储有如下以程序形式存储本方案所述的一种结构化报告的处理方法，该方法的步骤包括：获取用户对结构化报告的编辑操作；确定编辑操作对应的编辑对象；当编辑对象为医学图像时，根据编辑操作对医学图像对应的文本描述信息进行修改；和/或当编辑对象为文本描述信息时，根据编辑操作对文本描述信息对应的医学图像进行修改。
请参照图2，图2为本发明实施例提供的结构化报告的处理方法的流程示意图。该方法可以包括：
步骤S101，获取用户对包含相互之间具有关联的文本描述信息和医学图像的结构化报告的编辑操作。
本方案所述结构化报告包括医学图像和医学图像对应的文本描述信息。其中，医学图像以非侵入的方式取得了组织的影像。文本描述信息主要是针对人体组织的描述信息，其中，组织不仅包括正常组织，比如正常的血管、肺以及肝等，还包括病变组织，比如血管瘤、肺结核病灶等。因此，医学图像中包括了正常组织和病灶组织，比如病灶标识、病灶区域等。需要说明的是，医学图像的类型可以为VR（Virtual Reality，虚拟现实）图像、CPR（curved plannar reconstruction，曲面重建）图像、探针图像以及拉直图像等，在此不对医学图像的类型进行具体限定。
本方案中，文本描述信息主要是对与其对应的医学图像中的组织进行描述，例如组织的标识信息；组织的位置信息、尺寸信息等属性信息。
在一种实例中，用户对结构化报告的编辑操作包括对医学图像的编辑操作，比如，对医学图像中病灶区域范围的修改，放大病灶区域或者缩小病灶区域。具体的，用户可以用电子笔圈画出病灶区域的范围。通过检测电子笔按压终端屏幕时电压的变化来确定编辑操作的位置信息，来确定病灶区域的范围。需要说明的是，用户还可以使用鼠标拖动病灶边缘对病灶区域进行放大或者缩小，此时通过检测鼠标响应事件来确定病灶区域的范围。进一步的，用户还可以使用卡尺，通过拖动卡尺来对病灶区域进行放大或者缩小。
在一种实例中，用户对结构化报告的编辑操作还包括对文本描述信息的编辑操作。具体的，可以在终端界面设置检索框，对文本描述信息中的病灶类型、病灶病变程度以及征象信息进行检索。比如检索钙化，当发现文本描述信息中描述了多处钙化的情况时，可以将病变类型从钙化修改成斑块。
步骤S102，基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容。
本方案中，可以根据用户对医学图像的编辑，对其对应的文本描述信息进行适应性调整。也可以根据用户对文本描述新的编辑，对其对应的医学图像进行适应性调整。
因此，用户对结构化报告的编辑操作可以包括对医学图像的编辑操作，比如，通过检测电子笔按压终端屏幕时电压的变化来确定编辑操作的位置信息，通过对医学图像中病灶区域范围的放大病灶区域或者缩小病灶区域，从而得到新的病灶区域的范围。
用户对结构化报告的编辑操作还包括对文本描述信息的编辑操作。例如，可以在终端界面设置检索框，对文本描述信息中的病灶类型、病灶病变程度以及征象信息进行检索。然后，在文本描述信息中处于编辑状态的位置，根据用户编辑操作对文本描述信息的病灶信息进行修改，例如，当发现文本描述信息中描述了多处钙化的情况时，可以将病变类型从钙化修改成斑块，从而得到新的关于病灶信息描述的文本描述信息。
另外，本方案为了更好的实现自动化识别，可以根据编辑操作的位置信息来确定编辑对象。假设医学图像设置在终端界面的左侧，文本描述信息设置在终端界面的右侧。当在左侧检测到编辑操作时，可以确定编辑对象为医学图像。当在右侧检测到编辑操作时，可以确定编辑对象为文本描述信息。
步骤S103，基于所述第一编辑内容，对与所述第一编辑对象相对应的第二编辑对象进行编辑，获得第二编辑内容。
当第一编辑对象为医学图像时，根据编辑操作对医学图像对应的文本描述信息（第二编辑对象）进行适应性调整。
在一种实例中，医学图像包括病灶区域，编辑操作包括对病灶区域的放大操作和缩小等病灶边界编辑操作。
例如，当检测到对病灶区域进行放大操作（即拖动病灶区域边缘，将病灶区域的范围扩大）后，说明现有的病灶识别模型不能对放大部分中的病灶进行识别，因此可以使用新的病灶识别模型重新对病灶区域进行病灶识别，再根据识别结果对文本描述信息进行修改。具体的，首先获取病灶区域经放大操作后得到的第一目标病灶区域，以及放大操作对应的第一病灶识别模型。再根据第一病灶识别模型对第一目标病灶区域中的病灶进行识别，得到第一识别结果。最后根据第一识别结果对文本描述信息进行修改。
例如，当检测到对病灶区域的缩小操作（即拖动病灶区域边缘，将病灶区域的范围扩小）时，可以先获取病灶区域经缩小操作后得到的第一目标病灶区域。根据预设的病灶识别模型（数据库中预先存储的对应该扫描部位的病灶识别模型）直接对第一目标病灶区域中的病灶进行识别，得到第一识别结果。根据第一识别结果对文本描述信息进行修改。
在一种实例中，医学图像包括病灶区域和非病灶区域，其中，非病灶区域中可能存在AI诊断系统暂未识别出的病灶区域。此时，编辑操作包括对非病灶区域的圈画、划线等标记操作。
例如，当检测到对非病灶区域的圈画操作时，可以以圈画的区域作为第二目标病灶区域；根据预设的病灶识别模型（数据库中预先存储的对应该扫描部位的病灶识别模型）对第二目标病灶区域中的病灶进行识别，得到第二识别结果。根据第二识别结果对文本描述信息进行修改。
例如，当检测到对非病灶区域的划线操作时，可以以划线的起始点之间最短距离为基准，构建第二目标病灶区域；根据预设的病灶识别模型（数据库中预先存储的对应该扫描部位的病灶识别模型）对第二目标病灶区域中的病灶进行识别，得到第二识别结果。根据第二识别结果对文本描述信息进行修改。其中，以划线的起始点之间最短距离为基准，构建第二目标病灶区域的步骤可以包括：以划线的起始点之间最短距离作为圆形区域的直径，椭圆的长轴长，长方形的边长或对角线长，或者，正方形的边长或对角线长，并以此为基准，构建圆形区域、椭圆区域、正方形区域、长方形区域，最终将构建成的规则形状的区域作为第二目标病灶区域。另外，可以预先设定第二目标病灶区域的大小范围，以合理控制构建的规则形状区域的范围，一定程度上降低计算量。
当编辑对象为文本描述信息时，根据编辑操作对文本描述信息对应的医学图像（第二编辑对象）进行适应性调整。
在一种实例中，可以将医学图像设置为可编辑状态。获取医学图像的编辑信息，根据编辑信息对医学图像进行修改。
在一种实例中，当编辑对象为文本描述信息时，确定编辑操作对应的修改文本；当修改文本为病灶的属性信息时，获取目标病灶识别模型；根据目标病灶识别模型，重新对医学图像中的病灶进行识别。其中，病灶的大小、面积、形态等都属于病灶的属性信息。
举例来说，当文本描述信息为“右冠状动脉（RCA）近段管壁可见钙化斑块，管腔重度狭窄，可见肌桥；中段管壁未见斑块及明显狭窄”时，文本“重度”用于描述病灶的病变程度，文本“钙化斑块”用于描述病灶的病变类型。上述病灶的病变程度、病变类型都属于病灶的属性信息。
用户可以对上述文本描述信息中的任何文本进行修改，举例来说，当用户选择文本“右冠状动脉（RCA）”进行修改时，该文本“右冠状动脉（RCA）”即修改文本。
需要说明的是，可以采用神经网络的方法对医学图像进行修改，也可以采用传统算法对医学图像进行修改。
在一种实例中，当采用神经网络的方法对医学图像进行修改，修改文本为病灶的病变程度时，可以通过以下步骤获取目标病灶识别模型：当修改文本为病灶的病变程度时，获取第一预设病灶识别模型和置信度；根据置信度对第一预设病灶识别模型进行调整，得到目标病灶识别模型。举例来说，在对病灶的病变程度进行修改之前，第一预设病灶识别模型中置信度为0.65，即大于0.65认为可靠，不大于0.65认为不可靠。则可以对置信度进行调整，根据实际需求调整至0.5，0.7等数值，得到目标病灶识别模型。
在一种实例中，当采用传统算法对医学图像进行修改，修改文本为病灶的病变程度时，还可以通过以下步骤获取目标病灶识别模型：当修改文本为病灶的病变程度时，获取第二预设病灶识别模型和识别阈值；根据识别阈值对第二预设病灶识别模型进行调整，得到目标病灶识别模型。
在一种实例中，当修改文本为病灶的病变类型时，可以通过以下步骤获取目标病灶识别模型：当修改文本为病灶的病变类型时，获取修改后的病变类型；获取与修改后的病变类型匹配的第三预设病灶识别模型，并将第三预设病灶识别模型设置为目标病灶识别模型。举例来说，实际应用中，钙化病变类型和斑块病变类型容易混淆，如果在文本描述信息中将病变类型从钙化修改成了斑块，则可能存在原来病灶识别模型使用错误的问题，即错使用钙化识别模型对病灶进行识别。此时可以将与斑块匹配的斑块识别模型设为目标病灶识别模型，来进行病灶识别。
本发明实施例的结构化报告的处理方法根据用户的编辑操作确定编辑对象，在编辑对象为医学图像时，根据编辑操作对对应的文本描述信息进行修改，在编辑对象为文本描述信息时，根据编辑操作对对应的医学图像进行修改，提高了结构化报告处理的效率。
下面通过实例对本方案做进一步说明。
实例1
在实例1中，如图3所示，为冠状动脉左前降支（血管LAD段）具有病灶的简图。在LAD中段对应的血管中心线点130至160之间，具有狭窄，狭窄程度为重度狭窄。根据图像中病灶的形状、大小等征象信息，确定病灶为非钙化。通过自动辅助诊断对图像中病灶情况的分析，得到结构化报告中的描述为：“患者姓名：李某；性别：男；年龄：65岁。诊断部位：心脏冠状动脉。该患者在LAD中段存在中度狭窄，非钙化。”。结构化报告中带有加粗标记的内容可以供用户编辑。医生在对结构化报告进行审核时，发现辅助诊断结果中的狭窄程度有误。医生可以手动将“中度”修改为“重度”，此时，会根据结构化报告中的医生修改的内容自动展示相对应的源图像，并使源图像进入可编辑状态，以供医师观察或调整图像。例如，医生根据观察病灶发现，病灶的严重程度应当为重度，此时，可以手动将“重度”修改为“重度”时，图3中右侧图像中的LAD段医学图像进入可编辑状态，用户可以手动将“狭窄度narrow0.75”修改为“狭窄度narrow0.9”。优选地，若右侧图像中，病灶的征象信息识别有误，在手动修改报告文字内容后，还可以调用新的模型，对病灶的征象信息进行识别，从而通过补检将病灶的征象信息识别完整。
实例2
在实例2中，如图4所示，颈动脉血管存在动脉瘤为例。根据图像中病灶的形状、大小等征象信息，确定病灶为动脉瘤。通过自动辅助诊断对图像中病灶情况的分析，得到结构化报告中的描述为：“……。诊断部位：颈部动脉血管。该患者在XXX段血管存在轻度动脉瘤。”。医生在对结构化报告中的图像进行审核时，发现图像中的病灶区域（图4中实线边界所示）有误。医生可以调整病灶识别模型的识别参数，例如，将识别度参数从0.3调整值0.6，然后，对图像重新识别，将遗漏的征象信息识别出来，从而确定真实的病灶区域（图4中虚线边界所示）。如调整识别参数后的病灶识别模型无法识别出遗漏的征象信息，则可以重新挑选合适的病灶识别模型对图像进行识别，将遗漏的征象信息识别出来，从而确定真实的病灶区域。真实病灶区域识别出来后，通过自动辅助诊断对图像中病灶情况的分析，得到结构化报告，从而更新结构化报告中的描述。
实例3
结构化报告中描述患者的某处未发现异常。但是，医生在图像中发现某处实际上存在病灶区域。此时，需要调整识别参数，利用病灶识别模型，将遗漏的征象信息识别出来，从而确定真实的病灶区域。如调整识别参数后的病灶识别模型无法识别出遗漏的征象信息，则可以重新挑选合适的病灶识别模型对图像进行识别，将遗漏的征象信息识别出来，从而确定真实的病灶区域。真实病灶区域识别出来后，通过自动辅助诊断对图像中病灶情况的分析，得到结构化报告，从而更新结构化报告中的描述。
根据上述实施例所描述的方法，本实施例将从结构化报告的处理装置的角度进一步进行描述，该结构化报告的处理装置可以集成在服务器中。
请参照图5，图5为本发明实施例提供的结构化报告的处理装置的结构图，一种结构化报告的处理装置1包括：操作获取模块11、第一编辑模块12、第二编辑模块13。其中，操作获取模块11用于获取用户对结构化报告的编辑操作；第一编辑模块12用于基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；第二编辑模块13基于所述第一编辑内容，对与所述第一编辑对象相对应的第二编辑对象进行编辑，获得第二编辑内容。其中，所述结构化报告包括医学图像和与所述医学图像对应的文本描述信息，所述文本描述信息用于描述所述医学图像中的生理组织相关信息。另外，本方案中，为了进一步提高自动化的识别效率，可以增加一个对象识别模块14用于确定所述编辑操作对应的编辑对象，从而快速锁定需要编辑的是第一边界对象或第二编辑对象。
在一种实例中，所述第一编辑模块12包括：第一状态调整模块121、图像编辑模块122和文本编辑模块123。其中，第一状态调整模块121用于将第一编辑对象设置为可编辑状态；图像编辑模块122用于获取所述医学图像的编辑信息，根据所述编辑信息对所述医学图像进行编辑，得到编辑后的医学图像；文本编辑模块123用于获取所述医学图像的编辑信息，根据所述编辑信息对所述医学图像进行编辑，得到编辑后的文本描述信息。
在一种实例中，所述第二编辑模块13包括：第二状态调整模块131、文本调整模型132和图像调整模块133。其中，第二状态调整模块131用于将第二边界对象设置为可编辑状态。文本调整模块132获取所述医学图像中病灶区域经所述放大操作后得到的第一目标病灶区域，以及所述放大操作对应的第一病灶识别模型；根据所述第一病灶识别模型对所述第一目标病灶区域中的病灶信息进行识别，得到第一识别结果；根据所述第一识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；或者，获取所述医学图像中病灶区域经所述缩小操作后得到的第二目标病灶区域；对所述第二目标病灶区域中的病灶信息进行识别，得到第二识别结果；根据所述第二识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息。图像调整模块133，获取经编辑操作后的所述文本描述信息中与病灶的属性信息相对应的目标病灶识别模型；根据所述目标病灶识别模型，重新对所述医学图像中的病灶进行识别，得到经识别后的具有目标病灶的医学图像。
在一种实例中，该装置包括模型构建模块15，其用于根据病灶的病变程度，获取第一预设病灶识别模型和置信度；根据所述置信度对所述第一预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病变程度，获取第二预设病灶识别模型和识别阈值；根据所述识别阈值对所述第二预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病灶类型信息匹配对应的第三预设病灶识别模型，并将其作为所述目标病灶识别模型。
本发明实施例的结构化报告的处理装置根据用户的编辑操作确定编辑对象，在编辑对象为医学图像时，根据编辑操作对对应的文本描述信息进行修改，在编辑对象为文本描述信息时，根据编辑操作对对应的医学图像进行修改，提高了结构化报告处理的效率。
相应的，本发明实施例还提供一种服务器，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器、一个或一个以上计算机可读存储介质的存储器、电源和输入单元等部件。本领域技术人员可以理解，以上示出的服务器结构并不构成对服务器的限定，可以包括比以上更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器可包括一个或多个处理核心；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据服务器的使用所创建的数据等。比如可以存储合法关键词，还可以存储从第三方服务器中获取到的一些数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
服务器还包括给各个部件供电的电源，优选的，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元，该输入单元可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器中，并由处理器来运行存储在存储器中的应用程序，从而实现各种功能，如下：
获取用户对结构化报告的编辑操作；确定编辑操作对应的编辑对象；当编辑对象为医学图像时，根据编辑操作对医学图像对应的文本描述信息进行修改；和/或当编辑对象为文本描述信息时，根据编辑操作对文本描述信息对应的医学图像进行修改。
本发明实施例的服务器根据用户的编辑操作确定编辑对象，在编辑对象为医学图像时，根据编辑操作对对应的文本描述信息进行修改，在编辑对象为文本描述信息时，根据编辑操作对对应的医学图像进行修改，提高了结构化报告处理的效率。
本文提供了实施例的各种操作。在一个实施例中，一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被基站执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件（例如元件、资源等）执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能（例如其在功能上是等价的）的任意组件（除非另外指示），即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
Claims (4)
1.一种结构化报告处理方法，其特征在于，该方法的步骤包括：
获取用户对包含相互之间具有关联的文本描述信息和医学图像的结构化报告的编辑操作；
基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；
在第一编辑对象为医学图像，且所述医学图像处于可编辑状态的情况下，获取所述医学图像的编辑操作，对所述医学图像进行编辑，获得编辑后的医学图像作为第一编辑内容；
获取所述医学图像中病灶区域经病灶边界编辑操作后得到的第一目标病灶区域，以及所述病灶边界编辑操作对应的第一病灶识别模型；根据所述第一病灶识别模型对所述第一目标病灶区域中的病灶信息进行识别，得到第一识别结果；根据所述第一识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；或，
获取所述医学图像中非病灶区域经标记操作后得到的第二目标病灶区域；对所述第二目标病灶区域中的病灶信息进行识别，得到第二识别结果；根据所述第二识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；
在第一编辑对象为文本描述信息，且所述文本描述信息处于可编辑状态的情况下，获取所述文本描述信息的编辑操作，对所述文本描述信息进行编辑，获得编辑后的文本描述信息作为第一编辑内容；
获取经编辑操作后的所述文本描述信息中与病灶的属性信息相对应的目标病灶识别模型；根据所述目标病灶识别模型，重新对所述医学图像中的病灶进行识别，得到经识别后的具有目标病灶的医学图像。
2.根据权利要求1所述的结构化报告处理方法，其特征在于，所述目标病灶识别模型的构建步骤包括：
根据病灶的病变程度，获取第一预设病灶识别模型和置信度；
根据所述置信度对所述第一预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病变程度，获取第二预设病灶识别模型和识别阈值；
根据所述识别阈值对所述第二预设病灶识别模型进行调整，得到所述目标病灶识别模型；或者，
根据病灶的病灶类型信息匹配对应的第三预设病灶识别模型，并将其作为所述目标病灶识别模型。
3.一种结构化报告处理装置，其特征在于，该装置包括：
操作获取模块，用于获取用户对包含相互之间具有关联的文本描述信息和医学图像的结构化报告的编辑操作；
第一编辑模块，用于基于所述编辑操作，对第一编辑对象进行编辑，获得第一编辑内容；
第二编辑模块，
在第一编辑对象为医学图像，且所述医学图像处于可编辑状态的情况下，获取所述医学图像的编辑操作，对所述医学图像进行编辑，获得编辑后的医学图像作为第一编辑内容；
获取所述医学图像中病灶区域经病灶边界编辑操作后得到的第一目标病灶区域，以及所述病灶边界编辑操作对应的第一病灶识别模型；根据所述第一病灶识别模型对所述第一目标病灶区域中的病灶信息进行识别，得到第一识别结果；根据所述第一识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；或，
获取所述医学图像中非病灶区域经标记操作后得到的第二目标病灶区域；对所述第二目标病灶区域中的病灶信息进行识别，得到第二识别结果；根据所述第二识别结果对所述文本描述信息进行修改，得到经修改后的文本描述信息；
在第一编辑对象为文本描述信息，且所述文本描述信息处于可编辑状态的情况下，获取所述文本描述信息的编辑操作，对所述文本描述信息进行编辑，获得编辑后的文本描述信息作为第一编辑内容；
获取经编辑操作后的所述文本描述信息中与病灶的属性信息相对应的目标病灶识别模型；根据所述目标病灶识别模型，重新对所述医学图像中的病灶进行识别，得到经识别后的具有目标病灶的医学图像。
4.一种计算机可读存储介质，其特征在于，其内存储有处理器可执行指令，处理器通过执行所述指令提供如权利要求1-2中任一所述的结构化报告处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568186.7A CN114242197B (zh) | 2021-12-21 | 2021-12-21 | 一种结构化报告处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568186.7A CN114242197B (zh) | 2021-12-21 | 2021-12-21 | 一种结构化报告处理方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114242197A CN114242197A (zh) | 2022-03-25 |
| CN114242197B true CN114242197B (zh) | 2022-09-09 |
Family
ID=80760031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568186.7A Active CN114242197B (zh) | 2021-12-21 | 2021-12-21 | 一种结构化报告处理方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114242197B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582456B (zh) * | 2022-05-07 | 2022-08-05 | 慧创科仪(北京)科技有限公司 | 医学报告生成方法、装置及近红外脑功能成像系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109935294A (zh) * | 2019-02-19 | 2019-06-25 | 广州视源电子科技股份有限公司 | 一种文本报告输出方法、装置、存储介质及终端 |
| CN111627508A (zh) * | 2020-04-29 | 2020-09-04 | 数坤（北京）网络科技有限公司 | 一种医学影像的解读方法、装置及计算机可读介质 |
| CN113159134A (zh) * | 2021-03-29 | 2021-07-23 | 宁波市科技园区明天医网科技有限公司 | 基于乳腺结构化报告的智能化诊断评估方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101508977B1 (ko) * | 2012-08-16 | 2015-04-08 | 네이버 주식회사 | 이미지 분석에 의한 이미지 자동 편집 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| KR20140102386A (ko) * | 2013-02-13 | 2014-08-22 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| CN106874682A (zh) * | 2017-02-28 | 2017-06-20 | 北京赛迈特锐医疗科技有限公司 | 基于图形化书写结构化报告的系统及其方法 |
| CN110931096A (zh) * | 2018-09-19 | 2020-03-27 | 北京赛迈特锐医疗科技有限公司 | 自动生成影像结构化报告模板的系统及其方法 |
| CN111048170B (zh) * | 2019-12-23 | 2021-05-28 | 山东大学齐鲁医院 | 基于图像识别的消化内镜结构化诊断报告生成方法与系统 |
| CN111223085A (zh) * | 2020-01-09 | 2020-06-02 | 北京安德医智科技有限公司 | 一种基于神经网络的头部医疗影像辅助判读报告生成方法 |
| CN112420147B (zh) * | 2020-11-18 | 2022-03-04 | 孙应实 | 影像ai结果与结构化报告桌面实时通讯的系统及方法 |
-
2021
- 2021-12-21 CN CN202111568186.7A patent/CN114242197B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109935294A (zh) * | 2019-02-19 | 2019-06-25 | 广州视源电子科技股份有限公司 | 一种文本报告输出方法、装置、存储介质及终端 |
| CN111627508A (zh) * | 2020-04-29 | 2020-09-04 | 数坤（北京）网络科技有限公司 | 一种医学影像的解读方法、装置及计算机可读介质 |
| CN113159134A (zh) * | 2021-03-29 | 2021-07-23 | 宁波市科技园区明天医网科技有限公司 | 基于乳腺结构化报告的智能化诊断评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114242197A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101875468B1 (ko) | 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치 | |
| JP5222082B2 (ja) | 情報処理装置およびその制御方法、データ処理システム | |
| JP5178119B2 (ja) | 画像処理装置および画像処理方法 | |
| US8625867B2 (en) | Medical image display apparatus, method, and program | |
| CN109997197A (zh) | 基于对医学图像的注释更新症状的概率 | |
| RU2711305C2 (ru) | Связывание отчета / изображения | |
| JP2017051591A (ja) | 情報処理装置及びその方法、情報処理システム、コンピュータプログラム | |
| CN115830017B (zh) | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 | |
| JP2021514773A (ja) | 医用画像データの表示 | |
| US20220292689A1 (en) | Pdac image segmentation method, electronic device and storage medium | |
| CN109273066A (zh) | 医疗报告生成方法及装置、电子设备及存储介质 | |
| CN112074912A (zh) | 使用介入x射线图像和深度学习的交互式冠状动脉标记 | |
| CN114242197B (zh) | 一种结构化报告处理方法、装置及计算机可读存储介质 | |
| JP5539478B2 (ja) | 情報処理装置および情報処理方法 | |
| JP7431317B2 (ja) | 文書作成支援装置、方法およびプログラム | |
| CN113889236B (zh) | 医学图像的处理方法、装置及计算机可读存储介质 | |
| CN113901764A (zh) | 一种内容排版方法、装置、电子设备和存储介质 | |
| CN113554640A (zh) | Ai模型的训练方法、使用方法、计算机设备及存储介质 | |
| WO2024093099A1 (zh) | 甲状腺超声图像处理方法、装置、介质及电子设备 | |
| CN112420167A (zh) | 影像报告的生成方法、装置及设备 | |
| CN114565623B (zh) | 肺血管分割方法、装置、存储介质及电子设备 | |
| JP6426144B2 (ja) | 医療システムに対する聴覚に関する機能強化 | |
| JP2007058625A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| US20230102428A1 (en) | Generating reports from scanned images | |
| KR20240033342A (ko) | 의료데이터 컴퓨팅 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 100120 rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing Patentee after: Shukun Technology Co.,Ltd. Country or region after: China Address before: 100120 rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing Patentee before: Shukun (Beijing) Network Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20240919 Address after: Room 313 and 315, Building No. 11, Innovation Road, Changping District, Beijing 102200 Patentee after: YUKUN (BEIJING) NETWORK TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 100120 rooms 303, 304, 305, 321 and 322, building 3, No. 11, Chuangxin Road, science and Technology Park, Changping District, Beijing Patentee before: Shukun Technology Co.,Ltd. Country or region before: China |