CN116805522A - 诊断报告输出方法、装置、终端及存储介质 - Google Patents

诊断报告输出方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN116805522A
CN116805522A CN202310525594.7A CN202310525594A CN116805522A CN 116805522 A CN116805522 A CN 116805522A CN 202310525594 A CN202310525594 A CN 202310525594A CN 116805522 A CN116805522 A CN 116805522A
Authority
CN
China
Prior art keywords
image
sub
diagnosis
features
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310525594.7A
Other languages
English (en)
Inventor
刘羲
董孟帆
舒畅
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310525594.7A priority Critical patent/CN116805522A/zh
Publication of CN116805522A publication Critical patent/CN116805522A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请实施例涉及数字医疗技术领域，具体提供了一种诊断报告输出方法、装置、终端以及存储介质。该方法包括：获取患者的医疗诊断图像和诊断文本；对医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域，对子图像区域进行分析，获得子图像区域之间的区域关联特征；根据医疗诊断图像获得其对应的视觉特征，并根据诊断文本获得诊断文本对应的文本特征；根据区域关联特征、视觉特征及文本特征进行病症识别获得患者的初始诊断报告；接收医护人员输入的对患者的诊断结果，结合初始诊断报告获得患者的目标诊断报告。从而引入医疗诊断图像中各个目标对象的区域关联特征进行病症识别，更好的挖掘数据之间的关联，进而提升诊断报告的准确性。

Description

诊断报告输出方法、装置、终端及存储介质
技术领域
本申请涉及数字医疗技术领域，尤其涉及一种诊断报告输出方法、装置、终端及存储介质。
背景技术
随着计算机科学技术的飞速发展，现已有非常多的人工智能手段应用于医疗行业，进而让患者享受安全、便利、优质的诊疗服务。现有技术中可以利用多模态数据进行诊疗辅助，从不同角度并且不容易存在冗余性的特征进行数据分析，来自多模态的数据在语义上是相关的，有时会相互提供互补信息，从而能够得到比单个维度更多有价值的信息。但是现有技术中只是将不同形式的数据进行特征提取后进行简单拼接即刻进行数据分析，无法更深层次的挖掘多模态数据之间的内在关联，进而输出的诊断报告的精准度不佳，造成诊断报告可参考性较低。因此，亟需一种能够提升诊断报告精准度的方法。
发明内容
本申请实施例的主要目的在于提供一种诊断报告输出方法、装置、终端及存储介质，旨在解决现有技术中输出诊断报告的精准度不佳，造成诊断报告可参考性较低的问题，通过引入医疗诊断图像中各个目标对象的区域关联特征进行病症识别，更好的挖掘数据之间的关联，进而提升诊断报告的准确性。
第一方面，本申请实施例提供一种诊断报告输出方法，包括：
获取患者的医疗诊断图像和诊断文本；
对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；
根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；
根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；
根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；
接收医护人员输入的对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
第二方面，本申请实施例还提供一种诊断报告输出装置，包括：
数据获取模块，用于获取患者的医疗诊断图像和诊断文本；
数据分割模块，用于对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；
数据分析模块，用于根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；
特征提取模块，用于根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；
数据识别模块，用于根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；
数据校正模块，用于获取医护人员对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
第三方面，本申请实施例还提供一种终端设备，终端包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本申请说明书提供的任一项诊断报告输出方法的步骤。
第四方面，本申请实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本申请说明书提供的任一项的诊断报告输出方法的步骤。
本申请实施例提供的方法可以由终端设备执行，也可以由终端设备中的芯片执行，该终端设备可以是服务器、电子设备(比如，计算机)。在终端设备为计算机时，该终端设备可以和服务器互相通信，比如，计算机上可以安装有与该服务器对应的应用程序(application，APP)，用户可以在计算机中操作该APP，以触发计算机和服务器建立通信连接，用户通过该计算机，将计算机向服务器上报由计算机获得的医疗诊断图像和诊断文本以使得服务器执行本申请实施例提供的诊断报告输出方法。
本申请实施例提供一种诊断报告输出方法、装置、终端以及存储介质，其中，该方法包括：获取患者的医疗诊断图像和诊断文本；对医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；再对多个子图像区域进行两两相互分析，获得子图像区域之间的区域关联特征；根据医疗诊断图像获得医疗诊断图像对应的视觉特征，并根据诊断文本获得诊断文本对应的文本特征；根据区域关联特征、视觉特征及文本特征进行特征融合后，再进行病症识别进而获得患者的初始诊断报告；再利用接收医护人员输入的对患者的诊断结果，和初始诊断报告相结合获得患者的目标诊断报告，从而解决现有技术中输出诊断报告的精准度不佳，造成诊断报告可参考性较低的问题，通过引入医疗诊断图像中各个目标对象的区域关联特征进行病症识别，更好的挖掘数据之间的关联，进而提升诊断报告的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种诊断报告输出方法的流程示意图；
图2为本申请实施例提供的一种医疗诊断图像中每个像素的概率信息示意图；
图3为本申请实施例提供的一种医疗诊断图像的示意图；
图4为图1中步骤S3的一种具体实施方式对应的步骤流程图；
图5为本申请实施例提供的一种诊断报告输出装置的模块结构示意图；
图6为本申请实施例提供的一种终端设备的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本申请实施例提供一种诊断报告输出方法、装置、终端以及存储介质。其中，该诊断报告输出方法可应用于终端设备，该终端设备可以为平板电脑、笔记本电脑、个人数字助理、穿戴式设备或服务器，其中，服务器可以为独立的服务器，也可以为服务器集群。
其中，本申请实施例提供一种诊断报告输出方法、装置、终端以及存储介质，该方法包括：获取患者的医疗诊断图像和诊断文本；对医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；再对多个子图像区域进行两两相互分析，获得子图像区域之间的区域关联特征；根据医疗诊断图像获得医疗诊断图像对应的视觉特征，并根据诊断文本获得诊断文本对应的文本特征；根据区域关联特征、视觉特征及文本特征进行特征融合后，再进行病症识别进而获得患者的初始诊断报告；再利用接收医护人员输入的对患者的诊断结果，和初始诊断报告相结合获得患者的目标诊断报告，从而解决现有技术中输出诊断报告的精准度不佳，造成诊断报告可参考性较低的问题，通过引入医疗诊断图像中各个目标对象的区域关联特征进行病症识别，更好的挖掘数据之间的关联，进而提升诊断报告的准确性。
下面结合附图，对本申请的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的一种诊断报告输出方法的流程示意图。
如图1所示，该诊断报告输出方法包括步骤S1至步骤S6。
步骤S1：获取患者的医疗诊断图像和诊断文本。
示例性地，获得患者的医疗诊断图像以及和医疗诊断图像对应的诊断文本。
例如，医疗诊断图像和诊断文本中通常表现出不同的质量信息，但是信息之间是相互关联的，通过医疗诊断图像和诊断文本存在的关联或者共享某些特征进而相互作用，从而产生新的信息。
例如，医疗诊断图像可以是核磁共振图像，诊断文本为根据核磁共振图像输出的诊断结果信息。
步骤S2：对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域。
示例性地，将医疗诊断图像进行图像分割，获得医疗诊断图像中不同目标对象的信息，进而根据目标对象的信息获得医疗诊断图像中对应的子图像区域。
例如，根据医疗诊断图像的灰度、形状、纹理信息和结构等特性将图像分割成特定的多个具有固定特性区域，进而获得含有目标对象的子图像区域。
例如，将医疗诊断图像进行灰度变换获得医疗诊断图像对应的灰度图，设置几个阈值将灰度图对应的灰度直方图划分为多个类别，当灰度值在同一个灰度阈值内则灰度值对应的位置信息可以判定其属于同一个目标对象，进而根据位置信息获得目标对象在医疗诊断图像中对应的子图像区域。
可选地，随着深度学习中卷积神经网络快速发展，也可以利用卷积神经网络对医疗诊断图像进行语义分割，获得医疗诊断图像中的多个子图像区域。如，FCN(FullyConvolutional Networks，全卷积网络)。
在一些实施方式中，所述对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域，包括：基于图像分割网络对获得所述医疗诊断图像中每一个像素点为对应的目标对象的概率信息进行分类，获得所述医疗诊断图像中不同目标对象类别；基于所述概率信息对根据所述目标对象类别获得所述医疗诊断图像进行图像分割，得到中的多个子图像区域，其中，每个所述子图像区域至少具有一个所述目标对象。
示例性地，利用图像分割网络如U-Net，对医疗诊断图像中每一个像素进行分类，获得每个像素对应的目标对象的概率信息，进而根据每个像素对应的目标对象的概率信息进行划分确定医疗诊断图像中的多个子图像区域，子图像区域中包含目标对象，不同子图像区域之间的目标对象可以属于同一个类别也可以属于不同类别，但是一个目标对象只属于一个子图像区域。
例如，通过图像分割网络对每个像素进行预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为目标对象的类别。即是需要判断图像每个像素点的类别，进行精确分割，从而确定医疗诊断图像中的多个子图像区域。
如图2所示，经过图像分割网络后，获得医疗诊断图像中每一个像素对应的目标对象的概率信息。若将概率信息大于0.75的作为目标对象，则可以将图2中概率信息为0.8的组成医疗诊断图像中的一个子图像区域。
步骤S3：根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系。
示例性地，对多个子图像区域进行分析，其中多个子图像区域中包含相应的目标对象，进而获得目标对象之间存在区域关联特征，如目标对象之间存在位置关联、颜色关联。
例如，如图3所示，医疗诊断图像中包含两个子图像区域，分别为子图像区域A、子图像区域B，则获得子图像区域A、子图像区域B对应的像素坐标后，根据像素坐标进行位置分析后，可以得出子图像区域A位于子图像区域B中，进而可以获得子图像区域A和子图像区域B之间的区域关联特征。
请参阅图4，在一些实施方式中，所述区域关联特征至少包括空间关联特征，步骤S3包括步骤S31至步骤S34。
步骤S31、对多个所述子图像区域执行数据选择操作，获得任意两个所述子图像区域组成子图像区域组。
示例性地，医疗诊断图像中包含两个及以上子图像区域，将全部子图像区域进行两两组合，获得多个子图像区域组。
例如，若医疗诊断图像中包含两个子图像区域A和B，则子图像区域组只有AB组合；若若医疗诊断图像中包含三个子图像区域A、B和C，则子图像区域组包含AB组合、AC组合、BC组合；若若医疗诊断图像中包含四个子图像区域A、B、C和D，则子图像区域组包含AB组合、AC组合、AD组合、BC组合、BD组合、CD组合，以此类推。
步骤S32、对所述子图像区域组执行空间分析操作，根据所述子图像区域组中每个所述子图像区域之间的空间距离和方向，确定所述子图像区域组对应的空间关系向量。
示例性地，对子图像区域组中两个子图像区域进行空间分析，根据子图像区域之间的空间距离和方向，进而确定子图像区域之间的空间关系向量。
例如，将子图像区域组中两个子图像区域分别表示为同一空间下的两个不同的向量如vi，vj，则两个子图像区域之间的空间关系向量可以表示为向量之差如vj-vi。
步骤S33、多次对多个所述子图像区域执行数据选择操作和空间分析操作，确定多个所述子图像区域分别对应的空间关系向量。
示例性的，将全部子图像区域均进行两两组合后均执行空间分析操作，进而获得每个组合对应的空间关系向量。
步骤S34、根据所述空间关系向量进行关系分析，获得所述子图像区域之间的区域关联特征。
示例性地，获得子图像区域组对应的空间关系向量后，对空间关系向量进行分析，进而获得子图像区域之间的区域关联特征。
例如，可以根据空间关系向量计算两个子图像区域之间的欧式距离或者曼哈顿距离，进而根据欧式距离或者曼哈顿距离将子图像区域之间的区域关联特征划分为相应的类别。
在一些实施方式中，所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征，包括：将所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布；根据所述空间关系向量和每个所述子图像区域对应的权重分布获得所述子图像区域之间的区域关联特征。
示例性地，将空间关系向量输入到注意力函数中得到每个子图像区域的权重分布，将空间关系向量和每个子图像区域对应的权重分布进行计算进而获得子图像区域之间的区域关联特征。
在一些实施方式中，所述注意力函数包括查询向量、权重矩阵、偏置项，所述将全部所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布，包括：根据所述子图像区域对应的所述空间关系向量、所述查询向量、所述权重矩阵以及所述偏置项获得所述子图像区域对应的相似度分数；将所述相似度分数进行归一化获得每个子图像区域的权重分布。
示例性地，注意力函数，用于计算不同子图像区域的权重分布。具体地，对于一个给定的查询向量q，可以计算其与每个子图像区域的相似度分数，然后将相似度分数通过一个softmax函数进行归一化，进而获得每个子图像区域的权重分布。
例如，每个子图像区域的权重分布的计算公式如公式(1)所示
其中，Wv和Wr分别是权重矩阵，b是偏置项，vi和vj分别为子图像区域组中子图像区域分别对应的向量，rij为子图像区域组中vi和vj之间的向量之差。
示例性地，查询向量q，权重矩阵Wv和权重矩阵Wr，偏置项b，可以通过提前训练得到。通过一定量的训练数据，训练数据中包括子图像区域组中子图像区域分别对应的向量，以及期望输出的向量关系。首先随机生成查询向量q，权重矩阵Wv和权重矩阵Wr，偏置项b，得到预测的向量关系，即将预测的向量关系通过不断调整查询向量q，权重矩阵Wv和权重矩阵Wr，偏置项b，使其逐渐逼近期望输出的向量关系。进而得到满足条件的查询向量q，权重矩阵Wv和权重矩阵Wr，偏置项b。
在一些实施方式中，所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征，还包括：确定关系嵌入矩阵，其中，所述关系嵌入矩阵用于表征所述子图像区域在所述医疗诊断图像中的关系；根据所述空间向量和所述关系嵌入矩阵，获得所述子图像区域之间的区域关联特征。
示例性地，引入用于表征不同子图像区域之间的空间关系、颜色关系等先验知识组成关系嵌入矩阵。进而根据空间向量和关系嵌入矩阵，获得子图像区域之间的区域关联特征。
例如，采用关系嵌入矩阵来表征子图像区域之间的位置关系，关系嵌入矩阵的每一行对应于一个不同子图像区域之间地关系类型，如子图像区域A位于子图像区域B的左侧、子图像区域A位于子图像区域B的右侧、子图像区域A位于子图像区域B的上方、子图像区域A位于子图像区域B的下方等等。
例如，子图像区域之间的区域关联特征可以如公式2所示：
其中，Rij表示子图像区域i和子图像区域j之间的区域关联特征，K表示关系嵌入矩阵中的关系类型数量，Wk表示关系嵌入矩阵中第k行的参数向量，[vi,vj]表示子图像区域i和子图像区域j的向量表示拼接后的向量。
步骤S4：根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征。
示例性地，将医疗诊断图像经过视觉特征提取获得能够表示医疗诊断图像的视觉特征，并对诊断文本进行文本表示获得诊断文本对应的文本特征。
例如，不论视觉特征还是文本特征旨在将图像或文本的语义信息表示为稠密低维实值向量，以在低维空间中高效计算图像与图像、文本与文本或文本与图像之间的语义联系，特别地，以深度学习为代表的表示学习技术在图像分析和自然语言处理领域获得了更大关注，因此，可以利用现有的深度学习技术获取医疗诊断图像对应的视觉特征和诊断文本对应的文本特征。
可选地，医疗诊断图像对应的视觉特征和诊断文本对应的文本特征可以分别根据对应的特征提取网络进行提取，也可以采用跨模态的形式基于共享层而建立各模态数据之间的关联，这样在获得视觉特征和文本特征时，不单单只是单个模态数据的信息，也通过其他模态的数据信息获得更精准的数据特征。
可选地，医疗诊断图像对应的视觉特征和诊断文本对应的文本特征也可以将不同模态的数据经过抽象后都映射到一个公共的表示空间，在该表示空间中建立不同模态间的关联；抑或将表示学习与关联学习合并、分离，将不同模态信息统一整合为相对低维、易于机器识别的表示形式，进而获得医疗诊断图像对应的视觉特征和诊断文本对应的文本特征。
步骤S5:根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告。
示例性地，将区域关联特征、视觉特征及文本特征进行特征融合，并根据特征融合后的结果进行病症识别，进而获得患者对应的初始诊断报告。
例如，将区域关联特征、视觉特征及文本特征进行特征拼接、特征求和、特征之间对应元素相乘，特征之间求外积等等。其中，特征求和还可以包括特征求和后求均值、利用加权求和。
可选地，将区域关联特征、视觉特征及文本特征均转换为中间地高维特征表达之后，然后将区域关联特征、视觉特征及文本特征分别对应地高维特征表达进行融合，进而根据特征融合后的结果进行病症识别，进而获得患者对应的初始诊断报告。
可选地，将区域关联特征、视觉特征及文本特征分别进行病症识别后得到病症识别结果，将区域关联特征、视觉特征及文本特征分别对应地病症识别结果进行融合，进而获得患者对应的初始诊断报告。
在一些实施方式中，所述根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告，包括:将所述区域关联特征、所述视觉特征及所述文本特征进行拼接，获得拼接向量；根据所述拼接向量进行病症识别获得所述患者对应的初始诊断报告。
示例性地，将区域关联特征、视觉特征及文本特征进行向量拼接，进而获得拼接向量，再根据拼接向量进行病症识别获得患者对应的初始诊断报告。
例如，医疗诊断图像中包括三个子图像区域A、B、C，以子图像区域A为例，获得子图像区域A对应地视觉特征RA，诊断文本对应地文本特征X，子图像区域A与子图像区域B组成地子图像区域组对应地区域关联特征为VAB，子图像区域A与子图像区域C组成地子图像区域组对应地区域关联特征为VAC，则将区域关联特征、视觉特征及文本特征进行向量拼接可以得到拼接向量[RA,X,VAB,VAC]。
可选地，可以将拼接向量输入到多层交互层中，以进行多层次的视觉和语言交互，得到更准确的视觉和语言表示。例如，可以利用多头自注意力机制对拼接向量进行多层交互，进一步提高了模型的语义理解能力和准确性
通过引入关系嵌入来约束子图像区域之间的空间关系等先验知识，可以为后续使用提供较好地语义理解能力，从而更好地应用在需要语义理解的领域中，包括但不限于医疗，还可以应用在金融领域。
步骤S6:接收医护人员输入的对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
示例性地，通过移动终端接收医护人员通过自身经验得出根据医疗诊断图像和诊断文本对应地诊断结果，结合初始诊断报告获得患者对应的目标诊断报告。
例如，当初始诊断结果和医护人员输入的诊断结果一致时，则可以基本认定患者的诊断结果正确；当初始诊断结果和医护人员输入的诊断结果不一致时，需要医护人员进一步确认患者的真实情况，进而作出更进一步的诊断。若最终诊断结果判定初始诊断结果不正确，则需要查询初始诊断结果造成错误判断的原因，进而进一步优化诊断报告输出方法。
请参阅图5，图5为本申请实施例提供的一种诊断报告输出装置200，该诊断报告输出装置200包括数据获取模块201、数据分割模块202、数据分析模块203、特征提取模块204、数据识别模块205、数据校正模块206。其中，数据获取模块201，用于获取患者的医疗诊断图像和诊断文本；数据分割模块202，用于对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；数据分析模块203，用于根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；特征提取模块204，用于根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；数据识别模块205，用于根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；数据校正模块206，用于获取医护人员对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
在一些实施方式中，数据分割模块202在所述对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域中，执行：
基于图像分割网络对获得所述医疗诊断图像中每一个像素点为对应的目标对象的概率信息进行分类，获得所述医疗诊断图像中不同目标对象类别；
基于所述概率信息对根据所述目标对象类别获得所述医疗诊断图像进行图像分割，得到中的多个子图像区域，其中，每个所述子图像区域至少具有一个所述目标对象。
在一些实施方式中，所述区域关联特征至少包括空间关联特征，数据分析模块203在所述根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征过程中，执行：
对多个所述子图像区域执行数据选择操作，获得任意两个所述子图像区域组成子图像区域组；
对所述子图像区域组执行空间分析操作，根据所述子图像区域组中每个所述子图像区域之间的空间距离和方向，确定所述子图像区域组对应的空间关系向量；
多次对多个所述子图像区域执行数据选择操作和空间分析操作，确定多个所述子图像区域分别对应的空间关系向量；
根据所述空间关系向量进行关系分析，获得所述子图像区域之间的区域关联特征。
在一些实施方式中，数据分析模块203在所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征过程中，执行：
将所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布；
根据所述空间关系向量和每个所述子图像区域对应的权重分布获得所述子图像区域之间的区域关联特征。
在一些实施方式中，所述注意力函数包括查询向量、权重矩阵、偏置项，数据分析模块203在所述将全部所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布过程中，执行：
根据所述子图像区域对应的所述空间关系向量、所述查询向量、所述权重矩阵以及所述偏置项获得所述子图像区域对应的相似度分数；
将所述相似度分数进行归一化获得每个所述子图像区域的权重分布。
在一些实施方式中，数据分析模块203在所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征过程中，还执行：
确定关系嵌入矩阵，其中，所述关系嵌入矩阵用于表征所述子图像区域在所述医疗诊断图像中的关系；
根据所述空间向量和所述关系嵌入矩阵，获得所述子图像区域之间的区域关联特征。
在一些实施方式中，数据识别模块205在所述根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告过程中，执行:
将所述区域关联特征、所述视觉特征及所述文本特征进行拼接，获得拼接向量；
根据所述拼接向量进行病症识别获得所述患者对应的初始诊断报告。
在一些实施方式中，诊断报告输出装置200应用于终端设备。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述诊断报告输出方法实施例中的对应过程，在此不再赘述。
请参阅图6，图6为本申请实施例提供的终端设备的结构示意性框图。
如图6所示，终端设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器301用于提供计算和控制能力，支撑整个服务器的运行。处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请实施例方案相关的部分结构的框图，并不构成对本申请实施例方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现本申请任一实施例提供的诊断报告输出方法。
在一些实施方式中，处理器301用于运行存储在存储器中的计算机程序，应用于终端设备，并在执行计算机程序时实现如下步骤：
获取患者的医疗诊断图像和诊断文本；
对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；
根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；
根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；
根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；
接收医护人员输入的对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
在一些实施方式中，处理器301在所述对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域过程中，执行：
基于图像分割网络对获得所述医疗诊断图像中每一个像素点为对应的目标对象的概率信息进行分类，获得所述医疗诊断图像中不同目标对象类别；
基于所述概率信息对根据所述目标对象类别获得所述医疗诊断图像进行图像分割，得到中的多个子图像区域，其中，每个所述子图像区域至少具有一个所述目标对象。
在一些实施方式中，所述区域关联特征至少包括空间关联特征，处理器301在所述根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征过程中，执行：
对多个所述子图像区域执行数据选择操作，获得任意两个所述子图像区域组成子图像区域组；
对所述子图像区域组执行空间分析操作，根据所述子图像区域组中每个所述子图像区域之间的空间距离和方向，确定所述子图像区域组对应的空间关系向量；
多次对多个所述子图像区域执行数据选择操作和空间分析操作，确定多个所述子图像区域分别对应的空间关系向量；
根据所述空间关系向量进行关系分析，获得所述子图像区域之间的区域关联特征。
在一些实施方式中，处理器301在所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征过程中，执行：
将所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布；
根据所述空间关系向量和每个所述子图像区域对应的权重分布获得所述子图像区域之间的区域关联特征。
在一些实施方式中，所述注意力函数包括查询向量、权重矩阵、偏置项，处理器301在所述将全部所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布过程中，执行：
根据所述子图像区域对应的所述空间关系向量、所述查询向量、所述权重矩阵以及所述偏置项获得所述子图像区域对应的相似度分数；
将所述相似度分数进行归一化获得每个所述子图像区域的权重分布。
在一些实施方式中，处理器301在所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征过程中，还执行：
确定关系嵌入矩阵，其中，所述关系嵌入矩阵用于表征所述子图像区域在所述医疗诊断图像中的关系；
根据所述空间向量和所述关系嵌入矩阵，获得所述子图像区域之间的区域关联特征。
在一些实施方式中，处理器301在所述根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告过程中，执行:
将所述区域关联特征、所述视觉特征及所述文本特征进行拼接，获得拼接向量；
根据所述拼接向量进行病症识别获得所述患者对应的初始诊断报告。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述诊断报告输出方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本申请说明书实施例提供的任一项诊断报告输出方法的步骤。
其中，存储介质可以是前述实施例的终端设备的内部存储单元，例如终端设备内存。存储介质也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种诊断报告输出方法，其特征在于，应用于终端设备，所述方法包括：
获取患者的医疗诊断图像和诊断文本；
对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；
根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；
根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；
根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；
接收医护人员输入的对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
2.根据权利要求1所述方法，其特征在于，所述对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域，包括：
基于图像分割网络对获得所述医疗诊断图像中每一个像素点为对应的目标对象的概率信息进行分类，获得所述医疗诊断图像中不同目标对象类别；
基于所述概率信息对根据所述目标对象类别获得所述医疗诊断图像进行图像分割，得到中的多个子图像区域，其中，每个所述子图像区域至少具有一个所述目标对象。
3.根据权利要求1所述的方法，其特征在于，所述区域关联特征至少包括空间关联特征，所述根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，包括：
对多个所述子图像区域执行数据选择操作，获得任意两个所述子图像区域组成子图像区域组；
对所述子图像区域组执行空间分析操作，根据所述子图像区域组中每个所述子图像区域之间的空间距离和方向，确定所述子图像区域组对应的空间关系向量；
多次对多个所述子图像区域执行数据选择操作和空间分析操作，确定多个所述子图像区域分别对应的空间关系向量；
根据所述空间关系向量进行关系分析，获得所述子图像区域之间的区域关联特征。
4.根据权利要求3所述方法，其特征在于，所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征，包括：
将所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布；
根据所述空间关系向量和每个所述子图像区域对应的权重分布获得所述子图像区域之间的区域关联特征。
5.根据权利要求4所述的方法，其特征在于，所述注意力函数包括查询向量、权重矩阵、偏置项，所述将全部所述空间关系向量结合注意力函数得到每个所述子图像区域的权重分布，包括：
根据所述子图像区域对应的所述空间关系向量、所述查询向量、所述权重矩阵以及所述偏置项获得所述子图像区域对应的相似度分数；
将所述相似度分数进行归一化获得每个所述子图像区域的权重分布。
6.根据权利要求3所述方法，其特征在于，所述根据所述空间向量进行关系分析，获得所述子图像区域之间的区域关联特征，还包括：
确定关系嵌入矩阵，其中，所述关系嵌入矩阵用于表征所述子图像区域在所述医疗诊断图像中的关系；
根据所述空间向量和所述关系嵌入矩阵，获得所述子图像区域之间的区域关联特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告，包括:
将所述区域关联特征、所述视觉特征及所述文本特征进行拼接，获得拼接向量；
根据所述拼接向量进行病症识别获得所述患者对应的初始诊断报告。
8.一种诊断报告输出装置，其特征在于，包括：
数据获取模块，用于获取患者的医疗诊断图像和诊断文本；
数据分割模块，用于对所述医疗诊断图像进行图像分割，获得多个具有目标对象的子图像区域；
数据分析模块，用于根据多个所述子图像区域进行分析，获得所述子图像区域之间的区域关联特征，所述区域关联特征用于表征所述子图像区域中所述目标对象之间的关联关系；
特征提取模块，用于根据所述医疗诊断图像获得所述医疗诊断图像对应的视觉特征，并根据所述诊断文本获得所述诊断文本对应的文本特征；
数据识别模块，用于根据所述区域关联特征、所述视觉特征及所述文本特征进行病症识别获得所述患者对应的初始诊断报告；
数据校正模块，用于获取医护人员对所述患者的诊断结果，结合所述初始诊断报告获得所述患者对应的目标诊断报告。
9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的诊断报告输出方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述的诊断报告输出方法的步骤。
CN202310525594.7A 2023-05-10 2023-05-10 诊断报告输出方法、装置、终端及存储介质 Pending CN116805522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310525594.7A CN116805522A (zh) 2023-05-10 2023-05-10 诊断报告输出方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310525594.7A CN116805522A (zh) 2023-05-10 2023-05-10 诊断报告输出方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN116805522A true CN116805522A (zh) 2023-09-26

Family

ID=88079083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310525594.7A Pending CN116805522A (zh) 2023-05-10 2023-05-10 诊断报告输出方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116805522A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830307A (zh) * 2024-03-04 2024-04-05 南充市中心医院 基于人工智能的骨骼图像识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830307A (zh) * 2024-03-04 2024-04-05 南充市中心医院 基于人工智能的骨骼图像识别方法及系统
CN117830307B (zh) * 2024-03-04 2024-05-14 南充市中心医院 基于人工智能的骨骼图像识别方法及系统

Similar Documents

Publication Publication Date Title
US10430946B1 (en) Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US10762376B2 (en) Method and apparatus for detecting text
US9349105B2 (en) Machine learning with incomplete data sets
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
US10002308B2 (en) Positioning method and apparatus using positioning models
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN111241989B (zh) 图像识别方法及装置、电子设备
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN111639535A (zh) 基于深度学习的人脸识别方法及装置
US20220019870A1 (en) Verification of classification decisions in convolutional neural networks
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
EP4181059A1 (en) Medical image processing method, apparatus, device, storage medium, and product
CN111753746B (zh) 属性识别模型训练方法、识别方法、电子设备、存储介质
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN110705621A (zh) 基于dcnn的食物图像的识别方法和系统及食物热量计算方法
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质
Jung et al. Weakly supervised thoracic disease localization via disease masks
CN114519401A (zh) 一种图像分类方法及装置、电子设备、存储介质
CN112561935B (zh) 一种大脑影像智能分类方法、装置和设备
CN111582404B (zh) 内容分类方法、装置及可读存储介质
US11574641B2 (en) Method and device with data recognition
CN114168780A (zh) 多模态数据处理方法、电子设备及存储介质
CN108376567B (zh) 一种基于标签传播算法的临床药品-药品不良反应检测方法
Barata et al. A clinically oriented system for melanoma diagnosis using a color representation
Hadavi et al. Classification of normal and abnormal lung ct-scan images using cellular learning automata

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination