CN117274185A - 检测方法、检测模型产品、电子设备及计算机存储介质 - Google Patents

检测方法、检测模型产品、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN117274185A
CN117274185A CN202311211332.XA CN202311211332A CN117274185A CN 117274185 A CN117274185 A CN 117274185A CN 202311211332 A CN202311211332 A CN 202311211332A CN 117274185 A CN117274185 A CN 117274185A
Authority
CN
China
Prior art keywords
feature
features
detection
processing
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311211332.XA
Other languages
English (en)
Other versions
CN117274185B (zh
Inventor
许敏丰
周彦捷
张剑锋
郭恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202311211332.XA priority Critical patent/CN117274185B/zh
Publication of CN117274185A publication Critical patent/CN117274185A/zh
Application granted granted Critical
Publication of CN117274185B publication Critical patent/CN117274185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种检测方法、检测模型产品、电子设备及计算机存储介质，其中，检测方法包括：获取医学影像图像的深度图像特征及与所述医学影像图像相匹配的生物检测指标，并对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。通过本申请实施例，使得针对不良事件的检测预测结果更为准确，并且，通过置信度评估结果，可有效指示各特征可供参考的程度或可靠程度。

Description

检测方法、检测模型产品、电子设备及计算机存储介质
技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种检测方法、检测模型产品、电子设备及计算机存储介质。
背景技术
随着人工智能技术的发展，越来越多的行业将人工智能技术应用于其行业中，以实现行业发展的智能化。
其中，由于端对端的深度学习方法可以减少手动特征工程的需求，使得深度学习模型更加自动化和智能化，因此被广泛的使用。例如，在循证医学的场景下，医生的决策往往需要借助于大量的量化检测信息，在此基础上，医生会以这些量化检测信息为参考，结合其它信息及医生的临床认知，来进行后续的临床决策。但目前，这些量化检测信息可供参考的程度，或者，其可靠程度，却无确定之法。
发明内容
有鉴于此，本申请实施例提供一种检测方案，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种检测方法，包括：获取医学影像图像的深度图像特征及与所述医学影像图像相匹配的生物检测指标，并对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
根据本申请实施例的第二方面，提供了另一种检测方法，包括：获取医学CT影像图像的深度图像特征及与所述医学CT影像图像相匹配的生物检测指标，并对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；基于所述处理结果进行不良事件的检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
根据本申请实施例的第三方面，提供了一种检测模型产品，包括：特征获取单元、特征交互和选择单元、输出单元；其中：所述特征获取单元，用于获取医学影像图像的深度图像特征及与所述医学影像图像相匹配的生物检测指标；所述特征交互和选择单元，用于对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；所述输出单元，用于基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述方法对应的操作。
根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
根据本申请实施例提供的方案，在需要获得医学影像图像的检测结果时，采用了将图像对应的深度图像特征和生物检测指标相结合的方式，通过对其进行特征交互和选择处理，可以强化深度图像特征和生物检测指标中较为突出的特征，从而使得基于这些特征获得的检测预测结果更为准确；而获得的置信度评估结果，则可有效指示各特征在获得检测预测结果中所占据的分量，也即可供参考的程度或可靠程度，以为后续的处理提供更为有效的依据。此外，通过医学影像图像的深度图像特征，可放大易被人眼忽视或无法有效观察到的特征部分，避免信息遗漏，进一步提高了参考数据的有效性和可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为适用本申请实施例的检测方案的示例性系统的示意图；
图2为根据本申请实施例一的一种检测方法的步骤流程图；
图3A为用于实现图2所示实施例的一种检测模型产品的结构示意图；
图3B为一种示例性检测模型产品的结构示意图；
图3C为图3B所示检测模型产品中的特征交互和选择处理模块的结构示意图；
图3D为图3C所示特征交互和选择处理模块中的GRN的结构示意图；
图3E为另一种示例性检测模型产品的结构示意图；
图4为根据本申请实施例二的一种检测方法的步骤流程图；
图5为根据本申请实施例三的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
图1示出了一种适用本申请实施例方案的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。需要说明的是，本申请实施例的方案既可以在用户设备106中执行，也可由云服务端102和用户设备106协作执行。
云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在云服务端102和用户设备106协作执行本申请实施例方案的场景中，云服务端102可以用于接收用户设备106发送的医学影像图像，或者，接收用户设备106发送的医学影像图像和与医学影像图像相匹配的生物检测指标，进而对其进行处理，以获得针对该医学影像图像的检测预测结果和置信度评估结果。作为可选的示例，在一些实施例中，云服务端102对医学影像图像的处理包括：对深度图像特征和获取的生物检测指标进行拼接，获得拼接特征；分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果；基于处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。作为另一示例，在一些实施例中，云服务端102可以将获得的检测预测结果和置信度评估结果发送到用户设备106。
在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(Wide Area Network，WAN)、局域网(Local Area Network,LAN)、无线网络、数字订户线路(Digital Subscriber Line，DSL)网络、帧中继网络、异步转移模式(AsynchronousTransfer Mode,ATM)网络、虚拟专用网(Virtual Private Network，VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。
用户设备106可以包括能够与用户交互的任何一个或多个用户设备。在由用户设备106执行本申请实施例方案的场景中，用户设备106可以获取医学影像图像的深度图像特征及与医学影像图像相匹配的生物检测指标，并对深度图像特征和生物检测指标进行拼接，获得拼接特征；分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果；基于处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机和/或任何其他合适类型的用户设备。
基于上述系统，本申请实施例提供了一种检测方案，以下通过多个实施例进行说明。
实施例一
参照图2，示出了根据本申请实施例一的一种检测方法的步骤流程图。
本实施例的检测方法包括以下步骤：
步骤S202：获取医学影像图像的深度图像特征及与医学影像图像相匹配的生物检测指标，并对深度图像特征和生物检测指标进行拼接，获得拼接特征。
在医学领域，待检测对象可能会进行一系列的医学检测，如针对血液的检测、射线如X线检测、超声检测、CT检测等等，其中的部分或全部检测会生成相应的医学影像图像。后续，可以结合对医学影像图像的处理结果和其它生物检测结果，对是否存在异常进行检测，以根据检测结果，进一步辅助判断待检测对象的状态，从而为确定待检测对象的状态提供帮助。其中，上述其它生物检测结果包括但不限于血压检测、心率检测，等等，本申请实施例对此不作限制。
上述检测产生的相应的医学影像图像，如CT检测产生的CT影像图像、超声检测产生的超声影像图像如B超影像图像等、射线检测产生的射线影像图像如X线影像图像等等，这些影像图像均可作为本申请实施例中的医学影像图像。但不限于此，其它医学影像图像同样可适用于本申请实施例的方案。
在此基础上，可以对医学影像图像进行特征提取，以获得其深度图像特征。因人眼的局限性，图像反映出来的某些信息可能会被遗漏或忽略，而通过对医学影像图像进行特征提取而获得的深度图像特征则可反映出图像中更为细节和准确的信息，弥补人眼缺陷，并为后续的检测预测提供准确的数据基础。
在一种可行方式中，获取医学影像图像的深度图像特征可以实现为：通过分类模型，对医学影响图像进行特征提取，以获得医学影像图像的深度图像特征。通过这种方式，可以提取出更为有效和准确的深度图像特征。其中，在具体实现时，该分类模型可以实现为任意适当的、具有图像特征提取和不良事件分类功能的分类器模型，包括但不限于：卷积神经网络模型CNN、残差神经网络模型ResNet等。示例性地，本申请实施例中，可以采用3DResNet18模型作为分类模型，来提取医学影像图像的深度图像特征。本申请实施例中，不良事件意指可能产生疾病的事件。
此外，本申请实施例中，还会获取与医学影像图像相匹配的生物检测指标，该生物检测指标可以用来指示与医学影像图像中各部分相关的检测数据。例如，若医学影像图像为一张心脏CT影像图像，则其相匹配的生物检测指标可以为心外膜脂肪组织量、肺密度容积等等。生物检测指标可以基于医学影像图像获得，但不限于此，还可通过针对各生物检测指标的检测数据如化验单上的数据获得。
在此情况下，一种可行方式中，获取与医学影像图像相匹配的生物检测指标可以实现为：通过分割模型对医学影像图像进行检测部位分割，基于分割结果获得对应的多个影像学生物标记物及其对应的量化结果，以量化结果作为生物检测指标；或者，通过文本识别模型，对与医学影像图像相匹配的生物检测指标文本图像进行文本识别，以获得对应的生物检测指标；或者，接收通过输入框输入的文本形式的生物检测指标。
上述方式中，通过分割模型的方式，可以基于同一医学影像图像获得其对应的深度图像特征和生物检测指标，无需另外的检测方式支持，可以节省方案实现成本，提高方案实现效率。其中，分割模型可以为一个完整的模型，其通过全自动的分割算法对医学影像图像中的各组织和器官进行分割，进而基于分割结果计算获得各组织和器官对应的影像学生物标记物，再对影像学生物标记物进行量化处理，获得其对应的量化结果。但不限于此，分割模型也可以包括多个子模型，每个子模型用于对医学影像图像中的不同部分进行分割，基于分割结果获得影像学生物标记物，再对影像学生物标记物进行量化处理，获得其对应的量化结果。例如，分割模型包括：主动脉&头臂干分割子模型、主动脉钙化&冠脉钙化分割子模型、心脏四腔室和心脏外模分割子模型，通过该三个分割子模型分别对心脏CT影像图像进行分割，获得对应的分割结果。其中，生物标志物(biomarker)是指生物体的可以测量的生物学特征，可以作为疾病、生理或病理过程的指示器、预测器或治疗反应的评估指标。生物标志物可以是分子、细胞、组织、器官或整个生物体的特征，可以通过各种检测方法进行定量或定性的测量。本申请实施例中，采用了定量测量的方式，即对生物标记物进行量化处理。而影像学生物标记物也称为Image biomarker,是指基于医学影像图像获得的生物标记物的信息。
上述分割模型或分割子模型可采用任意适当的机器学习模型实现，在一个示例中，分割模型或分割子模型可采用深度卷积网络模型实现。通过该深度卷积网络模型，可以先识别出医学影像图像中待分割的部分，对其进行分割以获得相应的区域数据；再对区域数据进行针对影像学生物标记物的特征提取，再基于提取出的特征进行量化处理，获得相应的生物检测指标。
但在另一种可行方式中，生物检测指标可能通过其它检测方式获得，如针对这些检测指标进行血液化验或抽验或射线方式等等，进而形成电子或纸质方式的化验单，该化验单上记录有文本形式的检测结果。在此情况下，则可以通过文本识别模型，对与医学影像图像相匹配的生物检测指标文本图像(如化验单)进行文本识别，以获得对应的生物检测指标。其中，文本识别模型可以采用任意适当的、具有文本识别功能的模型实现，包括但不限于OCR(Optical Character Recognition，光学字符识别)模型、CRNN(ConvolutionalRecurrent Neural Network，卷积循环神经网络)模型等。通过此种方式，无需依赖于医学影像图像即可获得生物检测指标，且准确度相对较高，能够为后续的检测预测和特征置信度评估提供更为可靠的数据依据。
在再一种可行方式中，示例性地，还可通过人机交互界面由用户输入生物检测指标。例如，人机交互界面中设置有用于输入生物检测指标的输入框，相关用户在获得化验单后，将化验单中的各项指标通过输入框依次输入，等等。通过这种方式，可以降低模型实现的复杂性，从而从整体上降低了方案实现成本。
但不限于此，其它可获得生物检测指标的方式也可适用于本申请实施例的方案。
在获得了深度图像特征和生物检测指标后，进一步地，还可对两者进行拼接，获得拼接特征。其中，拼接可采用常规拼接concat或压缩flatten等方式实现。当生物检测指标包括多个(两个及两个以上)时，该多个生物检测指标均与深度图像特征进行拼接，生成拼接特征。
步骤S204：分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果。
通过特征交互和选择，一方面，可以使得有效特征更为突显，另一方面，也使得特征信息更为客观和全面。为此，在一种可行方式中，可以基于门控处理，对深度图像特征、生物检测指标和拼接特征进行特征选择；基于注意力处理，对拼接特征中包含的多个特征进行特征交互；基于特征选择和特征交互的结果，获得所述处理结果。其中，通过门控处理，可以使得有效特征更为突出；通过注意力处理，既可使得拼接后的特征中有效特征更为突出，又可使得特征间实现交互，使得交互后的特征更为客观和全面。在一种可行方式中，获得的处理结果中包括但不限于与深度图像特征和生物检测指标对应的处理后特征，及各处理后特征对应的检测预测概率，该检测预测概率用于表示各特征可能会导致预设的不良事件的概率。
在一种具体的可行实现方式中，基于门控处理，对深度图像特征、生物检测指标和拼接特征进行特征选择；基于注意力处理，对拼接特征中包含的多个特征进行特征交互可以实现为：分别对深度图像特征和生物检测指标进行基于门控的特征选择，获得选择后的深度图像特征和生物检测指标；对拼接特征进行自注意力处理，获得自注意力特征，再对自注意力特征进行门控处理。由此实现对各特征的特征交互和选择处理。其中，门控用来控制机器学习模型中信息的传递，通过门控，可以控制记忆单元中的信息有多少需要保留，有多少需要丢弃，新的状态信息又有多少需要保存到记忆单元中等。可见，通过门控，可实现特征的有效过滤和突出。而通过自注意力处理，则可建立特征之间的相关性，加强特征之间的关联。示例性地，门控处理可实现为通过GRN(Gate Residual Network,门控残差网络)进行处理。但不限于此，其它门控方式，如门控循环单元GRU等方式也可适用。
在此基础上，一种可行方式中，在对自注意力特征进行门控处理之后，还可以基于门控处理的结果获得拼接特征中包含的多个特征分别对应的权重。则，基于特征选择和特征交互的结果，获得所述处理结果可以实现为：基于选择后的深度图像特征和生物检测指标、以及权重，获得所述处理结果。示例性地，可以将深度图像特征和生物检测指标分别与其对应的权重相乘，以获得处理结果。其中，基于门控处理的结果获得拼接特征中包含的多个特征分别对应的权重可以实现为：对门控处理的结果进行归一化处理，获得拼接特征中包含的多个特征分别对应的权重。由此，既强化了有效特征，又为后续的检测预测处理提供了准确的特征基础。
步骤S206：基于特征交互和选择处理的处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
需要说明的是，本申请的一个或多个实施例中，检测任务可以应用于对各类医学图像的处理，并根据深度图像特征判断医学影像图像是否出现异常，示例性地，在CVD(CardioVascular Disease，心血管疾病)检测的应用场景中，可以根据胸部或胸腹部CT影像图像，预测CVD不良事件；在膀胱检测的应用场景中，可以根据膀胱B超影像图像，预测膀胱不良事件，等等。
但如前所述，该检测预测结果用于表示可能发生相应的不良事件的可能性，以作为后续处理的参考。因此，在本申请实施例的方案中，还会对特征交互和选择处理的处理结果进行特征置信度评估，给出置信度评估结果，以表征各项特征在上述不良事件的可能性的确定过程中所具有的置信度情况。
为此，在一种可行方式中，可以对所述处理结果进行分类检测预测，以获得对应的检测预测结果；以及，基于所述处理结果中包含的多个特征分别对应的检测预测概率，获得所述处理结果中包含的多个特征分别对应的置信度评估结果。以此，可以提供较好的特征量化结果，以供后续处理参考。
其中，对所述处理结果进行分类检测预测的具体实现可采用常规分类器方式实现，而置信度评估结果的获得也可由本领域技术人员根据实际需求，采用适当方式实现，如将前述获得的检测预测概率作为各特征对应的置信度评估结果的方式。但不限于此，通过适当的置信度计算算法，基于检测预测概率进行计算来获得置信度评估结果的方式，也同样适用于本申请实施例的方案。
通过本实施例的方案，在需要获得医学影像图像的检测结果时，采用了将图像对应的深度图像特征和生物检测指标相结合的方式，通过对其进行特征交互和选择处理，可以强化深度图像特征和生物检测指标中较为突出的特征，从而使得基于这些特征获得的检测预测结果更为准确；而获得的置信度评估结果，则可有效指示各特征在获得检测预测结果中所占据的分量，也即可供参考的程度，或可靠性程度，以为后续处理提供更为有效的依据。此外，通过医学影像图像的深度图像特征，可放大易被人眼忽视或无法有效观察到的特征部分，避免信息遗漏，进一步提高了参考数据的有效性和可靠性。
在一种可行的方案中，上述检测方法可通过检测模型产品实现，一种示例性的检测模型产品的架构如图3A所示。
图3A中的检测模型产品包括特征获取单元302、特征交互和选择单元304、以及输出单元306。
其中：
特征获取单元302，用于获取医学影像图像的深度图像特征及与医学影像图像相匹配的生物检测指标。
特征交互和选择单元304，用于对深度图像特征和生物检测指标进行拼接，获得拼接特征；分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果。
输出单元306，用于基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
在一种具体实现示例中，如图3B所示，特征交互和选择单元304可以实现为包括：编码器3042、特征交互和选择处理模块3044的形式。编码器3042用于对深度图像特征和生物检测指标进行拼接，获得拼接特征；特征交互和选择处理模块3044用于分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果。
在一个示例中，一种特征交互和选择处理模块3044的实现如图3C所示。在图3C中，特征交互和选择处理模块3044分为两个分支，左侧分支主要包括与各生物检测指标和深度图像特征对应的GRN，以分别对各生物检测指标和深度图像特征(图3C中示意为“F1……Fn”)进行门控处理，获得门控处理后的特征(图3C中示意为“F1’……Fn’”)；右侧分支主要包括自注意力处理模块(图3C中示意为“Self-Attention”)、GRN模块(图3C中示意为“GRN”)和权重模块(图3C中示意为“Softmax:S”)。右侧分支主要对拼接特征(图3C中示意为“flatten[F1,,Fn]”)进行处理，具体地，首先通过自注意力模块对拼接特征进行自注意力处理；再通过GRN模块对自注意力处理获得的特征进行门控GRN处理；然后，通过权重模块的Softmax归一化函数，对门控处理后的特征进行归一化处理。因拼接特征由包括深度图像特征和生物检测指标在内的特征拼接而成，因此，归一化处理后将获得各特征对应的介于0-1之间的权重。进而，将该右侧分支获得的权重与左侧分支获得的门控处理后的特征相乘，即可获得特征交互和选择处理的处理结果(图3C中示意为“F,S”)。
在一种示例性实现方式中，上述GRN的结构如图3D所示，其包括:线性化层Linear,用于对输入的特征进行线性化处理；连接于线性化层Linear的ELU(Exponential LinearUnit，指数线性单元)函数层，ELU函数是一种激活函数，其能够使得使得神经元的平均激活均值趋近为0,同时对噪声更具有鲁棒性；连接于ELU函数层之后的线性化及过滤层，即Linear&Dropout层，用于对ELU函数层输出的特征再次进行线性化并过滤掉不符合条件的特征；连接于Linear&Dropout层之后的门控Gate层，其对于至少两个特征部分，使用权重矩阵来分配重要程度，本示例中，用来生成拼接特征中包含的多个特征各自对应的权重；连接于Gate层之后的标准化层，即Add&Norm，以对Gate层的输出进行标准化处理。需要说明的是，图3D为一种GRN的结构示例，在实际应用中，其它结构的、具有门控功能的结构或算法或模型等均可适用于本示例的方案。
在此基础上，输出单元306可以包括：分类器3062和置信度评估模块3064。其中，分类器3062用于基于特征交互和选择处理的处理结果，进行预设的医学检测项目的检测预测，获得检测预测结果；而置信度评估模块3064则用于基于特征交互和选择处理的处理结果，进行特征置信度评估，获得置信度评估结果。本示例，设定置信度评估模块3064以特征交互和选择单元304输出的各特征对应的检测预测概率作为各特征的置信度评估结果，进行输出。
而对于特征获取单元302，其可以实现为包括深度图像特征提取网络模块3022、和生物检测指标提取网络模块3024。其中，深度图像特征提取网络模块3022用于获取医学影像图像的深度图像特征；生物检测指标提取网络模块3024用于获取与医学影像图像相匹配的生物检测指标。
示例性地，深度图像特征提取网络模块3022可以采用ResNet网络的结构形式实现，而生物检测指标提取网络模块3024则可以包括下述三种方式或者称为三个分支中的至少之一：
(一)分割模型分支
该分割模型可实现为深度卷积网络模型，用于对医学影像图像进行相应部位的分割，以获得各部位对应的影像学生物标记物及其对应的量化结果，以作为生物检测指标。
(二)文本识别模型分支
该文本识别模型可以实现为任意适当的模型，包括但不限于OCR模型、CRNN模型等，用于对与医学影像图像相匹配的生物检测指标文本图像(如化验单)进行文本识别，以获得对应的生物检测指标。
(三)文本输入框分支
其通过人机交互界面中的文本输入框，获得输入的文本形式的、与医学影像图像相匹配的生物检测指标。
在实际应用中，可以使用训练样本，按照常规训练方式对上述检测模型产品的各个部分分别或同时进行训练，训练完成后的检测模型产品即具有实现本申请实施例的检测方法的功能。
需要说明的是，本实施例的上述描述较为简要，相关之处可参照前述方法实施例一中相对应的部分的描述，在此不再赘述。
在一个具体的CVD不良事件预测场景中，上述检测模型产品具体可实现为如图3E所示的结构。
由图3E中可见，该检测模型产品的特征获取单元302实现为双分支结构，其中的一个分支为用于对胸部或胸腹部的医学影像图像(如CT影像图像)进行特征提取，以获得医学影像图像的深度图像特征的深度图像特征提取网络，本示例中，示例性地实现为基于ResNet的分类模型；另一个分支为用于基于该医学影像图像，对其进行检测部位分割，基于分割结果获得对应的多个影像学生物标记物及其对应的量化结果，并以量化结果作为生物检测指标(生物特征)的生物检测指标提取网络，本示例中，示例性地实现为基于深度卷积网络模型的分割模型。
连接于上述双分支结构之后的为特征交互和选择单元304的编码器，通过该编码器，将双分支分别获取的深度图像特征和生物检测指标进行拼接及编码，以生成拼接特征。
连接于编码器之后的为特征交互和选择单元304的特征交互和选择处理模块，用于分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果。在一个示例中，其可实现为如图3C所示的结构。
在特征交互和选择单元304之后，连接有分类器和置信度评估模块。其中，分类器基于特征交互和选择处理的处理结果，进行CVD不良事件的检测预测，获得检测预测结果；而置信度评估模块则基于特征交互和选择处理的处理结果，进行特征置信度评估，获得各生物检测指标及深度图像特征分别对应的置信度评估结果。示例性地，分类器可以如图3E中所示的“Classifier”,置信度评估模块可以如图3E中所示的“Feats Scores”。
通过该检测模型产品，可以实现基于胸部或胸腹部的医学影像图像，对CVD不良事件进行预测及指标评价的效果。
以下，基于图3E所示的检测模型产品，对本申请实施例的检测方法的一个应用场景进行示例性说明，如图4所示。
实施例二
参照图4，示出了根据本申请实施例二的一种检测方法的步骤流程图。
本实施例的检测方法包括以下步骤：
步骤S402：获取医学CT图像的深度图像特征及与医学CT图像相匹配的生物检测指标，并对深度图像特征和生物检测指标进行拼接，获得拼接特征。
若使用图3E所示检测模型产品实现本实施例，则可首先利用深度学习网络模型(如3D ResNet18模型)训练一个心脏CVD不良事件的分类模型，以提取CT影像图像的深度学习特征。此外，本实施例中，分割模型实现为主动脉&头臂干分割子模型、主动脉钙化&冠脉钙化分割子模型、心脏四腔室和心脏外模分割子模型，这些子模型也经过预先训练，能够实现心脏的至少13种影像学生物标记物的量化计算。
示例性地，这13种影像学生物标记物可以包括但不限于以下至少之一：CACS(Coronary calcium score，冠状动脉钙评分)、CACV(Coronary calcium volume，冠状动脉钙量)、ACS(Thoracic aortic calcium score，胸主动脉钙评分)、ACV(Thoracic aorticcalcium volume，胸主动脉钙量)、AAL(Length of ascending aorta，升主动脉长度)、AAD(Maximum Diameter of ascending aorta，升主动脉最大直径)、EATV(Epicardialadipose tissue volume，心外膜脂肪组织量)、EATM(Mean HU of epicardial adiposetissue，心外膜脂肪平均密度，其中HU表示密度单位，通常称为亨氏单位)、EATD(Standarddeviation of epicardial adipose tissue intensity value，心外膜脂肪强度值标准偏差)、CTR(Chest heart ratio，最高心率)、MER(Four chambers-whole heart volumeratio，四腔全心容积)、RLLV(Right lung low-density volume(<-950HU),右肺低密度容积)、LLLV(Left lung low-density volume(<-950HU),左肺低密度容量)。
影像学生物标记物量化后，成为生物检测指标，则对应地，本实施例中的心脏的生物检测指标也至少包括但不限于上述13种指标中的至少之一。
则本步骤中，以胸部或胸腹部的CT影像图像为输入，可通过训练后的分类模型获取胸部CT影像图像或胸腹部CT影像图像的深度图像特征；通过训练后的多个分割子模型获得上述生物检测指标，示例性地，设定本实施例中的生物检测指标包括上述13种指标。则，结合深度图像特征，如图3E中所示的检测模型产品中的特征获取单元将输出14种特征数据，即深度图像特征和13种生物检测指标，该13种生物检测指标可以认为为13种生物特征。
进一步地，该14种特征数据将被输入特征交互和选择单元中的编码器中，一方面由编码器对该14种特征数据进行拼接，形成拼接特征；另一方面，由编码器对该拼接特征、以及深度图像特征和13种生物特征进行统一编码。
步骤S404：分别对深度图像特征、生物检测指标和拼接特征进行特征交互和选择处理，获得处理结果。
如前所述，该14种特征数据及拼接特征都将被输入特征交互和选择单元中的编码器中进行统一编码。在此基础上，编码后的这些特征将被一起输入特征交互和选择单元中的特征交互和选择处理模块进行处理。
示例性，一起输入如图3C中所示的特征交互和选择处理模块一起进行处理。例如，将图3C中的特征交互和选择处理模块应用于本实施例中时，n为14，即F1……Fn表示包括深度图像特征和13种生物特征在内的14种特征数据，相对应地，flatten[F1,,Fn]表示这14种特征数据拼接后的拼接特征。
一方面，该14种特征数据分别通过GRN进行门控处理后，获得对应的、新的14种特征数据F1’……Fn’；另一方面，拼接特征flatten[F1,,Fn]依次经过自注意力处理、门控处理和归一化处理后，将生成flatten[F1,,Fn]包括的14种特征数据分别对应的权重S，示例性地，可表示为W1……Wn。在此基础上，将F1’……Fn’与W1……Wn相乘，即可获得特征交互和选择处理模块的处理结果，如图3C中示意的F,S。
步骤S406：基于所述处理结果进行不良事件的检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
本实施例中，一方面，可将处理结果如图3C中所示的F,S输入至分类器(如图3E中所示的“Classifier”)中，以输入心脏CVD不良事件的检测预测结果，如“是”(表示有心脏CVD不良事件)或“否”(表示没有心脏CVD不良事件)。另一方面，还可将处理结果如图3C中所示的F,S输入至置信度评估模块(如图3E中所示的“Feats Scores”)中，本示例中，置信度评估模块以特征交互和选择处理模块输出的权重S，即W1……Wn作为14种特征数据分别对应的置信度。示例性地，假设检测预测结果为“是”，14种特征数据分别为(深度图像特征、CACS、CACV、ACS、ACV、AAL、AAD、EATV、EATM、EATD、CTR、MER、RLLV、LLLV)，14种特征数据对应的置信度为(0.7，0.2，0.2，0.5，0.8，0.1，0.1，0.3，0.02，0.01，0.1，0.3，0.05，0.05)。可见，在确定检测预测结果为“是”这一事件中，深度图像特征和ACV指标起到了较为重要的作用。则进一步地，医生可以根据该信息，结合其人眼对胸部或胸腹部的CT影像图像的认知，以及相关的其它检测结果和知识，来进一步进行诊断决策。
可见，通过本实施例，将深度图像特征和量化的生物特征相结合，并通过特征交互和选择处理，实现了强化优势特征的效果，实现了更高的检测预测精度，可以很好地支持胸部CT影像图像和胸腹部CT影像图像的检测。并且，使用13种量化后的生物特征，并通过特征交互和选择处理，对每种特征的重要性进行了置信度计算，输出每种特征的置信度以表征其决策权重，以对其可靠程度或可参考程度进行度量。
但需要说明的是，本实施例中各步骤的具体实现描述相对简要，相关之处可参照前述实施例中相对应部分的描述。并且，本实施例以基于CT影像图像的心脏CVD不良事件预测为示例，但本领域技术人员应当明了的是，在实际应用中，其它图像形式及其它不良事件预测均可参照本实施例实现。
以下，以使用本申请实施例的方案在多种不同的不良事件中的检测预测结果及后期的确诊结果的实验数据为示例，对本申请实施例方案在此类场景下的准确性进行说明。
在该实验中，共有124位志愿参与者，参与实验的数据为该124位志愿参与者在实验终点(end point)前0-4年之间拍摄的CT影像图像。在该实验中，共针对5种不良事件进行了实验，包括：心衰、急性心梗、不稳定心绞痛、主动脉瘤、肺动脉高压。获得的实验数据如下表所示：
不良事件 志愿者人数 正确预测 错误预测 准确率
心衰 8 7 1 87.5％
急性心梗 4 4 0 100％
不稳定心绞痛 18 12 6 66.67％
主动脉瘤 60 55 5 91.67％
肺动脉高压 34 27 7 79.41％
由此可见，本申请实施例的方案在基于CT影像图像的CVD不良事件的检测方面取得了较好的性能，能够为体检筛查或医生诊断等场景提供有效的数据支持，并且也为循证医学提供了新的技术视角。
实施例三
参照图5，示出了根据本申请实施例三的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它电子设备或服务器进行通信。
处理器502，用于执行程序510，具体可以执行上述方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是CPU，或者是GPU(Graphic Processing Unit，图形处理器)或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510可包括多条计算机指令，程序510具体可以通过多条计算机指令使得处理器502执行前述多个方法实施例中任一实施例所描述的方法对应的操作。
程序510中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。
本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于医生或患者的设备信息、医生或患者的个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据、参与实验的实验数据、病历数据、检测数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种检测方法，包括：
获取医学影像图像的深度图像特征及与所述医学影像图像相匹配的生物检测指标，并对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；
分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；
基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
2.根据权利要求1所述的方法，其中，所述分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果，包括：
基于门控处理，对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征选择；基于注意力处理，对所述拼接特征中包含的多个特征进行特征交互；
基于所述特征选择和所述特征交互的结果，获得所述处理结果。
3.根据权利要求2所述的方法，其中，所述基于门控处理，对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征选择；基于注意力处理，对所述拼接特征中包含的多个特征进行特征交互，包括：
分别对所述深度图像特征和所述生物检测指标进行基于门控的特征选择，获得选择后的深度图像特征和生物检测指标；对所述拼接特征进行自注意力处理，获得自注意力特征，再对所述自注意力特征进行门控处理。
4.根据权利要求3所述的方法，其中，
在所述对所述自注意力特征进行门控处理之后，所述方法还包括：基于门控处理的结果获得所述拼接特征中包含的多个特征分别对应的权重；
所述基于所述特征选择和所述特征交互的结果，获得所述处理结果，包括：基于所述选择后的深度图像特征和生物检测指标、以及所述权重，获得所述处理结果。
5.根据权利要求4所述的方法，其中，所述基于门控处理的结果获得所述拼接特征中包含的多个特征分别对应的权重，包括：
对所述门控处理的结果进行归一化处理，获得所述拼接特征中包含的多个特征分别对应的权重。
6.根据权利要求4所述的方法，其中，所述基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果，包括：
对所述处理结果进行分类检测预测，以获得对应的检测预测结果；
以及，
基于所述处理结果中包含的多个特征分别对应的检测预测概率，获得所述处理结果中包含的多个特征分别对应的置信度评估结果。
7.根据权利要求1-6任一项所述的方法，其中，获取与所述医学影像图像相匹配的生物检测指标，包括：
通过分割模型对所述医学影像图像进行检测部位分割，基于分割结果获得对应的多个影像学生物标记物及其对应的量化结果，以所述量化结果作为所述生物检测指标；
或者，
通过文本识别模型，对与所述医学影像图像相匹配的生物检测指标文本图像进行文本识别，以获得对应的生物检测指标；
或者，
接收通过输入框输入的文本形式的生物检测指标。
8.根据权利要求1-6任一项所述的方法，其中，获取医学影像图像的深度图像特征，包括：
通过分类模型，对所述医学影像图像进行特征提取，以获得所述医学影像图像的深度图像特征。
9.一种检测方法，包括：
获取医学CT影像图像的深度图像特征及与所述医学CT影像图像相匹配的生物检测指标，并对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；
分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；
基于所述处理结果进行不良事件的检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
10.一种检测模型产品，包括：特征获取单元、特征交互和选择单元、输出单元；
其中：
所述特征获取单元，用于获取医学影像图像的深度图像特征及与所述医学影像图像相匹配的生物检测指标；
所述特征交互和选择单元，用于对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果；
所述输出单元，用于基于所述处理结果进行检测预测和特征置信度评估，获得检测预测结果和置信度评估结果。
11.根据权利要求10所述的检测模型产品，其中，所述特征交互和选择单元包括：编码器、和特征交互和选择处理模块；
其中，
所述编码器，用于对所述深度图像特征和所述生物检测指标进行拼接，获得拼接特征；
所述特征交互和选择处理模块，用于分别对所述深度图像特征、所述生物检测指标和所述拼接特征进行特征交互和选择处理，获得处理结果。
12.根据权利要求10或11所述的检测模型产品，其中，所述特征获取单元包括深度图像特征提取网络模块、和生物检测指标提取网络模块；
其中，
所述深度图像特征提取网络模块，用于获取医学影像图像的深度图像特征；
所述生物检测指标提取网络模块，用于获取与所述医学影像图像相匹配的生物检测指标。
13.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的方法对应的操作。
14.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN202311211332.XA 2023-09-19 2023-09-19 检测方法、检测模型产品、电子设备及计算机存储介质 Active CN117274185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311211332.XA CN117274185B (zh) 2023-09-19 2023-09-19 检测方法、检测模型产品、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311211332.XA CN117274185B (zh) 2023-09-19 2023-09-19 检测方法、检测模型产品、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN117274185A true CN117274185A (zh) 2023-12-22
CN117274185B CN117274185B (zh) 2024-05-07

Family

ID=89203707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311211332.XA Active CN117274185B (zh) 2023-09-19 2023-09-19 检测方法、检测模型产品、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN117274185B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556265A (zh) * 2024-01-11 2024-02-13 中国医学科学院医学信息研究所 一种检测指标预测方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003270A (zh) * 2018-07-23 2018-12-14 北京市商汤科技开发有限公司 一种图像处理方法及电子设备
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
US20190392547A1 (en) * 2018-06-26 2019-12-26 International Business Machines Corporation Determining Appropriate Medical Image Processing Pipeline Based on Machine Learning
US20200143211A1 (en) * 2018-11-01 2020-05-07 Nec Laboratories America, Inc. Learning representations of generalized cross-modal entailment tasks
CN111370098A (zh) * 2020-04-27 2020-07-03 北京贝叶科技有限公司 一种基于边缘侧计算和服务装置的病理诊断系统及方法
CN111598895A (zh) * 2020-04-14 2020-08-28 苏州复元医疗科技有限公司 一种基于诊断影像和机器学习的测量肺功能指标的方法
CN112052889A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于双门控递归单元解码的喉镜图像识别方法
WO2021189914A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 电子设备、医学图像指标生成方法、装置及存储介质
CN113592797A (zh) * 2021-07-21 2021-11-02 山东大学 基于多数据融合及深度学习的乳腺结节风险等级预测系统
CN114283127A (zh) * 2021-12-14 2022-04-05 山东大学 一种多模态信息指导的医学图像分割系统及图像处理方法
CN114330479A (zh) * 2021-11-09 2022-04-12 腾讯科技（深圳）有限公司 目标组织发生癌转移的预测方法、装置、设备及介质
WO2022135895A1 (en) * 2020-12-23 2022-06-30 Oncoradiomics Biomedical image segmentation methods and systems comprising an attention gated skip connection
CN114864076A (zh) * 2022-05-07 2022-08-05 扬州大学 基于图注意力网络的多模态乳腺癌分类训练方法及系统
KR20220122540A (ko) * 2021-02-26 2022-09-02 주식회사 온택트헬스 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치
US20230019211A1 (en) * 2021-06-30 2023-01-19 Nvidia Corporation Pretraining framework for neural networks
CN116469545A (zh) * 2023-04-18 2023-07-21 平安科技（深圳）有限公司 使用医学图像进行辅助疾病预测的方法、装置及设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392547A1 (en) * 2018-06-26 2019-12-26 International Business Machines Corporation Determining Appropriate Medical Image Processing Pipeline Based on Machine Learning
CN109003270A (zh) * 2018-07-23 2018-12-14 北京市商汤科技开发有限公司 一种图像处理方法及电子设备
US20200143211A1 (en) * 2018-11-01 2020-05-07 Nec Laboratories America, Inc. Learning representations of generalized cross-modal entailment tasks
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN111598895A (zh) * 2020-04-14 2020-08-28 苏州复元医疗科技有限公司 一种基于诊断影像和机器学习的测量肺功能指标的方法
CN111370098A (zh) * 2020-04-27 2020-07-03 北京贝叶科技有限公司 一种基于边缘侧计算和服务装置的病理诊断系统及方法
CN112052889A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于双门控递归单元解码的喉镜图像识别方法
WO2021189914A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 电子设备、医学图像指标生成方法、装置及存储介质
WO2022135895A1 (en) * 2020-12-23 2022-06-30 Oncoradiomics Biomedical image segmentation methods and systems comprising an attention gated skip connection
KR20220122540A (ko) * 2021-02-26 2022-09-02 주식회사 온택트헬스 의료 영상에서 임상 지표를 검출하기 위한 방법 및 장치
US20230019211A1 (en) * 2021-06-30 2023-01-19 Nvidia Corporation Pretraining framework for neural networks
CN113592797A (zh) * 2021-07-21 2021-11-02 山东大学 基于多数据融合及深度学习的乳腺结节风险等级预测系统
CN114330479A (zh) * 2021-11-09 2022-04-12 腾讯科技（深圳）有限公司 目标组织发生癌转移的预测方法、装置、设备及介质
CN114283127A (zh) * 2021-12-14 2022-04-05 山东大学 一种多模态信息指导的医学图像分割系统及图像处理方法
CN114864076A (zh) * 2022-05-07 2022-08-05 扬州大学 基于图注意力网络的多模态乳腺癌分类训练方法及系统
CN116469545A (zh) * 2023-04-18 2023-07-21 平安科技（深圳）有限公司 使用医学图像进行辅助疾病预测的方法、装置及设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHENG JIANG 等: "Fusion of medical imaging and electronic health records with attention and multi-head machanisms", 《ARXIV:2112.11710》, 22 December 2021 (2021-12-22), pages 1 - 7 *
RICHARD J. CHEN 等: "Pathomic Fusion: An Integrated Framework for Fusing Histopathology and Genomic Features for Cancer Diagnosis and Prognosis", 《IEEE TRANS MED IMAGING》, 30 April 2022 (2022-04-30), pages 757 - 770, XP055940624, DOI: 10.1109/TMI.2020.3021387 *
SANDRA STEYAERT 等: "Multimodal data fusion for cancer biomarker discovery with deep learning", 《NATURE MACHINE INTELLIGENCE》, 6 April 2023 (2023-04-06), pages 351 - 362 *
洪炎佳: "基于深度学习的鼻咽癌患者MR影像病灶分割和预后方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 01, 15 January 2020 (2020-01-15), pages 060 - 240 *
高飞: "基于特征学习的肝脏肿瘤图像分割与MVI预测", 《中国博士学位论文全文数据库 医药卫生科技辑》, no. 04, 15 April 2022 (2022-04-15), pages 072 - 47 *
龚勋 等: "甲状腺、乳腺超声影像自动分析技术综述", 《软件学报》, no. 07, 15 July 2020 (2020-07-15), pages 2245 - 2282 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556265A (zh) * 2024-01-11 2024-02-13 中国医学科学院医学信息研究所 一种检测指标预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117274185B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN111598881B (zh) 基于变分自编码器的图像异常检测方法
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN114359666A (zh) 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN113077434B (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN111493935A (zh) 基于人工智能的超声心动图自动预测识别方法及系统
CN117274185B (zh) 检测方法、检测模型产品、电子设备及计算机存储介质
CN112132800B (zh) 基于深度学习的肺纤维化检测与严重度评估方法及系统
CN111080643A (zh) 基于眼底图像的糖尿病及相关疾病的分类方法及设备
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
CN111956214A (zh) 基于U-net端对端神经网络模型的QRS波自动检测方法
CN114120030A (zh) 基于注意力机制的医学图像处理方法及相关设备
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
CN111028940B (zh) 肺结节多尺度检测方法、装置、设备及介质
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114359629A (zh) 一种基于深度迁移学习的肺炎x胸片分类识别方法
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN113360611A (zh) 基于检查结果的ai诊断方法、装置、存储介质和设备
CN117253625A (zh) 肺癌筛查模型的构建装置、肺癌筛查装置、设备及介质
CN117408946A (zh) 图像处理模型的训练方法、图像处理方法
CN110739050A (zh) 一种左心室全参数及置信度的量化方法
Tang et al. A neural network to pulmonary embolism aided diagnosis with a feature selection approach
CN115547502A (zh) 基于时序数据的血透病人风险预测装置
CN115188475A (zh) 一种狼疮肾炎患者风险预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant