CN114841970A - 检查图像的识别方法、装置、可读介质和电子设备 - Google Patents

检查图像的识别方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN114841970A
CN114841970A CN202210499446.8A CN202210499446A CN114841970A CN 114841970 A CN114841970 A CN 114841970A CN 202210499446 A CN202210499446 A CN 202210499446A CN 114841970 A CN114841970 A CN 114841970A
Authority
CN
China
Prior art keywords
prior
training
recognition
result
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210499446.8A
Other languages
English (en)
Other versions
CN114841970B (zh
Inventor
边成
张志诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202210499446.8A priority Critical patent/CN114841970B/zh
Publication of CN114841970A publication Critical patent/CN114841970A/zh
Application granted granted Critical
Publication of CN114841970B publication Critical patent/CN114841970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种检查图像的识别方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取第一模态的检查图像，利用识别模型对检查图像进行识别，以得到识别结果，识别结果用于标识检查图像中指定数量种目标对象所在的区域，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，训练数量小于指定数量，第一模态与第二模态不相同。本公开利用先验图像训练先验识别模型，在此基础上结合训练图像训练识别模型，实现了跨模态的知识迁移，能够提高识别模型的识别准确度和泛化能力。

Description

检查图像的识别方法、装置、可读介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种检查图像的识别方法、装置、可读介质和电子设备。
背景技术
随着电子信息技术的不断发展，越来越多的检查手段和检查设备，能够采集反映用户体征状态的检查图像。检查图像例如可以包括利用CT（英文：Computed Tomography，中文：计算机断层扫描）、PET（英文：Positron Emission Tomography，中文：正电子发射计算机断层显像）、MRI（英文：Magnetic Resonance Imaging，中文：核磁共振成像）等检查设备生成的检查图像。进一步的可以通过图像识别的方式，从检查图像中识别出各种部位所在的区域。例如以心脏对应的检查图像为例，可以从检查图像中识别出升主动脉、左心房、左心室、左心室内心肌等部位所在的区域。
通常情况下，要对图像进行准确地识别，需要预先获取海量具有标注的检查图像，以作为图像识别的参考基准，例如公开号为CN107437100A的专利文件所提供的基于跨模态关联学习的图像位置预测方法。然而对海量的检查图像进行标注需要投入大量人力物力，工作繁杂，导致有标注的检查图像的数量很少，识别出各种部位的准确度较低，很难满足实际需求。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种检查图像的识别方法，所述方法包括：
获取第一模态的检查图像；
利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；
所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
第二方面，本公开提供一种检查图像的识别装置，所述装置包括：
获取模块，用于获取第一模态的检查图像；
识别模块，用于利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中所述指定数量种目标对象所在的区域；
所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取第一模态的检查图像，然后利用识别模型对检查图像进行识别，以得到用于标识检查图像中指定数量种目标对象所在的区域的识别结果。其中，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，并且训练数量小于指定数量，第一模态与第二模态不相同。本公开利用第二模态标注完整的先验图像作为先验知识，训练先验识别模型，在此基础上结合第一模态标注较少的训练图像训练识别模型，使得识别模型能够学习到先验识别模型的能力，实现了跨模态的知识迁移，能够提高识别模型的识别准确度和泛化能力。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种检查图像的识别方法的流程图；
图2是根据一示例性实施例示出的一种识别模型的示意图；
图3是根据一示例性实施例示出的另一种检查图像的识别方法的流程图；
图4是根据一示例性实施例示出的先验识别模型、训练识别模型、图卷积注意力模块和鉴别器的示意图；
图5是根据一示例性实施例示出的一种训练识别模型的示意图；
图6是根据一示例性实施例示出的另一种训练识别模型的示意图；
图7是根据一示例性实施例示出的另一种训练识别模型的示意图；
图8是根据一示例性实施例示出的另一种训练识别模型的示意图；
图9是根据一示例性实施例示出的另一种训练识别模型的示意图；
图10是根据一示例性实施例示出的一种检查图像的识别装置的框图；
图11是根据一示例性实施例示出的另一种检查图像的识别装置的框图；
图12是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种检查图像的识别方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取第一模态的检查图像。
举例来说，在利用第一模态对应的检查设备进行检查时，可以得到第一模态的检查图像。第一模态可以是CT、PET、MRI、DR（英文：Digital Radiography，中文：数字化X射线摄影）、DSA（英文：Digital subtraction angiography，中文：数字减影血管造影）等模态，对应的检查设备即为CT设备、PET设备、MRI设备、DR设备、DSA设备等。第一模态的检查图像可以理解为，利用第一模态对应的检查设备拍摄用户的指定部位（例如可以是：头部、颈部、胸部、腹部、上肢、下肢等）或者器官（例如可以是：心脏、肝、胃、大脑等）得到的图像。例如可以是CT图像、PET图像、MRI图像、DR图像、DSA图像等。需要说明的是，检查图像可以是二维图像，也可以是三维图像，本公开对此不作具体限制。
步骤102，利用识别模型对检查图像进行识别，以得到识别结果，识别结果用于标识检查图像中指定数量种目标对象所在的区域。
其中，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，训练数量小于指定数量，第一模态与第二模态不相同。
示例的，在得到检查图像之后，可以利用预先训练的识别模型对检查图像进行识别，以得到能够标识检查图像中指定数量种目标对象所在的区域的识别结果。也就是说，识别结果能够标注出检查图像中哪些区域分别属于指定数量种目标对象。目标对象可以理解为检查图像中需要关注的对象，目标对象的数量可以是多个。识别过程可以理解为对检查图像进行标注的过程，将检查图像中属于各种目标对象的像素标注出来，识别过程也可以理解为对检查图像进行分割的过程，将检查图像中属于各种目标对象的像素提取出来。以检查图像拍摄的是用户的心脏为例，那么目标对象可以是：升主动脉（表示为AA）、左心房（表示为LAB）、左心室（表示为LVB）、左心室内心肌（表示为MYO），指定数量为4。那么，识别结果能够标注出检查图像中属于AA的区域，属于LAB的区域，属于LVB的区域，属于MYO的区域，即识别结果能够标注出检查图像中的分别属于AA、LAB、LVB、MYO的四个区域。具体的，识别结果可以是与检查图像尺寸相同的图像，其中用不同颜色标注出不同种类的目标对象，识别结果也可以是指定数量组坐标范围，每组坐标范围用于表示检查图像中一种目标对象的坐标范围。
其中，识别模型的训练过程，是先利用多个第二模态的，标注有指定数量种目标对象的先验图像，训练指定数量个先验识别模型。然后再利用训练好的先验识别模型，以及多个第一模态的，标注有训练数量种目标对象的训练图像训练识别模型。第二模态是与第一模态不同的模态，先验图像和训练图像可以理解为不同模态对应的检查设备拍摄同一种部位或者器官得到的两种图像。并且，先验图像中标注有指定数量种目标对象，而训练图像中标注有训练数量种目标对象，指定数量大于训练数量，训练数量的取值范围可以为0至（指定数量-1）。也可以理解为，先验图像中的标注是完整的，能够标识出全部的目标对象，而训练图像中的标注是不完整的或者没有标注的，无法标识出全部的目标对象。
例如，第一模态为MRI，训练图像为MRI设备拍摄心脏得到的图像，第二模态可以为CT，先验图像为CT设备拍摄心脏得到的图像。先验图像中标注了AA、LAB、LVB、MYO对应的四个区域。训练图像中，可以没有任何标注（即训练数量为0），也可以仅标注有LVB对应的区域（即训练数量为1），也可以标注有LAB和LVB对应的两个区域（即训练数量为2），也可以标注有AA、LAB和LVB对应的三个区域（即训练数量为3），即训练数量的取值范围为0至3。
这样，利用第二模态标注完整的先验图像作为先验知识，训练先验识别模型，在此基础上结合第一模态标注较少的训练图像训练识别模型，使得识别模型能够学习到先验识别模型的能力，实现了跨模态的知识迁移（即第二模态的先验知识迁移至第一模态）。即识别模型能够学习到全部目标对象的特征，在第一模态的训练图像的标注不完整的前提下，也能实现对全部目标对象的识别，提高了识别模型的识别准确度和泛化能力。
识别模型可以包括特征提取器（可以表示为Backbone）和识别器（可以表示为Recognizer），还可以包括一个输出层（可以理解为一个卷积层），特征提取器的输入作为识别模型的输入，特征提取器的输出作为识别器的输入，识别器的输出作为输出层的输入，输出层的输出作为识别模型的输出，如图2所示。
图3是根据一示例性实施例示出的另一种检查图像的识别方法的流程图，如图3所示，步骤102可以通过以下步骤来实现：
步骤1021，利用识别模型中的特征提取器对检查图像进行特征提取，得到检查图像对应的图像特征。
步骤1022，利用识别模型中的识别器，根据图像特征对检查图像进行识别，得到识别结果。
示例的，可以将检查图像输入识别模型中的特征提取器，由特征提取器对检查图像进行特征提取，得到能够表征检查图像的图像特征。图像特征可以为特征图（英文：Feature Map），也可以是特征向量，本公开对此不作具体限定。特征提取器的结构可以为：CNN（英文：ConvolutionalNeuralNetworks，中文：卷积神经网络）或者VGG（英文：VisualGeometry Group）网络，也可以是Transformer中的Encoder、ResNet、DenseNet等，例如可以是ResNet50，本公开对此不作具体限定。
之后，可以将图像特征输入识别模型中的识别器，以对检查图像进行识别，得到识别结果。识别器的结构可以是FCN（英文：Fully Convolutional Networks，中文：全卷积神经网络）或者U-Net等，本公开对此不作具体限定。可以将特征提取器看作一个编码器，并将识别器看作一个解码器，编码器能够对检查图像中包含的特征进行编码，得到图像特征，解码器能够对图像特征进行解码，识别出属于每种目标对象的像素。
在对识别模型进行训练时，可以结合指定数量个先验识别模型，并联合训练识别模型、图卷积注意力模块（表示为GAM）和鉴别器（表示为D）。其中，先验识别模型、识别模型、图卷积注意力模块和鉴别器的连接关系如图4所示，需要说明的是，每个先验识别模型与识别模型、图卷积注意力模块和鉴别器的连接关系均相同，图4中只示出了一个先验识别模型。
图5是根据一示例性实施例示出的一种训练识别模型的示意图，如图5所示，识别模型是通过以下方式训练得到的：
步骤A，根据多个第二模态的先验图像训练指定数量个先验识别模型，每个先验识别模型对应一种任务数量，该先验识别模型用于识别出先验图像中对应的任务数量种目标对象，且每个先验识别模型对应的任务数量均不相同，任务数量小于或等于指定数量。
举例来说，在训练识别模型之前，可以根据多个第二模态的先验图像训练指定数量个先验识别模型，可以将先验识别模型的训练过程理解为预训练过程。预训练过程中，可以为每个先验识别模型分配一种任务数量，然后将识别出先验图像中对应的任务数量种目标对象作为该先验识别模型的训练目标，对该先验识别模型进行训练。其中，任务数量的取值范围可以为1至指定数量。
同样以第一模态为MRI，训练图像为MRI设备拍摄心脏得到的图像，第二模态可以为CT，先验图像为CT设备拍摄心脏得到的图像为例。先验图像中标注了AA、LAB、LVB、MYO对应的四个区域，指定数量为4，那么可以设置4个先验识别模型。第1个先验识别模型对应的任务数量为1，用于识别出先验图像中LVB所在的区域。第2个先验识别模型对应的任务数量为2，用于识别出先验图像中LAB和LVB所在的区域。第3个先验识别模型对应的任务数量为3，用于识别出先验图像中AA、LAB和LVB所在的区域。第4个先验识别模型对应的任务数量为4，用于识别出先验图像中AA、LAB、LVB和MYO所在的区域。
步骤B，根据多个第一模态的和指定数量个先验识别模型训练识别模型。
示例的，在完成预训练过程之后，可以结合指定数量个先验识别模型，根据多个第一模态的训练图像训练识别模型。其中，识别模型的结构和先验识别模型的结构相同，即先验识别模型中包括特征提取器和识别器，识别模型中包括结构相同的特征提取器和识别器。指定数量个先验识别模型学习了指定数量种目标对象的特征，因此，结合指定数量个先验识别模型来训练识别模型，使得识别模型能够继承先验识别模型学习到的先验知识，即识别模型能够学习到全部目标对象的特征从而实现对全部目标对象的识别。
图6是根据一示例性实施例示出的另一种训练识别模型的示意图，如图6所示，步骤A可以通过以下步骤来实现：
步骤A1，对多个第二模态的先验图像进行预处理，得到多个预处理后的先验图像。
步骤A2，针对每个先验识别模型，将每个预处理后的先验图像作为该先验识别模型的输入。
步骤A3，根据该先验识别模型的输出，与每个预处理后的先验图像中该先验识别模型对应的任务数量种目标对象所在的区域，训练该先验识别模型。
示例的，可以先按照预设规则对多个第二模态的先验图像进行预处理，得到多个预处理后的先验图像。预处理可以包括以下至少一种：1）裁剪出先验图像中包含指定部分或者指定器官的有效区域，例如心脏区域1.25倍大小的区域。2）删除不包含有效信息的先验图像。3）将图像调整为统一尺寸，例如256*256。4）进行归一化处理，例如减去均值再除以标准差。
之后，针对每个先验识别模型，可以将每个预处理后的先验图像作为该先验识别模型的输入，以使先验识别模型的输出，能够与每个预处理后的先验图像中该先验识别模型对应的任务数量种目标对象所在的区域匹配。例如，可以根据先验识别模型的输出，与每个预处理后的先验图像中该先验识别模型对应的任务数量种目标对象所在的区域确定交叉熵损失，以降低交叉熵损失为目标，利用反向传播算法来修正先验识别模型中的神经元的参数，神经元的参数例如可以是神经元的权重（英文：Weight）和偏置量（英文：Bias）。重复上述步骤，直至交叉熵损失满足预设条件，例如交叉熵损失小于预设的损失阈值或者交叉熵损失收敛。
具体的，同样以上述4个先验识别模型来举例，第1个先验识别模型对应的任务数量为1，用于识别出先验图像中LVB所在的区域。那么可以将每个预处理后的先验图像输入第1个先验识别模型，然后根据第1个先验识别模型的输出，与每个预处理后的先验图像中LVB所在的区域确定交叉熵损失。第2个先验识别模型对应的任务数量为2，用于识别出先验图像中LAB和LVB所在的区域。那么可以将预处理后的先验图像输入第2个先验识别模型，然后根据第2个先验识别模型的输出，与每个预处理后的先验图像中LAB和LVB所在的区域确定交叉熵损失。第3个先验识别模型和第4个先验识别模型以此类推，此处不再赘述。
图7是根据一示例性实施例示出的另一种训练识别模型的示意图，如图7所示，步骤B可以包括：
步骤B1，将每个训练图像输入识别模型中的特征提取器，得到训练图像特征，并将该训练图像输入每个先验识别模型中的特征提取器，得到每个先验识别模型对应的先验图像特征。
示例的，在对识别模型进行训练的过程中，可以将每个训练图像输入识别模型中的特征提取器，得到训练图像特征，并将该训练图像输入每个先验识别模型中的特征提取器，得到每个先验识别模型对应的先验图像特征。也就是说，训练图像特征是识别模型中的特征提取器的提取结果，先验图像特征是先验识别模型中的特征提取器的提取结果。
具体的，识别模型可以表示为M z ，识别模型中的特征提取器表示为B z ，识别器表示为S z 。指定数量个先验识别模型表示为M p1、M p2、…、M pN ，第i个先验识别模型M pi 中的特征提取器表示为B pi ，识别器表示为S pi ，其中N为指定数量。将训练图像输入B z ，得到的训练图像特征表示为f z 。将该训练图像输入B p1、B p2、…、B pN ，得到的先验图像特征表示为f p1、f p2、…、f pN 。
步骤B2，将指定数量个先验识别模型对应的指定数量个先验图像特征输入图卷积注意力模块，以使图卷积注意力模块对指定数量个先验图像特征进行聚合，得到每个先验识别模型对应的聚合图像特征。
示例的，可以将指定数量个先验图像特征f p1、f p2、…、f pN 输入图卷积注意力模块（英文：Graph Attention Module，缩写：GAM），GAM能够对f p1、f p2、…、f pN进行聚合，得到各自对应的聚合图像特征f ’ p1、f ’ p2、…、f ’ pN 。聚合过程可以理解为将f p1、f p2、…、f pN 嵌合在一起，使得f ’ p1中能够包含
f p2、f p3、…、f pN表征的信息，f ’ p2中能够包含f p1、f p3、…、f pN 表征的信息，依次类推。也就是说，GAM能够学习指定数量个先验识别模型之间的联系，从而实现增量学习，即学习到每个先验识别模型的能力。经过GAM得到的每个聚合图像特征，都包含了指定数量个先验图像特征表征的信息。
步骤B3，针对每个先验识别模型，将训练图像特征输入识别模型中的识别器，得到训练识别结果，并将训练图像特征输入该先验识别模型中的识别器，得到第一交叉识别结果。
步骤B4，将该先验识别模型对应的先验图像特征输入该先验识别模型中的识别器，得到先验识别结果，并将该先验识别模型对应的聚合图像特征输入识别模型中的识别器，得到第二交叉识别结果。
步骤B5，利用鉴别器，分别对训练识别结果、先验识别结果、第一交叉识别结果和第二交叉识别结果进行判别，得到训练识别结果对应的训练判别结果、先验识别结果对应的先验判别结果、第一交叉识别结果对应的第一判别结果，和第二交叉识别结果对应的第二判别结果。
示例的，可以将f z 输入S z ，得到训练识别结果m z ，如图4中的R1。并将f pi 输入S pi ，得到先验识别结果m pi ，如图4中的R2。还可以将f z 与f ’ pi 交叉送入S pi 和S z ，即将f z 输入S pi ，得到第一交叉识别结果m z-p ，如图4中的R3。将f ’ pi 输入S z ，得到第二交叉识别结果m p-z ，如图4中的R4。可以将步骤B3和B4理解为一个跨模态适配模块（英文：Cross-Modality Accommodationmodule，缩写：CMA），如图4所示。在训练过程中，CMA使得m z 与该训练图像的真实识别结果不断接近，m z-p 与m p-z 不断接近，从而引入识别模型学习到的先验知识。其中，真实识别结果用于标识该训练图像中训练数量种目标对象所在的区域。
之后，可以将m z 、m pi 、m z-p 和m p-z 分别输入鉴别器，由鉴别器进行判别，得到m z 对应的训练判别结果D(m z )、m pi 对应的先验判别结果D(m pi )、m z-p 对应的第一判别结果D(m z-p )，和m p-z 对应的第二判别结果D(m p-z )。其中，鉴别器可以是GAN（英文：Generative AdversarialNetworks，中文：生成式对抗网络）中的鉴别器，即Discriminator。可以将步骤B5理解为一个关系原型意识模块（英文：Relation Prototype Awareness，缩写：RPA），如图4所示。在训练过程中，RPA使得D(m z )指示m z 为负样本，D(m p-z )指示m p-z 为负样本，D(m z-p )指示m z-p 为负样本，D(m pi )指示m pi 为正样本，通过对抗训练，能够在增量学习的基础上，避免灾难性遗忘（英文：Catastrophic Forgetting）的问题。
步骤B6，根据训练识别结果、先验识别结果、第一交叉识别结果、第二交叉识别结果、训练判别结果、先验判别结果、第一判别结果、第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，真实识别结果用于标识该训练图像中训练数量种目标对象所在的区域。
步骤B7，根据指定数量个先验识别模型对应的总损失，联合训练识别模型、图卷积注意力模块和鉴别器。
示例的，可以根据m z 、m pi 、m z-p 、m p-z 、D(m z )、D(m pi )、D(m z-p )、D(m p-z )以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，根据指定数量个先验识别模型对应的总损失，联合训练识别模型、图卷积注意力模块和鉴别器。
具体的，可以将指定数量个先验识别模型对应的总损失求和，得到目标损失。最后以降低目标损失为目标，利用反向传播算法联合训练识别模型、图卷积注意力模块和鉴别器。也可以按照批次，将对应的一个先验识别模型对应的总损失作为目标损失，以降低目标损失为目标，利用反向传播算法联合训练识别模型、图卷积注意力模块和鉴别器。例如，共有4个先验识别模型，那么第1个批次可以对应第1个先验识别模型对应的总损失，第2个批次可以对应第2个先验识别模型对应的总损失，……，第5个批次可以对应第1个先验识别模型对应的总损失，依次类推。
进一步的，识别模型的初始学习率可以设置为：2.5e-4，鉴别器的初始学习率可以设置为：1e-4，权重衰减可以设置为5e-4，识别结果（包括训练识别结果、先验识别结果）的大小可以为：224*224。
图卷积注意力模块，可以定义初始图G，其中包括节点集V和邻接矩阵E，节点集V中包括指定数量个节点，即|V|=N，邻接矩阵E用于指示指定数量个节点之间的连接关系。E作为可学习参数，初始状态下可以设置为节点之间两两相连。
图8是根据一示例性实施例示出的另一种训练识别模型的示意图，如图8所示，步骤B2可以包括以下步骤：
步骤B21，将指定数量个先验图像特征作为指定数量个节点对应的特征。
步骤B22，根据线性变换权重以及共享注意力机制，确定每个节点输出的聚合图像特征，共享注意力机制通过非线性激活函数和前馈神经网络实现。
举例来说，可以将指定数量个先验图像特征作为指定数量个节点对应的特征，也就是说将指定数量个先验图像特征{f p1、f p2、…、f pN }作为图卷积注意力模块的输入，节点与先验图像特征一一对应。再根据线性变换权重以及共享注意力机制，得到每个节点输出的聚合图像特征：f ’ p1、f ’ p2、…、f ’ pN 。其中，共享注意力机制通过非线性激活函数和前馈神经网络实现。具体的，可以通过公式1确定每个节点输出的聚合图像特征：
Figure DEST_PATH_IMAGE001
公式1
其中，
Figure 639950DEST_PATH_IMAGE002
表示第i个聚合图像特征，
Figure DEST_PATH_IMAGE003
表示softmax，W表示线性变换权重，
Figure 88249DEST_PATH_IMAGE004
表 示第i个先验图像特征对应的向量，第
Figure DEST_PATH_IMAGE005
表示第j个先验图像特征对应的向量，
Figure 399144DEST_PATH_IMAGE006
表示第 k个先验图像特征对应的向量，LeakyRelu为非线性激活函数，例如可以采用负半轴斜率为 0.2的LeakyRelu函数，
Figure DEST_PATH_IMAGE007
表示共享注意力机制对应的权重向量，||表示拼接操作。
图9是根据一示例性实施例示出的另一种训练识别模型的示意图，如图9所示，步骤B6可以包括：
步骤B61，根据第一交叉识别结果和第二交叉识别结果，确定跨模态损失。
示例的，跨模态损失的确定可以包括两种方式。方式一：将第一交叉识别结果作为真实分布，将第二交叉识别结果作为预测分布，确定第一交叉熵损失。将第二交叉识别结果作为真实分布，将第一交叉识别结果作为预测分布，确定第二交叉熵损失。根据第一交叉熵损失和第二交叉熵损失确定跨模态损失。例如，可以通过公式2确定跨模态损失：
Figure 325512DEST_PATH_IMAGE008
公式2
其中，
Figure DEST_PATH_IMAGE009
表示第i个先验识别模型对应的跨模态损失，K s 表示迭代器，即训 练识别结果中目标对象所在元素的总数量，
Figure 421775DEST_PATH_IMAGE010
表示第i个先验识别模型对应的第一 交叉识别结果中的第k个元素，
Figure DEST_PATH_IMAGE011
表示第i个先验识别模型对应的第二交叉识别结果 中的第k个元素。
方式二：将该先验识别模型对应的金标准作为真实分布，将第二交叉识别结果作为预测分布，确定第三交叉熵损失。将该先验识别模型对应的金标准作为真实分布，将第一交叉识别结果作为预测分布，确定第四交叉熵损失。根据第三交叉熵损失和第四交叉熵损失确定跨模态损失。例如，可以通过公式3确定跨模态损失：
Figure 978659DEST_PATH_IMAGE012
公式3
其中，
Figure DEST_PATH_IMAGE013
表示第i个先验识别模型对应的跨模态损失，K s 表示迭代器，即训 练识别结果中目标对象所在元素的总数量，
Figure 776850DEST_PATH_IMAGE014
表示第i个先验识别模型对应的第一交 叉识别结果中的第k个元素，
Figure DEST_PATH_IMAGE015
表示第i个先验识别模型对应的第二交叉识别结果中 的第k个元素，
Figure 506909DEST_PATH_IMAGE016
表示第i个先验识别模型对应的金标准中的第k个元素。第i个先验识 别模型对应的金标准，可以理解为有经验的技术人员针对第i个先验识别模型标注的真实 识别结果。例如，先验识别模型用于识别出先验图像中LVB所在的区域，那么对应的金标准 可以是标注有LVB所在区域的图像。再比如，先验识别模型用于识别出先验图像中AA、LAB和 LVB所在的区域，那么对应的金标准可以是标注有AA、LAB和LVB所在的区域的图像。
步骤B62，根据训练识别结果和该训练图像的真实识别结果，确定可见损失。
示例的，可以根据训练图像的真实识别结果与训练识别结果的交叉熵损失，确定可见损失。例如，可以通过公式4确定可见损失：
Figure DEST_PATH_IMAGE017
公式4
其中，
Figure 706946DEST_PATH_IMAGE018
表示第i个先验识别模型对应的可见损失，K s 表示迭代器，即训练 识别结果中元素的总数量，
Figure DEST_PATH_IMAGE019
表示训练图像的真实识别结果中的第k个元素，
Figure 495384DEST_PATH_IMAGE020
表示训练识别结果中的第k个元素。可见损失根据训练图像原本就有的监督信息 （即真实识别结果）来确定，能够保证训练的高精确度。
步骤B63，根据先验识别结果和训练识别结果，确定背景意识损失。
示例的，可以先根据先验识别结果确定先验背景结果，并根据训练识别结果确定训练背景结果。先验背景结果用于指示先验识别结果中除目标对象之外的区域，同样的，训练背景结果用于指示训练识别结果中除目标对象之外的区域。
之后，根据先验背景结果和训练背景结果的差，确定背景意识损失。例如，可以通过公式5确定背景意识损失：
Figure DEST_PATH_IMAGE021
公式5
其中，
Figure 780872DEST_PATH_IMAGE022
表示第i个先验识别模型对应的背景意识损失，K bg 表示迭代器，即 训练识别结果中背景对象所在元素的总数量，背景对象可以理解为除了目标对象之外其他 的对象。
Figure DEST_PATH_IMAGE023
表示第i个先验识别模型对应的先验背景结果中的第k个元素，
Figure 314622DEST_PATH_IMAGE024
表示训练背景结果中的第k个元素。
步骤B64，根据训练判别结果、先验判别结果、第一判别结果和第二判别结果，确定鉴别损失。
步骤B65，根据训练判别结果、第一判别结果和第二判别结果，确定对抗损失。
示例的，可以先固定（即Freeze）住先验识别模型和识别模型中的权重，训练鉴别器，此时可以根据训练判别结果、先验判别结果、第一判别结果和第二判别结果，确定鉴别损失。例如，可以通过公式6确定鉴别损失：
Figure DEST_PATH_IMAGE025
公式6
其中，
Figure 369165DEST_PATH_IMAGE026
表示第i个先验识别模型对应的鉴别损失，λ 0、λ 1、λ 2、λ 3为超参数， 例如可以设置为3、1、1、1，z∈[0,1]。
Figure DEST_PATH_IMAGE027
表示第i个先验识别模型对应的先验判别结 果，
Figure 80901DEST_PATH_IMAGE028
表示第i个先验识别模型对应的第一判别结果，
Figure DEST_PATH_IMAGE029
表示第i个先验识 别模型对应的第二判别结果，
Figure 853684DEST_PATH_IMAGE030
表示训练判别结果。
之后，可以再固定住判别器中的权重，训练识别模型，此时可以根据训练判别结果、第一判别结果和第二判别结果，确定对抗损失。例如，可以通过公式7确定对抗损失：
Figure DEST_PATH_IMAGE031
公式7
其中，
Figure 659966DEST_PATH_IMAGE032
表示第i个先验识别模型对应的对抗损失。
步骤B66，根据跨模态损失、可见损失、背景意识损失、鉴别损失和对抗损失，确定总损失。
示例的，可以对跨模态损失、可见损失、背景意识损失、鉴别损失和对抗损失求和，得到总损失。或者也可以对跨模态损失、可见损失、背景意识损失、鉴别损失和对抗损失进行加权求和，得到总损失。
综上所述，本公开首先获取第一模态的检查图像，然后利用识别模型对检查图像进行识别，以得到用于标识检查图像中指定数量种目标对象所在的区域的识别结果。其中，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，并且训练数量小于指定数量，第一模态与第二模态不相同。本公开利用第二模态标注完整的先验图像作为先验知识，训练先验识别模型，在此基础上结合第一模态标注较少的训练图像训练识别模型，使得识别模型能够学习到先验识别模型的能力，实现了跨模态的知识迁移，能够提高识别模型的识别准确度和泛化能力。
图10是根据一示例性实施例示出的一种检查图像的识别装置的框图，如图10所示，该装置200可以包括：
获取模块201，用于获取第一模态的检查图像。
识别模块202，用于利用识别模型对检查图像进行识别，以得到识别结果，识别结果用于标识检查图像中指定数量种目标对象所在的区域。
其中，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，训练数量小于指定数量，第一模态与第二模态不相同。
图11是根据一示例性实施例示出的另一种检查图像的识别装置的框图，如图11所示，识别模块202可以包括：
提取子模块2021，用于利用识别模型中的特征提取器对检查图像进行特征提取，得到检查图像对应的图像特征。
识别子模块2022，用于利用识别模型中的识别器，根据图像特征对检查图像进行识别，得到识别结果。
在一种实现方式中，识别模型是通过以下方式训练得到的：
步骤A，根据多个第二模态的先验图像训练指定数量个先验识别模型，每个先验识别模型对应一种任务数量，该先验识别模型用于识别出先验图像中对应的任务数量种目标对象，且每个先验识别模型对应的任务数量均不相同，任务数量小于或等于指定数量。
步骤B，根据多个第一模态的训练图像和指定数量个先验识别模型训练识别模型。
在另一种实现方式中，步骤B可以包括：
步骤B1，将每个训练图像输入识别模型中的特征提取器，得到训练图像特征，并将该训练图像输入每个先验识别模型中的特征提取器，得到每个先验识别模型对应的先验图像特征。
步骤B2，将指定数量个先验识别模型对应的指定数量个先验图像特征输入图卷积注意力模块，以使图卷积注意力模块对指定数量个先验图像特征进行聚合，得到每个先验识别模型对应的聚合图像特征。
步骤B3，针对每个先验识别模型，将训练图像特征输入识别模型中的识别器，得到训练识别结果，并将训练图像特征输入该先验识别模型中的识别器，得到第一交叉识别结果。
步骤B4，将该先验识别模型对应的先验图像特征输入该先验识别模型中的识别器，得到先验识别结果，并将该先验识别模型对应的聚合图像特征输入识别模型中的识别器，得到第二交叉识别结果。
步骤B5，利用鉴别器，分别对训练识别结果、先验识别结果、第一交叉识别结果和第二交叉识别结果进行判别，得到训练识别结果对应的训练判别结果、先验识别结果对应的先验判别结果、第一交叉识别结果对应的第一判别结果，和第二交叉识别结果对应的第二判别结果。
步骤B6，根据训练识别结果、先验识别结果、第一交叉识别结果、第二交叉识别结果、训练判别结果、先验判别结果、第一判别结果、第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，真实识别结果用于标识该训练图像中训练数量种目标对象所在的区域。
步骤B7，根据指定数量个先验识别模型对应的总损失，联合训练识别模型、图卷积注意力模块和鉴别器。
在另一种实现方式中，图卷积注意力模块包括节点集和邻接矩阵，节点集中包括指定数量个节点，邻接矩阵用于指示指定数量个节点之间的连接关系。相应的，步骤B2可以包括以下步骤：
步骤B21，将指定数量个先验图像特征作为指定数量个节点对应的特征。
步骤B22，根据线性变换权重以及共享注意力机制，确定每个节点输出的聚合图像特征，共享注意力机制通过非线性激活函数和前馈神经网络实现。
在另一种实现方式中，步骤B6可以包括：
步骤B61，根据第一交叉识别结果和第二交叉识别结果，确定跨模态损失。
步骤B62，根据训练识别结果和该训练图像的真实识别结果，确定可见损失。
步骤B63，根据先验识别结果和训练识别结果，确定背景意识损失。
步骤B64，根据训练判别结果、先验判别结果、第一判别结果和第二判别结果，确定鉴别损失。
步骤B65，根据训练判别结果、第一判别结果和第二判别结果，确定对抗损失。
步骤B66，根据跨模态损失、可见损失、背景意识损失、鉴别损失和对抗损失，确定总损失。
在另一种实现方式中，步骤B7可以包括：
步骤B71，将指定数量个先验识别模型对应的总损失求和，得到目标损失。
步骤B72，以降低目标损失为目标，利用反向传播算法联合训练识别模型、图卷积注意力模块和鉴别器。
在又一种实现方式中，步骤B61的实现方式可以包括：方式一或者方式二。
方式一：将第一交叉识别结果作为真实分布，将第二交叉识别结果作为预测分布，确定第一交叉熵损失。将第二交叉识别结果作为真实分布，将第一交叉识别结果作为预测分布，确定第二交叉熵损失。根据第一交叉熵损失和第二交叉熵损失确定跨模态损失。
方式二：将该先验识别模型对应的金标准作为真实分布，将第二交叉识别结果作为预测分布，确定第三交叉熵损失。将该先验识别模型对应的金标准作为真实分布，将第一交叉识别结果作为预测分布，确定第四交叉熵损失。根据第三交叉熵损失和第四交叉熵损失确定跨模态损失。
步骤B62可以通过以下方式来实现：
根据训练图像的真实识别结果与训练识别结果的交叉熵损失，确定可见损失。
步骤B63可以通过以下方式来实现：
根据先验识别结果确定先验背景结果，并根据训练识别结果确定训练背景结果。
根据先验背景结果和训练背景结果的差，确定背景意识损失。
在又一种实现方式中，步骤A可以通过以下步骤来实现：
步骤A1，对多个第二模态的先验图像进行预处理，得到多个预处理后的先验图像。
步骤A2，针对每个先验识别模型，将每个预处理后的先验图像作为该先验识别模型的输入。
步骤A3，根据该先验识别模型的输出，与每个预处理后的先验图像中该先验识别模型对应的任务数量种目标对象所在的区域，训练该先验识别模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取第一模态的检查图像，然后利用识别模型对检查图像进行识别，以得到用于标识检查图像中指定数量种目标对象所在的区域的识别结果。其中，识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个先验识别模型根据多个第二模态的先验图像训练得到，训练图像标注有训练数量种目标对象，先验图像标注有指定数量种目标对象，并且训练数量小于指定数量，第一模态与第二模态不相同。本公开利用第二模态标注完整的先验图像作为先验知识，训练先验识别模型，在此基础上结合第一模态标注较少的训练图像训练识别模型，使得识别模型能够学习到先验识别模型的能力，实现了跨模态的知识迁移，能够提高识别模型的识别准确度和泛化能力。
下面参考图12，其示出了适于用来实现本公开实施例的电子设备（例如可以上述实施例中的执行主体，可以是终端设备或服务器）300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取第一模态的检查图像；利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；所述识别模型根据指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取第一模态的检查图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种检查图像的识别方法，包括：获取第一模态的检查图像；利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述利用识别模型对所述检查图像进行识别，以得到识别结果，包括：利用所述识别模型中的特征提取器对所述检查图像进行特征提取，得到所述检查图像对应的图像特征；利用所述识别模型中的识别器，根据所述图像特征对所述检查图像进行识别，得到所述识别结果。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述识别模型是通过以下方式训练得到的：根据多个第二模态的所述先验图像训练所述指定数量个所述先验识别模型，每个所述先验识别模型对应一种任务数量，该先验识别模型用于识别出所述先验图像中对应的任务数量种所述目标对象，且每个所述先验识别模型对应的任务数量均不相同，所述任务数量小于或等于所述指定数量；根据多个第一模态的所述训练图像和所述指定数量个所述先验识别模型训练所述识别模型。
根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述根据多个第一模态的所述训练图像和所述指定数量个所述先验识别模型训练所述识别模型，包括：将每个所述训练图像输入所述识别模型中的特征提取器，得到训练图像特征，并将该训练图像输入每个所述先验识别模型中的特征提取器，得到每个所述先验识别模型对应的先验图像特征；将所述指定数量个所述先验识别模型对应的所述指定数量个所述先验图像特征输入图卷积注意力模块，以使所述图卷积注意力模块对所述指定数量个所述先验图像特征进行聚合，得到每个所述先验识别模型对应的聚合图像特征；针对每个所述先验识别模型，将所述训练图像特征输入所述识别模型中的识别器，得到训练识别结果，并将所述训练图像特征输入该先验识别模型中的识别器，得到第一交叉识别结果；将该先验识别模型对应的所述先验图像特征输入该先验识别模型中的识别器，得到先验识别结果，并将该先验识别模型对应的所述聚合图像特征输入所述识别模型中的识别器，得到第二交叉识别结果；利用鉴别器，分别对所述训练识别结果、所述先验识别结果、所述第一交叉识别结果和所述第二交叉识别结果进行判别，得到所述训练识别结果对应的训练判别结果、所述先验识别结果对应的先验判别结果、所述第一交叉识别结果对应的第一判别结果，和所述第二交叉识别结果对应的第二判别结果；根据所述训练识别结果、所述先验识别结果、所述第一交叉识别结果、所述第二交叉识别结果、所述训练判别结果、所述先验判别结果、所述第一判别结果、所述第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，所述真实识别结果用于标识该训练图像中训练数量种所述目标对象所在的区域；根据所述指定数量个所述先验识别模型对应的所述总损失，联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述图卷积注意力模块包括节点集和邻接矩阵，所述节点集中包括所述指定数量个节点，所述邻接矩阵用于指示所述指定数量个所述节点之间的连接关系；所述将所述指定数量个所述先验识别模型对应的所述指定数量个所述先验图像特征输入图卷积注意力模块，以使所述图卷积注意力模块对所述指定数量个所述先验图像特征进行聚合，得到每个所述先验识别模型对应的聚合图像特征，包括：将所述指定数量个所述先验图像特征作为所述指定数量个所述节点对应的特征；根据线性变换权重以及共享注意力机制，确定每个所述节点输出的所述聚合图像特征，所述共享注意力机制通过非线性激活函数和前馈神经网络实现。
根据本公开的一个或多个实施例，示例6提供了示例4的方法，所述根据所述训练识别结果、所述先验识别结果、所述第一交叉识别结果、所述第二交叉识别结果、所述训练判别结果、所述先验判别结果、所述第一判别结果、所述第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，包括：根据所述第一交叉识别结果和所述第二交叉识别结果，确定跨模态损失；根据所述训练识别结果和该训练图像的真实识别结果，确定可见损失；根据所述先验识别结果和所述训练识别结果，确定背景意识损失；根据所述训练判别结果、所述先验判别结果、所述第一判别结果和所述第二判别结果，确定鉴别损失；根据所述训练判别结果、所述第一判别结果和所述第二判别结果，确定对抗损失；根据所述跨模态损失、所述可见损失、所述背景意识损失、所述鉴别损失和所述对抗损失，确定所述总损失。
根据本公开的一个或多个实施例，示例7提供了示例4的方法，所述根据所述指定数量个所述先验识别模型对应的所述总损失，联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器，包括：将所述指定数量个所述先验识别模型对应的所述总损失求和，得到目标损失；以降低所述目标损失为目标，利用反向传播算法联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器。
根据本公开的一个或多个实施例，示例8提供了示例6的方法，所述根据所述第一交叉识别结果和所述第二交叉识别结果，确定跨模态损失，包括：将所述第一交叉识别结果作为真实分布，将所述第二交叉识别结果作为预测分布，确定第一交叉熵损失；将所述第二交叉识别结果作为真实分布，将所述第一交叉识别结果作为预测分布，确定第二交叉熵损失；根据所述第一交叉熵损失和所述第二交叉熵损失确定所述跨模态损失；或者，将该先验识别模型对应的金标准作为真实分布，将所述第二交叉识别结果作为预测分布，确定第三交叉熵损失；将该先验识别模型对应的金标准作为真实分布，将所述第一交叉识别结果作为预测分布，确定第四交叉熵损失；根据所述第三交叉熵损失和所述第四交叉熵损失确定所述跨模态损失；所述根据所述训练识别结果和该训练图像的真实识别结果，确定可见损失，包括：根据训练图像的真实识别结果与所述训练识别结果的交叉熵损失，确定所述可见损失；所述根据所述先验识别结果和所述训练识别结果，确定背景意识损失，包括：根据所述先验识别结果确定先验背景结果，并根据所述训练识别结果确定训练背景结果；根据所述先验背景结果和所述训练背景结果的差，确定所述背景意识损失。
根据本公开的一个或多个实施例，示例9提供了示例3的方法，所述根据多个第二模态的所述先验图像训练所述指定数量个所述先验识别模型，包括：对多个第二模态的所述先验图像进行预处理，得到多个预处理后的所述先验图像；针对每个所述先验识别模型，将每个预处理后的所述先验图像作为该先验识别模型的输入；根据该先验识别模型的输出，与每个预处理后的所述先验图像中该先验识别模型对应的任务数量种所述目标对象所在的区域，训练该先验识别模型。
根据本公开的一个或多个实施例，示例10提供了一种检查图像的识别装置，包括：获取模块，用于获取第一模态的检查图像；识别模块，用于利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例9中所述方法的步骤。
根据本公开的一个或多个实施例，示例12提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例9中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (12)

1.一种检查图像的识别方法，其特征在于，所述方法包括：
获取第一模态的检查图像；
利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；
所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
2.根据权利要求1所述的方法，其特征在于，所述利用识别模型对所述检查图像进行识别，以得到识别结果，包括：
利用所述识别模型中的特征提取器对所述检查图像进行特征提取，得到所述检查图像对应的图像特征；
利用所述识别模型中的识别器，根据所述图像特征对所述检查图像进行识别，得到所述识别结果。
3.根据权利要求1所述的方法，其特征在于，所述识别模型是通过以下方式训练得到的：
根据多个第二模态的所述先验图像训练所述指定数量个所述先验识别模型，每个所述先验识别模型对应一种任务数量，该先验识别模型用于识别出所述先验图像中对应的任务数量种所述目标对象，且每个所述先验识别模型对应的任务数量均不相同，所述任务数量小于或等于所述指定数量；
根据多个第一模态的所述训练图像和所述指定数量个所述先验识别模型训练所述识别模型。
4.根据权利要求3所述的方法，其特征在于，所述根据多个第一模态的所述训练图像和所述指定数量个所述先验识别模型训练所述识别模型，包括：
将每个所述训练图像输入所述识别模型中的特征提取器，得到训练图像特征，并将该训练图像输入每个所述先验识别模型中的特征提取器，得到每个所述先验识别模型对应的先验图像特征；
将所述指定数量个所述先验识别模型对应的所述指定数量个所述先验图像特征输入图卷积注意力模块，以使所述图卷积注意力模块对所述指定数量个所述先验图像特征进行聚合，得到每个所述先验识别模型对应的聚合图像特征；
针对每个所述先验识别模型，将所述训练图像特征输入所述识别模型中的识别器，得到训练识别结果，并将所述训练图像特征输入该先验识别模型中的识别器，得到第一交叉识别结果；
将该先验识别模型对应的所述先验图像特征输入该先验识别模型中的识别器，得到先验识别结果，并将该先验识别模型对应的所述聚合图像特征输入所述识别模型中的识别器，得到第二交叉识别结果；
利用鉴别器，分别对所述训练识别结果、所述先验识别结果、所述第一交叉识别结果和所述第二交叉识别结果进行判别，得到所述训练识别结果对应的训练判别结果、所述先验识别结果对应的先验判别结果、所述第一交叉识别结果对应的第一判别结果，和所述第二交叉识别结果对应的第二判别结果；
根据所述训练识别结果、所述先验识别结果、所述第一交叉识别结果、所述第二交叉识别结果、所述训练判别结果、所述先验判别结果、所述第一判别结果、所述第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，所述真实识别结果用于标识该训练图像中训练数量种所述目标对象所在的区域；
根据所述指定数量个所述先验识别模型对应的所述总损失，联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器。
5.根据权利要求4所述的方法，其特征在于，所述图卷积注意力模块包括节点集和邻接矩阵，所述节点集中包括所述指定数量个节点，所述邻接矩阵用于指示所述指定数量个所述节点之间的连接关系；
所述将所述指定数量个所述先验识别模型对应的所述指定数量个所述先验图像特征输入图卷积注意力模块，以使所述图卷积注意力模块对所述指定数量个所述先验图像特征进行聚合，得到每个所述先验识别模型对应的聚合图像特征，包括：
将所述指定数量个所述先验图像特征作为所述指定数量个所述节点对应的特征；
根据线性变换权重以及共享注意力机制，确定每个所述节点输出的所述聚合图像特征，所述共享注意力机制通过非线性激活函数和前馈神经网络实现。
6.根据权利要求4所述的方法，其特征在于，所述根据所述训练识别结果、所述先验识别结果、所述第一交叉识别结果、所述第二交叉识别结果、所述训练判别结果、所述先验判别结果、所述第一判别结果、所述第二判别结果，以及该训练图像的真实识别结果确定该先验识别模型对应的总损失，包括：
根据所述第一交叉识别结果和所述第二交叉识别结果，确定跨模态损失；
根据所述训练识别结果和该训练图像的真实识别结果，确定可见损失；
根据所述先验识别结果和所述训练识别结果，确定背景意识损失；
根据所述训练判别结果、所述先验判别结果、所述第一判别结果和所述第二判别结果，确定鉴别损失；
根据所述训练判别结果、所述第一判别结果和所述第二判别结果，确定对抗损失；
根据所述跨模态损失、所述可见损失、所述背景意识损失、所述鉴别损失和所述对抗损失，确定所述总损失。
7.根据权利要求4所述的方法，其特征在于，所述根据所述指定数量个所述先验识别模型对应的所述总损失，联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器，包括：
将所述指定数量个所述先验识别模型对应的所述总损失求和，得到目标损失；
以降低所述目标损失为目标，利用反向传播算法联合训练所述识别模型、所述图卷积注意力模块和所述鉴别器。
8.根据权利要求6所述的方法，其特征在于，所述根据所述第一交叉识别结果和所述第二交叉识别结果，确定跨模态损失，包括：
将所述第一交叉识别结果作为真实分布，将所述第二交叉识别结果作为预测分布，确定第一交叉熵损失；将所述第二交叉识别结果作为真实分布，将所述第一交叉识别结果作为预测分布，确定第二交叉熵损失；根据所述第一交叉熵损失和所述第二交叉熵损失确定所述跨模态损失；或者，
将该先验识别模型对应的金标准作为真实分布，将所述第二交叉识别结果作为预测分布，确定第三交叉熵损失；将该先验识别模型对应的金标准作为真实分布，将所述第一交叉识别结果作为预测分布，确定第四交叉熵损失；根据所述第三交叉熵损失和所述第四交叉熵损失确定所述跨模态损失；
所述根据所述训练识别结果和该训练图像的真实识别结果，确定可见损失，包括：
根据训练图像的真实识别结果与所述训练识别结果的交叉熵损失，确定所述可见损失；
所述根据所述先验识别结果和所述训练识别结果，确定背景意识损失，包括：
根据所述先验识别结果确定先验背景结果，并根据所述训练识别结果确定训练背景结果；
根据所述先验背景结果和所述训练背景结果的差，确定所述背景意识损失。
9.根据权利要求3所述的方法，其特征在于，所述根据多个第二模态的所述先验图像训练所述指定数量个所述先验识别模型，包括：
对多个第二模态的所述先验图像进行预处理，得到多个预处理后的所述先验图像；
针对每个所述先验识别模型，将每个预处理后的所述先验图像作为该先验识别模型的输入；
根据该先验识别模型的输出，与每个预处理后的所述先验图像中该先验识别模型对应的任务数量种所述目标对象所在的区域，训练该先验识别模型。
10.一种检查图像的识别装置，其特征在于，所述装置包括：
获取模块，用于获取第一模态的检查图像；
识别模块，用于利用识别模型对所述检查图像进行识别，以得到识别结果，所述识别结果用于标识所述检查图像中指定数量种目标对象所在的区域；
所述识别模型根据所述指定数量个先验识别模型，以及多个第一模态的训练图像训练得到，每个所述先验识别模型根据多个第二模态的先验图像训练得到，所述训练图像标注有训练数量种所述目标对象，所述先验图像标注有所述指定数量种所述目标对象，所述训练数量小于所述指定数量，所述第一模态与所述第二模态不相同。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-9中任一项所述方法的步骤。
12.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-9中任一项所述方法的步骤。
CN202210499446.8A 2022-05-09 2022-05-09 检查图像的识别方法、装置、可读介质和电子设备 Active CN114841970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499446.8A CN114841970B (zh) 2022-05-09 2022-05-09 检查图像的识别方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499446.8A CN114841970B (zh) 2022-05-09 2022-05-09 检查图像的识别方法、装置、可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN114841970A true CN114841970A (zh) 2022-08-02
CN114841970B CN114841970B (zh) 2023-07-18

Family

ID=82569571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499446.8A Active CN114841970B (zh) 2022-05-09 2022-05-09 检查图像的识别方法、装置、可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN114841970B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190171904A1 (en) * 2017-12-01 2019-06-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for training fine-grained image recognition model, fine-grained image recognition method and apparatus, and storage mediums
WO2019105218A1 (zh) * 2017-11-30 2019-06-06 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
CN110009003A (zh) * 2019-03-14 2019-07-12 北京旷视科技有限公司 图像处理与图像比对模型的训练方法、装置和系统
CN110288668A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN111667483A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 多模态图像的分割模型的训练方法、图像处理方法和装置
WO2020207377A1 (zh) * 2019-04-10 2020-10-15 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112651262A (zh) * 2019-10-09 2021-04-13 四川大学 一种基于自适应行人对齐的跨模态行人重识别方法
CN112750115A (zh) * 2021-01-15 2021-05-04 杭州电子科技大学 一种基于图神经网络的多模态宫颈癌前病变图像识别方法
US20210357696A1 (en) * 2018-10-17 2021-11-18 Google Llc Processing fundus camera images using machine learning models trained using other modalities
CN113723341A (zh) * 2021-09-08 2021-11-30 北京有竹居网络技术有限公司 视频的识别方法、装置、可读介质和电子设备
CN113793326A (zh) * 2021-09-18 2021-12-14 北京致远慧图科技有限公司 一种基于图像的疾病识别方法和装置
CN114092759A (zh) * 2021-10-27 2022-02-25 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、电子设备及存储介质
CN114419529A (zh) * 2021-11-24 2022-04-29 中山大学 一种基于分布空间对齐的跨模态行人再识别方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105218A1 (zh) * 2017-11-30 2019-06-06 腾讯科技（深圳）有限公司 图像特征的识别方法和装置、存储介质、电子装置
US20190171904A1 (en) * 2017-12-01 2019-06-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for training fine-grained image recognition model, fine-grained image recognition method and apparatus, and storage mediums
US20210042580A1 (en) * 2018-10-10 2021-02-11 Tencent Technology (Shenzhen) Company Limited Model training method and apparatus for image recognition, network device, and storage medium
US20210357696A1 (en) * 2018-10-17 2021-11-18 Google Llc Processing fundus camera images using machine learning models trained using other modalities
CN110009003A (zh) * 2019-03-14 2019-07-12 北京旷视科技有限公司 图像处理与图像比对模型的训练方法、装置和系统
WO2020207377A1 (zh) * 2019-04-10 2020-10-15 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110288668A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN112651262A (zh) * 2019-10-09 2021-04-13 四川大学 一种基于自适应行人对齐的跨模态行人重识别方法
CN111667483A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 多模态图像的分割模型的训练方法、图像处理方法和装置
CN112434796A (zh) * 2020-12-09 2021-03-02 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112750115A (zh) * 2021-01-15 2021-05-04 杭州电子科技大学 一种基于图神经网络的多模态宫颈癌前病变图像识别方法
CN113723341A (zh) * 2021-09-08 2021-11-30 北京有竹居网络技术有限公司 视频的识别方法、装置、可读介质和电子设备
CN113793326A (zh) * 2021-09-18 2021-12-14 北京致远慧图科技有限公司 一种基于图像的疾病识别方法和装置
CN114092759A (zh) * 2021-10-27 2022-02-25 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、电子设备及存储介质
CN114419529A (zh) * 2021-11-24 2022-04-29 中山大学 一种基于分布空间对齐的跨模态行人再识别方法及系统

Also Published As

Publication number Publication date
CN114841970B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
Mou et al. Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
EP3716198A1 (en) Image reconstruction method and device
Zhang et al. Deep active contour network for medical image segmentation
CN111932529B (zh) 一种图像分类分割方法、装置及系统
Porto et al. ML‐morph: A fast, accurate and general approach for automated detection and landmarking of biological structures in images
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
CN113658178B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
Rajaraman et al. Novel loss functions for ensemble-based medical image classification
Wlodarczyk-Sielicka et al. Automatic classification using machine learning for non-conventional vessels on inland waters
Wu et al. Research on insulator defect detection algorithm of transmission line based on CenterNet
Zhang et al. An improved tongue image segmentation algorithm based on Deeplabv3+ framework
Yang et al. A dense R‐CNN multi‐target instance segmentation model and its application in medical image processing
Khan et al. Automatic license plate recognition in real-world traffic videos captured in unconstrained environment by a mobile camera
Li et al. Detection method of marine biological objects based on image enhancement and improved yolov5s
CN114627331A (zh) 模型训练方法和装置
Wang et al. Calyolov4: lightweight yolov4 target detection based on coordinated attention
CN112927266A (zh) 基于不确定性引导训练的弱监督时域动作定位方法及系统
CN114937178B (zh) 基于多模态的图像分类方法、装置、可读介质和电子设备
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN114841970B (zh) 检查图像的识别方法、装置、可读介质和电子设备
Zhao Image semantic segmentation method based on GAN network and FCN model
CN115830001A (zh) 肠道图像处理方法、装置、存储介质及电子设备
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Applicant before: Tiktok vision (Beijing) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant