CN113658178B - 组织图像的识别方法、装置、可读介质和电子设备 - Google Patents

组织图像的识别方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN113658178B
CN113658178B CN202111199695.7A CN202111199695A CN113658178B CN 113658178 B CN113658178 B CN 113658178B CN 202111199695 A CN202111199695 A CN 202111199695A CN 113658178 B CN113658178 B CN 113658178B
Authority
CN
China
Prior art keywords
image
sample
vector
recognition model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111199695.7A
Other languages
English (en)
Other versions
CN113658178A (zh
Inventor
边成
杨志雄
赵家英
石小周
李剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111199695.7A priority Critical patent/CN113658178B/zh
Publication of CN113658178A publication Critical patent/CN113658178A/zh
Application granted granted Critical
Publication of CN113658178B publication Critical patent/CN113658178B/zh
Priority to PCT/CN2022/116104 priority patent/WO2023061080A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本公开涉及一种组织图像的识别方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取内窥镜采集的组织图像，对组织图像进行预处理，以得到目标图像，利用预先训练的识别模型对目标图像进行识别，以确定组织图像所属的目标类型，识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，第一数量小于第二数量，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定，若目标类型指示组织图像为有效类型，对组织图像进行指定处理。本公开能够提高识别模型的实用性和准确度。

Description

组织图像的识别方法、装置、可读介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种组织图像的识别方法、装置、可读介质和电子设备。
背景技术
内窥镜上设置有光学镜头、图像传感器、光源等组件，能够进入人体内部进行检查，使得医生能够直观地观察到人体内部的情况，在医疗领域得到了广泛应用。在使用内窥镜进行检查的过程中，可能由于进镜手法不稳定，或者内窥镜的位置不合适等原因，会采集到很多无效的图像，例如障碍物遮挡、曝光度过大、清晰度过低等。这些无效的图像会对内窥镜的检查结果产生干扰，因此，需要对内窥镜采集到的图像进行识别，以保证内窥镜检查的有效性和准确性。通常情况下，要对图像进行准确的识别，需要预先获取海量具有标注的图像，以作为图像识别的参考基准。然而对海量的图像进行标注需要投入大量人力物力，工作繁杂，因此有标注的图像的数量往往很少，降低了图像识别的准确度。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种组织图像的识别方法，所述方法包括：
获取内窥镜采集的组织图像；
对所述组织图像进行预处理，以得到目标图像；
利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；
若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理。
第二方面，本公开提供一种组织图像的识别装置，所述装置包括：
获取模块，用于获取内窥镜采集的组织图像；
预处理模块，用于对所述组织图像进行预处理，以得到目标图像；
识别模块，用于利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；
处理模块，用于若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取内窥镜采集的组织图像，然后对组织图像进行预处理，以得到目标图像。之后利用识别模型识别目标图像，以确定组织图像所属的目标类型。其中，识别模型根据第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，与对比识别模型联合训练得到。并且，对比识别模型的结构与识别模型的结构相同，神经元参数根据识别模型的神经元参数确定。最后，若目标类型指示组织图像为有效类型，对述组织图像进行指定处理。本公开将少量的有标样本图像和大量的无标样本图像混合在一起对识别模型进行训练，使得识别模型充分学习样本图像集中的信息，能够有效提高识别模型的实用性和准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种组织图像的识别方法的流程图；
图2是根据一示例性实施例示出的另一种组织图像的识别方法的流程图；
图3是根据一示例性实施例示出的一种识别模型的示意图；
图4是根据一示例性实施例示出的一种训练识别模型的流程图；
图5是根据一示例性实施例示出的另一种训练识别模型的流程图；
图6是根据一示例性实施例示出的一种识别模型与对比识别模型的示意图；
图7是根据一示例性实施例示出的另一种训练识别模型的流程图；
图8是根据一示例性实施例示出的一种组织图像的识别装置的框图；
图9是根据一示例性实施例示出的另一种组织图像的识别装置的框图；
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例示出的一种组织图像的识别方法的流程图，如图1所示，该方法包括：
步骤101，获取内窥镜采集的组织图像。
步骤102，对组织图像进行预处理，以得到目标图像。
举例来说，在进行内窥镜检查时，内窥镜会按照预设的采集周期不断地采集组织中的图像，即本实施例中的组织图像。组织图像可以为当前时刻内窥镜采集的图像，也可以是任一时刻内窥镜采集的图像。也就是说，组织图像可以是内窥镜在进入组织过程（即进镜过程）中采集的图像，也可以是内窥镜在退出组织过程（即退镜过程）中采集的图像，本公开对此不作具体限定。需要说明的是，本公开实施例中所述的内窥镜，例如可以是肠镜、胃镜等，若内窥镜为肠镜，那么上述组织图像即为肠道图像，那么本实施例确定的是肠道图像的类型。若内窥镜为胃镜，那么上述组织图像可以为食道图像、胃部图像或者十二指肠图像，那么本实施例确定的是食道图像、胃部图像或者十二指肠图像的类型。内窥镜还可以用于采集其他组织的图像，本公开对此不作具体限定。
进一步的，在得到组织图像之后，还可以对组织图像进行预处理，以得到目标图像。为了保证组织图像的质量，预处理不会对组织图像的模糊度或者色彩进行修改，也就是说图像模糊度、色彩变化等处理，会影响图像的真值，因此，预处理可以理解对组织图像的尺寸进行的调整，以将组织图像调整为指定尺寸，预处理例如可以包括：尺寸变换（英文：Resize），还可以包括不改变组织图像的模糊度、色彩的其他处理，本公开对此不作具体限定。对组织图像进行预处理后得到的目标图像可以为指定尺寸，例如可以是256*256的图像。
步骤103，利用预先训练的识别模型对目标图像进行识别，以确定组织图像所属的目标类型，识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，第一数量小于第二数量，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。
步骤104，若目标类型指示组织图像为有效类型，对组织图像进行指定处理。
示例的，可以将目标图像，输入预先训练的识别模型，以使识别模型对组织图像进行识别，输出组织图像所属的目标类型。具体的，识别模型能够确定组织图像与多种类型的匹配概率，然后根据多个匹配概率来确定目标类型，例如可以将匹配概率最高的类型作为目标类型。多种类型，用于指示组织图像是否有效，例如可以将组织图像划分为：有效类型和无效类型两种，也可以根据组织图像的具体情况将组织图像划分为：有效类型、模糊类型、过曝类型、变色类型等。以内窥镜为肠镜，组织图像为肠道图像来举例，多种类型可以包括：有效类型、无信号类型、体外类型、气泡类型、霸屏类型、过曝类型、模糊类型、变色类型共8种。其中，有效类型表示组织图像能够清晰地展示肠道内的情况。无信号类型表示组织图像是无效图像（例如内窥镜尚未采集图像，或者由于故障原因图像无法传递等）。体外类型表示组织图像展示的是体外的图像（例如展示的是衣物等）。气泡类型表示采集组织图像的时刻，肠道内存在大量气泡，对内窥镜造成了遮挡。霸屏类型表示采集组织图像的时刻，内窥镜与肠壁过近。过曝类型表示组织图像的曝光度过大。模糊类型表示组织图像的模糊度过大。变色类型表示组织图像的颜色异常（例如由于故障原因图像变为绿色等）。
其中，识别模型可以根据预设的样本图像集，与预设的对比识别模型联合训练得到。其中，样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，第一数量小于第二数量。有标样本图像的类型已知，可以理解为有标样本图像是经过标注的图像，无标样本图像的类型未知，可以理解为无标样本图像是未经过标注的图像，无标样本图像的数量大于有标样本图像的数量，也就是说，样本图像集中包括了大量的无标样本图像，和少量的有标样本图像。例如，样本图像集中的有标样本图像可以为18万张，无标样本图像可以为500万张。识别模型例如可以是CNN（英文：ConvolutionalNeural Networks，中文：卷积神经网络）或者LSTM（英文：Long Short-Term Memory，中文：长短期记忆网络），也可以是Transformer（例如Vision Transformer）中的Encoder等，本公开对此不作具体限定。进一步的，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。神经元参数例如可以包括神经元的权重（英文：Weight）和偏置量（英文：Bias）。其中，对比识别模型的神经元参数可以采用深度学习中的动量更新（英文：Momentum update）方式来确定。
由于识别模型是利用少量的有标样本图像和大量的无标样本图像混合在一起训练得到的，并且与对比识别模型进行联合训练，因此，识别模型能够充分学习样本图像集中的信息，提高了识别模型的准确度，并且，样本图像集中只包括少量的有标样本图像，需要标注的工作量少，容易实现，提高了识别模型的实用性。
最后，若识别模型确定目标类型指示组织图像为有效类型，那么可以对组织图像进行指定处理。其中，指定处理可以理解为在确定组织图像有效的情况下的进一步处理。指定处理例如可以是输出组织图像，以将组织图像显示在指定的显示界面上，也可以是根据组织图像确定组织的健康度，还可以是根据组织图像确定组织内腔体的位置，还可以是根据组织图像确定组织的清洁度，本公开对此不作具体限定。由于识别模型能够准确识别出有效类型的组织图像，因此能够避免对其他无效的组织图像进行指定处理，即避免了无效的组织图像对指定处理的干扰，从而提高指定处理的准确度和处理效率，减少对处理资源的浪费。
综上所述，本公开首先获取内窥镜采集的组织图像，然后对组织图像进行预处理，以得到目标图像。之后利用识别模型识别目标图像，以确定组织图像所属的目标类型。其中，识别模型根据第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，与对比识别模型联合训练得到。并且，对比识别模型的结构与识别模型的结构相同，神经元参数根据识别模型的神经元参数确定。最后，若目标类型指示组织图像为有效类型，对述组织图像进行指定处理。本公开将少量的有标样本图像和大量的无标样本图像混合在一起对识别模型进行训练，使得识别模型充分学习样本图像集中的信息，能够有效提高识别模型的实用性和准确度。
图2是根据一示例性实施例示出的另一种组织图像的识别方法的流程图，如图2所示，步骤103可以通过以下步骤来实现：
步骤1031，利用识别模型包括的特征提取网络，提取目标图像的目标图像特征。
步骤1032，利用识别模型包括的映射层，将目标图像特征映射为用于表征目标图像的目标图像向量。
步骤1033，利用识别模型包括的分类层，对目标图像向量进行分类，以得到目标类型。
示例的，识别模型的结构可以如图3所示，其中包括特征提取网络（例如可以是Backbone）、映射层（即Projection）和分类层（例如可以是：Linear Classifier）。具体的，可以将目标图像输入特征提取网络，使得特征提取网络对目标图像进行特征提取，以得到目标图像特征。其中，特征提取网络的结构例如可以是Vision Transformer中的Encoder，也可以其他能够提取图像特征的结构，本公开对此不作具体限定。之后，可以将目标图像特征输入映射层，以使映射层将目标图像特征映射到指定维度，以得到用于表征目标图像的目标图像向量。最后，将目标图像向量输入分类层，分类层可以分别确定目标图像向量与多种类型的匹配概率，并将匹配概率最大的类型作为目标类型，以作为输出。
图4是根据一示例性实施例示出的一种训练识别模型的流程图，如图4所示，识别模型与对比识别模型是通过以下方式联合训练得到的：
步骤A，获取样本输入集和样本输出集，样本输入集包括：多个样本输入，每个样本输入包括样本图像集中的一个样本图像，样本图像为有标样本图像或无标样本图像。样本输出集中包括与每个样本输入对应的样本输出，有标样本图像对应的样本输出包括有标样本图像的类型。
步骤B，将样本输入集分别作为识别模型和对比识别模型的输入，将样本输出集分别作为识别模型和对比识别模型的输出，以联合训练识别模型和对比识别模型。
其中，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。
举例来说，在对识别模型进行训练时，需要先获取用于训练识别模型的样本输入集和样本输出集。其中，样本输入集包括：多个样本输入，每个样本输入包括样本图像集中的一个样本图像，样本图像可以为有标样本图像，也可以为无标样本图像。样本输出集中包括与每个样本输入对应的样本输出，其中，若样本图像为有标样本图像，那么对应的样本输出包括该有标样本图像的类型。若样本图像为无标样本图像，那么对应的样本输出可以是随机值，或者可以设置为空（例如null）。样本图像可以是之前执行内窥镜检查时采集到的大量的组织图像。
在对识别模型训练之前，可以建立一个对比识别模型，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。其中，对比识别模型的神经元参数可以采用深度学习中的动量更新方式来确定。例如，对比识别模型的某个神经元参数表示为B，识别模型中对应的神经元参数表示为A，那么Bt=(1-c)*Bt-1+c*At，其中，Bt表示第t次迭代时，对比识别模型的该神经元参数，Bt-1表示第t-1次迭代时，对比识别模型的该神经元参数，At表示第t次迭代时，识别模型中对应的神经元参数，c表示预设的权重，例如可以是0.001，即1-c=0.999。
在对识别模型训练时，将样本输入集分别作为识别模型和对比识别模型的输入，将样本输出集分别作为识别模型和对比识别模型的输出，以联合训练识别模型和对比识别模型。使得在输入样本输入集时，识别模型的输出能够和样本输出集匹配，对比识别模型的输出与识别模型的输出之间的距离接近。例如，可以根据识别模型的输出，与样本输出集确定识别模型的交叉熵损失，以降低交叉熵损失为目标，利用反向传播算法来修正识别模型中的神经元参数。同时，还可以根据识别模型的输出、对比识别模型的输出，采用动量对比（英文：Momentum Contrast，缩写：MOCO）的方法确定对比损失（即：Contrastive loss），以降低对比损失为目标，利用反向传播算法来修正识别模型中的神经元参数。重复上述步骤，直至收敛，以达到联合训练识别模型和对比识别模型的目的。
图5是根据一示例性实施例示出的另一种训练识别模型的流程图，如图5所示，步骤B可以包括：
步骤B1，对目标样本输入进行增扩处理，以得到第一图像和第二图像，第一图像与第二图像不相同，目标样本输入为任一样本输入。
步骤B2，将第一图像输入识别模型，以得到用于表征第一图像的第一向量，并将第二图像输入对比识别模型，以得到用于表征第二图像的第二向量。
示例的，可以先将样本输入集中的任一样本输入作为目标样本输入，对目标样本输入进行两种不同的增扩处理（英文：Augmentation），以得到第一图像和第二图像。由于图像模糊度、色彩变化等处理，会影响图像的真值，因此，增扩处理不改变组织图像的模糊度、色彩，例如可以包括：multi-crop处理、翻转处理（包括：左右翻转、上下翻转、旋转等）、随机仿射变换等。具体的，可以在多种增扩处理中，随机选择两种不同的增扩处理对目标样本输入进行处理，以得到第一图像和第二图像。
之后，可以将第一图像输入识别模型，以得到识别模型中的映射层输出的，用于表征第一图像的第一向量，同时将第二图像输入对比识别模型，以得到对比识别模型中的映射层输出的，用于表征第二图像的第二向量。其中，识别模型和对比识别模型的示意图如图6所示。
步骤B3，根据识别模型输出的第一图像所属的训练类型，与目标样本输入对应的样本输出，确定第一损失。
步骤B4，根据第一向量、第二向量和采样向量集，确定第二损失，采样向量集包括按照预设的采样规则从向量表中获取的指定数量个向量，向量表中包括用于表征多个样本图像的多个向量。
步骤B5，根据第一损失和第二损失确定总损失。
步骤B6，根据总损失更新识别模型，并根据更新后的识别模型更新对比识别模型。
示例的，用于训练识别模型的损失可以分为两部分：第一损失和第二损失，其中，第一损失可以是根据识别模型的输出（即识别模型判断的第一图像所属的训练类型），与目标样本输入对应的样本输出确定的，第一损失例如可以是交叉熵损失（即Cross entropyloss）。需要说明的是，若目标样本输入为无标样本图像，那么可以将第一损失置为0。第二损失可以是根据第一向量、第二向量和采样向量集确定。其中，采样向量集包括指定数量个向量，可以是从预设的向量表中采集得到的，向量表中包括用于表征多个样本图像的向量。第二损失例如可以是监督对比损失（即：Supervised Contrastive loss）。
之后，可以根据第一损失和第二损失确定总损失。总损失例如可以是第一损失和第二损失加权求和的结果。最后，可以以降低总损失函数为目标，利用反向传播算法来更新识别模型中的神经元参数。最后，再根据更新后的识别模型，按照动量对比的方法更新对比识别模型。以达到联合训练识别模型和对比识别模型的目的。
在一种应用场景中，步骤B4的实现方式可以包括：
步骤1）按照采样规则从向量表中获取指定数量个向量，以作为采样向量集。
下面对如何确定第二损失进行具体说明：
首先可以按照预设的采样规则从向量表中获取指定数量个向量，以作为采样向量集。其中，向量表包括多个有标队列和一个无标队列，每个有标队列包括用于表征多个类型相同的有标样本图像的向量，无标队列包括用于表征多个无标样本图像的向量。也就是说，每个有标队列对应一种类型，其中包括的均为该类型的有标样本图像的向量。例如，共有M个类型，那么向量表中包括M个有标队列和一个无标队列（即向量表中包括M+1个队列），每个队列中包括K个向量，第i（1≤i≤M）个有标队列可以表示为{Qi,1, Qi,2, …,Qi,j,…,Qi,K}，其中，Qi,j表示第i个有标队列中第j个向量，无标队列可以表示为{QU,1, QU,2, …,QU,j,…, QU,K}，其中，QU,j表示无标队列中第j个向量。
采样规则根据目标样本输入为无标样本图像还是有标样本图像，可以分为以下两种方式：
方式1，若目标样本输入为无标样本图像，针对每个有标队列，从该有标队列中随机采集第三数量个向量，并从无标队列中随机采集第四数量个向量，以得到采样向量集。例如，指定数量为N，向量表包括M个有标队列，那么可以从每个有标队列中随机取出β*N/M（即第三数量）个向量，其中β（0≤β≤1）为预设的第一调节参数。之后，再从无标队列中随机取出（1-β）*N（即第四数量）个向量，从而得到采样向量集。即第三数量*有标队列的数量+第四数量=指定数量。
方式2，若目标样本输入为有标样本图像，首先，根据每种类型对应的累积概率，确定该类型对应的采样数量，累积概率用于表征在本轮迭代批次中，属于该类型的有标样本图像的数量，采样数量与累积概率负相关。
例如，指定数量为N，类型的数量为M，即向量表包括M个有标队列和一个无标队列。累积概率可以表示为
Figure 631148DEST_PATH_IMAGE001
，其中，
Figure 403932DEST_PATH_IMAGE002
表示第t次迭代时第i种类型对应的累积概率，
Figure 475793DEST_PATH_IMAGE003
表示第t-1次迭代时第i种类型对应的累积概率，
Figure 853685DEST_PATH_IMAGE004
表示第t次迭代时，批次（即batch）中属于第i种类型的有标样本图像的数量，与批次中包括的样本输入的数量的比例，
Figure 985589DEST_PATH_IMAGE005
为预设的第二调节参数。相应的，采样数量可以表示为
Figure 448931DEST_PATH_IMAGE006
，其中，Qi表示第i种类型对应的采样数量，其中，β（0≤β≤1）为预设的第一调节参数，
Figure 58904DEST_PATH_IMAGE007
，
Figure 353619DEST_PATH_IMAGE008
表示第t次迭代时第r种类型对应的累积概率。
在确定每种类型对应的采样数量之后，针对每个有标队列，从该有标队列中随机采集该有标队列所属类型对应的采样数量个向量。从无标队列中随机采集（1-β）*N（即第五数量）个向量，以得到采样向量集。
样本输入集中包括的多个样本图像，往往存在长尾效应（英文：Long TailEffect），即样本输入集中，类型的分布并不均匀，属于某些类型的样本图像的数量较少，属于另一些类型的样本图像的数量较多。以内窥镜为肠镜为例，除有效类型之外，属于模糊类型、霸屏类型的组织图像较多，而属于变色类型、体外类型的组织图像较少。这样，在训练识别模型的过程中，容易导致识别模型忽略数量较少的样本图像，无法学习到数量较少的样本图像中的特征，降低了准确度。因此，通过每种类型对应的累积概率，确定该类型对应的采样数量，采样数量与累积概率负相关。也就是说，批次中数量越少的类型，采样数量越大，即被采集到的数量越大，批次中数量越多的类型，采样数量越小，即被采集到的数量越小，使得采样向量集中包括的向量能够平均分布，避免了长尾效应对识别模型训练的影响，识别模型能够学习到各种类型的样本图像中的特征，进一步提高了识别模型的准确度。
步骤2）对第一向量、第二向量和采样向量集进行归一化处理。
示例的，在确定采样向量集之后，可以对第一向量、第二向量和采样向量集进行归一化处理。例如，如图6所示，可以对第一向量、第二向量和采样向量集进行L2-norm的归一化处理。
步骤3）确定归一化后的第一向量与正向量之间的第一距离，并确定归一化后的第一向量与负向量之间的第二距离。
步骤4）根据第一距离和第二距离确定第二损失，第二损失与第一距离负相关，且与第二距离正相关。
示例的，可以根据目标样本输入为有标样本图像或者无标样本图像，在归一化处理后的第二向量、采样向量集中确定正向量和负向量。具体的，若目标样本输入为有标样本图像，正向量包括归一化后的第二向量，正向量还包括归一化后的采样向量集中，与目标样本输入的类型相同的向量，负向量包括归一化后的采样向量集中，与目标样本输入的类型不同的向量。若目标样本输入为无标样本图像，正向量包括归一化后的第二向量，负向量包括归一化后的采样向量集中的全部向量。
之后，可以确定归一化后的第一向量与正向量之间的第一距离，并确定归一化后的第一向量与负向量之间的第二距离。第一距离和第二距离可以理解为相似度距离，第一距离用于表征归一化后的第一向量与正向量之间的相似度，第一距离越大，表示归一化后的第一向量与正向量越相似。第二距离用于表征归一化后的第一向量与负向量之间的相似度，第二距离越大，表示归一化后的第一向量与负向量越相似。再根据第一距离和第二距离确定第二损失，第二损失与第一距离负相关，且与第二距离正相关。具体的，可以通过以下公式确定第二损失：
Figure 859687DEST_PATH_IMAGE009
其中，Lscl表示第二损失，
Figure 341484DEST_PATH_IMAGE010
表示第一距离，
Figure 20727DEST_PATH_IMAGE011
表示第二距离，
Figure 904369DEST_PATH_IMAGE012
表示预设的第三调节参数，
Figure 581338DEST_PATH_IMAGE013
表示预设的第四调节参数。其中，
Figure 550431DEST_PATH_IMAGE014
，
Figure 767786DEST_PATH_IMAGE015
，q表示归一化后的第一向量，k+表示正向量，k-表示负向量，
Figure 974776DEST_PATH_IMAGE016
表示预设的温度参数。可以看出，第二损失越小，表示归一化后的第一向量与正向量的距离越大，归一化后的第一向量与负向量的距离越小，也就是说第二损失越小，目标样本输入与同类型的向量越接近，目标输入与不同类型的向量越远离。
图7是根据一示例性实施例示出的另一种训练识别模型的流程图，如图7所示，步骤B还可以包括：
步骤B7，若目标样本输入为无标样本图像，将第一向量放入无标队列。
步骤B8，若目标样本输入为有标样本图像，将第一向量放入与目标样本输入的类型相同的有标队列。
举例来说，向量表可以是动态更新的，在结束对识别模型的一轮迭代训练后，可以将识别模型中的映射层输出的用于表征第一图像的第一向量，存入向量表中，以对向量表进行更新。具体的，有标队列和无标队列均可以是一个先进先出的队列，当目标样本输入为无标样本图像时，那么可以将第一向量放入无标队列，当目标样本输入为有标样本图像时，那么可以将第一向量放入与目标样本输入的类型相同的有标队列。这样，向量表在初始建立时，每个队列中包括的向量可以是随机生成的，然后通过对识别模型的每一轮迭代训练，对向量表进行不断的更新，使得向量表中的每个队列能够包括准确表征样本图像的向量。
具体的，在对识别模型和对比识别模型进行联合训练的过程中，初始学习率可以设置为1e-3，Batch size可以设置为32*4，优化器可以选择Sgd（英文：Stochasticgradient descent，中文：随机梯度下降），Epoch可以设置为100，输入样本的大小可以为256*256，指定数量N可以设置为10240，类型的数量M可以设置为8，第一调节参数β可以设置为0.7，第二调节参数
Figure 619384DEST_PATH_IMAGE005
可以设置为0.9，温度参数
Figure 341353DEST_PATH_IMAGE016
可以设置为0.99，第三调节参数
Figure 96819DEST_PATH_IMAGE012
可以设置为0.7，第四调节参数
Figure 892737DEST_PATH_IMAGE017
可以设置为0.3。
综上所述，本公开首先获取内窥镜采集的组织图像，然后对组织图像进行预处理，以得到目标图像。之后利用识别模型识别目标图像，以确定组织图像所属的目标类型。其中，识别模型根据第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，与对比识别模型联合训练得到。并且，对比识别模型的结构与识别模型的结构相同，神经元参数根据识别模型的神经元参数确定。最后，若目标类型指示组织图像为有效类型，对述组织图像进行指定处理。本公开将少量的有标样本图像和大量的无标样本图像混合在一起对识别模型进行训练，使得识别模型充分学习样本图像集中的信息，能够有效提高识别模型的实用性和准确度。
图8是根据一示例性实施例示出的一种组织图像的识别装置的框图，如图8所示，该装置200可以包括：
获取模块201，用于获取内窥镜采集的组织图像。
预处理模块202，用于对组织图像进行预处理，以得到目标图像。
识别模块203，用于利用预先训练的识别模型对目标图像进行识别，以确定组织图像所属的目标类型，识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，第一数量小于第二数量，对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。
处理模块204，用于若目标类型指示组织图像为有效类型，对组织图像进行指定处理。
图9是根据一示例性实施例示出的另一种组织图像的识别装置的框图，如图9所示，识别模块203可以包括：
提取子模块2031，用于利用识别模型包括的特征提取网络，提取目标图像的目标图像特征。
映射子模块2032，用于利用识别模型包括的映射层，将目标图像特征映射为用于表征目标图像的目标图像向量。
分类子模块2033，用于利用识别模型包括的分类层，对目标图像向量进行分类，以得到目标类型。
在一种应用场景中，识别模型与对比识别模型是通过以下方式联合训练得到的：
步骤A，获取样本输入集和样本输出集，样本输入集包括：多个样本输入，每个样本输入包括样本图像集中的一个样本图像，样本图像为有标样本图像或无标样本图像。样本输出集中包括与每个样本输入对应的样本输出，有标样本图像对应的样本输出包括有标样本图像的类型。
步骤B，将样本输入集分别作为识别模型和对比识别模型的输入，将样本输出集分别作为识别模型和对比识别模型的输出，以联合训练识别模型和对比识别模型。
对比识别模型的结构与识别模型的结构相同，且对比识别模型的神经元参数，根据识别模型的神经元参数确定。
在另一种应用场景中，步骤B可以包括：
步骤B1，对目标样本输入进行增扩处理，以得到第一图像和第二图像，第一图像与第二图像不相同，目标样本输入为任一样本输入。
步骤B2，将第一图像输入识别模型，以得到用于表征第一图像的第一向量，并将第二图像输入对比识别模型，以得到用于表征第二图像的第二向量。
步骤B3，根据识别模型输出的第一图像所属的训练类型，与目标样本输入对应的样本输出，确定第一损失。
步骤B4，根据第一向量、第二向量和采样向量集，确定第二损失，采样向量集包括按照预设的采样规则从向量表中获取的指定数量个向量，向量表中包括用于表征多个样本图像的多个向量。
步骤B5，根据第一损失和第二损失确定总损失。
步骤B6，根据总损失更新识别模型，并根据更新后的识别模型更新对比识别模型。
在另一种应用场景中，步骤B4的实现方式可以包括：
步骤1）按照采样规则从向量表中获取指定数量个向量，以作为采样向量集。
步骤2）对第一向量、第二向量和采样向量集进行归一化处理。
步骤3）确定归一化后的第一向量与正向量之间的第一距离，并确定归一化后的第一向量与负向量之间的第二距离。
步骤4）根据第一距离和第二距离确定第二损失，第二损失与第一距离负相关，且与第二距离正相关。
其中，若目标样本输入为有标样本图像，正向量包括归一化后的第二向量，正向量还包括归一化后的采样向量集中，与目标样本输入的类型相同的向量，负向量包括归一化后的采样向量集中，与目标样本输入的类型不同的向量。
若目标样本输入为无标样本图像，正向量包括归一化后的第二向量，负向量包括归一化后的采样向量集中的全部向量。
在又一种应用场景中，向量表包括多个有标队列和一个无标队列，每个有标队列包括用于表征多个类型相同的有标样本图像的向量，无标队列包括用于表征多个无标样本图像的向量。
步骤1）的实现可以分为以下两种方式：
方式1，若目标样本输入为无标样本图像，针对每个有标队列，从该有标队列中随机采集第三数量个向量，并从无标队列中随机采集第四数量个向量，以得到采样向量集。
方式2，若目标样本输入为有标样本图像，根据每种类型对应的累积概率，确定该类型对应的采样数量，累积概率用于表征在本轮迭代批次中，属于该类型的有标样本图像的数量，采样数量与累积概率负相关。针对每个有标队列，从该有标队列中随机采集该有标队列所属类型对应的采样数量个向量。从无标队列中随机采集第五数量个向量，以得到采样向量集。
在又一种应用场景中，步骤B还可以包括：
步骤B7，若目标样本输入为无标样本图像，将第一向量放入无标队列。
步骤B8，若目标样本输入为有标样本图像，将第一向量放入与目标样本输入的类型相同的有标队列。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取内窥镜采集的组织图像，然后对组织图像进行预处理，以得到目标图像。之后利用识别模型识别目标图像，以确定组织图像所属的目标类型。其中，识别模型根据第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，与对比识别模型联合训练得到。并且，对比识别模型的结构与识别模型的结构相同，神经元参数根据识别模型的神经元参数确定。最后，若目标类型指示组织图像为有效类型，对述组织图像进行指定处理。本公开将少量的有标样本图像和大量的无标样本图像混合在一起对识别模型进行训练，使得识别模型充分学习样本图像集中的信息，能够有效提高识别模型的实用性和准确度。
下面参考图10，其示出了适于用来实现本公开实施例的电子设备（例如可以上述实施例中的执行主体，可以是终端设备或服务器）300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取内窥镜采集的组织图像；对所述组织图像进行预处理，以得到目标图像；利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取组织图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种组织图像的识别方法，包括：获取内窥镜采集的组织图像；对所述组织图像进行预处理，以得到目标图像；利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像，与预设的对比识别模型联合集训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，包括：利用所述识别模型包括的特征提取网络，提取所述目标图像的目标图像特征；利用所述识别模型包括的映射层，将所述目标图像特征映射为用于表征所述目标图像的目标图像向量；利用所述识别模型包括的分类层，对所述目标图像向量进行分类，以得到所述目标类型。
根据本公开的一个或多个实施例，示例3提供了示例1或示例2的方法，所述识别模型与所述对比识别模型是通过以下方式联合训练得到的：获取样本输入集和样本输出集，所述样本输入集包括：多个样本输入，每个所述样本输入包括所述样本图像集中的一个样本图像，所述样本图像为所述有标样本图像或所述无标样本图像；所述样本输出集中包括与每个所述样本输入对应的样本输出，所述有标样本图像对应的样本输出包括所述有标样本图像的类型；将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型；所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定。
根据本公开的一个或多个实施例，示例4提供了示例3的方法，所述将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型，包括：对目标样本输入进行增扩处理，以得到第一图像和第二图像，所述第一图像与所述第二图像不相同，所述目标样本输入为任一所述样本输入；将所述第一图像输入所述识别模型，以得到用于表征所述第一图像的第一向量，并将所述第二图像输入所述对比识别模型，以得到用于表征所述第二图像的第二向量；根据所述识别模型输出的所述第一图像所属的训练类型，与所述目标样本输入对应的样本输出，确定第一损失；根据所述第一向量、所述第二向量和采样向量集，确定第二损失，所述采样向量集包括按照预设的采样规则从向量表中获取的指定数量个向量，所述向量表中包括用于表征多个样本图像的多个向量；根据所述第一损失和所述第二损失确定总损失；根据所述总损失更新所述识别模型，并根据更新后的所述识别模型更新所述对比识别模型。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述根据所述第一向量、所述第二向量和采样向量集，确定第二损失，包括：按照所述采样规则从所述向量表中获取指定数量个向量，以作为所述采样向量集；对所述第一向量、所述第二向量和所述采样向量集进行归一化处理；确定归一化后的所述第一向量与正向量之间的第一距离，并确定归一化后的所述第一向量与负向量之间的第二距离；根据所述第一距离和所述第二距离确定所述第二损失，所述第二损失与所述第一距离负相关，且与所述第二距离正相关；若所述目标样本输入为所述有标样本图像，所述正向量包括归一化后的所述第二向量，所述正向量还包括归一化后的所述采样向量集中，与所述目标样本输入的类型相同的向量，所述负向量包括归一化后的所述采样向量集中，与所述目标样本输入的类型不同的向量；若所述目标样本输入为所述无标样本图像，所述正向量包括归一化后的所述第二向量，所述负向量包括归一化后的所述采样向量集中的全部向量。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述向量表包括多个有标队列和一个无标队列，每个有标队列包括用于表征多个类型相同的所述有标样本图像的向量，所述无标队列包括用于表征多个所述无标样本图像的向量；所述按照所述采样规则从所述向量表中获取指定数量个向量，以作为所述采样向量集，包括：若所述目标样本输入为所述无标样本图像，针对每个所述有标队列，从该有标队列中随机采集第三数量个向量，并从所述无标队列中随机采集第四数量个向量，以得到所述采样向量集；若所述目标样本输入为所述有标样本图像，根据每种类型对应的累积概率，确定该类型对应的采样数量，所述累积概率用于表征在本轮迭代批次中，属于该类型的所述有标样本图像的数量，所述采样数量与所述累积概率负相关；针对每个所述有标队列，从该有标队列中随机采集该有标队列所属类型对应的采样数量个向量；从所述无标队列中随机采集第五数量个向量，以得到所述采样向量集。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述将所述样本输入集分别作为所述识别模型和预设的对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型，还包括：若所述目标样本输入为所述无标样本图像，将所述第一向量放入所述无标队列；若所述目标样本输入为所述有标样本图像，将所述第一向量放入与所述目标样本输入的类型相同的所述有标队列。
根据本公开的一个或多个实施例，示例8提供了一种组织图像的识别装置，包括：获取模块，用于获取内窥镜采集的组织图像；预处理模块，用于对所述组织图像进行预处理，以得到目标图像；识别模块，用于利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；处理模块，用于若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理。
根据本公开的一个或多个实施例，示例9提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例7中所述方法的步骤。
根据本公开的一个或多个实施例，示例10提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例7中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (8)

1.一种组织图像的识别方法，其特征在于，所述方法包括：
获取内窥镜采集的组织图像；
对所述组织图像进行预处理，以得到目标图像；
利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；
若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理；
所述识别模型与所述对比识别模型是通过以下方式联合训练得到的：
获取样本输入集和样本输出集，所述样本输入集包括：多个样本输入，每个所述样本输入包括所述样本图像集中的一个样本图像，所述样本图像为所述有标样本图像或所述无标样本图像；所述样本输出集中包括与每个所述样本输入对应的样本输出，所述有标样本图像对应的样本输出包括所述有标样本图像的类型；
将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型；
所述将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型，包括：
对目标样本输入进行增扩处理，以得到第一图像和第二图像，所述第一图像与所述第二图像不相同，所述目标样本输入为任一所述样本输入；
将所述第一图像输入所述识别模型，以得到用于表征所述第一图像的第一向量，并将所述第二图像输入所述对比识别模型，以得到用于表征所述第二图像的第二向量；
根据所述识别模型输出的所述第一图像所属的训练类型，与所述目标样本输入对应的样本输出，确定第一损失；
根据所述第一向量、所述第二向量和采样向量集，确定第二损失，所述采样向量集包括按照预设的采样规则从向量表中获取的指定数量个向量，所述向量表中包括用于表征多个样本图像的多个向量；
根据所述第一损失和所述第二损失确定总损失；
根据所述总损失更新所述识别模型，并根据更新后的所述识别模型更新所述对比识别模型。
2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，包括：
利用所述识别模型包括的特征提取网络，提取所述目标图像的目标图像特征；
利用所述识别模型包括的映射层，将所述目标图像特征映射为用于表征所述目标图像的目标图像向量；
利用所述识别模型包括的分类层，对所述目标图像向量进行分类，以得到所述目标类型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一向量、所述第二向量和采样向量集，确定第二损失，包括：
按照所述采样规则从所述向量表中获取指定数量个向量，以作为所述采样向量集；
对所述第一向量、所述第二向量和所述采样向量集进行归一化处理；
确定归一化后的所述第一向量与正向量之间的第一距离，并确定归一化后的所述第一向量与负向量之间的第二距离；
根据所述第一距离和所述第二距离确定所述第二损失，所述第二损失与所述第一距离负相关，且与所述第二距离正相关；
若所述目标样本输入为所述有标样本图像，所述正向量包括归一化后的所述第二向量，所述正向量还包括归一化后的所述采样向量集中，与所述目标样本输入的类型相同的向量，所述负向量包括归一化后的所述采样向量集中，与所述目标样本输入的类型不同的向量；
若所述目标样本输入为所述无标样本图像，所述正向量包括归一化后的所述第二向量，所述负向量包括归一化后的所述采样向量集中的全部向量。
4.根据权利要求3所述的方法，其特征在于，所述向量表包括多个有标队列和一个无标队列，每个有标队列包括用于表征多个类型相同的所述有标样本图像的向量，所述无标队列包括用于表征多个所述无标样本图像的向量；
所述按照所述采样规则从所述向量表中获取指定数量个向量，以作为所述采样向量集，包括：
若所述目标样本输入为所述无标样本图像，针对每个所述有标队列，从该有标队列中随机采集第三数量个向量，并从所述无标队列中随机采集第四数量个向量，以得到所述采样向量集；
若所述目标样本输入为所述有标样本图像，根据每种类型对应的累积概率，确定该类型对应的采样数量，所述累积概率用于表征在本轮迭代批次中，属于该类型的所述有标样本图像的数量，所述采样数量与所述累积概率负相关；针对每个所述有标队列，从该有标队列中随机采集该有标队列所属类型对应的采样数量个向量；从所述无标队列中随机采集第五数量个向量，以得到所述采样向量集。
5.根据权利要求4所述的方法，其特征在于，所述将所述样本输入集分别作为所述识别模型和预设的对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型，还包括：
若所述目标样本输入为所述无标样本图像，将所述第一向量放入所述无标队列；
若所述目标样本输入为所述有标样本图像，将所述第一向量放入与所述目标样本输入的类型相同的所述有标队列。
6.一种组织图像的识别装置，其特征在于，所述装置包括：
获取模块，用于获取内窥镜采集的组织图像；
预处理模块，用于对所述组织图像进行预处理，以得到目标图像；
识别模块，用于利用预先训练的识别模型对所述目标图像进行识别，以确定所述组织图像所属的目标类型，所述识别模型根据预设的样本图像集，与预设的对比识别模型联合训练得到，所述样本图像集包括第一数量个类型已知的有标样本图像和第二数量个类型未知的无标样本图像，所述第一数量小于所述第二数量，所述对比识别模型的结构与所述识别模型的结构相同，且所述对比识别模型的神经元参数，根据所述识别模型的神经元参数确定；
处理模块，用于若所述目标类型指示所述组织图像为有效类型，对所述组织图像进行指定处理；
所述识别模型与所述对比识别模型是通过以下方式联合训练得到的：
获取样本输入集和样本输出集，所述样本输入集包括：多个样本输入，每个所述样本输入包括所述样本图像集中的一个样本图像，所述样本图像为所述有标样本图像或所述无标样本图像；所述样本输出集中包括与每个所述样本输入对应的样本输出，所述有标样本图像对应的样本输出包括所述有标样本图像的类型；
将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型；
所述将所述样本输入集分别作为所述识别模型和所述对比识别模型的输入，将所述样本输出集分别作为所述识别模型和所述对比识别模型的输出，以联合训练所述识别模型和所述对比识别模型，包括：
对目标样本输入进行增扩处理，以得到第一图像和第二图像，所述第一图像与所述第二图像不相同，所述目标样本输入为任一所述样本输入；
将所述第一图像输入所述识别模型，以得到用于表征所述第一图像的第一向量，并将所述第二图像输入所述对比识别模型，以得到用于表征所述第二图像的第二向量；
根据所述识别模型输出的所述第一图像所属的训练类型，与所述目标样本输入对应的样本输出，确定第一损失；
根据所述第一向量、所述第二向量和采样向量集，确定第二损失，所述采样向量集包括按照预设的采样规则从向量表中获取的指定数量个向量，所述向量表中包括用于表征多个样本图像的多个向量；
根据所述第一损失和所述第二损失确定总损失；
根据所述总损失更新所述识别模型，并根据更新后的所述识别模型更新所述对比识别模型。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-5中任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN202111199695.7A 2021-10-14 2021-10-14 组织图像的识别方法、装置、可读介质和电子设备 Active CN113658178B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111199695.7A CN113658178B (zh) 2021-10-14 2021-10-14 组织图像的识别方法、装置、可读介质和电子设备
PCT/CN2022/116104 WO2023061080A1 (zh) 2021-10-14 2022-08-31 组织图像的识别方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111199695.7A CN113658178B (zh) 2021-10-14 2021-10-14 组织图像的识别方法、装置、可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN113658178A CN113658178A (zh) 2021-11-16
CN113658178B true CN113658178B (zh) 2022-01-25

Family

ID=78494558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111199695.7A Active CN113658178B (zh) 2021-10-14 2021-10-14 组织图像的识别方法、装置、可读介质和电子设备

Country Status (2)

Country Link
CN (1) CN113658178B (zh)
WO (1) WO2023061080A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658178B (zh) * 2021-10-14 2022-01-25 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN114494782B (zh) * 2022-01-26 2023-08-08 北京百度网讯科技有限公司 图像处理方法、模型训练方法、相关装置及电子设备
CN114972118B (zh) * 2022-06-30 2023-04-28 抖音视界有限公司 检查图像的降噪方法、装置、可读介质和电子设备
CN115439449B (zh) * 2022-09-06 2023-05-09 抖音视界有限公司 全视野组织学图像的处理方法、装置、介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测系统及方法
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法
CN109523526B (zh) * 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
CN110059465B (zh) * 2019-04-24 2023-07-25 腾讯科技（深圳）有限公司 身份验证方法、装置及设备
CN115063482A (zh) * 2019-11-21 2022-09-16 奇购视觉有限公司 物品识别及追踪方法与系统
CN111292318A (zh) * 2020-03-12 2020-06-16 深圳智信生物医疗科技有限公司 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
CN111428650B (zh) * 2020-03-26 2024-04-02 北京工业大学 一种基于sp-pggan风格迁移的行人重识别方法
CN111783870B (zh) * 2020-06-29 2023-09-01 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN112307472A (zh) * 2020-11-03 2021-02-02 平安科技（深圳）有限公司 基于智能决策的异常用户识别方法、装置及计算机设备
CN112100509B (zh) * 2020-11-17 2021-02-09 腾讯科技（深圳）有限公司 信息推荐方法、装置、服务器和存储介质
CN112464879B (zh) * 2020-12-10 2022-04-01 山东易视智能科技有限公司 基于自监督表征学习的海洋目标检测方法及系统
CN112800876B (zh) * 2021-01-14 2023-11-10 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN113326764B (zh) * 2021-05-27 2022-06-07 北京百度网讯科技有限公司 训练图像识别模型和图像识别的方法和装置
CN113139063B (zh) * 2021-06-21 2021-09-14 平安科技（深圳）有限公司 意图识别方法、装置、设备及存储介质
CN113470030B (zh) * 2021-09-03 2021-11-23 北京字节跳动网络技术有限公司 组织腔清洁度的确定方法、装置、可读介质和电子设备
CN113658178B (zh) * 2021-10-14 2022-01-25 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
WO2023061080A1 (zh) 2023-04-20
CN113658178A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113658178B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN111369427B (zh) 图像处理方法、装置、可读介质和电子设备
CN113487609B (zh) 组织腔体的定位方法、装置、可读介质和电子设备
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN113470031B (zh) 息肉分型方法、模型训练方法及相关装置
CN113487605B (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
WO2023030523A1 (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113470030B (zh) 组织腔清洁度的确定方法、装置、可读介质和电子设备
CN113469295B (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN111783626A (zh) 图像识别方法、装置、电子设备及存储介质
CN108399401B (zh) 用于检测人脸图像的方法和装置
CN110610191A (zh) 一种电梯楼层识别方法、装置及终端设备
CN114240867A (zh) 内窥镜图像识别模型的训练方法、内窥镜图像识别方法及装置
WO2023185497A1 (zh) 组织图像的识别方法、装置、可读介质和电子设备
WO2023165332A1 (zh) 组织腔体的定位方法、装置、可读介质和电子设备
WO2023185516A1 (zh) 图像识别模型的训练方法、识别方法、装置、介质和设备
CN114937178B (zh) 基于多模态的图像分类方法、装置、可读介质和电子设备
CN115375657A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN114511887B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN113987258A (zh) 音频的识别方法、装置、可读介质和电子设备
CN116228715B (zh) 息肉检测模型的训练方法、息肉检测方法及相关装置
Rifai et al. Analysis for diagnosis of pneumonia symptoms using chest X-ray based on MobileNetV2 models with image enhancement using white balance and contrast limited adaptive histogram equalization (CLAHE)
CN114841970B (zh) 检查图像的识别方法、装置、可读介质和电子设备
CN116311278A (zh) 一种文本识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211116

Assignee: Xiaohe medical instrument (Hainan) Co.,Ltd.

Assignor: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021990000694

Denomination of invention: Recognition method, device, readable medium and electronic device of tissue image

License type: Common License

Record date: 20211117

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant