CN111754532B - 图像分割模型搜索方法、装置、计算机设备及存储介质 - Google Patents

图像分割模型搜索方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111754532B
CN111754532B CN202010808699.XA CN202010808699A CN111754532B CN 111754532 B CN111754532 B CN 111754532B CN 202010808699 A CN202010808699 A CN 202010808699A CN 111754532 B CN111754532 B CN 111754532B
Authority
CN
China
Prior art keywords
image segmentation
image
segmentation model
feature map
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010808699.XA
Other languages
English (en)
Other versions
CN111754532A (zh
Inventor
柳露艳
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010808699.XA priority Critical patent/CN111754532B/zh
Publication of CN111754532A publication Critical patent/CN111754532A/zh
Application granted granted Critical
Publication of CN111754532B publication Critical patent/CN111754532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种图像分割模型搜索方法、装置、计算机设备及存储介质，涉及图像处理技术领域。所述方法包括：获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型。在基于云技术的医疗应用等很多场景中，上述方案可以在保证图像分割模型构建效率的同时，提高了图像分割的准确性。

Description

图像分割模型搜索方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像分割模型搜索方法、装置、计算机设备及存储介质。
背景技术
图像分割是计算机视觉领域的一个重要研究方向，基于机器学习的方式来构建图像分割模型，并通过图像分割模型进行图像分割，是一种应用广泛的图像分割方法。
在相关技术中，在基于云技术的医疗应用等很多场景中，基于机器学习的方式来构建图像分割模型，主要是由开发人员人工构建参数初始化的图像分割模型，然后利用图像样本以及在该图像样本中标注出的图像区域，对该图像分割模型进行训练；在图像分割阶段，待识别的图像被输入到训练好的图像分割模型中，由图像分割模型输出对该图像中的指定区域的预测结果。该图像分割模型可以应用在基于云技术的医疗领域，对医疗图像进行分割。
在上述技术方案中，开发人员人工构建图像分割模型时，难以找到合理的图像分割模型的模型架构，导致训练出的图像分割模型的准确性较低，从而影响后续图像分割的准确性。
发明内容
本申请实施例提供了一种图像分割模型搜索方法、装置、计算机设备及存储介质，可以通过在编织深度聚合网络进行神经网络结构搜索，自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率同时，提高了图像分割的准确性，该技术方案如下：
一方面，提供了一种图像分割模型搜索方法，所述方法包括：
获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；
获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型；所述图像分割模型是用于从输入的目标图像中分割出指定区域图像的模型。
又一方面，提供了一种图像分割方法，所述方法包括：
获取目标图像；
通过图像分割模型对所述目标图像进行处理，得到所述图像分割模型输出的指定区域预测结果；所述图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
根据所述指定区域预测结果，从所述目标图像中分割出指定区域图像。
又一方面，提供了一种图像分割模型搜索装置，所述装置包括：
第一样本集获取模块，用于获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；
第一网络获取模块，用于获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
图像分割模型获取模块，用于基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型；所述图像分割模型是用于从输入的目标图像中分割出指定区域图像的模型。
在一种可能的实现方式中，所述图像分割模型获取模块，包括：
第一空间获取单元，用于获取第一操作空间；所述第一操作空间中包含多种操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一编织深度聚合网络中的各个操作元的图像特征传递功能；
第一参数获取单元，用于基于所述第一训练样本集，以及所述第一操作空间，在所述第一编织深度聚合网络中进行神经网络结构搜索，获取第一参数；所述第一参数用于指示所述第一编织深度聚合网络中的各个操作元对于网络性能提升的重要性；
操作元确定单元，用于基于所述第一参数，确定所述第一编织深度聚合网络中用于构建图像分割模型的操作元；
模型构建单元，用于根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建所述图像分割模型。
在一种可能的实现方式中，所述模型构建单元，包括：
第一模型构建子单元，用于根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建第一初始图像分割模型；
第一搜索子单元，用于基于第二训练样本集，以及所述第一操作空间，在所述第一初始图像分割模型中进行神经网络结构搜索，获得所述图像分割模型；所述第二训练样本集中包含第二样本图像，以及所述第二样本图像中的指定区域图像。
在一种可能的实现方式中，所述第一搜索子单元，用于，
基于所述第二训练样本集，在所述第一初始图像分割模型中进行神经网络结构搜索，获取单元参数，所述单元参数包括第二参数与第三参数中的至少一种；所述第二参数用于指示所述第一初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第三参数用于指示所述第一初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；
根据所述单元参数，获得所述图像分割模型。
在一种可能的实现方式中，所述第一搜索子单元，还用于，
基于所述第二参数，获取所述第一初始图像分割模型中的各个操作元在所述第一初始图像分割模型中传递图像特征的第一权重；
基于所述第三参数，确定所述第一初始图像分割模型中的各个操作元内操作的第二权重；
基于所述第一权重与所述第二权重，更新所述第一初始图像分割模型，获得所述图像分割模型。
在一种可能的实现方式中，所述图像分割模型获取模块，还包括：
第二空间获取单元，用于获取第二操作空间以及第二编织深度聚合网络；所述第二编织深度聚合网络与所述第一编织深度聚合网络的网络结构相同，且所述第二编织深度聚合网络与所述第一编织深度聚合网络的规模不同；所述第二操作空间中包含多种操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二编织深度聚合网络中的各个操作元的图像特征传递功能；
裁剪参数获取单元，用于基于第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获得空间裁减参数；所述空间裁减参数用于指示所述第二操作空间的操作对于网络性能提升的重要性；
操作空间获取单元，用于根据所述空间裁减参数对所述第二操作空间中的操作进行裁减，获得所述第一操作空间。
在一种可能的实现方式中，所述裁剪参数获取单元，包括：
决策参数获取子单元，用于基于所述第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获取操作权重决策参数，所述操作权重决策参数包括第四参数、第五参数以及第六参数中的至少一项；所述第四参数用于指示所述第二编织深度聚合网络中的各个操作元对于网络性能提升的重要性；所述第五参数用于指示第二初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第六参数用于指示所述第二初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；所述第二初始图像分割模型是基于所述第二编织深度聚合网络中用于构建图像分割模型的操作元构建获得的；
裁剪参数获取子单元，用于根据所述操作权重决策参数，获得所述空间裁减参数。
在一种可能的实现方式中，所述第二编织深度聚合网络的网络规模小于所述第一编织深度聚合网络的网络规模。
在一种可能的实现方式中，所述第一网络构建模块，包括：
操作元获取单元，用于获取所述第一操作元、所述第二操作元以及所述第三操作元；
第一网络构建单元，用于基于所述第一操作元、所述第二操作元以及所述第三操作元，以及所述第一编织深度聚合网络中的特征图的深度和层次，构建所述第一编织深度聚合网络。
在一种可能的实现方式中，所述第一网络构建模块，还包括：
特征图接收单元，用于接收在配置设备中配置的，所述第一编织深度聚合网络中的特征图的深度和层次。
又一方面，提供了一种图像分割装置，所述装置包括：
目标图像获取模块，用于获取目标图像；
目标图像处理模块，用于通过图像分割模型对所述目标图像进行处理，得到所述图像分割模型输出的指定区域预测结果；所述图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
目标图像分割模块，用于根据所述指定区域预测结果，从所述目标图像中分割出指定区域图像。
在一种可能的实现方式中，所述目标图像是医疗图像。
再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的图像分割模型搜索方法；或者，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的图像分割方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的图像分割模型搜索方法；或者，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的图像分割方法。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像分割模型搜索方法；或者，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像分割方法。
本申请提供的技术方案可以包括以下有益效果：
对目标图像进行分割的图像分割模型是通过在编织深度聚合网络中进行神经网络结构搜索得到的模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种模型搜索及图像分割框架图；
图2是根据一示例性实施例示出的一种图像分割方法的流程示意图；
图3是根据一示例性实施例示出的一种图像分割模型搜索方法的流程示意图；
图4是根据一示例性实施例示出的一种编织深度聚合网络的模型示意图；
图5是根据一示例性实施例示出的一种模型搜索及图像分割框架示意图；
图6是根据一示例性实施例示出的一种神经网络结构搜索及图像分割方法的流程示意图；
图7示出了图6所示实施例涉及的操作元特征融合的示意图；
图8其示出了图6所示实施例涉及的一种操作元结构示意图；
图9示出了图6所示实施例根据医疗目标图像的图像分割的结果图；
图10是根据一示例性实施例示出的一种模型搜索及图像分割框架示意图；
图11是根据一示例性实施例示出的一种图像分割模型搜索装置的结构方框图；
图12是根据一示例性实施例示出的一种图像分割装置的结构方框图；
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍：
1)人工智能(Artificial Intelligence，AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)计算机视觉(Computer Vision，CV)
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)机器学习(Machine Learning，ML)
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
4)神经网络结构搜索(Neural Architecture Search，NAS)
神经网络结构搜索，是一种用算法来设计神经网络的策略，也就是在不确定网络的长度和结构的情况下，人为设定一定的搜索空间，并按照设计的搜索策略从搜索空间中寻找在验证集上表现最好的网络结构。
神经网络结构搜索技术从组成上包括搜索空间，搜索策略，评价预估三个部分，从实现上又分为基于强化学习的NAS，基于基因算法的NAS(也称为基于进化的NAS)，以及可微分的NAS(也称为基于梯度的NAS)。
基于强化学习的NAS使用一个循环神经网络作为控制器来产生子网络，再对子网络进行训练和评估，得到其网络性能(如准确率)，最后更新控制器的参数。然而，子网络的性能是不可导的，无法直接对控制器进行优化，只能采用强化学习的方式，基于策略梯度的方法更新控制器参数。然而受限于其离散优化的本质，这类方法太耗费计算资源，原因在于在该类NAS算法中，为了充分挖掘每个子网络的“潜力”，控制器每次采样一个子网络，都要初始化其网络权重从头训练然后验证其性能。对比之下，基于梯度优化的可微分NAS显示出了极大的效率优势。基于梯度优化的可微分NAS将整个搜索空间构建为一个超网(super-net)，然后将训练和搜索过程建模为双级优化(bi-level optimization)问题,它并不会单独采样一个子网再从头开始训练验证其性能，由于超网本身就是由子网集合组成因此其利用当前超网的准确率近似当前概率最大的子网的性能，因此其具有极高的搜索效率和性能，逐渐成为主流的神经网络结构搜索方法。
5)超网
超网是在可微分NAS中包含所有可能的子网络的集合。开发人员可以设计一个大的搜索空间，这个搜索空间便组成一个超网，这个超网中包含多个子网，每个子网经过训练后都可以被评测性能指标，神经网络结构搜索需要做的便是从这些子网中找出性能指标最好的子网。
6)医疗云
医疗云(Medical cloud)，是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上，结合医疗技术，使用“云计算”来创建医疗健康服务云平台，实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合，医疗云提高医疗机构的效率，方便居民就医。像现在医院的预约挂号、电子病历、医保等等都是云计算与医疗领域结合的产物，医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。
本申请实施例的方案包括模型搜索阶段和分割阶段。图1是根据一示例性实施例示出的一种模型搜索及图像分割框架图。如图1所示，在模型搜索阶段，模型搜索设备110通过预先设置好的训练样本集在预设的编织深度聚合网络中进行神经网络结构搜索，搜索出准确度较高的图像分割模型，在图像分割阶段，图像分割设备120根据搜索出的图像分割模型以及输入的目标图像，直接得到目标图像中存在的指定区域的预测结果，并根据该指定区域的预测结果从该目标图像中分割出指定区域图像。
其中，上述指定区域，是指图像中存在指定对象的区域，该指定对象是模型搜索的目标对象，比如，指定对象可以是人、物体、器官、病灶等等。本申请各个实施例对于指定对象的类型不做限定。相应的，指定区域图像是指一个图像中，存在指定对象的区域所对应的那部分图像。
其中，上述模型搜索设备110和图像分割设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。
可选的，上述模型搜索设备110和图像分割设备120可以是同一个设备，或者，模型搜索设备110和图像分割设备120也可以是不同的设备。并且，当模型搜索设备110和图像分割设备120是不同的设备时，模型搜索设备110和图像分割设备120可以是同一类型的设备，比如模型搜索设备110和图像分割设备120可以都是服务器；或者，模型搜索设备110和图像分割设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请各个实施例所示的方案中，上述模型搜索设备通过在编织深度聚合网络中进行神经网络结构搜索，自动得到训练好的图像分割模型，用户可以将目标图像输入该搜索出的的图像分割模型，输出对应该目标图像的分割结果图像。上述方案包括且不限于以下两个应用场景：
1、面向专业领域提供图像分割服务。
以上述专业领域是医疗领域为例，上述图像分割设备120可以是网络侧的服务器，该服务器向医护人员使用的终端开放图像分割服务接口。上述训练模型设备110，通过医疗图像训练集，在编织深度聚合网络中进行神经网络结构搜索，得到图像分割模型后，将该图像分割模型部署在服务器中；医护人员在分析医疗图像时，通过终端将医疗图像上传至服务器，由服务器通过图像分割模型对该医疗图像进行图像分割，并将图像分割的结果(可选包括对图像分割结果的后续处理结果)反馈给终端，以辅助医护人员进行诊断。
在另一种可能的实现方案中，上述图像分割模型直接部署在医护人员的终端中，医护人员在分析医疗图像时，终端在本地直接调用图像分割模型。
2、面向个人提供图像分割服务。
比如，以上述图像分割服务是人脸图像分割服务为例，在一种示例性的方案中，图像分割设备120是用户使用的终端，该终端中安装了具有人脸图像处理功能，比如实现瘦脸、美颜或者AI换脸等脸部特效的应用程序；上述模型搜索设备110，通过人脸图像训练集，在编织深度聚合网络中进行神经网络结构搜索，得到图像分割模型之后，将该图像分割模型部署到终端120中，该终端中的应用程序中，用户可以实时采集自己或者他人的脸部图像，并通过该应用程序调用图像分割模型对人脸图像中的人脸区域进行分割，以便该应用程序对该脸部图像进行脸部特效处理。
在另一种可能的实现方案中，上述图像分割模型部署在服务器中，用户的终端中的应用程序对该脸部图像进行脸部特效处理时，将该脸部图像上传至服务器，由服务器调用图像分割模型对该脸部图像进行人脸分割。
在本申请各个实施例所示的方案中，上述图像分割模型在图像分割设备中独立部署，并对外提供图像分割服务的调用接口；或者，上述图像分割设备中部署有用于实现某一图像处理功能(比如对病例进行AI诊断的功能，或者，对人脸图像进行AI换脸的功能)的完整模型，该图像分割模型实现为该完整模型中，用于实现图像分割的子模型。
请参考图2，其是根据一示例性实施例示出的一种图像分割方法的流程示意图。该方法可以由上述图1所示实施例中的图像分割设备执行。如图2所示，该图像分割方法可以包括如下步骤：
步骤21，获取目标图像。
步骤22，通过图像分割模型对该目标图像进行处理，得到该图像分割模型输出的指定区域预测结果；该图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；该第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个该单元网络之间共享一个特征图；该单元网络中包含第一操作元、第二操作元与第三操作元；该第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；该第二操作元用于将该第一特征图中的图像特征传递给第三特征图；该第三操作元用于将该第二特征图中的图像特征通过上采样操作传递给该第三特征图；该第一特征图与该第三特征图分辨率相同；该第二特征图的分辨率低于该第一特征图的分辨率。
其中，该第一操作元、第二操作元和第三操作元是由预设的多种操作中的全部或者部分构成的操作元，各个操作元通过神经网络结构搜索确定各个操作元内部的操作结构。在一种示例性的方案中，这里的操作结构是指操作元内部包含的操作，以及包含的操作的组合方式。
在本申请实施例中，该神经网络结构搜索是指通过训练集对第一编织深度聚合网络进行训练和评估，确定该第一编织深度聚合网络中可用的操作元以及操作元的内部操作的过程。
步骤23，根据该指定区域预测结果，从该目标图像中分割出指定区域图像。
综上所述，本申请实施例所示的方案，对目标图像进行分割的图像分割模型是通过在编织深度聚合网络中进行神经网络结构搜索得到的模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
请参考图3，图3是根据一示例性实施例示出的一种图像分割模型搜索方法的流程示意图。该方法可以由上述图1所示实施例中的图像分割设备执行，该图像分割模型搜索方法可以是神经网络结构搜索方法。如图3所示，该神经网络结构搜索方法可以包括如下步骤：
步骤31，获取第一训练样本集，该第一训练样本集中包含第一样本图像，以及对应该第一样本图像中的指定区域图像。
步骤32，获取第一编织深度聚合网络，该第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个该单元网络之间共享一个特征图；该单元网络中包含第一操作元、第二操作元与第三操作元；该第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；该第二操作元用于将该第一特征图中的图像特征传递给第三特征图；该第三操作元用于将该第二特征图中的图像特征通过上采样操作传递给该第三特征图；该第一特征图与该第三特征图分辨率相同；该第二特征图的分辨率低于该第一特征图的分辨率。
步骤33，基于该第一训练样本集，在该第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型。
其中，该图像分割模型是用于从输入的目标图像中分割出指定区域图像的模型。
综上所述，本申请实施例所示的方案，在编织深度聚合网络中进行神经网络结构搜索得到的图像分割模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
请参考图4，图4是根据一示例性实施例示出的一种编织深度聚合网络的模型示意图。如图4所示，斜向上的箭头代表上采样单元，对应上述第三操作元；斜向下的箭头代表下采样单元，对应上述第一操作元；水平的箭头代表正常单元，对应上述第二操作元；六边形代表中间特征，对应上述特征图(Feature Map)，其中实线六边形402是三种单元的加权和，虚线六边形401为对该第一训练目标图像进行特征提取后输入网络的特征图，即该编织深度聚合网络是由若干个上采样单元，若干个下采样单元以及若干个正常单元与各个特征图之间的连接构建而成的；如果将如图4所示的一个上采样单元、一个下采样单元与一个正常单元看作一个单元网络403，则该编织深度聚合网络是由多个单元网络构成的，并且，每相邻两个单元网格之间共享一个特征图。
其中，从特征图之间的关系的角度来说，在上述编织深度聚合网络中，各个特征图按照深度(图中示出深度为5)和层数(图中示出为7层)排布，形成一个倒金字塔型的编织网络；在该倒金字塔型的编织网络中，对于一个特征图1来说：
当存在与特征图1相邻的特征图2，该特征图2的深度低于特征图1的深度，且该特征图2的层级高于特征图1的层级，则存在从特征图1向特征图2连接的上采样单元；
当存在与特征图1相邻的特征图3，该特征图3的深度与特征图1的深度相同，且该特征图3的层级高于特征图1的层级，则存在从特征图1向特征图3连接的正常单元；
当存在与特征图1相邻的特征图4，该特征图4的深度高于特征图1的深度，且该特征图4的层级高于特征图1的层级，则存在从特征图1向特征图4连接的下采样单元。
在神经网络结构搜索过程中，该编织深度聚合网络上层的输出被输入至损失函数404中，根据得出的该损失函数值，对该编织深度聚合网络的参数进行优化和评估。
目前的研究表明，视觉识别需要从低到高、从小到大、从粗粒度到细粒度的丰富特征表示，而计算和聚合这些特征表示可以提高网络对位置和内容的推断能力。如图4所示的编织深度聚合网络是具有U型骨干的编织结构网络，其中深度(D)和层数(L)分别代表了网络在垂直和水平方向上的尺度。在图4中，最外层由浅到深的下采样单元，以及最外层由深到浅和上采样单元，构成典型的编码器-解码器网络结构。
在传统的编码器-解码器网络中，同分辨率的特征图之间存在较大的语义间隔(gap)，尤其是在特定领域(比如医疗领域)中，这个语义间隔将会很大，导致编解码过程中损失太多的语义信息。
而在本申请图4所示的网络中，每相邻两个单元网格之间共享一个特征图，因此，编织深度聚合网络内部还包含多个特征图，且同一深度的多个特征图之间依次通过正常单元相连，这就在编解码网络的基础上，在编码器和解码器输出的同分辨率特征图之间，引入更多的特征图，并且随着深度的增加，引入的特征图也越多，从而能够弥补网络在下采样过程中的特征损失。
也就是说，上述的编织深度聚合网络结构引入了更多的中间特征，并进行多分支特征的融合，打破了特征融合的限制，确保最外层的编码路径和解码路径之间具有丰富的中间特性。基于上述编织深度聚合网络的网络结构，在对上述编织深度聚合网络进行神经网络结构搜索时，能够通过逐步的特征聚合学习到更多的中间特征，以尽可能的弥补编码过程中的语义损失，从而搜索到模型架构合理且准确性高的图像分割模型。
以上述图4所示的编织深度聚合网络为例，请参考图5，其是根据一示例性实施例示出的一种模型搜索及图像分割框架示意图。如图5所示：
在模型搜索设备51中，根据训练样本集52，对编织深度聚合网络511进行神经网络结构搜索，该编织深度聚合网络可以是上述图4所示的编织深度聚合网络。在神经网络结构搜索过程中，通过该训练样本集对该编织深度聚合网络中的各个操作元进行优化，并对编织深度聚合网络511中的各个子网的性能进行评估，根据最终的优化以及评估结果对该编织深度聚合网络进行剪枝和操作结构确定，得到图像分割模型512。
上述神经网络结构搜索后得到的图像分割模型512模型部署在图像分割设备53中，用户将该待分割的目标图像531输入该图像分割模型512中，输出目标图像531对应的图像分割结果532。
在一种可能的实现方式中，对上述编织深度聚合网络进行神经网络结构搜索任务，包括通过机器学习和评估的方式从编织深度聚合网络中确定合适的子网的架构，以及确定的子网中各个操作元的操作构成。其中，上述各个操作元中的操作是搜索过程中，从预先设置好的候选操作空间中选择确定的。
其中，在编织深度聚合网络的结构已经确定的情况下，候选操作空间的规模越大，其中包含的候选操作的数量也越多，相应的子网构成情况也越多，而神经网络结构搜索的计算量也越大。为了降低神经网络结构搜索的计算量，本申请提出一种两步搜索的神经网络结构搜索方式。比如，在一种示例性的方案中，先基于一个规模较大的候选操作空间，对编织深度聚合网络进行粗略的神经网络结构搜索，根据搜索结果对该较大的候选操作空间进行裁剪，得到一个规模较小的候选操作空间，然后再基于该规模较小的候选操作空间，对编织深度聚合网络进行高精度的神经网络结构搜索。
请参考图6，图6是根据一示例性实施例示出的一种神经网络结构搜索及图像分割方法的流程示意图。该方法可以由模型搜索设备和图像分割设备执行，其中，该模型搜索设备和图像分割设备可以实现为单个计算机设备，也可以分属于不同的计算机设备。以模型搜索设备为服务器，图像分割设备为终端为例，如图6所示，该方法可以包括以下步骤：
步骤601，获取第二操作空间以及第二编织深度聚合网络；该第二编织深度聚合网络与第一编织深度聚合网络的网络结构相同，且该第二编织深度聚合网络与该第一编织深度聚合网络的规模不同；该第二操作空间中包含多种预设的操作；该第二操作空间中的一种或者多种操作的组合用于实现该第二编织深度聚合网络中的各个操作元的图像特征传递功能。
在一种可能的实现方式中，该第二操作空间的空间规模大于第一操作空间。即该第二操作空间是一个较大的操作空间，在该第二操作空间拥有较多可取的操作。
在本申请实施例中，开发人员可以在服务器中预先设置一个搜索空间作为第二操作空间，该搜索空间包含图像分割模型可能用到的图像操作。
在一种可能的实现方式中，该第二操作空间由多个候选操作空间组成。如表1所示，该第二搜索空间中包含三个候选操作空间，分别为下采样空间down-ops(O1)，上采样空间up-ops(O2)，正常操作空间normal-ops(O3)。O1包含的所有操作都是等价的下采样操作，即O1中的所有操作都能起到等价的下采样效果，O3中包含的操作都是等价的上采样操作，O2中包含的操作都能够将某一特征图的图像特征传递至同分辨率的特征图中。在一种示例性的方案中，上述三个候选操作空间中的特征如下述表1所示。
表1
Figure GDA0004264155370000171
在上述表1中，卷积运算操作卷积核的尺寸可以为3X3，池化操作卷积核的尺寸可以是2X2。
在一种可能的实现方式中，该第二编织深度聚合网络是根据多个操作元构建的如图4所示的编织深度聚合网络。且该第二编织深度聚合网络中各个特征图和操作元之间的连接关系与上述各个实施例中的第一编织深度聚合网络相同。
在一种可能的实现方式中，该第二编织深度聚合网络的网络规模小于该第一编织深度聚合网络的网络规模。
在本申请实施例中，该网络规模指的是网络的深度和层次，例如，该第二编织深度聚合网络可以是与该第一编织深度聚合网络层数相同、深度较小的网络；或者该第二编织深度聚合网络可以是与该第一编织深度聚合网络深度相同，层数较小的网络；或者改第二编织深度聚合网络深度和层次均小于该第一编织深度聚合网络的网络。
本申请实施例中，第一操作元中的下采样操作实现了自顶向下的特征融合；第二操作元中的聚合同分辨率特征的操作实现了水平的特征融合，第三操作元中的上采样操作实现了自顶向上的特征融合，换句话说，自顶向下、水平和自顶向上的特征融合被建模成第一操作元、第二操作元和第三操作元。
在一种示例性的方案中，第一操作元又称为上采样单元(Upsample cell)，该第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图。将特征图看作节点时，在该上采样单元中，具有两个输入节点与一个输出节点，一个输入节点(低分辨率节点)连接在更深层中，因此分辨率是输出节点的一半，另一个输入节点(正常节点)与输出同一分辨率，该低分辨率节点通过上采样操作增加分辨率，并与该正常节点混合操作后传递至该图像特征中，更深的层具有更高阶的语义特征，跨深度的特征融合可以提高网络对内容的推断。
在一种示例性的方案中，该第二操作元又称为正常单元(Normal cell)，在该正常单元中，两个输入节点都与该输出节点同分辨率，由于在同分辨率的编码特征图与解码特征图之间存在语义间隔，因此可以通过Normal cell，迭代地聚合同分辨率的特征，并且创造更丰富的中间特征表示。
在一种示例性的方案中，该第三操作元又称为下采样单元(Dowansample cell)，在该下采样单元中，具有两个输入节点与一个输出节点，一个输入节点(高分辨率节点)连接在更浅层中，因此分辨率是输出节点的两倍，另一个输入节点(正常节点)与输出同一分辨率，该高分辨率节点通过下采样操作降低分辨率，并与该正常节点混合操作后传递至该图像特征中，更浅层的高分辨率图像特征具有更精确的空间结构信息，可以提高对位置的推断。
在一种可能的实现方案中，上述第一操作元、第二操作元与第三操作元，可以实现为残差连接。
表2显示了每个操作元可能使用的候选操作空间。
表2
Figure GDA0004264155370000181
如上述表2所示，下采样单元可用的候选操作空间包括下采样空间和正常操作空间(也就是说，在神经网络结构搜索过程中，通过下采样空间和/或正常操作空间中的操作或操作的组合构成一个下采样单元)，正常单元可用的候选操作空间包括正常操作空间，上采样单元可用的候选操作空间包括正常操作空间和上采样空间。
步骤602，基于第三训练样本集，以及该第二操作空间，在该第二编织深度聚合网络中进行神经网络结构搜索，获取操作权重决策参数。
该操作权重决策参数包括第四参数、第五参数以及第六参数中的至少一项；该第四参数用于指示该第二编织深度聚合网络中的各个操作元对于网络性能提升的重要性；该第五参数用于指示第二初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；该第六参数用于指示该第二初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；该第二初始图像分割模型是基于该第二编织深度聚合网络中用于构建图像分割模型的操作元构建获得的。
在一种可能的实现方式中，该第三训练样本集包含第三样本图像，以及对应该第三样本图像中的指定区域图像，模型搜索设备基于该第三样本图像与对应该第三样本图像中的指定区域图像，在第二编织深度聚合网络中进行神经结构搜索，获得操作权重参数。
其中，上述操作权重参数也可以称为操作元的结构权重，结构权重越高，表示对应的操作元在编织深度聚合网络中的存在与否，对该编织深度聚合网络训练的准确性的影响也越高；反之，如果结构权重越低，表示对应的操作元在编织深度聚合网络中的存在与否，对该编织深度聚合网络训练的准确性的影响也越低。
在一种可能的实现方式中，第三训练样本集中包含第三样本图像的特征图。
另一种可能的实现方式中，模型搜索设备通过采样(STEM)单元对该第三样本图像进行卷积处理，得到该第三样本图像的特征图。
例如，可以在该神经网络搜索空间的输入端使用两个固定的STEM单元(3X3的固定卷积单元)，两个固定的STEM单元的通道数量分别是16和32，当该通道数为16的固定卷积单元对该第一训练目标图像进行处理时，步长为2，固定卷积单元的输出为16幅分辨率减半的输出图像，此时降低了需要处理图像的分辨率，减少了后续的计算量。
在一种可能的实现方式中，模型搜索设备基于第三训练样本集，以及该第二操作空间在该第二编织深度聚合网络中进行神经网络结构搜索，获取第四参数，根据第四参数对第二编织深度聚合网络进行更新，再基于第三训练样本集以及该第二操作空间在该更新后的第二编织深度聚合网络中进行神经网络结构搜索，获取第五参数和第六参数。
在一种可能的实现方式中，在神经网络结构搜索过程中，可以通过连续松弛的处理方式，将求该编织深度聚合网络的最佳连接方式的问题，转换为求该第二编织深度聚合网络进行图像分割时所产生的最小误差的问题。
本申请实施例中，服务器将该第二编织深度聚合网络作为一个超网，即一个大型的图像分割网络模型，根据该第三训练样本集，对该超网进行训练优化。当输入该第三训练样本集中的样本图像时，该超网输出的指定区域预测结果与该样本图像对应的指定区域被输入预先设置的第一损失函数中，当该第一损失函数值最小时，得出用于指示该第二编织深度聚合网络中的各个操作元对于网络性能提升的重要性的第四参数w。
在一种可能的实现方式中，基于该第四参数，确定该第二编织深度聚合网络中用于构建图像分割模型的操作元，根据该第二编织深度聚合网络中用于构建图像分割模型的操作元，构建第二初始图像分割模型。因此，上述确定第四参数w的过程也可以称为网络级搜索。
如图4所示的第二编织深度聚合网络中，每一个由实线六边形便是的中间特征包含自顶向下、水平和自顶向上的特征融合，即每一个实线六边形表示的中间特征都由第一操作元、第二操作元、第三操作元的输出构成，即每一个中间特征都包含了浅层的高分辨率特征与深层低分辨率特征以及同分辨率的图像传递的特征。
在一种可能的实现方式中，模型搜索设备通过连续松弛的处理方式，根据最后计算得出的最小误差，确定用于指示该第二初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性的第五参数。
上述第二编织深度聚合网络的某一中间特征是由三个操作元的输出的特征融合得到的，请参考图7，其示出了图6所示实施例涉及的操作元特征融合的示意图，该第二编织深度聚合网络的某一中间特征图可以由如下公式表示为三个元操作的加权和，该公式如下：
Figure GDA0004264155370000201
其中特征图700(即Xd,l)代表着在编织深度聚合网络中深度为d、层数为k的特征图，cell0(Xd,l,Xd-1,l-1,αdown)表示下采样单元701(即上述第一操作元)，该下采样单元的两个输入节点分别为Xd,l、Xd-1,l-1，αdown为该两个节点的输出在该下采样单元中所占的权重，同理cell1(Xd,l-4,Xd,l-2,αnormal)表示正常单元702(即第二操作元)，该正常操作元的两个输入节点分别为Xd,l-4、Xd,l-2，αnormal为该两个节点输出在该正常操作元中所占的权重，cell2(Xd ,l-2,Xd+1,l-1,αup)表示上采样单元703(即上述第三操作元)，该上采样单元的两个输入节点分别为Xd,l-2、Xd+1,l-1，αup为该两个节点输出在该上采样单元中所占的权重。
以p＝softmax(β)表示p为β的归一化指数值，其中β表示为该三个操作元的融合权重，即第五权重，表示各个特征融合分支的重要性，又称为网络参数或网络权重，其中，β∈RD×L×3，即根据D、L与操作元的不同，可以取不同的β值。
在一种可能的实现方式中，模型搜索设备通过连续松弛的处理方式，根据最后计算得出的最小误差确定第六参数。
该第六参数用于指示该第二初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；该第六参数是基于该预设的第三训练样本集，对该第二编织深度聚合网络进行搜索得到的。由于在此过程中该神经网络结构搜索最终得到的第六参数，用于指示该各个操作元中各操作所占权重，即该操作元内部的连接关系和运算操作可以根据梯度进行优化，因此又将其称为单元级搜索，在该单元级搜索中，搜索目标是组成该第二编织深度聚合网络的三种操作元。在一种可能的实现方式中，上述操作元被建模成有向无环图(Direct Acyclic Graph,DAG)，其中包含输入节点、中间节点和输出节点。请参考图8，其示出了图6所示实施例涉及的一种操作元结构示意图。如图8所示，节点801即Xd,l代表着深度为d、层数为l的特征图，节点802代表着操作元内部图像特征传递的融合节点，有向线段803代表着从节点Xd,l-4到内部融合节点3的图像特征传递操作，每个操作元都被建模成有向无环图(DAG)，该图具有N个节点{X0,X1,...XN},每个节点都代表着某个操作或者混合操作的输入或输出。假设该操作元为O，里面的每个对应的运算为o(.)，那么每条边E(i，j)代表从节点i到节点j的信息传输，即操作元中所有操作的加权和，如下述公式所示。
Figure GDA0004264155370000211
上述公式中，函数
Figure GDA0004264155370000212
表示节点i到节点j之间的混合运算，该运算是操作元内的所有的操作的加权和，其中/>
Figure GDA0004264155370000221
是o(xi)的权重系数，一个中间节点i的特征图被表示为与之间所有的节点之间的边的输出之和/>
Figure GDA0004264155370000222
在搜索结束之后，可以得到混合运算中各个运算相对重要程度的单位权重α，即上述第六参数，同时在每个混合操作中保留权重最大的操作作为最终的操作，且每个节点只保留两条边，最终的输出被表示为
Figure GDA0004264155370000223
在一种可能的实现方式中，在不同特征图之间链接的操作元可能具有不同的第六参数。即特征图间的相同类型的操作元中包含的操作的类型，与操作元中包含的操作所占的权重可能不同。
在本申请实施例中，神经网络结构搜索的目的是为了在构建的超网中找到图像分割效果最好的图像分割模型，对该超网进行神经网络结构搜索本质上是一个离散的数学模型，但在对单元级搜索和网络级搜索进行连续松弛，即将各个操作元内部的操作结构问题与该各个操作元之间的连接结构问题，转化为各个操作元互相连接的权重问题，最终的目标从找到最优的图像分割模型结构转变为了当图像分割效果最好时，该超网对应的权重参数。
因此，上述神经网络结构搜索的目的是，找到合适的第四参数、第五参数与第六参数，使得模型搜索结果尽可能的准确。即对单元级和网络级进行连续松弛操作后，超网便可以表示为f(w；α，β)，此时可以对该超网进行可微搜索，即预设训练损失函数Ltrain与验证损失函数Lval，此时搜索目标为寻找第六参数α和第五参数β，可以使得最小化Lval(w*；α*，β*)，即成为一个三级优化问题，整个问题可以被表示为如下公式所示：
Figure GDA0004264155370000224
Figure GDA0004264155370000225
其中，上述第六参数α为最上层的优化变量即单元层的优化变量，第五参数β为中间优化变量即网络层的优化变量，第四参数w为最底层的优化变量即结构的优化变量。先根据第三目标训练集，通过训练损失函数Ltrain，获取当该训练损失函数最小值时的w，再将该w代入验证损失函数中，优化第六参数α与第五参数β，使得Lval(w；α，β)最小。
通过上述方法，可以得出根据第三目标训练集优化得到的第四参数、第五参数、第六参数，即权重决策参数。
步骤603，根据该操作权重决策参数，获得空间裁减参数。
在一种可能的实现方式中，将该第四参数、该第五参数与该第六参数进行加权求和，获得该空间裁减参数。该空间裁减参数用于指示该第二操作空间的操作对网络性能提升的重要性。
比如，在一种示例性的方案中，上述空间裁减参数，可以表示为第二操作空间中的各项操作的一个权重值。该权重值越大，表示对应的操作在神经网络搜索过程中，对模型性能提升所起到的作用越大，也就越应该被保留下来。
步骤604，根据该空间裁减参数对该第二操作空间中的操作进行裁减，获得该第一操作空间。
该第一操作空间中包含多种预设的操作；该第一操作空间中的一种或者多种操作的组合用于实现该第一编织深度聚合网络中的各个操作元的图像特征传递功能。
在本申请实施例中，模型搜索设备先根据第三训练样本集，在该第二编织深度聚合网络中进行神经网络结构搜索，得到该空间裁减参数，再通过该空间裁减参数对该第二操作空间中的操作进行裁剪，获得一个较小的第一操作空间。即把整个搜索流程分为两步，首先建立一个较浅的编织网络，搜索一定的时期，得到该第一操作空间，根据该第一操作空间来确定第一操作元的可用操作、第二操作元的可用操作以及第三操作元的可用操作，换句话说，通过对较小的第二编织深度聚合网络先进行一次预搜索，筛选出操作空间中较好的操作，减小搜索的范围，提高了后续神经网络结构搜索的搜索效率。
步骤605，基于第一训练样本集，以及第一操作空间，在第一编织深度聚合网络中进行神经网络结构搜索，获取第一参数；该第一参数用于指示该第一编织深度聚合网络中的各个操作元对于网络性能提升的重要性。
在本申请实施例中，该第一训练样本集是与该第三训练样本集同类型的样本集，该第一操作空间是小于该第二操作空间的操作空间；该第一编织深度聚合网络的规模大于该第二编织深度聚合网络。
在该第一编织深度聚合网络中进行神经网络结构搜索的步骤与上述获取第四参数的步骤相同，此处不再赘述。且该第一参数与该第四参数是同类型的参数，都用于指示编织深度聚合网络中各个操作元对于网络提升性能的重要性。
在一种可能的实现方式中，获取该第一操作元、该第二操作元以及该第三操作元；基于该第一操作元、该第二操作元以及该第三操作元，以及该第一编织深度聚合网络中的特征图的深度和层次，构建该第一编织深度聚合网络。
即该第一编织深度聚合网络是该第一操作元、该第二操作元以及该第三操作元，根据特征图的深度和层次构建的。
在一种可能的实现方式中，模型搜索设备接收在配置设备中配置的，该第一编织深度聚合网络中的特征图的深度和层次。
该第一编织深度聚合网络中的特征图的深度和层次，可以是开发人员通过配置设备进行预先配置或者即时配置。
其中，上述第二编织深度聚合网络也可以按照上述方式进行构建。
也就是说，在本申请实施例中，开发人员开发好上述第一操作元、第二操作元和第三操作元之后，输入深度和层次的参数，模型搜索设备即可以自动构建上述第一编织深度聚合网络和第二编织深度聚合网络。
步骤606，基于该第一参数，确定该第一编织深度聚合网络中用于构建图像分割模型的操作元。
该第一参数用于指示第一编织深度聚合网络中各个操作元对于网络提升性能的重要性，根据该第一编织深度聚合网络中操作元的重要性，将构成该第一编织深度聚合网络中的部分操作元确定为用于构建图像分割模型的操作元。
比如，以第一参数表示为权重为例，模型搜索设备将权重值大于某个阈值的操作元确定为用于构建图像分割模型的操作元；或者，将按照权重值从大到小排列在前M位的操作元确定为用于构建图像分割模型的操作元，M可以是开发人员预先设置的数值；或者，将权重值大于某个阈值，且将按照权重值从大到小排列在前M位的操作元确定为用于构建图像分割模型的操作元。
步骤607，根据该第一编织深度聚合网络中用于构建图像分割模型的操作元，构建第一初始图像分割模型。
其中，该第一初始图像分割模型的构建过程与上述第二初始图像分割模型的构建过程类似，此处不再赘述。
步骤608，基于该第二训练样本集，在该第一初始图像分割模型中进行神经网络结构搜索，获取单元参数，该单元参数包括第二参数与第三参数中的至少一种；该第二参数用于指示该第一初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；该第三参数用于指示该第一初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性。
该第二训练样本集与该第一训练样本集和该第三训练样本集，是相同类型的样本集，在该第一初始图像分割模型中进行神经网络结构搜索获取单元参数，即第二参数与该第三参数，与上述获取该第五参数与该第六参数的方法一致，此处不再赘述。且该第二参数与该第五参数是同类型的参数，都用于指示图像分割模型中各个操作元传递的图像特征对网络性能提升的重要性；第三参数与该第六参数是同类型的参数，都用于指示图像分割模型中各个操作元各自对应的操作对于网络性能提升的重要性。
其中，上述第一训练样本集、第二训练样本集和第三训练样本集，可以是同一应用领域中，不同场景下的训练样本集，比如，以第一训练样本集、第二训练样本集和第三训练样本集都是医疗领域的样本集为例，上述第一训练样本集、第二训练样本集和第三训练样本集中可以同时包含医疗领域中各个不同的场景下的训练样本集，比如，上述训练样本集中同时包含口腔图像训练样本、胃镜图像训练样本、肠镜图像训练样本等等，以搜索得到适用于不同医疗场景的图像分割模型。
或者，上述第一训练样本集、第二训练样本集和第三训练样本集，也可以是某一应用领域中，指定场景下的训练样本集，比如，以第一训练样本集、第二训练样本集和第三训练样本集都是医疗领域的样本集为例，上述第一训练样本集、第二训练样本集和第三训练样本集中可以只包含医疗领域中某一个场景下的训练样本集，比如，上述训练样本集中只包含口腔图像训练样本、胃镜图像训练样本、或者肠镜图像训练样本，以搜索得到适用于特定场景的图像分割模型。
步骤609，根据该单元参数，获得该图像分割模型。
在一种可能的实现方式中，基于该第二参数，获取该第一初始图像分割模型中的各个操作元在该第一初始图像分割模型中传递图像特征的第一权重；基于该第三参数，确定该第一初始图像分割模型中的各个操作元内操作的第二权重；基于该第一权重与该第二权重，更新该第一初始图像分割模型，获得该图像分割模型。
在一种可能的实现方式中，模型搜索设备根据该第一权重以及该第二权重，从该第一初始图像分割模型中，确定出该图像分割模型。
该第一权重为各个操作元在该第一初始图像分割模型中传递图像特征的权重，通过该各个操作元在传递图像特征至某一特征图的权重占比，将图像特征传递至某一特征图的各个操作元中权重大于阈值的一个或几个操作元作为可用操作元，权重小于阈值的操作元被修剪舍去；同理，通过该各个操作元中各操作的权重占比，将操作元中的权重大于阈值的一个或几个操作作为可用操作，其余操作被修剪舍去，获得该图像分割模型。
步骤610，获取目标图像。
在本申请实施例中，上述图像分割模型被训练完成后，可以部署至图像分割设备中，在执行图像分割任务时，图像分割设备可以获取待分割的目标图像。
其中，上述目标图像可以是图像分割设备通过内置或外接的图像采集组件采集到的图像；或者，上述目标图像也可以是其他终端设备通过网络接口发送给图像分割设备的图像。
在一种可能的实现方式中，当上述训练样本集中包含的是医疗领域的图像样本时，该目标图像可以是医疗图像。
步骤611，通过图像分割模型对该目标图像进行处理，得到该图像分割模型输出的指定区域预测结果。
该图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；该第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个该单元网络之间共享一个特征图；该单元网络中包含第一操作元、第二操作元与第三操作元；该第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；该第二操作元用于将该第一特征图中的图像特征传递给第三特征图；该第三操作元用于将该第二特征图中的图像特征通过上采样操作传递给该第三特征图；该第一特征图与该第三特征图分辨率相同；该第二特征图的分辨率低于该第一特征图的分辨率。
步骤612，根据该指定区域预测结果，从该目标图像中分割出指定区域图像。
在本申请实施例中，首先通过完整的第一操作空间设置一个较浅的第二编织深度聚合网络，搜索一定的时期，得到空间裁减参数，并根据该空间裁减参数对完整的第二操作空间进行裁剪，得到一个较小的第一操作空间，再根据该更新后的第一操作空间构建一个较深的第一编织深度聚合网络，再对其进行搜索得到最终的图像分割模型，平衡了搜索空间与搜索效率，再通过该图像分割模型对目标图像进行图像分割，最终得到指定区域的图像。
在一种可能的实现方式中，可以通过如下伪代码，表示本申请实施例所示的两步策略(two-stage)搜索方法。
Algorithm 1two stage differentiable neural architecture search.//可微的两步神经网络结构搜索
Require：Hybrid datasetDmixup,which is divided into training setTandvalidationset V.Candidate operations setsO1,O2andO3.Learning rateηα,ηβandηω.
Search epochsKand warm-up epochkwarm_.Network scale parameters
D0,D1,L0,L1//定义混合数据库Dmixup，混合数据库Dmixup包含训练集T与验证集V，候选操作集O1、O2和O3，学习效率ηα,ηβ和ηω。搜索时间K，搜
索准备时间kwarm_，网络规模参数D0、D1、L0、L1
Ensure：parameters 1,which represents the final cell structure.//算法得出结果为，最终单元结构表现出的参数
1:whileS<2do
2:Initializeω,α,β，based onDs,Ls,O1,O2andO3.//根据Ds、Ls、O1、O2和
O3，初始化ω,α,β
3:Build super-networkf(ω；α，β)//建立超网
4:whilek≤Kdo
5:ifk≤kwarm_then
6:
Figure GDA0004264155370000271
//根据训练损失函数的梯度更新ωk
7:βk+1←βk//βk不变
8:αk+1←αk//αk不变
9:else
10:
Figure GDA0004264155370000272
//根据验证损失函数的梯度更新ωk
11:
Figure GDA0004264155370000273
//根据验证损失函数的梯度更新βk
12:
Figure GDA0004264155370000274
//根据验证损失函数的梯度更新αk13:end if
14:k←k+1//搜索时期加1
15:end while
16:s←s+1//进入第二步搜索流程
17:O1←halve(O1)//第一操作元减半得到第四操作元
18:O2←halve(O2)//第二操作元减半得到第五操作元
19:O3←halve(O3)//第三操作元减半得到第六操作元
20:end while
21:returnα←αkβk←β//得出最终的第二参数与第三参数
本申请实施例所示的方案，通过联合单元级和网络级搜索去自动地学习最优的深度编织聚合网络，在ISIC2018数据集上，本申请实施例通过深度编织聚合网络得出的图像分割模型，与现有的Unet及其常用几种变种的训练结果对比如表3所示。
表3
模型 DC DS Dice Jaccard(％) Params(M) FLOPs(G) CPU times(s)
Unet √ × 86.47 77.24 34.53 63.53 4.28
Unet++ √ √ 86.66 77.12 36.63 138.15 14.12
Att-unet √ × 87.22 78.04 34.89 66.63 4.42
MR-unet √ × 86.59 77.44 34.84 92.37 7.76
R2t-unet √ × 85.02 75.05 39.90 196.56 14.87
V1 √ √ 87.73 78.57 8.11 6.75 1.40
V3 × √ 86.93 77.39 0.41 2.17 0.78
表3中Model为用于训练的模型，其中Unet系列的模型为人工设置的U型结构模型(Handcraft)，而V1与V3则是以通过神经网络结构搜索方式得到的图像分割模型，DC(Deepconv，深度卷积)指该模型是否存在深度卷积，DS(Deep supervision，深度监督)指该模型是否存在深度监督，Dice为预测结果的准确性，Jaccard为预测结果的相似系数，Params代表可训练参数总量，FLOPs代表计算设备的需求计算量，CPU times代表该训练过程使用的中央处理器资源。由表3可见，通过本申请实施例所示的方案，能够以较小的训练数据集，搜索得到准确性高、计算量少且资源占用少的图像分割模型。
图9示出了图6所示实施例根据医疗目标图像的图像分割的结果图。如图9所示，基于ISIC2018(2018International Conference on Information Simulation andIntelligent Computing，2018信息模拟与智能计算国际会议)数据集上Unet系列的模型与在该编织深度聚合网络中通过神经网络结构搜索得到的V1模型和V3模型的图像分割结果。本申请实施例所提搜索方法搜索出的模型结构与Unet系列的方法相比，在模型性能的各个方面均取得了最好的性能，即本申请实施例可以自动地学习到最优的该编织聚合网络。该网络打破了人为设计的Unet系列的局限性包含丰富的逐步特征聚合，学会更好地从网络中提取语义和空间信息的全谱，性能更高，同时参数量更少，突破人为设计的局限性，设计出更多快速高效、高性能的通用的网络模型，并且未来更可以添加针对平台和计算量的约束使得搜索出来的模型是轻量且高效的。
综上所述，本申请实施例所示的方案，对目标图像进行分割的图像分割模型是通过在编织深度聚合网络中进行神经网络结构搜索得到的模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
以上述图6所示的方案应用于医疗领域的图像分割任务为例，请参考图10，其是根据一示例性实施例示出的一种模型搜索及图像分割框架示意图。如图10所示：
在模型搜索设备，即服务器中，首先从操作空间存储器1011中读取预设的第二操作空间1012，并在样本集存储器中读取预设的规模较小的第三训练样本集，根据该预设的第三训练样本集与该预设的第二操作空间1012，对预设的第二编织深度聚合网络1013进行神经网络结构搜索，获得空间裁减参数，根据该空间裁减参数与该第二操作空间，获得一个较小的第一操作空间1014。
然后，模型搜索设备再从样本集存储器中读取预设的规模较大的第一训练样本集，该第一训练样本集与该第三训练样本集是同类型的样本集，根据该第一训练样本集与该第二操作空间，在预设的第一编织深度聚合网络1015进行神经网络结构搜索，得到第一参数1016，该第一编织深度聚合网络的深度和层次大于该第二编织深度聚合网络，且该第一编织深度聚合网络与该第二编织深度聚合网络是由各个操作元构成的。模型搜索设备根据该第一参数1016选择该第一编织深度聚合网络中的可用操作元，得到第一初始图像分割网络1017。
模型搜索设备再从样本集存储器中读取预设的第二训练样本集，该第二训练样本集与该第一训练样本集、该第三训练样本集是同类型的样本集，在本申请实施例中，为医疗图像样本集。其中，第一训练样本集与第二训练样本集可以是同一个样本集，也可以是不同的样本集。模型搜索设备根据该样本集对该第一初始图像分割网络进行神经网络结构搜索，确定单元参数1018，该单元参数包括第二参数与第三参数，第二参数用于指示该第一初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；该第三参数用于指示该第一初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；根据该第二参数和第三参数，确定该第一初始图像分割模型中操作元的连接方式以及各个操作元的内部结构，以得到最终的图像分割模型1019，该图像分割模型1019部署至终端中成为图像分割模型1022。
在图像分割设备，即终端中，用户输入医疗目标图像1021，并将该医疗目标图像输入图像分割模型1022中，该图像分割模型1022对该医疗目标图像进行识别，得到预测图像区域，并根据该预测图像区域对该医疗目标图像进行图像分割，得到分割后的指定图像区域1023。
在图10中，以图像分割设备是终端为例进行介绍，在其他可能的实现方案中，图像分割设备也开始以实现为网络侧的服务器。
现有的Unet图像分割模型，其结构上通过U型的编码器解码器结构，并且在同分辨率的特征图中，使用残差连接的方式进行图像特征的传递。
由于图像分割模型需要从低到高、从小到大、从粗到细的丰富的特征表示，通过计算和聚合这些特征可以提高图像分割网络对位置和内容的推断能力，跨分辨率(cross-resolution)特征融合可以使解码路径上的特征得到更精确、更全面的图像特征中的边缘信息，且编码路径和解码路径中相同分辨率的特征图之间存在语义隔离。因此Unet直接使用残差连接进行图像特征的传递，将编码路径的图像特征与解码路径的图像特征进行融合缺乏中间过渡，且Unet中的Skip connect被施加了不必要的限制，只连接相同分辨率的feature map，难以得到较准确的图像特征信息，不利于训练。并且Unet网络的最佳深度取决于数据集的难度和大小，设计需要大量的实验和专家经验，显然，这种策略是非常低效的，且Unet的参数量和计算量比较高，高昂的计算和存储成本阻碍Unet模型在终端的部署。
而本申请实施例中提出的编织深度聚合网络，是一种具有编织结构的编码器解码器网络，并且可以通过可微分NAS进行神经网络结构搜索自动学习广义的、高性能的网络，突破了目前编码器解码器网络的局限性。具体而言，本申请实施例提出了一种残差连接方法，使编织网络中的每个中间特征图都包含自上而下、自下而上和水平方向的特征融合，通过联合单元级和网络级的可微搜索，将三种特征融合分支建模为三种可搜索单元，并通过可微分NAS进行神经网络结构搜索自动地学习各个特征融合分支的有效性。
因此，本申请实施例提出的编织深度聚合网络中，完整的跨层特征融合均衡了分辨率，规范了语义，它提供了丰富的中间特征的表达，使编织结构中的特征逐渐聚合和细化，并且将连续松弛法应用于各个特征融合分支，连续化离散的搜索空间，得到基于梯度优化的网络结构参数，有利于分析各个融合分支的有效性、图像特征的融合以及模型搜索的效率。并且操作元具有可变的内部结构，可以根据梯度优化自动确定最优深度与高效的搜索策略确保搜索的单元格是轻量级的，在保证搜索的效率，同时控制最优的编织结构的参数量和计算量。
并且在医疗图像的应用场景中，由于隐私和标注成本等问题，医疗图像数据集通常比较小，因此直接应用可微分NAS容易在搜索时过拟合，这意味这在搜索时会倾向于选择更多的无参数操作降低模型表现。而医疗数据集之间也存在比较大语义隔离，因此在一个数据集上搜索的模型在其他的医疗数据集上的泛化性难以保证，因此可以使用一个混合数据集用于神经网络结构搜索，利用可微分NAS搜索出高性能的泛化模型(跨数据集的图像分割模型)。
在神经网络结构搜索中，搜索空间直接决定搜索得到的网络的性能下限，因此一个好的搜索空间异常重要，图像分割的搜索空间不同于分类任务，对于医疗图像分割任务，由于输入图像的分辨率往往比较高，因此内存占用和计算量都比较大，为了使搜索过程更加高效，候选操作空间里面的运算必须更加的轻量级和无冗余，并且分割任务相对分类任务对各种运算的依赖性不同，例如分割任务更加关注感受野，因此膨胀卷积会取得更好的效果，因此，通过如表1所示精心设计的搜索空间，可以保证搜索的效率，同时控制最优的编织结构的参数量和计算量，提升搜索出的图像分割模型的准确性。
上述方法可以应用在基于云技术的医疗领域，例如将编织深度聚合网络部署在云端，根据终端输入的图像训练样本进行神经网络结构搜索，搜索出图像分割模型，并将搜索出的该图像分割模型部署在云端，对终端输入的目标图像进行图像分割，以实现与医疗云有关的各种应用功能。
图11是根据一示例性实施例示出的一种图像分割模型搜索装置的结构方框图。该图像分割装置可以实现由图3或图6所示实施例提供的方法中的全部或部分步骤，该图像分割装置包括：
第一样本集获取模块1101，用于获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；
第一网络获取模块1102，用于获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
图像分割模型获取模块1103，用于基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型；所述图像分割模型是用于从输入的目标图像中分割出指定区域图像的模型。
在一种可能的实现方式中，所述图像分割模型获取模块1103，包括：
第一空间获取单元，用于获取第一操作空间；所述第一操作空间中包含多种操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一编织深度聚合网络中的各个操作元的图像特征传递功能；
第一参数获取单元，用于基于所述第一训练样本集，以及所述第一操作空间，在所述第一编织深度聚合网络中进行神经网络结构搜索，获取第一参数；所述第一参数用于指示所述第一编织深度聚合网络中的各个操作元对于网络性能提升的重要性；
操作元确定单元，用于基于所述第一参数，确定所述第一编织深度聚合网络中用于构建图像分割模型的操作元；
模型构建单元，用于根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建所述图像分割模型。
在一种可能的实现方式中，所述模型构建单元，包括：
第一模型构建子单元，用于根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建第一初始图像分割模型；
第一搜索子单元，用于基于第二训练样本集，以及所述第一操作空间，在所述第一初始图像分割模型中进行神经网络结构搜索，获得所述图像分割模型；所述第二训练样本集中包含第二样本图像，以及所述第二样本图像中的指定区域图像。
在一种可能的实现方式中，所述第一搜索子单元，用于，
基于所述第二训练样本集，在所述第一初始图像分割模型中进行神经网络结构搜索，获取单元参数，所述单元参数包括第二参数与第三参数中的至少一种；所述第二参数用于指示所述第一初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第三参数用于指示所述第一初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；
根据所述单元参数，获得所述图像分割模型。
在一种可能的实现方式中，所述第一搜索子单元，还用于，
基于所述第二参数，获取所述第一初始图像分割模型中的各个操作元在所述第一初始图像分割模型中传递图像特征的第一权重；
基于所述第三参数，确定所述第一初始图像分割模型中的各个操作元内操作的第二权重；
基于所述第一权重与所述第二权重，更新所述第一初始图像分割模型，获得所述图像分割模型。
在一种可能的实现方式中，所述图像分割模型获取模块1103，还包括：
第二空间获取单元，用于获取第二操作空间以及第二编织深度聚合网络；所述第二编织深度聚合网络与所述第一编织深度聚合网络的网络结构相同，且所述第二编织深度聚合网络与所述第一编织深度聚合网络的规模不同；所述第二操作空间中包含多种操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二编织深度聚合网络中的各个操作元的图像特征传递功能；
裁剪参数获取单元，用于基于第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获得空间裁减参数；所述空间裁减参数用于指示所述第二操作空间的操作对于网络性能提升的重要性；
操作空间获取单元，用于根据所述空间裁减参数对所述第二操作空间中的操作进行裁减，获得所述第一操作空间。
在一种可能的实现方式中，所述裁剪参数获取单元，包括：
决策参数获取子单元，用于基于所述第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获取操作权重决策参数，所述操作权重决策参数包括第四参数、第五参数以及第六参数中的至少一项；所述第四参数用于指示所述第二编织深度聚合网络中的各个操作元对于网络性能提升的重要性；所述第五参数用于指示第二初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第六参数用于指示所述第二初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；所述第二初始图像分割模型是基于所述第二编织深度聚合网络中用于构建图像分割模型的操作元构建获得的；
裁剪参数获取子单元，用于根据所述操作权重决策参数，获得所述空间裁减参数。
在一种可能的实现方式中，所述第二编织深度聚合网络的网络规模小于所述第一编织深度聚合网络的网络规模。
在一种可能的实现方式中，所述第一网络构建模块，包括：
操作元获取单元，用于获取所述第一操作元、所述第二操作元以及所述第三操作元；
第一网络构建单元，用于基于所述第一操作元、所述第二操作元以及所述第三操作元，以及所述第一编织深度聚合网络中的特征图的深度和层次，构建所述第一编织深度聚合网络。
在一种可能的实现方式中，所述第一网络构建模块，还包括：
特征图接收单元，用于接收在配置设备中配置的，所述第一编织深度聚合网络中的特征图的深度和层次。
综上所述，本申请实施例所示的方案，对目标图像进行分割的图像分割模型是通过在编织深度聚合网络中进行神经网络结构搜索得到的模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
图12是根据一示例性实施例示出的一种图像分割装置的结构方框图。该图像分割装置可以实现由图2或图6所示实施例提供的方法中的全部或部分步骤。该图像分割装置包括：
目标图像获取模块1201，用于获取目标图像；
目标图像处理模块1202，用于通过图像分割模型对所述目标图像进行处理，得到所述图像分割模型输出的指定区域预测结果；所述图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
目标图像分割模块1203，用于根据所述指定区域预测结果，从所述目标图像中分割出指定区域图像。
在一种可能的实现方式中，所述目标图像是医疗图像。
综上所述，本申请实施例所示的方案，对目标图像进行分割的图像分割模型是通过在编织深度聚合网络中进行神经网络结构搜索得到的模型，该编织深度聚合网络通过上采样、下采样和同分辨率特征传递这三种功能的操作元与各个特征图之间的连接关系构成多个单元网络，且相邻单元网络之间的特征图共享，实现了在保留基本的解码器-编码器结构的同时引入更多的中间特征，也就是说，通过上述编织深度聚合网络搜索得到图像分割模型的过程中，能够在最外层的编码路径和解码路径之间学习到丰富的中间特征，从而能够自动搜索出模型架构合理且准确性高的图像分割模型，在保证图像分割模型构建效率的同时，提高了图像分割模型的准确性。
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型搜索设备和/或图像分割设备。所述计算机设备1300包括中央处理单元(CPU，Central Processing Unit)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1311连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理单元1301通过执行该一个或一个以上程序来实现图2、图3或图6所示的方法的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像分割模型搜索方法，其特征在于，所述方法包括：
获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；
获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型；所述图像分割模型是用于从输入的目标图像中分割出指定区域图像的模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型，包括：
获取第一操作空间；所述第一操作空间中包含多种操作；所述第一操作空间中的一种或者多种操作的组合用于实现所述第一编织深度聚合网络中的各个操作元的图像特征传递功能；
基于所述第一训练样本集，以及所述第一操作空间，在所述第一编织深度聚合网络中进行神经网络结构搜索，获取第一参数；所述第一参数用于指示所述第一编织深度聚合网络中的各个操作元对于网络性能提升的重要性；
基于所述第一参数，确定所述第一编织深度聚合网络中用于构建图像分割模型的操作元；
根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建所述图像分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建所述图像分割模型，包括：
根据所述第一编织深度聚合网络中用于构建图像分割模型的操作元，构建第一初始图像分割模型；
基于第二训练样本集，以及所述第一操作空间，在所述第一初始图像分割模型中进行神经网络结构搜索，获得所述图像分割模型；所述第二训练样本集中包含第二样本图像，以及所述第二样本图像中的指定区域图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第二训练样本集，在所述第一初始图像分割模型中进行神经网络结构搜索，获得所述图像分割模型，包括：
基于所述第二训练样本集，在所述第一初始图像分割模型中进行神经网络结构搜索，获取第一单元参数，所述第一单元参数包括第二参数与第三参数中的至少一种；所述第二参数用于指示所述第一初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第三参数用于指示所述第一初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；
根据所述单元参数，获得所述图像分割模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述单元参数，获得所述图像分割模型，包括：
基于所述第二参数，获取所述第一初始图像分割模型中的各个操作元在所述第一初始图像分割模型中传递图像特征的第一权重；
基于所述第三参数，确定所述第一初始图像分割模型中的各个操作元内操作的第二权重；
基于所述第一权重与所述第二权重，更新所述第一初始图像分割模型，获得所述图像分割模型。
6.根据权利要求2所述的方法，其特征在于，所述获取第一操作空间之前，还包括：
获取第二操作空间以及第二编织深度聚合网络；所述第二编织深度聚合网络与所述第一编织深度聚合网络的网络结构相同，且所述第二编织深度聚合网络与所述第一编织深度聚合网络的规模不同；所述第二操作空间中包含多种操作；所述第二操作空间中的一种或者多种操作的组合用于实现所述第二编织深度聚合网络中的各个操作元的图像特征传递功能；
基于第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获得空间裁减参数；所述空间裁减参数用于指示所述第二操作空间的操作对于网络性能提升的重要性；
根据所述空间裁减参数对所述第二操作空间中的操作进行裁减，获得所述第一操作空间。
7.根据权利要求6所述的方法，其特征在于，所述基于第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获得空间裁减参数，包括：
基于所述第三训练样本集，以及所述第二操作空间，在所述第二编织深度聚合网络中进行神经网络结构搜索，获取操作权重决策参数，所述操作权重决策参数包括第四参数、第五参数以及第六参数中的至少一项；所述第四参数用于指示所述第二编织深度聚合网络中的各个操作元对于网络性能提升的重要性；所述第五参数用于指示第二初始图像分割模型中的各个操作元传递的图像特征对于网络性能提升的重要性；所述第六参数用于指示所述第二初始图像分割模型中的各个操作元各自对应的操作对于网络性能提升的重要性；所述第二初始图像分割模型是基于所述第二编织深度聚合网络中用于构建图像分割模型的操作元构建获得的；
根据所述操作权重决策参数，获得所述空间裁减参数。
8.根据权利要求6所述的方法，其特征在于，所述第二编织深度聚合网络的网络规模小于所述第一编织深度聚合网络的网络规模。
9.根据权利要求1所述的方法，其特征在于，所述获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元之前，还包括：
获取所述第一操作元、所述第二操作元以及所述第三操作元；
基于所述第一操作元、所述第二操作元以及所述第三操作元，以及所述第一编织深度聚合网络中的特征图的深度和层次，构建所述第一编织深度聚合网络。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一操作元、所述第二操作元以及所述第三操作元，以及所述第一编织深度聚合网络中的特征图的深度和层次，构建所述第一编织深度聚合网络之前，还包括：
接收在配置设备中配置的，所述第一编织深度聚合网络中的特征图的深度和层次。
11.一种图像分割方法，其特征在于，所述方法包括：
获取目标图像；
通过图像分割模型对所述目标图像进行处理，得到所述图像分割模型输出的指定区域预测结果；所述图像分割模型是通过在第一编织深度聚合网络中进行神经网络结构搜索得到的；所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
根据所述指定区域预测结果，从所述目标图像中分割出指定区域图像。
12.根据权利要求11所述的方法，其特征在于，所述目标图像是医疗图像。
13.一种图像分割模型搜索装置，其特征在于，所述装置包括：
第一样本集获取模块，用于获取第一训练样本集，所述第一训练样本集中包含第一样本图像，以及所述第一样本图像中的指定区域图像；
第一网络获取模块，用于获取第一编织深度聚合网络，所述第一编织深度聚合网络包括由连接特征图的各个操作元构成的多个单元网络；相邻两个所述单元网络之间共享一个特征图；所述单元网络中包含第一操作元、第二操作元与第三操作元；所述第一操作元用于将第一特征图中的图像特征通过下采样操作传递给第二特征图；所述第二操作元用于将所述第一特征图中的图像特征传递给第三特征图；所述第三操作元用于将所述第二特征图中的图像特征通过上采样操作传递给所述第三特征图；所述第一特征图与所述第三特征图分辨率相同；所述第二特征图的分辨率低于所述第一特征图的分辨率；
图像分割模型获取模块，用于基于所述第一训练样本集，在所述第一编织深度聚合网络中进行神经网络结构搜索，获得图像分割模型。
14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一所述的图像分割模型搜索方法；或者，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求11或12所述的图像分割方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的图像分割模型搜索方法；或者，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求11或12所述的图像分割方法。
CN202010808699.XA 2020-08-12 2020-08-12 图像分割模型搜索方法、装置、计算机设备及存储介质 Active CN111754532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010808699.XA CN111754532B (zh) 2020-08-12 2020-08-12 图像分割模型搜索方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010808699.XA CN111754532B (zh) 2020-08-12 2020-08-12 图像分割模型搜索方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111754532A CN111754532A (zh) 2020-10-09
CN111754532B true CN111754532B (zh) 2023-07-11

Family

ID=72713222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010808699.XA Active CN111754532B (zh) 2020-08-12 2020-08-12 图像分割模型搜索方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111754532B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177567B (zh) * 2020-11-11 2021-09-17 苏州知云创宇信息科技有限公司 一种基于云计算服务的图像数据处理方法及系统
CN112950584B (zh) * 2021-03-01 2022-07-29 哈尔滨工程大学 一种基于深度学习的涂层表面缺陷识别方法
CN113065413A (zh) * 2021-03-12 2021-07-02 国网河北省电力有限公司 基于神经网络搜索的场景文字识别方法及装置
CN113116305B (zh) * 2021-04-20 2022-10-28 深圳大学 鼻咽内镜图像的处理方法、装置、电子设备及存储介质
CN113569822B (zh) * 2021-09-24 2021-12-21 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN114926698B (zh) * 2022-07-19 2022-10-14 深圳市南方硅谷半导体股份有限公司 基于演化博弈论的神经网络架构搜索的图像分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136623A1 (en) * 2018-01-10 2019-07-18 Nokia Technologies Oy Apparatus and method for semantic segmentation with convolutional neural network
CN110175671A (zh) * 2019-04-28 2019-08-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
WO2019200740A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN111382868A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 神经网络结构搜索方法和神经网络结构搜索装置
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783639B2 (en) * 2016-10-19 2020-09-22 University Of Iowa Research Foundation System and method for N-dimensional image segmentation using convolutional neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
WO2019136623A1 (en) * 2018-01-10 2019-07-18 Nokia Technologies Oy Apparatus and method for semantic segmentation with convolutional neural network
WO2019200740A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN110175671A (zh) * 2019-04-28 2019-08-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质
CN111382868A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 神经网络结构搜索方法和神经网络结构搜索装置

Also Published As

Publication number Publication date
CN111754532A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111754532B (zh) 图像分割模型搜索方法、装置、计算机设备及存储介质
CN111553480B (zh) 图像数据处理方法、装置、计算机可读介质及电子设备
CN111199550B (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
CN111260653B (zh) 一种图像分割方法、装置、存储介质和电子设备
CN109447976B (zh) 一种基于人工智能的医学图像分割方法及系统
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
CN112017198A (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN106383891A (zh) 一种基于深度哈希的医学图像分布式检索方法
CN110889450B (zh) 超参数调优、模型构建方法和装置
CN110659723A (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN113177616B (zh) 图像分类方法、装置、设备及存储介质
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN106355210B (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN113763385A (zh) 视频目标分割方法、装置、设备及介质
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN113449671A (zh) 一种多尺度多特征融合的行人重识别方法及装置
CN113380360B (zh) 一种基于多模态病历图的相似病历检索方法及系统
CN114358250A (zh) 数据处理方法、装置、计算机设备、介质及程序产品
CN113516142A (zh) 文本图像匹配方法、装置、设备及存储介质
CN108154165A (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN111191059A (zh) 图像处理方法、装置、计算机存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030752

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant