CN112232346A - 语义分割模型训练方法及装置、图像语义分割方法及装置 - Google Patents

语义分割模型训练方法及装置、图像语义分割方法及装置 Download PDF

Info

Publication number
CN112232346A
CN112232346A CN202010912041.3A CN202010912041A CN112232346A CN 112232346 A CN112232346 A CN 112232346A CN 202010912041 A CN202010912041 A CN 202010912041A CN 112232346 A CN112232346 A CN 112232346A
Authority
CN
China
Prior art keywords
information
segmentation
image
semantic segmentation
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010912041.3A
Other languages
English (en)
Other versions
CN112232346B (zh
Inventor
赵姗
王氚
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Chengdu Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kuangshi Jinzhi Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Chengdu Kuangshi Jinzhi Technology Co ltd
Priority to CN202010912041.3A priority Critical patent/CN112232346B/zh
Publication of CN112232346A publication Critical patent/CN112232346A/zh
Priority to PCT/CN2021/085721 priority patent/WO2022048151A1/zh
Application granted granted Critical
Publication of CN112232346B publication Critical patent/CN112232346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质，其中语义分割模型训练方法包括：获取训练集，训练集包括图像以及对应的标注信息；将图像进行特征提取，得到图像的特征数据；基于特征数据，得到第一分割框信息以及第一语义分割信息；基于特征数据、第一分割框信息以及第一语义分割信息，得到图像的第二分割框信息以及第二语义分割信息；基于第二分割框信息与标注信息、和/或基于第二语义分割信息与标注信息，确定损失值；基于损失值，调整语义分割模型的参数。语义分割模型训练方法能够方便获取训练数据，从而通过大量的、高质量的数据能够提高训练效果。

Description

语义分割模型训练方法及装置、图像语义分割方法及装置
技术领域
本公开一般地涉及图像处理领域，具体涉及一种语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质。
背景技术
在图像处理领域中，在一些应用场景下，需要对图像中的某些图像进行目标识别、或需要对图像中存在的文本进行文本识别，或者需要对图像中的一些内容进行替换等。在很多情况下需要对图像中的一些目标内容进行语义分割，图像的语义分割是对图像在像素级别上的分类，通过语义分割模型将图像中的属于同类的目标内容分为一类，例如图像中的存在一车辆，判断属于该车辆的像素并将全部属于该车辆的像素分割出来，确定该车辆在像素级别的边界分割框。目标内容可以是特定的人物、物体或文字等，将目标内容在图像确定像素级别的边界并进行分割。
而目前语义分割的准确性差，尤其在自然场景图像中，训练数据少、训练成本高，训练出的语义分割模型准确率低。
发明内容
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种语义分割模型训练方法，其中，所述方法包括：获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；将所述图像进行特征提取，得到所述图像的特征数据；基于所述特征数据，得到第一分割框信息以及第一语义分割信息；基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；基于所述损失值，调整所述语义分割模型的参数。
在一实施例中，所述语义分割模型包括：分割框解码单元以及语义解码单元；所述基于所述特征数据，得到第一分割框信息以及第一语义分割信息，包括：基于所述特征数据，通过所述分割框解码单元进行解码，得到所述第一分割框信息；基于所述特征数据，通过所述语义解码单元进行解码，得到所述第一语义分割信息。
在一实施例中，所述基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息，包括：基于所述特征数据以及所述第一语义分割信息，通过所述分割框解码单元进行解码，得到所述第二分割框信息；基于所述特征数据以及所述第一分割框信息，通过所述语义解码单元进行解码，得到所述第二语义分割信息。
在一实施例中，所述语义分割模型还包括：编码单元；所述将图像进行特征提取，得到所述图像的特征数据，包括：基于所述图像，通过所述编码单元进行编码，得到所述图像的特征数据。
在一实施例中，所述损失值包括第一损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：若所述图像对应的标注信息仅包括所述分割框标注，则基于所述分割框标注以及所述第二分割框信息，确定所述第一损失值；若所述图像对应的标注信息仅包括所述语义分割标注，则基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值；若所述图像对应的标注信息包括所述分割框标注和所述语义分割标注，则基于所述分割框标注以及所述第二分割框信息、且基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值。
在一实施例中，所述损失值包括第二损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：若所述图像对应的标注信息包括所述分割框标注，则基于所述第二语义分割信息以及所述分割框标注，确定所述第二损失值；若所述图像对应的标注信息不包括所述分割框标注，则基于所述第二语义分割信息以及所述第二分割框信息，确定所述第二损失值。
在一实施例中，所述损失值包括第三损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：基于条件随机场，确定所述第三损失值。
本公开的第二方面提供一种图像语义分割方法，其中，所述方法包括：获取图像；将所述图像进行特征提取，得到所述图像的特征数据；基于所述特征数据，得到第一分割框信息；基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
在一实施例中，所述方法应用于语义分割模型，所述语义分割模型包括：分割框解码单元以及语义解码单元；通过所述分割框解码单元，基于所述特征数据，得到第一分割框信息；通过所述语义解码单元，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
在一实施例中，所述语义分割模型还包括：编码单元；通过所述编码单元，将所述图像进行特征提取，得到所述图像的特征数据。
在一实施例中，所述方法还包括：通过所述语义解码单元，基于所述特征数据，得到第一语义分割信息；通过所述分割框解码单元，基于所述特征数据以及所述第一语义分割信息，得到所述图像的第二分割框信息。
本公开的第三方面提供一种语义分割模型训练装置，其中，所述装置包括：第一获取模块，用于获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；第一特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；第一语义模块，用于基于所述特征数据，得到第一分割框信息以及第一语义分割信息；第一语义模块还用于，基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；损失确定模块，用于基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；调整模块，用于基于所述损失值，调整所述语义分割模型的参数。
本公开的第四方面提供一种图像语义分割装置，其中，所述装置包括：第二获取模块，用于获取图像；第二特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；第二语义模块，用于基于所述特征数据，得到第一分割框信息；所述第二语义模块还用于，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
本公开的第五方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行如第一方面的语义分割模型训练方法或如第二方面的图像语义分割方法。
本公开的第六方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的语义分割模型训练方法或如第二方面的图像语义分割方法。
本公开提供的语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质，本公开实施例用于训练语义分割模型的训练集中，图像标注可以仅包括分割框标注、或仅包括语义分割标注，也可以包括两者，从而方便的扩充训练数据，降低了训练成本，并且通过确定图像的分割框信息和语义分割信息，并基于两者得到最终的语义分割结果，充分利用了图像中的信息，分割框和语义分割的识别结果相互促进，从而保证了图像语义分割结果的准确性。
附图说明
通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示出了根据本公开一实施例语义分割模型训练方法的流程示意图；
图2A、图2B、图2C示出了对一个图像提取的分割框信息和语义分割信息示意图；
图3示出了根据本公开一实施例的语义分割模型结构示意图；
图4示出了根据本公开一实施例的语义分割模型的数据流程示意图；
图5示出了根据本公开一实施例图像语义分割方法的流程示意图；
图6示出了根据本公开一实施例的语义分割模型训练装置示意图。
图7示出了根据本公开一实施例的图像语义分割装置示意图。
图8是本公开实施例提供的一种电子设备示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
目前用于语义分割模型的训练数据少、训练成本高，导致训练出的语义分割模型准确率低，例如，在对图像中的文本进行语义分割的场景中，在一些相关技术中，图像中的文本包含不同的颜色，字体，形状以及大小。早期基于MSER(Maximally Stable ExtremalRegions，最大稳定极值区域)和SWT(stroke width transform，笔画宽度变换)的图像处理方法，仅通过图像中的连接区域等先验信息检测文本，但因为缺乏基于学习的机制，其性能远远不能应用于自然场景图像，分割准确率很低。在另一些相关技术中，基于深度学习的方法，需要提供大量的、并且类型丰富的训练数据，由于真实场景图片的标记成本很高，现有的高质量真实场景的文本分割数据非常有限，导致模型实际语义分割的准确率低下。若使用合成数据，真实数据与合成数据之间仍存在无法通过算法完全跨越的差距；若采用人工标注，则成本很高。
为了解决上述问题，本公开实施例提供了一种语义分割模型训练方法10，如图1所示，可以包括步骤S11-步骤S16，下文分别对上述步骤进行详细说明：
步骤S11，获取训练集，其中，训练集包括多个图像、以及图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注。
本公开实施例中，获取的训练集的图像可以是带有标注信息的照片、图片或视频帧等。标注信息可以仅包括分割框标注，或仅包括语义分割标注，也可以同时包括分割框标注和语义分割标注。由于训练集所需图像的标注信息的类型多样，因此很容易获取大量的、质量高的训练数据，从而保证了训练效果。尤其对于语义分割标注，人工标注的成本过高；模型标注的准确率不足，导致训练效果不佳；而通过合成图进行训练的情况下，训练出的模型对于真实场景的图像进行语义分割的准确率低，因此，本公开实施例中，通过具有语义分割标注的图像，以及具有分割框标注的图像均作为训练数据，避免了单一训练数据数量少、质量不足的缺陷。
本公开实施例中，分割框为目标的位置范围，一般以矩形框或四边形框示出；语义分割为对图像中的一类目标进行像素级别的分割。以文本分割为例，如图2A-图2C所示，图2A为一个真实场景的图像，其中包括文字内容；图2B中将文字内容的区域进行了文本框分割，即获取到的文本框信息；图2C中将文字的内容进行了像素级别的分割，即获取到的语义分割信息。
步骤S12，将图像进行特征提取，得到图像的特征数据。
将获取的图像进行特征提取，可以通过语义识别模型对图像进行卷积等处理，从而提取到图像中的特征信息。在一实施例中，语义识别模型可以包括编码单元，通过编码单元对图像进行特征提取，得到特征数据。其中，编码单元可以包括一个或多个卷积层，对图像进行卷积(Convolution)处理，同时还可以对图像进行池化(Pooling)处理等。
步骤S13，基于特征数据，得到第一分割框信息以及第一语义分割信息。
对图像进行特征提取后，可以基于特征数据通过不同算法或通过不同的的单元独立计算，分别得到第一分割框信息和第一语义分割信息。在相关技术中，如果需要确定图像中的目标位置，往往仅获取分割框；如果需要进行语义分割，则往往直接获取语义分割信息。本公开实施例中，则同时获取上述两个信息，从而提高了图像的利用率，充分利用图像中的信息。
步骤S14，基于特征数据、第一分割框信息以及第一语义分割信息，得到图像的第二分割框信息以及第二语义分割信息。
在初步得到第一分割框信息以及第一语义分割信息后，并不作为图像语义分割的最终输出，而是利用这些信息，以及提取到的特征数据，再次输入，两个数据相互指导，从而利用更多的信息来进行语义分割，获取更为准确的第二分割框信息和第二语义分割信息。
在一实施例中，语义分割模型可以包括：分割框解码单元以及语义解码单元；在步骤S13中，基于特征数据，通过分割框解码单元进行解码，得到第一分割框信息；基于特征数据，通过语义解码单元进行解码，得到第一语义分割信息。本实施例中的语义分割模型可以具有两个独立的单元，分割框解码单元和语义解码单元均可以对特征数据进行上采样、卷积等操作，并且分别输出图像的第一分割框信息和第一语义分割信息。通过两个独立的单元分别获取不同的信息，可以在充分利用图像信息的情况下，相比于通过一个网络获取两个信息，能够降低模型的复杂程度和模型的数据量，从而也能降低计算成本，并且能够输出结果的准确性。
在一实施例中，步骤S14可以包括：基于特征数据以及第一语义分割信息，通过分割框解码单元进行解码，得到第二分割框信息；基于特征数据以及第一分割框信息，通过语义解码单元进行解码，得到第二语义分割信息。本实施例中，将语义解码单元输出的第一语义分割信息、以及特征数据作为输入，输入到分割框解码单元，输出第二分割框信息；将分割框解码单元输出的第一分割框信息、以及特征数据作为输入，输入到语义解码单元，输出第二语义分割信息。两个单元的输出均作为另一个单元的输入，实现相互指导，每个单元均能获取更多的信息。同时，在训练过程中，可以基于图像的任一标注信息类型，均可以对两个单元进行优化。
在上述实施例中，为了单元输入的归一化，在步骤S13中，可以向分割框解码单元输入特征数据、以及0值的语义分割信息；向语义解码单元输入特征数据、以及0值的分割框信息。从而保证每个单元在步骤S13和步骤S14中的输入信息的归一化。
步骤S15，基于第二分割框信息与标注信息、和/或基于第二语义分割信息与标注信息，确定损失值。
本公开实施例中，标注信息具有多种情况，可以根据当前输入的图像对应的标注信息的类型，选择相对应的输出，并确定损失值。由于采用了分割框信息和语义分割信息相互指导的方式进行训练，因此，任一类标注信息，均可以确定损失值，并可以相应的对语义分割模型进行优化。
步骤S16，基于损失值，调整语义分割模型的参数。
根据损失值，调整语义分割模型的参数，通过多轮次的训练，使得损失值逐渐变小，当损失值小于一阈值时，停止语义分割模型的训练。
通过上述实施例的语义分割模型训练方法10，能够通过多种标注类型的图像作为训练数据，任一类型的标注信息均根据输出确定损失值，从而对模型的参数进行优化调整，从而方便的扩充训练数据的数量，降低了训练成本，通过大量的并且高质量的训练数据对模型进行训练，保证了训练效果，使得完成训练的语义分割模型进行语义分割的准确率高。
以图像中的文本分割为例，本公开实施例的语义分割模型的结构以及输入和输出的数据可以如图3所示。语义分割模型M可以是神经网络模型，以单个图像I作为输入，图像可以是RGB图像，也可以是灰度图。以像素级文本分割的概率图，即语义分割信息OT、以及多边形的文本框分割概率图，即分割框信息OP为最后的输出。语义分割模型M可以包含一个共享的编码单元E，以及两个单独的解码单元，语义解码单元DT和分割框解码单元DP。该编码单元E提取输入图像的特征分别送到两个解码单元中。两个解码单元的输出OT和OP同样会作为另一个分支任务的输入，即语义解码单元DT的输出作为分割框解码单元DP的输入、分割框解码单元DP的输出作为语义解码单元DT的输入，使双重任务相互指导。
在训练过程中，为了更好的表示数据的输入和输出，可以如图4所示，图4中的语义解码单元DT和分割框解码单元DP实际在语义分割模型M均为一个，图4为了表示训练过程，分别以两个进行表示。如图4所示，以0值以及编码单元E提取输入图像的特征数据EI，分别输入语义解码单元DT和分割框解码单元DP的输入，语义解码单元DT输出到第一语义分割信息OT、分割框解码单元DP输出第一分割框信息OP。之后，以第一语义分割信息OT以及特征数据EI作为分割框解码单元DP的输入，得到第二分割框信息O’P；以第一分割框信息OP以及特征数据EI作为语义解码单元DT的输入，得到第二语义分割信息O’T。根据标签类型，采用对应的输出确定损失值，由于每个输出，均通过两个单元进行输出，因此，任一标签类型的训练数据均可以调整语义分割模型的参数。
上述任一实施例中的语义分割模型中的编码单元的结构，可以与语义解码单元和分割框解码单元对应设置，例如：编码单元的结构可以如表1所示，语义解码单元和分割框解码单元的结构可以如表2所示。
表1：
Figure BDA0002663662140000081
Figure BDA0002663662140000091
表2：
层 类型 核 步长 通道数
1 上采样 2 / 512
2 卷积 3 1 256
3 卷积 3 1 256
4 上采样 2 / 256
5 卷积 3 1 128
6 卷积 3 1 128
7 上采样 2 / 128
8 卷积 3 1 64
9 卷积 3 1 64
10 上采样 2 / 64
11 卷积 3 1 64
12 卷积 3 1 64
需要说明的是，上述语义分割模型的结构，即语义分割模型的超参数，仅是一个示例，实际可以根据不同的图片格式、精度需求等进行设置。
在一实施例中，损失值可以包括第一损失值，而步骤S15可以包括：若图像对应的标注信息仅包括分割框标注，则基于分割框标注以及第二分割框信息，确定第一损失值；若图像对应的标注信息仅包括语义分割标注，则基于语义分割标注以及第二语义分割信息，确定第一损失值；若图像对应的标注信息包括分割框标注和语义分割标注，则基于分割框标注以及第二分割框信息、且基于语义分割标注以及第二语义分割信息，确定第一损失值。
本实施例中，根据标注信息的类型，采用对应的输出确定第一损失值。第一损失值可以是“1-输出与标签之间的交叠率”，其中输出与标签之间的交叠率为：输出与标签的面积交集/输出与标签的面积并集。因此，输出的越准确，与标签越贴近，交叠率越高，该第一损失值也就越低。
由于训练集中的图像对应的标注信息可以仅包括分割框标注或仅包括语义分割标注，在这两种情况下，第一损失值可以由相应的输出，即第二分割框信息或第二语义分割信息进行计算。而，如果输入的图像对应有分割框标注和语义分割标注，则，可以同时根据第二分割框信息、第二语义分割信息，分别和对应的分割框标注、语义分割标注计算得到值，两值相加作为第一损失值。
在一实施例中，损失值可以包括第二损失值；步骤S15可以包括：若图像对应的标注信息包括分割框标注，则基于第二语义分割信息以及分割框标注，确定第二损失值；若图像对应的标注信息不包括分割框标注，则基于第二语义分割信息以及第二分割框信息，确定第二损失值。
本实施例中，第二损失值可以是代表两个单元的输出之间的关系，在图像中，同一内容的语义分割的范围应当在分割框的范围内。例如，第二损失值可以是第二语义分割信息超出分割框标注的面积。基于此，可以确定第二损失值。在图像对应的标注信息包括分割框标注的情况下，即包括图像对应的标注信息仅包括分割框标注、以及图像对应的标注信息包括分割框标注和语义分割标注这两种情况，可以根据第二语义分割信息与分割框标注确定第二损失值。在另一情况下，即图像对应的标注信息不包括分割框标注的情况，则可以根据分割框解码单元输出的第二分割框信息与第二语义分割信息的关系确定第二损失值，在理想识别结果情况下，第二语义分割信息不应超出第二分割框信息的范围，因此，根据此计算第二损失值，能够通过两个单元的相互监督，优化调整语义分割模型的参数。
在一实施例中，损失值还可以包括第三损失值，步骤S15还可以包括：基于条件随机场，确定第三损失值。通过引入条件随机场(Conditional Random Field，CRF)，能够在像素级的分割过程中，结合相邻像素的信息，进一步优化语义分割模型的分割效果。
结合上述实施例，损失值可以包括上述第一损失值、第二损失值和第三损失值，并可以根据实际需要确定相应系数，使得语义分割模型的训练更加高效、结果更加可靠。在一具体示例中，损失值可以由以下公式确定：
L＝L1+λ1·L2+λ2·L3
其中，L为损失值；L1为第一损失值；L2为第二损失值；λ1为第二损失值的系数，其中λ1≥1，在一些实施例中λ1＝10；L3为第三损失值，λ2为第三损失值的系数，其中λ2≤1，在一些实施例中λ2＝0.1。根据前文所述，第二损失值更能够代表分割框信息和语义分割信息的关系，基于此确定的第二损失值能够对模型的参数进行很好的优化，因此第二损失值的系数可以取值更高，提高训练效率和训练效果。同时，引入条件随机场确定的第三损失值与分割框解码单元和语义解码单元的关联相对较小，因此第三损失值的系数可以相对较小，从而避免训练过程中调整参数过分偏向于此。
基于同样的发明构思，本公开实施例还提供一种图像语义分割方法20，如图5所示，图像语义分割方法20包括：步骤S21-步骤S24。下文分别对上述步骤进行详细说明：
步骤S21，获取图像。
可以实时的获取图像，例如通过摄像头、照相设备等实时采集图像。也可以获取需要进行语义分割的图像，例如在一些情况下需要对图像进行目标识别或需要对图像中的目标进行图像处理，需要先将图像进行语义分割。也可以是批量的获取需要进行语义分割的图像，用于对图像进行标注或其他用途。其中，图像可以是照片，也可以是视频中的一帧或多帧。
步骤S22，将图像进行特征提取，得到图像的特征数据。
将获取的图像进行特征提取，可以通过语义识别模型对图像进行卷积等处理，从而提取到图像中的特征信息。在一实施例中，语义识别模型可以包括编码单元，通过编码单元对图像进行特征提取，得到特征数据。其中，编码单元可以包括一个或多个卷积层，对图像进行卷积(Convolution)处理，同时还可以对图像进行池化(Pooling)处理等。
步骤S23，基于特征数据，得到第一分割框信息。
步骤S24，基于特征数据以及第一分割框信息，得到图像的第二语义分割信息。
在基于特征数据，得到第一分割框信息后，再基于第一分割框信息与特征数据获取第二语义分割信息，从而更加充分的利用了图像的信息，并且通过不同算法或不同的单元独立计算分割框信息和语义分割信息，在第一分割框信息的基础上，结合特征数据得到语义分割信息，从而提高语义分割的准确程度。在相关技术中，如果需要确定图像中的目标位置，往往仅获取分割框；如果需要进行语义分割，则往往直接获取语义分割信息。本公开实施例中，则同时获取上述两个信息，从而提高了图像的利用率，充分利用图像中的信息，提高了语义分割的准确性。
在一实施例中，应用于图像语义分割方法20的语义分割模型可以包括：分割框解码单元以及语义解码单元；通过分割框解码单元执行步骤S23；通过语义解码单元执行步骤S24。
在一实施例中，图像语义分割方法20还可以包括：通过语义解码单元，基于特征数据，得到第一语义分割信息；通过分割框解码单元，基于特征数据以及第一语义分割信息，得到图像的第二分割框信息。
本实施例中的语义分割模型可以具有两个独立的单元，分割框解码单元和语义解码单元均可以对特征数据进行上采样、卷积等操作，并且分别输出图像的第一分割框信息和第一语义分割信息。通过两个独立的单元分别获取不同的信息，可以在充分利用图像信息的情况下，相比于通过一个网络获取两个信息，能够降低模型的复杂程度和模型的数据量，从而也能降低计算成本，并且能够输出结果的准确性。在初步得到第一分割框信息以及第一语义分割信息后，并不作为图像语义分割的最终输出，而是利用这些信息，以及提取到的特征数据，再次输入，从而利用更多的信息来进行语义分割，获取更为准确的第二分割框信息和第二语义分割信息。
在上述实施例中，应用于图像语义分割方法20的语义分割模型可以通过前述任一实施例中的语义分割模型训练方法10训练得到。从而能够提高语义分割模型的语义分割准确率，并且训练数据容易获取，降低训练成本。
基于同一发明构思，本公开还提供一种语义分割模型训练装置100，如图6所示，语义分割模型训练装置100包括：第一获取模块110，用于获取训练集，其中，训练集包括多个图像、以及图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；第一特征提取模块120，用于将图像进行特征提取，得到图像的特征数据；第一语义模块130，用于基于特征数据，得到第一分割框信息以及第一语义分割信息；第一语义模块130还用于，基于特征数据、第一分割框信息以及第一语义分割信息，得到图像的第二分割框信息以及第二语义分割信息；损失确定模块140，用于基于第二分割框信息与标注信息、和/或基于第二语义分割信息与标注信息，确定损失值；调整模块150，用于基于损失值，调整语义分割模型的参数。
在一实施例中，语义分割模型包括：分割框解码单元以及语义解码单元；第一语义模块130用于：基于特征数据，通过分割框解码单元进行解码，得到第一分割框信息；基于特征数据，通过语义解码单元进行解码，得到第一语义分割信息。
在一实施例中，第一语义模块130还用于：基于特征数据以及第一语义分割信息，通过分割框解码单元进行解码，得到第二分割框信息；基于特征数据以及第一分割框信息，通过语义解码单元进行解码，得到第二语义分割信息。
在一实施例中，语义分割模型还包括：编码单元；第一特征提取模块120用于：基于图像，通过编码单元进行编码，得到图像的特征数据。
在一实施例中，损失值包括第一损失值；损失确定模块140还用于：当图像对应的标注信息仅包括分割框标注时，基于分割框标注以及第二分割框信息，确定第一损失值；当图像对应的标注信息仅包括语义分割标注时，基于语义分割标注以及第二语义分割信息，确定第一损失值；当图像对应的标注信息包括分割框标注和语义分割标注时，基于分割框标注以及第二分割框信息、且基于语义分割标注以及第二语义分割信息，确定第一损失值。
在一实施例中，损失值包括第二损失值；损失确定模块140还用于：当图像对应的标注信息包括分割框标注时，基于第二语义分割信息以及分割框标注，确定第二损失值；当图像对应的标注信息不包括分割框标注时，基于第二语义分割信息以及第二分割框信息，确定第二损失值。
在一实施例中，损失值包括第三损失值；损失确定模块140还用于：基于条件随机场，确定第三损失值。
关于上述实施例中的语义分割模型训练装置100，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本公开还提供一种图像语义分割装置200，如图7所示，图像语义分割装置200包括：第二获取模块210，用于获取图像；第二特征提取模块220，用于将图像进行特征提取，得到图像的特征数据；第二语义模块230，用于基于特征数据，得到第一分割框信息；第二语义模块230还用于，基于特征数据以及第一分割框信息，得到图像的第二语义分割信息。
在一实施例中，图像语义分割装置200应用于语义分割模型，语义分割模型包括：分割框解码单元以及语义解码单元；通过分割框解码单元，基于特征数据，得到第一分割框信息；通过语义解码单元，基于特征数据以及第一分割框信息，得到图像的第二语义分割信息。
在一实施例中，语义分割模型还包括：编码单元；通过编码单元，将图像进行特征提取，得到图像的特征数据。
在一实施例中，第二语义模块230还用于：通过语义解码单元，基于特征数据，得到第一语义分割信息；通过分割框解码单元，基于特征数据以及第一语义分割信息，得到图像的第二分割框信息。
关于上述实施例中的图像语义分割装置200，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
如图8所示，本公开的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本公开实施例的语义分割模型训练方法或图像语义分割方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本公开实施例中涉及的语义分割模型训练方法或图像语义分割方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本公开实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本公开实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (15)

1.一种语义分割模型训练方法，其中，所述方法包括：
获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；
将所述图像进行特征提取，得到所述图像的特征数据；
基于所述特征数据，得到第一分割框信息以及第一语义分割信息；
基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；
基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；
基于所述损失值，调整所述语义分割模型的参数。
2.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型包括：分割框解码单元以及语义解码单元；
所述基于所述特征数据，得到第一分割框信息以及第一语义分割信息，包括：
基于所述特征数据，通过所述分割框解码单元进行解码，得到所述第一分割框信息；
基于所述特征数据，通过所述语义解码单元进行解码，得到所述第一语义分割信息。
3.根据权利要求2所述的语义分割模型训练方法，其中，所述基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息，包括：
基于所述特征数据以及所述第一语义分割信息，通过所述分割框解码单元进行解码，得到所述第二分割框信息；
基于所述特征数据以及所述第一分割框信息，通过所述语义解码单元进行解码，得到所述第二语义分割信息。
4.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型还包括：编码单元；
所述将所述图像进行特征提取，得到所述图像的特征数据，包括：
基于所述图像，通过所述编码单元进行编码，得到所述图像的特征数据。
5.根据权利要求1-4任一项所述的语义分割模型训练方法，其中，所述损失值包括第一损失值；
所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：
若所述图像对应的标注信息仅包括所述分割框标注，则基于所述分割框标注以及所述第二分割框信息，确定所述第一损失值；
若所述图像对应的标注信息仅包括所述语义分割标注，则基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值；
若所述图像对应的标注信息包括所述分割框标注和所述语义分割标注，则基于所述分割框标注以及所述第二分割框信息、且基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值。
6.根据权利要求5所述的语义分割模型训练方法，其中，所述损失值包括第二损失值；
所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：
若所述图像对应的标注信息包括所述分割框标注，则基于所述第二语义分割信息以及所述分割框标注，确定所述第二损失值；
若所述图像对应的标注信息不包括所述分割框标注，则基于所述第二语义分割信息以及所述第二分割框信息，确定所述第二损失值。
7.根据权利要求5所述的语义分割模型训练方法，其中，所述损失值包括第三损失值；
所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：
基于条件随机场，确定所述第三损失值。
8.一种图像语义分割方法，其中，所述方法包括：
获取图像；
将所述图像进行特征提取，得到所述图像的特征数据；
基于所述特征数据，得到第一分割框信息；
基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
9.根据权利要求8所述的图像语义分割方法，其中，所述方法应用于语义分割模型，所述语义分割模型包括：分割框解码单元以及语义解码单元；
通过所述分割框解码单元，基于所述特征数据，得到第一分割框信息；
通过所述语义解码单元，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
10.根据权利要求9所述的图像语义分割方法，其中，所述语义分割模型还包括：编码单元；
通过所述编码单元，将所述图像进行特征提取，得到所述图像的特征数据。
11.根据权利要求9或10所述的图像语义分割方法，其中，所述方法还包括：
通过所述语义解码单元，基于所述特征数据，得到第一语义分割信息；
通过所述分割框解码单元，基于所述特征数据以及所述第一语义分割信息，得到所述图像的第二分割框信息。
12.一种语义分割模型训练装置，其中，所述装置包括：
第一获取模块，用于获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；
第一特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；
第一语义模块，用于基于所述特征数据，得到第一分割框信息以及第一语义分割信息；
第一语义模块还用于，基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；
损失确定模块，用于基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；
调整模块，用于基于所述损失值，调整所述语义分割模型的参数。
13.一种图像语义分割装置，其中，所述装置包括：
第二获取模块，用于获取图像；
第二特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；
第二语义模块，用于基于所述特征数据，得到第一分割框信息；
所述第二语义模块还用于，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。
14.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行如权利要求1-7任一项所述的语义分割模型训练方法或如权利要求8-11所述的图像语义分割方法。
15.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-7任一项所述的语义分割模型训练方法或如权利要求8-11所述的图像语义分割方法。
CN202010912041.3A 2020-09-02 2020-09-02 语义分割模型训练方法及装置、图像语义分割方法及装置 Active CN112232346B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010912041.3A CN112232346B (zh) 2020-09-02 2020-09-02 语义分割模型训练方法及装置、图像语义分割方法及装置
PCT/CN2021/085721 WO2022048151A1 (zh) 2020-09-02 2021-04-06 语义分割模型训练方法及装置、图像语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010912041.3A CN112232346B (zh) 2020-09-02 2020-09-02 语义分割模型训练方法及装置、图像语义分割方法及装置

Publications (2)

Publication Number Publication Date
CN112232346A true CN112232346A (zh) 2021-01-15
CN112232346B CN112232346B (zh) 2024-06-18

Family

ID=74115899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010912041.3A Active CN112232346B (zh) 2020-09-02 2020-09-02 语义分割模型训练方法及装置、图像语义分割方法及装置

Country Status (2)

Country Link
CN (1) CN112232346B (zh)
WO (1) WO2022048151A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723616A (zh) * 2021-08-17 2021-11-30 上海智能网联汽车技术中心有限公司 一种多传感器信息半自动标注方法、系统及存储介质
WO2022048151A1 (zh) * 2020-09-02 2022-03-10 北京迈格威科技有限公司 语义分割模型训练方法及装置、图像语义分割方法及装置
CN114332104A (zh) * 2022-03-09 2022-04-12 南方电网数字电网研究院有限公司 电网输电场景rgb点云语义分割多阶段模型联合优化方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202204202D0 (en) * 2022-03-24 2022-05-11 Supponor Tech Limited Image processing method and apparatus
CN114693934B (zh) * 2022-04-13 2023-09-01 北京百度网讯科技有限公司 语义分割模型的训练方法、视频语义分割方法及装置
CN115019037A (zh) * 2022-05-12 2022-09-06 北京百度网讯科技有限公司 对象分割方法及对应模型的训练方法、装置及存储介质
CN114677567B (zh) * 2022-05-27 2022-10-14 成都数联云算科技有限公司 模型训练方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN108596184A (zh) * 2018-04-25 2018-09-28 清华大学深圳研究生院 图像语义分割模型的训练方法、可读存储介质及电子设备
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
CN111062252B (zh) * 2019-11-15 2023-11-10 浙江大华技术股份有限公司 一种实时危险物品语义分割方法、装置及存储装置
CN112232346B (zh) * 2020-09-02 2024-06-18 北京迈格威科技有限公司 语义分割模型训练方法及装置、图像语义分割方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN108596184A (zh) * 2018-04-25 2018-09-28 清华大学深圳研究生院 图像语义分割模型的训练方法、可读存储介质及电子设备
CN109784386A (zh) * 2018-12-29 2019-05-21 天津大学 一种用语义分割辅助物体检测的方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110503097A (zh) * 2019-08-27 2019-11-26 腾讯科技（深圳）有限公司 图像处理模型的训练方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048151A1 (zh) * 2020-09-02 2022-03-10 北京迈格威科技有限公司 语义分割模型训练方法及装置、图像语义分割方法及装置
CN113723616A (zh) * 2021-08-17 2021-11-30 上海智能网联汽车技术中心有限公司 一种多传感器信息半自动标注方法、系统及存储介质
CN114332104A (zh) * 2022-03-09 2022-04-12 南方电网数字电网研究院有限公司 电网输电场景rgb点云语义分割多阶段模型联合优化方法
CN114332104B (zh) * 2022-03-09 2022-07-29 南方电网数字电网研究院有限公司 电网输电场景rgb点云语义分割多阶段模型联合优化方法

Also Published As

Publication number Publication date
CN112232346B (zh) 2024-06-18
WO2022048151A1 (zh) 2022-03-10

Similar Documents

Publication Publication Date Title
CN112232346B (zh) 语义分割模型训练方法及装置、图像语义分割方法及装置
CN110363252B (zh) 趋向于端到端的场景文字检测与识别方法以及系统
CN108829683B (zh) 混合标注学习神经网络模型及其训练方法、装置
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
CN114596566B (zh) 文本识别方法及相关装置
US20220180624A1 (en) Method and device for automatic identification of labels of an image
CN109635805B (zh) 图像文本定位方法及装置、图像文本识别方法及装置
CN112926565B (zh) 图片文本的识别方法、系统、设备和存储介质
CN111783767B (zh) 文字识别方法、装置、电子设备及存储介质
CN107832794A (zh) 一种卷积神经网络生成方法、车系识别方法及计算设备
CN112990331A (zh) 图像处理方法、电子设备和存储介质
CN113836992A (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
WO2023207778A1 (zh) 数据修复方法、装置、计算机及可读存储介质
CN113205047A (zh) 药名识别方法、装置、计算机设备和存储介质
CN117036706A (zh) 一种基于多模态对话语言模型的图像分割方法和系统
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN114627484A (zh) 一种复杂多场景文档分割方法、系统、装置及介质
CN115909336A (zh) 文本识别方法、装置、计算机设备和计算机可读存储介质
CN113239693A (zh) 意图识别模型的训练方法、装置、设备及存储介质
US20240135679A1 (en) Method for classifying images and electronic device
CN113807337B (zh) 一种基于图连通的文本检测方法、终端设备及存储介质
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
KR20190093752A (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN111915703B (zh) 一种图像生成方法和装置
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant