CN114792106A - 视频语义分割方法、装置、电子设备及存储介质 - Google Patents

视频语义分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114792106A
CN114792106A CN202111165458.9A CN202111165458A CN114792106A CN 114792106 A CN114792106 A CN 114792106A CN 202111165458 A CN202111165458 A CN 202111165458A CN 114792106 A CN114792106 A CN 114792106A
Authority
CN
China
Prior art keywords
feature
data
feature point
point
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111165458.9A
Other languages
English (en)
Inventor
李江彤
牛力
四建楼
钱晨
张丽清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202111165458.9A priority Critical patent/CN114792106A/zh
Publication of CN114792106A publication Critical patent/CN114792106A/zh
Priority to PCT/CN2022/120176 priority patent/WO2023051343A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视频语义分割方法、装置、电子设备及存储介质，该视频语义分割方法包括：获取视频数据中待检测视频帧对应的第一特征数据，以及视频数据中采集时间位于待检测视频帧之前的历史视频帧对应的历史特征数据；从第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。

Description

视频语义分割方法、装置、电子设备及存储介质
技术邻域
本公开涉及深度学习技术邻域，具体而言，涉及一种视频语义分割方法、装置、电子设备及存储介质。
背景技术
视频语义分割旨在为视频帧中的每个像素点分配一个语义标签，实现将视频帧按照语义进行分割，比如，可以将视频帧中的行人、自行车、动物等不同语义对象进行分割，得到语义分割结果。
一般的，在对视频数据进行语义分割时，可以对视频数据中的每个视频帧进行语义分割，确定各个视频帧的语义分割结果；再可以将各个视频帧的语义分割结果进行对齐，即将视频数据的不同视频帧中同一对象进行关联，得到视频数据对应的语义分割结果。但是，上述对视频数据进行语义分割的过程较为繁琐，使得语义分割的效率较低。
发明内容
有鉴于此，本公开至少提供一种视频语义分割方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种视频语义分割方法，包括：
获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
上述方法中，在获取待检测视频帧的第一特征数据和历史视频帧的历史特征数据之后，基于第一特征数据中第一特征点的特征数据、和历史特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据，使得加强特征点的特征数据中包括待检测视频帧的特征信息和历史视频帧的特征信息；再基于加强特征点的特征数据和其它特征点的特征数据，确定待检测视频帧中每个像素点对应的目标语义信息，在使用视频数据中历史视频帧对应的历史特征数据的基础上，实现了视频数据中不同视频帧之间时序一致的语义分割，提高了语义分割的效率。
同时，通过从第一特征数据对应的多个特征点中确定第一特征点，第一特征点为与复杂图像区域的位置点匹配的特征点，由于复杂图像区域中包括多个不同语义的目标对象，使得第一特征点对应的位置点的语义信息的确定较为困难，故可以基于历史特征数据和第一特征点的特征数据，对第一特征点进行语义加强，生成第一特征点对应的语义加强后的加强特征点的特征数据，后续基于加强特征点的特征数据和其他特征点的特征数据，能够较准确的确定待检测视频帧中每个像素点的目标语义信息，提高了待检测视频帧语义分割的精准度。
一种可能的实施方式中，所述从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点，包括：
确定所述第一特征数据对应的每个特征点的相邻相似度；其中，所述相邻相似度用于表征所述特征点与多个周围特征点之间的特征相似度分布；
基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点。
一般的，复杂图像区域与包括单一语义的目标对象的简单图像区域相比，复杂图像区域对语义分割结果的精度和效率具有较大的贡献，因此，为了在语义分割结果的准确度与效率之间进行均衡，可以从第一特征数据对应的多个特征点中，确定与待检测视频帧中复杂图像区域的位置点匹配的第一特征点。同时，考虑到不同语义的目标对象的像素信息之间会存在较大的差异，即复杂图像区域内像素点的像素特征相似度存在差异。基于此，本公开实施方式中，通过确定第一特征数据对应的每个特征点的相邻相似度，并根据相邻相似度，较准确的从第一特征数据对应的多个特征点中，确定第一特征点。
一种可能的实施方式中，所述确定所述第一特征数据对应的每个特征点的相邻相似度，包括：
将所述第一特征数据对应的每个特征点分别作为当前特征点，基于所述当前特征点的位置数据和预先设置的邻域半径，确定所述当前特征点的邻域特征矩阵；其中，所述邻域特征矩阵包括位于所述当前特征点的邻域内的各个特征点的特征向量；
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度。
通过确定当前特征点的邻域特征矩阵，该邻域特征矩阵中包括位于当前特征点周围的其他特征点的特征信息；使得基于邻域特征矩阵和当前特征点的特征向量，较准确的确定当前特征点对应的相邻相似度，为后续确定第一特征点提供数据支持。
一种可能的实施方式中，所述基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度，包括：
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的至少一种目标相似度；其中，所述至少一种目标相似度包括：用于表征所述当前特征点的邻域内的各个特征点与所述当前特征点之间的特征相似度分布、和均匀分布之间的相似程度的第一目标相似度，和/或，用于表征所述当前特征点的邻域内各个特征点与所述当前特征点之间的平均特征相似度的第二目标相似度；
基于所述至少一种目标相似度，确定所述当前特征点的所述相邻相似度。
这里，通过设置至少一种目标相似度，能够较灵活、较准确的确定当前特征点的相邻相似度。
一种可能的实施方式中，在所述目标相似度包括第一目标相似度的情况下，所述基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的目标相似度，包括：
确定所述当前特征点的邻域内每个特征点的特征向量与所述当前特征点的特征向量之间的特征相似度；
基于所述特征相似度，得到所述当前特征点对应的相似度分布向量；
基于所述相似度分布向量和确定的均匀分布向量，确定所述当前特征点对应的第一目标相似度。
一种可能的实施方式中，在所述目标相似度包括所述第二目标相似度的情况下，基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的第二目标相似度，包括：
确定所述邻域特征矩阵中的每个特征向量与所述当前特征点的特征向量之间的夹角余弦值；
基于所述邻域特征矩阵中的各个特征向量分别对应的夹角余弦值，确定所述目标特征点对应的第二目标相似度。
一种可能的实施方式中，所述基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点，包括：
基于所述第一特征数据对应的特征点的数量和预先设置的选取比例，确定第一特征点的选取数量；
按照所述相邻相似度从大到小的顺序，从所述第一特征数据对应的多个特征点中，确定所述选取数量的所述第一特征点；和/或，基于所述相邻相似度和设置的相似度阈值，从所述第一特征数据对应的多个特征点中，确定第一特征点。
这里，通过设置多种选取方式，能够较为灵活的确定第一特征点。
一种可能的实施方式中，所述基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据，包括：
基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点；
基于所述第二特征点的特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
由于历史视频帧与待检测视频帧之间存在时序关系，和处于移动状态中的目标对象在不同视频帧中的尺寸会发生改变，因此，可以通过设置的区域半径，基于第一特征点的位置数据、和历史特征数据对应的区域半径，能够较为方便和高效的从历史特征数据对应的多个特征点中确定第二特征点。
同时，由于该第二特征点具有的语义信息与第一特征点具有的语义信息相一致的可能性较高，再利用第二特征点的特征数据和第一特征点的特征数据，能够较准确的对第一特征点进行语义加强。并且本公开实施方式中，与使用历史特征数据中全部特征点的特征数据对第一特征点进行语义加强相比，在保障了语义分割精准度的同时，能够减少语义分割的时间复杂度，提升了语义分割的效率。
一种可能的实施方式中，所述基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点，包括：
从所述历史特征数据中确定与所述第一特征点的位置数据匹配的中间特征点；
基于所述区域半径，以所述中间特征点为中心，确定所述历史特征数据中的目标区域；
将所述历史特征数据中位于所述目标区域内的各个特征点，确定为所述第二特征点。
一种可能的实施方式中，根据下述步骤确定所述历史特征数据对应的区域半径：
基于所述历史特征数据对应的目标帧数、和设置的半径起始值、帧数阈值、扩展系数，确定所述历史特征数据对应的候选半径；
在所述候选半径小于设置的半径截止值的情况下，将所述候选半径确定为所述历史特征数据对应的区域半径；
在所述候选半径大于或等于所述半径截止值的情况下，将所述半径截止值确定为所述历史特征数据对应的区域半径。
考虑到目标对象在视频数据的不同视频帧中的尺寸会发生变化，因此，可以为每个历史特征数据确定对应的区域半径，进而能够基于区域半径，较准确的确定每个历史特征数据的第二特征点。
一种可能的实施方式中，所述基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据，包括：
基于所述历史特征数据和所述第一特征点的特征数据，生成融合特征数据；
对所述融合特征数据进行特征提取，生成中间特征数据；
基于所述中间特征数据和所述融合特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
一种可能的实施方式中，所述待检测视频帧中每个像素点对应的目标语义信息为利用训练后的语义分割神经网络得到的；所述语义分割神经网络包括：共享编码器、特征点选择模块、时序转换器、和分割解码器；
所述共享编码器用于分别对所述待检测视频帧和所述历史视频帧进行特征提取，获取所述待检测视频帧对应的第一特征数据和所述历史视频帧；所述特征点选择模块用于从所述第一特征数据对应的多个特征点中确定所述第一特征点；
所述时序转换器用于基于所述历史视频帧对应的历史特征数据，对所述第一特征点的特征数据进行语义加强处理，生成所述第一特征点对应的加强特征点的特征数据；
所述分割解码器用于基于所述加强特征点的特征数据、以及所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
上述实施方式中，基于待检测视频帧和历史视频帧，使用语义分割神经网络，实现对视频数据中不同视频帧的时序一致的语义分割，在保障语义分割精准度的同时，提高了语义分割的效率。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种视频语义分割装置，包括：
获取模块，用于获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
第一确定模块，用于从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
处理模块，用于基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
第二确定模块，用于基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的视频语义分割方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的视频语义分割方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视频语义分割方法的流程示意图；
图2示出了本公开实施例所提供的一种视频语义分割方法中，确定第一特征点的具体方式的流程示意图；
图3示出了本公开实施例所提供的一种视频语义分割方法中，第一特征数据的示意图；
图4示出了本公开实施例所提供的一种视频语义分割方法中，第一特征数据和历史特征数据的示意图；
图5示出了本公开实施例所提供的一种视频语义分割方法中，语义分割神经网络的结构示意图；
图6示出了本公开实施例所提供的另一种视频语义分割方法的流程示意图；
图7示出了本公开实施例所提供的一种视频语义分割装置的架构示意图；
图8示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本邻域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
在对视频数据进行语义分割时，可以对视频数据中的每个视频帧进行语义分割，确定各个视频帧的语义分割结果；再可以将各个视频帧的语义分割结果进行对齐，即将视频数据的不同视频帧中同一对象进行关联，得到视频数据对应的语义分割结果，实现了对视频数据中不同视频帧执行时序一致的语义分割。但是，上述通过将各个视频帧的语义分割结果进行关联，得到视频数据的语义分割结果的过程较为繁琐，语义分割的效率较低。
具体的，为了实现视频数据中各个视频帧之间的时序一致的语义分割，可以通过估计不同视频帧之间的运动扭曲比如光流，以确定视频数据中各个视频帧的语义分割结果。比如，可以从视频数据中采样关键视频帧，使用语义分割神经网络预测关键视频帧的语义分割结果，再使用光流神经网络根据关键视频帧的语义分割结果，确定视频数据中除关键视频帧之外的其他视频帧的语义分割结果。但是，为了保证其他视频帧的语义分割的精准度，光流神经网络的结构趋向于复杂化，使得光流神经网络的推理效率降低，进而造成视频数据的语义分割的效率较低。同时，使用多个神经网络对视频数据中的各个视频帧进行语义分割，造成视频数据的语义分割过程较为繁琐。
本公开实施例提供了一种视频语义分割方法，在获取待检测视频帧的第一特征数据和历史视频帧的历史特征数据之后，基于第一特征数据中第一特征点的特征数据、和历史特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据，使得加强特征点的特征数据中包括待检测视频帧的特征信息和历史视频帧的特征信息；再基于加强特征点的特征数据和其它特征点的特征数据，确定待检测视频帧中每个像素点对应的目标语义信息，在使用视频数据中历史视频帧对应的历史特征数据的基础上，实现了视频数据中不同视频帧之间时序一致的语义分割，提高了语义分割的效率。
同时，通过从第一特征数据对应的多个特征点中确定第一特征点，第一特征点为与复杂图像区域的位置点匹配的特征点，由于复杂图像区域中包括多个不同语义的目标对象，使得第一特征点对应的位置点的语义信息的确定较为困难，故可以基于历史特征数据和第一特征点的特征数据，对第一特征点进行语义加强，生成第一特征点对应的语义加强后的加强特征点的特征数据，后续基于加强特征点的特征数据和其他特征点的特征数据，能够较准确的确定待检测视频帧中每个像素点的目标语义信息，提高了待检测视频帧语义分割的精准度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种视频语义分割方法进行详细介绍。本公开实施例所提供的视频语义分割方法的执行主体可以为终端设备或服务器，其中，服务器比如可以为本地服务器、云端服务器；终端设备比如可以为移动设备、个人数字助理(Personal Digital Assistant，PDA)、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该视频语义分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的视频语义分割方法的流程示意图，所述方法包括S101-S104，其中：
S101，获取视频数据中待检测视频帧对应的第一特征数据，以及视频数据中采集时间位于待检测视频帧之前的历史视频帧对应的历史特征数据；
S102，从第一特征数据对应的多个特征点中，确定与待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
S103，基于历史特征数据和第一特征点的特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据；
S104，基于加强特征点的特征数据，和第一特征数据对应的多个特征点中除第一特征点外的其它特征点的特征数据，确定待检测视频帧中每个像素点对应的目标语义信息。
下述对S101-S104进行具体说明。
针对S101：
历史视频帧为视频数据中采集时间位于待检测视频帧之前的视频帧，历史视频帧的数量可以为一帧或多帧。
实施时，待检测视频帧对应的目标帧数可以为T+1，历史视频帧的数量可以为T，即可以获取第1帧历史视频帧(对应的目标帧数为1)、第2帧历史视频帧、…、第T帧历史视频帧(对应的目标帧数为T)。其中，T的值可以根据需要进行设置。
可以获取待检测视频帧和至少一帧历史视频帧，再对待检测视频帧进行特征提取，得到待检测视频帧对应的第一特征数据。由于在将历史视频帧作为待检测视频帧时，对历史视频帧进行了特征提取，故历史视频帧存在对应的历史特征数据，可以直接获取历史视频帧对应的历史特征数据，无需再次对历史视频帧进行特征提取，避免重复提取历史视频帧的特征数据造成的资源浪费。
在历史视频帧为多帧时，可以获取每帧历史视频帧对应的历史特征数据。
针对S102：
第一特征数据中对应有多个特征点，比如，若第一特征数据的尺寸为56×56×128(128为通道数，56为对应的长和宽)，则该第一特征数据中对应有56×56个特征点。针对第一特征数据中的每个特征点，根据该特征点的特征位置，从各个通道上获取与该特征位置匹配的特征值，构成了该特征点对应的特征向量。比如，针对位于第1行第1列上的特征点，从各个通道上获取位于第1行第1列上的特征值，得到第1行第1列上的特征点对应的特征向量。
可以从第一特征数据对应的多个特征点中，确定第一特征点，以及还可以得到第一特征数据对应的多个特征点中，除第一特征点之外的其他特征点。其中，第一特征点与待检测视频帧中复杂图像区域上的位置点相匹配。复杂图像区域上包括有多个不同语义的目标对象的至少部分像素点。可知复杂图像区域中可以包含多个语义对象，或者，包含不同语义对象之间的边界。
一种可选实施方式中，参见图2所示，从第一特征数据对应的多个特征点中，确定与待检测视频帧中复杂图像区域的位置点匹配的第一特征点，可以包括：
S201，确定第一特征数据对应的每个特征点的相邻相似度；其中，相邻相似度用于表征特征点与多个周围特征点之间的特征相似度分布；
S202，基于相邻相似度，从第一特征数据对应的多个特征点中，确定第一特征点。
一般的，复杂图像区域与包括单一语义的目标对象的简单图像区域相比，复杂图像区域对语义分割结果的精度和效率具有较大的贡献，因此，为了在语义分割结果的准确度与效率之间进行均衡，可以从第一特征数据对应的多个特征点中，确定与待检测视频帧中复杂图像区域的位置点匹配的第一特征点。同时，考虑到不同语义的目标对象的像素信息之间会存在较大的差异，即复杂图像区域内像素点的像素特征相似度存在差异。基于此，本公开实施方式中，通过确定第一特征数据对应的每个特征点的相邻相似度，并根据相邻相似度，较准确的从第一特征数据对应的多个特征点中，确定第一特征点
针对S201：
一种可选实施方式中，确定第一特征数据对应的每个特征点的相邻相似度，可以包括步骤A1和步骤A2，其中：
步骤A1，将第一特征数据对应的每个特征点分别作为当前特征点，基于当前特征点的位置数据和预先设置的邻域半径，确定当前特征点的邻域特征矩阵；其中，邻域特征矩阵包括位于当前特征点的邻域内的各个特征点的特征向量；
步骤A2，基于邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的相邻相似度。
在步骤A1中，邻域半径可以根据多次试验进行确定。比如，邻域半径r可以为1、2等。基于当前特征点的位置数据和预先设置的邻域半径，确定当前特征点的邻域特征矩阵。比如，若当前特征点在第一特征数据中的位置数据为(u，v)、邻域半径为r时，则当前特征点对应的邻域Qn为Q[u-r:u+r][v-r:v+r]，再可以基于第一特征数据中位于邻域Qn内的各个特征点的特征向量，生成当前特征点对应的邻域特征矩阵Qn。
参见图3所示，图3中包括第一特征数据30中的当前特征点31，在预先设置的邻域半径为1时，矩形框32内的各个特征点即为位于邻域内的各个特征点。其中，每个特征点对应一个特征向量，比如若第一特征数据中包括128个通道时，则每个特征点对应的特征向量中包括128个元素值。再可以根据各个特征点对应的特征向量，生成当前特征点31对应的邻域特征矩阵，由图3可知，该邻域特征矩阵为9×128矩阵。
在步骤A2中，可以利用邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的相邻相似度。其中，相邻相似度可以用于表征当前特征点与多个周围特征点(即邻域内除当前特征点之外的其他特征点)之间的特征相似度分布。
一种可选实施方式中，基于邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的相邻相似度，可以包括：
步骤A21，基于邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的至少一种目标相似度；其中，至少一种目标相似度包括：用于表征当前特征点的邻域内的各个特征点与当前特征点之间的特征相似度分布、和均匀分布之间的相似程度的第一目标相似度，和/或，用于表征当前特征点的邻域内各个特征点与当前特征点之间的平均特征相似度的第二目标相似度；
步骤A22，基于至少一种目标相似度，确定当前特征点的所述相邻相似度。
实施时，可以利用邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的至少一种目标相似度。其中，至少一种目标相似度可以包括第一目标相似度和/或第二目标相似度。
第一目标相似度用于表征特征相似度分布与均匀分布之间的相似程度，特征相似度分布为当前特征点的邻域内的各个特征点与当前特征点之间的特征相似度的分布。比如，若特征相似度分布a为[0.1，0.1，0.7，0.1]，特征相似度分布b为[0.2，0.3，0.25，0.25]，均匀分布为[0.25，0.25，0.25，0.25]，则可知特征相似度a与均匀分布之间的相似程度较低，第一目标相似度的值较大；特征相似度分布b与均匀分布之间的相似程度较高，第一目标相似度的值较小。
第二目标相似度用于表征当前特征点的邻域内各个特征点与当前特征点之间的平均特征相似度。
在至少一种目标相似度中包括第一目标相似度时，可以将第一目标相似度作为当前特征点的相邻相似度；在至少一种目标相似度中包括第二目标相似度时，可以将第二目标相似度作为当前特征点的相邻相似度；在至少一种目标相似度中包括第一目标相似度和第二目标相似度时，可以将第一目标相似度与第二目标相似度的和，作为当前特征点的相邻相似度。
进而可以按照各个特征点在第一特征数据中的位置数据、以及该特征点对应的相邻相似度，生成与第一特征数据匹配的相邻相似矩阵(Neighboring Similarity Matrix，NSM)，相邻相似矩阵的尺寸与第一特征数据一致。
这里，通过设置至少一种目标相似度，能够较灵活、较准确的确定当前特征点的相邻相似度。
下述对确定第一目标相似度的过程进行说明。
一种可选实施方式中，在目标相似度包括第一目标相似度的情况下，基于邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的目标相似度，可以包括步骤B1-步骤B3，其中：
步骤B1，确定当前特征点的邻域内每个特征点的特征向量与当前特征点的特征向量之间的特征相似度；
步骤B2，基于特征相似度，得到当前特征点对应的相似度分布向量；
步骤B3，基于相似度分布向量和确定的均匀分布向量，确定当前特征点对应的第一目标相似度。
可以确定邻域特征矩阵中包括的每个特征向量与当前特征点的特征向量之间的特征相似度。将得到的各个特征相似度作为元素值，构成了当前特征点对应的相似度分布向量。
实施时，可以根据下述公式(1)确定相似度分布向量Psim：
Psim＝SoftMax(Qn·qT)；(1)
其中，q为当前特征点的特征向量；Qn为邻域特征矩阵。
以及可以根据下述公式(2)确定第一目标相似度DKL：
Figure BDA0003291511450000121
其中，Pu为均匀分布，Psim为相似度分布向量，nb为相似度分布向量中包括的元素数量。
这里，在Pu中包括nb个元素时，均匀分布
Figure BDA0003291511450000122
具体的，可以确定相似度分布向量中每个第一元素的元素值、和均匀分布向量中与第一元素的位置匹配的第二元素的元素值之间的商值；再将第一元素对应的商值的对数与第二元素的元素值相乘，得到第一元素对应的乘积值；最后，将相似度分布向量中各个第一元素分别对应的乘积值相加，得到目标特征点对应的第一目标相似度。
下述对确定第二目标相似度的过程进行说明。
一种可选实施方式中，在目标相似度包括第二目标相似度的情况下，基于邻域特征矩阵和当前特征点的特征向量，确定当前特征点对应的第二目标相似度，可以包括：确定邻域特征矩阵中的每个特征向量与当前特征点的特征向量之间的夹角余弦值；基于邻域特征矩阵中的各个特征向量分别对应的夹角余弦值，确定目标特征点对应的第二目标相似度。
实施时，可以根据下述公式(3)确定第二目标相似度Dcos：
Figure BDA0003291511450000131
其中，
Figure BDA0003291511450000132
为邻域特征矩阵Qn中的第i个特征向量；nb为相似度分布向量中包括的元素数量，也为邻域特征矩阵Qn中包括的特征向量的数量。
针对S202：
在得到第一特征数据对应的每个特征点的相邻相似度之后，可以根据各个特征点分别对应的相邻相似度，从第一特征数据对应的多个特征点中确定第一特征点。
一种可选实施方式中，在S202中，基于相邻相似度，从第一特征数据对应的多个特征点中，确定第一特征点，可以包括下述两种方式：
方式一，基于第一特征数据对应的特征点的数量和设置的选取比例，确定第一特征点的选取数量；按照相邻相似度从大到小的顺序，从第一特征数据对应的多个特征点中，确定选取数量的第一特征点。
方式二，基于相邻相似度和设置的相似度阈值，从第一特征数据对应的多个特征点中，确定第一特征点。
在方式一中，选取比例可以根据需要进行设置，比如，选取比例可以为40％、50％等。若第一特征数据对应的特征点的数量为16×16、选取比例为50％，则确定第一特征点的选取数量为128。再可以按照相邻相似度从大到小的顺序，从第一特征数据对应的多个特征点中，确定128个第一特征点。即可以从与第一特征数据匹配的相邻相似矩阵NSM中，按照相邻相似度从大到小的顺序，确定多个目标位置点，将第一特征数据中与该目标位置点匹配的特征点，作为第一特征点。
在方式二中，相似度阈值可以根据需要进行设置。从第一特征数据对应的多个特征点中，选取相邻相似度大于或等于相似度阈值的特征点，作为第一特征点。
这里，通过设置多种选取方式，能够较为灵活的确定第一特征点。
针对S103和S104：
这里，可以利用历史特征数据中包括的全部特征点的特征数据，对第一特征点的特征数据进行语义加强，生成第一特征点对应的语义加强后的加强特征点的特征数据。其中，加强特征点的特征数据中包括有历史特征数据中的特征信息和第一特征点的特征信息，加强特征点的语义信息较为丰富。比如，可以将历史特征数据和第一特征点的特征数据输入至时序转换器Temporal Transformer中，对第一特征点的特征数据进行语义加强，使得待检测视频帧中的第一特征点能够捕获历史视频帧中的时序信息和语义信息，生成信息较为丰富的加强特征点的特征数据，以便基于加强特征点的特征数据，能够得到视频数据对应的时序一致的语义分割结果。
或者，也可以从历史特征数据中选取与第一特征点的位置数据匹配的第二特征点，利用第二特征点的特征数据，对第一特征点的特征数据进行语义加强，生成第一特征点对应的语义加强后的加强特征点的特征数据。比如，可以将第二特征点的特征数据和第一特征点的特征数据输入至时序转换器Temporal Transformer中，对第一特征点的特征数据进行语义加强，生成加强特征点的特征数据。
一种可选实施方式中，基于历史特征数据和第一特征点的特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据，包括：基于第一特征点的位置数据、和历史特征数据对应的区域半径，从历史特征数据对应的多个特征点中，确定第二特征点；基于第二特征点的特征数据和第一特征点的特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据。
由于历史视频帧与待检测视频帧之间存在时序关系，和处于移动状态中的目标对象在不同视频帧中的尺寸会发生改变，因此，可以通过设置的区域半径，基于第一特征点的位置数据、和历史特征数据对应的区域半径，能够较为方便和高效的从历史特征数据对应的多个特征点中确定第二特征点。
同时，由于该第二特征点具有的语义信息与第一特征点具有的语义信息一致的可能性较高，再利用第二特征点的特征数据和第一特征点的特征数据，能够较准确的对第一特征点进行语义加强。并且本公开实施方式中，与使用历史特征数据中全部特征点的特征数据对第一特征点进行语义加强相比，在保障了语义分割精准度的同时，能够减少语义分割的时间复杂度，提升了语义分割的效率。
本公开实施方式中，在历史视频帧为多帧时，每个历史视频帧对应一个历史特征数据，每个历史特征数据对应一个区域半径，不同的历史特征数据对应不同的区域半径，比如，第T帧历史视频帧的历史特征数据对应的区域半径可以为lT、第T-1帧历史视频帧的历史特征数据对应的区域半径可以为lT-1。
针对每帧历史特征数据，可以根据该历史特征数据对应的区域半径和和第一特征点的位置数据，从该历史特征数据对应的多个特征点中，确定该历史特征数据上的第二特征点。
一种可选实施方式中，可以根据下述步骤确定历史特征数据对应的区域半径：
步骤C1，基于历史特征数据对应的目标帧数、和设置的半径起始值、帧数阈值、扩展系数，确定历史特征数据对应的候选半径；
步骤C2，在候选半径小于设置的半径截止值的情况下，将候选半径确定为历史特征数据对应的区域半径；
步骤C3，在候选半径大于或等于半径截止值的情况下，将半径截止值确定为历史特征数据对应的区域半径。
首先确定历史特征数据对应的候选半径，在候选半径小于半径截止值时，将该候选半径确定为历史特征数据对应的区域半径；在候选半径大于或等于半径截止值时，将半径截止值确定为历史特征数据对应的区域半径。
考虑到目标对象在视频数据的不同视频帧中的尺寸会发生变化，因此，可以为每个历史特征数据确定对应的区域半径，进而能够基于区域半径，较准确的确定每个历史特征数据的第二特征点。
实施时，可以根据下述公式(4)确定第t帧历史特征数据对应的区域半径lt：
Figure BDA0003291511450000151
其中，s为半径起始值，∈为扩展系数，t为目标帧数，T为帧数阈值，e为半径截止值。s、∈、e可以根据实际情况进行设置。帧数阈值T为历史视频帧的数量。t为历史视频帧的目标帧数，比如，第T帧历史视频帧的目标帧数为T(即t＝T)，第T-1帧历史视频帧的目标帧数为T-1(即t＝T-1)。
一种可选实施方式中，基于第一特征点的位置数据、和历史特征数据对应的区域半径，从历史特征数据对应的多个特征点中，确定第二特征点，可以包括：从历史特征数据中确定与第一特征点的位置数据匹配的中间特征点；基于区域半径，以中间特征点为中心，确定历史特征数据中的目标区域；将历史特征数据中位于目标区域内的各个特征点，确定为第二特征点。
参见图4所示，图4中包括第一特征数据41、第一历史特征数据42和第二历史特征数据43，第一特征数据41中包括第一特征点411，第一历史特征数据42中包括与第一特征点411的位置数据匹配的中间特征点421，在第一历史特征数据42对应的区域半径为1时，可以得到第一历史特征数据中的目标区域，即第一矩形框422中的区域为目标区域，进而可以将第一历史特征数据中位于目标区域内的各个特征点，确定为第一历史特征数据对应的第二特征点；第二历史特征数据43中包括与第一特征点411的位置数据匹配的中间特征点431，在第二历史特征数据43对应的区域半径为2时，可以得到第二历史特征数据中的目标区域，即第二矩形框432中的区域为目标区域，进而可以将第二历史特征数据中位于目标区域内的各个特征点，确定为第二历史特征数据对应的第二特征点。
一种可能的实施方式中，基于历史特征数据和第一特征点的特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据，包括：基于历史特征数据和第一特征点的特征数据，生成融合特征数据；对融合特征数据进行特征提取，生成中间特征数据；基于中间特征数据和融合特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据。
或者，也可以基于第二特征点的特征数据和第一特征点的特征数据，生成融合特征数据；对融合特征数据进行特征提取，生成中间特征数据；基于中间特征数据和融合特征数据，生成第一特征点对应的语义加强后的加强特征点的特征数据。
在得到加强处理特征点的特征数据之后，可以对加强处理特征点的特征数据、和第一特征数据对应的多个特征点中除第一特征点外的其他特征点的特征数据进行特征提取，确定待检测视频帧中每个像素点对应的目标语义信息，得到待检测视频帧对应的语义分割结果。其中，语义分割结果中可以包括语义分割图，语义分割图中每个像素点对应一个语义标签，不同的语义标签可以使用不同的颜色进行标注。
一种可能的实施方式中，待检测视频帧中每个像素点对应的目标语义信息为利用训练后的语义分割神经网络得到的；语义分割神经网络包括：共享编码器、特征点选择模块、时序转换器、和分割解码器；
共享编码器用于分别对待检测视频帧和历史视频帧进行特征提取，获取待检测视频帧对应的第一特征数据和历史视频帧。特征点选择模块用于从第一特征数据对应的多个特征点中确定第一特征点。时序转换器用于基于历史视频帧对应的历史特征数据，对第一特征点的特征数据进行语义加强处理，生成第一特征点对应的加强特征点的特征数据。分割解码器用于基于加强特征点的特征数据、以及第一特征数据对应的多个特征点中除第一特征点外的其它特征点的特征数据，确定待检测视频帧中每个像素点对应的目标语义信息。
上述实施方式中，基于待检测视频帧和历史视频帧，使用语义分割神经网络，实现对视频数据中不同视频帧的时序一致的语义分割，在保障语义分割精准度的同时，提高了语义分割的效率。
参见图5所示的语义分割神经网络的结构示意图，结合图5对视频语义分割方法的过程进行说明。参见图6所示，该视频语义分割方法可以包括：
S601、获取视频数据中的待检测视频帧FT+1、和多帧历史视频帧。其中，多帧历史视频帧包括历史视频帧FT、历史视频帧FT-1、历史视频帧FT-2、历史视频帧FT-3、…、历史视频帧F1。
S602、通过语义分割神经网络中的共享编码器对待检测视频帧FT+1进行特征提取，得到第一特征数据；以及获取共享编码器对每个历史视频帧进行特征提取后生成的历史特征数据。即获取到的历史特征数据包括：历史视频帧FT对应的历史特征数据、历史视频帧FT-1对应的历史特征数据、…、历史视频帧F1对应的历史特征数据。
S603、通过语义分割神经网络中的特征点选择模块，从第一特征数据对应的多个特征点中，确定第一特征点。
实施时，可以确定第一特征数据对应的相邻相似矩阵NSM，其中，NSM的确定过程，可以参考上述说明，此处不在详述。再可以根据NSM，从第一特征数据对应的多个特征点中，确定第一特征点。示例性的，可以设置选取比例(比如50％)，按照NSM指示的第一特征数据中每个特征点对应的相邻相似度从大到小的顺序，选取第一特征点。比如，灰色方框对应的特征点为第一特征点51。
S604、通过语义分割神经网络中的特征点选择模块，基于第一特征点的位置数据、和历史特征数据对应的区域半径，从历史特征数据对应的多个特征点中，确定第二特征点。
S605、将第一特征点的特征数据和第二特征点的特征数据输入至时序转换器Temporal Transformer中，生成第一特征点对应的语义加强后的加强特征点的特征数据。
实施时，可以将第一特征点的特征数据，作为时序转换器的查询query输入；将第二特征点的特征数据，作为时序转换器的关键key输入；将第二特征点的特征数据，作为时序转换器的价值value输入；可知key输入与value输入相同。时序转换器中的多注意力机制模块对输入数据进行特征融合，生成第一融合特征数据；再将第一融合特征数据和第一特征点的特征数据，输入至时序转换器中的特征处理层Add&Norm进行特征融合，生成第二融合特征数据；再将第二融合特征数据输入至前馈处理层Feed Forward Layer进行特征提取，生成第三融合特征数据；再将第三融合特征数据和第二融合特征数据输入至特征处理层Add&Norm进行特征融合，生成第一特征点对应的语义加强后的加强特征点的特征数据。
S606、利用目标神经网络中的分割解码器，对加强特征点的特征数据，和第一特征数据对应的多个特征点中除第一特征点外的其他特征点的特征数据进行处理，确定待检测视频帧中每个像素点对应的目标语义信息。
本公开实施方式提出的视频语义分割方法可以应用于自动驾驶、直播、增强现实(Augmented Reality，AR)等需要进行视频语义分割的场景中。
示例性的，在视频语义分割方法应用于自动驾驶领域时，视频数据可以为行驶装置在行驶过程中采集的道路视频数据时，基于上述的视频语义分割方法，对道路视频数据中的各个道路视频帧进行语义分割，生成每个道路视频帧对应的语义分割结果；再基于每个道路视频帧对应的语义分割结果，控制行驶装置。
示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(AdvancedDriving Assistance System，ADAS)的车辆、或者机器人等。其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
通过利用视频语义分割方法对道路视频数据中的各个道路视频帧进行处理，生成每个道路视频帧对应的语义分割结果，提高了语义分割结果的准确度和确定效率，进而基于每个道路视频帧对应的语义分割结果，能够较精准和较高效的控制行驶装置。
在视频语义分割方法应用于AR场景时，视频数据可以为AR设备实时场景的场景视频数据，利用本公开实施方式提出的视频语义分割方法，对场景视频数据中的各个场景视频帧进行语义分割，生成每个场景视频帧对应的语义分割结果；再根据每个场景视频帧对应的语义分割结果指示的目标对象的语义信息、以及预先设置的语义与虚拟对象之间的匹配关系，确定匹配的目标虚拟对象；并控制AR设备展示包含目标虚拟对象的场景视频。比如，目标对象的语义信息为行人，则匹配的目标虚拟对象可以为预先设置好的虚拟人物；目标对象的语义信息为建筑物，则匹配的目标虚拟对象可以为预先设置好的虚拟建筑物等。
在视频语义分割方法应用于直播场景时，视频数据可以为直播视频数据，利用本公开实施方式提出的视频语义分割方法，对直播视频数据中的各个直播视频帧进行语义分割，生成每个直播视频帧对应的语义分割结果；再根据每个直播视频帧对应的语义分割结果，对直播视频帧进行背景替换。比如，可以将直播视频帧中，语义分割结果指示的除了人类之外的其他语义的像素点的像素信息替换为预设值，生成背景替换后的直播视频帧。
本邻域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种视频语义分割装置，参见图7所示，为本公开实施例提供的视频语义分割装置的架构示意图，包括获取模块701、第一确定模块702、处理模块703、第二确定模块704，具体的：
获取模块701，用于获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
第一确定模块702，用于从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
处理模块703，用于基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
第二确定模块704，用于基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
一种可能的实施方式中，所述第一确定模块702，在从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点时，用于：
确定所述第一特征数据对应的每个特征点的相邻相似度；其中，所述相邻相似度用于表征所述特征点与多个周围特征点之间的特征相似度分布；
基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点。
一种可能的实施方式中，所述第一确定模块702，在确定所述第一特征数据对应的每个特征点的相邻相似度时，用于：
将所述第一特征数据对应的每个特征点分别作为当前特征点，基于所述当前特征点的位置数据和预先设置的邻域半径，确定所述当前特征点的邻域特征矩阵；其中，所述邻域特征矩阵包括位于所述当前特征点的邻域内的各个特征点的特征向量；
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度。
一种可能的实施方式中，所述第一确定模块702，在基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度时，用于：
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的至少一种目标相似度；其中，所述至少一种目标相似度包括：用于表征所述当前特征点的邻域内的各个特征点与所述当前特征点之间的特征相似度分布、和均匀分布之间的相似程度的第一目标相似度，和/或，用于表征所述当前特征点的邻域内各个特征点与所述当前特征点之间的平均特征相似度的第二目标相似度；
基于所述至少一种目标相似度，确定所述当前特征点的所述相邻相似度。
一种可能的实施方式中，在所述目标相似度包括第一目标相似度的情况下，所述第一确定模块702，在基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的目标相似度时，用于：
确定所述当前特征点的邻域内每个特征点的特征向量与所述当前特征点的特征向量之间的特征相似度；
基于所述特征相似度，得到所述当前特征点对应的相似度分布向量；
基于所述相似度分布向量和确定的均匀分布向量，确定所述当前特征点对应的第一目标相似度。
一种可能的实施方式中，在所述目标相似度包括所述第二目标相似度的情况下，所述第一确定模块702，在基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的第二目标相似度时，用于：
确定所述邻域特征矩阵中的每个特征向量与所述当前特征点的特征向量之间的夹角余弦值；
基于所述邻域特征矩阵中的各个特征向量分别对应的夹角余弦值，确定所述目标特征点对应的第二目标相似度。
一种可能的实施方式中，所述第一确定模块702，在基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点时，用于：
基于所述第一特征数据对应的特征点的数量和预先设置的选取比例，确定第一特征点的选取数量；
按照所述相邻相似度从大到小的顺序，从所述第一特征数据对应的多个特征点中，确定所述选取数量的所述第一特征点；和/或，基于所述相邻相似度和设置的相似度阈值，从所述第一特征数据对应的多个特征点中，确定第一特征点。
一种可能的实施方式中，所述处理模块703，在基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据时，用于：
基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点；
基于所述第二特征点的特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
一种可能的实施方式中，所述处理模块703，在基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点时，用于：
从所述历史特征数据中确定与所述第一特征点的位置数据匹配的中间特征点；
基于所述区域半径，以所述中间特征点为中心，确定所述历史特征数据中的目标区域；
将所述历史特征数据中位于所述目标区域内的各个特征点，确定为所述第二特征点。
一种可能的实施方式中，所述处理模块703，用于根据下述步骤确定所述历史特征数据对应的区域半径：
基于所述历史特征数据对应的目标帧数、和设置的半径起始值、帧数阈值、扩展系数，确定所述历史特征数据对应的候选半径；
在所述候选半径小于设置的半径截止值的情况下，将所述候选半径确定为所述历史特征数据对应的区域半径；
在所述候选半径大于或等于所述半径截止值的情况下，将所述半径截止值确定为所述历史特征数据对应的区域半径。
一种可能的实施方式中，所述处理模块703，在基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据时，用于：
基于所述历史特征数据和所述第一特征点的特征数据，生成融合特征数据；
对所述融合特征数据进行特征提取，生成中间特征数据；
基于所述中间特征数据和所述融合特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
一种可能的实施方式中，所述待检测视频帧中每个像素点对应的目标语义信息为利用训练后的语义分割神经网络得到的；所述语义分割神经网络包括：共享编码器、特征点选择模块、时序转换器、和分割解码器；
所述共享编码器用于分别对所述待检测视频帧和所述历史视频帧进行特征提取，获取所述待检测视频帧对应的第一特征数据和所述历史视频帧；所述特征点选择模块用于从所述第一特征数据对应的多个特征点中确定所述第一特征点；
所述时序转换器用于基于所述历史视频帧对应的历史特征数据，对所述第一特征点的特征数据进行语义加强处理，生成所述第一特征点对应的加强特征点的特征数据；
所述分割解码器用于基于所述加强特征点的特征数据、以及所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：
获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
其中，处理器801的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的视频语义分割方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的视频语义分割方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。
示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
所属邻域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术邻域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种视频语义分割方法，其特征在于，包括：
获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
2.根据权利要求1所述的方法，其特征在于，所述从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点，包括：
确定所述第一特征数据对应的每个特征点的相邻相似度；其中，所述相邻相似度用于表征所述特征点与多个周围特征点之间的特征相似度分布；
基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点。
3.根据权利要求2所述的方法，其特征在于，所述确定所述第一特征数据对应的每个特征点的相邻相似度，包括：
将所述第一特征数据对应的每个特征点分别作为当前特征点，基于所述当前特征点的位置数据和预先设置的邻域半径，确定所述当前特征点的邻域特征矩阵；其中，所述邻域特征矩阵包括位于所述当前特征点的邻域内的各个特征点的特征向量；
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度。
4.根据权利要求3所述的方法，其特征在于，所述基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的所述相邻相似度，包括：
基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的至少一种目标相似度；其中，所述至少一种目标相似度包括：用于表征所述当前特征点的邻域内的各个特征点与所述当前特征点之间的特征相似度分布、和均匀分布之间的相似程度的第一目标相似度，和/或，用于表征所述当前特征点的邻域内各个特征点与所述当前特征点之间的平均特征相似度的第二目标相似度；
基于所述至少一种目标相似度，确定所述当前特征点的所述相邻相似度。
5.根据权利要求4所述的方法，其特征在于，在所述目标相似度包括第一目标相似度的情况下，所述基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的目标相似度，包括：
确定所述当前特征点的邻域内每个特征点的特征向量与所述当前特征点的特征向量之间的特征相似度；
基于所述特征相似度，得到所述当前特征点对应的相似度分布向量；
基于所述相似度分布向量和确定的均匀分布向量，确定所述当前特征点对应的第一目标相似度。
6.根据权利要求4或5所述的方法，其特征在于，在所述目标相似度包括所述第二目标相似度的情况下，基于所述邻域特征矩阵和所述当前特征点的特征向量，确定所述当前特征点对应的第二目标相似度，包括：
确定所述邻域特征矩阵中的每个特征向量与所述当前特征点的特征向量之间的夹角余弦值；
基于所述邻域特征矩阵中的各个特征向量分别对应的夹角余弦值，确定所述目标特征点对应的第二目标相似度。
7.根据权利要求2～6任一所述的方法，其特征在于，所述基于所述相邻相似度，从所述第一特征数据对应的多个特征点中，确定所述第一特征点，包括：
基于所述第一特征数据对应的特征点的数量和预先设置的选取比例，确定第一特征点的选取数量；
按照所述相邻相似度从大到小的顺序，从所述第一特征数据对应的多个特征点中，确定所述选取数量的所述第一特征点；和/或，基于所述相邻相似度和设置的相似度阈值，从所述第一特征数据对应的多个特征点中，确定第一特征点。
8.根据权利要求1～7任一所述的方法，其特征在于，所述基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据，包括：
基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点；
基于所述第二特征点的特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一特征点的位置数据、和所述历史特征数据对应的区域半径，从所述历史特征数据对应的多个特征点中，确定第二特征点，包括：
从所述历史特征数据中确定与所述第一特征点的位置数据匹配的中间特征点；
基于所述区域半径，以所述中间特征点为中心，确定所述历史特征数据中的目标区域；
将所述历史特征数据中位于所述目标区域内的各个特征点，确定为所述第二特征点。
10.根据权利要求8或9所述的方法，其特征在于，根据下述步骤确定所述历史特征数据对应的区域半径：
基于所述历史特征数据对应的目标帧数、和设置的半径起始值、帧数阈值、扩展系数，确定所述历史特征数据对应的候选半径；
在所述候选半径小于设置的半径截止值的情况下，将所述候选半径确定为所述历史特征数据对应的区域半径；
在所述候选半径大于或等于所述半径截止值的情况下，将所述半径截止值确定为所述历史特征数据对应的区域半径。
11.根据权利要求1～10任一所述的方法，其特征在于，所述基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据，包括：
基于所述历史特征数据和所述第一特征点的特征数据，生成融合特征数据；
对所述融合特征数据进行特征提取，生成中间特征数据；
基于所述中间特征数据和所述融合特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据。
12.根据权利要求1～11任一所述的方法，其特征在于，所述待检测视频帧中每个像素点对应的目标语义信息为利用训练后的语义分割神经网络得到的；所述语义分割神经网络包括：共享编码器、特征点选择模块、时序转换器、和分割解码器；
所述共享编码器用于分别对所述待检测视频帧和所述历史视频帧进行特征提取，获取所述待检测视频帧对应的第一特征数据和所述历史视频帧；所述特征点选择模块用于从所述第一特征数据对应的多个特征点中确定所述第一特征点；
所述时序转换器用于基于所述历史视频帧对应的历史特征数据，对所述第一特征点的特征数据进行语义加强处理，生成所述第一特征点对应的加强特征点的特征数据；
所述分割解码器用于基于所述加强特征点的特征数据、以及所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
13.一种视频语义分割装置，其特征在于，包括：
获取模块，用于获取视频数据中待检测视频帧对应的第一特征数据，以及所述视频数据中采集时间位于所述待检测视频帧之前的历史视频帧对应的历史特征数据；
第一确定模块，用于从所述第一特征数据对应的多个特征点中，确定与所述待检测视频帧中复杂图像区域的位置点匹配的第一特征点；其中，所述复杂图像区域为包括多个不同语义的目标对象的至少部分像素点的区域；
处理模块，用于基于所述历史特征数据和所述第一特征点的特征数据，生成所述第一特征点对应的语义加强后的加强特征点的特征数据；
第二确定模块，用于基于所述加强特征点的特征数据，和所述第一特征数据对应的多个特征点中除所述第一特征点外的其它特征点的特征数据，确定所述待检测视频帧中每个像素点对应的目标语义信息。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的视频语义分割方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的视频语义分割方法的步骤。
CN202111165458.9A 2021-09-30 2021-09-30 视频语义分割方法、装置、电子设备及存储介质 Pending CN114792106A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111165458.9A CN114792106A (zh) 2021-09-30 2021-09-30 视频语义分割方法、装置、电子设备及存储介质
PCT/CN2022/120176 WO2023051343A1 (zh) 2021-09-30 2022-09-21 视频语义分割方法、装置、电子设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165458.9A CN114792106A (zh) 2021-09-30 2021-09-30 视频语义分割方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114792106A true CN114792106A (zh) 2022-07-26

Family

ID=82460396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165458.9A Pending CN114792106A (zh) 2021-09-30 2021-09-30 视频语义分割方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114792106A (zh)
WO (1) WO2023051343A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051343A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 视频语义分割方法、装置、电子设备、存储介质及计算机程序产品
CN116030396A (zh) * 2023-02-27 2023-04-28 温州众成科技有限公司 一种用于视频结构化提取的精确分割方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014126B (zh) * 2023-09-26 2023-12-08 深圳市德航智能技术有限公司 基于信道拓展的数据传输方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919971B (zh) * 2017-12-13 2021-07-20 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110188754B (zh) * 2019-05-29 2021-07-13 腾讯科技（深圳）有限公司 图像分割方法和装置、模型训练方法和装置
US11676278B2 (en) * 2019-09-26 2023-06-13 Intel Corporation Deep learning for dense semantic segmentation in video with automated interactivity and improved temporal coherence
KR20210061072A (ko) * 2019-11-19 2021-05-27 삼성전자주식회사 비디오 세그먼테이션 방법 및 장치
CN113191318A (zh) * 2021-05-21 2021-07-30 上海商汤智能科技有限公司 目标检测方法、装置、电子设备及存储介质
CN114792106A (zh) * 2021-09-30 2022-07-26 上海商汤智能科技有限公司 视频语义分割方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051343A1 (zh) * 2021-09-30 2023-04-06 上海商汤智能科技有限公司 视频语义分割方法、装置、电子设备、存储介质及计算机程序产品
CN116030396A (zh) * 2023-02-27 2023-04-28 温州众成科技有限公司 一种用于视频结构化提取的精确分割方法

Also Published As

Publication number Publication date
WO2023051343A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
CN114792106A (zh) 视频语义分割方法、装置、电子设备及存储介质
An et al. Semantic segmentation–aided visual odometry for urban autonomous driving
CN113947764B (zh) 一种图像处理方法、装置、设备及存储介质
CN114663670A (zh) 一种图像检测方法、装置、电子设备及存储介质
Hashmi et al. FashionFit: Analysis of mapping 3D pose and neural body fit for custom virtual try-on
Zhang et al. Lightweight and efficient asymmetric network design for real-time semantic segmentation
CN111523600A (zh) 神经网络训练、目标检测、及智能设备控制的方法及装置
CN111860484B (zh) 一种区域标注方法、装置、设备及存储介质
CN111833360A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN109859314A (zh) 三维重建方法、装置、电子设备和存储介质
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
Wang et al. (2+ 1) D-SLR: an efficient network for video sign language recognition
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN111046738A (zh) 针对指静脉分割的轻量化u-net的精度提升方法
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
Harsányi et al. A hybrid CNN approach for single image depth estimation: A case study
CN116399360A (zh) 车辆路径规划方法
CN115439922A (zh) 对象行为识别方法、装置、设备及介质
CN110458919B (zh) 一种动态纹理视频生成方法、装置、服务器及存储介质
CN111382654A (zh) 图像处理方法和装置以及存储介质
CN117830601B (zh) 一种基于弱监督的三维视觉定位方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40069118

Country of ref document: HK