CN113919405B - 数据处理方法、装置与相关设备 - Google Patents

数据处理方法、装置与相关设备 Download PDF

Info

Publication number
CN113919405B
CN113919405B CN202010975967.7A CN202010975967A CN113919405B CN 113919405 B CN113919405 B CN 113919405B CN 202010975967 A CN202010975967 A CN 202010975967A CN 113919405 B CN113919405 B CN 113919405B
Authority
CN
China
Prior art keywords
data
feature map
column
network layer
columns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010975967.7A
Other languages
English (en)
Other versions
CN113919405A (zh
Inventor
王永忠
魏富春
张伟
徐晓忻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2021/099522 priority Critical patent/WO2022007586A1/zh
Priority to EP21837804.0A priority patent/EP4170546A4/en
Publication of CN113919405A publication Critical patent/CN113919405A/zh
Priority to US18/150,907 priority patent/US20230162008A1/en
Application granted granted Critical
Publication of CN113919405B publication Critical patent/CN113919405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种数据处理方法，该方法包括：智能处理装置获取第一数据和第二数据，按照预设规则在第一数据与第二数据之间填充用于隔离第一数据与第二数据的第三数据，以获得第四数据，然后利用卷积神经网络完成对第四数据的处理。其中，第一数据和第二数据是将要拼接在一起的数据，在拼接时第一数据的序列先于第二数据的序列，上述第一数据和第二数据均是图像数据、语音数据或文本序列中的任意一种。通过将两组数据拼接为一个包括更多元素的数据量较大的数据，将拼接后得到的数据输入至卷积神经网络模型中进行处理，能够提高智能处理装置利用卷积神经网络处理数据的效率，并能够充分利用智能处理装置的带宽。

Description

数据处理方法、装置与相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置及相关设备。
背景技术
在图像处理、自然语言处理等领域，经常要同时处理多路数据，在利用卷积神经网络(convolutional neural networks，CNN)对多路数据进行处理时，为了提高智能处理装置处理数据的效率，通常将多路数据组成一组(batch)一起输入到卷积神经网络中，实现一次前向推理完成对多路数据的处理。但是，神经网络模型在处理多路数据时，需要对每一路数据分别进行向量化和分形等操作，这样会增加数据排布(tiling)以及内存读取的时间，降低数据处理的效率。并且如果每一路数据的数据量较小时，相比于一次前向推理处理一路数据量较大的数据，一次前向推理处理多路数据量较小的数据并不能充分利用智能处理装置的带宽和计算能力。因此，如何充分利用智能处理装置的带宽和计算能力，提供数据处理效率是一个亟待解决的问题。
发明内容
本申请公开了一种数据处理方法、装置与相关设备，能够提高装置处理数据的效率，充分利用装置的带宽和计算能力。
第一方面，本申请提供了一种数据处理方法，该方法包括：
智能处理装置获取第一数据和第二数据，按照预设规则在第一数据与第二数据之间填充用于隔离第一数据与第二数据的第三数据，以获得第四数据，然后利用卷积神经网络完成对第四数据的处理。
其中，第一数据和第二数据是将要拼接在一起的数据，在拼接时第一数据的序列先于第二数据的序列，上述第一数据是图像数据、语音数据或文本序列中的任意一种，第二数据是图像数据、语音数据或文本序列中的任意一种。
通过将两组数据拼接为一个包括更多元素的数据量较大的数据，将拼接后得到的数据输入至卷积神经网络模型中进行处理，避免卷积神经网络同时处理多组数据的过程中，对每组数据单独进行向量化和分形等操作，能够提高智能处理装置利用卷积神经网络处理数据的效率，并能够充分利用智能处理装置的带宽。通过在两张数据之间填充用于隔离两组数据的元素，使拼接得到的数据在通过卷积神经网络的卷积层后得到的结果中，包括单独处理每组数据时得到的结果，防止直接拼接两组数据进行卷积处理之后，输出的结果中由于部分元素对应的感受野包括两个特征图中的元素，导致的卷积神经网络最终的检测和识别结果不准确的问题。
在一种具体的实现方式中，按照预设规则在第一数据和第二数据之间填充第三数据获得第四数据，具体包括：在第一数据与第二数据的行数相同或者第一数据与第二数据的行数与列数均相同时，在第一数据右侧的最后一列和第二数据左侧的第一列之间填充h1行c1列的第三数据获得第四数据，其中，第一数据包括h1行w1列，第二数据包括h2行w2列，第四数据包括h1+2p1行w1+c1+w2+2p1列，h1和h2的值相同，p1是第一网络层对应的填充值，第一网络层是第四数据将要输入到的网络层。
在一种具体的实现方式中，按照预设规则在第一数据和第二数据之间填充第三数据获得第四数据，具体包括：在第一数据与第二数据的列数相同或者第一数据与第二数据的行数与列数均相同时，在第一数据下侧的最后一行和第二数据上侧的第一行之间填充r1行w1列的第三数据获得第四数据，其中，第一数据包括h1行w1列，第二数据包括h2行w2列，w1与w2的值相同，p1是第一网络层对应的填充值，第一网络层是所述第四数据将要输入到的网络层，第四数据包括h1+r1+h2+2p1行w1+2p1列，即第四数据的上侧和下侧分别填充了p1行数据，左侧和右侧分别填充了p1列数据。
根据第一数据和第二数据的行数和列数，在第一数据右侧的最后一列与第二数据左侧的第一列之间填充第三数据，或者在第一数据下侧的最后一行与第二数据上侧的第一行之间填充第三数据，连接第一数据与第二数据，其中，第四数据中填充的元素的值为零。通过该方法可以将两组或者多组数据拼接成一组数据量更大的数据，将拼接后的数据输入至卷积神经网络的中，防止直接拼接两组数据进行卷积处理之后，输出的结果中由于部分元素对应的感受野包括两个特征图中的元素，导致的卷积神经网络最终的检测和识别结果不准确的问题。
在一种具体的实现方式中，上述根据第一数据的列数w1与第一网络层的网络参数，确定第三数据的列数c1，包括：智能处理装置根据第一数据的列数w1、尺寸k1、填充值p1以及步长s1，确定将第一数据输入至第一网络层后输出的第五数据的列数wo1；根据列数w1、填充值p1、步长s1以及列数wo1，确定在第一数据的最后一列与第二数据的第一列之间填充h1行p1列数据得到拼接数据后，卷积核或池化核对拼接数据进行处理时，在水平方向上对第一数据的最后一次运算的中心与对第二数据的第一次运算的中心之间的距离△w；然后根据填充值p1、所述步长s1和所述距离△w，确定所述列数c1。
本申请中，可以通过下述公式计算上述列数wo1、距离△w，以及列数c1：
Δw＝w1+p1-wo1*s1
在一种具体的实现方式中，智能处理装置利用卷积神经网络完成对所述第四数据的数据处理，包括：将所述第四数据输入至卷积神经网络第一网络层中处理后得到第六数据，所述第六数据包括第七数据、第八数据与干扰数据，所述第七数据是所述第一网络层对所述第一数据进行处理得到的，所述第八数据是所述第一网络层对所述第二数据处理后得到的，所述干扰数据是所述第七数据的最后一列与所述第八数据的第一列之间的数据；确定所述干扰数据的列数c2，删除c2列的所述干扰数据；确定在所述第七数据的最后一列和所述第八数据的第一列之间填充的第九数据的列数c3；在所述第七数据的最后一列和所述第八数据的第一列之间填充c3列的第九数据，得到第十数据；利用所述卷积神经网络完成对所述第十数据的数据处理。
应理解，由于卷积神经网络包括多个卷积层和多个池化层，上述将拼接得到的第四数据输入第一网络层进行卷积处理得到第六数据之后，还要将第六数据输入至卷积神经网络的下一个网络层(卷积层或者池化层)中进行卷积处理或者池化处理。由于第六数据中包括一列或者多列用于隔离第七数据与第八数据的干扰元素，且干扰元素的值不全为0。因此在将第六数据输入至卷积神经网络的下一个网络层之前，需要确定干扰元素的列数c2，将c2列的干扰元素第六数据中删除，然后根据下一个网络层的卷积参数或者池化参数，确定在第七数据的最后一列与第八数据的第一列之间填充的第九数据的列数c3。并在第七数据的最后一列与第八数据的第一列之间填充第九数据得到第十数据，最后将第十数据输入至下一个网络层。
在一种具体的实现方式中，智能处理装置确定所述干扰数据的列数c2，包括：根据所述第四数据的列数w1+c1+w2+2p1与所述第一网络层的网络参数，确定所述第六数据的列数wo2；根据所述第六数据的列数wo2、所述第七数据的列数以及所述第八数据的列数，确定所述干扰数据的列数c2。本申请中，可以通过下述公式计算上述列数wo1、距离△w，以及列数c1：
c2＝wo2-wo1-wo3
在一种具体的实现方式中，智能处理装置在第一数据的最后一行和第二数据的第一行之间填充r1行w1列的第三数据获得第四数据，包括：根据第一数据的行数h1与第一网络层的网络参数，确定第三数据的行数r1，其中，第一网络层的网络参数包括卷积核或池化核的尺寸k1、填充值p1以及步长s1；获取第一数据的列数w1，在第一数据和第二数据之间填充r1行w1列的第三数据获得第四数据。
在一种具体的实现方式中，根据第一数据的行数h1与第一网络层的网络参数，确定第三数据的行数r1，包括：根据第一数据的行数h1、卷积核或池化核的尺寸k1、填充值p1以及核的步长s1，确定将第一数据输入至第一网络层后输出的第五数据的行数ho1；根据行数w1、填充值p1、步长s1以及行数ho1，确定在第一数据的最后一行与第二数据的第一行之间填充h1行p1列数据得到拼接数据后，卷积核或所述池化核对所述拼接数据进行处理时，在竖直方向上对第一数据的最后一次运算的中心与对第二数据的第一次运算的中心之间的距离△h；根据填充值p1、步长s1和距离△h，确定上述行数r1。
在一种具体的实现方式中，智能处理装置利用卷积神经网络完成对第四数据的数据处理，包括：将第四数据输入至第一网络层中处理后得到第六数据，第六数据包括第七数据、第八数据与干扰数据，其中，第七数据是第一网络层对第一数据进行处理得到的，第八数据是第一网络层对第二数据处理后得到的，干扰数据是第七数据的最后一行与第八数据的第一行之间的数据；确定干扰数据的行数r2，删除r2行的干扰数据；确定在第七数据的最后一行和第八数据的第一行之间填充的第九数据的行数r3；在第七数据的最后一行和第八数据的第一行之间填充r3行的第九数据，得到第十数据；利用卷积神经网络完成对第十数据的数据处理。
在一种具体的实现方式中，智能处理装置确定干扰数据的行数r2，包括：根据所述第四数据的行数h1+r1+h2+2p1与所述第一网络层的网络参数，确定所述第六数据的行数ho2；根据所述第六数据的行数ho2、所述第七数据的行数以及所述第八数据的行数，确定上述干扰数据的行数r2。
第二方面，本申请实施例提供一种数据处理装置，包括用于执行第一方面或第一方面任一种可能实现方式中的数据处理方法的各个单元。
第三方面，本申请实施例提供一种计算设备，包括处理器和存储器，存储器用于存储指令，处理器用于执行所述指令，当处理器执行指令时，执行如第一方面或第一方面任意具体实现方式中所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在计算设备上运行时执行如第一方面或第一方面任意具体实现方式中所述的方法。本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
图1是一种卷积神经网络的结构示意图；
图2是本申请实施例提供的一种系统架构示意图；
图3是本申请实施例提供的另一种系统架构示意图；
图4是本申请实施例提供的一种特征图拼接的示意图；
图5是本申请实施例提供的一种数据处理方法的流程示意图；
图6是本申请实施例提供的另一种特征图拼接的示意图；
图7是本申请实施例提供的一种拼接特征图运算的示意图；
图8是本申请实施例提供的另一种拼接特征图运算的示意图；
图9是本申请实施例提供的另一种拼接特征图运算的示意图；
图10是本申请实施例提供的一种数据处理装置的示意图；
图11是本申请实施例提供的另一种数据处理装置的示意图；
图12是本申请实施例提供的一种计算设备的示意图。
具体实施方式
下面结合附图对本申请所提供的控制系统和方法进行详细的阐述。
卷积神经网络是一种深度学习模型，常用于分析图像等数据。如图1所示，CNN通常包括卷积神经网络包括卷积层(convolutional layer)、池化层(pooling layer)以及全连接层(fully connected layers)等网络层。卷积层用于对输入数据进行特征汇聚，得到特征图；池化层用于在卷积层进行特征提取之后，对卷积层输出的特征图进行特征选择；全连接层用于对卷积层和池化层得到的特征进行非线性组合以得到输出结果。每个网络层包括核的尺寸(kernel size)、填充值(padding size)与步长(stride size)等网络层参数。例如，卷积层对应的卷积参数包括卷积核尺寸(convolutional kernel size)、卷积层输入特征图的填充值以及卷积核的步长；池化层对应的池化参数包括池化核尺寸(poolingkernel size)、池化层输入特征图的填充值以及池化核的步长。一般来说，CNN通常会将经过一个或多个卷积层之后得到的特征数据输入至池化层中进行特征汇聚，通过多次的卷积和池化处理之后，最终将特征数据输入至全连接层，图1中是以一个卷积层后连接一个池化层为例。
在图像处理、自然语言处理等领域，经常要同时处理多路数据，以图像处理为例，在图2所示的视频监控系统或者图3所示的数据中心中，智能处理装置需要同时处理多张图像，例如多个监控摄像头或者多个用户设备上传的多张图像，同一个摄像头或同一个用户设备上传的多张图像，或者处理同一张图像中的多个目标时，将多个目标分别分割出来得到的多张图像等。应理解的是，上述智能处理装置可以是板卡，也可以是服务器或者其他计算设备。智能处理装置中进行图像处理的可以是中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、张量处理器(tensor processingunit，TPU)、神经网络处理器(neural network processing unit，NPU)等具有数据处理能力中的任意一种或多种。上述用户设备可以是手机、平板电脑、个人计算机、相机、扫描仪、监控摄像头或车载摄像头中的任意一种或者多种。
本申请实施例提供一种数据处理方法，通过将两张或者两张以上的图像进行自适应拼接得到一张较大的图像，然后将拼接后的图像输入至卷积神经网络中进行前向推理，充分利用智能处理装置的带宽和计算能力，提高智能处理装置处理数据的效率。
应说明的是，卷积神经网络对图像进行处理的过程中，卷积层和池化层的输出结果均称为特征图(feature map)。图像在输入时是以像素矩阵的形式输入至卷积神经网络。例如，图像是灰度图像，则输入的是2维像素矩阵，图像是彩色图像时，则输入的是3维像素矩阵(或称为张量)。一张图像对应的像素矩阵在输入至卷积神经网络的第一个卷积层之后，经过卷积处理得到该图像对应的特征图。因此，图像对应的像素矩阵与图像对应的特征图均是矩阵形式，本申请实施例中，为便于描述，将卷积神经网络第一个卷积层输入的像素矩阵同样称为特征图，将特征图中的每个数值称为一个元素。
在对图像对应的特征图进行拼接时，可以进行横向拼接或者纵向拼接。如图4所示，图4是特征图进行拼接的示意图，第一特征图是第一图像对应的特征图，第二特征图是第二图像对应的特征图，第一特征图与第二特征图每行和每列均有5个元素。横向拼接是指一个特征图右侧的最后一列与另一个特征图左侧的第一列连接，纵向拼接是指一个特征图下侧的最后一行与另一个特征图上侧的第一行连接。其中，横向拼接的特征图的行数是相同的，列数可以相同也可以不同；纵向拼接的特征图的列数是相同的，行数可以相同可以不同。
本申请实施例中以输入数据为图像，以两张图像横向拼接并输入到卷积层为例，对本申请实施例中的数据处理方法进行介绍。如图5所示，图5是本申请实施例提供的一种数据处理方法的流程示意图，该数据处理方法包括S501至S503。
S501、获取第一数据和第二数据。
其中，第一数据为第一图像对应的第一特征图，第二数据为第二图像对应的第二特征图。第一数据与第二数据是将要进行拼接的相邻序列的两个数据。其中，第一数据包括h1行w1列的元素，第二数据包括h2行w2列的元素，当第一数据与第二数据横向拼接时，h1与h2的值相同。
S502、按照预设规则在第一数据和第二数据之间填充第三数据得到第四数据。
其中，第三数据用于隔离第一数据和第二数据，第四数据包括第一数据、第二数据以及第三数据。以第一特征图与第二特征图进行横向拼接，拼接之后的第一特征图的元素位于第二特征图的元素的左侧为例，对在第一特征图和第二特征图之间填充第三数据得到第三特征图的方法进行详细介绍。
智能处理装置在获取第一特征图与第二特征图之后，根据第一特征图的列数w1以及第一特征图与第二特征图将要输入到的第一卷积层的卷积参数，确定在第一特征图与第二特征图之间填充的第三数据的列数。其中，卷积参数包括卷积层对应的卷积核尺寸、卷积层对应的填充值、卷积核的步长以及扩张率(dilation rate)，其中，卷积核为3*3时，卷积核的尺寸等于3。
智能处理装置根据第一特征图与第二特征图将要输入到的第一卷积层的卷积参数和第一特征图的列数w1，结合(公式1)，能够确定第一特征图单独输入到第一卷积层中进行卷积运算之后，输出的第五数据的列数wo1：
其中，ceil运算表示返回大于或等于指定表达式的最小整数；p1为第一卷积层对应的填充值，k1为第一卷积层对应的卷积核尺寸，s1为第一卷积层对应的卷积核的步长，d1为扩张率。例如，第一特征图的列数w1为4，卷积参数中的填充值p1为2，卷积核的尺寸k1为5，步长s1为1，扩张率d1为1，则输出特征图的列数wo1等于4。
根据上述(公式1)得到第一特征图单独输入到第一卷积层中进行卷积运算之后的输出特征图的列数wo1之后，智能处理装置可以根据第一特征图的列数w1、第一卷积层的填充数p1、输出特征图的列数wo1以及卷积核的步长s1，确定如果在第一特征图与第二特征图之间填充p1列元素得到拼接特征图后，将拼接特征图输入到第一卷积层中，卷积核在对拼接特征图进行卷积运算的过程中，卷积核第一次水平移动时对第一特征图的最后一次运算的中心，与卷积核对第二特征图的第一次运算的中心之间的距离△w。其中，拼接特征图是指在第一特征图与第二特征图之间填充p1列元素，使第一特征图与第二特征图拼接在一起，并在拼接之后的特征图的左侧和右侧各填充p1列元素，上侧和下侧各填充p1行元素后得到的特征图。智能处理装置通过如下(公式2)计算上述距离△w：
Δw＝w1+p1-wo1*s1(公式2)
在得到上述距离△w后，为了保证卷积核在第一次水平移动时对第一特征图的最后一次运算的中心、与卷积核对第二特征图的第一次运算的中心之间的距离是卷积核步长s1的整数倍，智能处理装置根据距离△w、填充值p1以及步长s1，根据(公式3)计算得到最终在第一特征图与第二特征图之间填充的第三数据的列数c1：
在计算得到第三数据的列数c1后，在将第一特征图与第二特征图进行拼接时，在第一特征图的最后一列与第二特征图的第一列之间填充h1行c1列的元素(即第三数据)，并在拼接后的特征图的左侧和右侧各填充p1列元素，在拼接后的特征图的上侧和下侧各填充p1行元素，得到第三特征图(即第四数据)。即在第一特征图与第二特征图之间填充第三数据得到拼接后的特征图之后，在拼接后的特征图的上侧、下侧、左侧和右侧填充的元素的行数和列数的值是第一卷积层的填充值p1，第三特征图的包括h1+2p1行w1+c1+w2+2p1列元素。其中，填充的元素的值为0。
示例性的，如图6所示，以第一特征图与第二特征图均为4*4的特征图，卷积核的尺寸k1为5，填充值p1为2，步长s1为1，扩张率d1为1。则在第一特征图与第二特征图之间填充p1列元素，并在拼接后的特征图的左侧和右侧各填充2列元素，在拼接后的特征图的上侧和下侧各填充2行元素，得到的拼接特征图如图6中所示。根据上述(公式1)与(公式2)能够计算得到△w为2。如图6中所示，卷积核在第一特征图上第一次横向移动最后一次运算的中心是元素0，在第二特征图上第一次运算的中心是元素4，这两个元素之间的距离是2列元素，即△w等于2。根据上述(公式1)至(公式3)，能够计算得到c1的值等于2，由于c1的值与填充值p1的值相同，因此，在第一特征图与第二特征图之间填充c1列元素之后得到的第三特征图与图6中的拼接特征图相同。
S503、利用卷积神经网络完成对第四数据的数据处理。
在第一特征图与第二特征图之间填充c1列元素将第一特征图与第二特征图拼接得到第三特征图之后，将第三特征图输入至第一卷积层中进行卷积处理得到第六数据(即第四特征图)。其中，第四特征图包括第七数据(即第五特征图)、第八数据(即第六特征图)和干扰数据，第五特征图是第一特征图单独输入第一卷积层中经过卷积处理后得到的特征图，第六特征图是第二特征图单独输入第一卷积层中经过卷积处理后得到的特征图，即第五特征图是从第一特征图中提取到的特征，第六特征图是从第二特征图中提取得到的特征，干扰数据是第五特征图的最后一列与第六特征图的第一列之间的元素。如图7所示，图7是本申请实施例提供的一种对拼接后的特征图进行卷积处理的示意图。第三特征图包括8行14列元素，在通过大小为5*5，步长为1的卷积核进行卷积运算之后，输出包括4行10列元素的第四特征图。其中，第五特征图包括4行4列元素。第六特征图包括4行4列元素。除第五特征图与第六特征图之外的4行2列干扰元素，即不属于第一图像的特征，也不属于第二图像的特征。
通过将两张图像各自对应的特征图拼接为一个包含更多元素的特征图，将拼接后得到的一个特征图输入至卷积神经网络模型中进行处理，能够避免卷积神经网络同时处理多张图像的过程中，对每张图像单独进行向量化和分形等操作，提高智能处理装置利用卷积神经网络处理数据的效率，并能够充分利用智能处理装置的带宽。
另外，如果在上述第一特征图与第二特征图之间不填充用于隔离的元素，将第一特征图与第二特征图直接拼接得到拼接特征图，拼接特征图在经过卷积层进行卷积运算得到的输出特征图中，会存在一个元素对应的感受野包括两个特征图的元素。举例来讲，如图8所示，将上述第一特征图与第二特征图直接拼接得到拼接特征图输入到第一卷积层，则对拼接特征图进行卷积之后，得到的输出特征图如图8中所示。输出特征图中第3列至第6列的任意一个元素的感受野都包括了第一特征图中的元素与第二特征图中的元素，即输出特征图中一个元素包括了两张图像的特征。例如，图8中虚线框包括的区域是输出特征图中第1行第三个元素5对应的感受野，该感受野包括了第一特征图与第二特征图中的元素，即元素5包括了两张图像的特征，这样会导致后续对图像中目标的检测、识别和跟踪产生影响。
本申请实施例通过在两张特征图之间填充用于隔离两个特征图的元素，使拼接得到的特征图在通过卷积神经网络的卷积层后得到的结果中，包括单独处理每个特征图时等得到的结果，防止直接拼接两张特征图进行卷积处理之后，输出的特征图中由于部分元素对应的感受野包括两个特征图中的元素，导致的卷积神经网络最终的检测和识别结果不准确的问题。
由于卷积神经网络包括多个卷积层和多个池化层，上述将拼接得到的第三特征图输入第一卷积层进行卷积处理得到第四特征图之后，还要将第四特征图输入至卷积神经网络的下一个网络层(卷积层或者池化层)中进行卷积处理或者池化处理。由于第四特征图中包括一列或者多列用于隔离第五特征图与第六特征图的干扰元素，且干扰元素的值不全为0。因此将第四特征图输入至卷积神经网络的下一个网络层之前，需要确定干扰元素的列数c2，将c2列的干扰元素从第四特征图中删除，然后根据下一个网络层的卷积参数或者池化参数，结合上述(公式1)至(公式3)计算应该在第五特征图的最后一列与第六特征图的第一列之间填充的第九数据的列数c3。并在第五特征图的最后一列与第六特征图的第一列之间填充第九数据得到第十数据(即第七特征图)，最后将第七特征图输入至下一个网络层。
智能处理装置根据第三特征图的列数以及第一卷积层的卷积参数，确定第一卷积层输出的第四特征图的列数wo2，然后根据第一特征图与第二特征图单独输入到第一卷积层中进行卷积运算之后，输出的输出特征图的列数，确定第四特征图中用于隔离的元素的列数c2。具体的，智能处理装置根据(公式4)确定第四特征图的列数wo2：
其中，w2是第二特征图的列数。在得到第四特征图的列数之后，根据(公式5)确定第四特征图中干扰元素的列数c2：
c2＝wo2-wo1-wo3 (公式5)
其中，wo1是第一特征图单独输入到第一卷积层中进行卷积运算之后，输出的输出特征图的列数，wo3是第二特征图单独输入到第一卷积层中进行卷积运算之后，输出的输出特征图的列数。
在确定上述干扰元素的列数c2后，从第三特征图的第wo1+1列开始删除c2列的元素，然后根据上述S502中相同的方法，计算在第五特征图的最后一列与第六特征图的第一列之间填充的第九数据的列数c3，在第五特征图的最后一列与第六特征图的第一列之间填充c3列的第九数据得到拼接后的特征图，并在该拼接后的特征图的上侧和下侧分别填充p2行元素，左侧和右侧分别填充p2列元素得到第十数据(即第七特征图)，并将第七特征图输入至卷积神经网络的下一个网络层。其中，p2是卷积神经网络下一个网络层对应的填充值。
示例性的，如图9所示，第三特征图通过第一卷积层之后得到第四特征图后，智能处理装置根据(公式4)能够计算得到第四特征图的列数wo2的值为10，根据(公式5)能够计算得到第四特征图中用于隔离的元素的列数c2的值为2。则删除第四特征图中第5列和第6列这2列的元素。如果下一个网络层是第二卷积层，第二卷积层的卷积核的尺寸k2的值为3，填充值p2为1，步长s的值为1，扩张率d的值为1。智能处理装置能够根据上述(公式1)至(公式3)，确定应该在第五特征图与第六特征图之间填充的元素的列数c3的值为1。则在第五特征图的最后一列与第六特征图的第一列之间填充1列元素之为0的第九数据得到拼接后的特征图，并在该拼接后的特征图的上侧和下侧分别填充1行元素，得到第十数据(即第七特征图)，并将第七特征图输入至卷积神经网络的下一个网络层。
在一种可能的实现方式中，在确定上述干扰元素的列数c2的值以及第五特征图与第六特征图之间填充的元素的列数c3的值之后，可以根据c2的值与c3的值，确定第五特征图与第六特征图之间需要增加或者删除的元素的列数。
如果c2的值与上述c3的值相同，则将干扰元素的值全部替换为0，在第四特征图的左侧和右侧分别填充p2列元素，在第四特征图的上侧和下侧分别填充p2行元素，得到第七特征图，并将第一特征图输入至卷积神经网络的下一个网络层。其中，p2是卷积神经网络下一个网络层对应的填充值。如果c3的值小于c2的值，则从第四特征图的第wo1+1列开始删除干扰元素中的(c2-c3)列的元素，保留干扰元素中的c3列元素，将保留的c3列元素的值替换为0，在第四特征图的左侧和右侧分别填充p2列元素，在第四特征图的上侧和下侧分别填充p2行元素，得到第七特征图，再将第七特征图输入至卷积神经网络的下一个网络层。如果c3的值大于c2的值，则在第五特征图与第六特征图之间增加(c2-c3)列值为0的元素，将c2列干扰元素的值替换为0，并在第四特征图的左侧和右侧分别填充p2列元素，在第四特征图的上侧和下侧分别填充p2行元素，得到第七特征图，再将第七特征图输入至卷积神经网络的下一个网络层。
上述是以第一特征图与第二特征图之间进行横向拼接，第三特征图中第一特征图位于第二特征图左侧为例，对如何确定第三数据的列数进行的介绍。如果第三特征图中第二特征图位于第一特征图的左侧，则在计算第三数据的列数c1时，将上述(公式1)和(公式2)中的列数换成第二特征图的列数w2，即(公式1)与(公式2)中使用卷积核先处理的特征图的列数进行计算。
应理解的是，在对第一特征图与第二特征图进行拼接时，第一特征图与第二特征图之间还能够纵向拼接。当第一特征图与第二特征图进行纵向拼接时，智能处理装置在根据上述公式进行计算时，将上述公式中的列数替换为对应特征图的行数。在将第一特征图与第二特征图纵向拼接时，先根据第一特征图的行数h1与第一网络层的网络参数，确定第三数据的行数r1，然后在第一特征图的最后一行与第二特征图的第一行之间填充h1行r1列的元素值为0的第三数据得到拼接后的特征图之后，在拼接后的特征图的左侧和右侧各填充p1列元素，在拼接后的特征图的上侧和下侧各填充p1行元素，得到第三特征图。其中，第三特征图包括h1+r1+h2+2p1行w1+2p1列的元素。
在确定第三数据的行数r1时，首先根据第一特征图的行数h1、第一卷积层的卷积核的尺寸k1、填充值p1以及步长s1，确定将第一特征图输入至第一卷积层后输出的第五数据的行数ho1；然后根据第一特征图的行数w1、填充值p1、步长s1以及第五数据的行数ho1，确定在第一特征图的最后一行与第二特征图的第一行之间填充h1行p1列数据得到拼接数据后，第一卷积层的卷积核对拼接数据进行处理时，在竖直方向上对第一特征图的最后一次运算的中心与对第二特征图的第一次运算的中心之间的距离△h；最后根据填充值p1、步长s1和上述距离△h，确定第三数据的行数r1。即在将第一特征图与第二特征图之间纵向拼接时，计算第一特征图与第二特征图之间填充元素的行数的方法与第一特征图与第二特征图之间横向拼接的计算填充元素列数的方法相同，仅需要将上述(公式1)至(公式3)中第一特征图的列数替换为第一特征图的行数。例如，在根据(公式1)确定第一特征图单独输入到第一卷积层中进行卷积运算之后，输出的输出特征图的行数ho1时，将第一特征图的列数w1替换为第一特征图的行数h1。
在得到第三特征图之后，智能处理装置将第三特征图输入至第一卷积层中进行卷积处理得到第六数据(即第四特征图)。其中，第四特征图包括第七数据(即第五特征图)、第八数据(即第六特征图)和干扰数据，第五特征图是第一特征图单独输入第一卷积层中经过卷积处理后得到的特征图，第六特征图是第二特征图单独输入第一卷积层中经过卷积处理后得到的特征图，即第五特征图是从第一特征图中提取到的特征，第六特征图是从第二特征图中提取得到的特征，干扰数据是第五特征图的最后一行与第六特征图的第一行之间的元素。
在将第四特征图输入至下一个网络层之前，智能处理装置根据第三特征图的行数h1+r1+h2+2p1与第一网络层的网络参数，确定第四特征图的行数ho2；然后根据第四特征图的行数ho2、第五特征图的行数以及第六特征图的行数，确定干扰数据的行数r2，并删除r2行的干扰数据。再确定在第五特征图的最后一行和第六特征图的第一行之间填充的第九数据的行数r3，在第五特征图的最后一行和第六特征图的第一行之间填充r3列的第九数据，得到第十数据(即第七特征图)；最后将第七特征图输入至下一个网络层。
应理解的是，在将第一特征图与第二特征图进行纵向拼接的情况下，计算第五特征图与第六特征图之间干扰元素的行数的方法与第一特征图与第二特征图之间横向拼接时计算干扰元素列数的方法相同，仅需要将上述(公式4)与(公式5)中的各个特征图的列数替换为对应的特征图的行数。例如，在根据(公式4)确定第三特征图输入到第一卷积层中进行卷积运算之后，输出的第四特征图的行数ho2时，将第一特征图的列数w1替换为第一特征图的行数h1，将第二特征图的列数w2替换为第一特征图的行数h2，将列数c1替换为r1。
应理解的是，当第一特征图是第一图像对应的像素矩阵，第二特征图是第二图像对应的像素矩阵，即将第一特征图与第二特征图输入至第一个卷积层时，只需确定在第一特征图与第二特征图之间填充的列数或行数。
本申请实施例中，当第一特征图与第二特征图的行数相同，且第一特征图与第二特征图的列数也相同时，全连接层可以用卷积层进行替代，用于替代全连接层的卷积层的卷积核大小为单张特征图的大小，卷积核在水平方向上的步长等于单张特征图的列数，卷积核在竖直方向上的步长等于单张特征图的行数，因此当需要将卷积层或者池化层输出的特征图输入至全连接层时，只需确定最后一个卷积层或池化层输出的特征图中的干扰元素，将干扰元素删除后，将不同特征图直接拼接后即可输入至全连接层，不需要在不同特征图之间填充用于隔离的元素。示例性的，当上述第四特征图是最后一个卷积层输出的特征图时，只需要确定第五特征图与第六特征图之间干扰元素的列数c2，将c2列的干扰元素从第四特征图中删除，然后将第五特征图与第六特征图直接拼接得到第七特征图，即可将第七特征图输入至全连接层。
上述以第一特征图与第二特征图被输入至卷积层为例，阐述了如何确定在第一特征图与第二特征图之间填充元素的列数，以及如何对第一特征图与第二特征图进行拼接。并阐述了在得到第四特征图之后，将第四特征图输入至下一个卷积层或池化层之前，如何确定在第五特征图与第六特征图之间增加或者删除的列数。如果第一特征图与第二特征图是被输入至池化层，智能处理装置需要获取第一特征图与第二特征图将要输入到的池化层的池化参数，将(公式1)至(公式5)中的卷积参数替换为池化参数进行计算。例如，将卷积核的尺寸换成池化层的池化核的尺寸，将卷积层的填充值换成池化层的填充值，将卷积层卷积核的步长换成池化层池化核的步长等，其中，采用池化参数计算时，上述(公式1)中的扩张率d的取值为1。
上述实施例是以两个特征图的拼接为例进行对本申请实施例提供的数据处理方法进行介绍，应理解的是，上述特征图的拼接方法还可以应用于两个以上的特征图的拼接。当需要拼接的特征图的数量大于或等于3时，可以根据上述两个特征图的拼接方法先将其中两个特征图进行拼接得到新的特征图，然后将新的特征图与另外一个特征图再根据上述两个特征图拼接方法进行拼接，直至将所有的特征图拼接成一个特征图。当需要拼接的特征图的数量是大于2的偶数时，可以将其中一半数量的特征图，根据上述特征图数量大于或等于3时的拼接方法，将这一半数据量的特征图进行横向拼接得到一个新的特征图，将另一半的特征图按照相同的方法横向拼接得到另一个新的特征图，然后将这两个新的特征图进行纵向拼接得到最终的特征图。
上述实施例是以第一数据与第二数据均是图像数据为例，对本申请实施例提供的数据处理方法进行介绍的。应理解，上述方法还可以应用于对语音数据或者文本序列的处理。例如第一数据和第二数据均为一段语音数据时，智能处理装置在接收到第一数据和第二数据，先将语音数据转换为文本序列，然后通过词嵌入(word embedding)算法，将文本序列中的每个词(word)转换为词向量，将一段语音数据中的每个词对应的词向量按照预设规则组成一个矩阵，该矩阵与上述第一特征图的形式相同，因此可以将两段语音数据转换为矩阵，然后将每段语音数据对应的矩阵根据上述特征图相同的方法进行拼接，并输入至卷积神经网络中进行处理。
应说明的是，上述数据处理方法还可应用于不同的类型数据的处理，第一数据可以为图像数据、语音数据或文本序列中的任意一种，第二数据可以是图像数据、所述音频数据或所述文本序列中的任意一种，本申请实施例不做具体限制。
需要说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
本领域的技术人员根据以上描述的内容，能够想到的其他合理的步骤组合，也属于本发明的保护范围内。其次，本领域技术人员也应该熟悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
上文中结合图1至图9详细描述了本申请实施例所提供的数据方法，下面将结合图10与图12，描述根据本申请实施例所提供的数据处理装置及计算设备。
图10是本申请实施例提供的一种数据处理装置的示意图，该数据处理装置用于图2或图3所示的智能处理装置中，该数据处理装置100包括获取单元101、填充单元102以及处理单元103，其中，
获取单元101，用于获取第一数据和第二数据，其中，第一数据为图像数据、语音数据或文本序列中的任意一种，所述第二数据为图像数据、音频数据或文本序列中的任意一种。第一数据和第二数据为相邻序列的需要拼接的数据，在拼接时第一数据的序列先于第二数据的序列，即在拼接完成得到的序列中，第一数据先于第二数据被处理。
填充单元102，在第一数据和第二数据之间填充第三数据获得第四数据，第三数据用于隔离所述第一数据和所述第二数据。
处理单元103，利用卷积神经网络完成对第四数据的数据处理。由于卷积神经网络包括多个卷积层和多个池化层，利用卷积神经网络对第四数据进行处理是指将第四数据输入至第一网络层对第四数据进行处理，第一网络层可以是卷积层，也可以是池化层。
应理解的是，本申请实施例的数据处理装置100可以通过专用集成电路(application-specific integrated circuit，ASIC)实现，或可编程逻辑器件(programmable logic device，PLD)实现，上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device，CPLD)，现场可编程门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。也可以通过软件实现图1至图9中所示的数据处理方法时，数据处理装置100及其各个模块也可以为软件模块。
应理解，在第一数据和第二数据填充第三数据将第一数据与第二数据拼接成第四数据时，第一数据核第二数据之间可以横向拼接也可以纵向拼接，第一数据与第二数据之间拼接的方式以及确定拼接时第三数据的行数和列数的方法靠参照图5对应的方法实施例中的具体描述，在此不再赘述。
在一种可能的实现方式中，图11所示，数据处理装置100还包括删除单元104。处理单元103利用卷积神经网络完成对所述第四数据的数据处理，具体包括：将第四数据输入至第一网络层中处理后得到第六数据，其中，第六数据包括第七数据、第八数据与干扰数据，第七数据是第一网络层对第一数据进行处理得到的，第八数据是所述第一网络层对第二数据处理后得到的，干扰数据是第七数据与第八数据之间的数据。
删除单元104用于确定上述干扰数据的列数或行数，并删除干扰数据。删除单元104确定干扰数据列数或行数的方法可以参照上述方法实施例中智能处理装置确定干扰列数c2和干扰行数h2的方法，在此不再赘述。
填充单元102，还用于在删除干扰数据后，确定在第七数据的和第八数据之间填充的第九数据的列数或行数；在第七数据和第八数据之间填充第九数据，得到第十数据；
处理单元103，还用于利用卷积神经网络完成对第十数据的数据处理。
具体的，上述数据处理装置100实现对数据处理的操作可参照上述方法实施例中智能处理装置的相关操作，在此不再具体描述。
图12是本申请实施例提供的一种计算设备的结构示意图，该计算设备200包括：处理器210、通信接口220以及存储器230，处理器210、通信接口220以及存储器230通过总线240相互连接，其中，该处理器210用于执行该存储器230存储的指令。该存储器230存储程序代码，且处理器210可以调用存储器230中存储的程序代码执行以下操作：
智能处理装置获取第一数据和第二数据，按照预设规则在第一数据与第二数据之间填充用于隔离第一数据与第二数据的第三数据，以获得第四数据，然后利用卷积神经网络完成对第四数据的处理。其中，第一数据和第二数据是将要拼接在一起的数据，在拼接时第一数据的序列先于第二数据的序列，上述第一数据是图像数据、语音数据或文本序列中的任意一种，第二数据是图像数据、语音数据或文本序列中的任意一种。
在本申请实施例中处理器210可以有多种具体实现形式，例如处理器210可以为CPU、GPU、TPU或NPU等处理器中任意一种或多种的组合，处理器210还可以是单核处理器或多核处理器。处理器210可以由CPU(GPU、TPU或NPU)和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD复杂程序逻辑器件(complexprogrammable logical device，CPLD)，现场可编程门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器210也可以单独采用内置处理逻辑的逻辑器件来实现，例如FPGA或数字信号处理器(digital signalprocessor，DSP)等。
通信接口220可以为有线接口或无线接口，用于与其他模块或设备进行通信，例如接收图2中监控设备发送的视频或图像或者接收图3中用户设备发送的视频或图像等。有线接口可以是以太接口、控制器局域网络(controller area network，CAN)接口或局域互联网络(local interconnect network，LIN)接口，无线接口可以是蜂窝网络接口或使用无线局域网接口等。
存储器230可以是非易失性存储器，例如，只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。存储器230也可以是易失性存储器，易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。
存储器230也可用于存储指令和数据，以便于处理器210调用存储器230中存储的指令实现上述处理单元103执行的操作或述方法实施例智能处理装置执行的操作。此外，计算设备200可能包含相比于图12展示的更多或者更少的组件，或者有不同的组件配置方式。
总线240可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，该计算设备200还可以包括输入/输出接口250，输入/输出接口250连接有输入/输出设备，用于接收输入的信息，输出操作结果。
应理解，本申请实施例的计算设备200可对应于上述实施例中的数据处理装置100，并可执行上述方法实施例中智能处理装置执行的操作，在此不再赘述。
本申请实施例还提供一种非瞬态计算机存储介质，计算机存储介质中存储有指令，当其在处理器上运行时，可以实现上述方法实施例中的方法步骤，计算机存储介质的处理器在执行上述方法步骤的具体实现可参照上述方法实施例的具体操作，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质、或者半导体介质，半导体介质可以是固态硬盘。
以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (24)

1.一种数据处理方法，其特征在于，所述方法包括：
获取第一数据对应的第一特征图和第二数据对应的第二特征图，所述第一数据和第二数据为图像数据、语音数据或文本序列中的任意一种；
根据所述第一特征图的尺寸以及第一网络层的网络参数，确定第三数据，在所述第一特征图和所述第二特征图的行数相同的情况下，所述第三数据的行数等于所述第一特征图的行数，所述第三数据的列数根据所述第一特征图的列数与所述第一网络层的网络参数确定；或者，在所述第一特征图和所述第二特征图的列数相同的情况下，所述第三数据的列数等于所述第一特征图的列数，所述第三数据的行数根据所述第一特征图的行数与所述第一网络层的网络参数确定；所述第一网络层是所述第一特征图和所述第二特征图将要输入到的卷积神经网络的卷积层或池化层，所述网络参数包括卷积核或池化核的尺寸、填充值以及步长；
通过所述第三数据连接所述第一特征图和所述第二特征图，得到第三特征图；所述第三特征图包括所述第一特征图、所述第三数据以及所述第二特征图；
通过所述卷积神经网络对所述第三特征图进行处理。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第三数据连接所述第一特征图和所述第二特征图，得到第三特征图，包括：
在所述第一特征图的最后一列和所述第二特征图的第一列之间填充h1行c1列的所述第三数据获得所述第三特征图，其中，所述第一特征图包括h1行w1列，所述第二特征图包括h2行w2列，所述第三特征图包括h1+2p1行w1+c1+w2+2p1列，h1和h2的值相同，所述p1是第一网络层对应的填充值，所述第一网络层是所述第三特征图将要输入到的网络层。
3.根据权利要求1所述的方法，其特征在于，通过所述第三数据连接所述第一特征图和所述第二特征图，得到第三特征图，包括：
在所述第一特征图的最后一行和所述第二特征图的第一行之间填充r1行w1列的所述第三数据获得所述第三特征图，其中，所述第一特征图包括h1行w1列，所述第二特征图包括h2行w2列，所述第三特征图包括h1+r1+h2+2p1行w1+2p1列，其中，w1与w2的值相同，所述p1是第一网络层对应的填充值，所述第一网络层是所述第三特征图将要输入到的网络层。
4.根据权利要求2所述的方法，其特征在于，在所述第一特征图的最后一列和所述第二特征图的第一列之间填充h1行c1列的第三数据获得所述第三特征图，包括：
根据所述第一特征图的列数w1与所述第一网络层的网络参数，确定所述第三数据的列数c1，其中，所述第一网络层的网络参数包括卷积核或池化核的尺寸k1、填充值p1以及步长s1；
获取所述第一特征图的行数h1，在所述第一特征图的最后一列和所述第二特征图的第一列之间填充h1行c1列的第三数据获得所述第三特征图。
5.根据权利要求4所述的方法，其特征在于，根据所述第一特征图的列数w1与所述第一网络层的网络参数，确定所述第三数据的列数c1，包括：
根据所述第一特征图的列数w1、所述尺寸k1、所述填充值p1以及所述步长s1，确定将所述第一特征图输入至所述第一网络层后输出的第五数据的列数wo1；
根据所述列数w1、所述填充值p1、所述步长s1以及所述列数wo1，确定在所述第一特征图的最后一列与所述第二特征图的第一列之间填充h1行p1列数据得到拼接数据后，所述卷积核或所述池化核对所述拼接数据进行处理时，在水平方向上对所述第一特征图的最后一次运算的中心与对所述第二特征图的第一次运算的中心之间的距离△w；
根据所述填充值p1、所述步长s1和所述距离△w，确定所述列数c1。
6.根据权利要求4或5所述的方法，其特征在于，所述通过所述卷积神经网络对所述第三特征图进行处理，包括：
将所述第三特征图输入至所述第一网络层中处理后得到第六数据，所述第六数据包括第七数据、第八数据与干扰数据，所述第七数据是所述第一网络层对所述第一特征图进行处理得到的，所述第八数据是所述第一网络层对所述第二特征图处理后得到的，所述干扰数据是所述第七数据的最后一列与所述第八数据的第一列之间的数据；
确定所述干扰数据的列数c2，删除c2列的所述干扰数据；
确定在所述第七数据的最后一列和所述第八数据的第一列之间填充的第九数据的列数c3；
在所述第七数据的最后一列和所述第八数据的第一列之间填充c3列的第九数据，得到第十数据；
利用所述卷积神经网络完成对所述第十数据的数据处理。
7.根据权利要求6所述的方法，其特征在于，所述确定所述干扰数据的列数c2，包括：
根据所述第三特征图的列数w1+c1+w2+2p1与所述第一网络层的网络参数，确定所述第六数据的列数wo2；
根据所述第六数据的列数wo2、所述第七数据的列数以及所述第八数据的列数，确定所述干扰数据的列数c2。
8.根据权利要求3所述的方法，其特征在于，在所述第一特征图的最后一行和所述第二特征图的第一行之间填充r1行w1列的第三数据获得所述第三特征图，包括：
根据所述第一特征图的行数h1与所述第一网络层的网络参数，确定所述第三数据的行数r1，其中，所述第一网络层的网络参数包括卷积核或池化核的尺寸k1、填充值p1以及步长s1；
获取所述第一特征图的列数w1，在所述第一特征图和所述第二特征图之间填充r1行w1列的第三数据获得所述第三特征图。
9.根据权利要求8所述的方法，其特征在于，根据所述第一特征图的行数h1与所述第一网络层的网络参数，确定所述第三数据的行数r1，包括：
根据所述第一特征图的行数h1、所述尺寸k1、所述填充值p1以及所述步长s1，确定将所述第一特征图输入至所述第一网络层后输出的第五数据的行数ho1；
根据所述行数w1、所述填充值p1、所述步长s1以及所述行数ho1，确定在所述第一特征图的最后一行与所述第二特征图的第一行之间填充h1行p1列数据得到拼接数据后，所述卷积核或所述池化核对所述拼接数据进行处理时，在竖直方向上对所述第一特征图的最后一次运算的中心与对所述第二特征图的第一次运算的中心之间的距离△h；
根据所述填充值p1、所述步长s1和所述距离△h，确定所述行数r1。
10.根据权利要求8或9所述的方法，其特征在于，所述通过所述卷积神经网络对所述第三特征图进行处理，包括：
将所述第三特征图输入至所述第一网络层中处理后得到第六数据，所述第六数据包括第七数据、第八数据与干扰数据，所述第七数据是所述第一网络层对所述第一特征图进行处理得到的，所述第八数据是所述第一网络层对所述第二特征图处理后得到的，所述干扰数据是所述第七数据的最后一行与所述第八数据的第一行之间的数据；
确定所述干扰数据的行数r2，删除r2行的所述干扰数据；
确定在所述第七数据的最后一行和所述第八数据的第一行之间填充的第九数据的行数r3；
在所述第七数据的最后一行和所述第八数据的第一行之间填充r3行的第九数据，得到第十数据；
利用所述卷积神经网络完成对所述第十数据的数据处理。
11.根据权利要求10所述的方法，其特征在于，所述确定所述干扰数据的行数r2，包括：
根据所述第三特征图的行数h1+r1+h2+2p1与所述第一网络层的网络参数，确定所述第六数据的行数ho2；
根据所述第六数据的行数ho2、所述第七数据的行数以及所述第八数据的行数，确定所述干扰数据的行数r2。
12.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取第一数据对应的第一特征图和第二数据对应的第二特征图，所述第一数据和第二数据为图像数据、语音数据或文本序列中的任意一种；
填充单元，用于根据所述第一特征图的尺寸以及第一网络层的网络参数，确定第三数据，在所述第一特征图和所述第二特征图的行数相同的情况下，所述第三数据的行数等于所述第一特征图的行数，所述第三数据的列数根据所述第一特征图的列数与所述第一网络层的网络参数确定；或者，在所述第一特征图和所述第二特征图的列数相同的情况下，所述第三数据的列数等于所述第一特征图的列数，所述第三数据的行数根据所述第一特征图的行数与所述第一网络层的网络参数确定；所述第一网络层是所述第一特征图和所述第二特征图将要输入到的卷积神经网络的卷积层或池化层，所述网络参数包括卷积核或池化核的尺寸、填充值以及步长；
通过所述第三数据连接所述第一特征图和所述第二特征图，得到第三特征图；所述第三特征图包括所述第一特征图、所述第三数据以及所述第二特征图；
处理单元，还用于通过所述卷积神经网络对所述第三特征图进行处理。
13.根据权利要求12所述的装置，其特征在于，所述填充单元具体用于：
在所述第一特征图的最后一列和所述第二特征图的第一列之间填充h1行c1列的所述第三数据获得所述第三特征图，其中，所述第一特征图包括h1行w1列，所述第二特征图包括h2行w2列，所述第三特征图包括h1+2p1行w1+ c1+w2+2p1列，其中，h1和h2的值相同，所述p1是第一网络层对应的填充值，所述第一网络层是所述第三特征图将要输入到的网络层。
14.根据权利要求12所述的装置，其特征在于，所述填充单元具体用于：
在所述第一特征图的最后一行和所述第二特征图的第一行之间填充r1行w1列的所述第三数据获得所述第三特征图，其中，所述第一特征图包括h1行w1列，所述第二特征图包括h2行w2列，所述第三特征图包括h1+r1+h2+2p1行w1+2p1列，其中，w1与w2的值相同，所述p1是第一网络层对应的填充值，所述第一网络层是所述第三特征图将要输入到的网络层。
15.根据权利要求13所述的装置，其特征在于，所述填充单元具体用于：
根据所述第一特征图的列数w1与所述第一网络层的网络参数，确定所述第三数据的列数c1，其中，所述第一网络层的网络参数包括卷积核或池化核的尺寸k1、填充值p1以及步长s1；
获取所述第一特征图的行数h1，在所述第一特征图的最后一列和所述第二特征图的第一列之间填充h1行c1列的第三数据获得所述第三特征图。
16.根据权利要求15所述的装置，其特征在于，所述填充单元具体用于：
根据所述第一特征图的列数w1、所述尺寸k1、所述填充值p1以及所述步长s1，确定将所述第一特征图输入至所述第一网络层后输出的第五数据的列数wo1；
根据所述列数w1、所述填充值p1、所述步长s1以及所述列数wo1，确定在所述第一特征图的最后一列与所述第二特征图的第一列之间填充h1行p1列数据得到拼接数据后，所述卷积核或所述池化核对所述拼接数据进行处理时，在水平方向上对所述第一特征图的最后一次运算的中心与对所述第二特征图的第一次运算的中心之间的距离△w；
根据所述填充值p1、所述步长s1和所述距离△w，确定所述列数c1。
17.根据权利要求15或16所述的装置，其特征在于，所述处理单元具体用于：
将所述第三特征图输入至所述第一网络层中处理后得到第六数据，所述第六数据包括第七数据、第八数据与干扰数据，所述第七数据是所述第一网络层对所述第一特征图进行处理得到的，所述第八数据是所述第一网络层对所述第二特征图处理后得到的，所述干扰数据是所述第七数据的最后一列与所述第八数据的第一列之间的数据；
所述装置还包括删除单元，用于确定所述干扰数据的列数c2，删除c2列的所述干扰数据；
所述填充单元，还用于确定在所述第七数据的最后一列和所述第八数据的第一列之间填充的第九数据的列数c3；
在所述第七数据的最后一列和所述第八数据的第一列之间填充c3列的第九数据，得到第十数据；
所述处理单元，还用于利用所述卷积神经网络完成对所述第十数据的数据处理。
18.根据权利要求17所述的装置，其特征在于，所述删除单元具体用于：
根据所述第三特征图的列数w1+ c1+w2+2p1与所述第一网络层的网络参数，确定所述第六数据的列数wo2；
根据所述第六数据的列数wo2、所述第七数据的列数以及所述第八数据的列数，确定所述干扰数据的列数c2。
19.根据权利要求14所述的装置，其特征在于，所述填充单元具体用于：
根据所述第一特征图的行数h1与所述第一网络层的网络参数，确定所述第三数据的行数r1，其中，所述第一网络层的网络参数包括卷积核或池化核的尺寸k1、填充值p1以及步长s1；
获取所述第一特征图的列数w1，在所述第一特征图和所述第二特征图之间填充r1行w1列的第三数据获得所述第三特征图。
20.根据权利要求19所述的装置，其特征在于，所述填充单元用于：
根据所述第一特征图的行数h1、所述尺寸k1、所述填充值p1以及所述核的步长s1，确定将所述第一特征图输入至所述第一网络层后输出的第五数据的行数ho1；
根据所述行数w1、所述填充值p1、所述步长s1以及所述行数ho1，确定在所述第一特征图的最后一行与所述第二特征图的第一行之间填充h1行p1列数据得到拼接数据后，所述卷积核或所述池化核对所述拼接数据进行处理时，在竖直方向上对所述第一特征图的最后一次运算的中心与对所述第二特征图的第一次运算的中心之间的距离△h；
根据所述填充值p1、所述步长s1和所述距离△h，确定所述行数r1。
21.根据权利要求19或20所述的装置，其特征在于，所述处理单元具体用于：
将所述第三特征图输入至所述第一网络层中处理后得到第六数据，所述第六数据包括第七数据、第八数据与干扰数据，所述第七数据是所述第一网络层对所述第一特征图进行处理得到的，所述第八数据是所述第一网络层对所述第二特征图处理后得到的，所述干扰数据是所述第七数据的最后一行与所述第八数据的第一行之间的数据；
所述装置还包括删除单元，用于确定所述干扰数据的行数r2，删除r2行的所述干扰数据；
所述填充单元，还用于确定在所述第七数据的最后一行和所述第八数据的第一行之间填充的第九数据的行数r3；
在所述第七数据的最后一行和所述第八数据的第一行之间填充r3行的第九数据，得到第十数据；
所述处理单元，还用于利用所述卷积神经网络完成对所述第十数据的数据处理。
22.根据权利要求21所述的装置，其特征在于，所述删除单元具体用于：
根据所述第三特征图的行数h1+r1+h2+2p1与所述第一网络层的网络参数，确定所述第六数据的行数ho2；
根据所述第六数据的行数ho2、所述第七数据的行数以及所述第八数据的行数，确定所述干扰数据的行数r2。
23.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，当所述处理器执行所述指令时，执行如权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至11中任一项所述的方法。
CN202010975967.7A 2020-07-07 2020-09-16 数据处理方法、装置与相关设备 Active CN113919405B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2021/099522 WO2022007586A1 (zh) 2020-07-07 2021-06-10 数据处理方法、装置与相关设备
EP21837804.0A EP4170546A4 (en) 2020-07-07 2021-06-10 DATA PROCESSING METHOD AND DEVICE AND ASSOCIATED DEVICE
US18/150,907 US20230162008A1 (en) 2020-07-07 2023-01-06 Data Processing Method and Apparatus, and Related Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010645234 2020-07-07
CN2020106452347 2020-07-07

Publications (2)

Publication Number Publication Date
CN113919405A CN113919405A (zh) 2022-01-11
CN113919405B true CN113919405B (zh) 2024-01-19

Family

ID=79232453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010975967.7A Active CN113919405B (zh) 2020-07-07 2020-09-16 数据处理方法、装置与相关设备

Country Status (4)

Country Link
US (1) US20230162008A1 (zh)
EP (1) EP4170546A4 (zh)
CN (1) CN113919405B (zh)
WO (1) WO2022007586A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915322A (zh) * 2015-06-09 2015-09-16 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法及其axi总线ip核
CN107633295A (zh) * 2017-09-25 2018-01-26 北京地平线信息技术有限公司 用于适配神经网络的参数的方法和装置
CN107798382A (zh) * 2017-11-21 2018-03-13 北京地平线信息技术有限公司 用于适配卷积神经网络中的特征数据的方法和装置
KR101847874B1 (ko) * 2017-06-28 2018-05-25 서경대학교 산학협력단 합성곱 신경망을 이용한 이미지 인식 방법 및 그 기록 매체
CN109409504A (zh) * 2018-10-10 2019-03-01 深圳乐信软件技术有限公司 一种数据处理方法、装置、计算机及存储介质
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN109996023A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 图像处理方法和装置
WO2019184823A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 基于卷积神经网络模型的图像处理方法和装置
CN110309906A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 图像处理方法、装置、机器可读存储介质及处理器
CN110309837A (zh) * 2019-07-05 2019-10-08 北京迈格威科技有限公司 基于卷积神经网络特征图的数据处理方法及图像处理方法
CN110473137A (zh) * 2019-04-24 2019-11-19 华为技术有限公司 图像处理方法和装置
CN110728351A (zh) * 2018-07-17 2020-01-24 华为技术有限公司 数据处理方法、相关设备及计算机存储介质
CN111222624A (zh) * 2018-11-26 2020-06-02 深圳云天励飞技术有限公司 一种并行计算方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102415508B1 (ko) * 2017-03-28 2022-07-01 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
CN108683629A (zh) * 2018-04-02 2018-10-19 东方视界科技（北京）有限公司 视频传输、播放方法、存储介质、处理器和终端
CN108898086B (zh) * 2018-06-20 2023-05-26 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN110058829A (zh) * 2019-04-17 2019-07-26 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915322A (zh) * 2015-06-09 2015-09-16 中国人民解放军国防科学技术大学 一种卷积神经网络硬件加速方法及其axi总线ip核
KR101847874B1 (ko) * 2017-06-28 2018-05-25 서경대학교 산학협력단 합성곱 신경망을 이용한 이미지 인식 방법 및 그 기록 매체
CN107633295A (zh) * 2017-09-25 2018-01-26 北京地平线信息技术有限公司 用于适配神经网络的参数的方法和装置
CN107798382A (zh) * 2017-11-21 2018-03-13 北京地平线信息技术有限公司 用于适配卷积神经网络中的特征数据的方法和装置
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN109996023A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 图像处理方法和装置
WO2019184823A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 基于卷积神经网络模型的图像处理方法和装置
CN110728351A (zh) * 2018-07-17 2020-01-24 华为技术有限公司 数据处理方法、相关设备及计算机存储介质
CN109409504A (zh) * 2018-10-10 2019-03-01 深圳乐信软件技术有限公司 一种数据处理方法、装置、计算机及存储介质
CN111222624A (zh) * 2018-11-26 2020-06-02 深圳云天励飞技术有限公司 一种并行计算方法及装置
WO2020107616A1 (zh) * 2018-11-26 2020-06-04 深圳云天励飞技术有限公司 一种并行计算方法及装置
CN110473137A (zh) * 2019-04-24 2019-11-19 华为技术有限公司 图像处理方法和装置
CN110309906A (zh) * 2019-05-23 2019-10-08 北京百度网讯科技有限公司 图像处理方法、装置、机器可读存储介质及处理器
CN110309837A (zh) * 2019-07-05 2019-10-08 北京迈格威科技有限公司 基于卷积神经网络特征图的数据处理方法及图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种高度并行的卷积神经网络加速器设计方法;徐欣;刘强;王少军;;哈尔滨工业大学学报(第04期);全文 *
二维矩阵卷积在向量处理器中的设计与实现;张军阳;郭阳;;国防科技大学学报(第03期);全文 *

Also Published As

Publication number Publication date
CN113919405A (zh) 2022-01-11
EP4170546A1 (en) 2023-04-26
EP4170546A4 (en) 2023-11-22
WO2022007586A1 (zh) 2022-01-13
US20230162008A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US11593916B2 (en) Image super-resolution method and apparatus
CN110188795B (zh) 图像分类方法、数据处理方法和装置
US11935243B2 (en) Generative adversarial networks for image segmentation
US10282864B1 (en) Method and device for encoding image and testing method and testing device using the same
CN107610146B (zh) 图像场景分割方法、装置、电子设备及计算机存储介质
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
US11507829B2 (en) Greedy approach for obtaining an artificial intelligence model in a parallel configuration
CN107730514B (zh) 场景分割网络训练方法、装置、计算设备及存储介质
WO2021051520A1 (zh) 图像识别、训练识别模型的方法、相关设备及存储介质
CN111582007A (zh) 物体识别方法、装置和网络
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
KR20200049366A (ko) 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN114067389A (zh) 一种面部表情的分类方法和电子设备
CN111401524A (zh) 卷积神经网络处理方法、装置、设备、存储介质及模型
CN111444365A (zh) 图像分类方法、装置、电子设备及存储介质
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN116402876A (zh) 双目深度估计方法、装置、嵌入式设备和可读存储介质
CN113919405B (zh) 数据处理方法、装置与相关设备
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN115294361A (zh) 一种特征提取的方法及装置
CN116468979A (zh) 一种双向特征融合网络、回归预测网络、训练方法及装置
CN113055666B (zh) 一种视频质量评估方法及装置
CN111899161A (zh) 一种超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant