CN116980603A - 视频数据处理方法、装置、计算机设备和存储介质 - Google Patents

视频数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116980603A
CN116980603A CN202310590206.3A CN202310590206A CN116980603A CN 116980603 A CN116980603 A CN 116980603A CN 202310590206 A CN202310590206 A CN 202310590206A CN 116980603 A CN116980603 A CN 116980603A
Authority
CN
China
Prior art keywords
unit
basic unit
information
conversion
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310590206.3A
Other languages
English (en)
Inventor
梁剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310590206.3A priority Critical patent/CN116980603A/zh
Publication of CN116980603A publication Critical patent/CN116980603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及一种视频数据处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：通过获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，然后使用轮廓图像进行图像识别。采用本方法能够降低解码的计算资源的消耗。

Description

视频数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展，出现了视频编码技术，通过将视频原始数据进行编码，得到压缩后的视频码流数据，然后再将视频码流数据进行传输，可以在保证视频质量的基础上提高视频传输效率。目前，在获取到视频码流数据进行视频识别等处理时，需要对压缩后的视频码流数据进行解码，得到解码后的视频原始数据，然后才能进行视频识别等处理。然而，在对压缩后的视频码流数据进行解码时需要大量的计算资源，存在计算资源消耗大的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够节省计算资源的视频数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种视频数据处理方法。所述方法包括：
获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
第二方面，本申请还提供了一种视频数据处理装置。所述装置包括：
数据获取模块，用于获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
信息分配模块，用于获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
信息映射模块，用于将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
图像确定模块，用于基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
上述视频数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，然后使用轮廓图像进行图像识别。即通过码流数据对应各个基本单元的资源占用信息进行像素范围映射，得到像素信息，不需要对码流数据进行解码就可以得到视频帧对应的轮廓图像，大大降低了解码的计算资源的消耗，从而节省了计算资源。
附图说明
图1为一个实施例中视频数据处理方法的应用环境图；
图2为一个实施例中视频数据处理方法的流程示意图；
图3为一个实施例中得到编码单元对应的位置信息的流程示意图；
图4为一个实施例中得到基本单元对应的位置信息的流程示意图；
图5为一个实施例中得到第一目标轮廓图像的流程示意图；
图6为一个实施例中得到第一目标轮廓图像的流程示意图；
图7为一个实施例中得到转换位置信息的流程示意图；
图8为一个实施例中得到基本单元的像素信息的流程示意图；
图9为一个实施例中得到基本单元的位置信息的流程示意图；
图10为一个具体实施例中视频数据处理方法的流程示意图；
图11为另一个具体实施例中视频数据处理方法的流程示意图；
图12为一个具体实施例中直播视频异常识别的整体框架示意图；
图13为一个具体实施例中视频帧对应的轮廓图的示意图；
图14为一个实施例中视频数据处理装置的结构框图；
图15为一个实施例中计算机设备的内部结构图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例提供的方案涉及人工智能的视频内容识别等技术，具体通过如下实施例进行说明：
本申请实施例提供的视频数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以单独设置，可以集成在服务器104上，也可以放在云上或其他服务器上。服务器104可以从终端102获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；服务器104获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；服务器104将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；服务器104基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种视频数据处理方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S202，获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息。
其中，视频帧是指视频中静止的画面图像，视频是由多个视频帧组成的，每一个视频帧都是视频帧的一幅图像。编码单元(Coding Unit，CU)是指视频编码处理的单元，具有四叉树结构，CU是正方形的，大小可以为64×64像素、32×32像素、16×16像素或者8×8像素等等。编码单元是视频帧中的子区域。码流数据是指将视频帧的编码单元对应的原始像素数据经过高效率视频编码后得到的压缩数据。编码过程即是将视频数据从像素域转化到压缩域的过程。像素域即是指视频原始像素数据状态。压缩域是指视频像素数据经过高效率视频编码后的视频数据状态。位置信息用于表征编码单元在视频帧中的具体位置。
具体地，服务器可以获取到终端上传的视频码流数据，然后根据编码协议从视频码流数据中提取得到视频帧的编码单元对应的码流数据。服务器也可以从数据库中获取到视频码流数据，然后根据编码协议从视频码流数据中提取得到视频帧的编码单元对应的码流数据。然后服务器可以基于视频码流数据根据编码协议来计算得到编码单元对应的位置信息。服务器也可以是从提供业务服务的服务方获取到视频码流数据，然后根据编码协议从视频码流数据中提取得到视频帧的编码单元对应的码流数据。该编码协议可以是高效率视频编码的标准协议。其中，在计算编码单元对应的位置信息时，可以根据视频帧的尺寸信息以及编码时的编码单元数量等来计算编码单元对应的位置信息，该视频帧的尺寸信息和编码单元数量可以根据视频码流数据来确定。
S204，获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息。
其中，基本单元参数是指预先设置好的基本单元对应的参数，可以是基本单元的像素点大小，比如，像素点大小可以是4×4，或者可以是8×8等，可以根据需求设置。基本单元是将视频帧进行分割的单元，该基本单元的像素点大小通常不超过编码单元的像素点大小，不同的视频帧可以有不同的基本单元参数，也可以有相同的基本单元参数，比如，同一视频中的视频帧使用相同的基本单元参数，不同视频中的视频帧使用不同的基本单元参数。即使用基本单元参数可以将视频帧分割为各个子区域，该子区域的大小是基本单元的大小。基本单元是生成的轮廓图像中像素点对应的单元，即可以将一个基本单元作为轮廓图像中的一个像素点，基本单元的位置作为轮廓图像对应像素点的位置，基本单元的像素值作为轮廓图像对应像素点的像素值。码流数据对应的资源占用信息用于表征码流数据占用的比特资源的信息，比如，可以是编码单元对应的码流数据使用的比特开销值。该比特开销值可以是统计码流数据中的比特数量得到的。基本单元的资源占用信息是指基本单元对应的码流数据占用的比特资源的信息，比如，可以是基本单元对应的码流数据使用的比特开销值。该比特开销值可以是统计码流数据中的比特数量得到的。
具体地，服务器可以从数据库中获取视频帧对应的基本单元参数，服务器也可以获取到终端上传的视频帧对应的基本单元参数。服务器也可以获取到预先设置好的视频帧对应的基本单元参数。然后服务器计算编码单元对应的码流数据的资源占用信息，然后使用基本单元参数计算编码单元包含的基本单元，编码单元至少包含一个基本单元，即编码单元的大小与基本单元的大小相同时，编码单元包含一个基本单元。然后服务器将编码单元对应的码流数据的资源占用信息进行分配，即计算编码单元包含的基本单元所对应的资源占用信息，从而得到码单元包含的每个基本单元的资源占用信息。其中，服务器可以按照编码单元包含的基本单元的数量将编码单元对应的码流数据的资源占用信息进行平均划分，得到每个基本单元的资源占用信息。
S206，将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息。
其中，像素范围是指像素值的范围，像素值是表示图像像素明暗程度的数值，范围一般为[0,255]，0是黑色，255是白色。像素信息是用于表征基本单元所在区域的像素的信息，可以是像素值。基本单元的位置信息用于表征基本单元在编码单元中具体位置的信息。不同的基本单元在编码单元中的位置不同。
具体地，服务器将每个基本单元的资源占用信息进行像素范围映射，即将资源占用信息映射到像素范围，得到资源占用信息对应的在像素范围中的值，得到像素信息，遍历每个基本单元，就得到每个基本单元对应的像素信息。然后根据基本单元参数和编码单元对应的位置信息计算得到起始基本单元的位置信息，该起始基本单元可以是预先设置好的第一个要计算位置信息的基本单元，比如，可以设置编码单元中左上角的基本单元为起始基本单元。然后服务器根据起始基本单元的位置信息按照基本单元参数计算其他基本单元的位置信息，当所有基本单元都计算完成时，得到各个基本单元的位置信息。
S208，基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
其中，轮廓图像是指使用资源占用信息计算得到的灰度图像。
具体地，服务器将每个基本单元作为轮廓图像中的像素点，即将基本单元的像素信息作为轮廓图像中像素点的像素值，将基本单元的位置信息作为轮廓图像中像素点的位置，从而得到视频帧对应的轮廓图像。然后使用轮廓图像进行图像识别，该图像识别可以是对图像中的目标或者对象进行识别。比如，可以对图像中的动物进行识别，对图像中的场景进行识别等等。
在一个实施例中，视频帧可以包括多个编码单元，服务器计算得到每个编码单元包含的各个基本单元的像素信息和各个基本单元的位置信息，然后根据每个编码单元包含的各个基本单元的像素信息和各个基本单元的位置信息得到该视频帧的轮廓图像。
上述视频数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，然后使用轮廓图像进行图像识别。即通过码流数据对应各个基本单元的资源占用信息进行像素范围映射，得到像素信息，不需要对码流数据进行解码就可以得到视频帧对应的轮廓图像，大大降低了计算资源的消耗，从而节省了计算资源。
在一个实施例中，如图3所示，S202，获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息，包括：
S302，获取视频码流数据，从视频码流中提取得到视频帧对应的码流数据。
其中，视频码流数据是指将视频对应的原始像素数据经过高效率视频编码后得到的压缩数据。
具体地，服务器可以获取到终端上传的视频码流数据。服务器也可以获取到提供业务服务的服务方发送的视频码流数据。服务器还可以是从数据库中获取到视频码流数据。然后服务器从视频码流中提取得到视频帧对应的码流数据。其中，服务器可以获取到通过高效率视频编码的网络适配层(NALU，network abstract laye Unit)发送的视频码流数据，然后使用高效率视频编码的标准协议解析出网络适配层的类型，然后从视频码流数据中获取到目标类型的码流数据，然后从目标类型的码流数据中提取得到视频帧对应的码流数据。
在一个具体的实施例中，服务器按照高效率视频编码(H.265/HEVC)的标准协议7.4.2.2部分的记载解析出NALU的类型，仅针对类型为0～9、16～21的NALU的码流数据，即获取到slice_segment_layer_rbsp数据流。然后根据高效率视频编码的标准协议7.3.2.9部分的记载在slice_segment_layer_rbsp(片划分层字节流)数据流中提取出slice_segment_data(片划分数据)对应的数据流，这一部分数据流即为编码一个片(slice,一般来说一片即为一帧)的码流数据。
S304，从视频帧对应的码流数据中提取得到编码树单元对应的码流数据，并从编码树单元对应的码流数据递归提取得到编码单元对应的码流数据。
其中，编码树单元(Coding Tree Unit,CTU)是指通过四叉树结构进行递归分割后得到的单元。可以是按照高效率视频编码将视频帧划分为编码树单元。
具体地，服务器得到视频帧对应的码流数据时，按照高效率视频编码的标准协议从视频帧对应的码流数据中提取得到编码树单元对应的码流数据，然后再从编码树单元对应的码流数据递归提取得到编码单元对应的码流数据。
在一个具体的实施例中，服务器按照高效率视频编码的标准协议中7.3.2.9部分记载的，在slice_segment_data数据流中提取出coding_tree_unit(编码树单元)部分，这一部分数据流即为一个编码树单元(CTU)的码流数据。然后根据高效率视频编码的标准协议中的7.3.8.2部分和7.3.8.4部分的记载，在coding_tree_unit数据流中递归提取出所有的coding_unit(编码单元)部分，这一部分数据流即为一个编码单元(CU)的数据。
S306，获取视频帧对应的编码划分参数和图像尺寸信息，基于图像尺寸信息和编码划分参数进行编码单元位置计算，得到编码单元对应的位置信息。
其中，编码划分参数是指视频帧在进行高效率视频编码时进行编码单元划分时使用的参数，可以包括编码单元大小。图像尺寸信息用于表征视频帧的尺寸大小。
具体地，服务器可以从码流数据中获取到视频帧对应的编码划分参数和图像尺寸信息。然后使用图像尺寸信息和编码划分参数进行编码单元划分，然后计算每个编码单元在视频帧对应的图像中的位置，从而得到编码单元对应的位置信息。
在上述实施例中，通过从视频码流数据提取得到编码单元对应的码流数据，并计算得到编码单元对应的位置信息，从而提高了得到的码流数据和位置信息的准确性。
在一个实施例中，S204，按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息，包括：
按照基本单元参数将编码单元进行划分，得到编码单元包含的各个基本单元；计算码流数据对应的资源占用信息，并基于各个基本单元的数量将资源占用信息进行分配，得到各个基本单元对应的资源占用信息。
具体地，服务器按照基本单元参数将编码单元进行划分，即使用基本单元参数计算得到基本单元的区域面积，然后编码单元对应的编码划分参数计算得到编码单元的区域面积，最后计算编码单元的区域面积与基本单元的区域面积的比值，得到编码单元包含的基本单元的数量，根据编码单元包含的基本单元的数量和基本单元的区域面积确定编码单元包含的各个基本单元。然后服务器统计编码单元对应的码流数据的资源占用信息。然后计算资源占用信息与基本单元的数量的比值，得到每个基本单元分配的资源占用信息。
在一个实施例中，可以使用如下所示的公式(1)计算基本单元的资源占用信息。
其中，是指编码单元中第m行第n列的基本单元。/>是指编码单元中第m行第n列的基本单元对应的资源占用信息。s是指编码单元的尺寸信息，s的平方用于表征编码单元的区域面积。/>是指尺寸大小为s，从第i行第j列的像素点作为起始的编码单元。/>是指编码单元的资源占用信息。a是指基本单元的尺寸信息，比如，基本单元参数可以是像素点大小为4×4，则a为4。a的平方用于表征基本单元的区域面积。
在上述实施例中，通过按照基本单元参数将编码单元进行划分，得到编码单元包含的各个基本单元；计算码流数据对应的资源占用信息，并基于各个基本单元的数量将资源占用信息进行分配，得到各个基本单元对应的资源占用信息，从而提高了基本单元对应的资源占用信息的准确性。
在一个实施例中，S206，将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，包括：
从各个基本单元的资源占用信息中选取得到目标资源占用信息；基于目标资源占用信息将各个基本单元的资源占用信息进行归一化，得到各个基本单元对应的归一化值；将各个基本单元对应的归一化值进行像素范围等比例映射，得到各个基本单元的像素信息。
其中，目标资源占用信息是指编码单元包含的各个基本单元的资源占用信息中最大的资源占用信息。
具体地，服务器比较各个基本单元的资源占用信息的信息大小，然后选取最大的资源占用信息作为目标资源占用信息。然后使用目标资源占用信息将各个基本单元的资源占用信息进行归一化，得到各个基本单元对应的归一化值，即计算每个基本单元的资源占用信息与目标资源占用信息的比值，得到每个基本单元对应的归一化值。最后将每个基本单元对应的归一化值进行像素范围等比例映射，即将归一化值等比例映射到8比特位深的像素范围[0,255]中，得到各个基本单元的像素信息。
在一个具体的实施例中，可以使用如下所示的公式(2)进行归一化。
其中，θi,j是指第i行第j列的基本单元的归一化值。max{SB}是指目标资源占用信息。然后可以使用如下所示的公式(3)进行等比例映射。
φi,j＝θi,j×255 公式(3)
其中，φi,j是指第i行第j列的基本单元的像素信息。计算第i行第j列的基本单元的归一化值与255的乘积，得到轮廓图中处于第i行第j列的像素点的值。
在上述实施例中，通过基于目标资源占用信息将各个基本单元的资源占用信息进行归一化，得到各个基本单元对应的归一化值，然后将各个基本单元对应的归一化值进行像素范围等比例映射，得到各个基本单元的像素信息，从而提高了像素信息的准确性。
在一个实施例中，编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；
如图4所示，S206，基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息，包括：
S402，基于起始像素点位置信息和基本单元参数进行起始位置计算，得到起始位置信息。
其中，起始像素点位置信息是指编码单元中起始像素点的位置，可以使用像素点所在的行和列来表征起始像素点位置信息。单元尺寸信息是指编码单元对应的尺寸大小。起始位置信息是指起始的基本单元的位置信息，即编码单元中包含的第一个基本单元的位置信息。
具体地，服务器使用起始像素点位置信息和基本单元参数进行起始位置计算，其中，可以计算起始像素点位置信息与基本单元对应的尺寸之间的比值，得到起始位置信息。
S404，基于单元尺寸信息和基本单元参数计算得到各个基本单元的位置偏移参数。
其中，位置偏移参数用于表征编码单元中基本单元与起始像素点所在的基本单元的位置差距。
具体地，服务器计算单元尺寸信息与基本单元参数所表征的基本单元的尺寸之间的比值，得到最大的位置偏移参数，然后获取到零到最大的位置偏移参数之间的正整数，得到每个基本单元的位置偏移参数。第一个基本单元即起始像素点所在的基本单元的位置偏移参数为0。最后一个基本单元的位置偏移参数为最大的位置偏移参数。
S406，按照各个基本单元的位置偏移参数对起始位置信息进行位置偏移，得到各个基本单元的位置信息。
具体地，服务器计算起始位置信息与每个基本单元的位置偏移参数的加和，得到每个基本单元的位置信息。
在一个具体的实施例中，可以使用如下所示的公式(4)计算基本单元的位置信息。
其中，k和l是指位置偏移参数，k和l的取值为正整数，取值范围为s为编码单元的尺寸，a为基本单元的尺寸。编码单元和基本单元都是正方形的区域。i和j是指编码单元中起始像素点的位置，即第i行第j列。通过使用公式(4)计算得到编码单元CU中包含的各个基本单元所在的位置，即得到基本单元SB第m行和第n列的具体值。
在上述实施例中，通过基于起始像素点位置信息和基本单元参数进行起始位置计算，得到起始位置信息，然后计算各个基本单元的位置偏移参数，最后对起始位置信息进行位置偏移，得到各个基本单元的位置信息，从而提高了得到的位置信息的准确性。
在一个实施例中，编码单元包括预测单元；如图5所示，视频数据处理方法，还包括：
S502，从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据，并基于编码单元对应的位置信息确定预测单元对应的预测位置信息。
其中，预测单元(Prediction Unit，PU)是指进行预测运算的单元。预测码流数据是指预测单元通过高效率视频编码得到的码流数据。预测位置信息是指预测单元在视频帧中的位置信息。
具体地，编码单元可以进一步划分为预测单元。一个编码单元可以根据预测模式的切割类型分割成一个、两个或者是四个预测单元。服务器按照高效率视频编码的标准协议从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据，其中，可以通过递归提取得到编码单元中包含的所有预测单元的码流数据。然后服务器根据编码单元对应的位置信息来计算预测单元对应的预测位置信息。其中，服务器可以根据编码单元的起始像素点位置以及编码单元的尺寸计算预测单元的像素点位置，从而得到预设单元的位置信息。
在一个具体的实施例中，服务器根据高效率视频编码的标准协议7.3.8.5部分的记载，在coding_unit数据流中递归提取出多个prediction_unit(预测单元)部分，这多个部分的数据流分别对应表示多个预测单元(PU)的码流数据。
S504，按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息。
其中，预测资源占用信息是指使用预测码流数据计算得到的资源占用信息。
具体地，服务器按照基本单元参数将预测单元进行划分，得到预测单元包含的各个基本单元。然后计算预测资源占用信息与预测单元包含的各个基本单元的数量的比值，从而得到预测单元包含的各个基本单元的预测资源占用信息。
S506，将预测单元包含的各个基本单元的预测资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息。
具体地，服务器将预测单元包含的每个基本单元的预测资源占用信息进行像素范围映射，即计算预测单元包含的每个基本单元的预测资源占用信息在像素范围中对应的像素值，将该像素值作为预测单元包含的基本单元的像素信息。其中，可以计算预测单元包含的各个基本单元的预测资源占用信息进行归一化，然后计算归一化的值与像素范围最大值的乘积，从而得到预测单元包含的各个基本单元的像素信息。
S508，基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息。
具体地，服务器使用基本单元参数和预测单元对应的预测位置信息计算得到预测单元中包含的起始基本单元的位置信息，然后服务器根据预测单元包含的起始基本单元的位置信息按照基本单元参数计算预测单元包含的其他基本单元的位置信息，当预测单元包含的所有基本单元都计算完成时，得到预测单元包含的各个基本单元的位置信息。
S510，基于预测单元包含的各个基本单元的像素信息和预测单元包含的各个基本单元的位置信息确定视频帧对应的第一目标轮廓图像。
其中，第一目标轮廓图像是指使用预测单元包含的各个基本单元的预测资源占用信息生成的图像。
具体地，服务器所有预测单元包含的各个基本单元作为轮廓图像中的像素点，即将预测单元包含的各个基本单元的像素信息作为轮廓图像中对应像素点的像素值，将预测单元包含的各个基本单元的位置信息作为轮廓图像中对应像素点的位置，从而得到视频帧对应的第一目标轮廓图像，然后使用第一目标轮廓图像进行图像识别，该图像识别可以是对图像中的目标或者对象进行识别。比如，可以对图像中的动物进行识别，对图像中的场景进行识别等等。
在上述实施例中，通过计算预测单元包含的各个基本单元的预测资源占用信息，然后使用预测单元包含的各个基本单元的预测资源占用信息计算得到预测单元包含的各个基本单元的像素信息，最后根据预测单元包含的各个基本单元的像素信息和预测单元包含的各个基本单元的位置信息确定视频帧对应的第一目标轮廓图像，由于预测单元是编码单元进一步的划分，从而进一步提高了得到的轮廓图像的精确性。
在一个实施例中，编码单元包括预测单元和转换单元；如图6所示，视频数据处理方法，还包括：
S602，从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据和转换单元对应的转换码流数据，并基于编码单元对应的位置信息确定预测单元对应的预测位置信息和转换单元对应的转换位置信息。
其中，转换单元(Transform Unit，TU)是指进行变换和量化的单元。转换码流数据是指转换单元通过高效率视频编码得到的码流数据。转换位置信息是指转换单元在视频帧中的位置信息。
具体地，编码单元可以进一步划分为预测单元和转换单元，服务器按照高效率视频编码的标准协议从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据，其中，可以通过递归提取得到编码单元中包含的所有预测单元的码流数据。然后服务器按照高效率视频编码的标准协议从编码单元对应的码流数据中提取得到编码树单元对应的码流数据，然后从编码树单元对应的码流数据中递归提取得到各个转换单元对应的码流数据。然后服务器使用编码单元对应的位置信息、编码单元的尺寸、预测单元的尺寸以及转换单元的尺寸来计算预测单元对应的预测位置信息和转换单元对应的转换位置信息。编码单元的尺寸、预测单元的尺寸以及转换单元的尺寸是在进行高效率视频编码时就确定好的。
在一个具体的实施例中，服务器根据高效率视频编码的标准协议7.3.8.5部分的记载，在coding_unit数据流中递归提取出多个prediction_unit部分，这多个部分的数据流分别对应表示多个预测单元(PU)的码流数据。然后服务器根据高效率视频编码的标准协议7.3.8.5部分的记载，在coding_unit数据流中递归提取出所有的transform_tree(转换树单元)部分，这一部分数据流即为一个转换树单元的数据。然后再根据高效率视频编码的标准协议7.3.8.5部分的记载，在transform_tree数据流中递归提取出多个transform_unit(转换单元)部分对应的数据流，这多个部分的数据流分别对应表示多个转换单元(TU)的码流数据。
S604，按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息。
S606，按照基本单元参数将转换码流数据对应的转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息。
其中，转换资源占用信息是指使用转换码流数据计算得到的资源占用信息
具体地，服务器按照基本单元参数将编码单元中的预测单元进行划分，得到编码单元中预测单元包含的各个基本单元，并按照本单元参数将编码单元中的转换单元进行划分，得到编码单元中转换单元包含的各个基本单元。此时，统计预测单元包含的各个基本单元的数量和转换单元包含的各个基本单元的数量。然后服务器统计得到预测码流数据对应的预测资源占用信息和转换码流数据对应的转换资源占用信息。最后服务器计算预测资源占用信息与预测单元包含的各个基本单元的数量的比值，得到预测单元包含的各个基本单元的预测资源占用信息，再计算转换资源占用信息与转换单元包含的各个基本单元的数量的比值，得到转换单元包含的各个基本单元的预测资源占用信息。
S608，将预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的像素信息。
具体地，服务器将预测单元包含的每个基本单元的预测资源占用信息进行像素范围映射，即计算预测单元包含的每个基本单元的预测资源占用信息在像素范围中对应的像素值，将该像素值作为预测单元包含的基本单元的像素信息。其中，可以将预测单元包含的各个基本单元的预测资源占用信息进行归一化，然后计算归一化的值与像素范围最大值的乘积，从而得到预测单元包含的各个基本单元的像素信息。然后服务器将转换单元包含的每个基本单元的转换资源占用信息进行像素范围映射，即计算转换单元包含的每个基本单元的转换资源占用信息在像素范围中对应的像素值，将该像素值作为转换单元包含的基本单元的像素信息。其中，可以将转换单元包含的各个基本单元的转换资源占用信息进行归一化，然后计算归一化的值与像素范围最大值的乘积，从而得到转换单元包含的各个基本单元的像素信息。
S610，基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息，并基于基本单元参数和转换单元对应的转换位置信息进行基本单元位置计算，得到转换单元包含的各个基本单元的位置信息。
具体地，服务器使用基本单元参数和预测单元对应的预测位置信息计算得到预测单元中包含的起始基本单元的位置信息，然后服务器根据预测单元包含的起始基本单元的位置信息按照基本单元参数计算预测单元包含的其他基本单元的位置信息，当预测单元包含的所有基本单元都计算完成时，得到预测单元包含的各个基本单元的位置信息。服务器使用基本单元参数和转换单元对应的转换位置信息计算得到转换单元中包含的起始基本单元的位置信息，然后服务器根据转换单元包含的起始基本单元的位置信息按照基本单元参数计算转换单元包含的其他基本单元的位置信息，当转换单元包含的所有基本单元都计算完成时，得到转换单元包含的各个基本单元的位置信息。
S612，基于预测单元包含的各个基本单元的像素信息、预测单元包含的各个基本单元的位置信息、转换单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的位置信息确定视频帧对应的第二目标轮廓图像。
具体地，服务器将所有预测单元包含的各个基本单元以及所有转换单元包含的各个基本单元作为轮廓图像中的像素点，然后将预测单元以及转换单元包含的各个基本单元的像素信息作为轮廓图像中对应像素点的像素值，并将预测单元以及转换单元包含的各个基本单元的位置信息作为轮廓图像中对应像素点的位置，从而得到视频帧对应的第二目标轮廓图像。
在上述实施例中，通过计算预测单元和转换单元包含的各个基本单元的预测资源占用信息，然后使用预测单元和转换单元包含的各个基本单元的预测资源占用信息计算得到预测单元和转换单元包含的各个基本单元的像素信息，最后根据像素信息和位置信息确定视频帧对应的第一目标轮廓图像，由于预测单元和转换单元是编码单元进一步的划分，从而进一步提高了得到的轮廓图像的精确性。
在一个实施例中，编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；
如图7所示，S602，即基于编码单元对应的位置信息确定预测单元对应的预测位置信息和转换单元对应的转换位置信息，包括：
S702，获取预测单元对应的预测划分参数和转换单元对应的转换划分参数。
其中，预测划分参数是指预测单元在高效率视频编码时使用的划分参数，可以是预测单元的尺寸大小。转换划分参数是指转换单元在高效率视频编码时使用的划分参数，可以是转换单元的尺寸大小。
具体地，服务器可以从视频码流数据中获取到预测单元对应的预测划分参数和转换单元对应的转换划分参数。其中，服务器可以从视频码流数据中获取到预测单元对应的码流数据，然后根据预测单元码流数据的数量和转换单元码流数据的数量以及视频帧的尺寸大小来确定预测划分参数和转换划分参数。
S704，基于起始像素点位置信息和预测划分参数进行起始位置计算，得到预测起始位置信息，基于单元尺寸信息和预测划分参数计算得到预测单元的预测位置偏移参数。
其中，预测起始位置信息是指起始的预测单元的位置信息，即编码单元中包含的第一个预测单元的位置信息。预测位置偏移参数是指编码单元中预测单元与起始像素点所在的预测单元的位置差距。
具体地，服务器计算起始像素点位置信息与预测划分参数之间的比值，得到预测起始位置信息。然后使用编码单元的单元尺寸信息和预测划分参数计算得到预测单元的预测位置偏移参数，其中，服务器计算单元尺寸信息与预测划分参数的比值，得到最大的预测位置偏移参数。然后获取到零到最大的位置偏移参数之间的正整数，得到每个预测单元对应的预测位置偏移参数。
S706，按照预测位置偏移参数对预测起始位置信息进行位置偏移，得到预测单元对应的预测位置信息。
其中，预测位置信息是指预测单元在编码单元中的位置信息。
具体地，服务器计算起始位置信息与每个预测单元的预测位置偏移参数的加和，得到每个预测单元的预测位置信息。在一个实施例中，服务器也可以使用单元尺寸信息和预测划分参数来计算得到每个预测单元的预测位置信息，其中，服务器根据单元尺寸信息和预测划分参数计算编码单元中要划分出的预测单元数量，然后根据预测单元的数量确定预测单元对应的预测位置信息。
S708，基于起始像素点位置信息和转换划分参数进行起始位置计算，得到转换起始位置信息，基于单元尺寸信息和转换划分参数计算得到转换单元的转换位置偏移参数。
其中，转换起始位置信息是指起始的转换单元的位置信息，即编码单元中包含的第一个转换单元的位置信息。转换位置偏移参数是指编码单元中转换单元与起始像素点所在的转换单元的位置差距。
具体地，服务器计算起始像素点位置信息与转换划分参数之间的比值，得到转换起始位置信息。然后使用编码单元的单元尺寸信息和转换划分参数计算得到转换单元的转换位置偏移参数，其中，服务器计算单元尺寸信息与转换划分参数的比值，得到最大的转换位置偏移参数。然后获取到零到最大的位置偏移参数之间的正整数，得到每个转换单元对应的转换位置偏移参数。
S710，按照转换位置偏移参数对转换起始位置信息进行位置偏移，得到转换单元对应的转换位置信息。
其中，转换位置信息是指转换单元在编码单元中的位置信息。
具体地，服务器计算起始位置信息与每个转换单元的转换位置偏移参数的加和，得到每个转换单元的转换位置信息。在一个实施例中，服务器也可以使用单元尺寸信息和转换划分参数来计算得到每个转换单元的转换位置信息，其中，服务器根据单元尺寸信息和转换划分参数计算编码单元中要划分出的转换单元数量，然后根据转换单元的数量确定转换单元对应的转换位置信息。
在上述实施例中，通过使用编码单元对应的位置信息、预测划分参数和转换划分参数来计算得到预测单元对应的预测位置信息和转换单元对应的转换位置信息，从而提高了得到的预测位置信息的准确性和转换位置信息的准确性。
在一个实施例中，S604，按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息，包括：
按照基本单元参数将预测单元进行划分，得到预测单元包含的各个基本单元；计算预测码流数据对应的预测资源占用信息，并基于预测单元包含的各个基本单元的数量将预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息。
具体地，服务器按照基本单元参数将预测单元进行划分，即使用基本单元参数计算得到基本单元的区域面积，然后使用预测单元对应的预测划分参数计算得到预测单元的区域面积，最后计算预测单元的区域面积与基本单元的区域面积的比值，得到预测单元包含的基本单元的数量，根据预测单元包含的基本单元的数量和基本单元的区域面积确定预测单元包含的各个基本单元。然后服务器统计预测单元对应的预测码流数据的预测资源占用信息，比如，可以统计预测单元对应的预测码流数据中的比特开销，得到预测资源占用信息。然后计算预测资源占用信息与基本单元的数量的比值，得到预测单元包含的每个基本单元分配的预测资源占用信息。
在一个实施例中，可以使用如下所示的公式(5)计算基本单元的预测资源占用信息。
其中，是指预测单元中第m行第n列的基本单元。/>是指第m行第n列的基本单元对应的预测资源占用信息。s1是指预测单元的尺寸大小，s1的平方用于表征预测单元的区域面积。/>是指尺寸大小为s1，从第i行第j列的像素点作为起始的预测单元。是指预测单元对应的预测资源占用信息。a是指基本单元的尺寸信息，该尺寸信息可以是尺寸大小，比如，基本单元参数可以是像素点大小为4×4，则a为4。a的平方用于表征基本单元的区域面积。
在上述实施例中，通过按照基本单元参数将预测单元进行划分，得到预测单元包含的各个基本单元；计算预测码流数据对应的预测资源占用信息，并基于各个基本单元的数量将预测资源占用信息进行分配，得到各个基本单元对应的预测资源占用信息，从而提高了基本单元对应的预测资源占用信息的准确性。
在一个实施例中，S606，按照基本单元参数将转换码流数据对应的转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息，包括：
按照基本单元参数将转换单元进行划分，得到转换单元包含的各个基本单元；计算转换码流数据对应的转换资源占用信息，并基于转换单元包含的各个基本单元的数量将转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息。
具体地，服务器按照基本单元参数将转换单元进行划分，即使用基本单元参数计算得到基本单元的区域面积，然后使用转换单元对应的转换划分参数计算得到转换单元的区域面积，最后计算转换单元的区域面积与基本单元的区域面积的比值，得到转换单元包含的基本单元的数量，根据转换单元包含的基本单元的数量和基本单元的尺寸信息确定转换单元包含的各个基本单元。然后服务器统计转换单元对应的转换码流数据的转换资源占用信息，比如，可以统计转换单元对应的转换码流数据中的比特开销，得到转换资源占用信息。然后计算转换资源占用信息与基本单元的数量的比值，得到转换单元包含的每个基本单元分配的预测资源占用信息。
在一个实施例中，可以使用如下所示的公式(6)计算基本单元的转换资源占用信息。
/>
其中，是指转换单元中第m行第n列的基本单元。/>是指第m行第n列的基本单元对应的转换资源占用信息。s1是指转换单元的尺寸大小，s1的平方用于表征转换单元的区域面积。/>是指尺寸大小为s2，从第i行第j列的像素点作为起始的转换单元。是指转换单元对应的转换资源占用信息。a是指基本单元的尺寸信息，比如，基本单元参数可以是像素点大小为4×4，则a为4。a的平方用于表征基本单元的区域面积。
在上述实施例中，通过按照基本单元参数将转换单元进行划分，得到转换单元包含的各个基本单元；计算转换码流数据对应的转换资源占用信息，并基于各个基本单元的数量将转换资源占用信息进行分配，得到各个基本单元对应的转换资源占用信息，从而提高了基本单元对应的转换资源占用信息的准确性。
在一个实施例中，如图8所示，S608，将预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的像素信息，包括：
S802，从预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息中选取得到目标资源占用信息。
其中，目标资源占用信息是指编码单元包含的所有基本单元对应的资源占用信息中最大的资源占用信息。
具体地，服务器比较预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息，然后从各个预测资源占用信息和各个转换资源占用信息选取最大的资源占用信息，得到目标资源占用信息。
S804，基于目标资源占用信息将预测资源占用信息进行归一化，得到预测单元包含的各个基本单元对应的归一化值。
S806，将预测单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到预测单元包含的各个基本单元的像素信息。
具体地，服务器使用目标资源占用信息将各个预测资源占用信息进行归一化，得到预测单元包含的各个基本单元对应的归一化值，即计算预测单元包含的每个基本单元的资源占用信息与目标资源占用信息的比值，得到预测单元包含的每个基本单元对应的归一化值。最后将预测单元包含的每个基本单元对应的归一化值进行像素范围等比例映射，即将归一化值等比例映射到8比特位深的像素范围[0,255]中，得到预测单元包含的各个基本单元的像素信息。
在一个具体的实施例中，可以使用如下所示的公式(7)进行归一化。
其中，是指预测单元包含的第i行第j列的基本单元的归一化值。max{SB}是指目标资源占用信息。然后可以使用如下所示的公式(8)进行等比例映射。
其中，是指预测单元包含的第i行第j列的基本单元的像素信息。计算第i行第j列的基本单元的归一化值与255的乘积，得到最终的轮廓图中处于第i行第j列的像素点的值。
S808，基于目标资源占用信息将转换资源占用信息进行归一化，得到转换单元包含的各个基本单元对应的归一化值。
S810，将转换单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到转换单元包含的各个基本单元的像素信息。
具体地，服务器使用目标资源占用信息将各个转换资源占用信息进行归一化，得到转换单元包含的各个基本单元对应的归一化值，即计算转换单元包含的每个基本单元的资源占用信息与目标资源占用信息的比值，得到转换单元包含的每个基本单元对应的归一化值。最后将转换单元包含的每个基本单元对应的归一化值进行像素范围等比例映射，即将归一化值等比例映射到8比特位深的像素范围[0,255]中，得到转换单元包含的各个基本单元的像素信息。
在一个具体的实施例中，可以使用如下所示的公式(7)进行归一化。
其中，是指转换单元包含的第i行第j列的基本单元的归一化值。max{SB}是指目标资源占用信息。然后可以使用如下所示的公式(8)进行等比例映射。
其中，是指转换单元包含的第i行第j列的基本单元的像素信息。计算第i行第j列的基本单元的归一化值与255的乘积，得到最终的轮廓图中处于第i行第j列的像素点的值。
在上述实施例中，通过基于目标资源占用信息将预测单元以及转换单元包含的各个基本单元的资源占用信息进行归一化，得到测单元以及转换单元包含的各个基本单元对应的归一化值，然后将各个基本单元对应的归一化值进行像素范围等比例映射，得到测单元以及转换单元包含的各个基本单元的像素信息，从而提高了像素信息的准确性。
在一个实施例中，预测单元对应的预测位置信息包括预测起始像素点位置信息和预测尺寸信息，转换单元对应的转换位置信息包括转换起始像素点位置信息和转换尺寸信息；
如图9所示，S610，基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息，并基于基本单元参数和转换单元对应的转换位置信息进行基本单元位置计算，得到转换单元包含的各个基本单元的位置信息，包括：
S902，基于预测起始像素点位置信息和基本单元参数进行起始位置计算，得到预测起始位置信息，基于预测尺寸信息和基本单元参数计算得到预测单元包含的各个基本单元的预测位置偏移参数。
S904，按照预测单元包含的各个基本单元的位置偏移参数对预测起始位置信息进行位置偏移，得到预测单元包含的各个基本单元的位置信息。
其中，预测起始像素点位置信息是指预测单元中起始像素点的位置，可以使用像素点所在的行和列来表征预测起始像素点位置信息。预测尺寸信息是指预测单元对应的尺寸信息，可以是像素尺寸大小。预测起始位置信息是指预测单元中起始的基本单元的位置信息。预测位置偏移参数用于表征预测单元中基本单元与预测单元中起始像素点所在的基本单元之间的位置差距。
具体地，服务器使用计算预测起始像素点位置信息与基本单元对应的尺寸之间的比值，得到预测起始位置信息。然后服务器计算预测尺寸信息与基本单元参数所表征的基本单元的尺寸信息之间的比值，得到最大的位置偏移参数，然后获取到零到最大的位置偏移参数之间的正整数，得到预测单元包含的每个基本单元的位置偏移参数。预测单元包含的第一个基本单元即起始像素点所在的基本单元的位置偏移参数为0，预测单元包含的最后一个基本单元的位置偏移参数为最大的位置偏移参数。最后服务器计算预测起始位置信息与预测单元包含的每个基本单元的位置偏移参数的和，得到预测单元中各个基本单元的预测位置偏移参数。
S906，基于转换起始像素点位置信息和基本单元参数进行起始位置计算，得到转换起始位置信息，基于转换尺寸信息和基本单元参数计算得到转换单元包含的各个基本单元的位置偏移参数；
S908，按照转换单元包含的各个基本单元的位置偏移参数对转换起始位置信息进行位置偏移，得到转换单元包含的各个基本单元的位置信息。
其中，转换起始像素点位置信息是指转换单元中起始像素点的位置，可以使用像素点所在的行和列来表征转换起始像素点位置信息。转换尺寸信息是指转换单元对应的尺寸信息，可以是像素尺寸大小。转换起始位置信息是指转换单元中起始的基本单元的位置信息。转换位置偏移参数用于表征转换单元中基本单元与转换单元中起始像素点所在的基本单元之间的位置差距。
具体地，服务器使用计算转换起始像素点位置信息与基本单元对应的尺寸之间的比值，得到转换起始位置信息。然后服务器计算转换尺寸信息与基本单元参数所表征的基本单元的尺寸信息之间的比值，得到最大的位置偏移参数，然后获取到零到最大的位置偏移参数之间的正整数，得到转换单元包含的每个基本单元的位置偏移参数。转换单元包含的第一个基本单元即起始像素点所在的基本单元的位置偏移参数为0，转换单元包含的最后一个基本单元的位置偏移参数为最大的位置偏移参数。最后服务器计算转换起始位置信息与转换单元包含的每个基本单元的位置偏移参数的和，得到转换单元中各个基本单元的预测位置偏移参数。
在上述实施例中，通过使用预测起始位置信息和预测单元包含的各个基本单元的预测位置偏移参数，得到预测单元中各个基本单元的位置信息，再通过使用转换起始位置信息和转换单元包含的各个基本单元的转换位置偏移参数，得到转换单元中各个基本单元的位置信息，从而提高了得到的位置信息的准确性。
在一个实施例中，编码单元中也可以只包含转换单元。此时，服务器从编码单元对应的码流数据中提取得到转换单元对应的转换码流数据，并基于编码单元对应的位置信息确定转换单元对应的转换位置信息。按照基本单元参数将转换码流数据对应的转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息。将转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到转换单元包含的各个基本单元的像素信息。基于基本单元参数和转换单元对应的转换位置信息进行基本单元位置计算，得到转换单元包含的各个基本单元的位置信息。基于转换单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的位置信息确定视频帧对应的第三目标轮廓图像。
在一个实施例中，在S208之后，在基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像之后，还包括：
获取视频码流数据中各个视频帧对应的轮廓图像，将各个视频帧对应的轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个轮廓图像对应的图像异常识别结果；基于各个轮廓图像对应的图像异常识别结果确定视频码流数据对应的视频异常识别结果。
其中，图像异常识别模型是指进行图像依次识别的神经网络模型。该图像异常识别模型是通过训练数据进行训练得到的，该训练数据包括有训练时使用的轮廓图像和对应的图像识别结果标签，该标签包括正常标签和异常标签。即将训练时使用的轮廓图像输入到初始图像异常识别模型中，得到初始的图像识别结果，然后计算初始的图像识别结果与图像识别结果标签的误差，是使用误差更新初始图像异常识别模型，当得到训练完成条件时，得到图像异常识别模型。图像异常是指图像中存在违规违法的内容，比如，存在涉黄内容等等。图像异常识别结果是指对轮廓图像进行识别是否异常的结果，包括轮廓图像是正常的图像以及轮廓图像是异常的图像。视频异常识别结果是指视频码流数据对应的视频是否存在异常的识别结果，包括是视频是正常视频和视频是异常视频。
具体地，服务器依次通过视频数据处理方法来获取视频码流数据中各个视频帧对应的轮廓图像。然后进行视频异常识别，即服务器将各个视频帧对应的轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个轮廓图像对应的图像异常识别结果。最后服务器根据各个轮廓图像对应的图像异常识别结果确定视频码流数据对应的视频异常识别结果，其中，可以统计图像异常和图像正常的轮廓图像比例，当图像异常的轮廓图像比例超过图像正常的轮廓图像比例时，得到视频异常识别结果为视频异常，当图像异常的轮廓图像比例未超过图像正常的轮廓图像比例值时，得到视频异常识别结果为视频异常。服务器还可以当图像异常的轮廓图像比例超过预设阈值时，得到视频异常识别结果为视频异常，当图像异常的轮廓图像比例未超过预设阈值时，得到视频异常识别结果为视频异常。
在上述实施例中，通过获取视频码流数据中各个视频帧对应的轮廓图像，将各个视频帧对应的轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个轮廓图像对应的图像异常识别结果；基于各个轮廓图像对应的图像异常识别结果确定视频码流数据对应的视频异常识别结果，从而提高了视频异常识别的准确性，并且通过轮廓图像进行异常识别，从而不需要对视频进行解码处理，节省了服务器的计算资源。
在一个具体的实施例中，如图10所示，提供一种视频数据处理方法的流程示意图，由计算机设备执行，具体包含以下步骤：
S1002，获取视频码流数据，从视频码流中提取得到视频帧对应的码流数据，从视频帧对应的码流数据中提取得到编码树单元对应的码流数据，并从编码树单元对应的码流数据递归提取得到编码单元对应的码流数据。
S1004，从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据和转换单元对应的转换码流数据，并基于编码单元对应的位置信息确定预测单元对应的预测位置信息和转换单元对应的转换位置信息；
S1006，获取视频帧对应的基本单元参数，按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息。
S1008，按照基本单元参数将转换码流数据对应的转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息。
S1010，将预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的像素信息。
S1012，基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息，并基于基本单元参数和转换单元对应的转换位置信息进行基本单元位置计算，得到转换单元包含的各个基本单元的位置信息。
S1014，基于预测单元包含的各个基本单元的像素信息、预测单元包含的各个基本单元的位置信息、转换单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的位置信息确定视频帧对应的第二目标轮廓图像。
S1016，获取视频码流数据中各个视频帧对应的第二目标轮廓图像，将各个视频帧对应的第二目标轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个第二目标轮廓图像对应的图像异常识别结果。基于各个第二目标轮廓图像对应的图像异常识别结果确定视频码流数据对应的视频异常识别结果。
在一个具体的实施例中，如图11所示，提供一种视频数据处理方法的流程示意图，具体来说：服务器获取到终端上传的通过高效率视频编码(H.265/HEVC)得到的视频码流数据，该码流数据是指二进制的视频数据。然后从视频码流数据库中提取到视频帧(slice)码流数据，然后从视频帧码流数据中提取编码树单元(CTU)码流数据，再从CTU码流数据中提取编码单元(CU)码流数据。此时，服务器从编码单元码流数据中提取出所有预测单元码流数据，并同时从编码单元码流数据中提取所有转换单元(TU)码流数据。然后统计每个预测单元的码流数据对应的比特开销，即统计码流数据中0和1的总数量，也可以是统计码流数据对应的二进制的位数。服务器同时统计每个转换单元的码流数据对应的比特开销。然后获取到基本单元参数可以是4x4像素，即此时需要将视频帧划分为4x4像素大小的基本单元，该基本单元也可以称为子块(SB，subblock)。此时，服务器将每个预测单元对应的比特开销平均分配到所包含的所有子块中，得到预测单元包含的各个基本单元对应的比特开销。同时服务器将每个转换单元对应的比特开销平均分配到所包含的所有子块中，得到转换单元包含的各个基本单元对应的比特开销。然后服务器将所有基本单元对应的比特开销进行归一化，即从所有基本单元对应的比特开销中确定最大比特开销，然后计算每个基本单元对应的比特开销与最大比特开销的比值，得到归一化后的比特开销。然后将归一化后的比特开销等比例因素到8比特像素范围值中，即计算归一化后的比特开销与像素值255的乘积，从而得到每个基本单元对应的像素信息。然后获取视频帧中预测单元以及转换单元的位置信息，该视频帧中预测单元以及转换单元的位置信息可以是在编码时就确定好的。然后服务器根据预测单元、转换单元的位置信息以及基本单元的划分参数确定每个基本单元的位置信息。最后根据每个基本单元对应的像素信息以及每个基本单元的位置信息得到视频帧对应的轮廓图。即只统计比特开销，节省了解码过程中预测、补偿、反变换和反量化等步骤，从而降低了解码的计算资源消耗，节省了计算资源。
在一个具体的实施例中，该视频数据处理方法应用于直播场景中，具体来说：如图12所示，提供一种直播过程中对直播视频进行异常识别的整体框架示意图，其中，主播通过直播平台进行直播服务时，直播平台云服务需要对直播视频进行异常检测，当直播视频未存在异常时，才会推送到观看直播的观众终端中进行播放。目前，直播平台对直播视频进行异常检测时，通常是需要对编码后的视频进行解码，得到原始像素的图像，然后对原始像素的图像进行异常识别。然而，这种异常检测方法存在计算资源消耗大的问题。本申请中，主播终端通过摄像头采集主播的镜头画面，然后将采集的原始像素画面通过高效率视频编码，得到编码后的码流数据，即比特流。然后将编码后的码流数据上传到直播平台云服务器中。此时，直播平台云服务器获取到视频码流数据，从视频码流数据中提取得到视频帧对应的码流数据，然后从视频帧对应的码流数据提取得到预测单元对应的码流数据和转换单元对应的码流数据。然后统计预测单元对应的码流数据的比特开销，同时统计转换单元对应的码流数据的比特开销，再将比特开销平均分配到包含的基本单元中，得到各个基本单元对应的比特开销。然后归一化所有基本单元对应的比特开销，并将归一化后的比特开销等比映射到8比特像素范围值中，得到各个基本单元的像素信息，然后根据各个基本单元的像素信息和视频帧使用基本单元参数进行划分时确定的位置信息得到视频帧对应的轮廓图像。然后将轮廓图像输入到图像异常识别模型中进行异常检测。即本申请中通过视频压缩域信息熵理论，即纹理复杂的编码单元编码时所需消耗的比特数较高，纹理简单的编码单元编码时所需消耗的比特数较低。然后以视频帧为单位，统计各编码单元所消耗的编码比特数量，用来表示该编码单元的信息熵。将各宏块的比特开销与所在帧的最大宏块比特开销的比值等比例映射到[0,255]像素范围中，得到该视频帧对应的轮廓图。比如，如图13所示，为视频帧对应的轮廓图的示意图，其中，包括有I帧(帧内编码帧，intra picture)所对应的轮廓图、P(前向预测编码帧，predictive-frame，)帧所对应的轮廓图以及B帧(双向预测内插编码帧，bi-directional interpolated prediction frame)所对应的轮廓图，从而轮廓图中可以清晰的感知到视频画面的内容主体。最后，通过对每一个视频帧的轮廓图进行图像识别来实时判定直播流中是否含有异常信息。然后将未含有异常信息的视频码流数据推送到观众终端，观众终端接收到视频码流数据进行解码，得到原始像素视频，然后将原始像素视频进行渲染并播放，从而不需要云服务器在异常检测时对视频码流数据进行解码，节省了云服务器的计算资源。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频数据处理方法的视频数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频数据处理装置实施例中的具体限定可以参见上文中对于视频数据处理方法的限定，在此不再赘述。
在一个实施例中，如图14所示，提供了一种视频数据处理装置1400，包括：数据获取模块1402、信息分配模块1404、信息映射模块1406和图像确定模块1408，其中：
数据获取模块1402，用于获取视频帧的编码单元对应的码流数据和编码单元对应的位置信息；
信息分配模块1404，用于获取视频帧对应的基本单元参数，并按照基本单元参数将码流数据对应的资源占用信息进行分配，得到编码单元包含的各个基本单元的资源占用信息；
信息映射模块1406，用于将各个基本单元的资源占用信息进行像素范围映射，得到各个基本单元的像素信息，并基于基本单元参数和编码单元对应的位置信息进行基本单元位置计算，得到各个基本单元的位置信息；
图像确定模块1408，用于基于各个基本单元的像素信息和各个基本单元的位置信息确定视频帧对应的轮廓图像，轮廓图像用于进行图像识别。
在一个实施例中，数据获取模块1402还用于获取视频码流数据，从视频码流中提取得到视频帧对应的码流数据；从视频帧对应的码流数据中提取得到编码树单元对应的码流数据，并从编码树单元对应的码流数据递归提取得到编码单元对应的码流数据；获取视频帧对应的编码划分参数和图像尺寸信息，基于图像尺寸信息和编码划分参数进行编码单元位置计算，得到编码单元对应的位置信息。
在一个实施例中，信息分配模块1404还用于按照基本单元参数将编码单元进行划分，得到编码单元包含的各个基本单元；计算码流数据对应的资源占用信息，并基于各个基本单元的数量将资源占用信息进行分配，得到各个基本单元对应的资源占用信息。
在一个实施例中，信息映射模块1406还用于从各个基本单元的资源占用信息中选取得到目标资源占用信息；基于目标资源占用信息将各个基本单元的资源占用信息进行归一化，得到各个基本单元对应的归一化值；将各个基本单元对应的归一化值进行像素范围等比例映射，得到各个基本单元的像素信息。
在一个实施例中，编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；信息映射模块1406还用于基于起始像素点位置信息和基本单元参数进行起始位置计算，得到起始位置信息；基于单元尺寸信息和基本单元参数计算得到各个基本单元的位置偏移参数；按照各个基本单元的位置偏移参数对起始位置信息进行位置偏移，得到各个基本单元的位置信息。
在一个实施例中，编码单元包括预测单元；视频数据处理装置，还包括：
预测单元处理模块，用于从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据，并基于编码单元对应的位置信息确定预测单元对应的预测位置信息；按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息；将预测单元包含的各个基本单元的预测资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息；基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息；基于预测单元包含的各个基本单元的像素信息和预测单元包含的各个基本单元的位置信息确定视频帧对应的第一目标轮廓图像。
在一个实施例中，编码单元包括预测单元和转换单元；视频数据处理装置，还包括：
单元数据提取模块，用于从编码单元对应的码流数据中提取得到预测单元对应的预测码流数据和转换单元对应的转换码流数据，并基于编码单元对应的位置信息确定预测单元对应的预测位置信息和转换单元对应的转换位置信息；
预测单元分配模块，用于按照基本单元参数将预测码流数据对应的预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息；
转换单元分配模块，用于按照基本单元参数将转换码流数据对应的转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息；
单元映射模块，用于将预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到预测单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的像素信息；
位置计算模块，用于基于基本单元参数和预测单元对应的预测位置信息进行基本单元位置计算，得到预测单元包含的各个基本单元的位置信息，并基于基本单元参数和转换单元对应的转换位置信息进行基本单元位置计算，得到转换单元包含的各个基本单元的位置信息；
目标图像确定模块，用于基于预测单元包含的各个基本单元的像素信息、预测单元包含的各个基本单元的位置信息、转换单元包含的各个基本单元的像素信息和转换单元包含的各个基本单元的位置信息确定视频帧对应的第二目标轮廓图像。
在一个实施例中，编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；单元数据提取模块还用于获取预测单元对应的预测划分参数和转换单元对应的转换划分参数；基于起始像素点位置信息和预测划分参数进行起始位置计算，得到预测起始位置信息，基于单元尺寸信息和预测划分参数计算得到预测单元的预测位置偏移参数；按照预测位置偏移参数对预测起始位置信息进行位置偏移，得到预测单元对应的预测位置信息；基于起始像素点位置信息和转换划分参数进行起始位置计算，得到转换起始位置信息，基于单元尺寸信息和转换划分参数计算得到转换单元的转换位置偏移参数；按照转换位置偏移参数对转换起始位置信息进行位置偏移，得到转换单元对应的转换位置信息。
在一个实施例中，预测单元分配模块还用于按照基本单元参数将预测单元进行划分，得到预测单元包含的各个基本单元；计算预测码流数据对应的预测资源占用信息，并基于预测单元包含的各个基本单元的数量将预测资源占用信息进行分配，得到预测单元包含的各个基本单元的预测资源占用信息。
在一个实施例中，转换单元分配模块还用于按照基本单元参数将转换单元进行划分，得到转换单元包含的各个基本单元；计算转换码流数据对应的转换资源占用信息，并基于转换单元包含的各个基本单元的数量将转换资源占用信息进行分配，得到转换单元包含的各个基本单元的转换资源占用信息。
在一个实施例中，单元映射模块还用于从预测单元包含的各个基本单元的预测资源占用信息和转换单元包含的各个基本单元的转换资源占用信息中选取得到目标资源占用信息；基于目标资源占用信息将预测资源占用信息进行归一化，得到预测单元包含的各个基本单元对应的归一化值；将预测单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到预测单元包含的各个基本单元的像素信息；基于目标资源占用信息将转换资源占用信息进行归一化，得到转换单元包含的各个基本单元对应的归一化值；将转换单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到转换单元包含的各个基本单元的像素信息。
在一个实施例中，预测单元对应的预测位置信息包括预测起始像素点位置信息和预测尺寸信息，转换单元对应的转换位置信息包括转换起始像素点位置信息和转换尺寸信息；位置计算模块还用于基于预测起始像素点位置信息和基本单元参数进行起始位置计算，得到预测起始位置信息，基于预测尺寸信息和基本单元参数计算得到预测单元包含的各个基本单元的预测位置偏移参数；按照预测单元包含的各个基本单元的位置偏移参数对预测起始位置信息进行位置偏移，得到预测单元包含的各个基本单元的位置信息；基于转换起始像素点位置信息和基本单元参数进行起始位置计算，得到转换起始位置信息，基于转换尺寸信息和基本单元参数计算得到转换单元包含的各个基本单元的位置偏移参数；按照转换单元包含的各个基本单元的位置偏移参数对转换起始位置信息进行位置偏移，得到转换单元包含的各个基本单元的位置信息。
在一个实施例中，视频数据处理装置1400，还包括：
异常识别模块，用于获取视频码流数据中各个视频帧对应的轮廓图像，将各个视频帧对应的轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个轮廓图像对应的图像异常识别结果；基于各个轮廓图像对应的图像异常识别结果确定视频码流数据对应的视频异常识别结果。
上述视频数据处理装置中的各个模单元可全部或部分通过软件、硬件及其组合来实现。上述各模单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模单元对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频码流数据、基本单元参数以及轮廓图像等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频数据处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15或者图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区单元链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (17)

1.一种视频数据处理方法，其特征在于，所述方法包括：
获取视频帧的编码单元对应的码流数据和所述编码单元对应的位置信息；
获取所述视频帧对应的基本单元参数，并按照所述基本单元参数将所述码流数据对应的资源占用信息进行分配，得到所述编码单元包含的各个基本单元的资源占用信息；
将所述各个基本单元的资源占用信息进行像素范围映射，得到所述各个基本单元的像素信息，并基于所述基本单元参数和所述编码单元对应的位置信息进行基本单元位置计算，得到所述各个基本单元的位置信息；
基于所述各个基本单元的像素信息和所述各个基本单元的位置信息确定所述视频帧对应的轮廓图像，所述轮廓图像用于进行图像识别。
2.根据权利要求1所述的方法，其特征在于，所述获取视频帧的编码单元对应的码流数据和所述编码单元对应的位置信息，包括：
获取视频码流数据，从所述视频码流中提取得到视频帧对应的码流数据；
从所述视频帧对应的码流数据中提取得到编码树单元对应的码流数据，并从所述编码树单元对应的码流数据递归提取得到编码单元对应的码流数据；
获取所述视频帧对应的编码划分参数和图像尺寸信息，基于所述图像尺寸信息和所述编码划分参数进行编码单元位置计算，得到所述编码单元对应的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述按照所述基本单元参数将所述码流数据对应的资源占用信息进行分配，得到所述编码单元包含的各个基本单元的资源占用信息，包括：
按照所述基本单元参数将所述编码单元进行划分，得到所述编码单元包含的各个基本单元；
计算所述码流数据对应的资源占用信息，并基于所述各个基本单元的数量将所述资源占用信息进行分配，得到所述各个基本单元对应的资源占用信息。
4.根据权利要求1所述的方法，其特征在于，将所述各个基本单元的资源占用信息进行像素范围映射，得到所述各个基本单元的像素信息，包括：
从所述各个基本单元的资源占用信息中选取得到目标资源占用信息；
基于所述目标资源占用信息将所述各个基本单元的资源占用信息进行归一化，得到所述各个基本单元对应的归一化值；
将所述各个基本单元对应的归一化值进行像素范围等比例映射，得到所述各个基本单元的像素信息。
5.根据权利要求1所述的方法，其特征在于，所述编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；
所述按照所述基本单元参数和所述编码单元对应的位置信息进行基本单元位置计算，得到所述各个基本单元的位置信息，包括：
基于所述起始像素点位置信息和所述基本单元参数进行起始位置计算，得到起始位置信息；
基于所述单元尺寸信息和所述基本单元参数计算得到所述各个基本单元的位置偏移参数；
按照所述各个基本单元的位置偏移参数对所述起始位置信息进行位置偏移，得到所述各个基本单元的位置信息。
6.根据权利要求1所述的方法，其特征在于，所述编码单元包括预测单元；所述方法，还包括：
从所述编码单元对应的码流数据中提取得到所述预测单元对应的预测码流数据，并基于所述编码单元对应的位置信息确定所述预测单元对应的预测位置信息；
按照所述基本单元参数将所述预测码流数据对应的预测资源占用信息进行分配，得到所述预测单元包含的各个基本单元的预测资源占用信息；
将所述预测单元包含的各个基本单元的预测资源占用信息进行像素范围映射，得到所述预测单元包含的各个基本单元的像素信息；
基于所述基本单元参数和所述预测单元对应的预测位置信息进行基本单元位置计算，得到所述预测单元包含的各个基本单元的位置信息；
基于所述预测单元包含的各个基本单元的像素信息和所述预测单元包含的各个基本单元的位置信息确定所述视频帧对应的第一目标轮廓图像。
7.根据权利要求1所述的方法，其特征在于，所述编码单元包括预测单元和转换单元；所述方法，还包括：
从所述编码单元对应的码流数据中提取得到所述预测单元对应的预测码流数据和所述转换单元对应的转换码流数据，并基于所述编码单元对应的位置信息确定所述预测单元对应的预测位置信息和所述转换单元对应的转换位置信息；
按照所述基本单元参数将所述预测码流数据对应的预测资源占用信息进行分配，得到所述预测单元包含的各个基本单元的预测资源占用信息；
按照所述基本单元参数将所述转换码流数据对应的转换资源占用信息进行分配，得到所述转换单元包含的各个基本单元的转换资源占用信息；
将所述预测单元包含的各个基本单元的预测资源占用信息和所述转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到所述预测单元包含的各个基本单元的像素信息和所述转换单元包含的各个基本单元的像素信息；
基于所述基本单元参数和所述预测单元对应的预测位置信息进行基本单元位置计算，得到所述预测单元包含的各个基本单元的位置信息，并基于所述基本单元参数和所述转换单元对应的转换位置信息进行基本单元位置计算，得到所述转换单元包含的各个基本单元的位置信息；
基于所述预测单元包含的各个基本单元的像素信息、所述预测单元包含的各个基本单元的位置信息、所述转换单元包含的各个基本单元的像素信息和所述转换单元包含的各个基本单元的位置信息确定所述视频帧对应的第二目标轮廓图像。
8.根据权利要求7所述的方法，其特征在于，所述编码单元对应的位置信息包括起始像素点位置信息和单元尺寸信息；
所述基于所述编码单元对应的位置信息确定所述预测单元对应的预测位置信息和所述转换单元对应的转换位置信息，包括：
获取所述预测单元对应的预测划分参数和所述转换单元对应的转换划分参数；
基于所述起始像素点位置信息和所述预测划分参数进行起始位置计算，得到预测起始位置信息，基于所述单元尺寸信息和所述预测划分参数计算得到所述预测单元的预测位置偏移参数；
按照所述预测位置偏移参数对所述预测起始位置信息进行位置偏移，得到所述预测单元对应的预测位置信息；
基于所述起始像素点位置信息和所述转换划分参数进行起始位置计算，得到转换起始位置信息，基于所述单元尺寸信息和所述转换划分参数计算得到所述转换单元的转换位置偏移参数；
按照所述转换位置偏移参数对所述转换起始位置信息进行位置偏移，得到所述转换单元对应的转换位置信息。
9.根据权利要求7所述的方法，其特征在于，所述按照所述基本单元参数将所述预测码流数据对应的预测资源占用信息进行分配，得到所述预测单元包含的各个基本单元的预测资源占用信息，包括：
按照所述基本单元参数将所述预测单元进行划分，得到所述预测单元包含的各个基本单元；
计算所述预测码流数据对应的预测资源占用信息，并基于所述预测单元包含的各个基本单元的数量将所述预测资源占用信息进行分配，得到所述预测单元包含的各个基本单元的预测资源占用信息。
10.根据权利要求7所述的方法，其特征在于，所述按照所述基本单元参数将所述转换码流数据对应的转换资源占用信息进行分配，得到所述转换单元包含的各个基本单元的转换资源占用信息，包括：
按照所述基本单元参数将所述转换单元进行划分，得到所述转换单元包含的各个基本单元；
计算所述转换码流数据对应的转换资源占用信息，并基于所述转换单元包含的各个基本单元的数量将所述转换资源占用信息进行分配，得到所述转换单元包含的各个基本单元的转换资源占用信息。
11.根据权利要求7所述的方法，其特征在于，所述将所述预测单元包含的各个基本单元的预测资源占用信息和所述转换单元包含的各个基本单元的转换资源占用信息进行像素范围映射，得到所述预测单元包含的各个基本单元的像素信息和所述转换单元包含的各个基本单元的像素信息，包括：
从所述预测单元包含的各个基本单元的预测资源占用信息和所述转换单元包含的各个基本单元的转换资源占用信息中选取得到目标资源占用信息；
基于所述目标资源占用信息将所述预测资源占用信息进行归一化，得到所述预测单元包含的各个基本单元对应的归一化值；
将所述预测单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到所述预测单元包含的各个基本单元的像素信息；
基于所述目标资源占用信息将所述转换资源占用信息进行归一化，得到所述转换单元包含的各个基本单元对应的归一化值；
将所述转换单元包含的各个基本单元对应的归一化值进行像素范围等比例映射，得到所述转换单元包含的各个基本单元的像素信息。
12.根据权利要求7所述的方法，其特征在于，所述预测单元对应的预测位置信息包括预测起始像素点位置信息和预测尺寸信息，所述转换单元对应的转换位置信息包括转换起始像素点位置信息和转换尺寸信息；
所述基于所述基本单元参数和所述预测单元对应的预测位置信息进行基本单元位置计算，得到所述预测单元包含的各个基本单元的位置信息，并基于所述基本单元参数和所述转换单元对应的转换位置信息进行基本单元位置计算，得到所述转换单元包含的各个基本单元的位置信息，包括：
基于所述预测起始像素点位置信息和所述基本单元参数进行起始位置计算，得到预测起始位置信息，基于所述预测尺寸信息和所述基本单元参数计算得到所述预测单元包含的各个基本单元的预测位置偏移参数；
按照所述预测单元包含的各个基本单元的位置偏移参数对所述预测起始位置信息进行位置偏移，得到所述预测单元包含的各个基本单元的位置信息；
基于所述转换起始像素点位置信息和所述基本单元参数进行起始位置计算，得到转换起始位置信息，基于所述转换尺寸信息和所述基本单元参数计算得到所述转换单元包含的各个基本单元的位置偏移参数；
按照所述转换单元包含的各个基本单元的位置偏移参数对所述转换起始位置信息进行位置偏移，得到所述转换单元包含的各个基本单元的位置信息。
13.根据权利要求1所述的方法，其特征在于，在所述基于所述各个基本单元的像素信息和所述各个基本单元的位置信息确定所述视频帧对应的轮廓图像之后，还包括：
获取视频码流数据中各个视频帧对应的轮廓图像，将所述各个视频帧对应的轮廓图像依次输入到图像异常识别模型中进行图像异常识别，得到各个轮廓图像对应的图像异常识别结果；
基于所述各个轮廓图像对应的图像异常识别结果确定所述视频码流数据对应的视频异常识别结果。
14.一种视频数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取视频帧的编码单元对应的码流数据和所述编码单元对应的位置信息；
信息分配模块，用于获取所述视频帧对应的基本单元参数，并按照所述基本单元参数将所述码流数据对应的资源占用信息进行分配，得到所述编码单元包含的各个基本单元的资源占用信息；
信息映射模块，用于将所述各个基本单元的资源占用信息进行像素范围映射，得到所述各个基本单元的像素信息，并基于所述基本单元参数和所述编码单元对应的位置信息进行基本单元位置计算，得到所述各个基本单元的位置信息；
图像确定模块，用于基于所述各个基本单元的像素信息和所述各个基本单元的位置信息确定所述视频帧对应的轮廓图像，所述轮廓图像用于进行图像识别。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
17.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
CN202310590206.3A 2023-05-23 2023-05-23 视频数据处理方法、装置、计算机设备和存储介质 Pending CN116980603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310590206.3A CN116980603A (zh) 2023-05-23 2023-05-23 视频数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310590206.3A CN116980603A (zh) 2023-05-23 2023-05-23 视频数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116980603A true CN116980603A (zh) 2023-10-31

Family

ID=88473874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310590206.3A Pending CN116980603A (zh) 2023-05-23 2023-05-23 视频数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116980603A (zh)

Similar Documents

Publication Publication Date Title
US20200329233A1 (en) Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content
KR100974177B1 (ko) 랜덤 필드 모델을 사용한 사진 및 비디오 압축과 프레임레이트 업 변환을 개선시키는 방법 및 장치
Sadek et al. Robust video steganography algorithm using adaptive skin-tone detection
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN110139104B (zh) 视频解码方法、装置、计算机设备和存储介质
WO2016082277A1 (zh) 一种视频认证方法及装置
US9420299B2 (en) Method for processing an image
US11893762B2 (en) Method and data processing system for lossy image or video encoding, transmission and decoding
Fu et al. Efficient depth intra frame coding in 3D-HEVC by corner points
WO2023132919A1 (en) Scalable framework for point cloud compression
Yuan et al. Object shape approximation and contour adaptive depth image coding for virtual view synthesis
CN114598883A (zh) 点云属性的预测方法、编码器、解码器及存储介质
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN116980603A (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN115278225A (zh) 色度编码模式的选择方法、装置和计算机设备
CN114650421A (zh) 视频处理方法、装置、电子设备及存储介质
CN101310534A (zh) 使用随机域模型改进图片和视频压缩以及帧速率上转换的方法和设备
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
CN114554175B (zh) 一种基于分类重排的二维点云距离图像的无损压缩方法
Zhang et al. An early CU partition mode decision algorithm in VVC based on variogram for virtual reality 360 degree videos
CN116684607B (zh) 图像压缩和解压缩方法、装置、电子设备及存储介质
WO2024007144A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
US20240037799A1 (en) Point cloud coding/decoding method and apparatus, device and storage medium
CN115410122A (zh) 视频摘要生成方法、装置、计算机设备和存储介质
CN116979971A (zh) 数据编码、解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40097745

Country of ref document: HK