CN114245140B - 一种基于深度学习的码流预测方法和装置 - Google Patents

一种基于深度学习的码流预测方法和装置 Download PDF

Info

Publication number
CN114245140B
CN114245140B CN202111441073.0A CN202111441073A CN114245140B CN 114245140 B CN114245140 B CN 114245140B CN 202111441073 A CN202111441073 A CN 202111441073A CN 114245140 B CN114245140 B CN 114245140B
Authority
CN
China
Prior art keywords
deep learning
code stream
learning algorithm
optimization
uncompressed audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111441073.0A
Other languages
English (en)
Other versions
CN114245140A (zh
Inventor
兰雨晴
黄永琢
余丹
王丹星
唐霆岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202111441073.0A priority Critical patent/CN114245140B/zh
Publication of CN114245140A publication Critical patent/CN114245140A/zh
Application granted granted Critical
Publication of CN114245140B publication Critical patent/CN114245140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请提供了一种基于深度学习的码流预测方法和装置，涉及音视频数据处理技术领域。该方法首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。

Description

一种基于深度学习的码流预测方法和装置
技术领域
本申请涉及音视频数据处理技术领域，尤其涉及一种基于深度学习的码流预测方法和装置。
背景技术
由于音视频帧的数据量原因，要完整传输很困难，都是对其进行压缩处理，编码之后再进行传输，这样当然会丢失掉很多细节。虽然压缩后的码流不影响意义上的理解，但是会丢失掉很多细节，即音视频分成了很多个质量档次，分别压缩的多或是少。相关技术中对音视频的压缩主要是只保留I帧以及其他帧的运动向量，从I帧预测出P帧与B帧。这样的编码方式可以将码流压缩至很小，但是很难从已经压缩过的码流还原出未压缩过的完整码流，故当需要完整码流时只能重新传输完整码流。因此，亟需解决这一技术问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的码流预测方法和装置，通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。所述技术方案如下：
第一方面，提供了一种基于深度学习的码流预测方法，包括以下步骤：
通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。
在一种可能的实现方式中，所述比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，包括：
根据优化前后的比对结果构建出优化直方图；
通过优化直方图判断优化过程是否准确可靠。
在一种可能的实现方式中，利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure GDA0003712349770000021
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。
在一种可能的实现方式中，利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure GDA0003712349770000022
其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
在一种可能的实现方式中，利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure GDA0003712349770000031
Figure GDA0003712349770000032
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
第二方面，提供了一种基于深度学习的码流预测装置，包括：
初始预测模块，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
优化因子处理模块，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
判断模块，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
目标预测模块，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。
在一种可能的实现方式中，所述判断模块还用于：
根据优化前后的比对结果构建出优化直方图；
通过优化直方图判断优化过程是否准确可靠。
在一种可能的实现方式中，所述优化因子处理模块还用于：
利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure GDA0003712349770000041
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。
在一种可能的实现方式中，所述判断模块还用于：
利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure GDA0003712349770000042
其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
在一种可能的实现方式中，所述判断模块还用于：
利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure GDA0003712349770000043
Figure GDA0003712349770000051
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
借由上述技术方案，本申请实施例提供的基于深度学习的码流预测方法和装置，首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1示出了根据本申请实施例的基于深度学习的码流预测方法的流程图；
图2示出了根据本申请实施例的基于深度学习的码流预测装置的结构图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
本申请实施例提供了一种基于深度学习的码流预测方法，如图1所示，该基于深度学习的码流预测方法可以包括以下步骤S101至S104：
步骤S101，通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
步骤S102，对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
步骤S103，比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
步骤S104，根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。
本申请实施例首先通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。可以看到，本实施例通过对深度学习算法的优化，能够从已压缩过的码流反向推出未压缩过的码流，这样就避免了传输未压缩过的码流造成资源的浪费。
本申请实施例中提供了一种可能的实现方式，上文步骤S102中对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子，具体利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure GDA0003712349770000071
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。
本实施例根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子，进而根据预测的结果与真实的结果做对比得到优化因子，保证优化的针对性。
本申请实施例中提供了一种可能的实现方式，上文步骤S103中比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，具体可以利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure GDA0003712349770000072
其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化，以保证优化后的深度学习算法的预测结果可以更加准确可靠；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
本实施例比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，从而本实施例利用公式会自动判断出是否需要加入优化因子，进而能自动选择出最可靠最准确的预测方式。
本申请实施例中提供了一种可能的实现方式，上文步骤S103中比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，具体还可以根据优化前后的比对结果构建出优化直方图；通过优化直方图判断优化过程是否准确可靠。本实施例通过优化直方图可以让工作人员能更加直观的判断优化过程是否准确可靠，以及知晓系统自动控制加入或不加入优化因子的原因。
本申请实施例中提供了一种可能的实现方式，还可以利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure GDA0003712349770000081
Figure GDA0003712349770000082
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
本实施例根据优化前后的比对结果构建出优化直方图，可以对直方图中优化前后所对应的方形图案的高度进行自动调整然后显示在显示端，进而通过直方图可以直观的看出系统在自动控制以及选择的过程中其判断的依据，从而可以使工作人员可以进行相应的观察和控制，提供了便利。
需要说明的是，实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本申请的可能的实施例，在此不再一一赘述。
基于上文各个实施例提供的基于深度学习的码流预测方法，基于同一发明构思，本申请实施例还提供了一种基于深度学习的码流预测装置。
图2示出了根据本申请实施例的基于深度学习的码流预测装置的结构图。如图2所示，该基于深度学习的码流预测装置可以包括初始预测模块210、优化因子处理模块220、判断模块230以及目标预测模块240。
初始预测模块210，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
优化因子处理模块220，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
判断模块230，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
目标预测模块240，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流。
本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：
根据优化前后的比对结果构建出优化直方图；
通过优化直方图判断优化过程是否准确可靠。
本申请实施例中提供了一种可能的实现方式，上文图2展示的优化因子处理模块220还用于：
利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure GDA0003712349770000091
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数。
本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：
利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure GDA0003712349770000101
其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
本申请实施例中提供了一种可能的实现方式，上文图2展示的判断模块230还用于：
利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure GDA0003712349770000102
Figure GDA0003712349770000103
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
本领域普通技术人员可以理解：本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备(例如个人计算机，服务器，或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的电子设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本申请各实施例所述方法的全部或部分步骤。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。

Claims (4)

1.一种基于深度学习的码流预测方法，其特征在于，包括以下步骤：
通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流；
其中，所述比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠，包括：
根据优化前后的比对结果构建出优化直方图；
通过优化直方图判断优化过程是否准确可靠；
其中，利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure FDA0003712349760000011
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数；
其中，利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure FDA0003712349760000021
其中F表示对优化后的深度学习算法的优化判定值；| |表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
2.根据权利要求1所述的基于深度学习的码流预测方法，其特征在于，利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure FDA0003712349760000022
Figure FDA0003712349760000023
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
3.一种基于深度学习的码流预测装置，其特征在于，包括：
初始预测模块，用于通过深度学习算法，将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频；
优化因子处理模块，用于对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，对深度学习算法加入优化因子；
判断模块，用于比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠；
目标预测模块，用于根据判断结果确定是否加入优化因子得到当前深度学习算法，利用当前深度学习算法对压缩码流反向预测完整码流；
其中，所述判断模块还用于：
根据优化前后的比对结果构建出优化直方图；
通过优化直方图判断优化过程是否准确可靠；
其中，所述优化因子处理模块还用于：
利用如下公式根据将压缩过的码流与未压缩的码流作为训练集，从压缩过的码流反向预测出未压缩的音视频，然后对比深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流得到对深度学习算法进行优化的优化因子：
Figure FDA0003712349760000031
其中E表示深度学习算法的优化因子；Da(i)表示训练集中的第a个未压缩的音视频码流二进制数据中的第i位上的二进制数值；PDa(i)表示训练完成后深度学习对训练集中的第a个已压缩的音视频码流反向预测出未压缩的音视频码流的二进制数据中的第i位上的二进制数值；m表示训练集中的未压缩的音视频码流总数；n表示训练集中的第a个未压缩的音视频码流二进制数据中的二进制位数；
其中，所述判断模块还用于：
利用如下公式比对优化后的深度学习算法反向预测出未压缩的音视频与实际未压缩的音视频码流，判断优化过程是否准确可靠：
Figure FDA0003712349760000032
其中F表示对优化后的深度学习算法的优化判定值；||表示求取绝对值；
若F＜1，表示优化因子达到对深度学习算法的优化作用，则加入优化因子进行优化；
若F≥1，表示优化因子未达到对深度学习算法的优化作用，则不加入优化因子进行优化。
4.根据权利要求3所述的基于深度学习的码流预测装置，其特征在于，所述判断模块还用于：
利用如下公式根据优化前后的比对结果构建出优化直方图：
Figure FDA0003712349760000041
Figure FDA0003712349760000042
其中H0表示直方图中优化前深度学习算法预测失误情况下的对应的方形图案的高度；He表示直方图中优化后深度学习算法预测失误情况下的对应的方形图案的高度；H表示直方图中方形图案的最大高度。
CN202111441073.0A 2021-11-30 2021-11-30 一种基于深度学习的码流预测方法和装置 Active CN114245140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111441073.0A CN114245140B (zh) 2021-11-30 2021-11-30 一种基于深度学习的码流预测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111441073.0A CN114245140B (zh) 2021-11-30 2021-11-30 一种基于深度学习的码流预测方法和装置

Publications (2)

Publication Number Publication Date
CN114245140A CN114245140A (zh) 2022-03-25
CN114245140B true CN114245140B (zh) 2022-09-02

Family

ID=80752066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111441073.0A Active CN114245140B (zh) 2021-11-30 2021-11-30 一种基于深度学习的码流预测方法和装置

Country Status (1)

Country Link
CN (1) CN114245140B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002752A (zh) * 2018-01-08 2018-12-14 北京图示科技发展有限公司 一种基于深度学习的复杂公共场景快速行人检测方法
CN109996071B (zh) * 2019-03-27 2020-03-27 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
US10771807B1 (en) * 2019-03-28 2020-09-08 Wipro Limited System and method for compressing video using deep learning
US11057634B2 (en) * 2019-05-15 2021-07-06 Disney Enterprises, Inc. Content adaptive optimization for neural data compression
CN110401834B (zh) * 2019-08-06 2021-07-27 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法
CN111163315B (zh) * 2019-12-20 2022-08-16 汕头大学 一种基于深度学习的监控视频压缩方法及系统
CN113259676B (zh) * 2020-02-10 2023-01-17 北京大学 一种基于深度学习的图像压缩方法和装置
CN112348914B (zh) * 2020-11-12 2023-08-18 中国科学院合肥物质科学研究院 一种基于车联网的深度学习图像压缩感知方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN111464790A (zh) * 2020-04-21 2020-07-28 济南浪潮高新科技投资发展有限公司 一种基于深度学习的工业环境监控视频处理方法及系统

Also Published As

Publication number Publication date
CN114245140A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN1980393B (zh) 图像编码装置、方法及集成电路
EP3282701A1 (en) Prediction mode selection method, apparatus and device
CN110248189B (zh) 一种视频质量预测方法、装置、介质和电子设备
CN114245209A (zh) 视频分辨率确定、模型训练、视频编码方法及装置
JP2022006158A (ja) ビデオ符号化方法、ビデオ符号化装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN115543577A (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN114245140B (zh) 一种基于深度学习的码流预测方法和装置
WO2024051757A1 (zh) 信息的处理方法、装置、电子设备及计算机可读介质
CN109219960B (zh) 视频编码质量平滑度的优化方法、装置、设备及存储介质
CN111918067A (zh) 一种数据处理方法、装置以及计算机可读存储介质
US20070153891A1 (en) Method and apparatus for smoothing overall quality of video transported over a wireless medium
CN114025190B (zh) 多码率调度方法和多码率调度装置
CN116389768A (zh) 视频编码方法及装置、电子设备和计算机可读存储介质
US20090190845A1 (en) Motion-compensated residue based temporal search range prediction
CN112634268B (zh) 一种视频质量评价方法、装置及电子设备
CN114363631B (zh) 一种基于深度学习的音视频处理方法和装置
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
CN114298199A (zh) 转码参数模型的训练方法、视频转码方法及装置
CN112492379B (zh) 音视频多路并发解码方法、装置和计算机设备
CN109947728B (zh) 一种日志文件的处理方法及装置
CN113420165A (zh) 二分类模型的训练、多媒体数据的分类方法及装置
CN114245141B (zh) 一种基于深度学习的视频码流压缩方法和装置
WO2024116385A1 (en) Video player, video playback method, and program
JP2005512465A (ja) マルチメディアフレームの品質を設定する方法およびシステム
US6898242B2 (en) Moving picture high-speed coder and moving picture high-speed coding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant