CN115499664A - 视频编码方法、视频解码方法以及编码端或/和解码端 - Google Patents
视频编码方法、视频解码方法以及编码端或/和解码端 Download PDFInfo
- Publication number
- CN115499664A CN115499664A CN202210913981.3A CN202210913981A CN115499664A CN 115499664 A CN115499664 A CN 115499664A CN 202210913981 A CN202210913981 A CN 202210913981A CN 115499664 A CN115499664 A CN 115499664A
- Authority
- CN
- China
- Prior art keywords
- matrix
- additional information
- video data
- data frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 228
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 28
- 238000005457 optimization Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及视频处理领域，具体涉及一种视频编码方法、视频解码方法以及编码端或/和解码端。该方法包括：对输入事件进行监听；当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据；对编码数据进行重建，生成重建视频数据帧；基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息；附加信息用于表征需要在当前视频数据帧中显示的标识信息；将编码数据以及附加信息传输至编码端对应的解码端。上述视频编码方法，不仅生成编码数据，还生成附加信息，从而使得解码端对编码数据以及附加信息进行解码之后，可以保证不仅解码后的视频帧清晰，也保证了解码后的视频帧中的标识信息清晰。
Description
技术领域
本发明涉及视频处理领域，具体涉及一种视频编码方法、视频解码方法以及编码端或/和解码端。
背景技术
在当前5G逐步普及的大背景下，云计算的运用越来越广泛，云计算产品已经深入到全国数百个地市的各行各业中，客户使用的终端、应用的场景以及共享的公共网络状况千差万别各不相同。目前面向广大个人用户的互娱产品：云游戏是云计算产品矩阵中的重要组成部分。
云游戏领域因为其独特的应用场景，具体表现在：具有画面快速连续变化，全图刷新、色彩信息丰富、带宽要求高的特点，目前采用的传输方式均以视频流方式进行压缩传输。其目的是为了利用视频流编码器擅长压缩时间、空间冗余的特点，在保持视觉流畅性的前提下，最大程度压缩需要传输显示的数据量，以降低云游戏对带宽的要求，节省带宽开销。
然而，在视频编码器对视频流进行压缩时，抛弃了部分参数，影响了图像边缘，在频繁使用的交互输入场景，文字的边缘会出现不够锐利的现象，从而使得视频中文字不清晰。
发明内容
有鉴于此，本发明实施例提供了一种视频编码方法，旨在解决视频中文字不清晰的问题。
根据第一方面，本发明实施例提供了一种视频编码方法，应用于编码端；包括：
对输入事件进行监听；
当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据；
对编码数据进行重建，生成重建视频数据帧；
基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息；附加信息用于表征需要在当前视频数据帧中显示的标识信息；
将编码数据以及附加信息传输至编码端对应的解码端。
本发明实施例提供的视频编码方法，对输入事件进行监听，当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据，保证了生成的编码数据的准确性。然后，对编码数据进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息，其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息；保证了生成的附加信息的准确性。将编码数据以及附加信息传输至编码端对应的解码端。上述视频编码方法，不仅对当前视频数据帧进行编码处理，生成编码数据，还生成的需要在当前视频数据帧中显示的标识信息对应的附加信息，从而使得解码端对编码数据以及附加信息进行解码之后，可以保证不仅解码后的视频帧清晰，也保证了解码后的视频帧中的标识信息清晰。
结合第一方面，在第一方面第一实施方式中，基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息，包括：
利用当前视频数据帧减去重建视频数据帧，得到第一图像残差；
对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；
对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵；
基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差；
基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵；
对目标残差矩阵进行分析，生成附加信息。
本发明实施例提供的视频编码方法，利用当前视频数据帧减去重建视频数据帧，得到第一图像残差，保证了生成的第一图像残差的准确性。然后，对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵，保证了生成的横向差分矩阵以及纵向差分矩阵的准确性。基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差，保证了生成的第二图像残差的准确性。基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵，保证了生成的目标残差矩阵的准确性。然后，对目标残差矩阵进行分析，生成附加信息，保证了生成的附加信息的准确性，进而可以保证解码后的视频帧中的标识信息清晰。
结合第一方面第一实施方式，在第一方面第二实施方式中，基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差，包括：
对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
本发明实施例提供的视频编码方法，对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差，保证了生成的第二图像残差的准确性，进而可以保证生成的附加信息的准确性。
结合第一方面第一实施方式，在第一方面第三实施方式中，基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵，包括：
获取第二图像残差对应的第一预设阈值；
将第二图像残差中的各个元素与第一预设阈值进行对比；
根据对比结果，将第二图像残差更改为二值矩阵；
将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。
本发明实施例提供的视频编码方法，获取第二图像残差对应的第一预设阈值，然后，将第二图像残差中的各个元素与第一预设阈值进行对比，保证了得到的对比结果的准确性。然后，根据对比结果，将第二图像残差更改为二值矩阵，保证了生成的二值矩阵的准确性。将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵，保证了生成的目标残差矩阵的准确性，进而可以保证生成的附加信息的准确性。
结合第一方面第一实施方式，在第一方面第四实施方式中，对目标残差矩阵进行分析，生成附加信息，包括：
获取目标残差矩阵对应的第二预设阈值；
基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息；
对第一候选附加信息进行DCT转换，生成第二候选附加信息；
对第二候选附加信息进行扫描和编码处理，生成附加信息。
本发明实施例提供的视频编码方法，获取目标残差矩阵对应的第二预设阈值，基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息，保证了生成的第一候选附加信息的准确性。然后，对第一候选附加信息进行DCT转换，生成第二候选附加信息，保证了生成的第二候选附加信息的准确性。对第二候选附加信息进行扫描和编码处理，生成附加信息，保证了生成的附加信息的准确性。
结合第一方面，在第一方面第五实施方式中，将编码数据以及附加信息传输至编码端对应的解码端，包括：
对附加信息进行分析，生成附加信息对应的标识信息；
将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
本发明实施例提供的视频编码方法，对附加信息进行分析，生成附加信息对应的标识信息；将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端，保证了解码端可以根据附加信息对应的标识信息准确判断是否有附加消息，不需要解码对附加信息进行读取之后再判断是否有附加信息，从而减轻了解码端的工作量，提高了解码端的工作效率。
根据第二方面，本发明实施例还提供了一种视频解码方法，应用于解码端；包括：
接收编码端发送的编码数据以及附加信息，编码数据以及附加信息根据上述第一方面以及第一方面实施方式中任一项的视频编码方法生成；
对编码数据进行解码并进行重建，生成重建视频数据帧；
对附加信息进行DCT反变换，生成目标附加矩阵；
基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧；
将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
本发明实施例提供的视频解码方法，接收编码端发送的编码数据以及附加信息，然后，对编码数据进行解码并进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。然后，对附加信息进行DCT反变换，生成目标附加矩阵，保证了生成的目标附加矩阵的准确性。基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧，保证了生成的目标重建视频帧的准确性。将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示，保证了输出显示的目标重建视频帧的清晰性以及目标重建视频帧中标识信息的清晰性。
结合第二方面，在第二方面第一实施方式中，基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧，
对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差；
基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数；
对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧。
本发明实施例提供的视频解码方法，对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差，保证了生成的候选图像残差的准确性。基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数，保证了构建的目标优化函数的准确性。然后，对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧，保证了生成的目标重建视频帧的准确性。
根据第三方面，本发明实施例还提供了一种图像编码装置，应用于编码端；包括：
监听模块，用于对输入事件进行监听。
编码处理，用于当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据。
第一重建模块，用于对编码数据进行重建，生成重建视频数据帧。
生成模块，用于基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息；附加信息用于表征需要在当前视频数据帧中显示的标识信息。
传输模块，用于将编码数据以及附加信息传输至编码端对应的解码端。
本发明实施例提供的图像编码装置，对输入事件进行监听，当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据，保证了生成的编码数据的准确性。然后，对编码数据进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息，其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息；保证了生成的附加信息的准确性。将编码数据以及附加信息传输至编码端对应的解码端。上述图像编码装置，不仅对当前视频数据帧进行编码处理，生成编码数据，还生成的需要在当前视频数据帧中显示的标识信息对应的附加信息，从而使得解码端对编码数据以及附加信息进行解码之后，可以保证不仅解码后的视频帧清晰，也保证了解码后的视频帧中的标识信息清晰。
结合第三方面，在第三方面第一实施例中，上述生成模块，具体用于：利用当前视频数据帧减去重建视频数据帧，得到第一图像残差；对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵；基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差；基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵；对目标残差矩阵进行分析，生成附加信息。
结合第三方面第一实施方式，在第三方面第二实施例中，上述生成模块，具体用于：对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
结合第三方面第一实施方式，在第三方面第二实施例中，上述生成模块，具体用于：获取第二图像残差对应的第一预设阈值；将第二图像残差中的各个元素与第一预设阈值进行对比；根据对比结果，将第二图像残差更改为二值矩阵；将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。
结合第三方面第一实施方式，在第三方面第二实施例中，上述生成模块，具体用于：获取目标残差矩阵对应的第二预设阈值；基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息；对第一候选附加信息进行DCT转换，生成第二候选附加信息；对第二候选附加信息进行扫描和编码处理，生成附加信息。
结合第三方面第一实施方式，在第三方面第二实施例中，上述传输模块，具体用于：对附加信息进行分析，生成附加信息对应的标识信息；将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
根据第四方面，本发明实施例还提供了一种图像解码装置，应用于解码端；包括：
接收模块，用于接收编码端发送的编码数据以及附加信息，编码数据以及附加信息根据上述第一方面以及第一方面实施方式中任一项的视频编码方法生成。
第二重建模块，用于对编码数据进行解码并进行重建，生成重建视频数据帧。
反变换模块，用于对附加信息进行DCT反变换，生成目标附加矩阵；
优化模块，用于基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧。
叠加模块，用于将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
本发明实施例提供的图像解码装置，接收编码端发送的编码数据以及附加信息，然后，对编码数据进行解码并进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。然后，对附加信息进行DCT反变换，生成目标附加矩阵，保证了生成的目标附加矩阵的准确性。基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧，保证了生成的目标重建视频帧的准确性。将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示，保证了输出显示的目标重建视频帧的清晰性以及目标重建视频帧中标识信息的清晰性。
根据第五方面，本发明实施例提供了一种编码端或/和解码端，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中的视频编码方法以及第二方面或者第二方面的任意一种实施方式中的视频解码方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行第一方面或者第一方面的任意一种实施方式中的视频编码方法以及第二方面或者第二方面的任意一种实施方式中的视频解码方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是应用本发明实施例提供的视频编码方法的流程图；
图2是应用本发明另一实施例提供的视频编码方法的流程图；
图3是应用本发明另一实施例提供的生成目标残差矩阵的示意图；
图4是应用本发明另一实施例提供的生成附加信息的流程示意图；
图5是应用本发明另一实施例提供的视频编码方法的流程图；
图6是应用本发明另一实施例提供的视频解码方法的流程图；
图7是应用本发明另一实施例提供的解码端对编码数据以及附加信息进行解码的示意图；
图8是应用本发明另一实施例提供的对视频帧数据进行编码解码处理的全过程示意图；
图9是应用本发明实施例提供的图像编码装置的功能模块图；
图10是应用本发明实施例提供的图像解码装置的功能模块图；
图11是应用本发明实施例提供的编码端或/和解码端的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例提供的图像编码的方法，其执行主体可以是图像编码的装置，该图像编码的装置可以通过软件、硬件或者软硬件结合的方式实现成为编码端设备的部分或者全部，其中，该编码端可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是编码端为例来进行说明。
在本申请一个实施例中，如图1所示，提供了一种视频编码方法，以该方法应用于编码端为例进行说明，包括以下步骤：
S11、对输入事件进行监听。
具体地，在编码端虚拟机侧设置有一个虚拟机输入事件监听器，编码端可以基于虚拟机输入事件监听器，对输入事件进行监听。
其中，输入事件可以是用户基于输入组件输入文字、字母、字符等标识信息，输入组件可以是键盘、也可以是鼠标等。本申请实施对输入事件不做具体限定。
S12、当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据。
具体地，当编码端监听到输入事件时，编码端可以获取当前视频数据帧，并利用视频流编码器根据当前视频数据帧的内容以及跟前后帧的关系，对当前视频数据帧进行编码处理，生成编码数据。
其中，视频流编码器利用的视频流编码方式可以是H.264编码方式、MPEG-4编码方式、MPEG-2TS编码方式、WMV-HD编码方式以及VC-1编码方式中的任一种编码方式，本申请实施例对视频流编码器利用的视频流编码方式不做具体限定。
在本申请一种可选的实施方式中，当编码端没有监听到输入事件时，编码端可以在生成编码数据之后，将编码数据发送至解码端，使得解码端可以对编码数据进行解码，并进行渲染后显示。
S13、对编码数据进行重建，生成重建视频数据帧。
具体地，编码端在对当前视频数据帧进行编码处理，生成编码数据之后，可以对编码数据进行重建，生成重建视频数据帧。
可选的，编码端可以将重建视频数据帧作为参考视频数据帧，从而可以将重建视频数据帧与当前视频数据帧进行对比。
S14、基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息。
其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息。其中，标识信息可以是文字信息，字母信息、数字信息、图标信息等，本申请实施例对附加信息不做具体限定。
具体地，当编码端监听到输入事件时，为了保留当前视频数据帧更多的细节信息减少当前视频数据帧图像边缘的损失，编码端则需要生成当前视频数据帧对应的附加信息，并将附加信息作为重建当前视频数据帧的依据。
在本申请一种可选的实施方式中，编码端可以利用当前视频数据帧减去重建视频数据帧，得到当前视频数据帧与重建视频数据帧之间的差异，基于当前视频数据帧与重建视频数据帧之间的差异生成当前视频数据帧对应的附加信息。
关于该步骤将在下文进行详细介绍。
S15、将编码数据以及附加信息传输至编码端对应的解码端。
具体地，编码端在生成附加信息之后，可以基于与解码端之间的通信连接，将编码数据以及附加信息传输至编码端对应的解码端。
在本申请一种可选的实施方式中，从输入事件监听信息的频率来看，实际上是一个离散的时间序列，且间隔时间远大于一般的解码器出帧速率(33ms，30fps)，因此输入事件消息在被监听到之后，需要在一个时间段内都认为是有效的，在此范围内的视频数据帧均要以带有附加信息的方式进行编解码，从现在的调试来看，这个时间范围一般被设置为2s，也就是当监听到输入事件后，其后的至少60帧视频数据帧都要以上述方式编解码。如果在此期间输入事件再次更新，则依次递延，直至中断，以保证在文字输入场景下连贯一致的视觉效果与用户体验。
本发明实施例提供的视频编码方法，对输入事件进行监听，当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据，保证了生成的编码数据的准确性。然后，对编码数据进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息，其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息；保证了生成的附加信息的准确性。将编码数据以及附加信息传输至编码端对应的解码端。上述视频编码方法，不仅对当前视频数据帧进行编码处理，生成编码数据，还生成的需要在当前视频数据帧中显示的标识信息对应的附加信息，从而使得解码端对编码数据以及附加信息进行解码之后，可以保证不仅解码后的视频帧清晰，也保证了解码后的视频帧中的标识信息清晰。
在本申请一个实施例中，如图2所示，提供了一种视频编码方法，以该方法应用于编码端为例进行说明，包括以下步骤：
S21、对输入事件进行监听。
关于该步骤请参见图1对S11的介绍，在此不进行赘述。
S22、当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据。
关于该步骤请参见图1对S12的介绍，在此不进行赘述。
S23、对编码数据进行重建，生成重建视频数据帧。
关于该步骤请参见图1对S13的介绍，在此不进行赘述。
S24、基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息。
其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息。
在本申请一种可选的实施方式中，上述S24“基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息”，可以包括如下步骤：
S241、利用当前视频数据帧减去重建视频数据帧，得到第一图像残差。
具体地，当编码端监听到输入事件，假设当前时刻的当前视频数据帧为T，编码端将当前视频数据帧送入流编码器对当前视频数据帧进行编码，流编码器在编码端创建一个由重建视频数据帧构成的缓存参考队列，当当前视频数据帧已经被编码并重建为重建视频数据帧Tr时，在缓存参考队列中找到重建视频数据帧Tr。编码端可以利用当前视频数据帧T，减去重建视频数据帧Tr，得到第一图像残差。
S242、对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵。
具体地，编码端在生成第一图像残差之后，可以对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵。
示例性的，编码端可以利用当前视频数据帧中后一行元素减去前一行元素，并在最后一行进行补0处理，从而生成横向差分矩阵。
S243、对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵。
具体地，编码端在生成横向差分矩阵之后，可以对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵。
示例性的，编码端可以利用当前视频数据帧中后一列元素减去前一列行元素，并在最后一列进行补0处理，从而生成纵向差分矩阵。
S244、基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差。
在本申请一种可选的实施方式中，编码端可以利用横向差分矩阵加上纵向差分矩阵，生成第二图像残差。
在本申请另一种可选的实施方式中，上述S244“基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差”，可以包括如下步骤：
(1)对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
具体地，编码端可以对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
示例性的，假设横向差分矩阵与纵向差分矩阵均为2×2的矩阵，编码断可以利用分别对横向差分矩阵和纵向差分矩阵中第一行第一列的元素进行平方计算，然后对进行平方计算后得到的数据进行求和计算，然后，对求和后的数据进行平方根计算，从而生成第二图像残差中第一行第一列中的元素，然后依次计算得到第二图像残差中其他元素的值，从而生成第二图像残差。
S245、基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵。
在本申请一种可选的实施方式中，编码端可以利用第一图像残差与第二图像残差进行与操作，生成目标残差矩阵。
在本申请一种可选的实施方式中，上述S245“基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵”，可以包括如下步骤：
(1)获取第二图像残差对应的第一预设阈值。
(2)将第二图像残差中的各个元素与第一预设阈值进行对比。
(3)根据对比结果，将第二图像残差更改为二值矩阵。
(4)将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。
具体地，编码端可以接收用户输入的第二图像残差对应的第一预设阈值，也可以接收其他设备发送的第二图像残差对应的第一预设阈值，还可以对第二图像残差进行分析，根据第二图像残差中各个元素的大小，生成第二图像残差对应的第一预设阈值。
编码段在获取第二图像残差对应的第一预设阈值之后，编码端可以将第二图像残差中的各个元素与第一预设阈值进行对比。根据对比结果，将第二图像残差更改为二值矩阵。
示例性的，编码端可以将第二图像残差中的各个元素与第一预设阈值进行对比，当第二图像残差中的元素大于或者等于第一预设阈值时，将第二图像残差中的该元素更改为1，当第二图像残差中的元素小于第一预设阈值时，将第二图像残差中的该元素更改为0，从而根据对比结果，将第二图像残差更改为二值矩阵。
在生成二值矩阵之后，编码端可以二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。此时，目标残差矩阵最大程度保留边缘信息。
如图3所示，示出了生成目标残差矩阵的过程，对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵；对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差，然后，基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵。
S246、对目标残差矩阵进行分析，生成附加信息。
在本申请一种可选的实施方式中，上述S246“对目标残差矩阵进行分析，生成附加信息”，可以包括如下步骤：
(1)获取目标残差矩阵对应的第二预设阈值。
(2)基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息。
(3)对第一候选附加信息进行DCT转换，生成第二候选附加信息。
(4)对第二候选附加信息进行扫描和编码处理，生成附加信息。
具体地，编码端可以接收用户输入的目标残差矩阵对应的第二预设阈值，也可以接收其他设备发送的目标残差矩阵对应的第二预设阈值，还可以对目标残差矩阵进行分析，根据目标残差矩阵中各个元素的大小，生成目标残差矩阵对应的第二预设阈值。本申请实施例对编码端获取目标残差矩阵对应的第二预设阈值的方式不做具体限定。
然后，编码器可以将第二预设阈值与目标残差矩阵中各个元素进行对比，根据对比结果对目标残差矩阵进行阈值化处理，生成第一候选附加信息，从而滤出目标残差矩阵中的微小干扰，生成第一候选附加信息。
然后，编码器应用DCT变换将第一候选附加信息的能量到左上角，此时再次对第一候选附加信息进行阈值化处理，将未集中到左上角区域的频点信号置为零，进一步抑制流编码产生的干扰并集中残差能量，从而生成第二候选附加信息。
编码器使用ZigZag扫描之后，使用Huffman编码方式对第二候选附加信息进行扫描和编码处理，生成附加信息。
示例性的，如图4所示，示出了生成附加信息的流程图，具体地，当编码器监测到输入事件时，将当前视频数据输入至视频流编码器，利用视频流编码器根据当前视频数据帧的内容以及跟前后帧的关系，对当前视频数据帧进行编码处理，生成编码数据。编码器对编码数据进行重建，生成重建视频数据帧。然后，基于利用当前视频数据帧减去重建视频数据帧，得到第一图像残差，并对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵，对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵。然后，编码器基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差；基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵。获取目标残差矩阵对应的第二预设阈值；基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息；对第一候选附加信息进行DCT转换，生成第二候选附加信息；对第二候选附加信息进行扫描和编码处理，生成附加信息。
S25、将编码数据以及附加信息传输至编码端对应的解码端。
关于该步骤请参见图1对S15的介绍，在此不进行赘述。
本发明实施例提供的视频编码方法，利用当前视频数据帧减去重建视频数据帧，得到第一图像残差，保证了生成的第一图像残差的准确性。然后，对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵，保证了生成的横向差分矩阵以及纵向差分矩阵的准确性。对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差，保证了生成的第二图像残差的准确性。然后，获取第二图像残差对应的第一预设阈值，然后，将第二图像残差中的各个元素与第一预设阈值进行对比，保证了得到的对比结果的准确性。然后，根据对比结果，将第二图像残差更改为二值矩阵，保证了生成的二值矩阵的准确性。将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵，保证了生成的目标残差矩阵的准确性，进而可以保证生成的附加信息的准确性。接着，编码器获取目标残差矩阵对应的第二预设阈值，基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息，保证了生成的第一候选附加信息的准确性。然后，对第一候选附加信息进行DCT转换，生成第二候选附加信息，保证了生成的第二候选附加信息的准确性。对第二候选附加信息进行扫描和编码处理，生成附加信息，保证了生成的附加信息的准确性，
，进而可以保证解码后的视频帧中的标识信息清晰。
在本申请一个实施例中，如图5所示，提供了一种视频编码方法，以该方法应用于编码端为例进行说明，包括以下步骤：
S31、对输入事件进行监听。
关于该步骤请参见图2对S21的介绍，在此不进行赘述。
S32、当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据。
关于该步骤请参见图2对S22的介绍，在此不进行赘述。
S33、对编码数据进行重建，生成重建视频数据帧。
关于该步骤请参见图2对S23的介绍，在此不进行赘述。
S34、基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息。
其中，附加信息用于表征需要在当前视频数据帧中显示的标识信息。
关于该步骤请参见图2对S24的介绍，在此不进行赘述。
S35、将编码数据以及附加信息传输至编码端对应的解码端。
在本申请一种可选的实施方式中，上述S35“基将编码数据以及附加信息传输至编码端对应的解码端”，可以包括如下步骤：
S351、对附加信息进行分析，生成附加信息对应的标识信息。
具体地，编码器在生成附加信息之后，可以根据附加信息对应的标识信息。
示例性的，编码器可以在编码格式设置一个编码标志位，有附加信息，标识位记为1，如果没有监测到输入事件，则不需要生成附加信息，标识位记为0。以此明示解码器当前视频数据帧解码是否存在附加信息。
S352、将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
具体地，编码端在生成附加信息并生成附加信息对应的标识信息之后，可以基于与解码端之间的通信连接，将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
本发明实施例提供的视频编码方法，对附加信息进行分析，生成附加信息对应的标识信息；将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端，保证了解码端可以根据附加信息对应的标识信息准确判断是否有附加消息，不需要解码对附加信息进行读取之后再判断是否有附加信息，从而减轻了解码端的工作量，提高了解码端的工作效率。
需要说明的是，本申请实施例提供的图像解码的方法，其执行主体可以是图像解码的装置，该图像解码的装置可以通过软件、硬件或者软硬件结合的方式实现成为解码端设备的部分或者全部，其中，该解码端可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是解码端为例来进行说明。
在本申请一个实施例中，如图6所示，提供了一种视频解码方法，以该方法应用于解码端为例进行说明，包括以下步骤：
S41、接收编码端发送的编码数据以及附加信息。
其中，编码数据以及附加信息根据上述实施方式中任一项的视频编码方法生成。
具体地，解码端可以基于与编码端之间的通信连接，接收编码端发送的编码数据以及附加信息。
S42、对编码数据进行解码并进行重建，生成重建视频数据帧。
具体地，解码端在接收到编码数据以及附加信息之后，可以对编码数据进行解码并进行重建，生成重建视频数据帧。
S43、对附加信息进行DCT反变换，生成目标附加矩阵。
具体地，解码端对附加信息进行DCT反变换，生成目标附加矩阵。
S44、基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧。
在本申请一种可选的实施方式中，上述S44“基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧”，可以包括如下步骤：
S441、对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差。
具体地，对重建视频数据帧进行横向差分残差处理，得到重建横向差分矩阵；对重建视频数据帧进行纵向差分残差处理，得到重建纵向差分矩阵，然后对重建横向差分矩阵与重建纵向差分矩阵中对应的各个元素进行求平方根计算，生成候选图像残差。
具体地，编码端可以对重建横向差分矩阵与重建纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
示例性的，假设重建横向差分矩阵与重建纵向差分矩阵均为2×2的矩阵，编码断可以利用分别对重建横向差分矩阵与重建纵向差分矩阵中第一行第一列的元素进行平方计算，然后对进行平方计算后得到的数据进行求和计算，然后，对求和后的数据进行平方根计算，从而生成候选图像残差中第一行第一列中的元素，然后依次计算得到候选图像残差中其他元素的值，从而生成候选图像残差。
S442、基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数。
具体地，解码端可以基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数。
示例性的，目标优化函数可以如下公式(1)所示：
其中Y表示不带附加信息的重建视频数据帧，X表示目标附加矩阵，D为水平垂直差分后的均方根算子，DY表示候选图像残差。
上式的本意是：重建视频数据帧的差分后要与当前视频数据的边缘差分足够相近。以此作为约束重建视频数据帧边缘的条件，更好的恢复重建视频数据帧的标识图像的边缘。
S443、对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧。
具体地，解码端对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧。
示例性的，解码端可以采用L1 normal的约束条件，整个约束项是非凸的，求解过程中引入辅助变量D’，具体如下公式(2)所示：
将差分算子D不可逆的性质化解，在使用ADMM算法进行逐步迭代收敛的方法求解最后的目标重建视频帧。
S45、将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
具体地，解码端在生成目标重建视频帧之后，解码端可以将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
示例性的，如图7所示，示出了解码端对编码数据以及附加信息进行解码的示意图，具体地，对编码数据进行解码并进行重建，生成重建视频数据帧；对附加信息进行DCT反变换，生成目标附加矩阵；基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧。将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
需要说明的是，注意此时不能将叠加后目标重建视频帧加入解码参考帧队列，这样会打破与编码参考帧队列的一致性，因此需要在第一次解码重建之后拷贝一份加入解码队列。
本发明实施例提供的视频解码方法，接收编码端发送的编码数据以及附加信息，然后，对编码数据进行解码并进行重建，生成重建视频数据帧，保证了生成的重建视频数据帧的准确性。然后，对附加信息进行DCT反变换，生成目标附加矩阵，保证了生成的目标附加矩阵的准确性。对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差，保证了生成的候选图像残差的准确性。基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数，保证了构建的目标优化函数的准确性。然后，对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧，保证了生成的目标重建视频帧的准确性。将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示，保证了输出显示的目标重建视频帧的清晰性以及目标重建视频帧中标识信息的清晰性。
为了更好的解释本申请实施例提供的视频编码方法以及视频解码方法，本申请实施例提供了一种视频编码方法以及视频解码方法的整体流程图，如图8所示。具体地，编码器对输入事件进行监听，当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据，并对编码数据进行重建，生成重建视频数据帧。利用当前视频数据帧减去重建视频数据帧，得到第一图像残差。然后，对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵，对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵，对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。获取第二图像残差对应的第一预设阈值；将第二图像残差中的各个元素与第一预设阈值进行对比；根据对比结果，将第二图像残差更改为二值矩阵；将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。获取目标残差矩阵对应的第二预设阈值；基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息；对第一候选附加信息进行DCT转换，生成第二候选附加信息；对第二候选附加信息进行扫描和编码处理，生成附加信息。对附加信息进行分析，生成附加信息对应的标识信息；将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
解码端接收编码端发送的编码数据以及附加信息，对编码数据进行解码并进行重建，生成重建视频数据帧；对附加信息进行DCT反变换，生成目标附加矩阵。对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差，基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数；对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧。将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
应该理解的是，虽然图1、图2、图5、以及图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图2、图5、以及图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示，本实施例提供一种图像编码装置，应用于编码端；包括：
监听模块51，用于对输入事件进行监听。
编码处理52，用于当监听到输入事件时，对当前视频数据帧进行编码处理，生成编码数据。
第一重建模块53，用于对编码数据进行重建，生成重建视频数据帧。
生成模块54，用于基于当前视频数据帧与重建视频数据帧之间的差异，生成当前视频数据帧对应的附加信息；附加信息用于表征需要在当前视频数据帧中显示的标识信息。
传输模块55，用于将编码数据以及附加信息传输至编码端对应的解码端。
在本申请一个实施例中，上述生成模块54，具体用于利用当前视频数据帧减去重建视频数据帧，得到第一图像残差；对当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；对当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵；基于横向差分矩阵与纵向差分矩阵之间的关系，生成第二图像残差；基于第一图像残差与第二图像残差之间的关系，生成目标残差矩阵；对目标残差矩阵进行分析，生成附加信息。
在本申请一个实施例中，上述生成模块54，具体用于对横向差分矩阵与纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成第二图像残差。
在本申请一个实施例中，上述生成模块54，具体用于获取第二图像残差对应的第一预设阈值；将第二图像残差中的各个元素与第一预设阈值进行对比；根据对比结果，将第二图像残差更改为二值矩阵；将二值矩阵与第一图像残差进行与操作，生成目标残差矩阵。
在本申请一个实施例中，上述生成模块54，具体用于获取目标残差矩阵对应的第二预设阈值；基于第二预设阈值与目标残差矩阵中各个元素之间的关系，对目标残差矩阵进行阈值化处理，生成第一候选附加信息；对第一候选附加信息进行DCT转换，生成第二候选附加信息；对第二候选附加信息进行扫描和编码处理，生成附加信息。
在本申请一个实施例中，上述传输模块55，具体用于对附加信息进行分析，生成附加信息对应的标识信息；将编码数据、附加信息以及附加信息对应的标识信息传输至编码端对应的解码端。
如图10所示，本实施例提供一种图像解码装置，应用于解码端；包括：
接收模块61，用于接收编码端发送的编码数据以及附加信息，编码数据以及附加信息根据上述第一方面以及第一方面实施方式中任一项的视频编码方法生成。
第二重建模块62，用于对编码数据进行解码并进行重建，生成重建视频数据帧。
反变换模块63，用于对附加信息进行DCT反变换，生成目标附加矩阵；
优化模块64，用于基于目标附加矩阵与重建视频数据帧之间的关系，对重建视频数据帧进行优化，生成目标重建视频帧。
叠加模块65，用于将目标重建视频帧与目标附加矩阵进行叠加并渲染后进行输出显示。
在本申请一个实施例中，上述优化模块64，具体用于对重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差；基于候选图像残差与目标附加矩阵之间的差值，构建目标优化函数；对目标优化函数进行求解，根据求解结果，更新重建视频数据帧，生成目标重建视频帧。
关于图像编码装置以及图像解码装置的具体限定以及有益效果可以参见上文中对于视频编码方法以及视频解码方法的限定，在此不再赘述。上述图像编码装置以及图像解码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于编码端或/和解码端中的处理器中，也可以以软件形式存储于编码端或/和解码端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例还提供一种编码端，具有上述图9所示的图像编码装置，还提供一种解码端，具有上述图10所示的图像解码装置。
如图11所示，图1是本发明可选实施例提供的一种编码端或/和解码端的结构示意图，如图11所示，该编码端或/和解码端可以包括：至少一个处理器71，例如CPU(CentralProcessing Unit，中央处理器)，至少一个通信接口73，存储器74，至少一个通信总线72。其中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图9或/和图10所描述的装置，存储器74中存储应用程序，且处理器71调用存储器74中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线72可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器74可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器74还可以包括上述种类的存储器的组合。
其中，处理器71可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器74还用于存储程序指令。处理器71可以调用程序指令，实现如本申请图1、图2以及图5实施例中所示的视频编码方法或/和图6实施例中所示的图像解码。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频编码方法以及视频解码方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种视频编码方法，其特征在于，应用于编码端；包括：
对输入事件进行监听；
当监听到所述输入事件时，对当前视频数据帧进行编码处理，生成编码数据；
对所述编码数据进行重建，生成重建视频数据帧；
基于所述当前视频数据帧与所述重建视频数据帧之间的差异，生成所述当前视频数据帧对应的附加信息；所述附加信息用于表征需要在所述当前视频数据帧中显示的标识信息；
将所述编码数据以及所述附加信息传输至所述编码端对应的解码端。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频数据帧与所述重建视频数据帧之间的差异，生成所述当前视频数据帧对应的附加信息，包括：
利用所述当前视频数据帧减去所述重建视频数据帧，得到第一图像残差；
对所述当前视频数据帧进行横向差分残差处理，得到横向差分矩阵；
对所述当前视频数据帧进行纵向差分残差处理，得到纵向差分矩阵；
基于所述横向差分矩阵与所述纵向差分矩阵之间的关系，生成第二图像残差；
基于所述第一图像残差与所述第二图像残差之间的关系，生成目标残差矩阵；
对所述目标残差矩阵进行分析，生成所述附加信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述横向差分矩阵与所述纵向差分矩阵之间的关系，生成第二图像残差，包括：
对所述横向差分矩阵与所述纵向差分矩阵中对应的各个元素进行平方计算，并将平方后的数据进行求和计算，对求和后的数值进行平方根计算，生成所述第二图像残差。
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像残差与所述第二图像残差之间的关系，生成目标残差矩阵，包括：
获取所述第二图像残差对应的第一预设阈值；
将所述第二图像残差中的各个元素与所述第一预设阈值进行对比；
根据对比结果，将所述第二图像残差更改为二值矩阵；
将所述二值矩阵与所述第一图像残差进行与操作，生成所述目标残差矩阵。
5.根据权利要求2所述的方法，其特征在于，所述对所述目标残差矩阵进行分析，生成所述附加信息，包括：
获取所述目标残差矩阵对应的第二预设阈值；
基于所述第二预设阈值与所述目标残差矩阵中各个元素之间的关系，对所述目标残差矩阵进行阈值化处理，生成第一候选附加信息；
对所述第一候选附加信息进行DCT转换，生成第二候选附加信息；
对所述第二候选附加信息进行扫描和编码处理，生成所述附加信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述编码数据以及所述附加信息传输至所述编码端对应的解码端，包括：
对所述附加信息进行分析，生成所述附加信息对应的标识信息；
将所述编码数据、所述附加信息以及所述附加信息对应的标识信息传输至所述编码端对应的解码端。
7.一种视频解码方法，其特征在于，应用于解码端；包括：
接收编码端发送的编码数据以及附加信息，所述编码数据以及所述附加信息根据权利要求1-6任一项所述的视频编码方法生成；
对所述编码数据进行解码并进行重建，生成重建视频数据帧；
对所述附加信息进行DCT反变换，生成目标附加矩阵；
基于所述目标附加矩阵与所述重建视频数据帧之间的关系，对所述重建视频数据帧进行优化，生成目标重建视频帧；
将所述目标重建视频帧与所述目标附加矩阵进行叠加并渲染后进行输出显示。
8.根据权利要求7所述的方法，其特征在于，所述基于所述目标附加矩阵与所述重建视频数据帧之间的关系，对所述重建视频数据帧进行优化，生成目标重建视频帧，
对所述重建视频数据帧进行横向差分处理以及纵向差分处理，并基于生成的矩阵之间的关系，生成候选图像残差；
基于所述候选图像残差与所述目标附加矩阵之间的差值，构建目标优化函数；
对所述目标优化函数进行求解，根据求解结果，更新所述重建视频数据帧，生成所述目标重建视频帧。
9.一种编码端或/和解码端，其特征在于，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的视频编码方法以及权利要求7-8任一项所述的视频解码方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的视频编码方法以及权利要求7-8任一项所述的视频解码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210913981.3A CN115499664A (zh) | 2022-07-29 | 2022-07-29 | 视频编码方法、视频解码方法以及编码端或/和解码端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210913981.3A CN115499664A (zh) | 2022-07-29 | 2022-07-29 | 视频编码方法、视频解码方法以及编码端或/和解码端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115499664A true CN115499664A (zh) | 2022-12-20 |
Family
ID=84465676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210913981.3A Pending CN115499664A (zh) | 2022-07-29 | 2022-07-29 | 视频编码方法、视频解码方法以及编码端或/和解码端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115499664A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016058357A1 (zh) * | 2014-10-17 | 2016-04-21 | 华为技术有限公司 | 视频处理方法、编码设备和解码设备 |
| CN105847871A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN114449286A (zh) * | 2022-02-15 | 2022-05-06 | 阿里巴巴（中国）有限公司 | 一种视频编码方法、解码方法及装置 |
-
2022
- 2022-07-29 CN CN202210913981.3A patent/CN115499664A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016058357A1 (zh) * | 2014-10-17 | 2016-04-21 | 华为技术有限公司 | 视频处理方法、编码设备和解码设备 |
| CN105847871A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编解码方法及其装置 |
| CN114449286A (zh) * | 2022-02-15 | 2022-05-06 | 阿里巴巴（中国）有限公司 | 一种视频编码方法、解码方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| YANBO GAO; CE ZHU; SHUAI LI; TIANWU YANG: "Temporally Dependent Rate-Distortion Optimization for Low-Delay Hierarchical Video Coding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 9, 15 June 2019 (2019-06-15) * |
| 王洪涛: "面向视频编码标准应用的帧间预测技术研究", 《中国优秀博士学位论文全文数据库》, 1 May 2015 (2015-05-01) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109451308B (zh) | 视频压缩处理方法及装置、电子设备及存储介质 | |
| EP3637781A1 (en) | Video processing method and apparatus | |
| EP2916543A1 (en) | Method for coding/decoding depth image and coding/decoding device | |
| CN104581177B (zh) | 一种结合块匹配和串匹配的图像压缩方法和装置 | |
| CN113766249B (zh) | 视频编解码中的环路滤波方法、装置、设备及存储介质 | |
| US11949853B2 (en) | Data decoding method and apparatus, and data coding method and apparatus | |
| US20210037253A1 (en) | Video encoding method and apparatus, video decoding method and apparatus, computer device, and storage medium | |
| CN108347602B (zh) | 用于无损压缩视频数据的方法和装置 | |
| WO2019004749A1 (ko) | 비디오 압축을 위한 변환 커널의 저복잡도 연산을 수행하는 방법 및 장치 | |
| CN111464811A (zh) | 图像的处理方法、装置和系统 | |
| WO2022110870A1 (zh) | 图像编码和解码方法、编码和解码装置、编码器及解码器 | |
| WO2015007389A1 (en) | Encoder and decoder, and method of operation | |
| WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| CN110677676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
| CN110662071B (zh) | 视频解码方法和装置、存储介质及电子装置 | |
| CN115499664A (zh) | 视频编码方法、视频解码方法以及编码端或/和解码端 | |
| CN109474826B (zh) | 图片压缩方法、装置、电子设备及存储介质 | |
| CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
| CN110958460B (zh) | 一种视频存储方法、装置、电子设备及存储介质 | |
| CN114004743A (zh) | 图像重建、编码解码方法、重建模型训练方法、相关装置 | |
| CN108933945B (zh) | 一种gif图片的压缩方法、装置及存储介质 | |
| CN110996108A (zh) | 一种视频帧重构方法、装置及终端设备 | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| CN116708800A (zh) | 图像编码与解码方法、装置及系统 | |
| CN110572653B (zh) | 视频编码、解码方法和装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |