CN115209147A - 摄像头视频传输带宽优化方法、装置、设备及存储介质 - Google Patents

摄像头视频传输带宽优化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115209147A
CN115209147A CN202211120671.2A CN202211120671A CN115209147A CN 115209147 A CN115209147 A CN 115209147A CN 202211120671 A CN202211120671 A CN 202211120671A CN 115209147 A CN115209147 A CN 115209147A
Authority
CN
China
Prior art keywords
frame
image block
coding
value
standard image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211120671.2A
Other languages
English (en)
Other versions
CN115209147B (zh
Inventor
陈佩吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Peiyi Microelectronics Co ltd
Original Assignee
Shenzhen Peiyi Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Peiyi Microelectronics Co ltd filed Critical Shenzhen Peiyi Microelectronics Co ltd
Priority to CN202211120671.2A priority Critical patent/CN115209147B/zh
Publication of CN115209147A publication Critical patent/CN115209147A/zh
Application granted granted Critical
Publication of CN115209147B publication Critical patent/CN115209147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种摄像头视频传输带宽优化方法，包括：通过预设的多类型树对待传视频逐帧进行图像分块，得到帧图像树块；选取帧图像树块中的目标图像块，利用帧内三重预测模型对目标图像块进行帧内预测，得到帧内编码，对目标图像块进行帧间预测，得到帧间编码，根据帧内编码与帧间编码得到目标图像块的预测编码，对预测编码进行变换操作，得到变换编码，对变换编码进行量化，得到量化编码；对量化编码进行熵编码，得到图块熵，对图块熵进行自适应环路滤波，得到传输转码，利用传输转码对待传视频进行传输。本发明还提出一种摄像头视频传输带宽优化装置、设备以及存储介质。本发明可以降低摄像头视频传输时的带宽阻塞。

Description

摄像头视频传输带宽优化方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种摄像头视频传输带宽优化方法、装置、设备及存储介质。
背景技术
随着物联网技术的发展，智能摄像头也在越来越多的场景得到了应用，为了得到更加清晰的录像视频，给用户更好地智能摄像头体验，需要对智能摄像头视频进行转码压缩，以减少视频传输的带宽压力。
现有的视频传输带宽优化方法多为基于简单的视频转码实现视频大小的降低，进而优化视频传输带宽，例如，将摄像头视频统一转码成H.255格式，进而进行视频传输。实际应用中，简单的视频转码容易生成视频噪点，且对视频的压缩倍率较低，从而可能导致摄像头视频传输时的带宽阻塞。
发明内容
本发明提供一种摄像头视频传输带宽优化方法、装置、设备及存储介质，其主要目的在于解决摄像头视频传输时的带宽阻塞的问题。
为实现上述目的，本发明提供的一种摄像头视频传输带宽优化方法，包括：
获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
可选地，所述通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，包括：
将所述待传视频切分为由多个短视频序列组成的视频序列集；
逐个从所述视频序列集中选取短视频序列作为目标视频序列，利用预设的视频转化工具将所述目标视频序列转化为视频帧图集；
通过遍历的方式逐个从所述视频帧图集中选取帧图像作为目标帧图像，对所述目标帧图像进行四叉树划分，得到所述目标帧图像的单元格，判断所述目标帧图像的单元格尺寸是否大于预设阈值；
当所述目标帧图像的单元格尺寸大于预设阈值时，对所述目标帧图像依次进行四叉树划分、二叉树划分以及三叉树划分，得到帧图像树块；
当所述目标帧图像的单元格尺寸小于或等于预设阈值时，对所述目标帧图像依次进行二叉树划分、三叉树划分以及四叉树划分，得到帧图像树块。
可选地，所述利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码之前，还包括：
获取预设的标准图像块集，对所述标准图像块集进行像素属性标注，得到所述标准图像块集的真实像素属性；
利用预设的第一卷积网络对所述标准图像块集中的各标准图像块进行特征提取，得到各标准图像块对应的图像特征；
根据所述图像特征对各标准图像块进行像素属性预测，得到所述标准图像块集的预测像素属性；
利用如下的对抗损失函数计算所述标准图像块集的真实像素属性与所述标准图像块集的预测像素属性之间的三重损失值，并根据所述三重损失值对所述第一卷积网络进行参数更新优化，得到帧内三重预测模型：
Figure DEST_PATH_IMAGE001
Figure 100002_DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
是所述标准图像块的第一损失值，
Figure 100002_DEST_PATH_IMAGE006
是所述标准图像块的第二损失值，
Figure DEST_PATH_IMAGE007
是所述标准图像块的第三损失值，
Figure 100002_DEST_PATH_IMAGE008
是所述标准图像块中的像素总数，
Figure 596098DEST_PATH_IMAGE009
是指所述标准图像块中的第
Figure 163346DEST_PATH_IMAGE009
个像素，
Figure 100002_DEST_PATH_IMAGE010
是指所述标准图像块中的第
Figure 789499DEST_PATH_IMAGE009
个像素的预测像素属性中的色相值，
Figure 176618DEST_PATH_IMAGE011
是指所述标准图像块中的第
Figure 811999DEST_PATH_IMAGE009
个像素的真实像素属性中的色相值，
Figure 100002_DEST_PATH_IMAGE012
是指所述标准图像块中的第
Figure 968174DEST_PATH_IMAGE009
个像素的预测像素属性中的亮度值，
Figure 765229DEST_PATH_IMAGE013
是指所述标准图像块中的第
Figure 639644DEST_PATH_IMAGE009
个像素的真实像素属性中的亮度值，
Figure 100002_DEST_PATH_IMAGE014
是指所述标准图像块中的第
Figure 78715DEST_PATH_IMAGE009
个像素的预测像素属性中的色度值，
Figure 89397DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 322932DEST_PATH_IMAGE009
个像素的真实像素属性中的色度值，
Figure 100002_DEST_PATH_IMAGE016
是所述三重损失值，
Figure 435376DEST_PATH_IMAGE017
和
Figure 100002_DEST_PATH_IMAGE018
是预设常数。
可选地，所述利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码之前，还包括：
获取预设的标准图块序列，对所述标准图块序列进行像素属性标注，得到所述标准图块序列的真实像素属性；
利用预设的双向递归网络对所述标准图块序列中的各标准图像块进行特征提取，得到各标准图像块对应的向前图像特征以及向后图像特征；
根据所述向前图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向前预测属性；
根据所述向后图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向后预测属性；
利用如下的融合损失函数计算所述向前预测属性与所述真实像素属性之间的向前损失值以及所述向后预测属性与所述真实像素属性之间的向后损失值，并根据所述向前损失值和所述向后损失值得到所述标准图块序列的融合损失值，根据所述融合损失值对所述双向递归网络进行参数更新优化，得到双向预测模型：
Figure 412559DEST_PATH_IMAGE019
Figure 100002_DEST_PATH_IMAGE020
Figure 543326DEST_PATH_IMAGE021
Figure 100002_DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
Figure 100002_DEST_PATH_IMAGE024
其中，所述
Figure DEST_PATH_IMAGE025
是指所述标准图像块中的第
Figure 478921DEST_PATH_IMAGE009
个像素的真实像素属性的属性值，
Figure 100002_DEST_PATH_IMAGE026
是指所述标准图像块中的第
Figure 327928DEST_PATH_IMAGE009
个像素的向前预测属性的属性值，
Figure DEST_PATH_IMAGE027
是指所述标准图像块中的第
Figure 843223DEST_PATH_IMAGE009
个像素的向后预测属性的属性值，
Figure 828497DEST_PATH_IMAGE011
是指所述标准图像块中的第
Figure 664821DEST_PATH_IMAGE009
个像素的真实像素属性中的色相值，
Figure 735545DEST_PATH_IMAGE013
是指所述标准图像块中的第
Figure 54531DEST_PATH_IMAGE009
个像素的真实像素属性中的亮度值，
Figure 894311DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 640550DEST_PATH_IMAGE009
个像素的真实像素属性中的色度值，
Figure 100002_DEST_PATH_IMAGE028
是指所述标准图像块中的第
Figure 198570DEST_PATH_IMAGE009
个像素的向前预测属性中的色相值，
Figure DEST_PATH_IMAGE029
是指所述标准图像块中的第
Figure 321247DEST_PATH_IMAGE009
个像素的向前预测属性中的亮度值，
Figure 100002_DEST_PATH_IMAGE030
是指所述标准图像块中的第
Figure 281113DEST_PATH_IMAGE009
个像素的向前预测属性中的色度值，
Figure DEST_PATH_IMAGE031
是指所述标准图像块中的第
Figure 198253DEST_PATH_IMAGE009
个像素的向后预测属性中的色相值，
Figure 100002_DEST_PATH_IMAGE032
是指所述标准图像块中的第
Figure 509149DEST_PATH_IMAGE009
个像素的向后预测属性中的亮度值，
Figure DEST_PATH_IMAGE033
是指所述标准图像块中的第
Figure 920670DEST_PATH_IMAGE009
个像素的向后预测属性中的色度值，
Figure 735042DEST_PATH_IMAGE008
是所述标准图像块中的像素总数，
Figure 823084DEST_PATH_IMAGE009
是指所述标准图像块中的第
Figure 355696DEST_PATH_IMAGE009
个像素，
Figure 100002_DEST_PATH_IMAGE034
是所述向前损失值，
Figure 820176DEST_PATH_IMAGE035
是所述向后损失值，
Figure 100002_DEST_PATH_IMAGE036
是所述融合损失值，
Figure 489054DEST_PATH_IMAGE017
、
Figure 13577DEST_PATH_IMAGE018
以及
Figure 767906DEST_PATH_IMAGE037
是预设常数。
可选地，所述通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，包括：
获取所述预测编码中的编码总数，根据所述编码总数以及如下的非规则变换算法对所述预测编码进行变换操作，得到变换编码：
Figure 100002_DEST_PATH_IMAGE038
其中，
Figure 770497DEST_PATH_IMAGE039
是指所述变换编码中的第
Figure 100002_DEST_PATH_IMAGE040
行第
Figure 559462DEST_PATH_IMAGE041
列的编码的数值，
Figure 481505DEST_PATH_IMAGE054
是指所述预测编码中的第
Figure 432144DEST_PATH_IMAGE051
行第
Figure 49070DEST_PATH_IMAGE053
列的编码的数值，
Figure DEST_PATH_IMAGE055
是指所述编码总数，
Figure 870395DEST_PATH_IMAGE056
是预设常数，
Figure DEST_PATH_IMAGE057
是余弦函数，
Figure 16206DEST_PATH_IMAGE058
是180度。
可选地，所述对所述量化编码进行熵编码，得到图块熵，包括：
逐个选取所述量化编码中的编码值作为目标编码值，判断所述目标编码值是否为二进制数值；
当所述目标编码值不是二进制数值时，将所述目标编码值转化为二进制编码；
对所述二进制编码进行上下文建模，并利用预设的常规编码器对上下文建模后的所述二进制编码进行熵编码，得到图块熵；
当所述目标编码值是二进制数值时，利用预设的旁路编码器对所述目标编码值进行熵编码，得到图块熵。
可选地，所述对所述图块熵进行自适应环路滤波，得到传输转码，包括：
对所述图块熵的垂直边缘进行水平滤波，得到初级编码；
对所述初级编码的水平边缘进行垂直滤波，得到中级编码；
对所述中级编码进行误差补偿，得到传输转码。
为了解决上述问题，本发明还提供一种摄像头视频传输带宽优化装置，所述装置包括：
图像分块模块，用于获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
帧内编码模块，用于逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
帧间编码模块，用于利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
变换量化模块，用于通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
转码传输模块，用于对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
为了解决上述问题，本发明还提供一种设备，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的摄像头视频传输带宽优化方法。
为了解决上述问题，本发明还提供一种存储介质，所述存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被设备中的处理器执行以实现上述所述的摄像头视频传输带宽优化方法。
本发明实施例通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，可以对所述待传视频的每一帧的图像进行多类型分块分析，可以细化分割帧图像，进而方便找寻帧图像之间的差异度与变化情况，从而方便后续压缩编码；通过使用对抗损失函数对第一卷积网络进行参数优化更新，能够捕捉图像的高频细节，提高预测结果的真实性，通过训练后的帧内三重预测模型对所述目标图像块进行帧内预测，能够得到记录所述目标图像块的像素差值的帧内编码，从而完成对图像块的压缩，进而减少了视频传输的大小，减少了视频传输带宽阻力，通过所述融合损失函数对所述双向递归网络进行优化，能够提升帧间预测的矢量精度，更好地捕捉帧间物体的运动轨迹，从而提升预测结果的真实性，通过预设的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，可以有效地将捕捉连续帧图片之间的差异值，并将其进行编码，通过预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码可以将所述变换编码中编码差值较小的区域的编码值进行统一，从而达到压缩预测编码的目的，进而减少了视频传输的大小，减少了视频传输带宽阻力，通过对所述图块熵进行自适应环路滤波，得到传输转码，可以解决转码压缩而导致的块效应以及振铃效应，改善了视频压缩质量。因此本发明提出的摄像头视频传输带宽优化方法、装置、设备及存储介质，可以解决摄像头视频传输时的带宽阻塞的问题。
附图说明
图1为本发明一实施例提供的摄像头视频传输带宽优化方法的流程示意图；
图2为本发明一实施例提供的熵编码量化编码的流程示意图；
图3为本发明一实施例提供的自适应环路滤波的流程示意图；
图4为本发明一实施例提供的摄像头视频传输带宽优化装置的功能模块图；
图5为本发明一实施例提供的实现所述摄像头视频传输带宽优化方法的设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种摄像头视频传输带宽优化方法。所述摄像头视频传输带宽优化方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的设备中的至少一种。换言之，所述摄像头视频传输带宽优化方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的摄像头视频传输带宽优化方法的流程示意图。在本实施例中，所述摄像头视频传输带宽优化方法包括：
S1、获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
本发明实施例中，所述待传视频是指由物联网智能摄像头拍摄的，用于传入云端数据库的视频。
本发明实施例中，所述通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，包括：
将所述待传视频切分为由多个短视频序列组成的视频序列集；
逐个从所述视频序列集中选取短视频序列作为目标视频序列，利用预设的视频转化工具将所述目标视频序列转化为视频帧图集；
通过遍历的方式逐个从所述视频帧图集中选取帧图像作为目标帧图像，对所述目标帧图像进行四叉树划分，得到所述目标帧图像的单元格，判断所述目标帧图像的单元格尺寸是否大于预设阈值；
当所述目标帧图像的单元格尺寸大于预设阈值时，对所述目标帧图像依次进行四叉树划分、二叉树划分以及三叉树划分，得到帧图像树块；
当所述目标帧图像的单元格尺寸小于或等于预设阈值时，对所述目标帧图像依次进行二叉树划分、三叉树划分以及四叉树划分，得到帧图像树块。
详细地，所述短视频序列是指三到五秒左右的视频序列。
具体地，所述视频转化工具可以是OpenCV工具库中的cv2.VideoCapture工具。
详细地，所述单元格尺寸是指对所述目标帧图像进行四叉树划分后每个单元格的尺寸，例如16x16像素。
具体地，所述预设阈值可以是64x64像素。
具体地，可以通过python的partitioner.canSplit函数判断所述目标帧图像的单元格尺寸是否大于预设阈值。
详细地，可以通过python的partitioner插件对所述目标帧图像进行四叉树划分、二叉树划分以及三叉树划分，得到帧图像树块。
本发明实施例中，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，可以对所述待传视频的每一帧的图像进行多类型分块分析，可以细化分割帧图像，进而方便找寻帧图像之间的差异度与变化情况，从而方便后续压缩编码。
S2、逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
本发明实施例中，所述利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，是指通过所述帧内三重预测模型得到所述目标图像块的预测像素，并将所述预测像素与所述目标图像块的真实像素之间的差值作为所述帧内编码。
本发明实施例中，所述利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码之前，还包括：
获取预设的标准图像块集，对所述标准图像块集进行像素属性标注，得到所述标准图像块集的真实像素属性；
利用预设的第一卷积网络对所述标准图像块集中的各标准图像块进行特征提取，得到各标准图像块对应的图像特征；
根据所述图像特征对各标准图像块进行像素属性预测，得到所述标准图像块集的预测像素属性；
利用如下的对抗损失函数计算所述标准图像块集的真实像素属性与所述标准图像块集的预测像素属性之间的三重损失值，并根据所述三重损失值对所述第一卷积网络进行参数更新优化，得到帧内三重预测模型：
Figure 188561DEST_PATH_IMAGE002
Figure 343599DEST_PATH_IMAGE004
Figure 285010DEST_PATH_IMAGE006
Figure 132881DEST_PATH_IMAGE008
其中，
Figure 792532DEST_PATH_IMAGE009
是所述标准图像块的第一损失值，
Figure 751261DEST_PATH_IMAGE010
是所述标准图像块的第二损失值，
Figure 812758DEST_PATH_IMAGE011
是所述标准图像块的第三损失值，
Figure 565950DEST_PATH_IMAGE012
是所述标准图像块中的像素总数，
Figure 447318DEST_PATH_IMAGE013
是指所述标准图像块中的第
Figure 209738DEST_PATH_IMAGE013
个像素，
Figure 114023DEST_PATH_IMAGE014
是指所述标准图像块中的第
Figure 303696DEST_PATH_IMAGE013
个像素的预测像素属性中的色相值，
Figure 937939DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 238471DEST_PATH_IMAGE013
个像素的真实像素属性中的色相值，
Figure 8980DEST_PATH_IMAGE016
是指所述标准图像块中的第
Figure 369555DEST_PATH_IMAGE013
个像素的预测像素属性中的亮度值，
Figure 225515DEST_PATH_IMAGE017
是指所述标准图像块中的第
Figure 329737DEST_PATH_IMAGE013
个像素的真实像素属性中的亮度值，
Figure 954754DEST_PATH_IMAGE018
是指所述标准图像块中的第
Figure 486229DEST_PATH_IMAGE013
个像素的预测像素属性中的色度值，
Figure 829486DEST_PATH_IMAGE019
是指所述标准图像块中的第
Figure 471820DEST_PATH_IMAGE013
个像素的真实像素属性中的色度值，
Figure 216922DEST_PATH_IMAGE020
是所述三重损失值，
Figure 919299DEST_PATH_IMAGE021
和
Figure 749852DEST_PATH_IMAGE022
是预设常数。
详细地，所述标准图像块集可以是由物联网智能摄像头录制的历史视频经过逐帧图像分块得到的，所述逐帧图像分块的方法与上述步骤S1中的通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块的方法一致，这里不再赘述。
详细地，所述对所述标准图像块集进行像素属性标注，得到所述标准图像块集的真实像素属性是指获取所述标准图像块集中每个标准图像块的每个像素点的像素属性，所述像素属性包括色相值、亮度值以及色度值。
具体地，所述第一卷积网络可以是IPCED网络，详细地，所述IPCED网络是一种使用卷积编解码结构进行帧内预测的网络。
本发明实施例中，通过使用对抗损失函数对第一卷积网络进行参数优化更新，能够捕捉图像的高频细节，提高预测结果的真实性，通过训练后的帧内三重预测模型对所述目标图像块进行帧内预测，能够得到记录所述目标图像块的像素差值的帧内编码，从而完成对图像块的压缩，进而减少了视频传输的大小，减少了视频传输带宽阻力。
S3、利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
本发明实施例中，所述利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，是指通过所述双向预测模型得到所述目标图像块的预测像素，并将所述预测像素与所述目标图像块的真实像素之间的差值作为所述帧内编码。
本发明实施例中，所述利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码之前，还包括：
获取预设的标准图块序列，对所述标准图块序列进行像素属性标注，得到所述标准图块序列的真实像素属性；
利用预设的双向递归网络对所述标准图块序列中的各标准图像块进行特征提取，得到各标准图像块对应的向前图像特征以及向后图像特征；
根据所述向前图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向前预测属性；
根据所述向后图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向后预测属性；
利用如下的融合损失函数计算所述向前预测属性与所述真实像素属性之间的向前损失值以及所述向后预测属性与所述真实像素属性之间的向后损失值，并根据所述向前损失值和所述向后损失值得到所述标准图块序列的融合损失值，根据所述融合损失值对所述双向递归网络进行参数更新优化，得到双向预测模型：
Figure 238573DEST_PATH_IMAGE019
Figure 729466DEST_PATH_IMAGE020
Figure 934342DEST_PATH_IMAGE028
Figure 986612DEST_PATH_IMAGE030
Figure 970748DEST_PATH_IMAGE032
Figure 801328DEST_PATH_IMAGE024
其中，所述
Figure 710378DEST_PATH_IMAGE025
是指所述标准图像块中的第
Figure 274188DEST_PATH_IMAGE013
个像素的真实像素属性的属性值，
Figure 62015DEST_PATH_IMAGE036
是指所述标准图像块中的第
Figure 636216DEST_PATH_IMAGE013
个像素的向前预测属性的属性值，
Figure 311123DEST_PATH_IMAGE027
是指所述标准图像块中的第
Figure 305624DEST_PATH_IMAGE009
个像素的向后预测属性的属性值，
Figure 469677DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 163963DEST_PATH_IMAGE013
个像素的真实像素属性中的色相值，
Figure 549945DEST_PATH_IMAGE017
是指所述标准图像块中的第
Figure 915597DEST_PATH_IMAGE009
个像素的真实像素属性中的亮度值，
Figure 413575DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 476947DEST_PATH_IMAGE013
个像素的真实像素属性中的色度值，
Figure 33831DEST_PATH_IMAGE038
是指所述标准图像块中的第
Figure 35285DEST_PATH_IMAGE013
个像素的向前预测属性中的色相值，
Figure 201533DEST_PATH_IMAGE029
是指所述标准图像块中的第
Figure 683330DEST_PATH_IMAGE009
个像素的向前预测属性中的亮度值，
Figure 565835DEST_PATH_IMAGE030
是指所述标准图像块中的第
Figure 183899DEST_PATH_IMAGE009
个像素的向前预测属性中的色度值，
Figure 392026DEST_PATH_IMAGE031
是指所述标准图像块中的第
Figure 829961DEST_PATH_IMAGE009
个像素的向后预测属性中的色相值，
Figure 516157DEST_PATH_IMAGE032
是指所述标准图像块中的第
Figure 988727DEST_PATH_IMAGE009
个像素的向后预测属性中的亮度值，
Figure 102176DEST_PATH_IMAGE033
是指所述标准图像块中的第
Figure 27407DEST_PATH_IMAGE009
个像素的向后预测属性中的色度值，
Figure 517294DEST_PATH_IMAGE008
是所述标准图像块中的像素总数，
Figure 844370DEST_PATH_IMAGE009
是指所述标准图像块中的第
Figure 643568DEST_PATH_IMAGE009
个像素，
Figure 56094DEST_PATH_IMAGE034
是所述向前损失值，
Figure 84093DEST_PATH_IMAGE035
是所述向后损失值，
Figure 531255DEST_PATH_IMAGE036
是所述融合损失值，
Figure 986507DEST_PATH_IMAGE017
、
Figure 151909DEST_PATH_IMAGE018
以及
Figure 718020DEST_PATH_IMAGE037
是预设常数。
详细地，所述标准图块序列可以是由物联网智能摄像头录制的历史视频经过逐帧图像分块得到的时间序列上的图块集合，所述逐帧图像分块的方法与上述步骤S1中的通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块的方法一致，这里不再赘述。
详细地，所述对所述标准图块序列进行像素属性标注，得到所述标准图块序列的真实像素属性是指获取所述标准图块序列中每个标准图像块的每个像素点的像素属性，所述像素属性包括色相值、亮度值以及色度值。
详细地，所述双向递归网络（Bidirectional Recurrent Neural Networks，BRNN）是一种用于预测序列中前后特征的卷积神经网络。
本发明实施例中，通过所述融合损失函数对所述双向递归网络进行优化，能够提升帧间预测的矢量精度，更好地捕捉帧间物体的运动轨迹，从而提升预测结果的真实性。
详细地，所述根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码是指将所述帧内编码与所述帧间编码矩阵化，并将矩阵化后的所述帧内编码与所述帧间编码进行拼接，得到所述预测编码。
本发明实施例中，通过预设的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，可以有效地将捕捉连续帧图片之间的差异值，并将其进行编码，例如，对于视频画面的静止背景，可以压缩成一张背景图，从而降低视频的大小，进而减少了视频传输的大小，减少了视频传输带宽阻力。
S4、通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
本发明实施例中，所述通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，包括：
获取所述预测编码中的编码总数，根据所述编码总数以及如下的非规则变换算法对所述预测编码进行变换操作，得到变换编码：
Figure 19688DEST_PATH_IMAGE038
其中，
Figure 645842DEST_PATH_IMAGE039
是指所述变换编码中的第
Figure 298540DEST_PATH_IMAGE040
行第
Figure 402762DEST_PATH_IMAGE041
列的编码的数值，
Figure 100002_DEST_PATH_IMAGE042
是指所述预测编码中的第
Figure 824516DEST_PATH_IMAGE040
行第
Figure 887150DEST_PATH_IMAGE041
列的编码的数值，
Figure 495986DEST_PATH_IMAGE043
是指所述编码总数，
Figure 100002_DEST_PATH_IMAGE044
是预设常数，
Figure 685790DEST_PATH_IMAGE045
是余弦函数，
Figure 100002_DEST_PATH_IMAGE046
是180度。
本发明实施例中，通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，能够将所述预测编码中的相关性较大的参数集中到所述变换编码中的左上角，从而达到压缩预测编码的目的，进而减少了视频传输的大小，减少了视频传输带宽阻力。
详细地，所述利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码，包括：
获取所述目标图像块的依赖重建值，利用所述重建值依赖算法和所述依赖重建值对所述变换编码进行量化，得到所述目标图像块的量化编码：
Figure 962051DEST_PATH_IMAGE047
其中，
Figure DEST_PATH_IMAGE048
是所述量化编码中的第
Figure 195586DEST_PATH_IMAGE040
行第
Figure 557297DEST_PATH_IMAGE041
列的编码的数值，
Figure 268901DEST_PATH_IMAGE039
是指所述变换编码中的第
Figure 399668DEST_PATH_IMAGE040
行第
Figure 538525DEST_PATH_IMAGE041
列的编码的数值，
Figure 387533DEST_PATH_IMAGE049
是向下取整函数，
Figure DEST_PATH_IMAGE050
是预设常数，
Figure 902828DEST_PATH_IMAGE051
是所述依赖重建值。
详细地，所述依赖重建值是指所述目标图像块之间的图像块的重建值。
本发明实施例中，通过预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码可以将所述变换编码中编码差值较小的区域的编码值进行统一，从而达到压缩预测编码的目的，进而减少了视频传输的大小，减少了视频传输带宽阻力。
S5、对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
本发明实施例中，参照图2所示，所述对所述量化编码进行熵编码，得到图块熵，包括：
S21、逐个选取所述量化编码中的编码值作为目标编码值，判断所述目标编码值是否为二进制数值；
S22、当所述目标编码值不是二进制数值时，将所述目标编码值转化为二进制编码；
S23、对所述二进制编码进行上下文建模，并利用预设的常规编码器对上下文建模后的所述二进制编码进行熵编码，得到图块熵；
S24、当所述目标编码值是二进制数值时，利用预设的旁路编码器对所述目标编码值进行熵编码，得到图块熵。
本发明实施例中，通过对所述量化编码进行熵编码，得到图块熵，可以利用一个编码值代表一个区间的编码值，从而达到压缩数据量的目的。
具体地，可以利用卷积神经网络对所述二进制编码进行上下文建模。
详细地，所述常规编码器可以是encodeBin函数。
具体地，所述旁路编码器可以是encodeBinEP函数。
详细地，参照图3所示，所述对所述图块熵进行自适应环路滤波，得到传输转码，包括：
S31、对所述图块熵的垂直边缘进行水平滤波，得到初级编码；
S32、对所述初级编码的水平边缘进行垂直滤波，得到中级编码；
S33、对所述中级编码进行误差补偿，得到传输转码。
详细地，可以利用去方块滤波器（Deblocking Filter，DBF）对所述图块熵进行水平滤波和垂直滤波，进而解决因为转码压缩导致的块效应。
具体地，可以通过样点自适应补偿（Sample Adaptive Offset，SAO）对所述中级编码进行误差补偿，得到传输转码，进而解决因为转码压缩导致的振铃效应。
本发明实施例中，通过对所述图块熵进行自适应环路滤波，得到传输转码，可以解决转码压缩而导致的块效应以及振铃效应，改善了视频压缩质量。
本发明实施例通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，可以对所述待传视频的每一帧的图像进行多类型分块分析，可以细化分割帧图像，进而方便找寻帧图像之间的差异度与变化情况，从而方便后续压缩编码；通过使用对抗损失函数对第一卷积网络进行参数优化更新，能够捕捉图像的高频细节，提高预测结果的真实性，通过训练后的帧内三重预测模型对所述目标图像块进行帧内预测，能够得到记录所述目标图像块的像素差值的帧内编码，从而完成对图像块的压缩，进而减少了视频传输的大小，减少了视频传输带宽阻力，通过所述融合损失函数对所述双向递归网络进行优化，能够提升帧间预测的矢量精度，更好地捕捉帧间物体的运动轨迹，从而提升预测结果的真实性，通过预设的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，可以有效地将捕捉连续帧图片之间的差异值，并将其进行编码，通过预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码可以将所述变换编码中编码差值较小的区域的编码值进行统一，从而达到压缩预测编码的目的，进而减少了视频传输的大小，减少了视频传输带宽阻力，通过对所述图块熵进行自适应环路滤波，得到传输转码，可以解决转码压缩而导致的块效应以及振铃效应，改善了视频压缩质量。因此本发明提出的摄像头视频传输带宽优化方法，可以解决摄像头视频传输时的带宽阻塞的问题。
如图4所示，是本发明一实施例提供的摄像头视频传输带宽优化装置的功能模块图。
本发明所述摄像头视频传输带宽优化装置100可以安装于设备中。根据实现的功能，所述摄像头视频传输带宽优化装置100可以包括图像分块模块101、帧内编码模块102、帧间编码模块103、变换量化模块104及转码传输模块105。本发明所述模块也可以称之为单元，是指一种能够被设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像分块模块101，用于获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
所述帧内编码模块102，用于逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
所述帧间编码模块103，用于利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
所述变换量化模块104，用于通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
所述转码传输模块105，用于对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
详细地，本发明实施例中所述摄像头视频传输带宽优化装置100中所述的各模块在使用时采用与上述图1至图3中所述的摄像头视频传输带宽优化方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现摄像头视频传输带宽优化方法的设备的结构示意图。
所述设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如摄像头视频传输带宽优化程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述设备的控制核心（Control Unit），利用各种接口和线路连接整个设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行摄像头视频传输带宽优化程序等），以及调用存储在所述存储器11内的数据，以执行设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的移动硬盘。所述存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（Secure Digital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如摄像头视频传输带宽优化程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准（peripheral componentinterconnect，简称PCI）总线或扩展工业标准结构（extended industry standardarchitecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该设备与其他设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图中仅示出了具有部件的设备，本领域技术人员可以理解的是，图中示出的结构并不构成对所述设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述设备1中的所述存储器11存储的摄像头视频传输带宽优化程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。所述存储介质可以是易失性的，也可以是非易失性的。例如，所述存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）。
本发明还提供一种存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被设备的处理器所执行时，可以实现：
获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种摄像头视频传输带宽优化方法，其特征在于，所述方法包括：
获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
2.如权利要求1所述的摄像头视频传输带宽优化方法，其特征在于，所述通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块，包括：
将所述待传视频切分为由多个短视频序列组成的视频序列集；
逐个从所述视频序列集中选取短视频序列作为目标视频序列，利用预设的视频转化工具将所述目标视频序列转化为视频帧图集；
通过遍历的方式逐个从所述视频帧图集中选取帧图像作为目标帧图像，对所述目标帧图像进行四叉树划分，得到所述目标帧图像的单元格，判断所述目标帧图像的单元格尺寸是否大于预设阈值；
当所述目标帧图像的单元格尺寸大于预设阈值时，对所述目标帧图像依次进行四叉树划分、二叉树划分以及三叉树划分，得到帧图像树块；
当所述目标帧图像的单元格尺寸小于或等于预设阈值时，对所述目标帧图像依次进行二叉树划分、三叉树划分以及四叉树划分，得到帧图像树块。
3.如权利要求1所述的摄像头视频传输带宽优化方法，其特征在于，所述利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码之前，还包括：
获取预设的标准图像块集，对所述标准图像块集进行像素属性标注，得到所述标准图像块集的真实像素属性；
利用预设的第一卷积网络对所述标准图像块集中的各标准图像块进行特征提取，得到各标准图像块对应的图像特征；
根据所述图像特征对各标准图像块进行像素属性预测，得到所述标准图像块集的预测像素属性；
利用如下的对抗损失函数计算所述标准图像块集的真实像素属性与所述标准图像块集的预测像素属性之间的三重损失值，并根据所述三重损失值对所述第一卷积网络进行参数更新优化，得到帧内三重预测模型：
Figure 92709DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
Figure 275428DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
其中，
Figure 586324DEST_PATH_IMAGE005
是所述标准图像块的第一损失值，
Figure DEST_PATH_IMAGE006
是所述标准图像块的第二损失值，
Figure 247113DEST_PATH_IMAGE007
是所述标准图像块的第三损失值，
Figure DEST_PATH_IMAGE008
是所述标准图像块中的像素总数，
Figure DEST_PATH_IMAGE009
是指所述标准图像块中的第
Figure 327064DEST_PATH_IMAGE009
个像素，
Figure DEST_PATH_IMAGE010
是指所述标准图像块中的第
Figure 415106DEST_PATH_IMAGE009
个像素的预测像素属性中的色相值，
Figure DEST_PATH_IMAGE011
是指所述标准图像块中的第
Figure 196986DEST_PATH_IMAGE009
个像素的真实像素属性中的色相值，
Figure DEST_PATH_IMAGE012
是指所述标准图像块中的第
Figure 661465DEST_PATH_IMAGE009
个像素的预测像素属性中的亮度值，
Figure DEST_PATH_IMAGE013
是指所述标准图像块中的第
Figure 595923DEST_PATH_IMAGE009
个像素的真实像素属性中的亮度值，
Figure DEST_PATH_IMAGE014
是指所述标准图像块中的第
Figure 854866DEST_PATH_IMAGE009
个像素的预测像素属性中的色度值，
Figure DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 874775DEST_PATH_IMAGE009
个像素的真实像素属性中的色度值，
Figure DEST_PATH_IMAGE016
是所述三重损失值，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
是预设常数。
4.如权利要求1所述的摄像头视频传输带宽优化方法，其特征在于，所述利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码之前，还包括：
获取预设的标准图块序列，对所述标准图块序列进行像素属性标注，得到所述标准图块序列的真实像素属性；
利用预设的双向递归网络对所述标准图块序列中的各标准图像块进行特征提取，得到各标准图像块对应的向前图像特征以及向后图像特征；
根据所述向前图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向前预测属性；
根据所述向后图像特征对各标准图像块进行像素属性预测，得到所述标准图块序列的向后预测属性；
利用如下的融合损失函数计算所述向前预测属性与所述真实像素属性之间的向前损失值以及所述向后预测属性与所述真实像素属性之间的向后损失值，并根据所述向前损失值和所述向后损失值得到所述标准图块序列的融合损失值，根据所述融合损失值对所述双向递归网络进行参数更新优化，得到双向预测模型：
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
Figure 424836DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE024
其中，所述
Figure 213800DEST_PATH_IMAGE025
是指所述标准图像块中的第
Figure 909224DEST_PATH_IMAGE009
个像素的真实像素属性的属性值，
Figure DEST_PATH_IMAGE026
是指所述标准图像块中的第
Figure 416429DEST_PATH_IMAGE009
个像素的向前预测属性的属性值，
Figure 691552DEST_PATH_IMAGE027
是指所述标准图像块中的第
Figure 600602DEST_PATH_IMAGE009
个像素的向后预测属性的属性值，
Figure 935769DEST_PATH_IMAGE011
是指所述标准图像块中的第
Figure 930270DEST_PATH_IMAGE009
个像素的真实像素属性中的色相值，
Figure 274663DEST_PATH_IMAGE013
是指所述标准图像块中的第
Figure 772641DEST_PATH_IMAGE009
个像素的真实像素属性中的亮度值，
Figure 544288DEST_PATH_IMAGE015
是指所述标准图像块中的第
Figure 760505DEST_PATH_IMAGE009
个像素的真实像素属性中的色度值，
Figure DEST_PATH_IMAGE028
是指所述标准图像块中的第
Figure 157857DEST_PATH_IMAGE009
个像素的向前预测属性中的色相值，
Figure 510341DEST_PATH_IMAGE029
是指所述标准图像块中的第
Figure 718469DEST_PATH_IMAGE009
个像素的向前预测属性中的亮度值，
Figure DEST_PATH_IMAGE030
是指所述标准图像块中的第
Figure 421983DEST_PATH_IMAGE009
个像素的向前预测属性中的色度值，
Figure 842600DEST_PATH_IMAGE031
是指所述标准图像块中的第
Figure 580748DEST_PATH_IMAGE009
个像素的向后预测属性中的色相值，
Figure DEST_PATH_IMAGE032
是指所述标准图像块中的第
Figure 959777DEST_PATH_IMAGE009
个像素的向后预测属性中的亮度值，
Figure 150587DEST_PATH_IMAGE033
是指所述标准图像块中的第
Figure 374895DEST_PATH_IMAGE009
个像素的向后预测属性中的色度值，
Figure 701971DEST_PATH_IMAGE008
是所述标准图像块中的像素总数，
Figure 986322DEST_PATH_IMAGE009
是指所述标准图像块中的第
Figure 664428DEST_PATH_IMAGE009
个像素，
Figure DEST_PATH_IMAGE034
是所述向前损失值，
Figure DEST_PATH_IMAGE035
是所述向后损失值，
Figure DEST_PATH_IMAGE036
是所述融合损失值，
Figure 974318DEST_PATH_IMAGE017
、
Figure 155900DEST_PATH_IMAGE018
以及
Figure DEST_PATH_IMAGE037
是预设常数。
5.如权利要求1所述的摄像头视频传输带宽优化方法，其特征在于，所述通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，包括：
获取所述预测编码中的编码总数，根据所述编码总数以及如下的非规则变换算法对所述预测编码进行变换操作，得到变换编码：
Figure DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
是指所述变换编码中的第
Figure DEST_PATH_IMAGE040
行第
Figure DEST_PATH_IMAGE041
列的编码的数值，
Figure DEST_PATH_IMAGE042
是指所述预测编码中的第
Figure 407890DEST_PATH_IMAGE040
行第
Figure 307713DEST_PATH_IMAGE041
列的编码的数值，
Figure DEST_PATH_IMAGE043
是指所述编码总数，
Figure DEST_PATH_IMAGE044
是预设常数，
Figure DEST_PATH_IMAGE045
是余弦函数，
Figure DEST_PATH_IMAGE046
是180度。
6.如权利要求1所述的摄像头视频传输带宽优化方法，其特征在于，所述对所述量化编码进行熵编码，得到图块熵，包括：
逐个选取所述量化编码中的编码值作为目标编码值，判断所述目标编码值是否为二进制数值；
当所述目标编码值不是二进制数值时，将所述目标编码值转化为二进制编码；
对所述二进制编码进行上下文建模，并利用预设的常规编码器对上下文建模后的所述二进制编码进行熵编码，得到图块熵；
当所述目标编码值是二进制数值时，利用预设的旁路编码器对所述目标编码值进行熵编码，得到图块熵。
7.如权利要求1至6中任一项所述的摄像头视频传输带宽优化方法，其特征在于，所述对所述图块熵进行自适应环路滤波，得到传输转码，包括：
对所述图块熵的垂直边缘进行水平滤波，得到初级编码；
对所述初级编码的水平边缘进行垂直滤波，得到中级编码；
对所述中级编码进行误差补偿，得到传输转码。
8.一种摄像头视频传输带宽优化装置，其特征在于，所述装置包括：
图像分块模块，用于获取待传视频，通过预设的多类型树对所述待传视频逐帧进行图像分块，得到帧图像树块；
帧内编码模块，用于逐个从所述帧图像树块中选取图像块作为目标图像块，利用训练后的帧内三重预测模型对所述目标图像块进行帧内预测，得到帧内编码，所述帧内三重预测模型是利用预设的对抗损失函数训练得到的；
帧间编码模块，用于利用训练后的双向预测模型对所述目标图像块进行帧间预测，得到帧间编码，根据所述帧内编码与所述帧间编码得到所述目标图像块的预测编码，所述双向预测模型是利用预设的融合损失函数训练得到的；
变换量化模块，用于通过预设的非规则变换算法对所述预测编码进行变换操作，得到变换编码，利用预设的重建值依赖算法对所述变换编码进行量化，得到所述目标图像块的量化编码；
转码传输模块，用于对所述量化编码进行熵编码，得到图块熵，对所述图块熵进行自适应环路滤波，得到传输转码，将所述传输转码传输给视频接收端。
9.一种设备，其特征在于，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的摄像头视频传输带宽优化方法。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的摄像头视频传输带宽优化方法。
CN202211120671.2A 2022-09-15 2022-09-15 摄像头视频传输带宽优化方法、装置、设备及存储介质 Active CN115209147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211120671.2A CN115209147B (zh) 2022-09-15 2022-09-15 摄像头视频传输带宽优化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211120671.2A CN115209147B (zh) 2022-09-15 2022-09-15 摄像头视频传输带宽优化方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115209147A true CN115209147A (zh) 2022-10-18
CN115209147B CN115209147B (zh) 2022-12-27

Family

ID=83573139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211120671.2A Active CN115209147B (zh) 2022-09-15 2022-09-15 摄像头视频传输带宽优化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115209147B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116318559A (zh) * 2023-05-18 2023-06-23 深圳沛喆微电子有限公司 WiFi6智能路由器系统自动加速视频传输速率的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
US20190230354A1 (en) * 2016-06-24 2019-07-25 Korea Advanced Institute Of Science And Technology Encoding and decoding methods and devices including cnn-based in-loop filter
CN111669589A (zh) * 2020-06-23 2020-09-15 腾讯科技（深圳）有限公司 图像编码方法、装置、计算机设备以及存储介质
CN111901596A (zh) * 2020-06-29 2020-11-06 北京大学 基于深度学习的视频混合编码与解码方法及装置、介质
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
CN113301347A (zh) * 2021-05-08 2021-08-24 广东工业大学 一种hevc高清视频编码的优化方法
US20210329267A1 (en) * 2020-04-17 2021-10-21 Qualcomm Incorporated Parallelized rate-distortion optimized quantization using deep learning
CN113766249A (zh) * 2020-06-01 2021-12-07 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN114885172A (zh) * 2022-04-14 2022-08-09 华侨大学 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190230354A1 (en) * 2016-06-24 2019-07-25 Korea Advanced Institute Of Science And Technology Encoding and decoding methods and devices including cnn-based in-loop filter
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质
US20210329267A1 (en) * 2020-04-17 2021-10-21 Qualcomm Incorporated Parallelized rate-distortion optimized quantization using deep learning
CN113766249A (zh) * 2020-06-01 2021-12-07 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111669589A (zh) * 2020-06-23 2020-09-15 腾讯科技（深圳）有限公司 图像编码方法、装置、计算机设备以及存储介质
CN111901596A (zh) * 2020-06-29 2020-11-06 北京大学 基于深度学习的视频混合编码与解码方法及装置、介质
CN113301347A (zh) * 2021-05-08 2021-08-24 广东工业大学 一种hevc高清视频编码的优化方法
CN114885172A (zh) * 2022-04-14 2022-08-09 华侨大学 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘鹏等: "视频帧内帧间编码通用隐写分析卷积神经网络", 《网络新媒体技术》 *
张新峰: "基于深度学习的视频编码发展现状与未来展望", 《信息通信技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116318559A (zh) * 2023-05-18 2023-06-23 深圳沛喆微电子有限公司 WiFi6智能路由器系统自动加速视频传输速率的方法
CN116318559B (zh) * 2023-05-18 2023-08-18 深圳沛喆微电子有限公司 WiFi6智能路由器系统自动加速视频传输速率的方法

Also Published As

Publication number Publication date
CN115209147B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN104704826B (zh) 两步量化和编码方法和装置
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN110430436A (zh) 一种云手机视频压缩方法、系统、装置及存储介质
CN112465698A (zh) 一种图像处理方法和装置
CN115209147B (zh) 摄像头视频传输带宽优化方法、装置、设备及存储介质
CN114745551A (zh) 处理视频帧图像的方法及电子设备
CN103747257A (zh) 一种视频数据高效编码的方法
CN103248885B (zh) 帧内图像预测编解码方法及视频编解码器
EP4231644A1 (en) Video frame compression method and apparatus, and video frame decompression method and apparatus
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN114217758A (zh) 图像显示方法、装置、电子设备及计算机可读存储介质
CN116634147B (zh) 基于多尺度特征融合的hevc-scc帧内cu快速划分编码方法及装置
US20240137502A1 (en) Systems and methods for encoding and decoding video with memory-efficient prediction mode selection
US20240114185A1 (en) Video coding for machines (vcm) encoder and decoder for combined lossless and lossy encoding
US20240089465A1 (en) Filtering differently coded frames by a general filtering model based on deep learning
US20240121445A1 (en) Pre-analysis based image compression methods
WO2020244296A1 (zh) 用于帧内编码深度图多层表示的系统和方法
WO2023059689A1 (en) Systems and methods for predictive coding
CN114449347A (zh) 一种视频渲染画面的智能优化方法
KR20240064698A (ko) 특징 맵 인코딩 및 디코딩 방법 및 장치
CN114697666A (zh) 屏幕编码方法、屏幕解码方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant