CN115278250A - 一种低带宽视频传输方法及会议系统 - Google Patents

一种低带宽视频传输方法及会议系统 Download PDF

Info

Publication number
CN115278250A
CN115278250A CN202210920429.7A CN202210920429A CN115278250A CN 115278250 A CN115278250 A CN 115278250A CN 202210920429 A CN202210920429 A CN 202210920429A CN 115278250 A CN115278250 A CN 115278250A
Authority
CN
China
Prior art keywords
video image
image
background
video
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210920429.7A
Other languages
English (en)
Inventor
陈丙杰
陈志毅
林朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Kaixin Technology Co ltd
Original Assignee
Fujian Kaixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Kaixin Technology Co ltd filed Critical Fujian Kaixin Technology Co ltd
Priority to CN202210920429.7A priority Critical patent/CN115278250A/zh
Publication of CN115278250A publication Critical patent/CN115278250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种低带宽视频传输方法及会议系统，通过将当前一帧视频图像的背景区域与背景模板进行匹配，确定出背景差异度；若背景差异度未达到参考差异度，采取第一编码传输模式对此帧视频图像进行编码传输：将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给视频图像接收端，以使视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示。这样可以在背景不变的情况下，仅编码传输核心图像，大大降低每帧图像的编码传输量，从而提升视频质量，在带宽有限的条件下仍然能够保证较高的视频质量。对于视频会议这种背景通常不发生变化或者变化较少的场景非常适用，大大提升低带宽视频传输效果。

Description

一种低带宽视频传输方法及会议系统
技术领域
本申请涉及图像通信技术领域，具体而言，涉及一种低带宽视频传输方法及会议系统。
背景技术
随着视频传输与显示技术在电力、空管、政企、医疗、远洋运输等行业中得到广泛应用，用户对视频画面的清晰度和流畅性的要求不断提高，视频的分辨率越来越大，对高分辨率视频的传输就成为了视频处理设备发展面临的主要问题。
而在一些特定应用场景中，通讯带宽有限，低带宽视频传输技术就显得尤为重要，例如，远洋轮船上VAST通讯的带宽有限，如果使用通用产品而增加带宽，会导致运行成本大幅提高。
低带宽(如下行2M，上行512K)对目前市面上销售的产品通常存在带宽不足的问题，例如，在视频会议过程中出现卡屏、延迟、马赛克等现象。因此，需要一种低带宽视频传输技术，以在通讯带宽有限的条件下，尽可能提升视频质量。
发明内容
本申请实施例的目的在于提供一种低带宽视频传输方法及会议系统，以在保证视频可靠传输的同时提升视频质量。
为了实现上述目的，本申请的实施例通过如下方式实现：
第一方面，本申请实施例提供一种低带宽视频传输方法，低带宽视频会议系统包括视频图像发送端和视频图像接收端，所述方法应用于所述视频图像发送端，包括：获取传输视频的当前一帧视频图像，其中，每帧视频图像分为核心区域和背景区域，所述背景区域位于所述核心区域的外围；将所述背景区域与背景模板进行匹配，确定出背景差异度；若所述背景差异度未达到参考差异度，采取第一编码传输模式对此帧视频图像进行编码传输：基于所述核心区域将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示；若所述背景差异度达到参考差异度，采取第二编码传输模式对此帧视频图像进行编码传输：对此帧视频图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的视频图像进行解码显示。
在本申请实施例中，通过获取传输视频的当前一帧视频图像(分为核心区域和背景区域)，将背景区域与背景模板进行匹配，确定出背景差异度；若背景差异度未达到参考差异度，采取第一编码传输模式对此帧视频图像进行编码传输：此模式下，将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给视频图像接收端，以使视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示。这样的方式可以在背景不变的情况下，仅编码传输核心图像，大大降低每帧图像的编码传输量，从而提升视频质量，在带宽有限的条件下仍然能够保证较高的视频质量。对于视频会议这种背景通常不发生变化或者变化较少的场景，非常适用，能够明显减少甚至消除卡屏、延迟、马赛克等现象，大大提升低带宽场景下的视频传输效果。而若背景差异度达到参考差异度，采取第二编码传输模式对此帧视频图像进行编码传输：对此帧视频图像进行编码传输，发送给视频图像接收端，以使视频图像接收端基于编码的视频图像进行解码显示。这样可以在背景发生变化的时候，传输完整的视频图像，保证视频的真实效果。
结合第一方面，在第一方面的第一种可能的实现方式中，将所述背景区域与背景模板进行匹配，确定出背景差异度，包括：对所述背景区域进行灰度化处理，得到灰度背景区域，以及，获取所述背景模板对应的灰度背景图像；将所述灰度背景区域与所述灰度背景图像对齐；对所述灰度背景区域与所述灰度背景图像进行灰度差异检测，得到所述背景差异度。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，对所述灰度背景区域与所述灰度背景图像进行灰度差异检测，得到所述背景差异度，包括：获取设定的点阵参数，其中，所述点阵参数表示在所述灰度背景区域和所述灰度背景图像范围内获取检验点的参数，所述点阵参数为1：n2，1：n2表示每个n×n的像素方阵中取1个中心点，n为大于等于3的正整数；基于所述点阵参数，从所述灰度背景区域和所述灰度背景图像中确定出相应的检测点对；计算每对检测点对的灰度差异；判断是否存在灰度差异超出差异阈值的异常点对；若存在，针对每对异常点对，计算该异常点对所在像素方阵的灰度差异，并基于每对异常点对所在像素方阵的灰度差异，确定出所述背景差异度；若不存在，确定所述背景差异度为零。
在该实现方式中，获取设定的点阵参数，点阵参数为1：n2，1：n2表示每个n×n的像素方阵中取1个中心点，n为大于等于3的正整数；基于点阵参数，从灰度背景区域和灰度背景图像中确定出相应的检测点对；计算每对检测点对的灰度差异；判断是否存在灰度差异超出差异阈值的异常点对；若存在，针对每对异常点对，计算该异常点对所在像素方阵的灰度差异，并基于每对异常点对所在像素方阵的灰度差异，确定出背景差异度；若不存在，确定背景差异度为零。此种方式可以通过均匀间隔取点的方式大大降低计算量，且能够保证不俗的检测效果，因为背景发生变化时，如果肉眼可注意到，其范围通常远大于取点的间隔范围，从而几乎不会出现漏检(即背景发生变化却由于此种间隔取点的检测方式而未检测出)的情况，因此可以在保证准确性的同时大大提升检测效率，便于提升低带宽视频传输方法的整体运行效率。
结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，计算每对检测点对的灰度差异，包括：
针对每对检测点对，采用以下公式计算该检测点对的灰度差异：
Figure BDA0003777222290000041
其中，ΔGi表示第i对检测点对的灰度差异，GAi表示第i对检测点对中属于所述灰度背景区域的像素灰度值，GBi表示第i对检测点对中属于所述灰度背景图像的像素灰度值，α、β、γ均为调整系数，取值满足α∈[0.01，0.05]、β∈[0.1，0.3]、γ∈[1，2]。
在该实现方式中，此种方式可以高效准确地确定检测点对的灰度差异，且能够较好地平衡由于基准灰度(灰度背景区域的像素灰度值)的数量级不同导致的灰度差异数值波动。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，针对每对异常点对，计算该异常点对所在像素方阵的灰度差异，包括：
针对每对异常点对，采用以下公式计算该异常点对所在像素方阵的灰度差异：
Figure BDA0003777222290000042
其中，ΔHi表示第i对检测点对为异常点对时其所在像素方阵的灰度差异，n2表示第i对检测点对所在像素方阵的像素数量，
Figure BDA0003777222290000043
表示第i对检测点对所在像素方阵中第j对像素点对的灰度差异，像素点对的灰度差异的计算方式与检测点对的灰度差异的计算方式相同。
在该实现方式中，此种方式可以快速准确而完善地计算异常点对所在像素方阵的灰度差异。
结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，基于每对异常点对所在像素方阵的灰度差异，确定出所述背景差异度，包括：
基于每对异常点对所在像素方阵的灰度差异，结合以下条件公式确定所述背景差异度：
Figure BDA0003777222290000051
其中，ΔG表示所述背景差异度，Gc表示所述参考差异度，Hc表示像素方阵的参照灰度差异，a表示异常点对的数量。
在该实现方式中，在有异常点对所在像素方阵的灰度差异ΔHi达到像素方阵的参照灰度差异Hc时，即可确定背景差异度ΔG达到参考差异度Gc，这种情况主要针对灰度变化较大的情况，通常会引起用户注意；而在异常点对的数量a达到4时，即可确定背景差异度ΔG达到参考差异度Gc，这种情况主要对应多处变化的情况，说明背景发生了多处变化，同样容易引起用户注意，不能忽视。
结合第一方面，在第一方面的第六种可能的实现方式中，采取第一编码传输模式对此帧视频图像进行编码传输时，对核心图像进行编码传输，发送给所述视频图像接收端，包括：将包含此帧视频图像在内的多帧视频图像进行编码，生成片段式的GOP；将片段式的GOP发送给所述视频图像接收端；对应的，所述视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示，包括：所述视频图像接收端接收片段式的GOP后，进行解码，得到包含该帧核心图像在内的多帧核心图像；针对多帧核心图像中的每帧核心图像，将该帧核心图像与背景模板融合，得到一帧视频图像，并对视频图像进行显示。
在该实现方式中，通过对多帧核心图像进行编码传输，可以应用现有技术中的编码技术，在保证编码传输质量的同时提升压缩率，进一步提升低带宽视频传输时的质量和效率。
结合第一方面，在第一方面的第七种可能的实现方式中，在采取第二编码传输模式对此帧视频图像进行编码传输时，所述方法还包括：标记此帧视频图像之后的x帧视频图像为标记视频图像；对所述标记视频图像采用第二编码传输模式进行编码传输。
在该实现方式中，采取第二编码传输模式对此帧视频图像进行编码传输时，说明此帧视频图像的背景发生了变化，而这种变化通常是持续多帧的，确定此帧视频图像之后的x帧视频图像为标记视频图像，不对其进行检测，省去背景差异度的计算过程，从而提升低带宽视频传输方法的整体运行效率。
第二方面，本申请实施例提供一种低带宽视频传输方法，低带宽视频会议系统包括视频图像发送端和视频图像接收端，所述方法应用于所述视频图像接收端，包括：接收所述视频图像发送端发送的编码的核心图像，其中，编码的核心图像为所述视频图像发送端运行第一方面或第一方面的可能的实现方式中任一项所述的低带宽视频传输方法后得到；对编码的核心图像进行解码，得到解码的核心图像；将解码的核心图像与背景模板进行融合，得到对应的视频图像并显示；或者，接收所述视频图像发送端发送的编码的视频图像，其中，编码的视频图像为所述视频图像发送端运行第一方面或第一方面的可能的实现方式中任一项所述的低带宽视频传输方法后得到；对编码的视频图像进行解码，得到解码的视频图像并显示。
第三方面，本申请实施例提供一种低带宽视频会议系统，包括：视频图像发送端，用于执行第一方面或第一方面的可能的实现方式中任一项所述的低带宽视频传输方法，实现对核心图像或视频图像的编码传输；视频图像接收端，用于执行第二方面所述的低带宽视频传输方法，实现对编码的核心图像的解码后结合背景模板进行显示，或者实现对编码的视频图像的解码及显示。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种低带宽视频会议系统的示意图。
图2为应用于视频图像发送端的一种低带宽视频传输方法的流程图。
图3为应用于视频图像接收端的一种低带宽视频传输方法的流程图。
图标：100-低带宽视频会议系统；110-视频图像发送端；120-视频图像接收端。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参阅图1，图1为本申请实施例提供的一种低带宽视频会议系统100的示意图。在本实施例中，低带宽视频会议系统100可以包括视频图像发送端110和视频图像接收端120，视频图像发送端110可以执行低带宽视频传输方法(即，应用于视频图像发送端110的低带宽视频传输方法)，以便实现对核心图像或视频图像的编码传输；而视频图像接收端120可以执行另一种低带宽视频传输方法(即，应用于视频图像接收端120的低带宽视频传输方法)，实现对编码的核心图像的解码后结合背景模板进行显示，或者实现对编码的视频图像的解码及显示。
为了便于对本方案的理解，此处先对应用于视频图像发送端110的低带宽视频传输方法进行介绍。请参阅图2，图2为应用于视频图像发送端110的一种低带宽视频传输方法的流程图。
在本实施例中，应用于视频图像发送端110的低带宽视频传输方法可以包括步骤S11、步骤S12、步骤S13和步骤S14。
在本实施例中，为了实现对视频的低带宽传输，视频图像发送端110可以执行步骤S11。
步骤S11：获取传输视频的当前一帧视频图像，其中，每帧视频图像分为核心区域和背景区域，所述背景区域位于所述核心区域的外围。
在本实施例中，视频图像发送端110可以获取传输视频的当前一帧视频图像，每帧视频图像都可以分为核心区域和背景区域，背景区域位于核心区域的外围。
示例性的，核心区域与背景区域的划分，是相对固定的，例如提前设定好的划分界限，或者在视频传输的初始阶段确定好的相对固定的划分界限，并非可实时调整的。例如，在一些场景中，视频图像为1280×720的，在以左上角为原点建立坐标系中，核心区域的坐标可以分别为(360，120)、(360，600)、(920，600)、(920，120)，或者，核心区域的坐标可以分别为(300，60)、(300，660)、(780，660)、(780，60)，此处不作限定。划分的核心区域以能够涵盖所有(或绝大部分)感兴趣区域为准，例如，视频会议的场景中，人物所在的区域通常是感兴趣区域，以能够涵盖这个人物且能够预留一定的活动空间为准来划分核心区域；而背景区域则是除核心区域之外的区域。
获取当前一帧视频图像后，视频图像发送端110可以执行步骤S12。
步骤S12：将所述背景区域与背景模板进行匹配，确定出背景差异度。
在本实施例中，视频图像发送端110可以将背景区域与背景模板进行匹配，确定出背景差异度。
此处，背景模板可以是预先设定的(例如，在视频传输的初始阶段确定好的一个背景区域的图像作为背景模板)，也可以是后续运行过程中更新的(例如有时背景会发生变化，且变化之后相对固定，例如人物旁边的水杯更换了位置)，此处不作限定。
示例性的，视频图像发送端110可以对背景区域进行灰度化处理，得到灰度背景区域，以及，获取背景模板对应的灰度背景图像。此灰度背景图像可以是在第一次生成之后存储好的，也可以是每次临时生成的，通常是第一次需要基于背景模板生成对应的灰度背景图像，然后缓存起来，便于后续使用，直到背景模板发生变化，则会基于新的背景模板生成新的灰度背景图像进行缓存。需要说明的是，背景模板的形状尺寸决定了后续每帧视频图像中背景区域的尺寸。
而后，视频图像发送端110可以将灰度背景区域与灰度背景图像对齐，由于灰度背景区域与灰度背景图像的尺寸是一致的，因此，只需将灰度背景区域与灰度背景图像按照顶点对齐即可。
之后，视频图像发送端110可以对灰度背景区域与灰度背景图像进行灰度差异检测，得到背景差异度。
示例性的，视频图像发送端110可以获取设定的点阵参数，其中，点阵参数表示在灰度背景区域和灰度背景图像范围内获取检验点的参数，例如，点阵参数为1：n2，1：n2表示每个n×n的像素方阵中取1个中心点，n为大于等于3的正整数(通常n的取值不超过5，以n＝3为例)。
然后，视频图像发送端110可以基于点阵参数，从灰度背景区域和灰度背景图像中确定出相应的检测点对，以计算每对检测点对的灰度差异。
例如，针对每对检测点对，可以采用以下公式(1)计算该检测点对的灰度差异：
Figure BDA0003777222290000101
其中，ΔGi表示第i对检测点对的灰度差异，GAi表示第i对检测点对中属于灰度背景区域的像素灰度值，GBi表示第i对检测点对中属于灰度背景图像的像素灰度值，α、β、γ均为调整系数，取值满足α∈[0.01，0.05]、β∈[0.1，0.3]、γ∈[1，2]。
此种方式可以高效准确地确定检测点对的灰度差异，且能够较好地平衡由于基准灰度(灰度背景区域的像素灰度值)的数量级不同导致的灰度差异数值波动。特别是针对第i对检测点对中属于灰度背景图像的像素灰度值GBi属于[0，9]之间时，由于基数小，若第i对检测点对中属于灰度背景区域的像素灰度值GAi之间相差10左右的灰度值，就容易引起数值波动，可能本身灰度差异并不明显，但数值却可能偏高，因此采用调整系数α、β、γ等来作为调节因子，降低这种相对极端情况的影响，提升计算出的灰度差异的有效性。
计算出检测点对的灰度差异后，可以判断该检测点对的灰度差异是否超出差异阈值，从而在计算出每对检测点对的灰度差异后可以确定是否存在灰度差异超出差异阈值的异常点对。
若存在灰度差异超出差异阈值的异常点对，那么，针对每对异常点对，可以计算该异常点对所在像素方阵的灰度差异。
示例性的，针对每对异常点对，可以采用以下公式(2)计算该异常点对所在像素方阵的灰度差异：
Figure BDA0003777222290000111
其中，ΔHi表示第i对检测点对为异常点对时其所在像素方阵的灰度差异，n2表示第i对检测点对所在像素方阵的像素数量，
Figure BDA0003777222290000112
表示第i对检测点对所在像素方阵中第j对像素点对的灰度差异，像素点对的灰度差异的计算方式与检测点对的灰度差异的计算方式相同，即采用公式(1)可以计算像素点对的灰度差异。此种方式可以快速准确而完善地计算异常点对所在像素方阵的灰度差异。
之后，视频图像发送端110可以基于每对异常点对所在像素方阵的灰度差异，确定出背景差异度。
例如，视频图像发送端110可以基于每对异常点对所在像素方阵的灰度差异，结合以下条件公式(3)确定背景差异度：
Figure BDA0003777222290000113
其中，ΔG表示背景差异度，Gc表示参考差异度，Hc表示像素方阵的参照灰度差异，a表示异常点对的数量。
在有异常点对所在像素方阵的灰度差异ΔHi达到像素方阵的参照灰度差异Hc时，即可确定背景差异度ΔG达到参考差异度Gc，这种情况主要针对灰度变化较大的情况，通常会引起用户注意；而在异常点对的数量a达到4时，即可确定背景差异度ΔG达到参考差异度Gc，这种情况主要对应多处变化的情况，说明背景发生了多处变化，同样容易引起用户注意，不能忽视。
若不存在灰度差异超出差异阈值的异常点对，视频图像发送端110可以确定背景差异度为零。
通过均匀间隔取点的方式可以大大降低计算量，且能够保证不俗的检测效果，因为背景发生变化时，如果肉眼可注意到，其范围通常远大于取点的间隔范围，从而几乎不会出现漏检(即背景发生变化却由于此种间隔取点的检测方式而未检测出)的情况，因此可以在保证准确性的同时大大提升检测效率，便于提升低带宽视频传输方法的整体运行效率。
确定出背景差异度后，视频图像发送端110可以判断背景差异度是否达到参考差异度。
若背景差异度未达到参考差异度，视频图像发送端110可以执行步骤S13。
步骤S13：采取第一编码传输模式对此帧视频图像进行编码传输：基于所述核心区域将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示。
示例性的，视频图像发送端110可以采取第一编码传输模式对此帧视频图像进行编码传输：
首先，视频图像发送端110可以基于核心区域将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像(除核心图像之外的背景图像则可以弃置)。
然后，视频图像发送端110可以对核心图像进行编码传输，发送给视频图像接收端120。例如，视频图像发送端110可以将包含此帧视频图像在内的多帧视频图像进行编码，生成片段式的GOP(Group of Pictures，图像组)；然后可以将片段式的GOP发送给视频图像接收端120。
而视频图像接收端120可以基于编码的核心图像进行解码后结合背景模板进行显示。请参阅图3，图3为应用于视频图像接收端120的一种低带宽视频传输方法的流程图。在本实施例中，应用于视频图像接收端120的低带宽视频传输方法可以包括步骤S21、步骤S22、步骤S23、步骤S24和步骤S25。
针对视频图像发送端110采取第一编码传输模式对视频图像进行编码传输的情况，视频图像接收端120可以执行步骤S21。
步骤S21：接收所述视频图像发送端发送的编码的核心图像，其中，编码的核心图像为所述视频图像发送端运行低带宽视频传输方法后得到。
在本实施例中，视频图像接收端120可以接收视频图像发送端110发送的编码的核心图像。
之后，视频图像接收端120可以执行步骤S22。
步骤S22：对编码的核心图像进行解码，得到解码的核心图像。
视频图像接收端120可以对编码的核心图像进行解码，得到解码的核心图像。例如，针对接收到片段式的GOP的情况，视频图像接收端120可以对片段式的GOP进行解码，得到包含多帧核心图像。
得到解码的核心图像后，视频图像接收端120可以执行步骤S23。
步骤S23：将解码的核心图像与背景模板进行融合，得到对应的视频图像并显示。
视频图像接收端120可以将解码的核心图像与背景模板进行融合，得到对应的视频图像并显示。例如，针对多帧核心图像中的每帧核心图像，视频图像接收端120可以将该帧核心图像与背景模板融合，得到一帧视频图像，由此得到多帧视频图像，然后对视频图像进行显示。
通过对多帧核心图像进行编码传输，可以应用现有技术中的编码技术，在保证编码传输质量的同时提升压缩率，进一步提升低带宽视频传输时的质量和效率。
若背景差异度达到参考差异度，视频图像发送端110可以执行步骤S14。
步骤S14：采取第二编码传输模式对此帧视频图像进行编码传输：对此帧视频图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的视频图像进行解码显示。
示例性的，视频图像发送端110可以采取第二编码传输模式对此帧视频图像进行编码传输：
即，视频图像发送端110可以对此帧视频图像进行编码传输，发送给视频图像接收端120，以使视频图像接收端120基于编码的视频图像进行解码显示。
针对视频图像发送端110采取第二编码传输模式对视频图像进行编码传输的情况，视频图像接收端120可以执行步骤S24。
步骤S24：接收所述视频图像发送端发送的编码的视频图像，其中，编码的视频图像为所述视频图像发送端运行低带宽视频传输方法后得到。
在本实施例中，视频图像接收端120可以接收视频图像发送端110发送的编码的视频图像。
之后，视频图像接收端120可以执行步骤S25。
步骤S25：对编码的视频图像进行解码，得到解码的视频图像并显示。
在本实施例中，视频图像接收端120可以对编码的视频图像进行解码，得到解码的视频图像，并对视频图像进行显示。
针对采取第二编码传输模式对此帧视频图像进行编码传输的情况，应用于视频图像发送端110的低带宽视频传输方法还可以包括以下步骤：
视频图像发送端110可以标记此帧视频图像之后的x帧视频图像为标记视频图像，然后对标记视频图像采用第二编码传输模式进行编码传输。
采取第二编码传输模式对此帧视频图像进行编码传输时，说明此帧视频图像的背景发生了变化，而这种变化通常是持续多帧的，确定此帧视频图像之后的x帧视频图像为标记视频图像，不对其进行检测，省去背景差异度的计算过程，从而提升低带宽视频传输方法的整体运行效率。
需要说明的是，本实施例中的背景模板，还可以进行更新：例如，在视频图像发送端110连续y次检测的视频图像的背景区域均相同时(最多保留y帧检测的视频图像，用于判断这y帧视频图像的背景区域是否这一致)，可以将此帧视频图像的背景区域作为背景模板；与此同时，发送信息给视频图像接收端120，以使视频图像接收端120对其接收的最新一帧视频图像进行图像分割，分割出背景图像对背景模板进行更新。
综上所述，本申请实施例提供一种低带宽视频传输方法及会议系统，通过获取传输视频的当前一帧视频图像(分为核心区域和背景区域)，将背景区域与背景模板进行匹配，确定出背景差异度；若背景差异度未达到参考差异度，采取第一编码传输模式对此帧视频图像进行编码传输：此模式下，将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给视频图像接收端120，以使视频图像接收端120基于编码的核心图像进行解码后结合背景模板进行显示。这样的方式可以在背景不变的情况下，仅编码传输核心图像，大大降低每帧图像的编码传输量，从而提升视频质量，在带宽有限的条件下仍然能够保证较高的视频质量。对于视频会议这种背景通常不发生变化或者变化较少的场景，非常适用，能够明显减少甚至消除卡屏、延迟、马赛克等现象，大大提升低带宽场景下的视频传输效果。而若背景差异度达到参考差异度，采取第二编码传输模式对此帧视频图像进行编码传输：对此帧视频图像进行编码传输，发送给视频图像接收端120，以使视频图像接收端120基于编码的视频图像进行解码显示。这样可以在背景发生变化的时候，传输完整的视频图像，保证视频的真实效果。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种低带宽视频传输方法，其特征在于，低带宽视频会议系统包括视频图像发送端和视频图像接收端，所述方法应用于所述视频图像发送端，包括：
获取传输视频的当前一帧视频图像，其中，每帧视频图像分为核心区域和背景区域，所述背景区域位于所述核心区域的外围；
将所述背景区域与背景模板进行匹配，确定出背景差异度；
若所述背景差异度未达到参考差异度，采取第一编码传输模式对此帧视频图像进行编码传输：基于所述核心区域将此帧视频图像进行图像分割，得到此帧视频图像对应的核心图像，并对核心图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示；
若所述背景差异度达到参考差异度，采取第二编码传输模式对此帧视频图像进行编码传输：对此帧视频图像进行编码传输，发送给所述视频图像接收端，以使所述视频图像接收端基于编码的视频图像进行解码显示。
2.根据权利要求1所述的低带宽视频传输方法，其特征在于，将所述背景区域与背景模板进行匹配，确定出背景差异度，包括：
对所述背景区域进行灰度化处理，得到灰度背景区域，以及，获取所述背景模板对应的灰度背景图像；
将所述灰度背景区域与所述灰度背景图像对齐；
对所述灰度背景区域与所述灰度背景图像进行灰度差异检测，得到所述背景差异度。
3.根据权利要求2所述的低带宽视频传输方法，其特征在于，对所述灰度背景区域与所述灰度背景图像进行灰度差异检测，得到所述背景差异度，包括：
获取设定的点阵参数，其中，所述点阵参数表示在所述灰度背景区域和所述灰度背景图像范围内获取检验点的参数，所述点阵参数为1：n2，1：n2表示每个n×n的像素方阵中取1个中心点，n为大于等于3的正整数；
基于所述点阵参数，从所述灰度背景区域和所述灰度背景图像中确定出相应的检测点对；
计算每对检测点对的灰度差异；
判断是否存在灰度差异超出差异阈值的异常点对；
若存在，针对每对异常点对，计算该异常点对所在像素方阵的灰度差异，并基于每对异常点对所在像素方阵的灰度差异，确定出所述背景差异度；
若不存在，确定所述背景差异度为零。
4.根据权利要求3所述的低带宽视频传输方法，其特征在于，计算每对检测点对的灰度差异，包括：
针对每对检测点对，采用以下公式计算该检测点对的灰度差异：
Figure FDA0003777222280000021
其中，ΔGi表示第i对检测点对的灰度差异，GAi表示第i对检测点对中属于所述灰度背景区域的像素灰度值，GBi表示第i对检测点对中属于所述灰度背景图像的像素灰度值，α、β、γ均为调整系数，取值满足α∈[0.01,0.05]、β∈[0.1,0.3]、γ∈[1,2]。
5.根据权利要求4所述的低带宽视频传输方法，其特征在于，针对每对异常点对，计算该异常点对所在像素方阵的灰度差异，包括：
针对每对异常点对，采用以下公式计算该异常点对所在像素方阵的灰度差异：
Figure FDA0003777222280000031
其中，ΔHi表示第i对检测点对为异常点对时其所在像素方阵的灰度差异，n2表示第i对检测点对所在像素方阵的像素数量，
Figure FDA0003777222280000032
表示第i对检测点对所在像素方阵中第j对像素点对的灰度差异，像素点对的灰度差异的计算方式与检测点对的灰度差异的计算方式相同。
6.根据权利要求5所述的低带宽视频传输方法，其特征在于，基于每对异常点对所在像素方阵的灰度差异，确定出所述背景差异度，包括：
基于每对异常点对所在像素方阵的灰度差异，结合以下条件公式确定所述背景差异度：
Figure FDA0003777222280000033
其中，ΔG表示所述背景差异度，Gc表示所述参考差异度，Hc表示像素方阵的参照灰度差异，a表示异常点对的数量。
7.根据权利要求1所述的低带宽视频传输方法，其特征在于，采取第一编码传输模式对此帧视频图像进行编码传输时，对核心图像进行编码传输，发送给所述视频图像接收端，包括：
将包含此帧视频图像在内的多帧视频图像进行编码，生成片段式的GOP；
将片段式的GOP发送给所述视频图像接收端；
对应的，所述视频图像接收端基于编码的核心图像进行解码后结合背景模板进行显示，包括：
所述视频图像接收端接收片段式的GOP后，进行解码，得到包含该帧核心图像在内的多帧核心图像；
针对多帧核心图像中的每帧核心图像，将该帧核心图像与背景模板融合，得到一帧视频图像，并对视频图像进行显示。
8.根据权利要求1所述的低带宽视频传输方法，其特征在于，在采取第二编码传输模式对此帧视频图像进行编码传输时，所述方法还包括：
标记此帧视频图像之后的x帧视频图像为标记视频图像；
对所述标记视频图像采用第二编码传输模式进行编码传输。
9.一种低带宽视频传输方法，其特征在于，低带宽视频会议系统包括视频图像发送端和视频图像接收端，所述方法应用于所述视频图像接收端，包括：
接收所述视频图像发送端发送的编码的核心图像，其中，编码的核心图像为所述视频图像发送端运行权利要求1～8中任一项所述的低带宽视频传输方法后得到；
对编码的核心图像进行解码，得到解码的核心图像；
将解码的核心图像与背景模板进行融合，得到对应的视频图像并显示；
或者，接收所述视频图像发送端发送的编码的视频图像，其中，编码的视频图像为所述视频图像发送端运行权利要求1～8中任一项所述的低带宽视频传输方法后得到；
对编码的视频图像进行解码，得到解码的视频图像并显示。
10.一种低带宽视频会议系统，其特征在于，包括：
视频图像发送端，用于执行权利要求1～8中任一项所述的低带宽视频传输方法，实现对核心图像或视频图像的编码传输；
视频图像接收端，用于执行权利要求9所述的低带宽视频传输方法，实现对编码的核心图像的解码后结合背景模板进行显示，或者实现对编码的视频图像的解码及显示。
CN202210920429.7A 2022-08-02 2022-08-02 一种低带宽视频传输方法及会议系统 Pending CN115278250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210920429.7A CN115278250A (zh) 2022-08-02 2022-08-02 一种低带宽视频传输方法及会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210920429.7A CN115278250A (zh) 2022-08-02 2022-08-02 一种低带宽视频传输方法及会议系统

Publications (1)

Publication Number Publication Date
CN115278250A true CN115278250A (zh) 2022-11-01

Family

ID=83747719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210920429.7A Pending CN115278250A (zh) 2022-08-02 2022-08-02 一种低带宽视频传输方法及会议系统

Country Status (1)

Country Link
CN (1) CN115278250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634089A (zh) * 2023-07-24 2023-08-22 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634089A (zh) * 2023-07-24 2023-08-22 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质
CN116634089B (zh) * 2023-07-24 2023-11-03 苏州浪潮智能科技有限公司 视频传输方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10616594B2 (en) Picture encoding device and picture encoding method
CN108495135B (zh) 一种屏幕内容视频编码的快速编码方法
US20240098298A1 (en) Segmentation-based parameterized motion models
US9369706B1 (en) Method and apparatus for encoding video using granular downsampling of frame resolution
CN111556315A (zh) 数据传输方法及装置
CN112714309A (zh) 视频质量评估方法、装置、设备、介质及程序产品
US9967581B2 (en) Video quality adaptation with frame rate conversion
CN111131828B (zh) 一种图像压缩方法、装置、电子设备和存储介质
CN110740316A (zh) 数据编码方法及装置
CN115278250A (zh) 一种低带宽视频传输方法及会议系统
CN113469869B (zh) 一种图像管理方法和装置
CN115358911A (zh) 屏幕水印的生成方法、装置、设备和计算机可读存储介质
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置
Wang et al. A fast perceptual surveillance video coding (PSVC) based on background model-driven JND estimation
US6463174B1 (en) Macroblock-based segmentation and background mosaicking method
Han et al. Block-based method for real-time compound video compression
Sazawa et al. RVEC: Efficient remote desktop for the engineering CLOUD
CN113902651B (zh) 一种基于深度学习的视频画质增强系统
WO2024051299A1 (zh) 一种编解码方法及装置
CN113592712A (zh) 图像处理方法、装置、设备、存储介质和云vr系统
CN116489131A (zh) 一种信息处理方法、装置、设备及计算机可读存储介质
CN113613002A (zh) 图像处理方法及装置
CN118283345A (zh) 图像传输方法及图像发送端和图像接收端
CN115376188A (zh) 一种视频通话处理方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination