CN111654660A - 一种基于图像分割的视频会议系统编码传输方法 - Google Patents
一种基于图像分割的视频会议系统编码传输方法 Download PDFInfo
- Publication number
- CN111654660A CN111654660A CN202010514000.9A CN202010514000A CN111654660A CN 111654660 A CN111654660 A CN 111654660A CN 202010514000 A CN202010514000 A CN 202010514000A CN 111654660 A CN111654660 A CN 111654660A
- Authority
- CN
- China
- Prior art keywords
- image
- background image
- code stream
- position information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000005540 biological transmission Effects 0.000 title claims abstract description 18
- 238000003709 image segmentation Methods 0.000 title claims abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 10
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种基于图像分割的视频会议系统编码传输方法，包括：编码流程开始时，根据实时检测到的网络条件，对预先设定的变化域值进行实时调节，从而得到与当前网络条件相适配的图像单元变化域值；编码端对图像帧进行人脸识别和分割，分割成人脸图像和背景图像，同时得到人脸图像在背景图像上面的位置信息；对人脸图像进行编码，并和位置信息打包发送给解码端；对于背景图像，如果前后背景图像的变化程度不超过图像单元变化域值，则不编码和发送；否则进行编码和发送；解码端进行解码。本发明达到在网络带宽有限的情况下，自动调节编码，减少视频通讯需要的码率，同时保证视频通讯中的重要信息即：人脸图像的流畅性，避免卡顿现象。
Description
技术领域
本发明属于视频编码传输技术领域，具体涉及一种基于图像分割的视频会议系统编码传输方法。
背景技术
视频会议系统是一种基于网络的多媒体通信系统，其核心功能是多人视频通讯，目前，主要采用以下方式实现：对于每个会议人，实时采集视频图像，其中，每帧视频图像同时包含人脸图像以及背景图像；然后，对采集到的每帧视频图像进行编码，再将编码后的视频图像发送给其他会议人。
上述视频会议系统具有以下问题：传输的每帧编码后的视频图像会占用较多的码率，因此，在带宽一定的条件下，多人同时在线时常常发生带宽不够的情况，从而导致图像模糊以及视频卡顿，影响会议体验。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于图像分割的视频会议系统编码传输方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于图像分割的视频会议系统编码传输方法，包括以下步骤：
步骤1，编码端对摄像头采集的图像序列进行实时编码并传输给解码端，具体包括：
步骤1.1，当编码流程开始时，变化域值调节模块根据实时检测到的网络条件，对预先设定的变化域值进行实时调节，从而得到与当前网络条件相适配的图像单元变化域值d；
编码端实时接收摄像头采集的原视频图像序列；所述原视频图像序列由多个图像帧按次序组成；其中，每个图像帧均具有唯一的图像帧序列号；图像帧序列号从1开始逐渐增加；
步骤1.2，每当编码端接收到图像帧i时，其中，i为图像帧序列号，编码端对图像帧i进行人脸识别，检测出图像帧i的人脸区域，然后，根据人脸区域，将图像帧i分割成人脸图像Ai和背景图像Bi，同时得到人脸图像Ai在背景图像Bi上面的位置信息Pi；
步骤1.3，对于人脸图像Ai，编码端对人脸图像Ai进行视频压缩编码，得到人脸图像码流Mai；然后将人脸图像码流Mai和位置信息Pi打包，得到人脸图像码流数据包Ei，并将人脸图像码流数据包Ei传输给解码端；
对于背景图像Bi，编码端判断当前的背景图像Bi对应的图像帧序列号i是否为1，如果等于1，则编码端对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
如果不等于1，则编码端比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，并判断背景图像变化程度是否超过步骤1.1实时得到的图像单元变化域值d，如果不超过，则背景图像Bi不满足编码条件，对背景图像Bi不进行编码处理，也不发送给解码端；如果超过，则对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
步骤2，解码端对接收到的来自于编码端的人脸图像码流数据包Ei和背景图像码流数据包Fi进行解码操作，具体包括：
步骤2.1，当解码端接收到来自于编码端的第1个背景图像码流数据包Fj时，其中，j为第1个背景图像码流数据包对应的图像帧序列号，解码端对背景图像码流数据包Fj进行视频解码操作，得到解码背景图像Gj以及对应的位置信息Pj；并在本地存储单元中保存解码背景图像Gj以及对应的位置信息Pj；
后续过程中，只要解码端接收到来自于编码端的其他图像帧序列号的背景图像码流数据包Fv，其中，v为其他的图像帧序列号，v≠j，解码端即对背景图像码流数据包Fv进行视频解码操作，得到解码背景图像Gv以及对应的位置信息Pv；并用新解码得到的解码背景图像Gv以及对应的位置信息Pj更新本地存储单元中已存储的解码背景图像以及对应的位置信息；
步骤2.2，当解码端接收到来自于编码端的人脸图像码流数据包Ei时，解码端对人脸图像码流数据包Ei进行视频解码操作，得到解码人脸图像Hi以及对应的位置信息Pi；
然后，解码端从本地存储单元读取到最新的解码背景图像以及对应的位置信息，假设最新的解码背景图像为Gw，对应的位置信息为Pw，其中，w为最新的解码背景图像对应的图像帧序列号；
然后，将解码人脸图像Hi按照位置信息Pi叠加到解码背景图像Gw的相应位置，得到初始的图像帧S'i；
步骤2.3，比较位置信息Pi与位置信息Pw的差异，得到解码背景图像Gw中未被解码人脸图像Hi覆盖的空白人脸区域；然后，采用相邻像素图像处理方法，对空白人脸区域进行相邻像素填充，从而得到最终的完整图像帧Si；
步骤2.4，显示完整图像帧Si。
优选的，步骤1.1中，对预先设定的变化域值进行实时调节是指：根据网络条件动态反馈调节变化域值，即：当检测到网络条件变差时，增加图像单元变化域值d值，当网络条件变好时，减少图像单元变化域值d值。
优选的，步骤1.3中，采用以下方法比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，进而确定背景图像Bi是否满足编码条件：
按背景图像Bi划分为R个单元区域；以同样的划分方式，将背景图像Bi-1也分为R个单元区域；
将背景图像Bi中的每个位置的单元区域，与背景图像Bi-1同样位置的单元区域进行比较，判断单元区域是否相同，由此得到单元区域不相同的数量，即为变化单元域的数量；假设得到的变化单元域的数量为D；
比较变化单元域的数量D与图像单元变化域值d，若D>d，背景图像Bi满足编码条件；否则，背景图像Bi不满足编码条件。
本发明提供的一种基于图像分割的视频会议系统编码传输方法具有以下优点：
本发明达到在网络带宽有限的情况下，自动调节编码，减少视频通讯需要的码率，同时保证视频通讯中的重要信息即：人脸图像的流畅性，避免卡顿现象。
附图说明
图1为本发明提供的一种基于图像分割的视频会议系统编码传输方法中视频编码方法流程示意图；
图2为本发明提供的背景图像编码控制模块的运行流程图；
图3为本发明提供的一种基于图像分割的视频会议系统编码传输方法中视频解码方法流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
发明人经研究发现，视频会议的画面中，最重要的是人脸信息，背景图像信息可以认为是次要的信息、同时大部分时候背景图像是变化很小的信息。也就是说，视频会议中，对视频中人脸图像最为关注，需要保证人脸图像的清晰度及流畅性，视频中的背景图像相对次要，而背景图像的编码会占用大量的码流，因此，可采用共享背景图像的方式，采取降低背景图像更新帧率的方法，从而有效减少视频码率。
具体的，本发明针对网络视频会议系统设计出的一种视频编码传输方法，在网络条件有限的情况下，可自动调节减少视频传输码率，同时保证视频通讯中人脸图像的流畅性。
具体的，本发明提供一种基于图像分割的视频会议系统编码传输方法，包括以下步骤：
步骤1，编码端对摄像头采集的图像序列进行实时编码并传输给解码端，参考图1，具体包括：
步骤1.1，当编码流程开始时，变化域值调节模块根据实时检测到的网络条件，对预先设定的变化域值进行实时调节，从而得到与当前网络条件相适配的图像单元变化域值d；
其中，对预先设定的变化域值进行实时调节是指：根据网络条件动态反馈调节变化域值，即：当检测到网络条件变差时，增加图像单元变化域值d值，当网络条件变好时，减少图像单元变化域值d值。
编码端实时接收摄像头采集的原视频图像序列；所述原视频图像序列由多个图像帧按次序组成；其中，每个图像帧均具有唯一的图像帧序列号；图像帧序列号从1开始逐渐增加；
步骤1.2，图像分割过程：每当编码端接收到图像帧i时，其中，i为图像帧序列号，编码端对图像帧i进行人脸识别，检测出图像帧i的人脸区域，然后，根据人脸区域，将图像帧i分割成人脸图像Ai和背景图像Bi，同时得到人脸图像Ai在背景图像Bi上面的位置信息Pi；位置信息Pi可以为坐标信息，例如为人脸图像Ai的中心点，在背景图像Bi上面的坐标信息。
步骤1.3，对于人脸图像Ai，编码端对人脸图像Ai进行视频压缩编码，得到人脸图像码流Mai；然后将人脸图像码流Mai和位置信息Pi打包，得到人脸图像码流数据包Ei，并将人脸图像码流数据包Ei传输给解码端；
对于背景图像Bi，编码端判断当前的背景图像Bi对应的图像帧序列号i是否为1，如果等于1，则编码端对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
如果不等于1，则编码端比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，并判断背景图像变化程度是否超过步骤1.1实时得到的图像单元变化域值d，如果不超过，则背景图像Bi不满足编码条件，对背景图像Bi不进行编码处理，也不发送给解码端，即：忽略当前背景图像Bi；如果超过，则对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
在具体实现上，参考图2，可以采用以下方法比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，进而确定背景图像Bi是否满足编码条件：
按背景图像Bi划分为R个单元区域；以同样的划分方式，将背景图像Bi-1也分为R个单元区域；
将背景图像Bi中的每个位置的单元区域，与背景图像Bi-1同样位置的单元区域进行比较，判断单元区域是否相同，由此得到单元区域不相同的数量，即为变化单元域的数量；假设得到的变化单元域的数量为D；
比较变化单元域的数量D与图像单元变化域值d，若D>d，背景图像Bi满足编码条件；否则，背景图像Bi不满足编码条件。
其中，图像单元变化域值d是根据实时检测到的网络条件动态反馈调节形成的值；目的在于：当网络条件差时，减少背景图片的发送帧率，以减少码率。
步骤2，解码端对接收到的来自于编码端的人脸图像码流数据包Ei和背景图像码流数据包Fi进行解码操作，参考图3，具体包括：
步骤2.1，当解码端接收到来自于编码端的第1个背景图像码流数据包Fj时，其中，j为第1个背景图像码流数据包对应的图像帧序列号，解码端对背景图像码流数据包Fj进行视频解码操作，得到解码背景图像Gj以及对应的位置信息Pj；并在本地存储单元中保存解码背景图像Gj以及对应的位置信息Pj；
后续过程中，只要解码端接收到来自于编码端的其他图像帧序列号的背景图像码流数据包Fv，其中，v为其他的图像帧序列号，v≠j，解码端即对背景图像码流数据包Fv进行视频解码操作，得到解码背景图像Gv以及对应的位置信息Pv；并用新解码得到的解码背景图像Gv以及对应的位置信息Pj更新本地存储单元中已存储的解码背景图像以及对应的位置信息；
步骤2.2，当解码端接收到来自于编码端的人脸图像码流数据包Ei时，解码端对人脸图像码流数据包Ei进行视频解码操作，得到解码人脸图像Hi以及对应的位置信息Pi；
然后，解码端从本地存储单元读取到最新的解码背景图像以及对应的位置信息，假设最新的解码背景图像为Gw，对应的位置信息为Pw，其中，w为最新的解码背景图像对应的图像帧序列号；
然后，将解码人脸图像Hi按照位置信息Pi叠加到解码背景图像Gw的相应位置，得到初始的图像帧S'i；
步骤2.3，比较位置信息Pi与位置信息Pw的差异，得到解码背景图像Gw中未被解码人脸图像Hi覆盖的空白人脸区域；然后，采用相邻像素图像处理方法，对空白人脸区域进行相邻像素填充，从而得到最终的完整图像帧Si；
步骤2.4，显示完整图像帧Si。
具体的，本发明是应用于视频会议领域的视频编码传输方法，首先根据当前网络条件实时决定一个合适的背景图像变化阈值；即：背景图像变化阈值根据网络条件动态调节；
然后，编码端在需要传输的图像帧中实时检测出人脸图像，将人脸图像与背景图像分割，并记录人脸图像在背景图像的位置信息；
对于检测到的每个人脸图像，对人脸图像进行实时视频压缩编码，再和人脸图像在背景图像的位置信息打包，再发送到解码端；
对于背景图像，得到前后帧背景图像的变化域，再将变化域与背景图像变化阈值进行比较，如果不超过背景图像变化阈值，表明当前背景图像与前一帧背景图像非常相似，因此，不再发送该背景图像；只有当变化域超过背景图像变化阈值时，表明当前背景图像与前一帧背景图像变化较大，才会对该背景图像进行实时视频压缩编码，再和人脸图像在背景图像的位置信息打包，再发送到解码端；
对于解码端，接收到打包后的背景图像后；对打包后的背景图像解码，得到背景图像和人脸图像在背景图像的位置信息；并存储在本地存储单元；后续过程中，只要接收到打包后的背景图像，就对打包后的背景图像解码，并实时更新本地存储单元，使本地存储单元存储最新的背景图像B1和人脸图像在背景图像的位置信息P1；
而对于接收到的打包后的人脸图像，进行解码操作，得到人脸图像A1和人脸图像在背景图像的位置信息P2；然后，根据人脸图像在背景图像的位置信息P2，将人脸图像A1叠加到背景图像B1的相应位置；再根据位置信息P1和位置信息P2的差，得到背景图像B1中未被覆盖的空白人脸区域；再对空白人脸区域进行相邻像素补充，得到完整的视频图像后进行显示。
也就是说，对于编码端，每个人脸图像均需要进行编码并发送给解码端，从而保证人脸图像的流畅性；而对于背景图像，对于连续相似的若干个背景图像，本发明只对第1个背景图像进行编码并发送给解码端，其他背景图像不再编码和发送，从而有效减少背景图像视频传输码率。实现在网络条件有限的情况下，自动调节减少视频传输码率，同时保证视频通讯中人脸图像的流畅性。
对于解码端，只要其没有接收到新的背景图像编码数据，则其连续接收到的多个人脸图像共用同一个背景图像进行图像帧的复原操作。在具体操作时，将人脸图像叠加到背景图像后，由于该人脸图像和背景图像有可能并不是从同一个图像帧中分割得到的，因此，背景图像中会存在一小部分没有被人脸图像覆盖的空白区域，对此部分空白区域采用相邻像素补充即可，由此得到完整的视频图像并显示。
因此，本发明达到在网络带宽有限的情况下，自动调节编码，减少视频通讯需要的码率，同时保证视频通讯中的重要信息即：人脸图像的流畅性，避免卡顿现象。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (3)
1.一种基于图像分割的视频会议系统编码传输方法，其特征在于，包括以下步骤：
步骤1，编码端对摄像头采集的图像序列进行实时编码并传输给解码端，具体包括：
步骤1.1，当编码流程开始时，变化域值调节模块根据实时检测到的网络条件，对预先设定的变化域值进行实时调节，从而得到与当前网络条件相适配的图像单元变化域值d；
编码端实时接收摄像头采集的原视频图像序列；所述原视频图像序列由多个图像帧按次序组成；其中，每个图像帧均具有唯一的图像帧序列号；图像帧序列号从1开始逐渐增加；
步骤1.2，每当编码端接收到图像帧i时，其中，i为图像帧序列号，编码端对图像帧i进行人脸识别，检测出图像帧i的人脸区域，然后，根据人脸区域，将图像帧i分割成人脸图像Ai和背景图像Bi，同时得到人脸图像Ai在背景图像Bi上面的位置信息Pi；
步骤1.3，对于人脸图像Ai，编码端对人脸图像Ai进行视频压缩编码，得到人脸图像码流Mai；然后将人脸图像码流Mai和位置信息Pi打包，得到人脸图像码流数据包Ei，并将人脸图像码流数据包Ei传输给解码端；
对于背景图像Bi，编码端判断当前的背景图像Bi对应的图像帧序列号i是否为1，如果等于1，则编码端对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
如果不等于1，则编码端比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，并判断背景图像变化程度是否超过步骤1.1实时得到的图像单元变化域值d，如果不超过，则背景图像Bi不满足编码条件，对背景图像Bi不进行编码处理，也不发送给解码端；如果超过，则对背景图像Bi进行视频压缩编码，得到背景图像码流Mbi；然后将背景图像码流Mbi和位置信息Pi打包，得到背景图像码流数据包Fi，并将背景图像码流数据包Fi传输给解码端；
步骤2，解码端对接收到的来自于编码端的人脸图像码流数据包Ei和背景图像码流数据包Fi进行解码操作，具体包括：
步骤2.1，当解码端接收到来自于编码端的第1个背景图像码流数据包Fj时，其中，j为第1个背景图像码流数据包对应的图像帧序列号，解码端对背景图像码流数据包Fj进行视频解码操作，得到解码背景图像Gj以及对应的位置信息Pj；并在本地存储单元中保存解码背景图像Gj以及对应的位置信息Pj；
后续过程中，只要解码端接收到来自于编码端的其他图像帧序列号的背景图像码流数据包Fv，其中，v为其他的图像帧序列号，v≠j，解码端即对背景图像码流数据包Fv进行视频解码操作，得到解码背景图像Gv以及对应的位置信息Pv；并用新解码得到的解码背景图像Gv以及对应的位置信息Pj更新本地存储单元中已存储的解码背景图像以及对应的位置信息；
步骤2.2，当解码端接收到来自于编码端的人脸图像码流数据包Ei时，解码端对人脸图像码流数据包Ei进行视频解码操作，得到解码人脸图像Hi以及对应的位置信息Pi；
然后，解码端从本地存储单元读取到最新的解码背景图像以及对应的位置信息，假设最新的解码背景图像为Gw，对应的位置信息为Pw，其中，w为最新的解码背景图像对应的图像帧序列号；
然后，将解码人脸图像Hi按照位置信息Pi叠加到解码背景图像Gw的相应位置，得到初始的图像帧S'i；
步骤2.3，比较位置信息Pi与位置信息Pw的差异，得到解码背景图像Gw中未被解码人脸图像Hi覆盖的空白人脸区域；然后，采用相邻像素图像处理方法，对空白人脸区域进行相邻像素填充，从而得到最终的完整图像帧Si；
步骤2.4，显示完整图像帧Si。
2.根据权利要求1所述的一种基于图像分割的视频会议系统编码传输方法，其特征在于，步骤1.1中，对预先设定的变化域值进行实时调节是指：根据网络条件动态反馈调节变化域值，即：当检测到网络条件变差时，增加图像单元变化域值d值，当网络条件变好时，减少图像单元变化域值d值。
3.根据权利要求1所述的一种基于图像分割的视频会议系统编码传输方法，其特征在于，步骤1.3中，采用以下方法比较背景图像Bi与前一帧的背景图像Bi-1，得到背景图像变化程度，进而确定背景图像Bi是否满足编码条件：
按背景图像Bi划分为R个单元区域；以同样的划分方式，将背景图像Bi-1也分为R个单元区域；
将背景图像Bi中的每个位置的单元区域，与背景图像Bi-1同样位置的单元区域进行比较，判断单元区域是否相同，由此得到单元区域不相同的数量，即为变化单元域的数量；假设得到的变化单元域的数量为D；
比较变化单元域的数量D与图像单元变化域值d，若D>d，背景图像Bi满足编码条件；否则，背景图像Bi不满足编码条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514000.9A CN111654660B (zh) | 2020-06-08 | 2020-06-08 | 一种基于图像分割的视频会议系统编码传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514000.9A CN111654660B (zh) | 2020-06-08 | 2020-06-08 | 一种基于图像分割的视频会议系统编码传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111654660A true CN111654660A (zh) | 2020-09-11 |
| CN111654660B CN111654660B (zh) | 2021-03-23 |
Family
ID=72350433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010514000.9A Active CN111654660B (zh) | 2020-06-08 | 2020-06-08 | 一种基于图像分割的视频会议系统编码传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111654660B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112235531A (zh) * | 2020-10-15 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 视频处理的方法、装置、终端及存储介质 |
| CN113038133A (zh) * | 2021-05-24 | 2021-06-25 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141608A (zh) * | 2007-09-28 | 2008-03-12 | 腾讯科技（深圳）有限公司 | 一种视频即时通讯系统及方法 |
| CN101257635A (zh) * | 2008-03-21 | 2008-09-03 | 北京中星微电子有限公司 | 一种基于人脸检测的视频压缩容错方法及编解码方法 |
| CN101547365A (zh) * | 2009-05-08 | 2009-09-30 | 北京北纬通信科技股份有限公司 | 保证特定区域显示质量的视频编码的方法和装置 |
| CN102332162A (zh) * | 2011-09-19 | 2012-01-25 | 西安百利信息科技有限公司 | 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法 |
| US8812725B2 (en) * | 2012-05-18 | 2014-08-19 | Cisco Technology Inc. | System and method for latency reduction in a network environment |
| CN104883572A (zh) * | 2015-05-21 | 2015-09-02 | 浙江宇视科技有限公司 | 一种基于h.264或h.265的前背景分离编码设备和方法 |
| CN106034237A (zh) * | 2015-03-10 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 一种基于编码切换的混合编码方法和系统 |
| KR20180107437A (ko) * | 2017-03-21 | 2018-10-02 | (주)마이크로비젼 | 관심 영상 판단을 통한 스트리밍 품질 제어 방법 및 이를 위한 장치 |
| CN108737818A (zh) * | 2018-05-21 | 2018-11-02 | 深圳市梦网科技发展有限公司 | 一种拥塞网络下的丢帧方法、装置及终端设备 |
| CN109120935A (zh) * | 2018-09-27 | 2019-01-01 | 贺禄元 | 一种视频图像的编码方法和装置 |
-
2020
- 2020-06-08 CN CN202010514000.9A patent/CN111654660B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101141608A (zh) * | 2007-09-28 | 2008-03-12 | 腾讯科技（深圳）有限公司 | 一种视频即时通讯系统及方法 |
| CN101257635A (zh) * | 2008-03-21 | 2008-09-03 | 北京中星微电子有限公司 | 一种基于人脸检测的视频压缩容错方法及编解码方法 |
| CN101547365A (zh) * | 2009-05-08 | 2009-09-30 | 北京北纬通信科技股份有限公司 | 保证特定区域显示质量的视频编码的方法和装置 |
| CN102332162A (zh) * | 2011-09-19 | 2012-01-25 | 西安百利信息科技有限公司 | 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法 |
| US8812725B2 (en) * | 2012-05-18 | 2014-08-19 | Cisco Technology Inc. | System and method for latency reduction in a network environment |
| CN106034237A (zh) * | 2015-03-10 | 2016-10-19 | 杭州海康威视数字技术股份有限公司 | 一种基于编码切换的混合编码方法和系统 |
| CN104883572A (zh) * | 2015-05-21 | 2015-09-02 | 浙江宇视科技有限公司 | 一种基于h.264或h.265的前背景分离编码设备和方法 |
| KR20180107437A (ko) * | 2017-03-21 | 2018-10-02 | (주)마이크로비젼 | 관심 영상 판단을 통한 스트리밍 품질 제어 방법 및 이를 위한 장치 |
| CN108737818A (zh) * | 2018-05-21 | 2018-11-02 | 深圳市梦网科技发展有限公司 | 一种拥塞网络下的丢帧方法、装置及终端设备 |
| CN109120935A (zh) * | 2018-09-27 | 2019-01-01 | 贺禄元 | 一种视频图像的编码方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 黄福咏: "HEVC框架下监控视频编码优化算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112235531A (zh) * | 2020-10-15 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 视频处理的方法、装置、终端及存储介质 |
| CN113038133A (zh) * | 2021-05-24 | 2021-06-25 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
| CN113038133B (zh) * | 2021-05-24 | 2021-12-24 | 星航互联(北京)科技有限公司 | 一种基于卫星传输的视频压缩传输系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111654660B (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2737728C (en) | Low latency video encoder | |
| US7583287B2 (en) | System and method for very low frame rate video streaming for face-to-face video conferencing | |
| US5389965A (en) | Video telephone station having variable image clarity | |
| CN102625106B (zh) | 场景自适应的屏幕编码码率控制方法及其系统 | |
| US7436886B2 (en) | Coding scene transitions in video coding | |
| US7162096B1 (en) | System and method for dynamic perceptual coding of macroblocks in a video frame | |
| US6597736B1 (en) | Throughput enhanced video communication | |
| CN111654660B (zh) | 一种基于图像分割的视频会议系统编码传输方法 | |
| EP1315380A2 (en) | Object-based bit rate control method and system thereof | |
| US20060215014A1 (en) | System and method for very low frame rate teleconferencing employing image morphing and cropping | |
| JP2003533954A (ja) | ビデオ符号化方法 | |
| EP1575294B1 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
| CN105812710A (zh) | 视频通话过程中优化图像质量的方法及系统 | |
| JPH0662385A (ja) | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ | |
| CN106162257B (zh) | 一种实时视频的自适应网络传输优化方法 | |
| CN109451331A (zh) | 基于用户认知需求的视频传输方法 | |
| CN111770347A (zh) | 一种视频传输方法及系统 | |
| CN104010166A (zh) | 一种车载设备无线远程视频监控自适应传输的方法 | |
| JP2000350217A (ja) | 動画送信／受信装置、及び動画データ記録媒体 | |
| CN108833920A (zh) | 一种基于光流和块匹配的dvc边信息融合方法 | |
| CN113286149B (zh) | 一种云会议自适应多层视频编码方法、系统和存储介质 | |
| EP1739965A1 (en) | Method and system for processing video data | |
| JPH10289326A (ja) | 輪郭線映像信号復号化方法及び輪郭線映像信号復号化装置 | |
| CN112511860B (zh) | 一种文字区域清晰的画面传输方法 | |
| US6700601B1 (en) | Method and apparatus for video communication over a limited bandwidth medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |