CN112367492A - 一种低带宽人工智能人像视频传输方法 - Google Patents
一种低带宽人工智能人像视频传输方法 Download PDFInfo
- Publication number
- CN112367492A CN112367492A CN202011229316.XA CN202011229316A CN112367492A CN 112367492 A CN112367492 A CN 112367492A CN 202011229316 A CN202011229316 A CN 202011229316A CN 112367492 A CN112367492 A CN 112367492A
- Authority
- CN
- China
- Prior art keywords
- portrait
- image
- client
- video
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本发明涉及视频传输技术领域，尤其涉及一种低带宽人工智能人像视频传输方法，包括如下步骤：输出客户端打开摄像头，采集短时长视频流发送给服务端；服务端对接收的原始视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法并下发给输出客户端；输出客户端获取最新的人工智能图像分割算法后，实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；接收客户端获取背景图像并直接显示；获取特征节点左边，获取人像多边形贴图，显示人像图像。本发明占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力。
Description
技术领域
本发明涉及视频传输领域，尤其涉及一种低带宽人工智能人像视频传输方法。
背景技术
当前的视频传输方法主要基于无损位图和有损压缩图像的传输。视频传输需要占用大量带宽，因此视频清晰度和帧率很难提高。以典型的720p清晰度30fps帧率的视频传输为例，无损模式下网络需要承载每秒27兆字节的数据内容，常用的有损压缩模式下也需要2Mbps的带宽占用。当视频清晰度和帧率需求进一步提高，网络带宽占用容易超过网络基础设施的承载上限。当前多路视频会议和高清远距实时视频通信的需求迅速增长，急需一种占用带宽更低，更适合网络会议使用的人像视频传输方法。
如何进行三维人像视频传输是虚拟现实发展过程中遇到的问题。一种可行的方案是使用双目摄像头或视频摄像头配合红外景深摄像头，实时虚拟现实视频通信时网络需要承载多摄像头输出的视频流。这种方案对网络带宽的传输能力提出了更大的挑战。
相对于网络带宽对视频传输造成的瓶颈，本地硬件设备的计算能力特别是当前硬件设备中的图形加速计算能力没有得到充分的运用。本发明通过人工智能算法，将背景图像与人像图像剥离，并对人像进行特征点分割，充分调用本地硬件图像运算能力，对人像数据进行分割、传输和解析
正是基于上述原因，本发明提供了一种低带宽人工智能人像视频传输方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种低带宽人工智能人像视频传输方法，占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力。
本发明公开了一种低带宽人工智能人像视频传输方法，包括如下步骤：
步骤1，输出客户端打开摄像头，采集短时长视频流发送给服务端；
步骤2，服务端对接收的原始视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法；
步骤3，将人工智能图像分割算法下发给输出客户端；
步骤4，输出客户端打开网络传输通道，获取最新的人工智能图像分割算法后，实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；
步骤5，输出客户端判断背景图像与上一次的运算结果是否相同，如发生变化则将背景图像发送出去；发送每次运算得到的特征节点坐标；判断人像多边形贴图与上一次的运算结果是否相同，如发生变化则将发生变化的贴图发送出去；
步骤6，接收客户端打开网络传输通道；获取背景图像并直接显示；获取特征节点左边，获取人像多边形贴图，使用本机图像运算能力将贴图渲染在人像多边形上，显示人像图像。
还包括如下步骤：
输出客户端和接收客户端注册地址和状态，服务端维护在线客户端的地址和状态；
输出客户端提出获取接收客户端的地址和状态，接收客户端应答输出客户端的视频传输请求，服务端应答输出客户端和接收客户端的地址和状态。
在所述步骤6中，还包括接收客户端对整个图像进行美化渲染。
本发明的有益效果在于：
(1)本发明占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力；无论是二维图像视频或三维虚拟现实人像视频，变化的部分在于传输二维特征节点坐标或三维特征节点坐标，对本发明所述技术原理及网络带宽占用都不产生显著性的变化。
附图说明
图1为本发明的原理示意图。
具体实施方式
下面对本发明进一步说明：
请参阅图1，
本发明公开了一种低带宽人工智能人像视频传输方法，当输出客户端向接收客户端传输视频时，网络中角色执行的任务：
服务端：
1.获取客户端发送的短时长视频流；
2.对视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法；
3.将分割算法下发给客户端；
4.维护在线客户端的地址和状态；
5.应答提出视频连接的客户端地址和状态。
提出视频传输的输出客户端：
1.打开摄像头，采集短时长视频流发送给服务端；
2.获取最新的图像分割算法；
3.注册并获取传输目的地客户端的地址和状态；
4.打开网络传输通道；
5.实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；
6.判断背景图像与上一次的运算结果是否相同，如发生变化则将背景图像发送出去；
7.发送每次运算得到的特征节点坐标；
8.判断人像多边形贴图与上一次的运算结果是否相同，如发生变化则将发生变化的贴图发送出去。
接收视频传输的接收客户端：
1.向服务端注册本机地址及状态；
2.应答输出客户端的视频传输请求；
3.打开网络传输通道；
4.获取背景图像并直接显示；
5.获取特征节点左边，获取人像多边形贴图，使用本机图像运算能力将贴图渲染在人像多边形上；
6.显示人像图像并对整个图像进行美化渲染。
上述输出客户端向服务端发送的短时长视频流，应包含算法脚本设计的人像进行特定动作，如点头摇头摆手等。服务端对视频流图像进行分析后获得人像轮毂和定义的图像分割特征点。
使用本发明表述的人像视频传输方法，在多数情况下单次视频通信中人像视频的背景和人像多边形贴图几乎不发生变化，视频连接触发后大部分时间传输的内容仅为人像特征节点的坐标。人像节点坐标根据不同的分割算法各异，分割多边形越多，重构的人像与原始图像越接近。目前最优秀的人像分割算法约可分割出2000左右的节点，对这些节点的二维或三维坐标进行30fps的非压缩传输带宽小于500kbps。本发明所述人像视频传输方法占用带宽与流视频传输方法相比减小数个数量级，将大幅提升网络人像视频实时传输的效率和能力。无论是二维图像视频或三维虚拟现实人像视频，使用本发明所述方法变化的部分在于传输二维特征节点坐标或三维特征节点坐标，对本方法所述技术原理及网络带宽占用都不产生显著性的变化。
本发明减少网络数据流占用依赖的数学原理如下：
对{A}＝{A1，A2，A3…Am}
有{A}＝A0+{A′1，A′2，A′3…A′m}
且|A|≠0
则rank(Ax)≤rank(A′x)
即当有非零公共矩阵A0时，矩阵A′x的秩不大于原矩阵Ax。视频传输时，如能找到非零的公共信息区域，则只需传输变异信息。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种低带宽人工智能人像视频传输方法，其特征在于，包括如下步骤：
步骤1，输出客户端打开摄像头，采集短时长视频流发送给服务端；
步骤2，服务端对接收的原始视频流中的图像进行分析，更新维护分离背景和分割人像特征的人工智能算法；
步骤3，将人工智能图像分割算法下发给输出客户端；
步骤4，输出客户端打开网络传输通道，获取最新的人工智能图像分割算法后，实时对采集到的视频图像进行分割运算，运算的结果是分离出背景图像，人像各特征节点的坐标和填充在节点中多边形的贴图；
步骤5，输出客户端判断背景图像与上一次的运算结果是否相同，如发生变化则将背景图像发送出去；发送每次运算得到的特征节点坐标；判断人像多边形贴图与上一次的运算结果是否相同，如发生变化则将发生变化的贴图发送出去；
步骤6，接收客户端打开网络传输通道；获取背景图像并直接显示；获取特征节点左边，获取人像多边形贴图，使用本机图像运算能力将贴图渲染在人像多边形上，显示人像图像。
2.根据权利要求1所述的一种低带宽人工智能人像视频传输方法，其特征在于，还包括如下步骤：
输出客户端和接收客户端注册地址和状态，服务端维护在线客户端的地址和状态；
输出客户端提出获取接收客户端的地址和状态，接收客户端应答输出客户端的视频传输请求，服务端应答输出客户端和接收客户端的地址和状态。
3.根据权利要求1所述的一种低带宽人工智能人像视频传输方法，其特征在于，在所述步骤6中，还包括接收客户端对整个图像进行美化渲染。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229316.XA CN112367492A (zh) | 2020-11-06 | 2020-11-06 | 一种低带宽人工智能人像视频传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229316.XA CN112367492A (zh) | 2020-11-06 | 2020-11-06 | 一种低带宽人工智能人像视频传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112367492A true CN112367492A (zh) | 2021-02-12 |
Family
ID=74508770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011229316.XA Pending CN112367492A (zh) | 2020-11-06 | 2020-11-06 | 一种低带宽人工智能人像视频传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112367492A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051705A1 (zh) * | 2021-09-30 | 2023-04-06 | 中兴通讯股份有限公司 | 视频通讯方法及装置、电子设备、计算机可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098241A (zh) * | 2006-06-26 | 2008-01-02 | 腾讯科技（深圳）有限公司 | 虚拟形象实现方法及其系统 |
| CN103222262A (zh) * | 2010-11-19 | 2013-07-24 | 思科技术公司 | 用于在网络环境中跳过视频编码的系统和方法 |
| CN103313061A (zh) * | 2013-06-28 | 2013-09-18 | 汕头大学 | 一种自适应背景更新的视频压缩传输方法及系统 |
| CN106210612A (zh) * | 2015-04-30 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、解码方法及其装置 |
| CN107833264A (zh) * | 2017-11-13 | 2018-03-23 | 百度在线网络技术（北京）有限公司 | 一种图片处理方法、装置、设备和计算机可读存储介质 |
-
2020
- 2020-11-06 CN CN202011229316.XA patent/CN112367492A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098241A (zh) * | 2006-06-26 | 2008-01-02 | 腾讯科技（深圳）有限公司 | 虚拟形象实现方法及其系统 |
| CN103222262A (zh) * | 2010-11-19 | 2013-07-24 | 思科技术公司 | 用于在网络环境中跳过视频编码的系统和方法 |
| CN103313061A (zh) * | 2013-06-28 | 2013-09-18 | 汕头大学 | 一种自适应背景更新的视频压缩传输方法及系统 |
| CN106210612A (zh) * | 2015-04-30 | 2016-12-07 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、解码方法及其装置 |
| CN107833264A (zh) * | 2017-11-13 | 2018-03-23 | 百度在线网络技术（北京）有限公司 | 一种图片处理方法、装置、设备和计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051705A1 (zh) * | 2021-09-30 | 2023-04-06 | 中兴通讯股份有限公司 | 视频通讯方法及装置、电子设备、计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20030235341A1 (en) | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications | |
| CN110599533B (zh) | 适用于嵌入式平台的快速单目深度估计方法 | |
| US20080198171A1 (en) | Multi-dimensional texture drawing apparatus, compressing apparatus, drawing system, drawing method, and drawing program | |
| CN110012279A (zh) | 基于3d点云数据的分视角压缩和传输方法及系统 | |
| CN110072119A (zh) | 一种基于深度学习网络的内容感知视频自适应传输方法 | |
| CN108810427B (zh) | 基于视点的全景视频内容表示的方法及装置 | |
| CN104768009A (zh) | 一种桌面虚拟化spice协议下的图像传输方法 | |
| Agustsson et al. | Extreme learned image compression with gans | |
| CN113315972A (zh) | 基于层级知识表达的视频语义通信方法及系统 | |
| CN110740352B (zh) | 显卡透传环境下基于spice协议的差异图像显示方法 | |
| CN114679607A (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| CN112367492A (zh) | 一种低带宽人工智能人像视频传输方法 | |
| CN114373041B (zh) | 一种三维重建方法及设备 | |
| Zhu et al. | A semantic-aware transmission with adaptive control scheme for volumetric video service | |
| JP7367187B2 (ja) | 非遮蔽ビデオオーバーレイ | |
| CN112468806B (zh) | 一种用于云vr平台的全景视频传输优化方法 | |
| CN111510680B (zh) | 一种图像数据的处理方法、系统及存储介质 | |
| WO2023226504A1 (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
| CN113127637A (zh) | 一种字符的还原方法及装置、存储介质、电子装置 | |
| US20230409111A1 (en) | Eye tracking based video transmission and compression | |
| CN107318021B (zh) | 一种远程显示的数据处理方法及系统 | |
| CN104935830B (zh) | 拼接显示装置视频信息渲染、显示方法和系统 | |
| CN115294429A (zh) | 一种基于特征域网络训练方法和装置 | |
| Kanai et al. | Methods for adaptive video streaming and picture quality assessment to improve QoS/QoE performances | |
| CN106878728B (zh) | 图像的压缩方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210212 |
|
| RJ01 | Rejection of invention patent application after publication |