CN1980334A - 视频画面叠加编码传输的方法 - Google Patents

视频画面叠加编码传输的方法 Download PDF

Info

Publication number
CN1980334A
CN1980334A CN 200510127482 CN200510127482A CN1980334A CN 1980334 A CN1980334 A CN 1980334A CN 200510127482 CN200510127482 CN 200510127482 CN 200510127482 A CN200510127482 A CN 200510127482A CN 1980334 A CN1980334 A CN 1980334A
Authority
CN
China
Prior art keywords
client
electronics
video
transmission
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200510127482
Other languages
English (en)
Inventor
孙雷
邱全成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Corp
Original Assignee
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Corp filed Critical Inventec Corp
Priority to CN 200510127482 priority Critical patent/CN1980334A/zh
Publication of CN1980334A publication Critical patent/CN1980334A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明是一种视频画面叠加编码传输的方法，发送客户端及接收客户端两端通过各自的电子通讯设备进行具有视频服务的通讯处理，该发送客户端对拍摄的视频画面进行分割撷取细部的前景框，再前景框及背景框分别进行编码并传送到接收客户端，由于背景框在未更换背景前是固定不变的，因此在通讯时，只需传送一次背景框编码给接收客户端即可；本发明提供的一种视频画面叠加编码传输的方法，通过将拍摄的视频画面分割为前景框和背景框，并分别对其进行编码与译码并进行传输，可实现多样化娱乐效果十足的视频画面，同时可有效降低编码码率、减少运算量及通讯带宽的限制，具有广泛的应用及发展性。

Description

视频画面叠加编码传输的方法
技术领域
本发明是关于一种视频画面叠加编码传输的方法，特别是关于一种有效降低编码码率、减少运算量及通讯频宽限制的视频画面叠加编码传输的方法，主要应用在3G手机、市内电话或任何可实现视频传输及接收的通讯设备中，供发送客户端及接收客户端通过各自的电子通讯设备进行视频通讯处理。
背景技术
视频传输技术在网络上已经普遍应用，第三代行动通讯(3G)视频电话在固定通讯网络(即固网，它包括室内电话、长途电话、国际电话及一般网络专线服务)中已开始发展，但目前仍然受限于带宽及硬件的限制不是很普及，在可预知的未来，3G移动网络中的3G视频电话必将大行其道。
目前3G视频电话采用的视频编码传输技术，大部分是在进行视频通讯时，由摄像头对着用户的头部拍摄视频景象，拍摄的画面包括括头部及其所处的背景，然后直接对整个画面(即头部加上背景)进行编码后传输到接收端，再由接收端将接收的译码呈现在屏幕上，实现实时互动的影像传输效果，若要实现良好的视频质量，需采用相当大的编码码率、运算量及时间，且需要相当大的通讯带宽，否则容易造成画面延迟或定格问题的产生，故这种直接将整个拍摄画面进行编码传输的方式，实有需改善之处。
发明内容
为克服上述现有技术的缺点，本发明的主要目的在于提供一种视频画面叠加编码传输的方法，可对拍摄出来的视频画面进行主要区域分割，撷取出主要的前景框，并搭配选择预设的动态或静态的背景画面，将其相互叠加后并呈现，实现多样化娱乐效果十足的视频画面呈现。
本发明的次一目的在于提供一种视频画面叠加编码传输的方法，可有效降低编码码率、减少运算量，能够大量减少3G视频电话视频传输对通讯带宽的限制。
为达到上述目的，本发明提供一种视频画面叠加编码传输的方法。该视频画面叠加编码传输的方法，供发送客户端及接收客户端两端通过各自电子通讯设备进行视频通讯处理，该视频画面叠加编码传输的方法包括下列步骤：在该发送客户端的电子通讯设备上由摄像头拍摄视频画面；该发送客户端的电子通讯设备对拍摄的视频画面进行主要区域分割，撷取出细部的前景框；该发送客户端的电子通讯设备将撷取出的前景框进行编码；该发送客户端的电子通讯设备提供背景框并予以编码；该发送客户端的电子通讯设备对前景框及背景框数据进行编码，形成码流后传送到接收客户端的电子通讯设备；该接收客户端的电子通讯设备接收由该发送客户端的电子通讯设备传送的码流、并分析前景框及背景框编码数据；该接收客户端的电子通讯设备将分析出的前景框编码予以译码；以及该接收客户端的电子通讯设备依据预设的背景框取得方式，与经过译码的前景框叠加并输出。
若该电子通讯设备是移动电话时，由于无线信号易受干扰，甚至遗失或漏接所传送的信号，因此发送客户端需每隔一预定时间(n秒)发送背景框编码数据一次，避免接收客户端第一次没有接收到背景框编码数据而无法顺利输出背景，另外，发送客户端可以在通讯过程中随时更换背景，产生新的背景框编码数据并传送到接收客户端，其中该背景框编码数据中具有有用以标识该背景更新与否的版本编号，供接收客户端根据发送客户端背景框编码数据的变化及判别该版本编号，可以实时的更换背景；如果接收客户端选择使用的电子通讯设备中储存的背景，也可选择该电子通讯设备数据库中的背景框替换接收到的背景框，同样可达到本发明的目的。
综上所述，本发明提供的一种视频画面叠加编码传输的方法，通过将拍摄的视频画面分割为前景框和背景框，并分别对其进行编码与译码并进行传输，可实现多样化娱乐效果十足的视频画面，同时可有效降低编码码率、减少运算量及通讯带宽的限制，具有广泛的应用及发展性。
附图说明
图1是本发明的方法应用在发送客户端电子通讯设备的处理流程示意图；
图2是本发明的方法应用在接收客户端电子通讯设备的处理流程图；
图3A及图3B是应用本发明的方法接收客户端的电子通讯设备所接收到码流内容示意图；以及
图4是应用本发明的视频画面叠加编码传输的方法的示意图。
具体实施方式
实施例
以下实施例是进一步详细说明本发明的观点，但并非以任何观点限制本发明的范畴。
请同时参考图1及图2，分别说明本发明的视频画面叠加编码传输的方法在发送客户端及接收客户端执行通讯时的处理流程示意图。本发明的视频画面叠加编码传输的方法是供发送客户端及接收客户端两端，通过各自的电子通讯设备进行视频服务的通讯处理，该电子通讯设备例如是手机、市内电话或网络电话等任何可用于视频传输及接收的通讯设备。
首先执行如图1所示的步骤S10，在发送客户端的电子通讯设备上借由摄像头拍摄视频画面，一般而言，该视频画面包括发送客户端的头部影像以及发送客户端所在位置的背景，接着进到步骤S11。
在步骤S11中，该发送客户端的电子通讯设备依据拍摄的视频画面进行主要区域分割，撷取出细部的前景框，本实施例的前景框是指发送客户端的头部影像，接着进到步骤S12。
在步骤S12中，该发送客户端的电子通讯设备依据撷取的前景框进行编码，接着进到步骤S13。
在步骤S13中，该发送客户端的电子通讯设备依据取得的背景框进行编码，接着进到步骤S14。其中，该电子通讯设备取得背景框的方式有许多种，例如可依据上述步骤S11区域分割后所取得的背景影像，或者，该发送客户端可依据该电子通讯设备内建的背景框数据库，自由地选择所喜爱的背景，也就是可视需要采用不同的背景框取得方式，提供更多元化的背景影像。
在步骤S14中，该发送客户端的电子通讯设备将前景框及背景框编码数据形成码流并传送到接收客户端的电子通讯设备。请容后参阅图3A及图3B再详述该码流内容。
该发送客户端的电子通讯设备完成该步骤S14后，可视通讯时间令该电子通讯设备的摄像头持续拍摄以取得新的视频画面，即返回上述步骤S10，重复执行上述步骤S11及步骤S14，直到该发送客户端与接收客户端结束通讯或停止视频传输处理为止。
接着，如图2所示，它是说明本发明的视频画面叠加编码传输的方法在接收客户端的处理流程示意情形，也就是上述图1的发送客户端的电子通讯设备与接收客户端的电子通讯设备建立通讯关系，并由该发送客户端的电子通讯设备传送包括前景框及背景框编码数据形成的码流后，随即执行步骤S20，由该接收客户端的电子通讯设备接收该发送客户端的电子通讯设备传送的包括有前景框及背景框编码数据的码流并处理该码流，接着进到步骤S21。其中，该接收客户端的电子通讯设备进行的处理，是对接收到的码流分析出前景框及背景框编码数据，对分析出的前景框及背景框编码数据进行译码，一般而言，该发送客户端的电子通讯设备传来的背景固定不变，因此在通讯过程中只需传送一次，相对的该接收客户端的电子通讯设备执行的接收及译码该背景框编码数据仅需一次即可。
在步骤S21中，该接收客户端的电子通讯设备将处理后取得的前景框及背景框画面叠加并呈现。
由上可知，图1所示的步骤是说明发送客户端对于视频传送处理，主要是对拍摄出来的视频画面进行主要区域分割，并撷取出细部的前景框，且可从该发送客户端的电子通讯设备数据库中选择适当的叠加背景框，其中，该背景框是静态的图像或由连续静态图像组成的动态影像构成的图片数据，再将分割出的前景框及需要叠加的背景框分别进行编码并传送到接收客户端的电子通讯设备。
另外，图2所示的步骤是说明接收客户端对于视频接收处理，它是指接收客户端的电子通讯设备仅需接收并译码一次由发送客户端传送到的背景框编码数据，然后与译码后的发送客户端前景框进行画面叠加。
再者，请参考图3A及图3B，它是上述步骤S14所述码流内容示意图，发送客户端传递到接收客户端的码流5中，整合有背景框编码数据51及前景框编码数据52，在通讯时成为一段一段连续的码流5进行传输，以正确且实时的传输视频影像及声音等信息封包并译码予以输出，由于无线信号易受干扰，甚至在传输过程中容易遗失信号，发送客户端的电子通讯设备需要每隔一预定时间(N秒)发送背景框编码数据51一次，避免接收客户端的电子通讯设备第一次没有接收到背景框编码数据51而无法输出背景画面，另外，发送客户端的电子通讯设备可以在通讯过程中随时更换背景，可以产生新的背景框编码数据61传送到接收客户端的电子通讯设备，其中该背景框编码数据51中具有用以标识该背景新旧或更新与否的版本编号511，接收客户端的电子通讯设备根据发送客户端的电子通讯设备传来的背景框编码数据51、61的变化及判别该版本编号511，可以实时的更换背景，如果发送客户端需要更改背景，那么在更改背景时，即开始编码并发送新的背景框编码数据61，产生新的码流6，因此，此刻的码流6与前一次所传的码流5的间隔可以不是N秒，可以是M秒，如图3(B)所示。
另外，在上述图2所示的步骤S21中，该接收客户端的电子通讯设备得到的背景框编码数据，除了来自该发送客户端的电子通讯设备传来的码流外，该接收客户端也依据电子通讯设备内建的背景框数据库选择自已喜好的背景框，并可将选择的背景框与发送客户端传来的前景叠加在一起。
再者，在上述图2所示的步骤S21的执行过程中还包括对该发送客户端的电子通讯设备传来码流的背景框编码数据的版本编号进行判别的步骤，也就是在连续的码流接收中，若接收下一段码流则判别该背景框编码数据的版本编号没有更新时，可对接收到的下一段码流中的背景框编码数据予以删除，不对其进行译码处理，直到判别该背景框编码数据的版本编号更新时，再进行译码处理，如此，可有效降低编码码率、减少运算量，可大量减少3G视频电话视频传输对通讯带宽的要求限制。
如图4所示，发送客户端的电子通讯设备1对通过视频镜头拍摄出来的视频画面11(拍摄的画面包括主体及其所处位置的背景111)进行主要区域分割，撷取出细部的前景框112，本实施例中发送客户端所要发送的背景框是由客户端自行选择，选择方式是由内建在该电子通讯设备1的背景框数据库中选择适当的叠加背景框12，再将分割出来的前景框112及需要叠加的背景框12分别进行编码，将背景框编码数据31及前景框编码数据32整合成码流3传送到接收端2，由于背景框12在未更换背景前是固定不变的，因此在进行通讯时，只需要传送一次背景框编码数据31给接收客户端即可，接收客户端的电子通讯设备2仅需要接收并译码一次发送客户端的电子通讯设备1传送到的背景框编码数据31，然后与译码后的发送客户端的电子通讯设备1传来的前景框12进行画面叠加，即可实现多样化丰富且贴合情境的视频画面效果，如图中的简单示意，发送客户端的电子通讯设备1拍摄出来的视频画面11和接收客户端的电子通讯设备2呈现的视频画面具有不同的效果。
综上所述，本发明提供的一种视频画面叠加编码传输的方法，具有更实用的经济效益，可有效降低编码码率、减少运算量及通讯带宽的限制，具有广泛的应用及发展性。

Claims (11)

1.一种视频画面叠加编码传输的方法，发送客户端及接收客户端两端通过各自的电子通讯设备进行具有视频服务的通讯处理，其特征在于，该视频画面叠加编码传输的方法包括下列步骤：
在该发送客户端的电子通讯设备上由摄像头拍摄视频画面；
该发送客户端的电子通讯设备对拍摄的视频画面进行主要区域分割，撷取出细部的前景框；
该发送客户端的电子通讯设备将撷取出的前景框进行编码；
该发送客户端的电子通讯设备提供背景框并予以编码；
该发送客户端的电子通讯设备对前景框及背景框数据进行编码，形成码流后传送到接收客户端的电子通讯设备；
该接收客户端的电子通讯设备接收由该发送客户端的电子通讯设备传送的码流、并分析前景框及背景框编码数据；
该接收客户端的电子通讯设备将分析出的前景框编码予以译码；以及
该接收客户端的电子通讯设备依据预设的背景框取得方式，与经过译码的前景框叠加并输出。
2.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该发送客户端的电子通讯设备对叠加背景框的背景框提供来源包括对该发送客户端的电子通讯设备摄像头拍摄的视频画面分割后所取得的背景框以及该发送客户端依据该电子通讯设备内建的背景框数据库自由选择的背景框。
3.如权利要求1或2所述的视频画面叠加编码传输的方法，其特征在于，该接收客户端的电子通讯设备依据预设的背景框取得方式包括该接收客户端的电子通讯设备接收来自该发送客户端的电子通讯设备传来码流中包括的背景框以及由该接收客户端依据电子通讯设备内建的背景框数据库自由选择的背景框。
4.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该接收客户端的电子通讯设备对该发送客户端的电子通讯设备传送的码流进行接收处理时，该接收客户端仅需接收并解码一次该发送客户端传送到的背景框编码数据，并与后续译码出的前景框进行画面叠加。
5.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，发送客户端每隔一预定时间给接收客户端发送一次背景框编码数据。
6.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该发送客户端与接收客户端在通讯过程中，该发送客户端可依需要自动更换背景并产生新的背景框编码数据，且传送到接收客户端以更换该接收客户端的电子通讯设备输出的背景。
7.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该背景框编码数据中具有用以标识该背景更新与否的版本编号，供接收客户端的电子通讯设备根据该版本编号实时更换背景。
8.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该背景框是图片数据。
9.如权利要求8所述的视频画面叠加编码传输的方法，其特征在于，该图片数据组成的影像是静态的图像。
10.如权利要求8所述的视频画面叠加编码传输的方法，其特征在于，该图片数据组成的影像是由连续静态图像组成的动态影像。
11.如权利要求1所述的视频画面叠加编码传输的方法，其特征在于，该电子通讯设备是手机、市内电话或网络电话。
CN 200510127482 2005-12-09 2005-12-09 视频画面叠加编码传输的方法 Pending CN1980334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200510127482 CN1980334A (zh) 2005-12-09 2005-12-09 视频画面叠加编码传输的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200510127482 CN1980334A (zh) 2005-12-09 2005-12-09 视频画面叠加编码传输的方法

Publications (1)

Publication Number Publication Date
CN1980334A true CN1980334A (zh) 2007-06-13

Family

ID=38131305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200510127482 Pending CN1980334A (zh) 2005-12-09 2005-12-09 视频画面叠加编码传输的方法

Country Status (1)

Country Link
CN (1) CN1980334A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945259A (zh) * 2010-09-13 2011-01-12 珠海全志科技有限公司 一种视频图像叠加与遮挡的装置和方法
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN102405642A (zh) * 2009-03-10 2012-04-04 索尼公司 信息处理设备和方法、及信息处理系统
CN103037205A (zh) * 2012-12-14 2013-04-10 广东威创视讯科技股份有限公司 视频传输方法和系统
WO2014005512A1 (en) * 2012-07-04 2014-01-09 Tencent Technology (Shenzhen) Company Limited Computer-implemented image composition method and apparatus using the same
CN105049818A (zh) * 2015-08-25 2015-11-11 北京丰华联合科技有限公司 一种优化视频数据传输的方法
CN105657429A (zh) * 2016-03-09 2016-06-08 成都爆米花信息技术有限公司 视频压缩方法
CN106416235A (zh) * 2014-06-06 2017-02-15 三菱电机株式会社 影像监视系统以及影像监视方法
CN111405142A (zh) * 2020-03-30 2020-07-10 咪咕视讯科技有限公司 一种图像处理方法、设备及计算机可读存储介质
US11375240B2 (en) * 2008-09-11 2022-06-28 Google Llc Video coding using constructed reference frames

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11375240B2 (en) * 2008-09-11 2022-06-28 Google Llc Video coding using constructed reference frames
CN102405642A (zh) * 2009-03-10 2012-04-04 索尼公司 信息处理设备和方法、及信息处理系统
CN101945259B (zh) * 2010-09-13 2013-03-13 珠海全志科技股份有限公司 一种视频图像叠加与遮挡的装置和方法
CN101945259A (zh) * 2010-09-13 2011-01-12 珠海全志科技有限公司 一种视频图像叠加与遮挡的装置和方法
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN102006473B (zh) * 2010-11-18 2013-03-13 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
WO2014005512A1 (en) * 2012-07-04 2014-01-09 Tencent Technology (Shenzhen) Company Limited Computer-implemented image composition method and apparatus using the same
US9064349B2 (en) 2012-07-04 2015-06-23 Tencent Technology (Shenzhen) Company Limited Computer-implemented image composition method and apparatus using the same
CN103037205A (zh) * 2012-12-14 2013-04-10 广东威创视讯科技股份有限公司 视频传输方法和系统
CN103037205B (zh) * 2012-12-14 2016-03-02 广东威创视讯科技股份有限公司 视频传输方法和系统
CN106416235A (zh) * 2014-06-06 2017-02-15 三菱电机株式会社 影像监视系统以及影像监视方法
CN105049818A (zh) * 2015-08-25 2015-11-11 北京丰华联合科技有限公司 一种优化视频数据传输的方法
CN105657429A (zh) * 2016-03-09 2016-06-08 成都爆米花信息技术有限公司 视频压缩方法
CN111405142A (zh) * 2020-03-30 2020-07-10 咪咕视讯科技有限公司 一种图像处理方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN1980334A (zh) 视频画面叠加编码传输的方法
KR101167432B1 (ko) 통신 방법 및 통신 시스템
CN102204257B (zh) 低延迟视频编码器
CN105635636B (zh) 一种视频会议系统及其实现视频图像传输控制的方法
JP2001251584A (ja) 符号化データ記録装置
JP2016129416A (ja) 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法
CN106303661B (zh) 一种直播客户端实现自适应屏幕旋转的方法及系统
US8359620B2 (en) Set-top box for wideband IP telephony service and method for providing wideband IP telephony service using set-top box
CN112019877A (zh) 基于vr设备的投屏方法、装置、设备及存储介质
US20100118111A1 (en) Method and apparatus for remote camera control indications in video conferencing
JP5617920B2 (ja) 通信システムと方法と装置
CN112203126B (zh) 投屏方法、投屏装置及存储介质
KR100989660B1 (ko) 원격 비디오 체인의 제어 방법 및 시스템
KR20040084721A (ko) 동화상 압축 부호화 송수신장치
US20090174762A1 (en) Mobile communication apparatus
CN104580993A (zh) 一种无线数字视频多点通讯方法
CN101755444A (zh) 多媒体通信系统、多媒体通信装置和终端
CN100546338C (zh) 一种带有电话功能的数字机顶盒
CN106998328A (zh) 一种视频传输方法及装置
CN203788395U (zh) 一种无线通信装置
WO2012155761A1 (zh) 一种可视电话动态相框实现方法及移动终端
JP2004165949A (ja) テレビ電話システム
CN102075725A (zh) 一种在可视终端中显示网络状态的方法与装置
CN103875241B (zh) 用于在传输数字图像时间序列时处理干扰的方法和设备
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication