CN1178503C - 实时音频/视频调整方法 - Google Patents

实时音频/视频调整方法 Download PDF

Info

Publication number
CN1178503C
CN1178503C CNB011367466A CN01136746A CN1178503C CN 1178503 C CN1178503 C CN 1178503C CN B011367466 A CNB011367466 A CN B011367466A CN 01136746 A CN01136746 A CN 01136746A CN 1178503 C CN1178503 C CN 1178503C
Authority
CN
China
Prior art keywords
audio
data
format
video
transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011367466A
Other languages
English (en)
Other versions
CN1386015A (zh
Inventor
刘孟贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leadtek Research Inc
Original Assignee
Leadtek Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leadtek Research Inc filed Critical Leadtek Research Inc
Publication of CN1386015A publication Critical patent/CN1386015A/zh
Application granted granted Critical
Publication of CN1178503C publication Critical patent/CN1178503C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种在一通讯装置中传输音频及视频信号数据的方法，在一通讯装置的频宽降至低于一预定值时，一视频会议系统即开始以QCIF格式传输一视频信号数据，另一系统则接收该数据，并将其由QCIF格式换算成CIF格式。在本发明的另一实施例中，当一通讯装置的频宽降至低于第一或第二预定值时，可改变音频格式，以降低频宽的要求。在第三实施例中，以上降低音频频宽及视频信号数据频宽的方法可以彼此配合使用。

Description

实时音频/视频调整方法
技术领域
本发明是有关于一种传输及接收音频/视频(Audio/Video)数据的方法，且特别是有关于一种使一视频会议系统(Video Conference System)在降低频宽(Bandwidth)期间传输及接收音频/视频数据的方法。
背景技术
对于长距离通讯，视频会议系统的重要性逐渐增加，利用视频会议系统，使用者可通过包括两个或多个个人设备的系统会面或交谈。而该个人设备则由一检视设备(Viewing Device)，一扬声器(Speaker)，一麦克风(Microphone)，以及一摄影机(Video Camera)。信号是通过一种例如是电话线(Telephone Line)、电缆线(Cable)、卫星(Satellite)等通讯装置传输的，目前，许多视频会议系统利用互联网络来传输音频及视频数据。国际通讯协会(ITU)建立了网络计算机、仪器，及多媒体通讯服务的H.323的标准，以允许使用者通过互联网络(Internet)连接，使用支持H.323标准的不同产品。H.323系统可以传递实时的视频、音频，或其它元素组合的数据。H.323标准定义如何格式化音频及视频数据，以及如何套装音频及视频数据，以在网络上传输。标准的音频及视频编码译码器将来自于音频及视频信号源的输入/输出模拟数据编码或译码成数字数据，以在通讯装置上传输。
传输音频，特别是视频信号的主要困难在于缺乏足够的频宽，以及潜伏时间的问题。频宽是每秒可传输的数据的位数的容量测量，当在一特定的时间内必需提供一精确的数据数量时显得特别重要。频宽的问题可因为仪器、媒介，以及网络互联的基本设备而引起。在一音及视频数据固定的视频会议应用中，对于数据传输而言，系统是否具有足够的频宽是非常重要的。例如，数字化电话质量的演说(8-位取样，每秒8000取样)需要大约64Kbps的数据。对于一1024乘768图素显示的全运动视频(Full Motion Video)，每8位有3个颜色，每秒显示30帧，等于有566,000的产能。在一传统的系统中，当传输频宽在传输时降低，系统将会降低视频帧(Video Frame)，以维持高于新低频宽的视频系统。这种方法因为接收的视频移动非常快而显得相当麻烦，因此，在传输过程中，有效的频宽降低下，传输一音频/视频数据而不影响视频质量是迫切需要的。
发明内容
本发明的目的之一，是在提供一种改善视频信号及音频信号在一频宽降低的期间转换的方法，在一实施例中，用来在一通讯装置中转换音频及视频信号数据的视频会议系统为互联网络。当有效频宽在数据转换期间(当一会议在进行时)降低时，该视频会议系统将会开始传送及接收具有四分之一共同媒介格式QCIF的数据，而非共同媒介格式CIF，以防止帧数的减少而维持视频的连续性及质量。该视频会议设备将接收具有QCIF格式的视频信号数据，并将其换算成CIF格式的数据以供观察。在本发明的另一实施例中，如果频宽频降，音频格式可依据频宽的量而改变。在本发明的另一实施例中，使用者可选择其喜好，且基于本发明的方法，音频质量可以在保留视频质量的同时被降低，或相反地，视频可以QCIF格式传输，以保留音频质量。
附图说明
图1为一种典型的视频会议装置。
图2为依据本发明的一实施例的流程图。
图3为依据本发明的另一实施例的流程图。
附图标记说明：
10：音频-视频信号输入及输出
20：处理器
30：传输器
40：通讯装置
100-140：第一实施例的步骤
200-270：第二实施例的步骤
具体实施方式
图2为本发明的一典型装置。一处理器(Processor)20连接至一音频-视频输入及输出10，典型的视频输出为一液晶显示器屏幕(LCDScreen)，而音频输出可为一扬声器。视频输入可以是摄影机，而音频输入可以是一麦克风。该处理器20借着传输器(Transmitter)30将输入信号转换成可以在通讯装置上传播的信号，通讯装置40包括标准PSTN线、无线电通讯(Radio Communication)、电缆等。一接收器(Receiver)30将接收的信号传给将数字信号转换成用于A/V输出10的信号的处理器20。个人计算机可以借着适当的硬件(Hardware)得到视频会议系统的功能。此一系统还可以利用做一多点系统(Multipoint System)，该多点系统合并一多点控制单元(MCU)以允许3个或多个H.323端点连接及参与一会议。
ITU标准H.261在P×46Kbps HTML中定义影音服务的视频编译码。H.261定义两个共同媒介格式(CIF)的图像格式，以及四分之一共同媒介格式(QCIF)。CIF支持每帧352×288素的图像分辨率，而QCIF支持每帧176×144图素的图像分辨率(CIF的四分之一)。QCIF/CIF视频可利用YcbCr彩色译码方案来编码(Y＝luma，Cb/Cr＝彩色编码方案(Chrominance Color Encoding Scheme))。此一方法的优点在于人眼对颜色改变的敏灵度较对强度低，如此使得色彩成份(Cb/Cr)得以在一半亮度频宽下被编码，且可保持彩色的质量。
本发明提供一种在低频宽的有效期间传输视频及音频数据的方法。此一系统可以在连接处监视频宽，还可以在使用即传输合约(RTP)及实时传输控制合约(RTCP)时监视频宽，以决定网络交通的状态。例如，如果完整的RTP波包及完整的RTCP波包未被接收，即可推演出频宽是不适当。或者，如果RTCP波包被接收且没有帧的损失，即可调整视频或音频编译码，以减低所需的频宽。如果RTP波包被接收且没有帧的损失，但是却损失了RCTP波包，因为没有视频或音频帧的损失，仍可以视其为可接受的频宽。一旦RTP波包及RTCP波包被接收，且没有帧的损失，则可知频宽为适当的，而可以决定调整视频及音频编译码以取得较好的质量，然后可决定频宽为有效的，以对该系统采取适当的动作。
在本发明的一实施例中，如果有效频宽的量在会议进行时降低，该视频会议系统(包括两个或多个个人单元)将传输及接收QCIF格式的视频数据，而非CIF的格式。每一个视频会议单元可以在频宽降低至一定值时独立地开始传输QCIF。或者，在该视频会议单元的传输过程间，可以协商或要求同时开始传输及接收QCIF视频数据。
为传输该QCIF格式的视频数据，该处理器可以直接将输入信号由A/V输入10转换成一QCIF格式。在另一实施例中，该处理器可以在CIF格式压缩数据，以与QCIF共形。于是一单元可以接收QCIF格式的数据，并将图像换算成CIF格式以供显示。图2为本方法的一流程图。照例地，一音频-视频系统在步骤100中，以CIF格式开始传输。如果在传输中，频宽降低至第一预定程度以下时，则系统在步骤110中以QCIF格式开始传输，相似地，接收站将开始接收QCIF信号，并再次将其换算成一CIF格式(步骤120)。如果频宽在之后增加，该系统可再次开始传输CIF格式的视频数据(步骤140)。
在本发明的另一实施例中，如果发生频宽降低，则可以改变音频格式。照例，一音频-视频信号系统可使用一编译码器，例如是传输48，56或64Kbps的G.711。然而，如果在传输时频宽降低，系统可以使用不同的低频宽编译码器，例如是G.728(16Kbps)或G.723(5.3或6.3Kbps)。如图3的流程所示，该系统在步骤200中使用G.711编译码器开始传输音频数据。如果该频宽在传输时降至低于一第一预定程度，该系统可以在步骤220中开始传输G.728。如果频宽增加，该系统可以再次开始传输G.711。然而，如果频宽再降至低于一第二预定程度(步骤240)，系统将会在步骤250中开始传输G.273音频。
在本发明的另一实施例中，根据使用者的喜好，音频格式可以改变以减低频宽，并在显示的方法中保持视频质量。相反地，该视频数据频宽可以利用由CIF格式切换到QCIF格式而减小，以基于本方法，使得音频质量得以保持。还有，音频及视频数据频宽可以减低以保持两者信号在一适当程度。例如，如果被侦测至频宽降，音频格式可以改变为G.728。如果仍然缺乏有效频宽，视频数据格式可以改变为QCIF格式，以防止音频格式必需改变成G.273。利用此方法，音频及视频数据的间可以取得一折衷，以使两者保持在适当的程度。
虽然本发明已以实施例说明如上，然其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当以权利要求为准。

Claims (13)

1.一种传输音频/视频数据的方法，其特征为：包括：
监视在数据传输时，一通讯装置上的目前可用于传输的一有效频宽；
如果该有效频宽等于或大于一第一预定程度，以CIF格式传输一视频信号数据；
当该有效频宽降低至低于该第一预定程度时，以QCIF格式传输该视频信号数据；以及
以QCIF格式接收该视频信号数据，并将其换算回CIF格式。
2.如权利要求1所述的传输音频/视频数据的方法，其特征为：该CIF格式在传输前被换算成QCIF格式。
3.如权利要求1所述的传输音频/视频数据的方法，其特征为：还包括与其它音频会议单元通讯的步骤，以同时开始QCIF格式的传输。
4.如权利要求1所述的传输音频/视频数据的方法，其特征为：该数据是基于H.323在互联网络中传输的。
5.一种传输音频/视频信号数据的方法，其特征为：包括：
监视在传输数据时，一通讯装置上的目前可用于传输的一有效频宽；
当该有效频宽等于或大于一第一预定程度时，以一G.711格式传输一音频数据；
当该有效频宽降至低于该第一预定程度时，以一G.728格式传输该音频数据；以及
在该有效频宽降至低于一第二预程度时，以一G.723格式传输该音频数据。
6.如权利要求5所述的传输音频/视频数据的方法，其特征为：该音频数据是依据H.323标准在互联网络上传输。
7.如权利要求5所述的传输音频/视频数据的方法，其特征为：还包括与其它视频会议单元通讯的步骤，以同时开始传输特定的音频格式。
8.一种传输音频/视频信号数据的方法，其特征为：包括：
监视数据传输时，一通讯装置的目前可用于传输的一有效频宽；
如果该有效频宽等于或大于一第一预定程度，以一第一格式传输一视频信号数据；
当该有效频宽降低至低于该第一预定程度时，以一第二格式传输该视频信号数据；以及
以该第二格式接收该视频信号数据，并将其换算回该第一格式。
9.如权利要求8所述的传输音频/视频数据的方法，其特征为：还包括与其它音频会议单元通讯的步骤，以同时开始一视频数据格式的传输。
10.如权利要求8所述的传输音频/视频数据的方法，其特征为：该视频数据依据H.323标准在网际网络上传输。
11.一种传输音频/视频信号数据的方法，其特征为：包括；
监视在数据传输时，一通讯装置的目前可用于传输的一有效频宽；
当该有效频宽等于或大于一第一预定程度时，以一第一格式传输一音频数据；
当该有效频宽降至低于该第一预定程度时，以一第二格式传输该音频数据；以及
在该有效频宽降至低于一第二预程度时，以一第三格式传输该音频数据。
12.如权利要求11所述的传输音频/视频数据的方法，其特征为：该音频数据依据H.323标准在互联网络上传输。
13.如权利要求11所述的传输音频/视频数据的方法，其特征为：还包括与其它音频会议单元通讯的步骤，以同时开始一视频数据格式的传输。
CNB011367466A 2001-05-11 2001-10-23 实时音频/视频调整方法 Expired - Fee Related CN1178503C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US29047201P 2001-05-11 2001-05-11
US60/290,472 2001-05-11

Publications (2)

Publication Number Publication Date
CN1386015A CN1386015A (zh) 2002-12-18
CN1178503C true CN1178503C (zh) 2004-12-01

Family

ID=23116148

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011367466A Expired - Fee Related CN1178503C (zh) 2001-05-11 2001-10-23 实时音频/视频调整方法

Country Status (2)

Country Link
US (1) US6665002B2 (zh)
CN (1) CN1178503C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512698B1 (en) * 1995-07-14 2009-03-31 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
US9832244B2 (en) 1995-07-14 2017-11-28 Arris Enterprises Llc Dynamic quality adjustment based on changing streaming constraints
JP2001333163A (ja) * 2000-05-22 2001-11-30 Nec Corp 携帯電話装置、およびその通信方法
US7688852B2 (en) * 2003-03-31 2010-03-30 Nortel Networks Limited Auto-compression for media over IP
US20050091693A1 (en) * 2003-10-22 2005-04-28 Rochelle Communications, Inc. Dual mode set-top box that optimizes the delivery and user selection of audio or video programming over data networks
CN100463521C (zh) * 2004-10-26 2009-02-18 大竑企业股份有限公司 提高网际网络中影音资料成像效果及传输速率的方法
US7535484B2 (en) * 2005-03-14 2009-05-19 Sony Ericsson Mobile Communications Ab Communication terminals that vary a video stream based on how it is displayed
US7962182B2 (en) * 2006-08-25 2011-06-14 Qualcomm Incorporated Method and apparatus for content delivery to devices
WO2009090967A1 (ja) * 2008-01-16 2009-07-23 Nec Corporation 通信端末、表示画像制御方法、プログラムおよび記録媒体
US20090300701A1 (en) * 2008-05-28 2009-12-03 Broadcom Corporation Area of interest processing of video delivered to handheld device
JP5212130B2 (ja) * 2009-01-15 2013-06-19 ブラザー工業株式会社 会議端末装置間の通信制御方法、通信会議システム、会議制御装置、会議端末装置及びプログラム
US20100287585A1 (en) * 2009-05-05 2010-11-11 At&T Intellectual Property I, L.P. System and apparatus for media service delivery
US9021542B2 (en) * 2009-10-06 2015-04-28 At&T Intellectual Property I, L.P. Apparatus and method for providing media content
US9042943B2 (en) * 2013-02-12 2015-05-26 Nec Casio Mobile Communications Ltd. TV phone apparatus and control method therefor
CN103118233A (zh) * 2013-03-01 2013-05-22 上海创建达一系统集成有限公司 一种高清音视频混合级联数字传输切换器
US9035992B1 (en) * 2013-04-08 2015-05-19 Google Inc. Bandwidth modulation system and method
GB2541733B (en) * 2015-08-28 2019-02-13 Imagination Tech Ltd Bandwidth Management
CN105577671B (zh) 2015-12-30 2019-02-01 上海芃矽半导体技术有限公司 音频信号与视频信号的传输方法及传输系统
CN105635748B (zh) 2015-12-30 2019-02-01 上海芃矽半导体技术有限公司 音频-视频数据的发送方法、接收方法和音频-视频数据的传输系统
US10958695B2 (en) 2016-06-21 2021-03-23 Google Llc Methods, systems, and media for recommending content based on network conditions
KR102460538B1 (ko) * 2018-05-28 2022-10-28 삼성에스디에스 주식회사 영상 품질 조정 방법과 이를 수행하기 위한 단말 및 중계 서버
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
KR102501233B1 (ko) * 2018-10-22 2023-02-20 삼성에스디에스 주식회사 화상 회의 서비스 방법 및 이를 수행하기 위한 장치
JP7729049B2 (ja) * 2021-03-03 2025-08-26 ヤマハ株式会社 映像出力方法、映像出力装置および映像出力システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6373855B1 (en) * 1998-03-05 2002-04-16 Intel Corporation System and method for using audio performance to control video bandwidth

Also Published As

Publication number Publication date
US6665002B2 (en) 2003-12-16
US20020167586A1 (en) 2002-11-14
CN1386015A (zh) 2002-12-18

Similar Documents

Publication Publication Date Title
CN1178503C (zh) 实时音频/视频调整方法
US6285661B1 (en) Low delay real time digital video mixing for multipoint video conferencing
US7616591B2 (en) Video conferencing system
US6535240B2 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
JP2004506347A (ja) 分散処理構造を有するパーソナル・テレビ会議システム
JP2003504897A (ja) 電話回線による高速映像伝送
AU2002355089A1 (en) Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US20050021620A1 (en) Web data conferencing system and method with full motion interactive video
Galbreath Compressed digital videoconferencing: An overview
US20070116113A1 (en) System and method for decreasing end-to-end delay during video conferencing session
US6560280B1 (en) Video transmission system
JPH0993553A (ja) 画像通信装置および画像通信方法
US20050005305A1 (en) Computer-based multimedia communication system having an external unit
JP2002290940A (ja) テレビ会議システム
JP2001145103A (ja) 送信装置及び通信システム
JP3173809B2 (ja) テレビジョン会議システム
US12015875B2 (en) Method and system for real time audio in multi-point video conferencing
KR100233531B1 (ko) 채널상태에 따른 능동적 픽쳐사이즈 제어방법 및그 장치
JPH0884327A (ja) 画像通信装置及び画像通信方法
KR100240650B1 (ko) 통합 멀티미디어 데이터 입출력 장치의 구조 및 그 구동 방법
KR100216775B1 (ko) Nisdn용 영상단말기의 영상 코덱 시스템
JPH0846928A (ja) 画像符号化前処理装置
Langi A multimedia communication terminal for telephone channels based on H. 324
JPH07212731A (ja) リアルタイム動画／音声通信システム
Zia Evaluation of Potential Effectiveness of Desktop Remote Video Conferencing for Interactive Seminars

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee