CN105791895A - 基于时间戳记的音频与视频处理方法及其系统 - Google Patents

基于时间戳记的音频与视频处理方法及其系统 Download PDF

Info

Publication number
CN105791895A
CN105791895A CN201610017950.4A CN201610017950A CN105791895A CN 105791895 A CN105791895 A CN 105791895A CN 201610017950 A CN201610017950 A CN 201610017950A CN 105791895 A CN105791895 A CN 105791895A
Authority
CN
China
Prior art keywords
data
audio
video
package
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610017950.4A
Other languages
English (en)
Other versions
CN105791895B (zh
Inventor
程信杰
张堃铉
翁明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Compal Electronics Inc
Original Assignee
Compal Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compal Electronics Inc filed Critical Compal Electronics Inc
Publication of CN105791895A publication Critical patent/CN105791895A/zh
Application granted granted Critical
Publication of CN105791895B publication Critical patent/CN105791895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提出一种基于时间戳记的音频与视频处理方法及其系统，此方法适用于具有影像捕获设备以及收音装置的电子装置并且包括下列步骤。首先，于同一时间区间内，分别利用影像捕获设备以及收音装置撷取影像信号以及声音信号，以分别产生视频资料以及音频资料，并且将时间区间转换为时间戳记资料，其中视频资料包括不具有固定档案大小的单一视频画面，音频资料包括具有固定档案大小的多个音档。之后，将视频资料、音频资料以及时间戳记资料整合为传输资料。

Description

基于时间戳记的音频与视频处理方法及其系统
技术领域
本发明是有关于一种音频与视频处理方法及其系统，且特别是有关于一种基于时间戳记的音频与视频处理方法及其系统。
背景技术
随着电子科技以及通讯网络不断地发展，视频的硬设备、软件技术及操作功能已大幅提升。现今的视频可随时提供多个用户通过例如是计算机、智能型手机、平板计算机等电子装置进行同步联机，以让用户之间在进行语音通话时，更可以通过屏幕看到其它用户的动态影像，从而增强交流的真实感以及临场感。基此，视频会议已逐渐应用于商业沟通上，由此企业得以进行跨地域的内外部沟通。
一般而言，影像与声音在进行网络传输时，为了求取最小资料量，会先将影像与声音分离、编码以及压缩后传送到远程。由于影像与声音的封包资料量不同，传送所需耗费的时间也随之不同，故接收端在接收到封包进行影音播放时，往往会出现影像与声音不同步的现象，进而影响到沟通上的质量与效率。
发明内容
有鉴于此，本发明提供一种基于时间戳记的音频与视频处理方法及其系统，其是以特定资料格式的音频资料、视频资料以及时间戳记资料来做为传输资料，以使接收传输资料的装置可借以达到影音同步的要求。
本发明提出一种基于时间戳记的音频与视频处理方法，适用于电子装置，包括下列步骤。首先，于同一时间区间内，撷取影像信号以及声音信号，以分别产生视频资料以及音频资料，并且将时间区间转换为时间戳记资料，其中视频资料包括不具有固定档案大小的单一视频画面，音频资料包括具有固定档案大小的多个音档。之后，将视频资料、音频资料以及时间戳记资料整合为传输资料。
在本发明的一实施例中，上述撷取影像信号，以产生视频资料的步骤包括撷取影像信号，以及将影像信号数字转换并且压缩为不具有固定档案大小的视频资料。
在本发明的一实施例中，上述将视频资料、音频资料以及时间戳记整合为传输资料的步骤包括利用视频资料、音频资料以及时间戳记资料，产生影音封包，以做为传输资料。
在本发明的一实施例中，上述将视频资料、音频资料以及时间戳记整合为传输资料的步骤包括利用视频资料，产生视频封包，又利用音频资料以及时间戳记资料，产生音频封包，以及以视频封包以及音频封包做为传输资料。
在本发明的一实施例中，上述将视频资料、音频资料以及时间戳记整合为传输资料的步骤之后，还包括将传输资料传送到另一电子装置。
本发明提出一种基于时间戳记的音频与视频处理方法，适用于电子装置，包括下列步骤。首先，取得第一来源的第一传输资料，其中第一传输资料包括第一视频资料、第一音频资料以及第一时间戳记资料，其中第一视频资料包括不具有固定档案大小的单一视频画面，第一音频资料包括具有固定档案大小的多个音档。之后，根据第一传输资料中的第一时间戳记资料，播放第一视频资料以及第一音频资料。
在本发明的一实施例中，第一传输资料为包括第一视频资料、第一音频资料以及第一时间戳记资料的影音封包，电子装置具有包括多个第一暂存位置的第一资料缓冲器，而在取得第一来源的第一传输资料的步骤之后，上述方法还包括根据第一影音封包中的第一时间戳记资料，将第一影音封包依序递补至第一暂存位置中。
在本发明的一实施例中，上述根据第一传输资料中的第一时间戳记资料，播放第一音频资料以及第一视频资料的步骤包括当第一影音封包排序于第一暂存位置中的第一个时，播放第一影音封包的第一视频资料以及第一音频资料。
在本发明的一实施例中，电子装置更具有包括多个第二暂存位置的第二资料缓冲器，而上述方法还包括以下步骤。取得第二来源的第二传输资料，其中第二传输资料为包括第二视频资料、第二音频资料以及包括第二时间戳记资料的第二影音封包，其中第二视频资料包括不具有固定档案大小的单一视频画面，第二音频资料包括具有固定档案大小的多个音档。接着，根据第二影音封包中的第二时间戳记资料，将第二影音封包依序递补至第二暂存位置中。当第一影音封包排序于第一暂存位置中的第一个以及第二影音封包排序于第二暂存位置中的第一个时，同时播放第一影音封包的第一视频资料、第一音频资料以及第二影音封包的第二视频资料、第二音频资料。
在本发明的一实施例中，电子装置是以分割画面或是子母画面同时播放第一视频资料以及第二视频资料。
在本发明的一实施例中，第一传输资料为包括第一视频资料的第一视频封包以及包括第一音频资料、第一时间戳记资料的第一音频封包，电子装置具有包括第一视频暂存位置的第一视频缓冲器以及包括多个第一音频暂存位置的第一音频缓冲器，而在取得第一来源的第一传输资料的步骤之后，上述方法还包括将第一视频封包递补至第一视频暂存位置中，以及根据第一音频封包中的第一时间戳记资料，将第一音频封包依序递补至第一音频暂存位置中。
在本发明的一实施例中，上述将第一视频封包递补至第一视频暂存位置中的步骤包括当第一视频暂存位置中存在另一封包时，以第一视频封包覆盖该另一封包。
在本发明的一实施例中，上述根据第一音频封包中的第一时间戳记资料，将第一音频封包依序递补至第一暂存位置中的步骤包括直接播放第一视频暂存位置中的第一视频封包的第一视频资料，而当第一音频封包排序于第一暂存位置中的第一个时，播放第一音频封包的第一音频资料。
在本发明的一实施例中，电子装置更具有包括第二视频暂存位置的第二视频缓冲器以及包括多个第二音频暂存位置的第二音频缓冲器，而上述方法还包括下列步骤。取得第二来源的第二传输资料，其中第二传输资料为包括第二视频资料的第二视频封包以及包括第二音频资料、第二时间戳记资料的第二音频封包，其中第二音频资料包括具有固定档案大小的多个音档，第二视频资料包括不具有固定档案大小的单一视频画面。将第二视频封包递补至第二视频暂存位置中，并且根据第二音频封包中的第二时间戳记资料，将第二音频封包依序递补至所述第二音频暂存位置中。选择第一视频封包的第一视频资料以及第二视频封包的第二视频资料两者之一，以做为筛选后的视频资料。当第一音频封包以及第二音频封包分别排序于第一音频暂存位置以及第二音频暂存位置中的第一个时，整合第一音频封包的第一音频资料以及第二音频封包的第二音频资料，以做为整合后的音频资料。之后，同时播放筛选后的视频资料以及整合后的音频资料。
在本发明的一实施例中，选择第一视频封包的第一视频资料以及第二视频封包的第二视频资料两者之一，以做为筛选后的视频资料的步骤包括分别计算第一音频资料的平均音量以及第二音频资料的平均音量，以取得第一平均音量以及第二平均音量，当第一平均音量大于第二平均音量时，选择第一视频资料做为筛选后的视频资料，而当第二平均音量大于第一平均音量时，选择第二视频资料做为筛选后的视频资料。
本发明提出一种基于时间戳记的音频与视频处理系统，包括至少一客户端装置以及主机装置。各个客户端装置分别产生包括客户端视频资料、客户端音频资料以及客户端时间戳记资料的客户端传输资料，其中客户端视频资料包括不具有固定档案大小的单一视频画面，客户端音频资料包括具有固定档案大小的多个音档。主机装置联机于各个客户端装置，其自各个客户端装置接收客户端传输资料，以及根据客户端传输资料中的客户端时间戳记资料，播放对应的客户端视频资料以及客户端音频资料。
在本发明的一实施例中，主机装置更产生包括主机视频资料、主机音频资料以及主机时间戳记资料的主机传输资料，其中主机视频资料包括不具有固定档案大小的单一视频画面，主机音频资料包括具有固定档案大小的多个音档，而主机装置更根据主机传输资料的主机时间戳记资料，播放主机视频资料以及主机音频资料。
在本发明的一实施例中，客户端传输资料为利用客户端视频资料、客户端音频资料以及客户端时间戳记资料所产生的影音封包，而主机传输资料为利用主机视频资料、主机音频资料以及主机时间戳记资料所产生的影音封包。
在本发明的一实施例中，客户端传输资料为利用客户端视频资料所产生的视频封包以及客户端音频资料、该客户端时间戳记资料所产生的音频封包，主机传输资料为利用主机视频资料所产生的视频封包以及主机音频资料、主机时间戳记资料所产生的音频封包。
基于上述，本发明所提出基于时间戳记的音频与视频处理方法及其系统，其在撷取声音信号以及影像信号后会将其转换成具有特定资料格式的音频资料、视频资料以及时间戳记资料来作为传输资料，以使接收传输资料的装置可由此达到影音同步的播放。
附图说明
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下，其中：
图1绘示依据本发明一实施例的利用音频与视频处理方法所提出的一种硬件系统结构的示意图。
图2绘示依据本发明一实施例的基于时间戳记的音频与视频处理方法。
图3A依据本发明一实施例所绘示的单一影音封包的示意图。
图3B依据本发明一实施例所绘示的视频封包以及音频封包示意图。
图4绘示依据本发明一实施例的基于时间戳记的音频与视频处理方法。
图5A-5B绘示依据本发明第一实施例的音频与视频处理方法的示意图。
图6A-6B绘示依据本发明第二实施例的音频与视频处理方法的示意图。
图7A-7B绘示依据本发明第三实施例的音频与视频处理方法的示意图。
图8A-8B绘示依据本发明第四实施例的音频与视频处理方法的示意图。
图9绘示依据本发明一实施例的音频与视频处理系统的示意图。
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法以及系统的范例。
图1绘示依据本发明一实施例的可执行音频与视频处理方法的一种电子装置的示意图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍电子装置的所有构件以及配置关系，详细功能将配合图2一并揭露。
请参照图1，电子装置100包括屏幕111、通讯电路112、影像捕获设备113、播音装置114、收音装置115、存储器116以及处理器117。在本实施例中，电子装置100例如是个人计算机、笔记本电脑、智能型手机、平板计算机、个人数字助理等电子装置，本发明不以此为限。
屏幕111用以显示电子装置100输出的画面而提供给使用者观看。在本实施例中，屏幕111例如是液晶显示器(LiquidCrystalDisplay，LCD)、发光二极管(Light-EmittingDiode，LED)显示器、场发射显示器(FieldEmissionDisplay，FED)或其他种类的显示器。
通讯电路112用以通过通讯网络与其它装置连结，其可以例如是支持WiMAX通讯协议、Wi-Fi通讯协议、3G通讯协议、4G通讯协议等无线网络联机，ADSL宽带或光纤网络等有线网络联机的元件，然而本发明不在此设限。
影像捕获设备113用以撷取其前方的影像，其可以是采用电荷耦合元件(chargecoupleddevice，CCD)、互补性氧化金属半导体(ComplementaryMetal-OxideSemiconductor，CMOS)元件或其他元件镜头的照相机。影像捕获设备113可以是内建于电子装置100，亦可以是外接于电子装置100的网络摄影机、数字相机、单眼相机、数字摄影机等。
播音装置114用以播放声音，其包括喇叭。收音装置115用以接收声音，其包括麦克风。播音装置114以及收音装置115可以是内建于电子装置100，亦可以是外接于电子装置100。此外，当播音装置114以及收音装置115外接于电子装置100时，更可以整合为例如是耳机麦克风等单一装置。
存储器116用以储存档案资料，其可以例如是任意型式的固定式或可移动式随机存取存储器(RandomAccessMemory，RAM)、只读存储器(Read-OnlyMemory，ROM)、闪存(Flashmemory)、硬盘或其他类似装置或这些装置的组合。
处理器117耦接于屏幕111、通讯电路112、影像捕获设备113、播音装置114、收音装置115以及存储器116，其是用以控制以及整合此些元件之间的作动。处理器117可以例如是中央处理单元(CentralProcessingUnit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignalProcessor，DSP)、可程序化控制器、特殊应用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、可程序化逻辑设备(ProgrammableLogicDevice，PLD)或其他类似装置或这些装置的组合。
图2绘示依据本发明一实施例的基于时间戳记的音频与视频处理方法。本实施例的方法适用于图1的电子装置100，以下即搭配电子装置100中的各个元件说明本发明基于时间戳记的音频与视频处理方法的详细步骤。
请参照图2，首先，电子装置100的处理器117将于同一时间区间内，利用影像捕获设备113以及收音装置115撷取影像信号以及声音信号，以分别产生视频资料以及音频资料(步骤S202)。在此，电子装置100的处理器117可以是以17-50毫秒(ms)做为一个时间区间单位来利用影像捕获设备113以及收音装置115进行影像信号以及声音信号的撷取。附带说明的是，在其它实施例中，处理器117亦可由其它来源所取得的影音串流或者是储存于存储器116的影音档案来取得影像信号比及声音信号，本发明不在此设限。电子装置100的处理器117在接收到每一时间区间所撷取到的影像信号以及声音信号将分别产生视频资料以及音频资料。
详细来说，电子装置100的处理器117会将所撷取的影像信号进行数字转换以及压缩为视频资料。视频资料包括不具有固定档案大小的单一视频画面；亦即，电子装置100的处理器117可以是将单一视频画面压缩成任意的档案大小。举例来说，电子装置100的处理器117可以视不同网络传输带宽的需求来决定档案大小。在一范例中，压缩后的单一视频画面可以是bitmap格式并且档案大小为9,830,400位，其宽度以及高度分辨率分别为640像素以及480像素，色彩频道的个数为4(RGB色彩频道以及用以控制透明度的α分量)，单一频道深度为8位。在另一范例中，压缩后的单一视频画面更可以是jpeg格式并且档案大小为3,732,480位，其宽度以及高度分辨率分别为640像素以及480像素，色彩频道的个数为4(RGB色彩频道以及用以控制透明度的α分量)，单一频道深度为3位。
音频资料包括具有固定档案大小的多个音档。在一范例中，假设视频资料要以每秒30次的画面更新率(fps)来播放，当声音采样频率为44,100Hz时，则单一视频画面将会对应1470个声音采样样本。以音频分辨率为8位来说，单一视频画面所对应的声音档案大小为11,760位。在另一范例中，假设视频资料要以每秒15次的画面更新率(fps)来播放，当声音采样频率为22,050Hz时，则单一视频画面将会对应1470个声音采样样本。以音频分辨率为4位而言，单一视频画面所对应的声音档案大小为88,200位。
接着，电子装置100的处理器117在产生视频资料以及音频资料后，会将时间区间转换为时间戳记资料(步骤S204)。详言之，电子装置100的处理器117可以是根据时间区间以及封包序号资料来产生时间戳记资料。在此的时间区间包括日期以及时间等信息，而封包序号资料则是依时间先后对于即将产生的封包所给予的序号。
之后，电子装置100的处理器117会将音频资料、视频资料以及时间戳记资料整合为传输资料(步骤S206)。在此，传输资料可分为两种资料格式，其可以例如是图3A依据本发明一实施例所绘示的单一影音封包，或者是图3B依据本发明一实施例所绘示的影音分离的视频封包以及音频封包。
请参照图3A，在本实施例中，电子装置100的处理器117将利用音频资料V1、视频资料A1以及时间戳记资料T1来产生单一影音封包P1，并且将影音封包P1做为传输资料。
请再参照图3B，在本实施例中，电子装置100的处理器117将利用视频资料V1产生视频封包VP1，利用音频资料A1以及时间戳记资料T1来产生音频封包AP1，并且将视频封包VP1及音频封包AP1做为传输资料。在此实施例中，时间戳记资料T1与音频资料A1组为同一封包的原因在于人类对于声音的敏感度较高，因此较需确保稍后音频资料A1可依序接收以及播放。
当电子装置100产生传输资料后，可以是由电子装置100自行播放或者是将传输资料传送到其它电子装置进行播放。具体来说，图4绘示依据本发明一实施例的基于时间戳记的音频与视频处理方法，而本实施例的方法适用于图1的电子装置100或其它类似的电子装置。
请参照图4，首先，电子装置100的处理器117将取得第一来源的第一传输资料，其中第一传输资料包括第一视频资料、第一音频资料以及第一时间戳记资料(步骤S402)。此步骤则是接续于图2中的步骤S206，而第一来源的第一传输资料可以是电子装置100本身所产生的传输资料，或者是电子装置100通过通讯电路112自其它电子装置所取得。在此的第一传输资料即包括前述两种不同资料格式，而此两种资料格式皆是包括不具有固定档案大小的单一视频画面的第一视频资料、具有固定档案大小的多个音档的第一音频资料以及记录时间区间以及封包序号资料的第一时间戳记资料。
接着，电子装置100的处理器117将根据第一传输资料中的第一时间戳记资料，播放第一视频资料以及第一音频资料(步骤S404)。详细来说，电子装置100的处理器117将会根据第一时间戳记资料所记录的时间区间以及封包序号资料来播放其所对应的第一视频资料以及第一音频资料，其可避免第一传输资料在传输的过程中因碰撞、路由等因素而影响到达的顺序，以实现影音同步。因应传输资料的不同资料格式，电子装置100在播放传输资料前则是有不同的处理方式，以下将以不同的实施例分叙说明。
在第一个实施例中，电子装置100的处理器117将处理自第一来源所取得的第一传输资料，而此第一传输资料的资料格式为包括第一视频资料、第一音频资料以及第一时间戳记资料的第一影音封包。在此，电子装置100的存储器116还包括资料缓冲器(DataBuffer，在此定义为“第一资料缓冲器”)，其具有多个暂存位置(在此定义为“第一暂存位置”)。电子装置100的处理器117在接收到第一传输资料后，将根据第一影音封包中的第一时间戳记资料，将第一影音封包依序递补至第一资料缓冲器的第一暂存位置中。当第一影音封包排序于第一暂存位置中的第一个时，电子装置100的处理器117将会分别通过屏幕111以及播音装置114播放第一影音封包的第一视频资料以及第一音频资料。由于处理器117是根据时间戳记资料播放属于同一个影音封包的第一视频资料以及第一音频资料，因此可以达到影音同步播放的要求。
具体来说，图5A-5B绘示依据本发明第一实施例的音频与视频处理方法的示意图。
请先参照图5A，于时点t时，电子装置100的处理器117已接收影音封包P11-P16，其分别包括视频资料V11-V16、音频资料A11-A16以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将影音封包P11-P16依时序先后排序于第一资料缓冲器DB1的暂存位置中p1-p6。
请再参照图5B，电子装置100的处理器117会不断的进行接收与播放封包的工作，因此于下一个时点(t+1)时，处理器117将会通过屏幕111以及播音装置114分别播放图5A中排序于暂存位置p1中的视频资料V11以及音频资料A11。此外，处理器117同时会将影音封包P12-P16分别推进(push)至其前一个暂存位置，并且接收包括视频资料V17、音频资料A17、时间戳记资料T17的影音封包P17，以将其递补至暂存位置p6中。于接续的时点中，处理器117亦是以相同的方式处理影音封包，直到传输资料已全部传送完毕。
在另一实施例中，电子装置100的处理器117除了将处理自第一来源所取得的第一传输资料外，更可同步地处理来自其它来源所取得的传输资料。
详细来说，在第二实施例中，电子装置100的处理器117可同步处理自第一来源所取得的第一传输资料以及自第二来源所取得的第二传输资料。此第一传输资料的资料格式为包括第一视频资料、第一音频资料以及第一时间戳记资料的第一影音封包，而此第二传输资料的资料格式为包括第二视频资料、第二音频资料以及第二时间戳记资料的第二影音封包。在此，电子装置100的存储器116还包括另一资料缓冲器(在此定义为“第二资料缓冲器”)，其具有多个暂存位置(在此定义为“第二暂存位置”)。此外，第一来源可以是电子装置100本身，第二来源可以是另一电子装置；或者两个来源皆可以是其它两个电子装置，本发明不在此设限。
类似地，电子装置100的处理器117在接收到第一传输资料后，将根据第一影音封包中的第一时间戳记资料，将第一影音封包依序递补至第一资料缓冲器的第一暂存位置中。此外，电子装置100的处理器117在接收到第二传输资料后，将根据第二影音封包中的第二时间戳记资料，将第二影音封包依序递补至第二资料缓冲器的第二暂存位置中。
在本实施例中，值得注意的是，当第一影音封包排序于第一资料缓冲器中的第一个暂存位置以及第二影音封包排序于第二资料缓冲器中的第二个暂存位置时，电子装置100的处理器117将通过屏幕111以分割画面(Mult-window)或是子母画面(Pop-upPlay)同时播放第一影音封包的第一视频资料以及第二影音封包的第二视频资料，并且例如是以混音合成(AudioMixing)的方式通过播音装置114播放整合后的第一影音封包的第一音频资料与第二影音封包的第二音频资料。
具体来说，图6A-6B绘示依据本发明第二实施例的音频与视频处理方法的示意图。
请先参照图6A，于时点t时，电子装置100的处理器117已接收影音封包P11-P16，其分别包括视频资料V11-V16、音频资料A11-A16以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将影音封包P11-P16依时序先后排序于第一资料缓冲器DB1的暂存位置中p1-p6。此外，电子装置100的处理器117更接收影音封包P21-P26，其分别包括视频资料V21-V26、音频资料A21-A26以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将影音封包P21-P26依时序先后排序于第二资料缓冲器DB2的暂存位置p1-p6中。
请再参照图6B，电子装置100的处理器117会不断的进行接收与播放封包的工作，因此于下一个时点(t+1)时，处理器117将会通过屏幕111以例如是分割画面的形式同时播放图6A中的第一资料缓冲器DB1以及第二资料缓冲器DB2中皆排序于暂存位置p1中的视频资料V11以及视频资料V21，并且例如是以混音合成的方式整合音频资料A11以及音频资料A12，以通过播放装置114播放整合后的音频资料A1’。此外，处理器117同时会将影音封包P12-P16以及P22-P26分别递补至其前一个暂存位置，并且接收包括视频资料V17、音频资料A17、时间戳记资料T17的影音封包P17以及包括视频资料V27、音频资料A27、时间戳记资料T27的影音封包P27，以将其分别递补至第一资料缓冲器DB1以及第二资料缓冲器DB2的暂存位置p6中。于接续的时点中，处理器117亦是以相同的方式处理影音封包，直到传输资料已全部传送完毕。
在第三个实施例中，电子装置100的处理器117将处理自第一来源所取得的第一传输资料，而此第一传输资料的资料格式为包括第一视频资料的第一视频封包以及包括第一音频资料以及第一时间戳记资料的第一音频封包。在此，电子装置100的存储器116还包括视频缓冲器(在此定义为“第一视频缓冲器”)以及音频缓存器(在此定义为“第一音频缓冲器”)，其分别具有单一个暂存位置(在此定义为“第一视频暂存位置”)以及多个音频暂存位置(在此定义为“第一音频暂存位置”)。
电子装置100的处理器117在接收到第一视频封包时，会将其直接递补至第一视频缓冲器的第一视频暂存位置中，而处理器117则是会紧接着通过屏幕111播放第一视频暂存位置中的第一视频封包内的第一视频资料。由于第一视频缓冲器中仅有唯一的第一视频暂存位置，因此当处理器117在接收并且传送第一视频封包到第一视频缓冲器时，则是会以第一视频封包覆盖(Overwrite)原本在第一视频暂存位置的封包。
另一方面，电子装置100的处理器117在接收到第一音频封包时，将根据第一音频封包中的第一时间戳记资料，将第一音频封包依序递补至第一音频缓冲器的第一音频暂存位置中。当第一音频封包排序于第一音频暂存位置中的第一个时，电子装置100的处理器117将会通过播音装置117播放第一音频封包的第一音频资料。
必须说明的是，由于第一视频资料可以视网络传输带宽的需求而适应性地压缩成不同的档案大小，因此在处理器117接收到第一视频封包便会将其直接置于第一视频缓冲器并且紧接着播放第一视频资料的前提下，仍可实现稳定且连续播放的要求。此外，在此实施例中，第一时间戳记资料与第一音频资料组为同一封包并且依时序排序于第一音频缓冲器中，因此可确保第一音频资料依序播放。据此，电子装置100的处理器117可通过屏幕111以及播音装置114来达到影音同步播放的要求。
具体来说，图7A-7B绘示依据本发明第三实施例的音频与视频处理方法的示意图。
请先参照图7A，于时点t时，电子装置100的处理器117已接收音频封包AP11-AP16，其分别包括音频资料A11-A16以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将音频封包AP11-AP16依时序先后排序于第一音频缓冲器ADB1的暂存位置中p1-p6。此外，电子装置100的处理器117已接收视频封包VP11并且将其置于第一视频缓冲器VDB1的暂存位置p中。第一视频缓冲器VDB1亦会同时紧接着准备接收包括视频资料V11+M的视频封包VP11+M，其中M＞0。
请再参照图7B，电子装置100的处理器117会不断的进行接收与播放封包的工作，因此于下一个时点(t+1)时，处理器117将会通过屏幕111以及播音装置114分别播放图7A中于第一视频缓冲器VDB1的暂存位置p中的视频资料V11以及于第一音频缓冲器ADB1排序于暂存位置p1中的音频资料A11。处理器117先以视频封包V11+M覆盖原本暂存位置p中的视频封包VP11，并且第一视频缓冲器VDB1亦会同时紧接着准备接收包括视频资料V11+M+N的视频封包VP11+M+N，其中N＞0。此外，处理器117同时会将音频封包AP12-AP16分别推进至其前一个暂存位置。之后，处理器117将接收包括视频资料V1K的视频封包VP1K以及包括音频资料A1K、时间戳记资料TK的音频封包AP1K，其中M+N＜K。于接续的时点中，处理器117亦是以相同的方式处理视频封包以及音频封包，直到传输资料已全部传送完毕。
类似地，在另一实施例中，电子装置100的处理器117除了可处理自第一来源所取得的第一传输资料外，更可同步地处理来自其它来源所取得的传输资料。
详细来说，在第四实施例中，电子装置100的处理器117可同步处理自第一来源所取得的第一传输资料以及自第二来源所取得的第二传输资料。此第一传输资料的资料格式为包括第一视频资料的第一视频封包以及包括第一音频资料以及第一时间戳记资料的第一音频封包，而此第二传输资料的资料格式为包括第二视频资料的第二视频封包以及包括第二音频资料以及第二时间戳记资料的第二音频封包。在此，电子装置100的存储器116还包括视频缓冲器(在此定义为“第二视频缓冲器”)以及音频缓存器(在此定义为“第二音频缓冲器”)，其分别具有单一个暂存位置(在此定义为“第二视频暂存位置”)以及多个音频暂存位置(在此定义为“第二音频暂存位置”)。此外，第一来源可以是电子装置100本身，第二来源可以是另一电子装置；或者两个来源皆可以是其它两个电子装置，本发明不在此设限。
类似于第三实施例，处理器117在接收到第一视频封包时，会将其直接递补至第一视频缓冲器的第一视频暂存位置中，并且在接收到第二视频封包时，会将其直接递补至第二视频缓冲器的第二视频暂存位置中。另一方面，处理器117在接收到第一音频封包时，将根据第一音频封包中的第一时间戳记资料，将第一音频封包依序递补至第一音频缓冲器的第一音频暂存位置中，并且在接收到第二音频封包时，将根据第二音频封包中的第二时间戳记资料，将第二音频封包依序递补至第二音频缓冲器的第二音频暂存位置中。
当第一视频封包以及第二视频封包同时分别在第一视频缓冲器的第一视频暂存位置以及第二视频缓冲器的第二视频暂存位置时，处理器117会筛选其中一者的视频资料来进行播放，而筛选机制将于稍后进行说明。同时，当第一音频封包以及第二音频封包分别排序于第一音频缓冲器以及第二音频缓冲器中的第一个暂存位置时，处理器117则是会将第一音频封包的第一音频资料以及第二音频封包的第二音频资料整合，以做为整合后的音频资料。类似于第三实施例，电子装置100的处理器117可通过屏幕111以及播音装置114来同步播放筛选后的视频资料以及整合后的音频资料。
在本实施例中，处理器117筛选视频资料的方式可以是根据音频资料的音量来决定。举例来说，处理器117将分别计算第一音频资料的声音采样样本的平均音量以及第二音频资料的声音采样样本的平均音量，以取得第一平均音量以及第二平均音量。当第一平均音量大于第二平均音量时，处理器117将选择第一视频资料做为筛选后的视频资料。当第二平均音量大于第一平均音量时，处理器117将选择第二视频资料做为筛选后的视频资料。在另一实施例中，处理器117亦可分别计算所有位于第一音频缓冲器以及第二音频缓冲器中的所有音频资料的平均音量，以做为第一平均音量以及第二平均音量，并且将具有最大平均音量所对应的视频资料来做为筛选后的视频资料。
具体来说，图8A-8B绘示依据本发明第四实施例的音频与视频处理方法的示意图。
请先参照图8A，于时点t时，电子装置100的处理器117已接收音频封包AP11-AP16，其分别包括音频资料A11-A16以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将音频封包PA11-PA16依时序先后排序于第一音频缓冲器ADB1的暂存位置中p1-p6。特别的是，处理器117将计算音频资料A11-A16中所有声音采样样本的平均音量此外，电子装置100的处理器117已接收视频封包VP11并且将其置于第一视频缓冲器VDB1的暂存位置p中。第一视频缓冲器VDB1亦会同时紧接着接收包括视频资料V11+M的视频封包VP11+M。
另一方面，电子装置100的处理器117更已接收音频封包AP21-AP26，其分别包括音频资料A21-A26以及时间戳记资料T1-T6，并且处理器117将会依照时间戳记资料T1-T6来将音频封包AP21-AP26依时序先后排序于第二音频缓冲器ADB2的暂存位置中p1-p6。特别的是，处理器117将计算音频资料A21-A26中所有声音采样样本的平均音量其中在此假设也就是说为平均音量中的最大值VMAX。此外，电子装置100的处理器117已接收视频封包VP21并且将其置于第一视频缓冲器VDB1的暂存位置p中。第二视频缓冲器VDB2亦会同时紧接着接收包括视频资料V21+M的视频封包VP21+M。
请再参照图8B，电子装置100的处理器117会不断的进行接收与播放封包的工作，因此于下一个时点(t+1)时，由于处理器117将通过屏幕111播放图7A中于第一视频缓冲器VDB1的暂存位置p中的视频资料V11，并且例如是以混音合成的方式整合音频资料A11以及音频资料A12，以通过播放装置114播放整合后的音频资料A1’。处理器117先以视频封包VP11+M以及视频封包VP21+M覆盖原本分别于第一音频缓冲器ADB1以及第二音频缓冲器ADB2暂存位置p中的视频封包VP11以及视频封包VP21，并且第一视频缓冲器VDB1以及第二视频缓冲器VDB2亦会同时紧接着准备接收包括视频资料V11+M+N的视频封包VP11+M+N以及包括视频资料V21+M+N的视频封包VP21+M+N。此外，处理器117同时会将影音封包P12-P16以及P22-P26递补至其前一个暂存位置，并且将接收包括视频资料V1K的视频封包VP1K、包括音频资料A1K、时间戳记资料TK的音频封包P1K、包括视频资料V2K的视频封包VP2K、包括音频资料A2K、时间戳记资料TK的音频封包P2K。于接续的时点中，处理器117亦是以相同的方式处理视频封包以及音频封包，直到传输资料已全部传送完毕。
上述的四个实施例可归纳为装置本身的播放、一对一的传输播放以及多对一的传输播放，而每一种方式皆可采用单一影音封包或者是影音分离的视频封包与音频封包的资料格式。此些实施例可应用于图9绘示依据本发明一实施例的音频与视频处理系统。在本实施例将以视频会议系统来做为实作范例，然而本发明不限于此。
请参照图9，在本实施例中，系统900为由多个类似于电子装置100的装置所组成的视频会改系统，并且可经选择而从其中选定任一者做为主机装置910而将其余的电子装置做为客户端装置910A-910B，其中客户端装置910A-910B可利用通讯网络与主机装置910连结。必须说明的是，系统100中的客户端装置910A-910B仅是为了方便说明实作方式。在其它的实施例中，系统100更可提供超过两个客户端装置来与主机装置910进行联机以及执行后续的方法步骤，本发明不在此设限。
在装置本身进行播放的一范例中，主机装置910在撷取本身的声音信号以及影像信号后，将产生包括主机音频资料、主机视频资料以及主机时间戳记资料的主机传输资料，其中主机视频资料包括不具有固定档案大小的单一视频画面，而主机音频资料包括具有固定档案大小的多个音档。在此范例中的主机传输资料可以包括两种资料格式：一种为利用主机视频资料、主机音频资料以及主机时间戳记资料所产生的影音封包；另一种为利用主机视频资料所产生的视频封包，以及利用主机音频资料以及主机时间戳记资料的音频封包。接着，主机装置910则可根据主机传输资料的主机时间戳记资料，播放主机视频资料以及主机音频资料。
在一对一传输播放的一范例中，客户端装置910A在撷取本身的声音信号以及影像信号后，将产生包括客户端音频资料、客户端视频资料以及客户端时间戳记资料的客户端传输资料，其中客户端视频资料包括不具有固定档案大小的单一视频画面，而客户端音频资料包括具有固定档案大小的多个音档。在此范例中的客户端传输资料可以包括两种资料格式：一种为利用客户端视频资料、客户端音频资料以及客户端时间戳记资料所产生的影音封包；另一种为利用客户端视频资料所产生的视频封包，以及利用客户端音频资料以及客户端时间戳记资料的音频封包。接着，客户端装置910A会将客户端传输资料传送到主机装置900，而主机装置910则可根据客户端时间戳记资料播放客户端装置910A的客户端视频资料以及客户端音频资料。
在多对一传输播放并且对应于单一影音的封包格式的一范例中，主机装置910可在取得主机传输资料以及客户端装置910A的客户端传输资料后，合成并且播放主机音频资料与客户端音频资料，并且以分割画面或是子母画面同时播放主机音频资料与客户端音频资料。在另一范例中，主机装置910亦可取得客户端装置910A以及客户端装置910B的客户端传输资料，合成并且播放两者的客户端音频资料，并且以分割画面或是子母画面同时播放两者的客户端音频资料。
在多对一传输播放并且对应于影音分离的封包格式的一范例中，主机装置910可在取得主机传输资料、客户端装置910A-910B的客户端传输资料后，将会判断并且播放主机音频资料以及客户端装置910A-910B的客户端音频资料具有最大平均音量者的视频资料，以及合成并且播放主机音频资料与客户端装置910A-910B的客户端音频资料。
必须说明的是，图9的范例中所提到音频与视频资料处理以及播放的细节可参照图2-图8的实施例的说明，于此不再赘述。
综上所述，本发明所提出基于时间戳记的音频与视频处理方法及其系统，其在撷取声音信号以及影像信号后会将其转换成具有特定资料格式的音频资料、视频资料以及时间戳记资料来作为传输资料，以使接收传输资料的装置可由此达到影音同步的播放。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求范围所界定的为准。

Claims (20)

1.一种基于时间戳记的音频与视频处理方法，其特征在于，适用于具有影像捕获设备以及收音装置的电子装置，该方法包括下列步骤：
于同一时间区间内，分别利用影像捕获设备以及收音装置撷取影像信号以及声音信号，以产生视频资料以及音频资料，其中该视频资料包括不具有固定档案大小的单一视频画面，该音频资料包括具有固定档案大小的多个音档；
转换该时间区间为时间戳记资料；以及
整合该视频资料、该音频资料以及该时间戳记资料为传输资料。
2.如权利要求1所述的基于时间戳记的音频与视频处理方法，其特征在于，利用该影像捕获设备撷取该影像信号，以产生该视频资料的步骤包括：
利用该影像捕获设备撷取该影像信号；以及
数字转换并且压缩该影像信号为不具有固定档案大小的该视频资料。
3.如权利要求1所述的基于时间戳记的音频与视频处理方法，其特征在于，转换该时间区间为该时间戳记资料的步骤包括：
根据该时间区间以及封包序号资料，产生该时间戳记记资料。
4.如权利要求1所述的基于时间戳记的音频与视频处理方法，其特征在于，整合该视频资料、该音频资料以及该时间戳记为该传输资料的步骤包括：
利用该视频资料、该音频资料以及该时间戳记资料，产生影音封包，以做为该传输资料。
5.如权利要求1所述的基于时间戳记的音频与视频处理方法，其特征在于，整合该视频资料、该音频资料以及该时间戳记为该传输资料的步骤包括：
利用该视频资料，产生视频封包；
利用该音频资料以及该时间戳记资料，产生音频封包；以及
以该视频封包以及该音频封包做为该传输资料。
6.如权利要求1所述的基于时间戳记的音频与视频处理方法，其特征在于，在整合该视频资料、该音频资料以及该时间戳记为该传输资料的步骤之后，该方法还包括：
传送该传输资料至另一电子装置。
7.一种基于时间戳记的音频与视频处理方法，其特征在于，适用于具有屏幕以及播音装置的电子装置，该方法包括：
取得第一来源的第一传输资料，其中该第一传输资料包括第一视频资料、第一音频资料以及第一时间戳记资料，其中该第一视频资料包括不具有固定档案大小的单一视频画面，该第一音频资料包括具有固定档案大小的多个音档；以及
根据该第一传输资料中的该第一时间戳记资料，分别利用该屏幕以及该播音装置播放该第一视频资料以及该第一音频资料。
8.如权利要求7所述的基于时间戳记的音频与视频处理方法，其特征在于，该第一传输资料为包括该第一视频资料、该第一音频资料以及该第一时间戳记资料的影音封包，该电子装置具有包括多个第一暂存位置的第一资料缓冲器，而在取得该第一来源的该第一传输资料的步骤之后，该方法还包括：
根据该第一影音封包中的该第一时间戳记资料，依序递补该第一影音封包至所述第一暂存位置中。
9.如权利要求8所述的基于时间戳记的音频与视频处理方法，其特征在于，根据该第一传输资料中的该第一时间戳记资料，播放该第一音频资料以及该第一视频资料的步骤包括：
当该第一影音封包排序于所述第一暂存位置中的第一个时，播放该第一影音封包的该第一视频资料以及该第一音频资料。
10.如权利要求8所述的基于时间戳记的音频与视频处理方法，其特征在于，该电子装置更具有包括多个第二暂存位置的第二资料缓冲器，而该方法还包括：
取得第二来源的第二传输资料，其中该第二传输资料为包括第二视频资料、第二音频资料以及包括第二时间戳记资料的第二影音封包，其中该第二视频资料包括不具有固定档案大小的单一视频画面，该第二音频资料包括具有固定档案大小的多个音档；
根据该第二影音封包中的该第二时间戳记资料，依序递补该第二影音封包至所述第二暂存位置中；以及
当该第一影音封包排序于所述第一暂存位置中的第一个以及该第二影音封包排序于所述第二暂存位置中的第一个时，同时播放该第一影音封包的该第一视频资料、该第一音频资料以及该第二影音封包的该第二视频资料、该第二音频资料。
11.如权利要求10所述的基于时间戳记的音频与视频处理方法，其特征在于，该电子装置利用该屏幕以分割画面或是子母画面同时播放该第一视频资料以及该第二视频资料。
12.如权利要求7所述的基于时间戳记的音频与视频处理方法，其特征在于，该第一传输资料为包括该第一视频资料的第一视频封包以及包括该第一音频资料以及该第一时间戳记资料的第一音频封包，该电子装置具有包括第一视频暂存位置的第一视频缓冲器以及包括多个第一音频暂存位置的第一音频缓冲器，而在取得该第一来源的该第一传输资料的步骤之后，该方法还包括：
递补该第一视频封包至该第一视频暂存位置中；以及
根据该第一音频封包中的该第一时间戳记资料，依序递补该第一音频封包至所述第一音频暂存位置中。
13.如权利要求12所述的基于时间戳记的音频与视频处理方法，其特征在于，递补该第一视频封包至该第一视频暂存位置中的步骤包括：
当该第一视频暂存位置中存在另一封包时，以该第一视频封包覆盖该另一封包。
14.如权利要求12所述的基于时间戳记的音频与视频处理方法，其特征在于，根据该第一传输资料中的该第一时间戳记资料，分别利用该屏幕以及该播音装置播放该第一音频资料以及该第一视频资料的步骤包括：
利用该屏幕直接播放该第一视频暂存位置中的该第一视频封包的该第一视频资料；以及
当该第一音频封包排序于所述第一暂存位置中的第一个时，利用该播音装置播放该第一音频封包的该第一音频资料。
15.如权利要求12所述的基于时间戳记的音频与视频处理方法，其特征在于，该电子装置更具有包括第二视频暂存位置的第二视频缓冲器以及包括多个第二音频暂存位置的第二音频缓冲器，而该方法还包括：
取得第二来源的第二传输资料，其中该第二传输资料为包括第二视频资料的第二视频封包以及包括第二音频资料、第二时间戳记资料的第二音频封包，其中该第二视频资料包括不具有固定档案大小的单一视频画面，该第二音频资料包括具有固定档案大小的多个音档；
递补该第二视频封包至该第二视频暂存位置中；
根据该第二音频封包中的该第二时间戳记资料，依序递补该第二音频封包至所述第二音频暂存位置中；
选择该第一视频封包的该第一视频资料以及该第二视频封包的该第二视频资料两者之一，以做为筛选后的视频资料；
当该第一音频封包以及该第二音频封包分别排序于所述第一音频暂存位置以及所述第二音频暂存位置中的第一个时，整合该第一音频封包的该第一音频资料以及该第二音频封包的该第二音频资料，以做为整合后的音频资料；以及
同时分别利用该屏幕以及该播音装置播放该筛选后的视频资料以及该整合后的音频资料。
16.如权利要求15所述的基于时间戳记的音频与视频处理方法，其特征在于，选择该第一视频封包的该第一视频资料以及该第二视频封包的该第二视频资料两者之一，以做为该筛选后的视频资料的步骤包括：
分别计算该第一音频资料的平均音量以及该第二音频资料的平均音量，以取得第一平均音量以及第二平均音量；
当该第一平均音量大于该第二平均音量时，选择该第一视频资料做为该筛选后的视频资料；以及
当该第二平均音量大于该第一平均音量时，选择该第二视频资料做为该筛选后的视频资料。
17.一种基于时间戳记的音频与视频处理系统，其特征在于，包括：
至少一客户端装置，其中各所述客户端装置分别产生包括客户端音频资料、客户端视频资料以及客户端时间戳记资料的客户端传输资料，其中该客户端视频资料包括不具有固定档案大小的单一视频画面，该客户端音频资料包括具有固定档案大小的多个音档；以及
主机装置，联机于各所述客户端装置，其中该主机装置自各所述客户端装置接收该客户端传输资料，以及根据各所述客户端传输资料中的该客户端时间戳记资料，播放对应的该客户端视频资料以及该客户端音频资料。
18.如权利要求17所述的基于时间戳记的音频与视频处理系统，其特征在于，该主机装置更产生包括主机音频资料、主机视频资料以及主机时间戳记资料的主机传输资料，其中该主机视频资料包括不具有固定档案大小的单一视频画面，该主机音频资料包括具有固定档案大小的多个音档，而该主机装置更根据该主机传输资料的该主机时间戳记资料，播放该主机视频资料以及该主机音频资料。
19.如权利要求18所述的基于时间戳记的音频与视频处理系统，其特征在于，各所述客户端传输资料为利用该客户端视频资料、该客户端音频资料以及该客户端时间戳记资料所产生的影音封包，而该主机传输资料为利用该主机视频资料、该主机音频资料以及该主机时间戳记资料所产生的影音封包。
20.如权利要求18所述的基于时间戳记的音频与视频处理系统，其特征在于，各所述客户端传输资料为利用客户端视频资料所产生的视频封包以及客户端音频资料、该客户端时间戳记资料所产生的音频封包，主机传输资料为利用主机视频资料所产生的视频封包以及主机音频资料、该主机时间戳记资料所产生的音频封包。
CN201610017950.4A 2015-01-12 2016-01-12 基于时间戳记的音频与视频处理方法及其系统 Active CN105791895B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562102533P 2015-01-12 2015-01-12
US62/102,533 2015-01-12

Publications (2)

Publication Number Publication Date
CN105791895A true CN105791895A (zh) 2016-07-20
CN105791895B CN105791895B (zh) 2019-10-08

Family

ID=56368432

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610017950.4A Active CN105791895B (zh) 2015-01-12 2016-01-12 基于时间戳记的音频与视频处理方法及其系统
CN201610016778.0A Active CN106027589B (zh) 2015-01-12 2016-01-12 视频与音频处理装置及其视频会议系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610016778.0A Active CN106027589B (zh) 2015-01-12 2016-01-12 视频与音频处理装置及其视频会议系统

Country Status (3)

Country Link
US (2) US9762857B2 (zh)
CN (2) CN105791895B (zh)
TW (2) TWI602437B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10177958B2 (en) * 2017-02-07 2019-01-08 Da Sheng Inc. Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream
CN107040746B (zh) * 2017-03-31 2019-11-15 北京奇艺世纪科技有限公司 基于语音控制的多人视频聊天方法及装置
US20180302454A1 (en) * 2017-04-05 2018-10-18 Interlock Concepts Inc. Audio visual integration device
CN107018370B (zh) * 2017-04-14 2020-06-30 威盛电子股份有限公司 用于视频墙的显示方法及其系统
CN109756744B (zh) * 2017-11-02 2022-04-12 腾讯科技（深圳）有限公司 数据处理方法、电子设备及计算机存储介质
CN107978317A (zh) * 2017-12-18 2018-05-01 北京百度网讯科技有限公司 会议纪要合成方法、系统及终端设备
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10887646B2 (en) * 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
EP3984169A4 (en) * 2019-06-13 2023-07-05 Mersive Technologies, Inc. VIDEO CONFERENCE ROOM OVERRIDE SYSTEM AND RELATED PROCEDURES
US11019219B1 (en) * 2019-11-25 2021-05-25 Google Llc Detecting and flagging acoustic problems in video conferencing
CN111210819B (zh) * 2019-12-31 2023-11-21 联想(北京)有限公司 信息处理方法、装置和电子设备
TWI762980B (zh) * 2020-07-29 2022-05-01 瑞昱半導體股份有限公司 數位串流錯誤檢查方法與電路系統
US11553577B2 (en) 2021-04-30 2023-01-10 Shenzhen Linklite Smart Lighting Co., Ltd System and method for achieving synchronized audio and image control of lighting
US11330229B1 (en) * 2021-09-28 2022-05-10 Atlassian Pty Ltd. Apparatuses, computer-implemented methods, and computer program products for generating a collaborative contextual summary interface in association with an audio-video conferencing interface service
CN114071052B (zh) * 2021-11-11 2023-06-16 华能招标有限公司 远程评标视频会议过程中的视频流传输方法及监管系统
US11722536B2 (en) 2021-12-27 2023-08-08 Atlassian Pty Ltd. Apparatuses, computer-implemented methods, and computer program products for managing a shared dynamic collaborative presentation progression interface in association with an audio-video conferencing interface service
TWI825928B (zh) * 2022-08-18 2023-12-11 瑞昱半導體股份有限公司 訊號補償裝置以及用來動態地補償訊號的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040022262A1 (en) * 2002-07-31 2004-02-05 Bapiraju Vinnakota State-based jitter buffer and method of operation
CN1902941A (zh) * 2004-01-06 2007-01-24 汤姆逊许可公司 实现音频和视频同步呈现的方法和设备
CN1976448A (zh) * 2005-11-30 2007-06-06 美国博通公司 用于音频和视频传输的方法和系统
US20080034104A1 (en) * 2006-08-07 2008-02-07 Eran Kariti Video conferencing over IP networks

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768558B1 (en) * 2000-09-29 2010-08-03 Hewlett-Packard Development Company, L.P. Digital still camera with remaining picture count indication
TW589892B (en) 2003-03-12 2004-06-01 Asustek Comp Inc Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology
JP2006041884A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US20060244818A1 (en) * 2005-04-28 2006-11-02 Comotiv Systems, Inc. Web-based conferencing system
US7822811B2 (en) * 2006-06-16 2010-10-26 Microsoft Corporation Performance enhancements for video conferencing
US8554550B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context processing using multi resolution analysis
US20090210789A1 (en) 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
US8265171B2 (en) * 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
CN101442654B (zh) * 2008-12-26 2012-05-23 华为终端有限公司 视频通信中视频对象切换的方法、装置及系统
US20110102671A1 (en) * 2009-10-29 2011-05-05 Apple Inc. Picture in Picture Video Display for Low Power Device
US8428959B2 (en) 2010-01-29 2013-04-23 Polycom, Inc. Audio packet loss concealment by transform interpolation
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
US8928725B2 (en) * 2010-10-22 2015-01-06 Litl Llc Video integration
TW201223283A (en) * 2010-11-25 2012-06-01 Facevsion Technology Inc Data management methods for video conferencing, and data management devices and machine readable medium thereof
US8896651B2 (en) * 2011-10-27 2014-11-25 Polycom, Inc. Portable devices as videoconferencing peripherals
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9312829B2 (en) * 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040022262A1 (en) * 2002-07-31 2004-02-05 Bapiraju Vinnakota State-based jitter buffer and method of operation
CN1902941A (zh) * 2004-01-06 2007-01-24 汤姆逊许可公司 实现音频和视频同步呈现的方法和设备
CN1976448A (zh) * 2005-11-30 2007-06-06 美国博通公司 用于音频和视频传输的方法和系统
US20080034104A1 (en) * 2006-08-07 2008-02-07 Eran Kariti Video conferencing over IP networks

Also Published As

Publication number Publication date
US9602769B2 (en) 2017-03-21
TW201626791A (zh) 2016-07-16
TW201637438A (zh) 2016-10-16
CN106027589B (zh) 2019-08-13
TWI595786B (zh) 2017-08-11
TWI602437B (zh) 2017-10-11
US9762857B2 (en) 2017-09-12
CN106027589A (zh) 2016-10-12
CN105791895B (zh) 2019-10-08
US20160205351A1 (en) 2016-07-14
US20160205349A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
CN105791895A (zh) 基于时间戳记的音频与视频处理方法及其系统
CN106992959B (zh) 一种3d全景音视频直播系统及音视频采集方法
US11985316B2 (en) Compressed high dynamic range video
CN103096019B (zh) 视频会议系统和终端装置及用于视频会议的图像撷取方法
GB2337654A (en) Multi-point video conferencing with image extraction
CN105959620A (zh) 一种全景视频的同步显示方法及设备
CN107592452B (zh) 一种全景音视频采集设备及方法
CN102377730A (zh) 音视频信号的处理方法及移动终端
CN101272482A (zh) 一种网络媒体通信远程控制的方法、系统及媒体采集设备
CA2474889A1 (en) Apparatus and method for sending image data
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
US9883192B2 (en) Color space compression
CN1210947C (zh) 摄像机设备和具有该摄像机设备的电子设备
WO2011134373A1 (zh) 多路视频同步传输方法、装置及系统
WO2020116740A1 (ko) 실시간 방송 편집 시스템 및 편집 방법
TWI538519B (zh) 視訊影像之擷取裝置
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
CN102377977A (zh) 一种视频通话过程中对视频的处理方法、装置及系统
KR101341862B1 (ko) 플로우 모션 영상 촬영 방법 및 시스템
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
JP5307577B2 (ja) インターホン装置
CN101340546A (zh) 高分辨率视频会议系统
KR19980027902A (ko) 무선 랜 카드를 이용한 화상회의 시스템
KR100769672B1 (ko) 화상 통신이 가능한 이동통신단말기
JP3178871B2 (ja) 画像通信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant