CN1810017A - 媒体流混合 - Google Patents

媒体流混合 Download PDF

Info

Publication number
CN1810017A
CN1810017A CNA2004800171090A CN200480017109A CN1810017A CN 1810017 A CN1810017 A CN 1810017A CN A2004800171090 A CNA2004800171090 A CN A2004800171090A CN 200480017109 A CN200480017109 A CN 200480017109A CN 1810017 A CN1810017 A CN 1810017A
Authority
CN
China
Prior art keywords
media stream
signal
portable communication
communication appts
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800171090A
Other languages
English (en)
Other versions
CN100525342C (zh
Inventor
B·诺尔哈马
T·林奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN1810017A publication Critical patent/CN1810017A/zh
Application granted granted Critical
Publication of CN100525342C publication Critical patent/CN100525342C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Disintegrating Or Milling (AREA)
  • Silicon Compounds (AREA)
  • Led Devices (AREA)
  • Glass Compositions (AREA)

Abstract

本发明针对通过混合第一实时媒体流和第二媒体流来形成实时输出媒体流的方法和便携式通信装置。提供媒体流的混合就能提供例如许多吸引人的功能。本发明涉及如何增加移动VT应用的用途以及如何能够处理用于便携式通信装置时的完整性课题。

Description

媒体流混合
发明的技术领域
本发明涉及在便携式通信装置中至少两种媒体流的实时混合。更具体地说，本发明涉及用于至少两种媒体流实时混合以便提供实时发送的输出媒体流的方法和装置。
相关技术说明
大多数第三代移动终端都已实现电视电话技术(VT)应用，这种应用基于3GPP规范324M。VT应用利用包括实时话音和视频信息的通信使定人连接成为可能。这些应用包括记录和产生一种既包含声频信息又包含图像信息的单一视频流。
如果能够在便携式通信装置中将两种不同的媒体流组合起来，就可以提供许多吸引人的功能，例如把来自一种媒体流的话音与来自另一媒体流的话音进行交换、用另一媒体流的图像信息来代替一种媒体流的图像信息等。
使用VT的一种有趣方式就是使用所谓的”又说又演”(show andtell)。这就是说在播放录制的包括声频和图像信息的录像时，将话音(声频)同时加到所述媒体流上。
另外，有些消费者可能会关心在不适宜的地方或者在因安全原因不允许对方看见所述位置的地方被视在拍摄。视在实时影片可能例如是两个不同影片的组合，一个显示位置，另一个显示消费者。
本发明涉及如何增加移动VT应用的使用，以及在用于可视电话中时如何处理完整性课题。
所以需要有一种方法和装置，它能够提供一种基于两种单独的输入流(其中至少一个是实时流)的输出媒体流。
发明概述
所以本发明针对解决以下问题：提供一种由便携式通信装置发送的实时同步同步输出媒体流，其中所述输出媒体流是第一(实时)媒体流和第二媒体流的混合物。
这是通过以下方法产生的：在便携式通信装置中实时产生第一媒体流，并且实时地将第一媒体流和第二媒体流组合，形成输出媒体流。
本发明的一个目的是提供一种方法，用于形成由第一实时媒体流和第二媒体流构成的实时输出媒体流。
按照本发明的第一方面，此目的是用以下方法实现的：形成由便携式通信装置在通信会话时发送的输出媒体流，其中所述媒体流包括第一类型信号，所述方法包括以下步骤：
-在便携式通信装置中实时产生第一媒体流；以及
-实时地组合第一媒体流和第二媒体流，形成输出媒体流。
本发明的第二方面针对包括所述第一方面的特征的方法，其中所述媒体流包括第二类型信号。
本发明的第三方面针对包括所述第一方面的特征的方法，其中还包括发送所述输出媒体流的步骤。
本发明的第四方面针对包括所述第一方面的特征的方法，其中还包括建立与另一装置的连接的步骤。
本发明的第五方面针对包括所述第四方面的特征的方法，其中所述连接是电路交换连接。
本发明的第六方面针对包括所述第一方面的特征的方法，其中至少一个步骤取决于所述便携式通信装置用户的输入数据。
本发明的第七方面针对包括所述第一方面的特征的方法，其中所述组合步骤包括将来自第一媒体流的第一类型信号和来自第二媒体流的第二类型信号组合起来。
本发明的第八方面针对包括所述第一方面的特征的方法，其中所述组合步骤包括将来自第一媒体流的第一类型信号和来自第二媒体流的第一类型信号组合起来。
本发明的第九方面针对包括所述第八方面的特征的方法，其中所述组合步骤还包括将来自第一媒体流的第二类型信号和来自第二媒体流的信号组合起来。
本发明的第十方面针对包括所述第八方面的特征的方法，其中所述组合步骤还包括将来自第一媒体流的信号和来自第二媒体流的第二类型信号组合起来。
本发明的第十一方面针对包括所述第十方面的特征的方法，其中所述组合步骤还包括将来自第一媒体流的第二类型信号和来自第二媒体流的信号组合起来。
本发明的第十二方面针对包括所述第十一方面的特征的方法，其中所述组合步骤还包括以下步骤：
-在组合之前，将第二媒体流中的一种类型信号相对于同一媒体流中的另一类型信号加以延迟，以便从输出媒体流中的第二媒体流提供同步信号。
本发明的第十三方面针对包括所述第十方面的特征的方法，其中所述组合步骤还包括独立组合各第一类型信号和各第二类型信号。
本发明的第十四方面针对包括所述第九或所述第十一方面的特征的方法，其中所述组合步骤还包括将输出媒体流中的一种类型信号相对于同一媒体流中的另一类型信号加以延迟，以便从输出媒体流中的第一媒体流提供同步信号。
本发明的第十五方面针对包括所述第九方面的特征的方法，其中所述组合信号(其中第一类型信号是声频信号)的步骤还包括叠加所述第一类型信号的步骤。
本发明的第十六方面针对包括第十五方面特性的方法，其中所述叠加步骤包括对来自第一媒体流和第二媒体流的声频信号的特性进行加权。
本发明的第十七方面针对包括所述第九方面的特征的方法，其中所述组合信号(其中第一类型信号是图像信号)的步骤还包括混合第一类型信号的步骤。
本发明的第十八方面针对包括所述第十七方面的特征的方法，其中所述混合步骤包括对来自第一媒体流和第二媒体流的图像信号的特性进行加权。
本发明的第十九方面针对包括所述第十六方面的特征的方法，其中所述对特性加权包括相对于来自第二媒体流的信号比例改变来自第一媒体流的信号比例。
本发明的第二十方面针对包括第十九方面特性的方法，其中所述对特性加权取决于所述便携式通信装置用户的输入数据。
本发明的第二十一方面针对包括所述第十九方面的特征的方法，其中改变所述比例包括在0到100％范围内改变每个比例。
本发明的另一目的是提供一种便携式通信装置，用于形成由第一实时媒体流和第二媒体流构成的实时输出媒体流。
按照本发明的第二十二方面，此目的是由便携式通信装置实现的，所述便携式通信装置用于在通信会话时形成由所述便携式通信装置发送的输出媒体流，其中所述输出媒体流包括第一类型信号，所述便携式通信装置包括：
-产生单元，用于实时产生第一媒体流，
-第一组合单元，它连接到所述产生单元，用于实时组合第一媒体流和第二媒体流，以及
-控制单元，它控制产生单元和组合单元。
本发明的第二十三方面针对包括所述第二十二方面的特征的便携式通信装置，所述便携式通信装置用于在通信会话时形成由所述便携式通信装置发送的输出媒体流，其中第一组合单元用于组合第一和第二媒体流二者的第一类型信号，其中输出媒体流包括第一类型和第二类型信号，所述便携式通信装置还包括：
-第二组合单元，用于组合第一媒体流的第二类型信号和第二媒体流的第二类型信号，以便提供包括第一和第二类型信号的输出媒体流。
本发明的第二十四方面针对包括所述第二十二方面的特征的便携式通信装置，所述便携式通信装还包括：
-存储器单元，用于为第二媒体流提供存储器。
本发明的第二十五方面针对包括所述第二十二方面的特征的便携式通信装置，所述便携式通信装还包括：
-用户输入接口，用于提供用户输入并连接到控制单元，以便根据用户输入控制产生单元和所有组合单元。
本发明的第二十六方面针对包括所述第二十三方面的特征的便携式通信装置，所述便携式通信装还包括：
-复用单元(220)，用于在输出媒体流中提供来自第一媒体流的一种类型信号相对于来自同一第一流媒体流的另一类型信号的同步。
本发明的第二十七方面针对包括所述第二十三方面的特征的便携式通信装置，所述便携式通信装还包括：
-延迟单元，用于在输出媒体流中提供同步信号。
本发明的第二十八方面针对包括所述第二十七方面的特征的便携式通信装置，其中在与第一媒体流组合之前所述延迟单元提供来自第二媒体流的信号的同步。
本发明的第二十九方面针对包括所述第二十八方面的特征的便携式通信装置，其中所述延迟单元提供一种类型的信号相对于来自同一第二媒体流的另一类型的信号的同步。
本发明提供第一实时媒体流与第二媒体流组合的输出媒体流。这具有以下优点：所述两种媒体流能以许多方式组合，用于例如提供许多不同的吸引人的功能。
移动装置的用户，不是单独发送摄像机图像给通信对方，而是发送预录的图像或声音，同时将所述预录图像与实时话音或视频信息混合，以便使通信对方感觉用户是处于另一个地方，而不是其实际所处的地方。通过将活动图像信息(例如用户的面部)混合到所述预录的图像中，还可以进一步增强这种效果。
当接收到可视电话呼叫时，用户不是向呼叫方发送来自其摄像机的实时摄像图像，而是决定播放预录的存储在存储器中的包含活动或静止画面的视频应答消息，以便提供一种移动视频应答机。
通话时，通信装置的用户能立即共享诸如视频或静止图像等内容信息，方法就是在VT会话的输出媒体流中提供这种信息。这也可以用于实现同时多媒体。
另一实例是在开始VT会话时使用发送预录视频文件，其中所述文件可以包含有资格降低通信费用的广告。
应当强调，在本说明书中用到词语”包括/包含”时是说明存在所述特征、整体、步骤或部件，但并不排除存在或附加一个或多个其它特征、整体、步骤、部件或其组合。
附图简要说明
以下将参考附图对本发明作更详细的说明，附图中：
图1示出提供由便携式通信装置发送的实时同步输出媒体流的方法，其中所述输出媒体流是第一实时媒体流和第二媒体流的混合物；以及
图2示出一种便携式通信装置，用于提供按照图1中的方法产生的同步媒体流。
实施例的详细说明
本发明涉及形成由便携式通信装置在通信会话时发送的同步输出媒体流。
本优选实施例的特征可以在通信装置的3G-324应用中实现。为了实现这一点，将和更新的SW/HW结果体系一起使用H.245协议的灵活性。
现参阅图1和图2，图中分别示出提供由便携式通信装置发送的实时同步输出媒体流的方法以及按照本发明的便携式通信装置。
按照所述优选实施例，所述方法的开始是建立便携式移动通信装置200和另一通信装置之间的连接(步骤102)，便携式通信装置的用户希望用这种连接建立VT通信会话。其做法是：用户通过用户输入接口202选择VT会话，控制单元204基于所述选择使发送单元222启动与另一装置的VT会话。然后由均受控于控制单元204的视频产生单元206和图像产生单元208产生既具有声频又具有图像信息(即第一和第二类型信号)的第一媒体流(步骤104)。通过利用图像产生单元208中所包含的摄像机记录图像以及声频产生单元206中所包含的送话器记录声频来实现这一点。
按照本实施例，第一媒体流包括声频和视频信息。然后，从存储器单元210获得所述媒体流，以提供第二媒体流(步骤106)。这也是通过控制单元根据用户输入所进行的控制来实现的。在此优选实施例中，所述存储器单元是便携式通信装置200中所包括的内部存储器。由于第二媒体流包含多路复用的声频和图像信息，所以要对所述媒体流进行多路分离以便分离这两种类型的信号。这是在多路分离单元212中进行的。多路分离单元212对图像格式进行解码，以便获得适用于按照此优选实施例进行混合的格式。例如一种适用的格式是YUV格式。多路分离单元212还将声频信息解码为适用的格式。这种声频格式例如是PCM格式。多路分离单元212还具有位速率变换能力，用于变换声频和/或图像信息的位速率，以方便进行在组合单元216和218中组合同类信息的步骤。第一和第二媒体流现包含已解码的分离类型的信号，分别包含声频和图像信息。
按照本发明，上述不同类型信号的多路分离和解码所耗费的时间不同。在所述优选实施例中，图像处理路径比声频处理路径需要更多的时间，一般都是这种情况。为了获得包括来自第二媒体流的同步声频和图像信息的随后输出媒体流，第二媒体流中的声频信息需经延迟单元214的延迟(步骤108)。所用的延迟时间也由控制单元根据不同处理步骤的时间差异而定。但是，所用的延迟时间还取决于第一媒体流中声频和图像信息之间的任何时间差异。因此，延迟单元214(对第二媒体流有效应)还需要对由复用单元220(对输出媒体流有效应)所进行的一部分随后同步操作进行补偿，这部分是由第一媒体流中声频和图像信息之间的任何定时差异引起的。
分离类型的信息，即声频和图像，现需进行组合。来自两种媒体流的声频信息由第一组合单元216组合(步骤110)。同理，第二组合单元218组合来自两种媒体流的图像信息(步骤112)。声频信息的组合是将第一媒体流的声频信息叠加到第二媒体流的声频信息上。这种组合还包括对来自第一媒体流的声频信息和来自第二媒体流的声频信息的特性进行加权。这包括相对于来自另一媒体流的声频信息的比例改变来自一种媒体流的声频信息的比例。
按照本发明的这个优选实施例，第一组合单元216包括将组合的声频信息编码为适用格式，例如AMR。
至于图像信息，组合单元218通过一种称为α-混合(α-blending)的过程将来自第一媒体流的图像信息和来自第二媒体流的图像信息组合起来，α-混合过程对本专业的技术人员来说是已众所周知的，所以在此不再赘述。但图像信息的组合包括对来自第一和第二媒体流的图像信息的特性进行加权。类似于第一组合单元216对声频信息的组合，在第二组合单元218中对特性加权的操作包括相对于来自另一媒体流的图像信息的比例改变来自一种媒体流的图像信息的比例。
对声频和图像信息的特性的加权取决于通过用户输入接口202从用户处获得的用户输入数据。
此外，按照所述优选实施例，第二组合单元218包括将组合的图像信息编码为适用格式，例如MPEG-4。
在组合来自两个不同媒体流的同类型信息的步骤之后是由复用单元220形成输出媒体流(步骤114)。
复用单元220还包含同步能力，以便实现来自第一媒体流的两种类型信息的内部同步，即，使来自所述媒体流的声频信息与图像信息同步。这种同步考虑到第一媒体流中声频信息和图像信息之间的任何时间差。但是，还必须考虑一方面是声频信息通过组合单元所需的时间和另一方面是图像信息通过组合单元所需的时间之间的时间差。这些所需的时间通常取决于被组合的媒体流中声频和/或图像信息的存在。
在形成了包括来自第一媒体流的信息和第二媒体流的同步信息的输出媒体流之后，所述组合的复用输出流由发送单元222进行实时发送(步骤116)。
参阅图2所示的便携式通信装置，可以看到，控制单元204连接到所有其它执行单元，以便在通过用户输入数据接口202接收到用户输入数据后控制这些单元。产生第一媒体流的步骤(即步骤104)、提供第二媒体流的步骤106以及声频信息组合步骤110和图像信息组合步骤112都需要用户的输入数据。
此外，为了延迟正确类型的信息(无论是声频还是图像信息)，在第二组合单元212和控制单元204之间包括反馈信令，以便调节延迟单元214中正确类型信息遭受的延迟。
可以用许多方式来改变本发明，例如：
第一媒体流可以仅仅包括图像信息、仅仅包括声频信息或包括二者的组合。第二媒体流也可以仅仅包括图像信息、仅仅包括声频信息或包括二者的组合。第一和第二媒体流的所有这些不同的改变都可加以组合。存储器单元可以或者固定在装置中，或者是易于更换的单元，例如可以连接或插入到便携式通信装置中的存储条或其它存储器单元。
还可以在第一或第二媒体流中以活动画面或静止和活动画面组合的形式提供图像信息。
处理来自第二媒体流的声频信息会比处理来自同一媒体流的图像信息更费时，这意味着需要相对于声频信息将第二媒体流的图像信息加以延迟，以便获得包含同步信息的输出媒体流。
第二媒体流还可以包含利用大量不同代码中的任一种代码编码的声频和图像信息。第一和第二组合单元还可以具有以大量不同的格式对叠加的声频信息和混合的图像信息进行编码的能力。
按照另一实施例，以来自单一媒体流产生单元的单一复用第一媒体流的形式提供第一媒体流。在此情况下，需要附加单元，即，多路分离单元，以便在单独的声频信息和图像信息的组合步骤之前多路分离所述复用媒体流。
另一可能的改变是以不同的顺序来执行所述方法的各个步骤。
还可以形成来自多于两种媒体流的输出媒体流，以及形成具有多于两种不同类型信息的输出媒体流。还可以通过组合来自多媒体流的信息来形成输出媒体流。
按照本发明的又一实施例，将第一和第二实时媒体流组合起来。在此情况下，将第二媒体流实时提供到便携式通信装置。所述实施例的一个实例是将来自例如安装在便携式装置前面的摄像机的实时媒体流与来自例如安装在同一便携式装置背面的摄像机的实时媒体流组合起来。手中拿住便携式装置，例如站在参观景点前面，伸出一个手臂，使两个摄像机对准不同或相对的方向，就能将包含本人的声频信息和图像信息的媒体流与包含当前位置(即参观景点)的声频信息和图像信息的媒体流组合起来。这样就很容易和方便地把自己包括到包含声频和图像信息的实时媒体流中，而不需要找别人来帮忙。
这样，就已经描述了利用本发明的通过混合第一媒体流和第二媒体流来形成实时输出媒体流的方法和装置。
提供媒体流的混合可以提供许多吸引人的功能，例如：
移动装置的用户可以不再是给通信对方分别发送视频摄像图像，他可以发送预录的图像或声音，而同时将所述预录的图像与话音或声频信息加以混合。由于这种混合是实时”高速”进行的，所以接收方就会得到这样的印象，即，用户不是处于其实际的位置，而是在另一位置，例如在奢侈豪华的度假胜地。
将活动图像信息，例如用户的面部，混合到所述预录图像中还可增强这种效果。
这也可以用于其它情形，例如因安全原因不允许通信对方看见此位置时。
在接收可视电话呼叫时，用户不用将他的摄像机的实时摄像图像发送到呼叫方，用户可以决定播放预录的包括活动或静止画面、存储在存储器中的视频应答消息。这个特性可以用作移动视频应答机。这是很有用的，因为用户在应答VT呼叫时可能不想开启他的实况摄像机，但仍能接收来自呼叫方的画面。
通话时，通信装置的用户可以以交换媒体文件的载体的形式立即共享诸如视频或静止图像等内容信息，实现同时多媒体。
在开始VT会话时发送预录视频文件，其中所述文件可以包含有资格降低通信费用的广告。

Claims (29)

1.一种形成由便携式通信装置(200)在通信会话期间发送的输出媒体流的方法，其中所述媒体流包括第一类型信号，所述方法包括以下步骤：
-在所述便携式通信装置中实时产生第一媒体流(步骤104)；以及
-实时组合所述第一媒体流和第二媒体流，以形成所述输出媒体流(步骤110，112和114)。
2.如权利要求1所述的方法，其中所述输出媒体流包括第二类型信号。
3.如权利要求1所述的方法，其中还包括发送所述输出媒体流的步骤(步骤116)。
4.如权利要求1所述的方法，其中还包括与另一装置建立连接的步骤(步骤102)。
5.如权利要求4所述的方法，其中所述连接是电路交换连接。
6.如前述任一项权利要求所述的方法，其中所述各步骤中至少一个步骤取决于所述便携式通信装置的用户输入数据。
7.如权利要求1所述的方法，其中所述组合步骤包括将来自所述第一媒体流的所述第一类型信号和来自所述第二媒体流的所述第二类型信号组合起来。
8.如权利要求1所述的方法，其中所述组合步骤包括将来自所述第一媒体流的所述第一类型信号和来自所述第二媒体流的所述第一类型信号组合起来。
9.如权利要求8所述的方法，其中所述组合步骤还包括将来自所述第一媒体流的所述第二类型信号和来自所述第二媒体流的信号组合起来。
10.如权利要求8所述的方法，其中所述组合步骤还包括将来自所述第一媒体流的信号和来自所述第二媒体流的所述第二类型信号组合起来。
11.如权利要求10所述的方法，其中所述组合步骤还包括将来自所述第一媒体流的所述第二类型信号和来自所述第二媒体流的信号组合起来。
12.如权利要求11所述的方法，其中所述组合步骤还包括以下步骤：
-在组合之前，将所述第二媒体流中的一种类型信号相对于所述同一媒体流中的另一类型信号加以延迟，以便在所述输出媒体流中提供来自所述第二媒体流的同步信号。
13.如权利要求10、11或12所述的方法，其中所述组合步骤还包括独立地组合所述第一类型信号和所述第二类型信号(步骤110和112)。
14.如权利要求9或11所述的方法，其中所述组合过程还包括将所述输出媒体流中的一种类型信号相对于同一媒体流的另一类型信号加以延迟，以便在所述输出媒体流中提供来自所述第一媒体流的同步信号。
15.如权利要求9所述的方法，其中所述组合信号的步骤还包括叠加所述第一类型信号的步骤，在该组合信号的步骤中所述第一类型信号是声频信号。
16.如权利要求15所述的方法，其中所述叠加步骤包括对来自所述第一媒体流和所述第二媒体流的声频信号的特性进行加权。
17.如权利要求9所述的方法，其中所述组合信号的步骤还包括混合所述第一类型信号的步骤，在该组合信号的步骤中所述第一类型信号是图像信号。
18.如权利要求17所述的方法，其中所述混合步骤包括对来自所述第一媒体流和所述第二媒体流的图像信号的特性进行加权。
19.如权利要求16或18所述的方法，其中对特性加权的步骤包括相对于来自所述第二媒体流的信号比例改变来自所述第一媒体流的信号的比例。
20.如权利要求19所述的方法，其中所述对特性加权的步骤取决于所述便携式通信装置的用户的输入数据。
21.如权利要求19所述的方法，其中所述改变所述比例的步骤包括在0到100％范围内改变每个比例。
22.一种便携式通信装置(200)，用于形成在通信会话期间由所述便携式通信装置(200)发送的输出媒体流，其中所述输出媒体流包括第一类型信号，所述便携式通信装置(200)包括：
-至少一个产生单元(206，208)，用于产生所述第一媒体流(步骤104)，
-第一组合单元(216)，它连接到所述产生单元，用于实时地组合所述第一媒体流和所述第二媒体流(步骤110或112)，以及
-控制单元(204)，它根据用户输入控制所述产生单元和所述组合单元(216)。
23.如权利要求22所述的便携式通信装置(200)，用于形成在通信会话期间由所述便携式通信装置发送的输出媒体流，其中所述第一组合单元(216)用于组合所述第一和所述第二媒体流二者的所述第一类型信号(步骤110或112)，其中所述输出媒体流包括所述第一类型和第二类型信号，其中所述便携式装置(200)还包括：
-第二组合单元(218)，
以便通过使用所述第二组合单元(218)，组合所述第一媒体流的所述第二类型信号和所述第二媒体流的所述第二类型信号。
24.如权利要求22或23所述的便携式通信装置(200)，其中还包括：
-存储器单元(210)，用于为所述第二媒体流提供存储器。
25.如权利要求22-24中任一项所述的便携式通信装置(200)，其中还包括：
-用户输入接口(202)，用以提供用户输入。
26.如权利要求23所述的便携式通信装置(200)，其中所述装置(200)还包括：
-复用单元(220)，用于在所述输出媒体流中提供来自所述第一媒体流的一种类型的信号相对于来自所述同一第一流媒体流的另一类型的信号的同步。
27.如权利要求23-25中任一项所述的便携式通信装置(200)，其中还包括：
-延迟单元(214)，用于在所述输出媒体流中提供同步信号。
28.如权利要求27所述便携式通信装置(200)，其中在与所述第一媒体流组合之前所述延迟单元(214)提供来自所述第二媒体流的信号的同步。
29.如权利要求28所述便携式通信装置(200)，其中所述延迟单元(214)提供一种类型的信号相对于来自所述同一第二媒体流的另一类型的信号的同步。
CNB2004800171090A 2003-06-19 2004-06-09 媒体流混合输出的方法及便携式通信装置 Expired - Fee Related CN100525342C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03013877.0 2003-06-19
EP03013877A EP1489823B1 (en) 2003-06-19 2003-06-19 Media stream mixing
US60/480,874 2003-06-24

Publications (2)

Publication Number Publication Date
CN1810017A true CN1810017A (zh) 2006-07-26
CN100525342C CN100525342C (zh) 2009-08-05

Family

ID=33395826

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800171090A Expired - Fee Related CN100525342C (zh) 2003-06-19 2004-06-09 媒体流混合输出的方法及便携式通信装置

Country Status (5)

Country Link
EP (1) EP1489823B1 (zh)
CN (1) CN100525342C (zh)
AT (1) ATE432586T1 (zh)
DE (1) DE60327751D1 (zh)
TW (1) TWI367664B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271720B (zh) * 2008-04-22 2011-06-22 中兴通讯股份有限公司 一种手机流媒体音视频的同步方法
CN102196303A (zh) * 2010-03-02 2011-09-21 中兴通讯股份有限公司 一种媒体同步的方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876789B2 (en) * 2005-06-23 2011-01-25 Telefonaktiebolaget L M Ericsson (Publ) Method for synchronizing the presentation of media streams in a mobile communication system and terminal for transmitting media streams
EP1858261A1 (de) * 2006-05-16 2007-11-21 Ascom (Schweiz) AG Echtzeitübertragung von Videodaten
WO2007147334A1 (fr) * 2006-06-16 2007-12-27 Avantouch Software (Suzhou) Co., Ltd. Procédé de conversion d'une information textuelle en un flux de média ou de multimédia destinée à un terminal
US20140074959A1 (en) * 2012-09-10 2014-03-13 Apple Inc. Client side media station generation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064889A (ko) * 1999-10-26 2002-08-10 핑텔 코오포레이션 프로그래머블 기능을 가지는 1 이상의 텔레포니 통신장치를 포함하는 분산형 통신 네트워크
FI113602B (fi) * 2000-06-30 2004-05-14 Nokia Corp Menetelmä ja järjestelmä vaihtoehtoisen videodatan järjestämiseksi ja lähettämiseksi videolähetysten katkojen aikana

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271720B (zh) * 2008-04-22 2011-06-22 中兴通讯股份有限公司 一种手机流媒体音视频的同步方法
CN102196303A (zh) * 2010-03-02 2011-09-21 中兴通讯股份有限公司 一种媒体同步的方法和系统
CN102196303B (zh) * 2010-03-02 2014-03-19 中兴通讯股份有限公司 一种媒体同步的方法和系统

Also Published As

Publication number Publication date
DE60327751D1 (de) 2009-07-09
EP1489823A1 (en) 2004-12-22
ATE432586T1 (de) 2009-06-15
TW200511811A (en) 2005-03-16
TWI367664B (en) 2012-07-01
EP1489823B1 (en) 2009-05-27
CN100525342C (zh) 2009-08-05

Similar Documents

Publication Publication Date Title
CN101257607B (zh) 一种应用于视频会议的多画面处理系统和方法
CN1571508B (zh) 一种实现多画面的方法
US8233026B2 (en) Scalable video encoding in a multi-view camera system
CN101031065A (zh) 一种在视频业务中实现画面切换的方法、装置及系统
US7792998B2 (en) System and method for providing real-time streaming service between terminals
US20110261151A1 (en) Video and audio processing method, multipoint control unit and videoconference system
CN1859566A (zh) 一种用于可视电话视频音频信号传输的装置及方法
CN1770646A (zh) 使用静止图像生成动画的无线通信终端及其方法
CN102246491B (zh) 用于存储多源多媒体表示的系统和方法
WO2009140913A1 (zh) 一种多点会议的控制方法及装置
TW200822758A (en) Scalable video coding and decoding
CN101971618A (zh) 实现移动终端的丰富视频的方法
CN1977554A (zh) 交互式广播系统
CN1777284B (zh) 图像编码方法、图像解码方法以及其装置
CN1435988A (zh) 移动图像数据发送方法、装置和系统
CN101656863A (zh) 一种会议控制的方法、装置和系统
CN110662086A (zh) 一种5g高清直播系统及视频处理方法
CN101631170B (zh) 一种座席模块、客户服务系统及客户服务实现方法
CN1533179A (zh) 检查图片有效性的可视电话设备及可视电话系统
CN1856090A (zh) 视频电话会议桥接器
CN1810017A (zh) 媒体流混合
CN200973121Y (zh) 基于移动通信网络的多媒体电子相册系统
CN103533294B (zh) 视频数据流的发送方法、终端及系统
CN1829324A (zh) 信号处理装置和流处理方法
CN203206388U (zh) 一种用于视频会议的多点控制单元

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090805

Termination date: 20190609

CF01 Termination of patent right due to non-payment of annual fee