JP2011087268A - テレビ会議システムのための端末、中継ノードおよびストリーム処理方法 - Google Patents

テレビ会議システムのための端末、中継ノードおよびストリーム処理方法 Download PDF

Info

Publication number
JP2011087268A
JP2011087268A JP2009266134A JP2009266134A JP2011087268A JP 2011087268 A JP2011087268 A JP 2011087268A JP 2009266134 A JP2009266134 A JP 2009266134A JP 2009266134 A JP2009266134 A JP 2009266134A JP 2011087268 A JP2011087268 A JP 2011087268A
Authority
JP
Japan
Prior art keywords
stream
transmission
adaptive
terminal
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009266134A
Other languages
English (en)
Inventor
Nac Woo Kim
ナク ウー キム
Kyunghun Kim
キョン ホン キム
Sim-Kwon Yoon
シム クワン ヨン
Byung-Tak Lee
ビョン タク イ
Jai Sang Koh
ジェ サン コ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2011087268A publication Critical patent/JP2011087268A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1836—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
    • H04L12/184—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture with heterogeneous receivers, e.g. layered multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

【課題】テレビ会議システムのための端末、中継ノード、およびストリーム処理方法を開示する。
【解決手段】送信端末は、メディアの入力を受け、メディアから基礎ストリームを生成し、基礎ストリームを多重化して送信ストリームを生成し、受信端末のうちの第１受信端末と関連した中継ノードに送信ストリームを送信することができる。
【選択図】図１

Description

本発明は、端末、中継ノード、およびストリーム処理方法に関し、より詳細には、テレビ会議システムのための端末、中継ノード、およびストリーム処理方法に関する。
テレビ会議システムは、一般的に、２次元基盤の多重映像と３次元グラフィックモデルを支援するシステム、または３次元ステレオ映像を取得して相手に送信する方式を用いる。したがって、このようなテレビ会議システムの実現のために、シャッターグラス方式を応用した時間分割、３次元映像補正、中間映像取得方法、および同期化などに関する開発が進められてきた。
一方、２次元または３次元メディア送信方法において、従来のシステムは、同一する時間および空間情報を有する多数のメディアチャンネルの基礎ストリームを２次元または３次元の表示環境に適合するように符号化する方法を用いている。
前者の開発は、画質の劣化がない３次元映像を取得して相手の端末に送信することで利点を提供し、後者の符号化方法は、ユーザの表示環境を考慮して映像の個別ストリームを符号化した後に送信することに焦点を合わせている。
本発明の一実施形態は、複数の基礎ストリームを多重化して送信ストリームを送信し、受信端末で複数の基礎ストリームのうちの一部を選択することにより、より弾力的なテレビ会議サービスを提供する端末、中継ノード、およびストリーム処理方法を提供する。
また、本発明の一実施形態は、受信端末の表示情報に応じて表示可能なストリームを選択的に用いることにより、複数の端末それぞれの表示環境に応じて最適な映像を出力する端末、中継ノード、およびストリーム処理方法を提供する。
また、本発明の一実施形態は、ストリームそれぞれに識別子を割り当て、これによってストリームそれぞれを識別することにより、より向上したクオリティ・オブ・サービス（ＱｏＳ：Quality of Service）を提供する端末、中継ノード、およびストリーム処理方法を提供する。
さらに、本発明の一実施形態は、多重化した送信ストリームを用いてテレビ会議を行うことにより、標準符号化器によって圧縮された２次元または３次元データも再符号化の過程なく、ネットワーク上の最小帯域幅のみを用いてメディア送信が可能な端末、中継ノードおよび、ストリーム処理方法を提供する。
本発明の一実施形態に係る送信端末は、メディアの入力を受ける入力部と、前記メディアから基礎ストリームを生成する符号化部と、前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースとを含む。このとき、前記中継ノードは、前記第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
本発明の一側面によれば、前記多重化部は、前記基礎ストリームそれぞれに識別子を割り当てて、前記送信ストリームを生成する。このとき、前記中継ノードは、前記識別子を用いて前記適応型送信ストリームを生成する。
また、本発明の一側面によれば、前記多重化部は、前記基礎ストリームを互いに異なる送信パケットに多重化して前記送信ストリームを生成する。ただし、本発明の他の一側面によれば、前記多重化部は、前記基礎ストリームを単一送信パケットに多重化して前記送信ストリームを生成する。
また、本発明の一側面によれば、前記メディアは、互いに異なる時点の映像を含み、前記基礎ストリームは、前記映像から生成される。また、本発明の一側面によれば、前記映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つである。
また、本発明の一側面によれば、前記中継ノードは、周期的に、前記第１受信端末への要請に対応したりまたは前記第１受信端末内の特定イベントの発生に対応して前記第１受信端末から前記表示情報を受信する。
また、本発明の一側面によれば、前記表示情報は、表示装置情報および表示設定情報を含む。
また、本発明の一側面によれば、前記入力部は、前記メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入する。
また、本発明の一側面によれば、前記中継ノードは、前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
また、本発明の一実施形態に係る送信端末は、メディアの入力を受ける入力部と、前記メディアから基礎ストリームを生成する符号化部と、前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するインターフェースとを含む。
また、本発明の一実施形態に係る中継ノードは、受信端末のうちの第１受信端末から表示情報を受信する情報受信部と、送信端末から基礎ストリームを含む送信ストリームを受信するストリーム受信部と、前記表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するストリーム処理部と、前記適応型送信ストリームを前記第１受信端末に送信するストリーム送信部とを含む。
また、本発明の一実施形態に係る受信端末は、表示情報を中継ノードに送信し、前記中継ノードから適応型送信ストリームを受信するインターフェースと、前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、前記適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。このとき、前記中継ノードは、送信端末から基礎ストリームを含む送信ストリームを受信し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
また、本発明の一実施形態によれば、受信端末は、表示情報を送信端末に送信し、前記送信端末から適応型送信ストリームを受信するインターフェースと、前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、前記適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。このとき、前記送信端末は、基礎ストリームを含む送信ストリームを生成し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
本発明の一実施形態は、複数の基礎ストリームを多重化して送信ストリームを送信し、受信端末で複数の基礎ストリームのうちの一部を選択することにより、より弾力的なテレビ会議サービスを提供することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
また、本発明の一実施形態は、受信端末の表示情報に応じて表示可能なストリームを選択的に用いることにより、複数の端末それぞれの表示環境に応じて最適な映像を出力することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
また、本発明の一実施形態は、ストリームそれぞれに識別子を割り当て、これによってストリームそれぞれを識別することにより、より向上したＱｏＳを提供することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
さらに、本発明の一実施形態は、多重化した送信ストリームを用いてテレビ会議を行うことにより、標準符号化器によって圧縮された２次元または３次元データも再符号化の過程なく、ネットワーク上の最小帯域幅のみを用いてメディア送信が可能な端末、中継ノード、およびストリーム処理方法を提供することができる。
本発明の一実施形態に係る送信端末、中継ノード、および受信端末の関係構造を示す図である。 本発明の一実施形態に係る送信端末の構造を示すブロック図である。 本発明の一実施形態に係るストリームを示すブロック図である。 本発明の一実施形態に係る送信ストリームの構造を示すブロック図である。 本発明の一実施形態による受信端末のユーザインターフェース応用プログラムを示す図である。 本発明の一実施形態に係る中継ノードの構造を示すブロック図である。 本発明の一実施形態に係る受信端末の構造を示すブロック図である。 本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。 本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
以下、添付の図面に基づき、本発明の好適な実施形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。
図１は、本発明の一実施形態に係る送信端末、中継ノード、および受信端末の関係構造を示す図である。
図１に示すように、送信端末１１０は、第１受信端末１３０〜第３受信端末と共にテレビ会議を行う。このとき、送信端末１１０のカメラ装置から得られたメディアデータは送信ストリームに復号化され、ネットワークを介して第１受信端末１３０〜第３受信端末に送信される。また、このような送信ストリームは、ネットワーク内の中継ノードを経由して第１受信端末１３０〜第３受信端末に送信されることができる。
一方、本発明の一実施形態によれば、送信端末１１０は、複数の基礎ストリームを多重化して送信ストリームを生成し、これを中継ノードＡ１２０および中継ノードＢに送信する。一方、中継ノードＡ１２０は、第１受信端末１３０から第１受信端末１３０の表示情報を受信し、表示情報に基づいて送信ストリームから適応型送信ストリームを生成して第１受信端末１３０に送信する。これにより、第１受信端末１３０は、自身の表示情報に適合した映像を出力することができる。
例えば、送信端末１１０は、カメラ装置を介して互いに異なる時点の映像をメディアとして入力を受け、映像それぞれに基づいてストリームに符号化する。また、送信端末１１０は、基礎ストリームそれぞれに識別子を割り当てて多重化し、送信ストリームを生成する。このとき、基礎ストリームは、単一時点の２次元映像、左および右時点のステレオ映像、または第１〜第Ｎ時点の多視点映像から符号化される。また、中継ノードＡ１２０は、第１受信端末１３０の表示情報に基づいて第１受信端末１３０が２次元映像の表示を支援することを識別し、送信ストリーム内の基礎ストリームのうちのいずれか１つの基礎ストリームに基づいて適応型送信ストリームを生成する。一方、第１受信端末１３０は、基礎ストリームがすべて含まれた送信ストリームの代わりに適応型送信ストリームを受信し、受信した適応型送信ストリームに基づいて２次元映像を復号化して出力することができる。
このような流れにより、送信端末１１０は、送信ストリームを中継ノードＢに送信し、中継ノードＢは、第３受信端末の表示情報に基づいて第３受信端末が多視点映像の表示を支援することを識別し、送信ストリーム内の基礎ストリームのうちのＮ個の基礎ストリームに基づいて適応型送信ストリームを生成する。また、第３受信端末は、受信した適応型送信ストリームに基づいて多視点映像を復号化して出力することができる。このように、それぞれの受信端末が自身の表示環境に応じて基礎ストリームのうちの一部のみを受信することにより、ユーザの便宜性およびネットワーク環境の改善を促進することができる。
また、本発明の一実施形態によれば、送信ストリームおよび適応型送信ストリームは、送信端末１１０によって挿入された仮想現実のための３次元立体背景または拡張現実のための仮想オブジェクトを含むことができる。
また、本発明の一実施形態によれば、送信端末１１０は、メディアの入力を受ける入力部と、メディアから基礎ストリームを生成する符号化部と、基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースとを含む。
また、本発明の一実施形態によれば、第１受信端末１３０は、表示情報を中継ノードに送信し、中継ノードから適応型送信ストリームを受信するインターフェースと、適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。
また、このような送信端末１１０と受信端末は、テレビ会議中に双方向性によって可変的であってもよい。すなわち、第１受信端末１３０は、自身の映像を他の端末に送信するための送信端末となることもある。例えば、図１に示す送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末は、送信側と受信側が固定されない双方向性コンテンツ送受信装置となることができる。したがって、図１に示す送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末が多者間でテレビ会議を行う場合、送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末それぞれは、送信ストリームを送信する送信端末として動作すると同時に、適応型送信ストリームを受信する受信端末として動作することもできる。
以下、図２〜図９を参照しながら、送信端末１１０、中継ノード１２０、および第１受信端末１３０の動作についてより具体的に説明する。
図２は、本発明の一実施形態に係る送信端末の構造を示すブロック図である。
図２に示すように、送信端末１１０は、入力部１１１と、符号化部１１２と、多重化部１１３と、インターフェース１１４とを含む。
入力部１１１は、メディアの入力を受ける。このとき、メディアは、少なくとも１つのカメラモジュールから入力を受けることができる。また、メディアは、テレビ会議およびセミナーのための２次元または３次元映像の入力とすることができる。さらに、メディアは、互いに異なる時点の映像を含むことができる。このとき、映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つとすることができる。例えば、メディアは、単一時点映像で構成された２次元映像、２つの時点の映像で構成されたステレオ映像、または３つ以上の時点の映像で構成された多視点映像とすることができる。
一方、入力部１１１は、メディアに仮想背景および仮想オブジェクトのうちの少なくとも１つを挿入することができる。例えば、入力部１１１は、メディアに仮想現実（ＶＲ：Virtual Reality）のための３次元仮想背景を挿入することもできるし、メディアに拡張現実（ＡＲ：Augmented Reality）のための仮想オブジェクトを挿入することもできる。これに対応し、受信端末は、送信端末１１０がメディアに仮想背景および仮想オブジェクトを挿入した場合、仮想背景および仮想オブジェクトのための応用プログラムを利用してテレビ会議中にリアルタイムで出力またはダウンロードして用いることができる。
符号化部１１２は、メディアから基礎ストリームを生成する。このとき、メディアは、互いに異なる時点の映像を含み、基礎ストリームは、映像から生成される。例えば、メディアは、第１時点映像〜第５時点映像を含み、基礎ストリームは、第１時点映像から符号化した第１基礎ストリーム〜第５時点映像から符号化した第５基礎ストリームを含む。このような流れにより、基礎ストリームは、ステレオ映像である左時点映像から符号化した第１基礎ストリームおよび右時点映像から符号化した第２基礎ストリームを含むことができる。
図３は、本発明の一実施形態に係るストリームを示すブロック図である。
図３を参照しながら説明すれば、フレーム単位を基準として、２次元映像３０１は１つの基礎ストリームであり、ステレオ映像３０２は左および右映像に対する２つの基礎ストリームであり、Ｎ個の時点を有する多視点映像３０３はＮ−１個のステレオペア（pair）に対するＮ個の基礎ストリームで構成することができる。このとき、図３に示すように、フィールド基盤の基礎ストリームは、フレーム基盤の基礎ストリームの２倍となる。
また、基礎ストリームは、メディアに復号化することができる。例えば、互いに異なる時点の第１基礎ストリーム〜第１０基礎ストリームが存在する場合、第１基礎ストリーム〜第１０基礎ストリームそれぞれは、第１の２次元映像〜第１０の２次元映像に復号化することができる。また、第１基礎ストリーム〜第１０基礎ストリームのうちの第３基礎ストリームおよび第７基礎ストリームは、ステレオ映像のうちの左時点映像および右時点映像にそれぞれ復号化することができる。また、第１基礎ストリーム〜第１０基礎ストリームは、多視点映像に復号化することができる。このとき、多視点映像は、３次元映像に変換することができる。
また、メディアは、１つのカメラモジュールから入力されたりまたは複数のカメラモジュールから入力され、符号化部１１２は、入力されたメディアを合成、編集、および符号化して基礎ストリームを生成することができる。また、本発明の一実施形態によれば、符号化部１１２は、受信端末の表示情報に基づいて基礎ストリームを生成する。このとき、表示情報は、受信端末の表示装置情報または表示設定情報とすることができる。
具体的に、符号化部１１２は、受信端末の表示情報に基づいて受信端末が出力可能な映像のフォーマット情報を取得し、これに基づいて基礎ストリームを生成することができる。例えば、受信端末に第１受信端末〜第３受信端末が含まれ、第１受信端末は単一時点を有する２次元映像フォーマットを支援し、第２受信端末は２つの時点を有するステレオ映像フォーマットを支援し、第３受信端末は１０個の時点を有する多視点映像フォーマットを支援する場合、符号化部１１２は、１０個の時点を有する映像から１０個の基礎ストリームを生成することができる。このとき、１０個の基礎ストリームはそれぞれ、単一時点の２次元映像、２つの時点のステレオ映像、または１０個時点の多視点映像それぞれに復号化することができる。また、表示情報は、周期的に、受信端末への要請に対応したりまたは受信端末内の特定イベント発生に対応して受信端末から受信することができる。
多重化部１１３は、基礎ストリームを多重化して送信ストリームを生成する。
一方、多重化部１１３は、基礎ストリームそれぞれに識別子を割り当てて、送信ストリームを生成する。このとき、識別子の一例としては、ＭＰＥＧ２−ＴＳシステムのＰＩＤ（Packet ID）、ＭＰＥＧ２ ＰＥＳ（Packetized Elementary Stream）のｓｔｒｅａｍ＿ｉｄ、ＭＰＥＧ４ ＥＳ＿ｄｅｓｃｒｉｐｔｏｒのｓｔｒｅａｍ＿ｔｙｐｅを含むことができる。
また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを互いに異なる送信パケットに多重化して送信ストリームを生成する。また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することもできる。
図４は、本発明の一実施形態に係る送信ストリームの構造を示すブロック図である。
図４を参照すれば、多重化部１１３は、図面符号４０１のように、基礎ストリームそれぞれを互いに異なる送信パケットに多重化して送信ストリームを生成したり、または図面符号４０２のように、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することができる。このとき、図面符号４０１のそれぞれの送信パケットは、それぞれの基礎ストリームを含み、それぞれの送信パケットは、固有の送信階層ヘッダーを含むことができる。また、図面符号４０２の送信パケットは、複数の基礎ストリームをすべて含んでおり、基礎ストリームは、それぞれ固有のメディア階層ヘッダーを含むことができる。
インターフェース１１４は、受信端末のうちの第１受信端末１３０と関連した中継ノード１２０に送信ストリームを送信する。このとき、中継ノード１２０は、第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、中継ノード１２０は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、中継ノード１２０は、識別子を用いて基礎ストリームを識別して、適応型送信ストリームを生成することができる。
例えば、インターフェース１１４は、１０個の時点の映像から生成された第１基礎ストリーム〜第１０基礎ストリームから多重化した送信ストリームを中継ノード１２０に送信する。このとき、中継ノード１２０は、識別子を介して送信ストリームから第１基礎ストリーム〜第１０基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか１つの基礎ストリームのみを含む適応型送信ストリームを生成して第１受信端末１３０に送信することができる。すなわち、中継ノード１２０は、第１受信端末１３０に最適化した適応型送信ストリームを送信ストリームから生成することができる。また、このような適応型送信ストリームは、周期的または適応的に生成されて第１受信端末１３０に送信されることができる。
このような流れにより、中継ノード１２０は、第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか２つの基礎ストリームのみが含まれた適応型送信ストリーム、または第１基礎ストリーム〜第１０基礎ストリームすべてが含まれた適応型送信ストリームを生成することができる。このとき、第１受信端末１３０は、第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか２つの基礎ストリームのみが含まれた適応型送信ストリームを受信する場合、適応型送信ストリームを用いてステレオ映像を復号化することができる。また、第１受信端末１３０は、第１基礎ストリーム〜第１０基礎ストリームすべてが含まれた適応型送信ストリームを受信する場合、適応型送信ストリームを用いて多視点映像を復号化することができる。また、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
図３を参照して補えば、中継ノード１２０は、２次元映像表示装置を備えた受信端末には図面符号３０１に示す単一基礎ストリームを、ステレオ映像表示装置を備えた受信端末には図面符号３０２に示す２つの基礎ストリームを、多視点映像表示装置を備えた受信端末には図面符号３０３に示すＮ個の基礎ストリームを送信することができる。このとき、単一基礎ストリーム、２つの基礎ストリーム、およびＮ個の基礎ストリームは、フレーム基盤の基礎ストリームである。また、図面符号３０１の単一基礎ストリームおよび図面符号３０２の２つの基礎ストリームは、図面符号３０３のＮ個の基礎ストリームのうちの一部とすることができる。
一方、中継ノード１２０は、識別子分析に基づいて送信ストリームから基礎ストリームを識別することができる。このとき、識別子分析の一例としては、送信階層ヘッダーに記録された識別子の分析、またはメディア階層ヘッダーに記録された識別子の分析を含むことができる。また、送信階層ヘッダーを介した識別子分析の一例としては、ＭＰＥＧ２−ＴＳシステムにおけるＰＩＤを含むことができ、メディア階層ヘッダーを介した識別子分析の一例としては、ＭＰＥＧ２ＰＥＳにおけるｓｔｒｅａｍ＿ｉｄ、ＭＰＥＧ４におけるｓｔｒｅａｍ＿ｔｙｐｅを含むことができる。
また、中継ノード１２０は、ストリームの中継および送信のためのノードであり、自身と関連した受信端末とメッセージ交換を実行し、他のノードとのメディア送信およびメッセージ交換を実行することができる。また、インターフェース１１４は、送信端末１１０内の表示デバイスから表示装置情報を得ることができる。また、インターフェース１１４は、ネットワークを介して受信端末および中継ノード１２０と連動して、送信ストリームおよび表示情報を送受信することができる。
一方、中継ノード１２０は、周期的に、第１受信端末への要請に対応したりまたは第１受信端末内の特定イベント発生に対応して第１受信端末から表示情報を受信することができる。また、表示情報は、表示装置情報および表示設定情報を含むことができる。これにより、中継ノード１２０は、第１受信端末１３０から受信した表示装置情報に基づいて第１受信端末１３０が支援する基礎ストリームを分析し、送信ストリームから適応型送信ストリームを生成することができる。また、中継ノード１２０は、表示設定情報に基づいて適応型送信ストリームを生成することができる。このとき、表示設定情報は、第１受信端末１３０の表示出力と関連した設定情報である。すなわち、表示情報は、第１受信端末内の表示出力モードに応じて決定することができる。例えば、第１受信端末１３０が２次元映像、ステレオ映像、多視点映像すべての処理が可能であり、ユーザから２次元映像出力の選択が入力された場合、第１受信端末１３０は、表示設定情報が中継ノード１２０に１つの時点の映像から生成された基礎ストリームを要請することができる。
また、表示設定情報は、基礎ストリームのうちの第１時点の基礎ストリームに関する選択情報を含むことができる。また、このような表示設定情報は、第１受信端末１３０のユーザから入力された時点転換命令に応じて決定することができる。また、表示設定情報は、第１受信端末１３０のインターフェース応用プログラムによって決定することができる。
図５は、本発明の一実施形態による受信端末のユーザインターフェース応用プログラムを示す図である。
図５に示すように、ユーザインターフェース（ＵＩ：User Interface）応用プログラムの出力画面は、画面５０１または画面５０２のように構成することができる。このとき、メイン画面は、セミナー司会者のためのウィンドウ（窓）であり、サブ画面は、参加者のためのウィンドウである。プレビューは、現在プログラムユーザが本人のカメラ入力および仮想オブジェクトまたは仮想背景の合成映像を予め確認するためのものである。また、ユーザインターフェース応用プログラムは、メイン画面とサブ画面、プレビューウィンドウがすべて存在する画面では２次元または３次元映像が混在する可能性が高いため、このような画面ＵＩでは２次元画面のみが表示されるように表示設定情報を決定することができる。一方、３次元送信画面を見るためには、メイン画面およびサブ画面のいずれか１つのウィンドウが全体画面として拡張する。このとき、ユーザは、リモコンの２次元または３次元画面転換ボタンを用いたり、マウスクリックなどを用いることができる。第１受信端末１３０と中継ノード１２０のメッセージ通信において、このような第１受信端末１３０の現在ウィンドウ状態が表示設定情報として伝達され、中継ノード１２０は、第１受信端末１３０のＵＩ状態に応じて２次元または３次元コンテンツを送信することができる。
一方、本発明の一実施形態によれば、インターフェース１１４は、受信端末のうちの第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、インターフェース１１４は、第１受信端末１３０の表示情報に基づいて送信ストリームから適応型送信ストリームを生成し、適応型送信ストリームを第１受信端末１３０に送信する。また、インターフェース１１４は、送信ストリームから識別子を分析し、識別子を用いて適応型送信ストリームを生成することができる。言い換えれば、インターフェース１１４は、上述した中継ノード１２０の機能を実行することができる。このように、本発明の一実施形態に係る中継ノード１２０は、インターフェース１１４に含まれてインターフェース１１４の機能に統合されたり、ネットワーク上でＰ２Ｐに連結した個人パソコンまたはサーバのような端末となることができる。
図６は、本発明の一実施形態に係る中継ノードの構造を示すブロック図である。
図６に示すように、中継ノード１２０は、情報受信部１２１と、ストリーム受信部１２２と、ストリーム処理部１２３と、ストリーム送信部１２４とを含む。
情報受信部１２１は、受信端末のうちの第１受信端末１３０から表示情報を受信する。
ストリーム受信部１２２は、送信端末１１０から基礎ストリームを含む送信ストリームを受信する。
ストリーム処理部１２３は、表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
具体的に、ストリーム処理部１２３は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
ストリーム送信部１２４は、適応型送信ストリームを第１受信端末１３０に送信する。
また、このような図６の中継ノード１２０について説明していない事項は、図１〜図５を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
図７は、本発明の一実施形態に係る受信端末の構造を示すブロック図である。特に、このような受信端末は、第１受信端末１３０とすることができる。
図７に示すように、第１受信端末１３０は、インターフェース１３１と、逆多重化部１３２と、復号化部１３３と、出力部１３４とを含む。
本発明の一実施形態によれば、インターフェース１３１は、表示情報を中継ノード１２０に送信し、中継ノード１２０から適応型送信ストリームを受信する。また、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。また、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。また、出力部１３４は、メディアを出力する。このとき、中継ノード１２０は、送信端末から基礎ストリームを含む送信ストリームを受信し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
また、送信端末１１０は、メディアの入力を受け、メディアから基礎ストリームを生成し、基礎ストリームを多重化して送信ストリームを生成し、受信端末のうちの第１受信端末１３０と関連した中継ノード１２０に送信ストリームを送信する。
また、本発明の一実施形態によれば、インターフェース１３１は、表示情報を送信端末１１０に送信し、送信端末１１０から適応型送信ストリームを受信する。また、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。また、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。また、出力部１３４は、メディアを出力する。このとき、送信端末１１０は、基礎ストリームを含む送信ストリームを生成し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。また、送信端末１１０は、メディアの入力を受け、メディアから基礎ストリームを生成する。
また、このような図７の受信端末１３０について説明していない事項は、図１〜図６を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
図８は、本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
図８に示すように、ストリーム処理方法は、ステップＳ８０１〜Ｓ８０４で実行される。このとき、ステップＳ８０１は入力部１１１、ステップＳ８０２は符号化部１１２、ステップＳ８０３は多重化部１１３、ステップＳ８０４はインターフェース１１４それぞれによって実行することができる。
ステップＳ８０１において、入力部１１１は、メディアの入力を受ける。このとき、メディアは、互いに異なる時点の映像を含むことができる。また、映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つとすることができる。
また、入力部１１１は、メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入することができる。
ステップＳ８０２において、符号化部１１２は、メディアから基礎ストリームを生成する。このとき、メディアは、映像を含むことができ、基礎ストリームは、映像から生成することができる。また、符号化部１１２は、受信端末の表示情報に基づいて基礎ストリームを生成することができる。
ステップＳ８０３において、多重化部１１３は、基礎ストリームを多重化して送信ストリームを生成する。このとき、多重化部１１３は、基礎ストリームそれぞれに識別子を割り当てて、送信ストリームを生成することができる。
また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを互いに異なる送信パケットに多重化して送信ストリームを生成する。また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することもできる。
ステップＳ８０４において、インターフェース１１４は、受信端末のうちの第１受信端末１３０と関連した中継ノードに送信ストリームを送信する。
このとき、中継ノード１２０は、第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、中継ノード１２０は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、中継ノード１２０は、識別子を用いて適応型送信ストリームを生成することができる。
また、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
一方、中継ノード１２０は、周期的に、第１受信端末への要請に対応したりまたは第１受信端末内の特定イベント発生に対応して第１受信端末から表示情報を受信することができる。また、表示情報は、表示装置情報および表示設定情報を含むことができる。また、表示情報は、第１受信端末内の表示出力モードに応じて決定することができる。
また、本発明の一実施形態によれば、ステップＳ８０４において、インターフェース１１４は、受信端末のうちの第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
また、このようステップＳ８０１〜Ｓ８０４について説明していない事項は、図１〜図７を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
図９は、本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
図９に示すように、ストリーム処理方法は、ステップＳ９０１〜Ｓ９０４で実行される。このとき、ステップＳ９０１はインターフェース１３１、ステップＳ９０２は逆多重化部１３２、ステップＳ９０３は復号化部１３３、ステップＳ９０４は出力部１３４それぞれによって実行することができる。
本発明の一実施形態によれば、ステップＳ９０１において、インターフェース１３１は、表示情報を中継ノード１２０に送信し、中継ノード１２０から適応型送信ストリームを受信する。次に、ステップＳ９０２において、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。次に、ステップＳ９０３において、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。次に、ステップＳ９０４において、出力部１３４は、メディアを出力する。このとき、中継ノード１２０は、送信端末から基礎ストリームを含む送信ストリームを受信し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
また、本発明の一実施形態によれば、ステップＳ９０１において、インターフェース１３１は、表示情報を送信端末１１０に送信し、送信端末１１０から適応型送信ストリームを受信する。次に、ステップＳ９０２において、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。次に、ステップＳ９０３において、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。次に、ステップＳ９０４において、出力部１３４は、メディアを出力する。このとき、送信端末１１０は、基礎ストリームを含む送信ストリームを生成し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
また、このようなステップＳ９０１〜Ｓ９０４について説明していない事項は、図１〜図８を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
１１０：送信端末
１２０：中継ノード
１３０：受信端末
１１３：多重化部

Claims (20)

  1. メディアの入力を受ける入力部と、
    前記メディアから基礎ストリームを生成する符号化部と、
    前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、
    受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースと、
    を含み、
    前記中継ノードは、
    前記第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成することを特徴とする送信端末。
  2. 前記多重化部は、
    前記基礎ストリームそれぞれに識別子を割り当てて、前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
  3. 前記中継ノードは、
    前記識別子を用いて前記適応型送信ストリームを生成することを特徴とする請求項２に記載の送信端末。
  4. 前記多重化部は、
    前記基礎ストリームを互いに異なる送信パケットに多重化して前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
  5. 前記多重化部は、
    前記基礎ストリームを単一送信パケットに多重化して前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
  6. 前記メディアは、
    互いに異なる時点の映像を含み、
    前記基礎ストリームは、
    前記映像から生成されることを特徴とする請求項１に記載の送信端末。
  7. 前記映像は、
    ２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つであることを特徴とする請求項６に記載の送信端末。
  8. 前記適応型送信ストリームは、
    ２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことを特徴とする請求項１に記載の送信端末。
  9. 前記中継ノードは、
    周期的に、前記第１受信端末への要請に対応したりまたは前記第１受信端末内の特定イベント発生に対応して前記第１受信端末から前記表示情報を受信することを特徴とする請求項１に記載の送信端末。
  10. 前記表示情報は、
    表示装置情報および表示設定情報を含むことを特徴とする請求項１に記載の送信端末。
  11. 前記表示情報は、
    前記第１受信端末内の表示出力モードに応じて決定されることを特徴とする請求項１に記載の送信端末。
  12. 前記入力部は、
    前記メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入することを特徴とする請求項１に記載の送信端末。
  13. 前記符号化部は、
    前記受信端末の表示情報に基づいて前記基礎ストリームを生成することを特徴とする請求項１に記載の送信端末。
  14. 前記中継ノードは、
    前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
  15. メディアの入力を受ける入力部と、
    前記メディアから基礎ストリームを生成する符号化部と、
    前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、
    受信端末のうちの第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するインターフェースと、
    を含むことを特徴とする送信端末。
  16. 受信端末のうちの第１受信端末から表示情報を受信する情報受信部と、
    送信端末から基礎ストリームを含む送信ストリームを受信するストリーム受信部と、
    前記表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するストリーム処理部と、
    前記適応型送信ストリームを前記第１受信端末に送信するストリーム送信部と、
    を含むことを特徴とする中継ノード。
  17. 前記ストリーム処理部は、
    前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする請求項１６に記載の中継ノード。
  18. 前記適応型送信ストリームは、
    ２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことを特徴とする請求項１６に記載の中継ノード。
  19. 表示情報を中継ノードに送信し、前記中継ノードから適応型送信ストリームを受信するインターフェースと、
    前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、
    前記適応型基礎ストリームからメディアを復号化する復号化部と、
    前記メディアを出力する出力部と、
    を含み、
    前記中継ノードは、
    送信端末から基礎ストリームを含む送信ストリームを受信し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする受信端末。
  20. 表示情報を送信端末に送信し、前記送信端末から適応型送信ストリームを受信するインターフェースと、
    前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、
    前記適応型基礎ストリームからメディアを復号化する復号化部と、
    前記メディアを出力する出力部と、
    を含み、
    前記送信端末は、
    基礎ストリームを含む送信ストリームを生成し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする受信端末。
JP2009266134A 2009-10-19 2009-11-24 テレビ会議システムのための端末、中継ノードおよびストリーム処理方法 Pending JP2011087268A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090099119A KR101234495B1 (ko) 2009-10-19 2009-10-19 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법

Publications (1)

Publication Number Publication Date
JP2011087268A true JP2011087268A (ja) 2011-04-28

Family

ID=43879269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009266134A Pending JP2011087268A (ja) 2009-10-19 2009-11-24 テレビ会議システムのための端末、中継ノードおよびストリーム処理方法

Country Status (3)

Country Link
US (1) US20110090970A1 (ja)
JP (1) JP2011087268A (ja)
KR (1) KR101234495B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530037A (ja) * 2012-08-24 2015-10-08 中▲興▼通▲訊▼股▲フン▼有限公司 テレビ会議表示方法及び装置
JP2020522194A (ja) * 2017-05-31 2020-07-27 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． 異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8665307B2 (en) 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US9544543B2 (en) 2011-02-11 2017-01-10 Tangome, Inc. Augmenting a video conference
US9420259B2 (en) 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
JP2014532330A (ja) * 2011-09-23 2014-12-04 タンゴメ，インコーポレイテッド テレビ会議の強化
EP2819013B1 (en) * 2013-06-24 2019-11-27 Alcatel Lucent Automated adaption of a Codec
KR102370771B1 (ko) 2018-03-08 2022-03-04 두산공작기계 주식회사 공작기계의 캐리지 장치
CN113747215B (zh) 2020-05-29 2023-11-14 明基智能科技（上海）有限公司 双显示区域的控制方法以及双显示区域的控制系统
TWI777191B (zh) * 2020-07-13 2022-09-11 明基電通股份有限公司 雙顯示區域的控制方法以及雙顯示區域的控制系統
KR102326212B1 (ko) 2021-05-25 2021-11-12 김우영 비대면 온오프라인 화상회의 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120611A (ja) * 2002-09-27 2004-04-15 Sanyo Electric Co Ltd 複数画像送信方法及び複数画像同時撮影機能付き携帯機器
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032862A (ko) * 2000-10-27 2002-05-04 신재섭 동영상 부호화를 이용한 객체기반 멀티미디어 서비스시스템 및 서비스 방법
US6671322B2 (en) * 2001-05-11 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
AU2003244156A1 (en) * 2002-06-28 2004-01-19 Sharp Kabushiki Kaisha Image data delivery system, image data transmitting device thereof, and image data receiving device thereof
BRPI0615511A2 (pt) * 2005-07-12 2011-05-17 Nec Corp servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto
US8347341B2 (en) * 2006-03-16 2013-01-01 Time Warner Cable Inc. Methods and apparatus for centralized content and data delivery
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US9112618B2 (en) * 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US8436891B2 (en) * 2009-09-16 2013-05-07 Disney Enterprises, Inc. Hyperlinked 3D video inserts for interactive television
US9027062B2 (en) * 2009-10-20 2015-05-05 Time Warner Cable Enterprises Llc Gateway apparatus and methods for digital content delivery in a network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005510187A (ja) * 2001-11-21 2005-04-14 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 両眼／多視点３次元動画像処理システム及びその方法
JP2004120611A (ja) * 2002-09-27 2004-04-15 Sanyo Electric Co Ltd 複数画像送信方法及び複数画像同時撮影機能付き携帯機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530037A (ja) * 2012-08-24 2015-10-08 中▲興▼通▲訊▼股▲フン▼有限公司 テレビ会議表示方法及び装置
JP2020522194A (ja) * 2017-05-31 2020-07-27 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッドＶｅｒｉｚｏｎ Ｐａｔｅｎｔ Ａｎｄ Ｌｉｃｅｎｓｉｎｇ Ｉｎｃ． 異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム
JP7189895B2 (ja) 2017-05-31 2022-12-14 ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッド 異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム

Also Published As

Publication number Publication date
US20110090970A1 (en) 2011-04-21
KR20110042447A (ko) 2011-04-27
KR101234495B1 (ko) 2013-02-18

Similar Documents

Publication Publication Date Title
KR101234495B1 (ko) 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
CN101453662B (zh) 立体视频通信终端、系统及方法
JP4417421B2 (ja) 両眼／多視点３次元動画像処理システム及びその方法
KR100475060B1 (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
JP4206407B2 (ja) ピクチャインピクチャ機能を遂行するマルチメディア信号整合システム及び方法
US20100260486A1 (en) Apparatus, System and Method for Recording a Multi-View Video and Processing Pictures, and Decoding Method
JP2010512096A (ja) 非リアルタイムベースのデジタル実感放送送受信システム及びその方法
CN101370114A (zh) 视频及音频处理方法、多点控制单元和视频会议系统
WO2011116611A1 (zh) 用于电视会议的视频播放方法
JP5835932B2 (ja) 画像処理装置、及びその制御方法
CN102342066A (zh) 实时多媒体流处理带宽管理
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
JP5091143B2 (ja) 多重カメラシステムにおける自由な基本設定ビューの符号化／復号化方法及びその装置
KR20060118815A (ko) 다시점 3차원 동영상 송수신 시스템
KR20080051041A (ko) 전송 효율을 높이기 위한 다시점 파노라믹 콘텐츠 송/수신시스템 및 그 방법
KR101697385B1 (ko) 채널 적응형 계층적 방송 장치 및 방법
TW201138464A (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
JP7377352B2 (ja) 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム
KR100763441B1 (ko) 동기화된 다시점 입체 영상 전송 방법 및 그 시스템
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
CN201352834Y (zh) 基于数字电视hdtv平台的高清会议系统
CN101521790A (zh) 基于数字电视实现高清会议系统的方法
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
TWI531244B (zh) 視訊會議資料處理方法及系統
KR101171319B1 (ko) 비압축 영상을 이용한 다자간 가시화/협업 서비스 방법 및 시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120316