JP2015515190A - 符号化ビデオストリームの混合 - Google Patents

符号化ビデオストリームの混合 Download PDF

Info

Publication number
JP2015515190A
JP2015515190A JP2015500389A JP2015500389A JP2015515190A JP 2015515190 A JP2015515190 A JP 2015515190A JP 2015500389 A JP2015500389 A JP 2015500389A JP 2015500389 A JP2015500389 A JP 2015500389A JP 2015515190 A JP2015515190 A JP 2015515190A
Authority
JP
Japan
Prior art keywords
encoded
video stream
mixing
video
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015500389A
Other languages
English (en)
Other versions
JP6001157B2 (ja
Inventor
ユッシ ヤルヴィネン，
ユッシ ヤルヴィネン，
ディートマー フィードラー，
ディートマー フィードラー，
アルト マフコネン，
アルト マフコネン，
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン（パブル）, テレフオンアクチーボラゲット エル エム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エル エム エリクソン（パブル）
Publication of JP2015515190A publication Critical patent/JP2015515190A/ja
Application granted granted Critical
Publication of JP6001157B2 publication Critical patent/JP6001157B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H04N21/2323—Content retrieval operation locally within server, e.g. reading video streams from disk arrays using file mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

この記載は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成するためのビデオストリーム混合器である。このビデオストリーム混合器は、以下の要素を含んでいる。前記符号化プライマリビデオストリームを、前記プライマリウィンドウ内のサブウィンドウに関連付けられていて、かつ、混合に関与しない、符号化未混合サブストリームと、前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームとに分割するように構成されているビデオストリーム分割器（２０）、・前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリームとを復号するように構成されているビデオストリーム復号化器（２２）、混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するように構成されているビデオ信号混合器（２４）、前記混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されているビデオ符号化器（２６）、前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するように構成されているビデオストリーム合成器（２８）。【選択図】 なし

Description

提案の技術は、符号化ビデオストリームの混合に関するものである。
符号化ビデオストリームを混合（ミキシング）するための既存のソリューションでは、すべての符号化ビデオストリームは完全に復号される。その後、復号化ビデオフレームが混合され、最終的には、混合復号化ビデオフレームは混合符号化ビデオストリームに符号化される。混合対象のエリアがフレーム全体に比べて小さい場合でさえも、同一の手順が使用される。
提案の技術の目的は、符号化ビデオストリームをより効果的に混合することである。
この目的は、添付の請求項に従って達成される。
提案の技術の第１の態様は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する方法を含んでいる。この方法は、以下のステップを含んでいる。
・前記符号化プライマリビデオストリームは、前記プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、かつ、混合に関与しない、符号化未混合サブストリームと、前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームとに分割される。
・前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とが復号化される。
・混合ビデオ信号を形成するために、復号化された補完サブストリームが、復号化されたセカンダリビデオストリームと混合される。
・前記混合ビデオ信号が、符号化混合サブストリームへ符号化される。
・前記符号化未混合サブストリームが、前記符号化混合サブストリームと合成される。
提案の技術の第２の態様は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成するためのビデオストリーム混合器を含んでいる。このビデオストリーム混合器は、以下の要素を含んでいる。
・前記符号化プライマリビデオストリームを、前記プライマリウィンドウ内のサブウィンドウに関連付けられていて、かつ、混合に関与しない、符号化未混合サブストリームと、前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームとに分割するように構成されているビデオストリーム分割器。
・前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリームとを復号するように構成されているビデオストリーム復号化器。
・混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するように構成されているビデオ信号混合器。
・前記混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されているビデオ符号化器。
・前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するように構成されているビデオストリーム合成器。
提案の技術の第３の態様は、第２の態様に従うビデオストリーム混合器を含むメディアリソース機能プロセッサを含んでいる。
提案の技術の第４の態様は、第３の態様に従うメディアリソース機能プロセッサを含むメディアリソース機能装置を含んでいる。
提案の技術の第５の態様は、第４の態様に従うメディアリソース機能装置を含むビデオ会議システムを含んでいる。
提案の技術の第６の態様は、第２の態様に従うビデオストリーム混合器を含むビデオ会議システムを含んでいる。
提案の技術の効果は、従来技術の方法よりもより少ない処理能力で済むことである。これは、特に、同一の符号化プライマリビデオストリームが、異なる組み合わせでいくつかの符号化セカンダリビデオストリームとが混合されるビデオ会議のような用途の場合に有用である。
更なる目的に伴う提案の技術及びその効果は、添付の図面とともに示される以下の記載を参照することによって最も理解することができる。
ＩＰ（インターネットプロトコル）ネットワークに基づくビデオ会議システムを示す図である。 ビデオ会議システムにおける相互接続を示すブロック図である。 従来技術のビデオ会議システムにおける符号化ビデオストリームの混合を示す図である。 提案の技術に基づくビデオ会議システムにおける符号化ビデオストリームの混合の例を示す図である。 提案の技術に従う符号化ビデオストリームの混合の例を示す図である。 提案の技術に従う混合符号化ビデオストリームを生成する方法のフローチャートである。 符号化ビデオストリームの例の構造を示す図である。 様々なビデオフレームコンフィグレーションを示す図である。 様々なビデオフレームコンフィグレーションを示す図である。 様々なビデオフレームコンフィグレーションを示す図である。 提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。 提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。 ビデオストリーム分離器の実施形態のブロック図である。 ビデオストリーム合成器の実施形態のブロック図である。 提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。 提案の技術に基づくビデオ会議システムを示す図である。
以下の説明は、ビデオ会議の状況で符号化ビデオストリームの混合（ミキシング）を説明する。しかしながら、同一の原理を、符号化ビデオストリームの混合を要求する他の用途で使用することができることが認識されるべきである。他の例には広告があり、これは、共通のビデオが異なる（異なる顧客向けに異なる）パーソナライズ小広告で提供される。
また、以下の説明は、ＩＴＵ−Ｔ規格Ｈ．２６４に基づいている。しかしながら、同一の原理を、限定されるものではないが、他の規格、例えば、Ｈ．２６３、ＭＰＥＧ４、ＶＰ８にも使用することが認識されるべきである。
提案の技術は、ＩＭＳ（ＩＰマルチメディアサブシステム）ネットワークのメディアリソース機能（ＭＲＦ）を参照して説明する。しかしながら、同一の原理を、ビデオ会議用の他のビデオ合成器に適用可能であることが理解されるべきである。
図１は、ＩＰネットワークに基づくビデオ会議システムを示す図である。この例では、会議機器を使用する２人の参加者Ａ及びＢが、コンピュータを使用する参加者Ｃと、ＩＰネットワークを介する移動電話を使用する参加者Ｄと接続されている。ビデオ会議は、メディアリソース機能ＭＲＦによって管理され、このメディアリソース機能ＭＲＦは、メディアリソース機能コントローラＭＲＦＣによって制御されるメディアリソース機能プロセッサＭＲＦＰを含んでいる。
図２は、より詳細なビデオ会議システムにおける相互接続を示すブロック図である。この例では、参加者Ａは、現在、アクティブなスピーカであると想定する。これは、対応する符号化ビデオストリームＡが、様々な組み合わせによる他の参加者からの符号化ビデオストリームＢ、Ｃ、Ｄと混合されることを意味する。この混合は、他の参加者を表示する小ウィンドウを用いて、アクティブなスピーカＡによって支配されているビデオを他の参加者が受信する方法で、メディアリソース機能プロセッサＭＲＦＰによって実行される。例えば、参加者Ｄは、参加者Ｂ及びＣを表示する小ウィンドウを用いて、参加者Ａによって支配されるビデオを受信することになる。参加者は、受信したビデオで自身は見えない。参加者Ａ、つまり、現在のアクティブなスピーカは、他の参加者の１人、典型的には、２番目のアクティブスピーカ、この例では、参加者Ｂによって支配されるビデオを受信することになる。他の参加者によって見る人の選択を管理するためにフロア制御プロトコルも使用することができる。
図３は、従来技術のビデオ会議システムにおける符号化ビデオストリームの混合を示している。符号化プライマリビデオストリームＡは、符号化セカンダリビデオストリームが配置されることになるキャンバスとして動作する。従来技術の方法は、すべてのビデオストリームＡ−Ｄを復号することによって開始する。復号化ビデオは、次に、Ａ＋Ｂ＋Ｃ、Ａ＋Ｂ＋Ｄ、Ａ＋Ｃ＋Ｄの組み合わせに混合される。図２の例に戻ると、組み合わせＢ＋Ｃ＋Ｄが生成されることになるが、図３では示されていない。混合の後、混合されたビデオは、符号化混合ビデオストリーム１０、１２、１４に符号化される。
図４は、提示の技術に基づくビデオ会議システムの符号化ビデオストリームの混合の例を示している。図３に示される従来技術の方法では、混合の後、ビデオストリームＡのほとんどは変更されていないことに注意されたい。しかしながら、ストリーム全体は、依然として、復号されなければならず、また、各混合に対して再度符号化されなければならない。図４では、符号化プライマリビデオストリームは、混合に関与しない符号化部分１６と、混合に関与する符号化部分１８に分割される。後者の符号化部分１８は、復号化され、そして、復号化セカンダリビデオストリームＢ、Ｃ、Ｄと混合される。異なる混合物は、符号化され、そして、符号化部分１６と合成される。
図５は、提示の技術に従う、（必ずしもビデオ会議システムからのものでない）符号化ビデオストリームの混合の例を示している。符号化プライマリビデオストリームは、混合に関与しない符号化部分１６と、混合に関与する符号化部分１８に分割される。後者の符号化部分１８は、復号化され、そして、復号化セカンダリビデオストリームＢ、Ｃと混合される。この混合物は、符号化され、そして、符号化部分１６と合成される。
図６は、提案の技術に従う混合符号化ビデオストリームを生成する方法のフローチャートである。この方法は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する。符号化セカンダリビデオストリームのそれぞれは、プライマリウィンドウよりは小さい対応するセカンダリウィンドウに関連付けられている。ステップＳ１は、符号化プライマリビデオストリームを分割する。例えば、図５のストリームＡを、
・プライマリウィンドウ内のサブウィンドウ、例えば、図５のウィンドウ１６に関連付けられていて、そして、混合に関与していない、符号化未混合サブストリームと、
・プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウ、例えば、図５のウィンドウ１８に関連付けられていて、そして、混合に関与している、符号化補完サブストリームと
に分割する。
ステップＳ２は、補完サブストリームと、各セカンダリビデオストリーム、例えば、図５のＢ、Ｃを復号する。ステップＳ３は、復号化補完サブストリームと各復号化セカンダリビデオストリームとを混合して、混合ビデオ信号を形成する。ステップＳ４は、混合ビデオ信号を符号化混合サブストリームに符号化する。ステップＳ５は、符号化未混合サブストリームと符号化混合サブストリームとを合成する。復号器からの観点からは、合成ビデオは、従来技術と同一である。
ここまでの説明は、任意のビデオ符号化規格を明示的に参照していない。例示の実施形態は、ＩＴＵ−Ｔ規格Ｈ．２６４を参照して説明していない。
図７は、Ｈ．２６４に従って符号化されるビデオストリームの構造を示している。この例では、ビデオフレームは、スライスに符号化され、これらのスライスはＩＰパケットで送信される。各パケットは、ＩＰ、ＵＤＰ（ユーザデータグラムプロトコル）及びＲＴＰ（リアルタイムトランスポートプロトコル）ヘッダと、それに加えて、実際のスライス情報を含むペイロード（他のコンフィグレーション（構成設定）も可能であるが、この例で、提示の技術の概念を説明するためには十分である）を含んでいる。このスライスは、スライスヘッダ及び実際のデータを含んでいる。スライスヘッダは、パラメータのセットを含み、それらの１つは、「ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ」である。ここで、「ｍｂ」は、マクロブロックを示していて、典型的には、１６×１６画素を表している。更なる詳細については、文献［１］で参照することができる。
提案の技術の実施形態では、混合に関与するマクロブロックと、混合に関与しないブロックとが判定される。その後、符号化プライマリビデオストリーム、例えば、図５のＡは、混合に関与しないマクロブロック群の少なくとも１つの未混合スライスと、混合に関与するマクロブロック群の少なくとも１つの補完スライスとに分離される。
提案の技術の実施形態では、各補完スライスのマクロブロックは、復号前に番号が付け直される。混合及び符号化の後は、番号が付け直されたマクロブロックの番号は再設定（リセット）される。
本明細書で説明される方法でプライマリビデオストリームが分割される場合、未混合サブストリーム及び補完サブストリームは、互いに「分離」されるべきである。これは、１つのサブストリーム内のどの部分も、他のサブストリーム内の任意の部分を参照することがない場合があることを意味する。例えば、符号化中の動きベクトル検索は制限されることで、それらは、境界の一方でマクロブロックを参照しないようにしている。換言すれば、部分１８内のマクロブロックに属する動きベクトルは、部分１６に属するフレームエリアを参照しない（その逆も同様である）。互いに異なる部分のこの「分離」を実現する方法の１つは、例えば、下部１８の第１マクロブロックのインデックスを信号処理することによって、境界の位置のプライマリビデオストリームを作成することを生成元の符号化器に通知することである。生成元の符号化器は、マクロブロックが境界に渡るエリア群を参照しない方法でプライマリビデオストリームを符号化することができる。ビデオストリーム分割器２０は、プライマリビデオストリームを２つの独立したストリームに分割することができる。生成元の符号化器がこの情報を受信しない場合、ストリームは、代わりに、トランスコードされる（復号化され、かつ符号化される）ことで、互いに「分離」されている２つの部分を含むようにすることができる。これは、一度だけ行うことで済み、そうすることで、本実施形態は、いくつかの混合物を生成しなければならない場合において従来技術に比べて、依然としてより有効である。
様々なビデオフレームコンフィグレーション（構成設定）が、図８Ａ−図８Ｃに示される。どの場合でも、生成元の符号化器に既にある境界を用いて符号化することによって、あるいはビデオストリーム分割器の前にトランスコーディングすることによって、上述のように、上部と下部に互いに分離されていると想定する。
図８Ａの例は、直線境界（破線）によって分離されている上部スライスと下部スライスを含んでいる。この場合、下部スライスのパラメータｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅを設定して、復号器にフレームが下部スライスだけを含んでいると思い込ますことによって、下部スライスを簡単に復号することができる。例えば、下部スライスの第１マクロブロックが番号６６を有している場合、１に設定される（ここで、復号化器は、この番号を第１マクロブロックに対するものと予期すると想定する）。混合及び符号化の後、第１マクロブロックは６６に再設定され、そうすることで、符号化混合物は、下部スライスとして、符号化上部スライス（復号されていない）へ追加することができる。その他のパラメータのすべても、生成元のプライマリストリームと同一である。
図８Ｂの例は、直線でない境界によって分離されている上部スライスと下部スライスを含んでいる。しかしながら、マクロブロックのサイズと、ビデオフレーム全体の幅と高さは既知であるので、この境界は、この場合においても固有に判定することができる。こうして、復号化、混合及び符号化は、図８Ａのように実行される。
図８Ｃの例は、１つの上部スライスと２つの下部スライスを含んでいる。これらの上部スライスと下部スライスは、直線でない境界によって分離されている。この場合、復号化前に２つの下部スライスにおいて、パラメータ「ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ」はそれぞれ、１と、上位の下部スライスにおけるマクロブロックの数＋１に設定されなければならない。同様に、２つの下部スライスの両方の番号付けは、混合及び符号化の後に再設定される。
図９は、提案の技術に従うビデオストリーム混合器（ミキサー）６０の実施形態のブロック図である。符号化プライマリビデオストリーム、例えば、図５のストリームＡを受信するビデオストリーム分割器２０は、そのストリームを、
・プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、また、混合に関与していない符号化未混合サブストリームと、
・プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウ（１８）に関連付けられていて、また、混合に関与している、符号化補完サブストリームと
に分割されるように構成されている。
ビデオストリーム復号化器２２は、補完サブストリームと各セカンダリビデオストリーム、例えば、図５のストリームＢとＣを復号するように構成されている。ビデオ信号混合器２４は、復号化補完サブストリームと各復号化セカンダリビデオストリームとを混合して、混合ビデオ信号を形成するように構成されている。（復号化セカンダリビデオストリームは、混合前の「小」ウィンドウに再度変倍されなければならないと想定する。）ビデオ符号化器２６は、混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されている。ビデオストリーム混合器２８は、符号化未混合サブストリームと符号化混合サブストリームとを合成するように構成されている。
図１０は、提案の技術に従うビデオストリーム混合器６０の実施形態のブロック図である。混合区域検出器３２は、混合に関与するマクロブロック群と混合に関与しないマクロブロック群を判定するように構成されている。スライス分離器３４は、符号化プライマリストリーム、例えば、図５のストリームＡを、混合に関与しない少なくとも１つの未混合スライスのマクロブロックと、混合に関与する少なくとも１つの補完スライスのマクロブロックとに分離するように構成されている。
図１１は、ビデオストリーム分割器（スプリッタ）２０のブロック図である。本実施形態では、スライス分離器３４は、復号前に、各補完スライスのマクロブロックの再番号付けを行うように構成されているマクロブロック再番号付けユニット３６を含んでいる。スイッチＳＷは、混合に関与するスライスをマクロブロック再番号付けユニット３６へ指示し、混合に関与しないスライスをビデオストリーム合成器２８へ指示する。
図１２は、ビデオストリーム混合器２８の実施形態のブロック図である。マクロブロック番号付け再設定ユニット３８は、混合及び符号化後の再番号付けされたマクロブロックの番号付けを再設定するように構成されていて、スライス合成器４０は、未混合スライスと混合スライスとを合成するように構成されている。
本明細書で記載されるステップ群、機能群、手順群及びブロック群の少なくとも１つは、任意の一般技術を使用するハードウェアで実現することができる。この一般技術には、例えば、ディスクリート回路あるいは集積回路技術があり、これには、汎用電子回路、及び特定用途回路が含まれる。
選択的には、本明細書で記載されるステップ群、機能群、手順群及びブロック群の少なくとも１つの少なくともいくつかは、適切な処理機器によって実行するためのソフトウェアで実現することができる。この機器には、例えば、１つ以上のマイクロプロセッサ、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途集積回路（ＡＳＩＣ）、ビデオアクセラレータハードウェア、あるいは１つ以上の適切なプログマブルロジックデバイス、例えば、フィールドプログマブルゲートアレイ（ＦＰＧＡ）が含まれる。このような処理要素の組み合わせをも実現可能である。
メディアリソース機能において既に存在している汎用処理機能を再使用することができる場合もあることも理解されるべきである。これは、例えば、既存のソフトウェアの再プログラミングによって、あるいは新規のソフトウェアコンポーネントを追加することによって実行することができる。
図１３は、提案の技術に従うビデオストリーム混合器６０の実施形態のブロック図である。この実施形態は、プロセッサ１１０、例えば、マクロプロセッサに基づいていており、これは、符号化プライマリビデオストリームを分割するためのソフトウェア１２０と、補完サブストリームと各セカンダリビデオストリームとを復号するためのソフトウェア１３０と、復号化ストリームを混合するためのソフトウェア１４０と、混合ビデオ信号を符号化するためのソフトウェア１５０と、符号化未混合サブストリームと符号化混合サブストリームとを合成するためのソフトウェア１６０とを実行する。これらのソフトウェアは、メモリ１７０に記憶されている。プロセッサ１１０は、システムバスを介してメモリと通信する。到来するプライマリビデオストリームとセカンダリビデオストリームは、Ｉ／Ｏバスを制御する入力／出力（Ｉ／Ｏ）コントローラ１８０によって受信される。このＩ／Ｏバスには、プロセッサ１１０とメモリ１３０が接続されている。本実施形態では、Ｉ／Ｏコントローラ１８０によって受信されるスライス群はメモリ１７０に記憶され、そこで、そのスライス群は、ソフトウェア１２０−１６０によって処理される。ソフトウェア１２０は、ビデオストリーム分割器２０の機能を実現することができる。ソフトウェア１３０は、ビデオストリーム復号器２２の機能を実現することができる。ソフトウェア１４０は、ビデオ信号混合器２４の機能を実現することができる。ソフトウェア１５０は、ビデオ符号化器２６の機能を実現することができる。ソフトウェア１６０は、ビデオストリーム合成器２８の機能を実現することができる。ソフトウェア１６０から取得される合成符号化ビデオストリームは、Ｉ／Ｏバスを介してＩ／Ｏコントローラによってメモリ１７０から出力される。
図１４は、提案の技術に基づくビデオ会議システムの例を示す図である。これは、提案の技術に従うビデオストリーム混合器を含むメディアリソース機能プロセッサＭＲＦＰを用いるメディアリソース機能ＭＲＦを含んでいる。
提案の技術は、多くのＤＳＰプラットフォームを伴う場合のような、処理能力及びメモリリソースに制限がある場合に有益である。提案の技術は、システムの要求される総処理能力を、従来技術の強引な方法を使用する場合の総処理能力のわずかな量にまで削減する方法を提供する。これは、特に、いくつかの混合物が生成される際のビデオ会議の場合に当てはまる。実際の処理利得は、混合に関与しないビデオフレームの部分のサイズと、生成されるべき混合物の数とに依存する。
提案の技術は、同一のプロセッサで、全てのフレームを完全に復号し、いくつかの混合物を作成し、そして、大量の混合物を符号化する能力が不十分である場合に特に有益である。１つのプロセッサが、１つの符号化のみを実行することができ、また、すべてのプロセッサが同一のメモリへアクセスすることができるとは限らない場合、従来技術では、復号化は複数回実行されなければならない。
提案の技術の別の利点は、環境的に優しいことである。これは、より少ない処理とメモリ要件は、直接、より少ない電力消費に繋がるからである。
添付の特許請求の範囲の請求項によって定義される範囲から逸脱することなく、提案の技術に様々な変形と変更とを行うことができることが当業者には理解されるであろう。
文献
［１］ ＩＴＵ−Ｔ Ｈ２６４ 「スライスヘッダ語義」セクション７．４．３
略語
ＡＳＩＣ 特定用途集積回路
ＤＳＰ デジタル信号プロセッサ
ＦＰＧＡ フィールドプログラマブルゲートアレイ
ＩＭＳ ＩＰマルチメディアサブシステム
ＩＰ インターネットプロトコル
ＭＲＦ メディアリソース機能
ＲＴＰ リアルタイムトランスポートプロトコル
ＵＤＰ ユーザデータグラムプロトコル

Claims (11)

  1. プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、それぞれが前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する方法であって、
    前記符号化プライマリビデオストリーム（Ａ）を、
    前記プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、かつ混合に関与しない、符号化未混合サブストリームと、
    前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームと
    に分割するステップ（Ｓ１）と、
    前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とを復号するステップ（Ｓ２）と、
    混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するステップ（Ｓ３）と、
    前記混合ビデオ信号を符号化混合サブストリームへ符号化するステップ（Ｓ４）と、
    前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するステップ（Ｓ５）と
    を備えることを特徴とする方法。
  2. 混合に関与するマクロブロックと混合に関与しないマクロブロックとを判定するステップと、
    前記符号化プライマリビデオストリーム（Ａ）を、混合に関与しないマクロブロックの少なくとも１つの未混合スライスと、混合に関与するマクロブロックの少なくとも１つの補完スライスとに分離するステップと
    を更に備えることを特徴とする請求項１に記載の方法。
  3. 復号の前に、前記補完スライスのそれぞれのマクロブロックへの再番号付けを行うステップと、
    混合及び符号化の後、再番号付けされたマクロブロックの番号を再設定するステップと
    を更に備えることを特徴とする請求項２に記載の方法。
  4. プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成するためのビデオストリーム混合器であって、
    前記符号化プライマリビデオストリーム（Ａ）を、
    前記プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、かつ混合に関与しない、符号化未混合サブストリームと、
    前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームと
    に分割するように構成されているビデオストリーム分割器（２０）と、
    前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とを復号するように構成されているビデオストリーム復号化器（２２）と、
    混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するように構成されているビデオ信号混合器（２４）と、
    前記混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されているビデオ符号化器（２６）と、
    前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するように構成されているビデオストリーム合成器（２８）と
    を備えることを特徴とするビデオストリーム混合器。
  5. 混合に関与するマクロブロックと混合に関与しないマクロブロックとを判定するように構成されている混合区域検出器（３２）と、
    前記符号化プライマリビデオストリーム（Ａ）を、混合に関与しないマクロブロックの少なくとも１つの未混合スライスと、混合に関与するマクロブロックの少なくとも１つの補完スライスとに分離するように構成されているスライス分離器（３４）と
    を更に備えることを特徴とする請求項４に記載のビデオストリーム混合器。
  6. 前記スライス分離器（３４）は、復号の前に、前記補完スライスのそれぞれのマクロブロックへの再番号付けを行う再番号付けユニット（３６）を含む
    ことを特徴とする請求項５に記載のビデオストリーム混合器。
  7. 前記ビデオストリーム合成器（２８）は、
    混合及び符号化の後、再番号付けされたマクロブロックの番号を再設定するように構成されているマクロブロック番号付け再設定ユニット（３８）と、
    未混合スライスと混合スライスとを合成するように構成されているスライス合成器（４０）と
    を含んでいる
    ことを特徴とする請求項６に記載のビデオストリーム混合器。
  8. 請求項４乃至７のいずれか１項に記載のビデオストリーム混合器（６０）を含む、メディアリソース機能プロセッサ（ＭＲＦＰ）。
  9. 請求項８に記載のメディアリソース機能プロセッサ（ＭＲＦＰ）を含むメディアリソース機能（ＭＲＦ）装置。
  10. 請求項９に記載のメディアリソース機能装置（ＭＲＦ）を含むビデオ会議システム。
  11. 請求項４乃至７のいずれか１項に記載のビデオストリーム混合器（６０）を含むビデオ会議システム。
JP2015500389A 2012-03-13 2012-03-13 符号化ビデオストリームの混合 Expired - Fee Related JP6001157B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/050278 WO2013137784A1 (en) 2012-03-13 2012-03-13 Mixing of encoded video streams

Publications (2)

Publication Number Publication Date
JP2015515190A true JP2015515190A (ja) 2015-05-21
JP6001157B2 JP6001157B2 (ja) 2016-10-05

Family

ID=49161556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015500389A Expired - Fee Related JP6001157B2 (ja) 2012-03-13 2012-03-13 符号化ビデオストリームの混合

Country Status (6)

Country Link
US (1) US9386066B2 (ja)
EP (1) EP2826236A4 (ja)
JP (1) JP6001157B2 (ja)
KR (1) KR101686723B1 (ja)
CN (1) CN104160694B (ja)
WO (1) WO2013137784A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9648072B2 (en) * 2012-01-31 2017-05-09 Comcast Cable Communications, Llc System and method for data stream fragmentation with scalability
CN106341622B (zh) * 2015-07-06 2020-01-24 阿里巴巴集团控股有限公司 一种多路视频流的编码方法及装置
KR102324609B1 (ko) * 2017-12-22 2021-11-10 한국전자통신연구원 다지점 영상회의 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023706A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
JP2005341325A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
JP2009505589A (ja) * 2005-08-19 2009-02-05 クゥアルコム・インコーポレイテッド ビデオテレフォニーのためのピクチャーインピクチャー処理
US20120050454A1 (en) * 2010-08-31 2012-03-01 Polycom, Inc. Method and System for Creating a Continuous Presence Video-Conference

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492387B2 (en) 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
TW200727653A (en) * 2006-01-03 2007-07-16 Avermedia Tech Inc Digital media multiplexer and method thereof
KR101224393B1 (ko) * 2006-02-01 2013-01-22 삼성전자주식회사 비디오 재생 장치 및 그 제어 방법
ATE476834T1 (de) * 2006-10-13 2010-08-15 Galaxy Studios Nv Verfahren und codierer zum kombinieren von digitalen datensätzen, decodierungsverfahren und decodierer für solche kombinierte digitale datensätze und aufzeichnungsträger zum speichern eines solchen kombinierten digitalen datensatzes
JP4256421B2 (ja) * 2006-11-21 2009-04-22 株式会社東芝 映像合成装置、映像合成方法及び映像合成処理プログラム
US8228980B2 (en) * 2009-05-29 2012-07-24 Texas Instruments Incorporated Media gateway with overlay channels
BRPI1007381A8 (pt) * 2010-07-23 2018-04-03 Siemens Entpr Communications Gmbh & Co Kg Processo para codificação de uma corrente de vídeo

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023706A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 多地点会議システム
JP2005341325A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
JP2009505589A (ja) * 2005-08-19 2009-02-05 クゥアルコム・インコーポレイテッド ビデオテレフォニーのためのピクチャーインピクチャー処理
US20120050452A1 (en) * 2005-08-19 2012-03-01 Qualcomm Incorporated Picture-in-picture processing for video telephony
US20120050454A1 (en) * 2010-08-31 2012-03-01 Polycom, Inc. Method and System for Creating a Continuous Presence Video-Conference

Also Published As

Publication number Publication date
EP2826236A4 (en) 2015-08-26
US20150130889A1 (en) 2015-05-14
EP2826236A1 (en) 2015-01-21
KR101686723B1 (ko) 2016-12-14
US9386066B2 (en) 2016-07-05
WO2013137784A1 (en) 2013-09-19
CN104160694A (zh) 2014-11-19
CN104160694B (zh) 2018-08-28
JP6001157B2 (ja) 2016-10-05
KR20140136013A (ko) 2014-11-27

Similar Documents

Publication Publication Date Title
US11503250B2 (en) Method and system for conducting video conferences of diverse participating devices
US10951874B2 (en) Incremental quality delivery and compositing processing
JP5268915B2 (ja) マルチメディア音声会議向け視覚的構成の管理技術
AU2011258272B2 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors
US8233026B2 (en) Scalable video encoding in a multi-view camera system
CN108134915B (zh) 用于混合式拓扑媒体会议系统的方法和系统
WO2011116611A1 (zh) 用于电视会议的视频播放方法
JP6001157B2 (ja) 符号化ビデオストリームの混合
JP2006268844A5 (ja)
JP2019530996A (ja) マルチメディア通信におけるコンパクト並列コーデックの使用のための方法および装置
CN114073097A (zh) 通过边缘计算促进视频流式传输和处理
CN108293000A (zh) 用于使用单源多单播的多媒体会议的方法和装置
WO2022100528A1 (zh) 音视频转发方法、装置、终端与系统
TWI491218B (zh) 媒體中繼視訊通信
Han et al. Four-way video conference and its session control based on distributed mini-MCU in home server
WO2024069045A1 (en) An apparatus and a method for processing volumetric video content
Palau Erena Real-time Video Mixer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160831

R150 Certificate of patent or registration of utility model

Ref document number: 6001157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees