JP2001309369A - 動画合成表示システム及び方法並びに記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ＭＰＥＧ−４に従う複数のビデオストリーム
の各フレームを処理負担を軽減して合成処理することが
可能な動画合成表示システム及び方法並びに記憶媒体を
提供すること。 【解決手段】 ＭＰＥＧ−４に準拠する複数のビデオス
トリーム夫々をデコードし、その出力フレームを保持す
る複数のフレーム保持用バッファメモリ２０を有する。
このフレーム保持用バッファメモリ２０からの出力フレ
ームを合成用バッファメモリ３０で合成するが、この
際、各デコーダ１０がフレームをデコードする毎に更新
するべき表示領域をマーキングして保持し、一定周期の
表示更新タイミングにて、表示更新領域としてマーキン
グされた領域のみをフレーム保持用バッファメモリ２０
の出力フレームから抽出して表示に供する画像を合成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、移動体通信やイン
ターネットに適用されて好適とされる高効率符号化方式
の国際標準規格であるＭＰＥＧ−４（Moving Picture E
xperts Group Phase4）に準拠する複数のビデオストリ
ームを含んだ動画コンテンツをデコードして合成再生表
示する動画合成表示システム及び方法並びに記憶媒体に
関する。

【０００２】

【従来の技術】ＭＰＥＧ−４では、図４に示すように、
動画１中の人物、背景といった各オブジェクト２‐１，
２‐２，２‐３毎にビデオストリーム３‐１，３‐２，
３‐３を作成し、これらを合成して合成画像４を得るこ
とができる。この技術を採用することにより、背景の差
し替えなど、既存のデジタル動画システムでは困難だっ
た機能の実現が可能になる。

【０００３】しかしながら、既存の動画表示用ビューワ
では、単一のビデオストリームの表示のみが可能であ
り、ＭＰＥＧ−４の規格に従う複数のビデオストリーム
を含んだ動画コンテンツを再生表示するためには各オブ
ジェクトの合成処理が可能な表示システムが必要であっ
た。

【０００４】ＭＰＥＧ−４の規格では合成用バッファメ
モリを使用することで、複数のビデオストリームの各フ
レームを合成し、表示する方式を前提としている。

【０００５】しかしながらその実装方式については明確
に定めていない。

【０００６】例えば、上述した複数のビデオストリーム
について、フレーム毎の合成及び表示を、既存の動画表
示と同様の方式で実現しようとすると、各ビデオストリ
ームの新しいフレームがデコードされる毎に合成及び表
示更新を行う必要がある。

【０００７】このため、各ビデオストリームのフレーム
間隔が異なっていたりすると、合成用バッファメモリの
更新回数や合成処理回数が多くなり、処理負荷も高くな
ってしまう。

【０００８】

【発明が解決しようとする課題】以上のように従来の動
画合成表示システムでは単一のビデオストリームのみ再
生表示が可能であったため、従来の表示方式をそのまま
ＭＰＥＧ−４に従う複数のビデオストリームの合成処理
及び表示更新に応用すると、合成処理及び表示更新の処
理量が多くなってしまう。

【０００９】本発明の目的は、ＭＰＥＧ−４に従う複数
のビデオストリームについて各フレームの処理負担を軽
減して合成処理することが可能な動画合成表示システム
及び方法並びに記憶媒体を提供することにある。

【００１０】

【課題を解決するための手段】上記課題を解決するため
請求項１に係る動画合成表示システムは、ＭＰＥＧ−４
に準拠する複数のビデオストリームを含んだ動画コンテ
ンツをデコードして合成表示する動画合成表示システム
において、前記ビデオストリーム夫々をデコードする複
数のデコーダと、このデコーダ夫々からの出力フレーム
を保持する複数のフレーム保持用バッファメモリと、こ
のフレーム保持用バッファメモリからの出力フレームを
合成する合成用バッファメモリと、前記各デコーダがフ
レームをデコードする毎に更新するべき表示領域をマー
キングして保持する手段と、一定周期の表示更新タイミ
ングにて、前記フレーム保持用バッファメモリの出力フ
レームから表示更新領域としてマーキングされた領域の
みを抽出し表示に供する画像を合成する画像合成手段と
を具備する。

【００１１】また請求項２に係る動画合成表示方法は、
ＭＰＥＧ−４に準拠する複数のビデオストリーム夫々を
デコードするステップと、このステップによりデコード
したフレームを保持するステップと、この保持したフレ
ームを合成するに際し、前記デコードする毎に更新する
べき表示領域をマーキングして保持するステップと、一
定周期の表示更新タイミングにて、表示更新領域として
マーキングされた領域のみを前記フレームから抽出して
表示に供する画像を合成するステップとを具備すること
を特徴とする。

【００１２】さらに請求項３に係る記憶媒体は、デコー
ダ、フレーム保持用バッファメモリ、合成用バッファメ
モリ及び信号処理手段を含む動画合成表示システムに使
用されるコンピュータ読み取り可能な記憶媒体であっ
て、ＭＰＥＧ−４に準拠する複数のビデオストリーム夫
々をデコードするステップと、このステップによりデコ
ードしたフレームを保持するステップと、この保持した
フレームを合成するに際し、前記デコードする毎に更新
するべき表示領域をマーキングして保持するステップ
と、一定周期の表示更新タイミングにて表示更新領域と
してマーキングされた領域のみを前記フレームから抽出
して表示に供する画像を合成するステップとを実行させ
るためのプログラムを記憶したコンピュータ読み取り可
能な記憶媒体、である。

【００１３】上述した本発明によれば、表示側の表示レ
ート等に基づくタイミングにてシーン記述情報で指定さ
れた内容通りに合成処理しながら再生表示することがで
きる。このため、多様な動画供給系からの動画コンテン
ツを高効率にて合成処理することが可能となり、また各
ビデオストリームのフレーム更新毎でなく、一定周期の
タイミングで合成処理を必要な領域だけ行うことによ
り、合成にかかる処理量を大幅に減らすことができる。

【００１４】

【発明の実施の形態】以下、本発明に係る動画合成表示
システムの一実施形態を図面を参照して説明する。

【００１５】図１に示すように、本実施形態の動画合成
表示システムは、ビデオデコーダ１０（第１ビデオデコ
ーダ１０‐１、第２ビデオデコーダ１０‐２、第３ビデ
オデコーダ１０‐３）と、フレーム保持用バッファメモ
リ２０（第１フレーム保持用バッファメモリ２０‐１、
第２フレーム保持用バッファメモリ２０‐２、第３フレ
ーム保持用バッファメモリ２０‐３）と、合成用バッフ
ァメモリ３０と、モニタ系４０と、シーン記述解析デコ
ーダ５０と、表示更新領域マーキング情報リストメモリ
６０と、画像合成処理部７０とから構成されている。

【００１６】ここで各要素を詳述する。先ず、ビデオデ
コーダ１０は、ＭＰＥＧ−４に準拠する動画コンテンツ
に含まれるビデオストリームの本数に応じて複数用意さ
れるものであり、図１の例では、３本のビデオストリー
ムに対応して、第１ビデオデコーダ１０‐１、第２ビデ
オデコーダ１０‐２、第３ビデオデコーダ１０‐３を有
する。このビデオデコーダ１０は、１本のＭＰＥＧ−４
のビデオストリームを、デコードして、フレーム保持用
バッファメモリ２０にフレームを出力する。

【００１７】フレーム保持用バッファメモリ２０は、ビ
デオデコーダ１０に対応した数だけ用意されるものであ
り、図１の例では、第１ビデオデコーダ１０‐１、第２
ビデオデコーダ１０‐２、第３ビデオデコーダ１０‐３
に対応して第１フレーム保持用バッファメモリ２０‐
１、第２フレーム保持用バッファメモリ２０‐２、第３
フレーム保持用バッファメモリ２０‐３を有する。この
フレーム保持用バッファメモリ２０は、ビデオデコーダ
１０が次々と出力してくるフレームを一時的に保持す
る。

【００１８】合成用バッファメモリ３０は、フレーム保
持用バッファメモリ２０にて保持された複数のビデオス
トリームを、シーン記述解析デコーダ５０からのシーン
記述情報に基づいて合成処理を行い、最終的にモニタ系
４０にて表示するための画像を保持するものである。こ
の合成用バッファメモリ３０の内容が、モニタ系４０の
画面に表示される。

【００１９】ここにシーン記述解析デコーダ５０は、複
数のビデオストリームオブジェクトを、再生時刻に応じ
てどのように合成表示するべきかが記述された情報、つ
まりシーン記述情報を出力する。このシーン記述情報に
は、オブジェクトのレイヤ順序、表示位置、拡大率等が
含まれている。

【００２０】表示更新領域マーキング情報リストメモリ
６０は、各デコーダ１０‐１、１０‐２、１０‐３から
の表示更新領域マーキング情報を保持する。すなわち、
各デコーダ１０‐１、１０‐２、１０‐３は、新しいフ
レームをデコードする毎に表示更新を行うべき領域が発
生する。表示更新領域マーキング情報リストメモリ６０
は、この領域に関する情報を、マーキングしておくため
に矩形情報のリストとして保持する。マーキングされた
領域は、例えば、表示系のフレーム表示レートに従うタ
イミング、例えば標準ＴＶフレームレートである３０枚
／秒では１／３０秒の如き一定周期で行われる表示更新
タイミングで、合成用バッファメモリ３０にて各デコー
ダ１０‐１、１０‐２、１０‐３のフレーム毎に一括し
て合成処理及び表示更新を行う。

【００２１】画像合成処理部７０は、表示更新領域マー
キング情報リストメモリ６０内でマーキングされた領域
に従い、例えば、標準ＴＶフレームレートである３０枚
／秒では１／３０秒の如き一定周期Δtで行われる表示
更新タイミングで、合成用バッファメモリ３０にて各デ
コーダ１０‐１、１０‐２、１０‐３のフレーム毎に一
括して合成処理及び表示更新を行う。

【００２２】以上のように構成された本実施形態に係る
画像合成表示システムの作用を図２を参照して説明す
る。ステップＳ１として動作の続行停止の判断を経て、
ステップＳ２にて、ビデオストリーム毎のデコードを行
う。すなわち、ＭＰＥＧ−４に準拠する動画コンテンツ
中に含まれる複数のビデオストリームはそれぞれに対応
したデコーダ１０に渡されていき、ステップＳ３として
デコードされたフレーム画像は、フレーム保持用バッフ
ァメモリ２０に出力される。

【００２３】次に、ステップＳ４〜ステップＳ７にてマ
ーキング処理を行う。このマーキング処理は、既にマー
キングされた領域と新たな領域とでその方式が異なる。
このため、判断ステップＳ４を経てステップＳ５では既
にマーキングされた領域に対するマーキング処理を行
い、またステップＳ６では新たな領域に対するマーキン
グ処理が行われる。

【００２４】ステップＳ５にて、フレーム保持用バッフ
ァメモリ２０に新しいフレームが入力されると、表示更
新領域マーキング情報リストメモリ６０及び画像合成処
理部７０では、対応するシーン記述情報からそのフレー
ムを動画全体中でどこに表示するべきなのか、表示領域
を求める。

【００２５】表示更新領域マーキング情報リストメモリ
６０では、合成用バッファメモリ３０に対し新しいフレ
ームが表示されるべき領域と、旧フレームが表示されて
いる領域を、合成処理を必要とする領域としてマーキン
グする。

【００２６】ステップＳ７でマーキング情報の整理とし
て最小矩形情報の保持を行うが、表示更新領域マーキン
グ情報リストメモリ６０におけるマーキング方式は、表
示更新領域を含んだ最小矩形情報、つまり左上座標及び
右下座標等をリストで保持する形式をとる。

【００２７】ステップＳ６による新たな領域に対するマ
ーキング処理は、マーキング用矩形情報が重ね合ってい
る部分が生じる可能性があることに対応したものであ
り、新たに領域をマーキングする時には、矩形情報のリ
スト中で重複している部分はひとつにまとめる、つまり
２つの矩形を含んだ最小の１つの矩形にするようにし
て、マーキング情報を整理する。

【００２８】ステップＳ８では、フレーム合成処理に先
立つ表示更新タイミングの判定が行われる。すなわち、
本システムは、一定周期、例えば、標準ＴＶフレームレ
ートである３０枚／秒では１／３０秒の如き一定周期Δ
tで表示更新のタイミングを管理する。このタイミング
管理は、図１の例では画像合成処理部７０が担うが、他
の要素例えばフレーム保持用バッファメモリ２０又は合
成用バッファメモリ３０等で行うようにしても良い。

【００２９】ステップＳ８で表示更新タイミングである
とき、ステップＳ９では、合成用バッファメモリ３０の
マーキング情報から、更新すべき領域情報を取り出し
て、各デコーダ１０のフレーム保持用バッファメモリ２
０に格納されているフレームが表示すべき領域と重ねあ
っている部分が無いか否かをチェックする。重ねあって
いる場合、シーン記述に応じてフレーム保持用バッファ
メモリ２０からフレームを合成用バッファメモリ３０に
渡し、画像合成処理部７０の働きにより合成処理する。

【００３０】そして、ステップＳ１０では、マーキング
された領域のチェックが全て終わった時点で、合成用バ
ッファメモリ３０の内容をモニタ系４０の画面に表示
し、ステップＳ１１としてマーキング情報をクリアす
る。

【００３１】図３は、上述した作用を模式的に示したも
のであり、時刻t１で、合成画像ＳＦ１にはコンテンツ
Ｐ１，Ｐ２，Ｐ３がある。この時刻t１からΔt後の時刻
t２での合成画像ＳＦ２は、上述した動作に従うと、フ
レーム保持用バッファメモリ２０‐１でコンテンツＰ１
がＰ１´となり、フレーム保持用バッファメモリ２０‐
２で、コンテンツＰ２がＰ２´となり、フレーム保持用
バッファメモリ２０‐３では、コンテンツＰ３が変化無
しとする。

【００３２】これにより更新すべき矩形領域は表示更新
領域マーキング情報リストメモリ６０に書き込まれる。
このとき、画像合成処理部７０は、表示更新領域マーキ
ング情報リストメモリ６０の更新すべき矩形領域リスト
を参照し、各コンテンツのフレーム中で更新すべき領域
だけを合成用バッファメモリ３０に送り、ここで更新領
域と非更新領域とを合成し、合成画像ＳＦ２を作ること
ができる。

【００３３】以上のように本実施形態によれば次のよう
な作用効果が得られる。すなわち、ＭＰＥＧ−４では、
移動体通信やインターネットに適用されることになるの
で、複数のビデオストリームオブジェクトは、それぞれ
違うタイミングで生成される可能性がある。

【００３４】このようなタイミングの違う複数のビデオ
ストリームオブジェクトのフレームであっても、本実施
形態のシステムによれば、例えば表示側の表示レート等
に基づくタイミングにてシーン記述情報で指定された内
容通りに合成処理しながら再生表示することができる。
このため、多様な動画供給系からの動画コンテンツを高
効率にて合成処理することが可能となる。

【００３５】また、各ビデオストリームのフレーム更新
毎でなく、一定周期のタイミングで合成処理を必要な領
域だけ行うことにより、合成にかかる処理量を大幅に減
らすことができる。

【００３６】また、記憶媒体から動画合成表示システム
にインストールされたプログラムの指示に基づき動画合
成表示システム上で稼働しているＯＳ（オペレーティン
グシステム）や、データベース管理ソフト、ネットワー
クソフト等のＭＷ（ミドルウェア）等が本実施形態を実
現するための各処理の一部を実行しても良い。 ここ
に、記憶媒体としては、磁気ディスク、フロッピー（登
録商標）ディスク、ハードディスク、光ディスク（ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（Ｍ
Ｏ等）、半導体メモリ等、プログラムを記憶でき、かつ
コンピュータが読み取り可能な有か型の記憶媒体であれ
ば、その記憶形式は何れの形態であっても良い。

【００３７】さらに、本発明における記憶媒体は、動画
合成表示システムと独立した媒体に限らず、ＬＡＮやイ
ンターネット等により伝送されたプログラムをダウンロ
ードして記憶または一時記憶した記憶媒体も含まれる。

【００３８】また、記憶媒体は１つに限らず、複数の媒
体から本実施形態における処理が実行される場合も本発
明における記憶媒体に含まれ、媒体構成は何れの構成で
あっても良い。

【００３９】尚、本発明における動画合成表示システム
は、記憶媒体に記憶されたプログラムに基づき、本実施
形態における各処理を実行するものであって、パーソナ
ルコンピュータ等のコンピュータの１つからなる装置、
複数の装置がネットワーク接続されたシステム等の何れ
の構成であっても良い。

【００４０】また、本発明における動画合成表示システ
ムにあっては、情報処理機器に含まれる演算処理装置、
マイコン等も含み、プログラムによって本発明の機能を
実現することが可能な機器、装置を総称している。

【００４１】

【発明の効果】以上説明したように本発明によれば、Ｍ
ＰＥＧ−４に準拠する複数のビデオストリーム夫々をデ
コードし、該デコードしたフレームを保持する複数のフ
レーム保持用バッファメモリからの出力フレームを合成
用バッファメモリで合成するに際し、各デコーダがフレ
ームをデコードする毎に更新するべき表示領域をマーキ
ングして保持し、一定周期の表示更新タイミングにて、
表示更新領域としてマーキングされた領域のみをフレー
ム保持用バッファメモリの出力フレームから抽出して表
示に供する画像を合成するようにしたので、ＭＰＥＧ−
４に従う複数のビデオストリームの各フレームを、処理
負担を軽減して合成処理することが可能な動画合成表示
システム及び方法並びに記憶媒体を提供できるものであ
る。

【図面の簡単な説明】

【図１】本発明に係る動画合成表示の一実施形態を示す
ブロック図。

【図２】同実施形態の動作を示す流れ図。

【図３】本発明による動画合成表示の作用を示す図。

【図４】従来の動画合成表示システムを示す図。

【符号の説明】

１０（１０‐１、１０‐２、１０‐３）…ビデオコー
ダ、２０（２０‐１、２０‐２、２０‐３）…フレーム
保持用バッファメモリ、３０…合成用バッファメモリ、
４０…モニタ系、５０…シーン記述解析デコーダ、６０
…表示更新領域マーキング情報リストメモリ、７０…画
像合成処理部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ＭＰＥＧ−４に準拠する複数のビデオス
   トリームを含んだ動画コンテンツをデコードして合成表
   示する動画合成表示システムにおいて、 前記ビデオストリーム夫々をデコードする複数のデコー
   ダと、 このデコーダ夫々からの出力フレームを保持する複数の
   フレーム保持用バッファメモリと、 このフレーム保持用バッファメモリからの出力フレーム
   を合成する合成用バッファメモリと、 前記各デコーダがフレームをデコードする毎に更新する
   べき表示領域をマーキングして保持する手段と、 一定周期の表示更新タイミングにて、前記フレーム保持
   用バッファメモリの出力フレームから表示更新領域とし
   てマーキングされた領域のみを抽出し表示に供する画像
   を合成する画像合成手段とを具備することを特徴とする
   動画合成表示システム。
2. 【請求項２】 ＭＰＥＧ−４に準拠する複数のビデオス
   トリーム夫々をデコードするステップと、 このステップによりデコードしたフレームを保持するス
   テップと、 この保持したフレームを合成するに際し、前記デコード
   する毎に更新するべき表示領域をマーキングして保持す
   るステップと、 一定周期の表示更新タイミングにて、表示更新領域とし
   てマーキングされた領域のみを前記フレームから抽出し
   て表示に供する画像を合成するステップとを具備するこ
   とを特徴とする動画合成表示方法。
3. 【請求項３】 デコーダ、フレーム保持用バッファメモ
   リ、合成用バッファメモリ及び信号処理手段を含む動画
   合成表示システムに使用されるコンピュータ読み取り可
   能な記憶媒体であって、 ＭＰＥＧ−４に準拠する複数のビデオストリーム夫々を
   デコードするステップと、 このステップによりデコードしたフレームを保持するス
   テップと、 この保持したフレームを合成するに際し、前記デコード
   する毎に更新するべき表示領域をマーキングして保持す
   るステップと、 一定周期の表示更新タイミングにて表示更新領域として
   マーキングされた領域のみを前記フレームから抽出して
   表示に供する画像を合成するステップとを実行させるた
   めのプログラムを記憶したコンピュータ読み取り可能な
   記憶媒体。