JP2002051318A - 画像生成装置及び画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 ディスプレイの解像度や画面デザインの
変更に対応すると共に、入力される親動画、子動画、静
止画のサイズ及びフォーマットの様々な変化に対応して
画像を表示すること。 【解決手段】 画像オブジェクト情報格納メモリ１１３
に表示対象である静止画や動画を所定規則に従って制御
可能とする画像オブジェクト情報を記憶し、画像データ
格納メモリ１１２に符号化静止画ストリーム、符号化動
画ストリーム及び静止画データを記憶する。符号化静止
画ストリームを復号する静止画コーデック１０４と、符
号化動画ストリームを復号する動画コーデック１０３
と、静止画コーデック１０４の出力画像、動画コーデッ
ク１０３の出力画像及び静止画データに所定の信号処理
を行う信号処理手段１０５と、信号処理手段１０５の出
力画像を合成する画像合成手段１０６とを、画像生成制
御手段１０１が、記憶画像オブジェクト情報に応じて適
応制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＴＶ会議システム
や、移動体通信システムにおける携帯テレビ電話装置等
の情報通信端末装置に適用され、複数の動画像や静止画
を１つの画面上に合成する画像生成装置及び画像生成方
法に関する。

【０００２】

【従来の技術】従来の画像生成装置としては、例えば図
２に示すＴＶ会議システムに適用されるピクチャー・イ
ン・ピクチャー生成装置２００が上げられる。

【０００３】この図２に示すピクチャー・イン・ピクチ
ャー生成装置２００は、親動画、子動画及び静止画を合
成する装置であり、画像拡大手段２０１と、画像縮小手
段２０２と、画像合成手段２０３と、ディスプレイ２０
４とを備えて構成されている。

【０００４】画像拡大手段２０１は、例えば３５２×２
８８画素で構成される入力親動画を７０４×４８０画素
へと予め定められた固定倍率で拡大処理して出力する。

【０００５】画像縮小手段２０２は、例えば３５２×２
８８画素で構成される入力子動画を１７６×１４４画素
へと予め定められた固定倍率で縮小処理して出力する。

【０００６】画像合成手段２０３は、画像拡大手段２０
１から出力される画像の特定の位置に画像縮小手段２０
２から出力される画像をオーバーレイ処理し、このオー
バーレイ画像に対して例えば最大７０４×４８０画素で
構成される静止画をオーバーレイして出力する。

【０００７】ディスプレイ２０４は、例えば７０４×４
８０画素の解像度を備え、合成画像を表示する。

【０００８】このようなピクチャー・イン・ピクチャー
生成装置１００を用いたＴＶ会議システムを図３に示
し、その説明を行う。

【０００９】図３に示すＴＶ会議システム３００は、ピ
クチャー・イン・ピクチャー生成装置１００の他に、多
重化手段３０１と、動画デコーダ３０２と、動画エンコ
ーダ３０３と、カメラ３０４と、画像縮小手段３０５と
を備えて構成されている。

【００１０】多重化手段３０１は、回線に対する送受信
信号を多重化するものである。動画デコーダ３０２は、
多重化手段３０１を介して回線から受信した動画像ビッ
トストリームを復号し、対局画像を再構成するものであ
る。

【００１１】動画エンコーダ３０３は、自画像を符号化
して回線に送信するものである。カメラ３０４は、自画
像を撮影するものである。画像縮小手段３０５は、例え
ば７０４×４８０画素で構成される自画像信号を３５２
×２８８画素へと予め定められた固定倍率で縮小処理し
て出力するものである。

【００１２】画像拡大手段２０１は、例えば３５２×２
８８画素で構成される対局画像を７０４×４８０画素へ
と予め定められた固定倍率で拡大処理して出力するもの
である。

【００１３】画像縮小手段２０２は、例えば３５２×２
８８画素で構成される自画像を１７６×１４４画素へと
予め定められた固定倍率で縮小処理して出力するもので
ある。

【００１４】画像合成手段２０３は、画像拡大手段２０
１から出力される画像の特定の位置に画像縮小手段２０
２から出力される画像をオーバーレイ処理し、このオー
バーレイ画像に対して、例えば最大７０４×４８０画素
で構成される静止画をオーバーレイして出力するもので
ある。

【００１５】ディスプレイ２０４は、例えば７０４×４
８０画素の解像度を備え、合成後の画像信号を表示する
ものである。

【００１６】このような構成のテレビ会議システム３０
０においては、カメラ３０４で撮影された自画像が、画
像縮小手段３０５に入力される。

【００１７】画像縮小手段３０５は、動画エンコーダ３
０３の動画符号化フォーマットに画像サイズを合わせる
ため、例えば７０４×４８０画素で構成される自画像信
号を３５２×２８８画素に縮小する。

【００１８】動画エンコーダ３０３は、縮小された自画
像信号を符号化して、多重化手段３０１に出力する。多
重化手段３０１は符号化された自画像を回線に送信す
る。

【００１９】また、画像縮小手段３０５から出力された
自画像信号は、画像縮小手段２０２において更に縮小さ
れる。この縮小は、例えば３５２×２８８画素から、１
７６×１４４画素への変換である。これにより、親動画
にオーバーレイされる子動画が生成される。

【００２０】一方、対局より受信された動画像ビットス
トリームは、多重化手段３０１を経て、動画デコーダ３
０２に入力される。動画デコーダ３０２は、動画像ビッ
トストリームを復号して、対局画像を生成する。通常、
動画エンコーダ３０３と動画デコーダ３０２は、同じ動
画符号化フォーマットに基づいて符号／復号化を行うよ
うになっており、動画デコーダ３０２により生成される
対局画像もまた３５２×２８８画素で構成される。

【００２１】更に、動画デコーダ３０２より出力された
対局画像は画像拡大手段２０１に入力されて拡大され
る。この拡大は、例えば３５２×２８８画素から、７０
４×４８０画素への変換であって、これにより親動画が
生成される。

【００２２】次いで、画像合成手段２０３は、親動画で
ある対局画像の特定の位置、例えば右下に子動画である
自画像をオーバーレイ処理する。例えば７０４×４８０
画素で構成される対局画像の一部を、１７４×１４４画
素で構成される自画像が覆い隠すように合成する。

【００２３】更に画像合成手段２０３は、親動画と子動
画のオーバーレイ画像に対し、例えば最大７０４×４８
０画素からなる静止画をオーバーレイ処理して出力す
る。なお、この場合の静止画はその一部が透過画素で構
成され、下位層にある親動画及び子動画が透けるように
構成される場合もある。画像合成手段２０３からの出力
は、ディスプレイ２０４上に表示される。

【００２４】このようにＴＶ会議システム３００に、ピ
クチャー・イン・ピクチャー生成装置１００を用いるこ
とによって、対局話者の画像を受信、表示しつつ、自画
像を同じディスプレイ２０４上で表示することができる
ので、所望の自画像が送信できているか常に確認しなが
らＴＶ会議を行うことができる。

【００２５】また、静止画として図形や文字をオーバー
レイ表示できるので、例えばディスプレイ２０４上での
グラフィカル・ユーザ・インターフェースなどに応用す
ることが可能になる。

【００２６】

【発明が解決しようとする課題】しかしながら、従来の
装置においては、親動画、子動画、静止画の表示サイ
ズ、表示位置、オーバーレイ順が固定となっているの
で、ディスプレイ２０４の解像度や画面デザインが変更
された場合に画像を表示することができないという問題
がある。また、入力される親動画、子動画、静止画のサ
イズが様々に変化する場合に画像を表示することができ
ず、更に入力される親動画、子動画、静止画のフォーマ
ットが様々に変化する場合にも画像を表示することがで
きないという問題がある。

【００２７】本発明はかかる点に鑑みてなされたもので
あり、ディスプレイの解像度や画面デザインの変更に対
応すると共に、入力される親動画、子動画、静止画のサ
イズ及びフォーマットの様々な変化に対応して画像を表
示することができる画像生成装置及び画像生成方法を提
供することを目的とする。

【００２８】

【課題を解決するための手段】本発明の画像生成装置
は、表示対象である静止画や動画を所定規則に従って制
御可能とする画像オブジェクト情報を記憶する第１記憶
手段と、符号化静止画ストリーム、符号化動画ストリー
ム及び静止画データの何れか又は全てを記憶する第２記
憶手段と、この第２記憶手段に記憶された符号化静止画
ストリームを復号する静止画デコーダと、前記第２記憶
手段に記憶された符号化動画ストリームを復号する動画
デコーダと、前記静止画デコーダの出力画像、前記動画
デコーダの出力画像、前記第２記憶手段に記憶された静
止画データに所定の信号処理を行なう信号処理手段と、
前記信号処理手段が出力する画像を合成して出力する画
像合成手段と、前記静止画デコーダ、前記動画デコー
ダ、前記信号処理手段、前記画像合成手段を、前記第１
記憶手段に記憶された画像オブジェクト情報に応じて制
御する画像生成制御手段と、を具備する構成を採る。

【００２９】この構成によれば、画像生成制御手段が画
像オブジェクト情報に応じて符号化静止画ストリームの
復号、符号化動画ストリームの復号、静止画又は動画に
対する信号処理、静止画又は動画の合成といった一連の
処理を制御するので、第２記憶手段に記憶された静止画
や動画の形態とは無関係に一意的に表示を制御すること
が可能になる。

【００３０】本発明の画像生成装置は、上記構成におい
て、静止画及び動画の撮像を行う撮像手段を具備し、画
像生成制御手段が画像オブジェクト情報に基づき前記撮
像手段の撮像処理を制御する構成を採る。

【００３１】この構成によれば、画像生成制御手段が画
像オブジェクト情報に応じて静止画又は動画の撮像処理
を制御するので、撮像手段から入力された静止画や動画
の形態とは無関係に一意的に表示を制御することが可能
になる。

【００３２】本発明の画像生成装置は、上記構成におい
て、画像オブジェクト情報は、画像オブジェクトのＩ
Ｄ、画像オブジェクトのサイズ、画像オブジェクトの生
成位置、画像オブジェクト実体の種類、画像オブジェク
ト実体の存在場所、画像オブジェクトの修飾情報の何れ
か又は全てから成る構成を採る。

【００３３】この構成によれば、画像オブジェクト情報
に画像オブジェクトのサイズ、画像オブジェクトの生成
位置、画像オブジェクトの実体の種類、画像オブジェク
ト実体の存在場所、画像オブジェクトの修飾情報が含ま
れているので、画像生成制御手段が、当該ＩＤを有する
画像データに対して行う処理を特定することが可能にな
る。

【００３４】本発明の画像生成装置は、上記構成におい
て、画像オブジェクト情報における画像オブジェクト実
体の種類は、少なくとも１つの符号化方式で符号化され
た符号化静止画ストリーム、少なくとも１つの符号化方
式で符号化された符号化動画ストリーム、少なくとも１
つのフォーマットに従った静止画データ、カメラ入力画
像、及び実体無しから成る構成を採る。

【００３５】この構成によれば、実体の種類に実体なし
が定義されているため、符号化された静止画、符号化さ
れた動画、静止画、カメラ入力画像といった実データが
存在する画像の表示が可能になるのはもちろん、実デー
タが存在しない画像を生成して表示することが可能にな
る。

【００３６】本発明の画像生成装置は、上記構成におい
て、画像オブジェクト実体の存在場所は、第２記憶手段
の所定番地の記憶領域、撮像手段、及び存在場所無しか
ら成る構成を採る。

【００３７】この構成によれば、実体の存在場所に存在
場所なしが定義されているため、符号化された静止画、
符号化された動画、静止画、カメラ入力画像といった実
データの存在場所が特定される画像の表示が可能になる
のはもちろん、実データの存在場所がない画像を生成し
て表示することが可能になる。

【００３８】本発明の画像生成装置は、上記構成におい
て、画像オブジェクト階層情報を記憶する第３記憶手段
を具備し、画像生成制御手段が画像オブジェクト情報及
び前記画像オブジェクト階層情報に基づき画像合成手段
の処理を制御する構成を採る。

【００３９】この構成によれば、複数画像を第３記憶手
段に記憶された階層情報に基づいた順番で階層的に表示
することが可能になる。

【００４０】本発明の画像生成装置は、上記構成におい
て、画像オブジェクト階層情報は、画像オブジェクトの
階層構造を画像オブジェクトのＩＤを参照して記述され
る構成を採る。

【００４１】この構成によれば、画像オブジェクトのＩ
Ｄのみを第３記憶手段に記憶させることにより、複数画
像を階層的に表示することが可能になる。

【００４２】本発明の画像生成装置は、上記構成におい
て、動画デコーダは、動画１フレームの復号完了を画像
生成制御手段に通知する構成を採る。

【００４３】この構成によれば、動画１フレームの復号
完了が画像生成制御手段に通知されるので、復号途中の
画像が表示されることがない。

【００４４】本発明の画像生成装置は、上記構成におい
て、撮像手段は、動画１フレームの入力完了を画像生成
制御手段に通知する構成を採る。

【００４５】この構成によれば、動画１フレームの入力
完了が画像生成制御手段に通知されるので、カメラ入力
途中の画像が表示されることがない。

【００４６】本発明の画像生成装置は、上記構成におい
て、画像生成制御手段は、外部からの画像生成指示、動
画デコーダからの動画１フレーム復号完了、撮像手段か
らの動画１フレーム入力完了の何れかを通知されたと
き、動画デコーダ、静止画デコーダ、信号処理手段、画
像合成手段の何れか又は全てを制御する構成を採る。

【００４７】この構成によれば、外部からの画像生成指
示、動画デコーダからの動画１フレーム復号完了、撮像
手段からの動画１フレーム入力完了の何れかが画像生成
制御手段に通知されるので、外部から任意の時点で画像
生成指示が通知されれば画像を表示し、かつ、復号途中
の画像やカメラ入力途中の画像が表示されることがな
い。

【００４８】本発明の画像生成装置は、上記構成におい
て、信号処理手段は、画像の描画、拡大、縮小、トリミ
ング、マッピング、回転、上下ミラー反転、左右ミラー
反転、フォーマット変換、ビット精度変換の何れか又は
全てを行なう構成を採る。

【００４９】この構成によれば、信号処理手段が画像オ
ブジェクト情報に従い、静止画又は動画の拡大、縮小、
トリミング、マッピング、回転、上下ミラー反転、左右
ミラー反転、フォーマット変換、ビット精度変換、又は
静止画の描画を行うので自由度の高い表示が可能にな
る。

【００５０】本発明のＴＶ会議システムは、上記いずれ
かと同構成の画像生成装置を具備する構成を採る。

【００５１】この構成によれば、ＴＶ会議システムにお
いて、上記いずれかと同様の作用効果を得ることができ
る。

【００５２】本発明の情報通信端末装置は、上記いずれ
かと同構成の画像生成装置を具備する構成を採る。

【００５３】この構成によれば、情報通信端末装置にお
いて、上記いずれかと同様の作用効果を得ることができ
る。

【００５４】本発明の画像生成方法は、符号化静止画ス
トリーム、符号化動画ストリーム及び静止画データの何
れか又は全てを記憶し、前記符号化静止画ストリームの
復号処理と、前記符号化動画ストリームの復号処理と、
前記復号処理後の符号化静止画ストリームの画像、前記
復号処理後の符号化動画ストリームの画像及び前記静止
画データの所定の信号処理と、この信号処理後の画像の
合成処理とを、表示対象である静止画や動画を所定規則
に従って制御可能とする画像オブジェクト情報に応じて
適応制御するようにした。

【００５５】この方法によれば、画像オブジェクト情報
に応じて、符号化静止画ストリームの復号、符号化動画
ストリームの復号、静止画又は動画に対する信号処理、
静止画又は動画の合成といった一連の処理が適応制御さ
れるので、記憶された静止画や動画の形態とは無関係に
一意的に表示を制御することが可能になる。

【００５６】本発明の画像生成方法は、上記方法におい
て、画像オブジェクト階層情報を記憶し、画像オブジェ
クト情報及び前記画像オブジェクト階層情報に基づき画
像の合成処理を制御するようにした。

【００５７】この方法によれば、複数画像を階層情報に
基づいた順番で階層的に表示することが可能になる。

【００５８】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００５９】（実施の形態）図１は、本発明の実施の形
態に係る画像生成装置の構成を示すブロック図である。

【００６０】図１に示す画像生成装置１００は、画像生
成制御手段１０１と、ワークメモリ１０２と、動画コー
デック１０３と、静止画コーデック１０４と、信号処理
手段１０５と、画像合成手段１０６と、フレームメモリ
１０７と、ディスプレイ１０８と、カメラ用フレームメ
モリ１０９と、カメラ１１０と、カメラコントローラ１
１１と、画像データ格納メモリ１１２と、画像オブジェ
クト情報格納メモリ１１３と、画像オブジェクト階層情
報格納メモリ１１４とを備えて構成されている。

【００６１】画像データ格納メモリ１１２は、外部から
入力される画像データ情報である符号化静止画ストリー
ム、符号化動画ストリーム、静止画データを格納するも
のである。

【００６２】画像オブジェクト情報格納メモリ１１３
は、外部から入力される画像オブジェクト情報を格納す
るものである。

【００６３】画像オブジェクト情報とは、表示対象であ
る静止画や動画を予め定められた規則に従って制御可能
とする情報である。例えば、静止画又は動画であること
を示すＩＤや、ディスプレイの何処に表示しなさい、縮
小して表示しなさい、特殊な信号処理を施して表示しな
さい、といった命令をオブジェクト化したものであり、
静止画も動画も共通の概念で制御可能とするものであ
る。

【００６４】画像オブジェクト階層情報格納メモリ１１
４は、外部から入力された画像オブジェクト階層情報を
格納するものである。

【００６５】カメラコントローラ１１１は、静止画及び
動画を撮像するカメラ１１０を制御するものである。

【００６６】カメラ用フレームメモリ１０９は、カメラ
１１０からの入力画像を格納するものである。

【００６７】ディスプレイ１０８は、フレームメモリ１
０７に格納された画像を表示するものである。

【００６８】動画コーデック１０３は、画像データ格納
メモリ１１２に格納された符号化動画ストリームを復号
し、この復号画像をワークメモリ１０２に展開するもの
である。

【００６９】静止画コーデック１０４は、画像データ格
納メモリ１１２に格納された符号化静止画ストリームを
復号し、この復号画像をワークメモリ１０２に展開する
ものである。

【００７０】信号処理手段１０５は、ワークメモリ１０
２又は画像データ格納メモリ１１２に格納された画像デ
ータに対し、拡大、縮小、トリミング、マッピング、回
転、上下ミラー反転、左右ミラー反転、フォーマット変
換、ビット精度変換などの信号処理を行ってワークメモ
リ１０２に格納するものである。又はワークメモリ１０
２に直接画像描画を行うものである。

【００７１】画像合成手段１０６は、ワークメモリ１０
２に格納された複数の画像に対して合成処理を行い、こ
の合成画像をフレームメモリ１０７に格納するものであ
る。

【００７２】画像生成制御手段１０１は、外部からの画
像生成指示又は動画コーデック１０３からの１フレーム
復号完了通知又は、カメラコントローラ１１１からの１
フレーム入力完了通知があった際に、画像オブジェクト
情報及び画像オブジェクト階層情報に基づいて、カメラ
コントローラ１１１、動画コーデック１０３、静止画コ
ーデック１０４、信号処理手段１０５、画像合成手段１
０６を制御するものである。

【００７３】このような構成の画像生成装置１００の動
作を説明する。

【００７４】まず、画像オブジェクト情報及び画像オブ
ジェクト階層情報について説明する。１つの画像オブジ
ェクト情報は、ディスプレイ１０８に表示される１単位
画像に対応する。１つの画像オブジェクト情報は、例え
ばＣ言語風に表現すれば、次のような構造体メンバによ
り構成される。 ｛ＶＯＩＤ 画像オブジェクトのＩＤ； ／＊本画像オ
ブジェクト固有のＩＤ＊／ ＶＯＩＤ 画像オブジェクトのサイズ； ／＊表示され
る際の水平／垂直の画素数＊／ ＶＯＩＤ 画像オブジェクトの生成位置； ／＊表示さ
れる際のディスプレイ内での位置＊／ ＶＯＩＤ 画像オブジェクト実体の種類； ／＊符号化
静止画ストリーム又は符号化動画ストリーム又は静止画
データ又はカメラ入力画像又は実体なし＊／ ＶＯＩＤ 画像オブジェクト実体の存在場所； ／＊画
像データ格納メモリ上の所定番地又はカメラ又は存在場
所なし＊／ ＶＯＩＤ 画像オブジェクトの修飾情報； ／＊表示さ
れる際の画像処理＊／} 画像オブジェクト階層情報は、画像オブジェクトのＩＤ
により、ディスプレイ１０８に重なって表示される各単
位画像の階層関係を示す。画像オブジェクト階層情報格
納メモリ１１４上で、例えば、ＩＤ１、ＩＤ３、ＩＤ
５、ＩＤ２、ＩＤ４の順に格納されている場合は、ＩＤ
１番を持つ画像オブジェクトに対応した単位画像の表示
が最も下位層となり、ＩＤ４番を持つ画像オブジェクト
に対応した単位画像の表示が最も上位層となる。

【００７５】以下、画像の生成処理を説明する。

【００７６】画像データ格納メモリ１１２、画像オブジ
ェクト情報格納メモリ１１３、画像オブジェクト階層情
報格納メモリ１１４に対し、それぞれ次に示す情報を外
部より格納する。

【００７７】（１）画像データ格納メモリ１１２ 画像データ１：ＪＰＥＧ符号化された符号化静止画スト
リーム 画像データ２：ＭＰＥＧ−４符号化された符号化動画ス
トリーム 画像データ３：Ｙ：Ｃｂ：Ｃｒ ＝４：２：２フォーマ
ットの３５２×２８８画素からなる静止画データ （２）画像オブジェクト情報格納メモリ１１３ 画像オブジェクト情報１：{ 画像オブジェクトのＩＤ＝1； 画像オブジェクトのサイズ＝１７６×２４０； 画像オブジェクトの生成位置＝（０，０）； 画像オブジェクト実体の種類 ＝ 実体なし； 画像オブジェクト実体の存在場所 ＝ 存在場所なし； 画像オブジェクトの修飾情報 ＝ ブルーで塗りつぶし； } 画像オブジェクト情報２：{ 画像オブジェクトのＩＤ＝２； 画像オブジェクトのサイズ＝１７６×１４４； 画像オブジェクトの生成位置＝（０，０）； 画像オブジェクト実体の種類＝ＭＰＥＧ−４符号化動画ストリーム； 画像オブジェクト実体の存在場所＝画像データ格納メモリＸ番地； 画像オブジェクトの修飾情報＝なし； } 画像オブジェクト情報３：{ 画像オブジェクトのＩＤ＝３； 画像オブジェクトのサイズ＝８８×７２； 画像オブジェクトの生成位置＝（８８，１４４）； 画像オブジェクト実体の種類＝カメラ入力画像； 画像オブジェクト実体の存在場所＝カメラ； 画像オブジェクトの修飾情報＝白で縁取りかつ左右反転； } 画像オブジェクト情報４：{ 画像オブジェクトのＩＤ＝４； 画像オブジェクトのサイズ＝５０×４６； 画像オブジェクトの生成位置＝（０，１３０）； 画像オブジェクト実体の種類＝ＪＰＥＧ符号化静止画ストリーム； 画像オブジェクト実体の存在場所＝画像データ格納メモリＹ番地； 画像オブジェクトの修飾情報＝左に９０°回転； } 画像オブジェクト情報５：{ 画像オブジェクトのＩＤ＝５； 画像オブジェクトのサイズ＝５０×５０； 画像オブジェクトの生成位置＝（０，１９０）； 画像オブジェクト実体の種類＝静止画データ（Ｒ：Ｇ：Ｂ＝４：４：４、３ ２０×２４０）； 画像オブジェクト実体の存在場所＝画像データ格納メモリＺ番地； 画像オブジェクトの修飾情報＝トリミング； } （３）画像オブジェクト階層情報格納メモリ１１４ ＩＤ１、ＩＤ３、ＩＤ５、ＩＤ２、ＩＤ４の順に下位よ
り上位階層 以上の情報を外部より格納完了した後、画像生成制御手
段１０１に対し、外部より画像生成指示を与えた後の画
像生成装置１００の動作を、ステップ１〜６で説明す
る。

【００７８】（ステップ１）画像生成制御手段１０１
は、画像オブジェクト情報格納メモリ１１３にアクセス
し、画像オブジェクト情報１を読み取って解読する。こ
の結果、画像オブジェクトの実体の種類が実体無しであ
る場合、信号処理手段１０５に対して、画像オブジェク
ト１の画像オブジェクト情報を通知すると共に、処理結
果をワークメモリ１０２の所定アドレスの記憶領域に格
納するように指令を出す。

【００７９】この指令を受けた信号処理手段１０５は、
Ｒ：Ｇ：Ｂ＝８：８：８フォーマットでブルーに塗りつ
ぶされた静止画データを１７６×２４０画素分、ワーク
メモリ１０２の所定アドレスの記憶領域に格納する。

【００８０】（ステップ２）画像生成制御手段１０１
は、画像オブジェクト情報格納メモリ１１３をアクセス
し、画像オブジェクト情報２を読み取って解読する。こ
の結果、画像オブジェクトの実体の種類がＭＰＥＧ−４
符号化動画ストリームである場合、動画コーデック１０
３をＭＰＥＧ−４モードで起動すると共に、ＭＰＥＧ−
４符号化動画ストリームが格納される画像データ格納メ
モリ１１２のアドレスＸ番地を動画コーデック１０３に
通知する。

【００８１】この通知に応じて動画コーデック１０３
は、画像データ格納メモリ１１２のＸ番地よりＭＰＥＧ
−４符号化動画ストリームを読み出しながら復号を開始
する。

【００８２】次いで、１フレームの復号が完了し、復号
画像１フレームをワークメモリ１０２に格納完了する
と、動画コーデック１０３は画像生成制御手段１０１に
対して、１フレーム復号完了通知と共に、復号された１
フレームのサイズ（例えば、３５２×２８８）を送信す
る。

【００８３】１フレーム復号完了通知を受信した画像生
成制御手段１０１は、復号された１フレームのサイズ及
び画像オブジェクト２の画像オブジェクト情報を信号処
理手段１０５に通知すると共に、復号画像に対する処理
結果をワークメモリ１０２の所定アドレスに格納するよ
う指令を出す。

【００８４】この指令を受けた信号処理手段１０５は、
復号画像の縮小処理（５３２×２８８から１７６×１４
４）と共に、Ｙ：Ｃｂ：Ｃｒ＝４：２：０からＲ：Ｇ：
Ｂ＝８：８：８へのフォーマット変換を行なって、画像
データを１７６×１４４画素分、ワークメモリ１０２の
所定のアドレスに格納する。その後も、１フレームの復
号が完了するたび、同様の処理を繰り返し行なう。

【００８５】（ステップ３）画像生成制御手段１０１
は、画像オブジェクト情報格納メモリ１１３をアクセス
し、画像オブジェクト情報３を読み取って解読する。こ
の結果、画像オブジェクトの実体の種類がカメラ入力画
像である場合、カメラコントローラ１１１を制御してカ
メラを起動する。

【００８６】次いで、カメラ用フレームメモリ１０９に
対する１フレームの格納が完了すると、カメラコントロ
ーラ１１１は画像生成制御手段１０１に対して、１フレ
ーム入力完了通知と共に、１フレームのサイズ（例え
ば、１７６×１４４）を送信する。

【００８７】１フレーム入力完了通知を受信した画像生
成制御手段１０１は、１フレームのサイズ及び画像オブ
ジェクト３の画像オブジェクト情報を信号処理手段１０
５に通知すると共に、カメラ入力画像に対する処理結果
をワークメモリ１０２の所定アドレスに格納するよう指
令を出す。

【００８８】この指令を受けた信号処理手段１０５は、
カメラ入力画像の左右反転処理、縮小処理（１７６×１
４４から８８×７２）と共にＹ：Ｃｂ：Ｃｒ＝４：２：
２からＲ：Ｇ：Ｂ＝８：８：８へのフォーマット変換を
行なって、画像データを８８×７２画素分ワークメモリ
１０２の所定のアドレスに格納する。

【００８９】更に信号処理手段１０５は、ワークメモリ
１０２に格納された８８×７２画素の周囲を、Ｒ：Ｇ：
Ｂ＝８：８：８で白く線描する。その後も、１フレーム
の入力が完了するたび、同様の処理を繰り返し行なう。

【００９０】（ステップ４）画像生成制御手段１０１
は、画像オブジェクト情報格納メモリ１１３をアクセス
し、画像オブジェクト情報４を読み取って解読する。こ
の結果、画像オブジェクトの実体の種類がＪＰＥＧ符号
化静止画ストリームである場合、静止画コーデック１０
４をＪＰＥＧモードで起動すると共に、ＪＰＥＧ符号化
静止画ストリームが格納される画像データ格納メモリ１
１２のアドレスＹ番地を静止画コーデック１０４に通知
する。

【００９１】この通知に応じて静止画コーデック１０４
は、画像データ格納メモリ１１２のＹ番地よりＪＰＥＧ
符号化静止画ストリームを読み出しながら復号を開始す
る。次いで、１フレームの復号が完了し、復号画像１フ
レームをワークメモリ１０２に格納完了すると静止画コ
ーデック１０４は、画像生成制御手段１０１に対し、１
フレーム復号完了通知と共に、復号された１フレームの
サイズ（例えば、６４０×４００）を送信する。

【００９２】１フレーム復号完了通知を受信した画像生
成制御手段１０１は、復号された１フレームのサイズ及
び画像オブジェクト４の画像オブジェクト情報を信号処
理手段１０５に通知すると共に、復号画像に対する処理
結果をワークメモリ１０２の所定アドレスに格納するよ
う指令を出す。

【００９３】この指令を受けた信号処理手段１０５は、
復号画像の左９０°回転処理、縮小処理（４００×６４
０から５０×４６）と共に、Ｙ：Ｃｂ：Ｃｒ＝４：２：
２からＲ：Ｇ：Ｂ＝８：８：８へのフォーマット変換を
行なって、画像データを５０×４６画素分、ワークメモ
リ１０２の所定のアドレスに格納する。

【００９４】（ステップ５）画像生成制御手段１０１
は、画像オブジェクト情報格納メモリ１１３をアクセス
し、画像オブジェクト情報５を読み取って解読する。こ
の結果、画像オブジェクトの実体の種類が静止画データ
である場合、静止画データのサイズ（３２０×２４０）
とフォーマット（Ｒ：Ｇ：Ｂ＝４：４：４）及び画像オ
ブジェクト５の画像オブジェクト情報を信号処理手段１
０５に通知すると共に、静止画に対する処理結果をワー
クメモリ１０２の所定アドレスに格納するよう指令を出
す。

【００９５】この指令を受けた信号処理手段１０５は、
静止画のトリミング処理（３２０×２４０から５０×５
０）と共にＲ：Ｇ：Ｂ＝４：４：４からＲ：Ｇ：Ｂ＝
８：８：８へのフォーマット変換を行なって、画像デー
タを５０×５０画素分、ワークメモリ１０２の所定のア
ドレスに格納する。

【００９６】（ステップ６）以上ステップ１から５によ
り、画像オブジェクト情報１から５に対応する画像が、
共通フォーマット（Ｒ：Ｇ：Ｂ＝８：８：８）で、各々
ワークメモリ１０２の所定アドレスに格納されたことに
なる。

【００９７】次いで、画像生成制御手段１０１は、画像
オブジェクト階層情報格納メモリ１１４に格納される画
像オブジェクト階層情報、画像オブジェクト情報格納メ
モリに格納される画像オブジェクト情報、及び各画像オ
ブジェクトＩＤと対応する画像が格納されているワーク
メモリ１０２のアドレスを画像合成手段１０６に通知す
ると共に、全画像オブジェクトの合成結果をワークメモ
リ１０２の所定アドレスに格納するよう指令を出す。

【００９８】合成の方法はいろいろ考えられるが、最も
簡単な方法は、画像オブジェクト階層情報に示される最
下位の画像オブジェクトに対応する画像よりワークメモ
リ１０２上に展開してゆき、より上位の画像オブジェク
トに対応する画像を順にオーバーライトしてゆく方法で
ある。

【００９９】以上、画像の生成処理を説明したが、これ
は一例であり、画像オブジェクトの最大個数は５個に制
限されるものではない。また、動画、静止画符号化方式
もＭＰＥＧ−４、ＪＰＥＧに制限されるものではない。

【０１００】また、合成処理を行なう前に画像のフォー
マットをＲ：Ｇ：Ｂ＝８：８：８に統一しているが、他
のフォーマットに統一するようにすることもできる。更
には統一せず、合成の過程でフォーマットの整合を図る
ようにすることも可能である。更に、画像オブジェクト
情報、画像オブジェクト階層情報は、他の構成によって
記述されてもよい。

【０１０１】このように、実施の形態の画像生成装置１
００によれば、画像オブジェクト情報及び画像オブジェ
クト階層情報の記述を変更することで、動画、静止画の
表示サイズ、表示位置、オーバーレイ順の変更が可能と
なる。

【０１０２】また、入力画像及び復号により得られる画
像と表示画像のサイズ変換を信号処理手段が適応的に行
なう。更に、動画コーデック、静止画コーデック、信号
処理手段を備えているので、動画像、静止画のフォーマ
ットが様々に変化する場合でも対応できる。

【０１０３】即ち、画像オブジェクト情報及び画像オブ
ジェクト階層情報の記述を変更することで、動画、静止
画の表示サイズ、表示位置、オーバーレイ順が変更可能
なので、ディスプレイの解像度や画面デザインが変更さ
れても、容易に対応して画像を表示することができる。

【０１０４】また、入力画像及び復号により得られる画
像と表示画像のサイズ変換を信号処理手段が適応的に行
なうので、どのようなサイズの動画、静止画でも表示可
能である。更に、動画コーデック、静止画コーデック、
信号処理手段を備えているので、動画像、静止画のフォ
ーマットが様々に変化する場合でも表示可能なように対
応することができる。

【０１０５】

【発明の効果】以上説明したように、本発明によれば、
ディスプレイの解像度や画面デザインの変更に対応する
と共に、入力される親動画、子動画、静止画のサイズ及
びフォーマットの様々な変化に対応して画像を表示する
ことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像生成装置の構成
を示すブロック図

【図２】従来のピクチャー・イン・ピクチャー生成装置
の構成を示すブロック図

【図３】従来のピクチャー・イン・ピクチャー生成装置
を用いたＴＶ会議システムの構成を示すブロック図

【符号の説明】

１０１ 画像生成制御手段 １０２ ワークメモリ １０３ 動画コーデック １０４ 静止画コーデック １０５ 信号処理手段 １０６ 画像合成手段 １０７ フレームメモリ １０８ ディスプレイ １０９ カメラ用フレームメモリ １１０ カメラ １１１ カメラコントローラ １１２ 画像データ格納メモリ １１３ 画像オブジェクト情報格納メモリ １１４ 画像オブジェクト階層情報格納メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ ５Ｃ０６４ (72)発明者 加宅田 忠 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CB01 CB08 CD03 CD05 CE08 CG07 CH11 5B069 AA20 BA01 BA04 BB16 CA06 DD11 DD13 DD14 DD15 DD16 FA01 5C023 AA02 AA03 AA04 AA05 AA06 AA15 AA18 AA27 AA31 AA34 AA37 AA38 BA11 CA03 CA05 DA04 5C053 FA14 GB21 JA16 JA21 KA03 KA24 LA01 LA15 5C059 KK37 KK38 MA00 MB21 PP01 PP04 RC19 SS07 UA05 5C064 AA02 AB03 AB04 AC04 AC05 AC14 AC18 AD02 AD14

Claims (15)

【特許請求の範囲】
1. 【請求項１】 表示対象である静止画や動画を所定規則
   に従って制御可能とする画像オブジェクト情報を記憶す
   る第１記憶手段と、符号化静止画ストリーム、符号化動
   画ストリーム及び静止画データの何れか又は全てを記憶
   する第２記憶手段と、この第２記憶手段に記憶された符
   号化静止画ストリームを復号する静止画デコーダと、前
   記第２記憶手段に記憶された符号化動画ストリームを復
   号する動画デコーダと、前記静止画デコーダの出力画
   像、前記動画デコーダの出力画像、前記第２記憶手段に
   記憶された静止画データに所定の信号処理を行なう信号
   処理手段と、前記信号処理手段が出力する画像を合成し
   て出力する画像合成手段と、前記静止画デコーダ、前記
   動画デコーダ、前記信号処理手段、前記画像合成手段
   を、前記第１記憶手段に記憶された画像オブジェクト情
   報に応じて制御する画像生成制御手段と、を具備するこ
   とを特徴とする画像生成装置。
2. 【請求項２】 静止画及び動画の撮像を行う撮像手段を
   具備し、画像生成制御手段が画像オブジェクト情報に基
   づき前記撮像手段の撮像処理を制御することを特徴とす
   る請求項１記載の画像生成装置。
3. 【請求項３】 画像オブジェクト情報は、画像オブジェ
   クトのＩＤ、画像オブジェクトのサイズ、画像オブジェ
   クトの生成位置、画像オブジェクト実体の種類、画像オ
   ブジェクト実体の存在場所、画像オブジェクトの修飾情
   報の何れか又は全てから成ることを特徴とする請求項１
   又は請求項２記載の画像生成装置。
4. 【請求項４】 画像オブジェクト情報における画像オブ
   ジェクト実体の種類は、少なくとも１つの符号化方式で
   符号化された符号化静止画ストリーム、少なくとも１つ
   の符号化方式で符号化された符号化動画ストリーム、少
   なくとも１つのフォーマットに従った静止画データ、カ
   メラ入力画像、及び実体無しから成ることを特徴とする
   請求項３記載の画像生成装置。
5. 【請求項５】 画像オブジェクト実体の存在場所は、第
   ２記憶手段の所定番地の記憶領域、撮像手段、及び存在
   場所無しから成ることを特徴とする請求項４記載の画像
   生成装置。
6. 【請求項６】 画像オブジェクト階層情報を記憶する第
   ３記憶手段を具備し、画像生成制御手段が画像オブジェ
   クト情報及び前記画像オブジェクト階層情報に基づき画
   像合成手段の処理を制御することを特徴とする請求項１
   から請求項５いずれかに記載の画像生成装置。
7. 【請求項７】 画像オブジェクト階層情報は、画像オブ
   ジェクトの階層構造を画像オブジェクトのＩＤを参照し
   て記述されることを特徴とする請求項６記載の画像生成
   装置。
8. 【請求項８】 動画デコーダは、動画１フレームの復号
   完了を画像生成制御手段に通知することを特徴とする請
   求項１記載の画像生成装置。
9. 【請求項９】 撮像手段は、動画１フレームの入力完了
   を画像生成制御手段に通知することを特徴とする請求項
   ２又は請求項５記載の画像生成装置。
10. 【請求項１０】 画像生成制御手段は、外部からの画像
    生成指示、動画デコーダからの動画１フレーム復号完
    了、撮像手段からの動画１フレーム入力完了の何れかを
    通知されたとき、動画デコーダ、静止画デコーダ、信号
    処理手段、画像合成手段の何れか又は全てを制御するこ
    とを特徴とする請求項１，２，６，８，９いずれかに記
    載の画像生成装置。
11. 【請求項１１】 信号処理手段は、画像の描画、拡大、
    縮小、トリミング、マッピング、回転、上下ミラー反
    転、左右ミラー反転、フォーマット変換、ビット精度変
    換の何れか又は全てを行なうことを特徴とする請求項１
    又は請求項１０記載の画像生成装置。
12. 【請求項１２】 請求項１から請求項１１いずれかに記
    載の画像生成装置を具備することを特徴とするＴＶ会議
    システム。
13. 【請求項１３】 請求項１から請求項１１いずれかに記
    載の画像生成装置を具備することを特徴とする情報通信
    端末装置。
14. 【請求項１４】 符号化静止画ストリーム、符号化動画
    ストリーム及び静止画データの何れか又は全てを記憶
    し、前記符号化静止画ストリームの復号処理と、前記符
    号化動画ストリームの復号処理と、前記復号処理後の符
    号化静止画ストリームの画像、前記復号処理後の符号化
    動画ストリームの画像及び前記静止画データの所定の信
    号処理と、この信号処理後の画像の合成処理とを、表示
    対象である静止画や動画を所定規則に従って制御可能と
    する画像オブジェクト情報に応じて適応制御することを
    特徴とする画像生成方法。
15. 【請求項１５】 画像オブジェクト階層情報を記憶し、
    画像オブジェクト情報及び前記画像オブジェクト階層情
    報に基づき画像の合成処理を制御することを特徴とする
    請求項１４記載の画像生成方法。