JP2004164668A

JP2004164668A - 画像生成装置及び画像生成方法

Info

Publication number: JP2004164668A
Application number: JP2004008934A
Authority: JP
Inventors: Takao Yamaguchi; 孝雄山口; Masamichi Nakagawa; 雅通中川; Fumio Maehara; 文雄前原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-01-16
Filing date: 2004-01-16
Publication date: 2004-06-10

Abstract

【課題】表現力の豊かな画像生成処理を行う。
【解決手段】画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理する対象物固有情報管理手段５１と、前記対象物の固有情報に基づき、前記対象物の演出効果を管理することを特徴とする画像生成装置である。
【選択図】図１０

Description

本発明は表現力の豊かな画像合成を行う画像生成装置および方法に関するものである。

従来より、自分側空間の風景の画像中から、例えば人物画像を抽出し、その画像と相手側から送られてきた人物画像と予め記憶されている相手側と共通的に表示する仮想的な空間の画像とを重畳して表示することにより、相手が自分の前にいるという実在感を充足し、臨場感のある映像通信を目指したものがある（特許文献１、非特許文献１、非特許文献２）。

従来の技術では、オフィスでの利用を考えた会議システムのような各端末間の性能や通信容量がほぼ対等な通信環境を前提に画像合成を応用した画像通信サービスを提供するためのシステムが考えられてきた。従って、各端末間の性能が大きく異なり、端末間の通信容量が大きく異なるＣＡＴＶのような通信環境下を前提にした画像合成を応用した画像通信システムについては考慮されていない。

従来技術では、Ethernet（Ｒ）やＮ−ＩＳＤＮのような通信帯域が狭いシステムを対象としていたため、動画情報を活用したような表現力豊かな画像合成は実現されていなかった。また、センター側端末から家庭側端末への通信容量が大きく、逆方向の通信容量は小さい、双方向ＣＡＴＶにおいては、従来、映画やゲームなどの既存のパッケージソフトを利用者の要求に応じてセンター側端末から家庭側端末へ伝送する用途が多かった（双方向ＣＡＴＶの通信特性を活かした画像合成の通信方式は考慮されていない）。なお、本発明で考慮している通信形態は、有線の双方向ＣＡＴＶだけではなく、センター側端末（放送局）から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）で、センター側端末と家庭側端末との制御データのやり取りはアナログの電話回線やＮ−ＩＳＤＮであってもよい。

また、従来の技術では、あらかじめ家庭側端末に前景を作成するイメージ情報で表現された前景画像部品（例えば、人物キャラクタ）と背景画像（同様に、イメージ情報で表現される風景になるような”山や太陽”）をＣＤ−ＲＯＭなどに持たせている（前景と背景の区別はシステム設計者が予め決定しておく）。ある家庭側端末から利用者が前景情報や背景情報を操作するコマンド要求を発生させれば、アナログの電話回線のような低速の通信回線を使って、センター側端末などを経由して、他の利用者の家庭側端末に表示されている前景情報と背景情報をコマンド要求に応じて変更させる（コマンドのみのやり取り）。従って、本発明で実現しているような動画情報を有効に利用した、ＣＡＴＶの通信特性を利用した動きのある臨場感のある画像通信システムは実現できていない。

さらに、従来の技術では画像の合成方法は利用者がキーボードやマウスといった入力デバイスを用いて、利用者が明示的に操作する必要があったため、利用者の端末の利用状況に応じた画像合成を行うのは十分ではなかった。
特公平４―２４９１４号公報「ハイパーメディアパーソナルコンピュータコミュニケーションシステム」（Fukuda, K., Tahara, T., Miyoshi, T.:"Hypermedia Personal Computer Communication System: Fujitsu Habitat", FUJITSU Sci. Tech.J., 26, 3, pp.197-206(October 1990).）中村：「ネットワーク対応仮想現実感による分散協同作業支援」、情報処理学会オーディオビジュアル複合情報処理研究会(1993)

従来の手法では、表現力の豊かな画像合成を活用した画像通信サービスが実現できていないという課題がある。

本発明の目的は、表現力の豊かな画像合成が可能な画像生成装置を実現することを目的とする。

本発明は、画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、前記対象物の演出効果を管理するものである。

また、画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールおよび位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物の位置情報に応じた前記対象物の演出効果を管理するものである。

また、少なくとも１つ以上の前景画像と少なくとも１つ以上の背景画像を合成するとともに、画像の演出を行う画像生成装置であって、合成画像を作成する対象物の位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物間の位置情報を管理する対象物間位置情報管理手段と、前記対象物間の位置情報に基づき、対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理手段と、これら各手段を制御する画像合成制御手段とを具備し、前記対象物相互干渉情報管理手段は、前記相互干渉の情報に応じた演出効果を管理するものである。

以上のように、本発明によれば、表現力の豊かな画像合成を実現することが可能である。

本発明の第１の実施形態は、画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、前記対象物の演出効果を管理するものである。

本発明の第２の実施形態は、画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールおよび位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物の位置情報に応じた前記対象物の演出効果を管理するものである。

本発明の第３の実施形態は、少なくとも１つ以上の前景画像と少なくとも１つ以上の背景画像を合成するとともに、画像の演出を行う画像生成装置であって、合成画像を作成する対象物の位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物間の位置情報を管理する対象物間位置情報管理手段と、前記対象物間の位置情報に基づき、対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理手段と、これら各手段を制御する画像合成制御手段とを具備し、前記対象物相互干渉
情報管理手段は、前記相互干渉の情報に応じた演出効果を管理するものである。

好ましくは、上記実施形態において、映像の特徴量を抽出する映像特徴量抽出手段を具備し、前記映像の特徴量に基づいて、前記演出効果を管理するものである。

更に好ましくは、映像特徴量抽出手段が、映像の色相情報を調べる色相特徴量抽出手段と、映像の輝度情報を調べる輝度特徴量抽出手段と、映像の彩度情報を調べる彩度特徴量抽出手段のうち、少なくとも１つ以上の映像の特徴量を抽出する手段を具備するものである。

また好ましくは、上記実施形態において音声の特徴量を抽出する音声特徴量抽出手段を具備し、前記音声特徴量に基づいて、前記演出効果を管理するものである。

更に好ましくは、音声特徴量抽出手段が、音声の大きさを調べる音量抽出手段と、音声のピッチを調べる音声ピッチ抽出手段と、利用者の発話命令を調べる発話命令抽出手段のうち、少なくとも１つ以上の音声の特徴量を抽出する手段から構成されるものである。

本発明の第４の実施形態は、画像を合成するとともに、前記画像の演出を行う画像生成方法であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理し、前記対象物の固有情報に基づき、前記対象物の演出を行う画像生成方法である。

本発明の第５の実施形態は、画像を合成するとともに、前記画像の演出を行う画像生成方法であって、合成画像を作成する対象物の演出ルールおよび位置情報を含む固有情報を管理し、前記対象物の固有情報に基づき、対象物の位置情報に応じた前記対象物の演出を行う画像生成方法である。

本発明の第６の実施形態は、少なくとも１つ以上の前景画像と少なくとも１つ以上の背景画像を合成するとともに、画像の演出を行う画像生成方法であって、画像を作成する対象物の位置情報を含む固有情報を管理するとともに、対象物間の位置情報を管理し、前記対象物間の位置情報に基づき、対象物間の相互干渉の情報を管理し、前記相互干渉の情報に応じた演出を行う画像生成方法である。
（実施例）
以下、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例における画像合成装置の概略構成図である。図１の構成は、ＣＡＴＶを対象とした場合、センター側端末（端末支援装置１０２）で画像合成に関する情報を集中して管理、画像合成を行い、家庭側端末（端末装置１０１）へ、画像合成された情報を映像で送信を行うための集中管理型のシステム構成図に相当する。

画像合成端末装置１０１を構成する入出力部１１は、カメラ、スキャナー、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、タブレット、マイク、ディスプレイ、スピーカー、プリンタ等の入出力装置である。

伝送部１２は、ＬＡＮ、ＣＡＴＶ、モデム、デジタルＰＢＸ等の伝送装置である。端末制御部１３は入出力部１１と伝送部１２を制御、管理する手段から構成される。

前景画像を作成する前景画面作成部１４と、背景画像を作成する背景画面作成部１５と、前景画像を作成するための情報を管理するための前景画面作成情報管理部１６と、背景画像を作成するための情報を管理するための背景画面作成情報管理部１７と、前景画像と背景画像を合成し画像を生成する画面合成部１８と、情報の伝送を行う伝送部１９の各部を制御する端末支援制御部２０とを具備する端末支援装置１０２が、先の端末装置１０１
を少なくとも１つ以上、制御、管理する。

尚、先の前景画面作成情報管理部１６および背景画面作成情報管理部１７は、磁気ディスク、ＶＴＲ、光ディスク等の装置である。また、前景画面作成情報管理部１６および背景画面作成情報管理部１７で管理させる情報は、具体的には、それぞれ、前景画像の情報（例えば、人物キャラクタ、”人間や鳥”）と、背景画像の情報（例えば、風景になるような”山や太陽”のイメージ、動画情報、ＣＧ）を管理させる。なお、前景情報と背景情報の区別はシステム設計者が用途に併せて予め決定しておく。なお、本発明で考慮している通信形態は、有線の双方向ＣＡＴＶだけではなく、センター側端末（放送局）から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）で、センター側端末と家庭側端末との制御データのやり取りはアナログの電話回線やＮ−ＩＳＤＮであってもよい。

図２は本発明の一実施例における分散管理型の画像合成装置の概略構成図である。図２の構成は、ＣＡＴＶを対象とした場合に、センター側端末（端末支援装置２０２）での画像合成の処理を行わずに、それぞれの家庭側端末（端末装置２０１）で画像合成を行うことにより、センター側端末でのシステムの負荷を軽減することを目的とした分散管理型のシステム構成図に相当する。また、図１の構成に比べ、背景画像を映像で送り、各端末装置２０１で個別に画像合成を行うため、各利用者の利用状況に応じた、表現力豊かな動きのある画像合成が可能となる。逆に、端末装置２０１で画像合成の処理が必要となるため、端末装置２０１側で図１の端末装置に比べ高い処理能力が必要とされる。

画像合成端末装置２０１を構成する入出力部２１は、カメラ、スキャナー、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、タブレット、マイク、ディスプレイ、スピーカー、プリンタ等の入出力装置である。また、伝送部２２は、ＬＡＮ、ＣＡＴＶ、モデム、デジタルＰＢＸ等の伝送装置である。

前景画像を作成する前景画面作成部２３と、前景情報を管理するための前景画面作成情報管理部２４と、前景画像と、端末支援装置２０２から映像情報として送られてくる背景画像を合成する画面合成部２５と、これら各部を制御、管理する端末制御部２６から構成される。また、端末支援装置２０２は、背景画像を作成する背景画面作成部２７と、背景画像を作成するための情報を管理するための背景画面作成情報管理部２８と、情報の伝送を行う伝送部２９の各部を制御する端末支援制御部３０とを具備する端末支援装置２０２が、先の端末装置２０１を少なくとも１つ以上、制御、管理する。

尚、先の前景画面作成情報管理部２４及び背景画面作成情報管理部２８は、磁気ディスク、ＶＴＲ、光ディスク等の装置である。図１と同様に、本発明で考慮している通信形態は、有線の双方向ＣＡＴＶだけではなく、センター側端末（放送局）から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）で、センター側端末と家庭側端末との制御データのやり取りはアナログの電話回線やＮ−ＩＳＤＮであってもよい。

図３は画像合成を集中して行う方法と分散して行う方法を説明する図である。図の例では、”太陽”、”山”の画像部品は背景画像であり、”人”、”鳥”の画像部品は前景画像である。（ａ）は集中して画像合成を行う方式であり、それぞれの画像部品は端末支援装置で合成される。合成された画像情報は映像情報として端末装置へ伝送される。（ｂ）は分散して画像合成を行う方式であり、背景画像部品は映像情報として端末支援装置から端末装置へ伝送される。伝送された背景画像の映像は、各端末装置にて、端末装置から取り込まれた前景画像部品と合成されるか、他の端末装置や端末支援装置から伝送された前景画像部品と合成される。

図４は前景部品と背景部品の伝送方法について説明する図である。図に示すように（ａ）の集中型の画像合成方式においては前景部品は端末装置（端末）から端末支援装置（センター端末）へ伝送されるか、端末支援装置で管理されるかのどちらかである。先に述べたように、前景部品と背景部品は端末支援装置で映像情報として作成され、各端末装置へ伝送される。（ｂ）の分散型の画像合成方式においては、端末支援装置から端末装置へ背景画像を映像情報で伝送を行った情報と、自らの端末装置が保有する前景部品、他の端末装置から伝送されてきた前景部品、もしくは、端末支援装置から各端末装置へ送信してきた前景部品と画像合成を行う。（ｃ）の分散型の画像合成においては、背景画像情報は端末支援装置から各端末装置へ映像情報として配信される。また、前景画像部品の情報は、端末支援装置を経由せずに端末装置間をループ状に情報が伝送される。分散型と集中型の大きな違いは、先に述べたように、端末支援装置にかかる画像合成のための負荷の違いである。

また、（ｂ）と（ｃ）の違いは、（ｃ）の場合、（ｂ）に比べ、端末支援装置へ前景部品が伝送されないので、端末支援装置への負荷が小さくなる。その反面（ｃ）の場合には、新たに端末装置が画像合成の処理中に追加したり、削除したりするために手間がかかる。そこで、各端末間が有する前景部品を一貫性を保って、端末装置を途中参加、削除するために、適宜、例えば、一定時間毎や、端末装置が追加された時、削除された時に各端末装置が管理する前景部品の状態を端末支援装置が比較、調整することにより手間が低減できる。ただし、各端末装置が管理する前景部品の状態を比較、調整を端末支援装置が行うのではなく、端末装置間でもちまわりで行う方法によっても実現できる（端末支援装置の役割を果たす端末装置を決めておけばよい）。（ｃ）は、特に、片方向のＣＡＴＶと、既存のＬＡＮやＩＳＤＮといった異種のネットワークを融合して利用する場合には有効である。

図５は、画面合成部の構成について説明する図である。図１および図２で説明した画像合成部は、画像を作成する対象物の固有情報を管理する対象物固有情報管理部５１と、対象物間の位置情報を管理する対象物間位置情報管理部５２と、対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理部５３と、これら各部を制御する画像合成制御部５４の各部から構成される。具体的な管理情報は以下で説明する。

図６〜図１０は、画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報について説明する図である。図６の例では管理される情報としては、前景部品の情報が管理され（前景画面作成情報管理部が記憶、管理する情報と同じ）、キャラクタ名（前景部品の名称）、キャラクタＩＤ、キャラクターの大きさ、中心座標（キャラクターの重心座標）、キャラクターの振る舞い方（演出ルール）のそれぞれの情報が管理されている。図７は、図６で管理されている情報を視覚的に表現したものである。

図８の例では、背景画像の情報が管理され（背景画面作成情報管理部が記憶、管理する情報と同じ）、背景画像名、背景画像ＩＤ、背景画像としての演出効果の内容を示す演出コードの各情報が管理されている。図８の例では、キャラクター間の衝突や遭遇時の演出効果を表現する画像情報を背景画像の情報として管理されているが、図９に示した例では、図６の例とは逆に前景部品の情報として管理している。従って、図１０に示した例では、ロボットと石は前景部品の情報として管理される。なお、図に示したように、衝突時の効果が前景情報であるか、背景情報であるかは、アプリケーションを設計時に、適宜、システム設計者の目的に応じて管理すればよい。なお、利用者が前景画像部品として登録した情報とともに、同様に、利用者が演出の効果を高める目的で効果音を演出のための情報として登録してもよい。

図１１〜図１４は、対象物間の位置情報を管理する対象物間位置情報管理部について説
明する図である。対象物間位置情報管理部が管理する具体的な管理情報について述べる。図の例では、現在利用されている前景部品のキャラクターＩＤと、現在キャラクターが存在する座標位置が管理されている。図には示していないが、背景画像の座標位置の管理も同様の要領で実現できる。尚、前景画像や背景画像を３次元情報として構築してもよく、その場合には、奥行き情報を考慮すればよい（２次元の情報を対象としてもキャラクタ間の重なり状態を考慮して、３次元ＣＧなどと同様に、奥行きを考慮すればよい。２つのキャラクターが重なっていても衝突していない状況は作れる。）。

図１２は、背景画像と前景画像との衝突判定を行う具体的な例を示したものである。図示した例は、鳥が木に衝突するかを判定する例である。鳥は前景部品として、木は背景部品として管理され、大きさや部品の中心座標などの部品固有の情報は先に述べた対象物固有情報管理部で管理されている。また、現在のそれぞれの画像部品の状態が図１１で説明した対象物間位置情報管理部にて管理されている。図の例では、対象物間の接近距離の測定は、それぞれの部品の中心座標に基づいて行っている。接近距離がある一定より小さくなると衝突と判定して、図１５で述べる対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理部の衝突時の画面上の演出効果のルールに基づき、一連の画面上の演出効果を実現する。

なお、図に示したように前景部品や背景部品は動画であってもよい。また、背景画像全体を映像情報とした場合、カメラから取り込んだ映像（図１３に示すように利用者が自由にカメラの制御が可能なものであってもよい）や映像情報の一部をクリッピング（切り出す）した映像（例えば、図１４に示した映像）や、ＶＴＲなどに記録されている映像などで、各映像シーンの特定の領域（例えば、”山”、”太陽”、”木”に関する映像が記録されているものであれば、特に”木”が撮影されている領域）に、衝突判定すべき背景画像が存在するというアトリビュート（属性）を各映像シーンに対応させて記録、管理させることにより、背景が映像であっても前景部品との衝突判定処理は実現できる。

図１５は、対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理部について説明する図である。図の例では、（ａ）前景画像もしくは背景画像の画面上での演出効果について管理されている。（ａ）の情報を元に、時間軸を考慮して、画面上での前景画像もしくは背景画像の一連の時間的に流れのある演出ルールを定義している。例えば、pat#1の場合は、遭遇時（対象物間の接近距離が一定以下になったとき）は「爆発」、更に衝突時（予めアプリケーションで決めた接近距離の限界値より小さくなったとき）には「倒れる」の演出を行う。

図１６，図１７，図１８は、端末間での時間的な経過を含めた具体的な情報のやり取りについて説明した図である。なお、図１６から図１８の方式は、先の図４に示した（ａ）から（ｃ）の方式に対応する。

図１６に示す集中して画像合成を行う集中管理型の方式においては、例えば、端末装置Ａ（端末Ａ）が送信した前景画像（例えば、自らの人物像、顔画像、似顔絵、３次元ＣＧ、映像など）を端末支援装置にて受信、背景画像（静止画像、３次元ＣＧ、映像など）と合成を行い、合成結果を各端末へ映像情報として伝送している。特に、自らの顔画像を画像合成の情報として利用することにより、利用者の利用意欲は高まる。また、前景部品を操作するコマンド（例えば、”移動（右）”といった端末装置と端末支援装置間で予め取り決めを行って、前景部品を操作するための命令）が端末Ｂから端末支援装置へ伝送され、前景部品を操作するコマンドに従い、前景部品を操作し、操作された前景部品画像と背景画像とともに端末支援装置で合成され、各端末装置へ伝送される。なお、背景画像と前景画像、前景画像同士の衝突判定などは前述の方法で処理が各端末支援装置で集中して行われる。

図１７の分散して画像合成を行う方式では、例えば、端末Ａから端末支援装置に前景画像が送信され、各端末へ送信される。また、端末支援装置から前景部品が各端末装置へ伝送される。各端末装置では端末支援装置から伝送されてくる背景の映像情報とともに画像合成を行う。さらに、端末Ｂから前景部品を操作する操作要求が発生すれば、端末支援装置を経由して、各端末装置へ伝送される。なお、背景画像と前景画像、前景画像同士の衝突判定などは前述の方法で処理が各端末装置で分散して行われる。

図１８の分散して画像合成を行う方式では、例えば、端末Ｂから前景部品が伝送されれば、予めシステムで取り決めたルート（各端末は、どの端末に情報を送り、どの端末から情報が来るかを記憶、管理している。ＦＤＤＩのようなトークンリング的な通信形態）で端末支援装置を介さずに前景部品が順番に伝送されてゆく。また、前景部品に対する操作に関しても、端末支援装置を介さずに操作コマンドが順番に伝送されてゆく。なお、背景画像と前景画像、前景画像同士の衝突判定などは前述の方法で処理が各端末装置で分散して行われる。

図１９、図２０は、端末支援装置や端末装置でやり取りされる情報の具体例を説明した図である。図１９に示すように、端末間でやり取りされる情報としては、例えば、送信先、送信元、キャラクタＩＤ（前景部品もしくは背景部品）、コマンドＩＤ（部品の操作ＩＤ）、コマンドの引数から構成される。具体的なコマンドとしては、図２０に示すように、コマンド名、コマンドＩＤ、コマンド引数、コマンドの実行内容といった情報が管理されている。

図２１は、映像特徴量抽出部について説明する図である。映像の特徴量の抽出は図１の構成では、端末支援装置１０２の端末支援制御部２０で集中して行われる。また、図２の構成では、端末装置２０１の端末制御部２６で分散して映像の特徴量の抽出が行われる。映像の特徴量の抽出を行う映像特徴量抽出部は、映像の色相情報を調べる色相特徴量抽出部１９０１と、映像の輝度情報を調べる輝度特徴量抽出部１９０２と、映像の彩度情報を調べる彩度特徴量抽出部１９０３、映像の特徴量を抽出する各部を制御、管理する映像特徴量抽出制御部１９０４から構成される。映像の特徴量の変化と、図１５で述べた演出効果との関係を定量化するすることにより、利用者がキーボードやマウスといった入力デバイスを用いて、利用者が明示的に操作をしないで、利用者の端末の利用状況に応じた画像合成を行うことが可能となる。例えば、画像合成を用いた通信カラオケや教育などで、利用者の動きに合わせた、前景部品や背景部品の演出を行うことができる（例えば、画面が乱れる、画面がフラッシュするなど）。

図２２は、音声特徴量抽出部について説明する図である。音声の特徴量の抽出は図１の構成では、端末支援装置１０２の端末支援制御部２０で集中して行われる。また、図２の構成では、端末装置２０１の端末制御部２６で分散して音声の特徴量の抽出が行われる。音声の特徴量の抽出を行う音声特徴量抽出部は、音の大きさを調べる音の大きさ検出部２００１と、音のピッチを調べる音声ピッチ抽出部２００２、利用者の発話命令を調べる発話命令抽出部２００３と、これら各部を制御、管理する音声特徴量抽出制御部２００４から構成される。音のピッチ検出にあたっては、例えばマイクで拾われた音声信号にローパスフィルタを通して、倍音部分を除去してからサンプリング周波数２０ｋＨｚでＡ／Ｄ変換して１２ビットのデジタルデータとして、基本周期を計算する。基本周期はあらかじめ設定したしきい値以上の振幅のピーク間の時間を測定して求めればよい。図２１でも述べたように、音声の特徴量の変化と、図１５で述べた演出効果との関係を定量化するすることにより、利用者がキーボードやマウスといった入力デバイスを用いて、利用者が明示的に操作をしないで、利用者の端末の利用状況に応じた画像合成を行うことが可能となる。また、先に示した音声の特徴量以外に、音のリズム、音色といった音声の特徴量を利用す
ることも考えられる。先と同様に、画像合成を用いた通信カラオケや教育などで、利用者の動きに合わせた、前景部品や背景部品の演出を行うことができる。

本発明は、表現力の豊かな画像合成を活用した画像通信サービスを実現することが可能である。

本発明の画像合成装置の集中管理型の概略構成図本発明の画像合成装置の分散管理型の概略構成図（ａ），（ｂ）は画像合成を集中して行う方法と分散して行う方法を示す図（ａ）〜（ｃ）は前景部品と背景部品の伝送方法を示す図画像合成部の構成を示す図画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報を示す図画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報を示す図画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報を示す図画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報を示す図画像を作成する対象物の固有情報を管理する対象物固有情報管理部が管理する情報を示す図対象物間の位置情報を管理する対象物間位置情報管理部を示す図対象物間の位置情報を管理する対象物間位置情報管理部を示す図対象物間の位置情報を管理する対象物間位置情報管理部を示す図対象物間の位置情報を管理する対象物間位置情報管理部を示す図（ａ），（ｂ）は対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理部を示す図集中管理型端末間での時間的な経過を含めた具体的な情報のやり取りを示す図分散管理型端末間での時間的な経過を含めた具体的な情報のやり取りを示す図分散管理型端末間での時間的な経過を含めた具体的な情報のやり取りを示す図端末支援装置や端末装置でやり取りされる情報の具体例を示す図端末支援装置や端末装置でやり取りされる情報の具体例を示す図映像特徴量抽出部を示す図音声特徴量抽出部を示す図

符号の説明

１１入出力部
１２伝送部
１３端末制御部
１４前景画面作成部
１５背景画像作成部
１６前景画面作成情報管理部
１７背景画面作成情報管理部
１８画面合成部
１９伝送部
２０端末支援制御部
１０１端末装置
１０２端末支援装置

Claims

画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、前記対象物の演出効果を管理することを特徴とする画像生成装置。
画像を合成するとともに、前記画像の演出を行う画像生成装置であって、合成画像を作成する対象物の演出ルールおよび位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物の位置情報に応じた前記対象物の演出効果を管理することを特徴とする画像生成装置。
少なくとも１つ以上の前景画像と少なくとも１つ以上の背景画像を合成するとともに、画像の演出を行う画像生成装置であって、合成画像を作成する対象物の位置情報を含む固有情報を管理する対象物固有情報管理手段と、前記対象物の固有情報に基づき、対象物間の位置情報を管理する対象物間位置情報管理手段と、前記対象物間の位置情報に基づき、対象物間の相互干渉の情報を管理する対象物間相互干渉情報管理手段と、これら各手段を制御する画像合成制御手段とを具備し、前記対象物相互干渉情報管理手段は、前記相互干渉の情報に応じた演出効果を管理することを特徴とする画像生成装置。
映像の特徴量を抽出する映像特徴量抽出手段を具備し、前記映像の特徴量に基づいて、前記演出効果を管理することを特徴とする請求項１から３いずれかに記載の画像生成装置。
前記映像特徴量抽出手段は、映像の色相情報を調べる色相特徴量抽出手段と、映像の輝度情報を調べる輝度特徴量抽出手段と、映像の彩度情報を調べる彩度特徴量抽出手段のうち、少なくとも１つ以上の映像の特徴量を抽出する手段を具備することを特徴とする請求項４記載の画像生成装置。
音声の特徴量を抽出する音声特徴量抽出手段を具備し、前記音声特徴量に基づいて、前記演出効果を管理することを特徴とする請求項１から５いずれかに記載の画像生成装置。
前記音声特徴量抽出手段は、音声の大きさを調べる音量抽出手段と、音声のピッチを調べる音声ピッチ抽出手段と、利用者の発話命令を調べる発話命令抽出手段のうち、少なくとも１つ以上の音声の特徴量を抽出する手段から構成されることを特徴とする請求項６記載の画像生成装置。
画像を合成するとともに、前記画像の演出を行う画像生成方法であって、合成画像を作成する対象物の演出ルールを含む固有情報を管理し、前記対象物の固有情報に基づき、前記対象物の演出を行う画像生成方法。
画像を合成するとともに、前記画像の演出を行う画像生成方法であって、合成画像を作成する対象物の演出ルールおよび位置情報を含む固有情報を管理し、前記対象物の固有情報に基づき、対象物の位置情報に応じた前記対象物の演出を行うことを特徴とする画像生成方法。
少なくとも１つ以上の前景画像と少なくとも１つ以上の背景画像を合成するとともに、画像の演出を行う画像生成方法であって、画像を作成する対象物の位置情報を含む固有情報を管理するとともに、対象物間の位置情報を管理し、前記対象物間の位置情報に基づき、対象物間の相互干渉の情報を管理し、前記相互干渉の情報に応じた演出を行うことを特徴とする画像生成方法。