JP2014075680A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】生成されるＣＧ画像を操作時の意図に応じた振る舞いで変化させることを可能にする。
【解決手段】画像生成部は、コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する。ビデオ出力部は、この生成された画像をビデオ信号として出力する。制御部は、複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、画像生成部に、第１の静的状態から第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法およびプログラムに関し、特に、ＣＧ（コンピュータグラフィクス）により生成する画像を変化させ、状況に応じた付加価値の高い動画像を得るための画像処理装置等に関する。

例えば、特許文献１には、状態遷移図としての編集と、タイムラインとしての編集との両方が可能な、状態遷移の際にタイムライン実行する仕組みの取り扱い方法が記載されている。

特開２００７−１８３７３７号公報

上述の特許文献１に記載される技術においては、必ずタイムラインとしての情報を設定する必要がある一方、生成されるＣＧ画像を操作時の意図に応じた振る舞いで変化させる方法は実現されていない。

本技術の目的は、生成されるＣＧ画像を操作時の意図に応じた振る舞いで変化させることを可能にすることにある。

本技術の概念は、
コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する画像生成部と、
上記生成された画像をビデオ信号として出力するビデオ出力部と、
上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記画像生成部に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる制御部とを備える
画像処理装置にある。

本技術において、画像生成部により、コンピュータグラフィクス（ＣＧ）による画像合成で画像が生成される。この画像生成は、コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて行われる。ビデオ出力部により、生成された画像がビデオ信号として出力される。例えば、複合データは、仮想空間のパラメタが分割されて得られたグループ毎に複数の状態を有する、ようにされてもよい。

制御部により、画像生成部が制御され、第１の静的状態から第２の静的状態へ進行率に従って遷移させながら画像合成が行われるように、画像生成部を制御することが行われる。この制御は、複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて行われる。例えば、この遷移指示は、外部からの制御信号に基づく、ようにされてもよい。

例えば、制御部は、外部から供給される同期信号毎に、進行率に従って、仮想空間の状態を成すパラメタの値を変化させる、ようにされてもよい。また、例えば、制御部は、遷移の指示の開始からの経過時間に応じて進行率を変化させる、ようにされてもよい。また、例えば、制御部は、フェーダからのフェーダ値に応じて進行率を変化させる、ようにされてもよい。

このように本技術においては、仮想空間の静的状態を複数有する複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、第１の静的状態から第２の静的状態へ進行率に従って遷移させながらＣＧによる画像合成を行わせるものである。そのため、生成されるＣＧ画像を操作時の意図に応じた振る舞いで変化させることが可能となる。

なお、本技術において、例えば、画像生成部は、コンピュータグラフィクスによる仮想空間の記述データであって、グラフ構造のノードに仮想空間の複数の静的状態を配置し、グラフ構造の辺によりノードを結ぶ、グラフ構造の複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成し、制御部は、複合データの中の辺で結ばれた第１の静的状態から上記第２の静的状態への遷移の指示に基づいて、画像生成部に、第１の静的状態から第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる、ようにされてもよい。

例えば、グラフ構造の複合データの辺に、時間の長さを保持するデータ構造とし、制御部は、辺の遷移を実行させる際に、この辺が持つ時間の長さを用いる、ようにされてもよい。また、例えば、グラフ構造の複合データの辺に時間の長さを保持させるデータ構造とし、制御部は、辺の遷移を実行させる際に、この辺が持つ時間の長さを用いる、ようにされてもよい。

また、本技術において、例えば、エフェクトスイッチャと、エフェクトスイッチャにおいてバスに供給する入力信号を複数の選択肢から択一選択する操作を受けてエフェクトスイッチャに制御信号を送る選択操作部と、選択操作部の各選択肢の内容を設定する割り当て部とをさらに備え、ビデオ出力部からのビデオ信号はエフェクトスイッチャの入力信号の一つとされ、割り当て部は、選択操作部の各選択肢の内容を設定することに加えて、制御部に遷移先指示を送る、ようにされてもよい。この場合、例えば、エフェクトスイッチャのワイプ機能による遷移を操作する遷移トリガ操作部を、画像生成部の遷移を開始させるトリガを発する操作部として機能させ、フェーダレバーにより遷移の進行率を操作可能とする、ようにされてもよい。

また、この場合、例えば、コンピュータグラフィクスによる画像合成を行ってプレビュー用画像を生成するプレビュー用画像生成部と、生成されたプレビュー用画像をビデオ信号として出力するプレビュー用ビデオ出力部とをさら備え、エフェクトスイッチャは、次のエフェクトスイッチャ出力とする予定のビデオ信号を出力するプレビュー系統を有し、選択操作部の遷移操作に応じて、遷移完了時の画像をプレビュー用画像生成部で生成させると共に、プレビュー用ビデオ出力部からプレビュー用画像のビデオ信号を出力させて、エフェクトスイッチャのプレビュー系統から出力させる、ようにされてもよい。

本技術によれば、生成されるＣＧ画像を操作時の意図に応じた振る舞いで変化させることができる。

本技術の第１の実施の形態としての画像処理装置の構成例を示すブロック図である。 複合データの概念を示す図である。 ＣＧ複合データに対応する状態の集合と、その中の遷移例を示す図である。 遷移先指示を受信し、フレーム同期（ＶＤ同期）を受信して、ＣＧアニメーション出力を行う制御のフロー図である。 編集部のＧＵＩを説明する図である。 編集部の状態集合作成機能を説明するフロー図である。 編集部の自動抽出型状態集合作成機能を説明するフロー図である。 グループ構成ＣＧ複合データの構造、概念を示す図である。 状態集合作成機能を読み込んだ同じＣＧデータについてグループ毎に操作させるためのＧＵＩ例を示す図である。 編集部の状態集合作成機能を説明するフロー図である。 編集部の自動抽出型状態集合作成機能を説明するフロー図である。 外部からの制御信号による遷移先指示およびトリガの実行を説明するために図である。 本技術の第２の実施の形態としての画像処理装置の構成例を示すブロック図である。 Ｍ／Ｅバンクの構成例を示す図である。 複合データの一例としてのグラフ構造を示す図である。 遷移指示に関するＧＵＩの一例を示す図である。 スイッチャ操作卓の外観（操作面）の一例を示す図である。 スイッチャ操作卓においてMixから変更するように操作者がCGボタンを押下した場合における（点灯）状態を示す図である。 画像生成部からの信号をキー信号にも取る場合について説明するための図である。 遷移先指示をクロスポイント列の操作で指示できるように構成した場合の表示例を示す図である。 Key1列で遷移先指示を操作入力する場合における表示例を示す図である。 Delegation ボタンにより操作対象の列を指定し、クロスポイントボタンを操作していずれか一つの信号を選択するＡｕｘ操作卓を示す図である。 Util ボタンが設けられたＭ／Ｅバンクの操作卓を説明するための図である。 Util ボタンが設けられたＭ／Ｅバンクの操作卓を説明するための図である。 複合データの別の例の構成を示す図である。 状態から状態への遷移の間においてパラメタの線形補間により状態変化を進める構成を説明する図である。 状態から状態への遷移の間において、その途中に経由する変化の内容を指定する構成を説明する図である。 有効グラフ構造の複合データの構成例を示す図である。 ％ではなく時間単位で長さを持つタイムラインを説明するための図である。 状態間の遷移時のタイムラインを編集する機能のＧＵＩを説明するための図である。 格納したタイムラインの全体状況について状態遷移図としてＧＵＩに表示する機能を説明するための図である。 ＣＧタイムライン・アニメーションのファイルをディレクトリに格納する際の説明を行うための図である。 プレビュー（Preview）系統の回路ブロックを設けた、システム構成を説明するための図である。 プレビュー（Preview）系統の回路ブロックを設けた、システム構成を説明するための図である。 グループ指定操作部を説明するための図である。 エフェクトスイッチャのＭ／Ｅバンクと画像生成部とをクロスポイントを経由せずに接続する場合の画像処理装置の構成例を示すブロック図である。 グループを並列に操作可能な操作卓の構成例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例

＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本技術の第１の実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、制御部１１０と、編集部１２０と、データ保持部１３０と、画像生成部１４０と、ビデオ出力部１５０と、進行率制御部１６０と、遷移先指示部１７０とインタフェース部１８０を有している。

編集部１２０は、ＣＧ（コンピュータグラフィクス）による仮想空間の記述データであって、仮想空間の静的情報を複数有する複合データを生成する。データ保持部１３０は、編集部１２０で編集された複合データを保持する。画像生成部１４０は、データ保持部１３０に保持されている複合データに基づいて、ＣＧによる画像合成を行って画像を生成する。

ビデオ出力部１５０は、画像生成部１４０で生成された画像をビデオ信号、例えばＳＤＩ信号として出力する。画像生成部１４０およびビデオ出力部１５０は、外部同期信号に同期して、動作する。ビデオ出力部１５０は、この外部同期信号に同期して、ビデオ信号を出力する。

制御部１１０は、画像処理装置１００の各部の動作を制御する。制御部１１０は、画像生成部１４０の制御については、同期信号に同期して、フレーム単位（フィールド単位）の画像生成を行わせる。そして、制御部１１０は、複合データ中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、画像生成部１４０に、第１の静的状態から第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる。

制御部１１０には、進行率制御部１６０、遷移先指示部１７０およびインタフェース部（Ｉ／Ｆ部）１８０が接続されている。進行率制御部１６０は、遷移（Transition）の進行率（開始０％から完了１００％）を、制御部１１０に供給する。遷移先指示部１７０は、遷移先を指示する。すなわち、現在が第１の静的状態にあって、第２の静的状態に遷移させる場合、この第２の静的状態を複合データ中の複数の静的状態の中から選択して遷移先として指示する。Ｉ／Ｆ部１８０は、外部からの制御信号を制御部１１０に供給する。

図２は、複合データの概念を示している。複合データは、全仮想空間状態で共通な共通データと、仮想空間状態毎に値が異なる差分データとからなる。なお、図２には、仮想空間状態として、「Ａ」から「Ｅ」の５つの状態が示されている。

図３は、ＣＧ複合データに対応する状態の集合と、その中の遷移例を示している。ここで、状態とは、ＣＧデータによる仮想空間の全パラメタについて値が決まった状態のことであり、それに対して生成される画像の内容も決まるものである。画像は、仮想空間を仮想空間内の仮想カメラで撮影したとして計算されるが、仮想カメラのパラメタについても、ここで言う「状態」に含めて考えるので、画像は一意に決まる。ただし、一意に決まるのが静止画には限定されず、操作に応じて物理シミュレーションを行う状態や、一部に反復アニメーションを含むような場合も、ここでいう状態には含めるものとする。

一般的なＣＧデータの形式としては、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。Ｃｏｌｌａｄａ形式のファイルは、シーングラフを記述でき、さらに、タイムライン・アニメーションや、物理シミュレーションに関する情報も記述、保持できる。

複合データにおいて、一つの状態とは、例えば、Ｃｏｌｌａｄａ形式のファイル一つで記述した静的な仮想空間の状態である。なお、説明を簡単にするため、アニメーションなどは除く。勿論、ファイル形式はどのように変換しても情報が同じであればよい。複合データはこのような静的な仮想空間の状態を複数定義できるデータである。

単純に、各状態のＣＧデータを合わせれば、目的は達する。しかし、それではデータ量が増えすぎてしまい、また状態毎に異なる部分（パラメタ）を識別するのに処理を要する。そこで、図２に示すように、複合データにおいては、全状態で値が不変の要素については共通データ（不変部分データ）として一つだけ持ち、各状態で値の変わる部分のみを差分データとして個別に保持する。これにより、データ量の削減と遷移の際の処理負荷を下げることができる。

[データの例Ｃｏｌｌａｄａ]
Collada：XML 形式
（XML形式は、本質的にはツリー構造の表。）
（１）マテリアルの内容を定義するＣｏｌｌａｄａ形式の記述例

<library_materials>
<material id="PlaFinishOak" name="PlaFinishOak">
<instance_effect url="#PlaFinishOak-Effect"/>
</material>
</library_materials>
<library_effects>
<effect id="PlaFinishOak-Effect" name="PlaFinishOak">
<profile_COMMON>
<technique sid="standard">
<phong>
<emission>
<color sid="emission">0.000000 0.000000 0.0000001.000000</color>
</emission>
<ambient>
<color sid="ambient">0.933312 0.690960 0.4728591.000000</color>
</ambient>
<diffuse>
<color sid="diffuse">0.933312 0.690960 0.4728591.000000</color>
</diffuse>
<specular>
<color sid="specular">0.500000 0.500000 0.5000001.000000</color>
</specular>
<shininess>
<float sid="shininess">1.000000</float>
</shininess>
<transparency>
<float sid="transparency">0.000000</float>
</transparency>
</phong>
</technique>
</profile_COMMON>
</effect>
</library_effects>

状態Ａにおいて、上述のマテリアル定義のうちのａｍｂｉｅｎｔのＲＧＢＡのＲの値が異なる場合、その差分データは、パラメタの種類と値を記述するものであり、例えば次の様に書ける。

<diff_sceneid="StatusA" name="StatusA">
<base_scene url="#RootNode"/>
<diff_param target="PlaFinishOak-Effect/phong/ambient/color.R">
0.75
</diff_param>
</diff_scene>
あるいは
<diff_sceneid="StatusA" name="StatusA">
<base_scene url="#RootNode"/>
<diff_param target="PlaFinishOak-Effect/phong/ambient/color">
0.75 0.690960 0.472859 1.000000
</diff_param>
</diff_scene>
あるいは
<diff_sceneid="StatusA" name="StatusA">
<base_scene url="#RootNode"/>
<diff_param target="PlaFinishOak-Effect/phong/ambient/color">
<diff_param offset="0">
0.75
</diff_param>
</diff_param>
</diff_scene>
あるいは
<diff_sceneid="StatusA" name="StatusA">
<base_scene url="#RootNode"/>
<diff_param target="PlaFinishOak-Effect">
<diff_param target="phong">
<diff_param target="ambient">
<diff_param target="color">
<diff_param target="R">
0.75
</diff_param>
</diff_param>
</diff_param>
</diff_param>
</diff_param>
</diff_scene>
のように記述できる。

（２）ポリゴンを座標値で定義するＣｏｌｌａｄａ形式の記述例
<library_geometries>
<geometry id="Flag1-lib" name="Flag1Mesh">
<mesh>
<source id="Flag1-lib-Position">
<float_array id="Flag1-lib-Position-array"count="2004">
82.598434-35.199100 0.000000
82.598381-29.332560 0.000000
82.598328-23.466021 0.000000
82.598267-17.599483 0.000000
82.598206-11.732941 -0.000000
82.598145-5.866402 0.000000
... 以下略

（３）仮想空間内の、仮想物体の配置のＣｏｌｌａｄａ形式の記述例

<nodeid="Flag1" name="Flag1">
<translatesid="translate">-25.290024 -0.000001 29.698376</translate>
<rotate sid="rotateX">1 0 0 90.000003</rotate>
<instance_geometry url="#Flag1-lib">
<bind_material>
<technique_common>
<instance_material symbol="PlaFinishOak"target="#PlaFinishOak"/>
</technique_common>
</bind_material>
</instance_geometry>
</node>
...

状態Ａにおいて、上記のマテリアル定義のうちのａｍｂｉｅｎｔの値が異なることに加えて、ポリゴンの一部、配置の一部が異なる場合の、差分データ記述例：

<diff_sceneid="StatusA" name="StatusA">
<base_scene url="#RootNode"/>
<diff_param target="PlaFinishOak-Effect/phong/ambient/color.R">
0.75
</diff_param>
<diff_param target="Flag1-lib-Position-array">
<diff_param offset="4">
-31.5
</diff_param>
</diff_param>
<diff_param target="Flag1/translate.X">
-21.0
</diff_param>
<diff_param target="Flag1/rotateX.ANGLE">
89.0
</diff_param>
</diff_scene>

画像生成部１４０は、レンダリングを行う。幾何学情報（座標など）や表面材質（色など、マテリアル情報）などや、ライト（仮想光源）など、同期信号に同期したフレーム／フィールドのタイミングにおける仮想空間のパラメタ値により、フレーム／フィールド毎に、ビットマップ画像を生成する。ビデオ出力部１５０は、画像生成部１４０が生成したフレーム単位（あるいはフィールド単位）の画像を、外部同期信号に同期して、ＳＤＩ信号のビデオ信号として外部に出力する。外部同期信号は、外部から供給され、本装置以外の施設内のビデオ設備で共通に使われるものである。なお、別の例としては、本装置内に基準となる発振器を設け、同期信号を生成し、外部に供給する端子を設け、関連するビデオ設備に供給するようにしてもよい。

制御部１１０は、マイクロコンピュータとその上のソフトウェアで実現され、各部および全体の制御を行う。画像生成部１４０等の制御において、フレーム単位（あるいはフィールド単位）でパラメタを変化させる制御については、同期信号に同期して、処理する。この場合、マイクロコンピュータに同期信号による割り込みを受ける構成になっている。制御部１１０は、同期信号に同期した処理で進行率制御部１６０からの進行率取得を行う。これにより、パラメタを毎フレーム（あるいは毎フィールド）更新して、仮想空間の状態、すなわちパラメタ値の遷移を進行させることができる。

進行率制御部１６０は、遷移（Transition）の進行率（開始０％から完了１００％）を制御部１１０に供給する。遷移は仮想空間を記述するパラメタ（群）が、ある値からある値に遷移する動作であり、生成される画像が変化していく。例えば仮想空間の車が画像に含まれる状態で、仮想空間内の車の位置座標がＰ１点の状態からＰ２点の状態へ遷移する。遷移の最中は、位置座標を線形補間により決定する。進行率がＦ％の場合、Ｐ１とＰ２を結ぶ線上を、Ｆ：（１００−Ｆ）で内分する点が、進行率Ｆ％における車の位置座標となる。なお、位置座標以外のパラメタも、同様に進行率に応じて内分して決める。

図４は、遷移先指示を受信し、フレーム同期（ＶＤ同期）を受信して、ＣＧアニメーション出力を行う制御のフロー図を示している。現在状態Ｓにおいて、制御部１１０は、ステップＳＴ１において、遷移先指示部１７０から、Ｔへの遷移を示す遷移先指示を受信する。次に、制御部１１０は、ステップＳＴ２において、フレーム同期信号を受信する。

次に、制御部１１０は、ステップＳＴ３において、進行率制御部１６０から、新しい進行率Ｆ％を得る。次に、制御部１１０は、ステップＳＴ４において、ＳからＴで変化するパラメタＰを線形補間でＦ％の値にする。そして、制御部１１０は、ステップＳＴ５において、画像生成部１４０にフレーム画像生成と出力を指示する。

次に、制御部１１０は、ステップＳＴ６において、Ｆが１００か否かを判断する。Ｆが１００でないとき、制御部１１０は、ステップＳＴ２に戻り、次のフレーム同期信号の受信に備える。一方、Ｆが１００であるとき、遷移は終了となり、制御部１１０の遷移の制御は終わる。このときの現在状態はＴである。

なお、上記フローでは線形補間を用いる例を示したが、追加して別の補間方法を指定する操作手段を設け、別の補間方法で動作させることを可能にしても良い。例えば、進行率Ｆに対して正弦関数により周期変動する、以下の関数を考える。
ｆ（Ｆ）＝（１／２）ｓｉｎ（２πＦ／１００）

この関数を用い、ｆ（Ｆ）をＦに加算した値をＦに置き換えて補間しても良い。この場合、Ｆが２５％の場合ｆ（Ｆ）は０．５となり、置き換える値は０．７５となる。Ｆが１００％ではｆ（Ｆ）は０とあり、置き換える値は１となる。線形補間と異なり、振動しながら進行するパラメタの変化となる。このような別の補間方法を、複数種類可能としても良い。

「遷移先指示部」
状態間の遷移についてさらに説明する。制御部１１０は、現在の状態とは別の状態を選択する遷移先指示を受け取る。受け取る方法として、遷移先指示部１７０のＧＵＩ（Graphical User Interface）に選択肢を表示して、操作者に操作入力させる。あるいは、遷移先指示部１７０の押しボタンの配列から一つ選ばせる方法でもよい。選択肢の表示には、状態に付与した名称を表示し、操作の助けにすることができる。例えば、StatusA 〜 StatusEの５つがあり、現在の状態がStatusCである場合、残りの４つが選択肢となるので、StatusA、StatusB、StatusD、StatusEの４つのボタン表示を行う。

操作者がいずれかを選択すると、制御部１１０は、進行率制御部１６０から進行率を得て、差分パラメタの値を補間して毎フレーム変化する画像を生成・出力させる。または、操作者がいずれかを選択すると、制御部１１０は選択された状態への進行の準備態勢に入り、別に設けるトリガ操作手段によるトリガを待って、トリガを受けたら進行を開始するようにしてもよい。

「進行率制御部」
進行率制御部１６０の一例は、別途あらかじめ設定された Transition Rate によって各フレーム（あるいはフィールド（以下略））の進行率を決めるものである。この場合、 Transition Rate の記憶手段（メモリ）を内蔵することになる。TransitionRate の値としては、例えば、フレーム数を単位として、３００フレーム（３０フレーム／秒の場合、１０秒）で遷移、という値を記憶する。

この場合、遷移開始からＩ番目のフレームでは、（（Ｉ／３００）×１００）％により進行率を算出し、制御部１１０に供給する。ここで、出力フレーム毎に遷移する比率を、遷移完了を１００とすれば１００／（遷移時間のフレーム数）となる。なお、Transition Rate の値を、ＧＵＩにより入力する手段、つまり記憶手段に書き込む手段を設けてもよい。

進行率制御部１６０の他の例は、フェーダレバーにより進行率を手動操作するものである。フェーダレバーは、端から端までで０から１００％をアナログ的に操作入力する機構である。フェーダレバーを用いる制御の場合、操作者が選択肢のいずれかを選択すると、制御部１１０は選択された状態への進行の準備態勢に入る。そして、フェーダレバーが操作され、進行率が０％から変化すると、制御部１１はその進行率を使って生成・出力画像を変化させる。フェーダレバーにより最終的に１００％になると、遷移は完了となる。

「編集部」
図５は、編集部１２０のＧＵＩを説明する図である。編集部１２０は、他の機器で作成されたＣｏｌｌａｄａ形式のファイルを読み込む。このファイルには、ポリゴンにより仮想物体が記述され、その表面に関するマテリアル情報なども含まれている。この編集部１２０で処理しなくても、静止画一枚のＣＧ画像を生成するための十分な情報が含まれている。

図５（ｂ）には、「飛行機」のＣＧデータを読み込み、そのレンダリング結果あるいはポリゴンを表示した状態を示している。なお、図５（ａ）は、ＧＵＩの各表示領域の機能を示している。読み込んだ直後には、仮想空間の状態は一つしか存在しない。このＧＵＩを操作者が操作して仮想空間のパラメタを変更し、それを状態として登録することで、複合データに状態が追加される。

パラメタの変更は、例えば、仮想物体（オブジェクト）等の移動、拡大縮小、回転、グルーピングしてのこれらの処理、さらに、追加、削除などがある。変更操作を行い、Ｒｅｇｉｓｔｅｒボタンを押下すると、状態に付与する名前の入力機能が表示され、名前を入れると、一つの状態が追加、記憶される。Ｒｅｃａｌｌボタンは、表示を既に登録した状態にする機能である。図５（ｃ）は、図５（ｂ）から移動と縮小（スケーリング）を行った（簡易な）例である。

図６は、編集部１２０の状態集合作成機能を説明するフロー図である。編集部１２０は、ステップＳＴ１１において、ＣＧ（シーングラフ）を読み込み表示する。次に、編集部１２０は、ステップＳＴ１２において、ＣＧ内容の変更（パラメタの変更）を受け、ステップＳＴ１３において、状態の登録の操作を受け、さらに、ステップＳＴ１４において、登録する名前の入力をうける。

次に、編集部１２０は、ステップＳＴ１５において、変更したパラメタの識別子と値を、登録する名前と関連付けて記憶する。そして、編集部１２０は、ステップＳＴ１６において、完了か否かを判断する。完了でないときは、ステップＳＴ１２に戻り、上述したと同様の処理を繰り返す。

一方、完了であるときは、編集部１２０は、ステップＳＴ１７において、全ての状態で不変のパラメタを、不変部分データ（共通データ）として格納する。そして、編集部１２０は、ステップＳＴ１８において、登録された状態毎の各パラメタを、識別子と値の組（タグ付きデータ）として、状態毎に格納する。これにより、編集部１２０は、状態集合作成を終了する。

なお、仮想物体が追加・削除された場合、状態間での遷移では、その仮想物体をどう扱うかが、補間だけでは決まらない。その場合、その仮想物体が存在しない状態では、存在する状態と同じ位置にサイズゼロで存在するとして、サイズを補間することで、他の場合と同様の遷移が可能である。あるいは、別の方法例としては、その仮想物体が存在しない状態では、その仮想物体のすべての表面のマテリアル（表面材質）が、透明である（αがゼロ）としておき、遷移の際にはαを補間することで、画像の中に徐々に現れるような遷移にしてもよい。

「編集部（自動抽出型）」
編集部１１０の他の例を説明する。上述の編集部１２０の例は、静止画のＣＧデータを読み込んで処理するものである。この例では、タイムライン・アニメーションを持つＣＧデータ（Ｃｏｌｌａｄａ形式のファイル）を読み込む。タイムライン・アニメーションには、タイムライン上に複数のキーフレーム点がある。タイムライン対象のパラメタについて、キーフレーム点毎に値が書かれている。この例では、キーフレーム点を静的状態として取り出し、それぞれを、全パラメタが定義された一状態として、複合データに格納する。各状態の名称は、自動的に付与することができる。この場合、連番や、Ａ，Ｂ，Ｃのような付与が行われる。

図７は、編集部１２０の自動抽出型の状態集合作成機能を説明するフロー図である。編集部１２０は、ステップＳＴ２１において、タイムライン・アニメーションを持つＣＧデータを読み込む。そして、編集部１２０は、ステップＳＴ２２において、最初のキーフレーム点を処理対象キーフレーム点とする。

次に、編集部１２０は、ステップＳＴ２３において、処理対象キーフレーム点に自動的に名前を付与する。そして、編集部１２０は、ステップＳＴ２４において、タイムライン対象のパラメタの識別子と処理対象キーフレーム点での値を、登録する名前と関連付けて記憶する。

次に、編集部１２０は、ステップＳＴ２５において、完了か否かを判断する。完了でないときは、ステップＳＴ２９へ進み、処理対象キーフレーム点を次のキーフレーム点として、ステップＳＴ２３に戻り、上述したと同様の処理を繰り返す。一方、完了であるときは、編集部１２０は、ステップＳＴ２６において、タイムラインになっていないパラメタを、不変部分データ（共通データ）として格納する。そして、編集部１２０は、ステップＳＴ２７において、登録された状態毎のタイムライン対象だった各パラメタを、識別子と値の組（タグ付きデータ）として、状態毎に格納する。これにより、編集部１２０は、状態集合作成を終了する。

「階層／グループ」
上述の例は、仮想空間の全パラメタについて同一に状態遷移を扱うものであった。これに対して、仮想空間のパラメタをグループに分け、複数のグループについて別々に状態遷移を扱うことで、より付加価値の高い映像操作が可能になる。

図８は、グループ構成ＣＧ複合データの構造、概念を示している。仮想空間のパラメタを、グループ１、２、３の３つに分けている。グループ２は操作の対象としない。グループ１は５つの状態毎の値を複合データに格納する。グループ３は３つの状態毎の値を複合データに格納する。

制御部１１０へ遷移先指示を入力する遷移先指示部１７０として、グループ１について現在の状態以外の４択を操作入力するＧＵＩを設け、グループ３について現在の状態以外の２択を操作入力するＧＵＩを設ける。これにより、グループ１とグループ３のパラメタ群を、独立して、即時に任意の状態へと遷移する動きをさせることができる。

例えば、仮想空間中のある仮想物体について、位置をグループ１、回転角度をグループ３とすると、位置と回転角度について、並行・独立して操作が可能となる。あるいは、位置と回転角度をグループ１、表面の色をグループ３とすると、位置と回転角度を操作しつつ、色を独立して変更することができる。

ＣＧ仮想空間中のパラメタをノブなどで操作可能にする技術は既存であるが、位置と回転角度のように複数のパラメタのグループの場合、ベクトル値を構成する複数のスカラ値をノブなどで操作しても、即時なうまい操作は難しい。それに対して、各パラメタの状態をあらかじめ登録しておき、そこへ遷移させる本技術では、複数のスカラ値の変更であっても、一操作で所望の状態へ持っていくことができる。かつ、グループ分けすることで、操作を容易にする。

位置と色を一つの状態空間で操作させる場合、位置が５種類あり、色が３種類で登録した場合、全部で１５の状態が生まれる。一方、図８のように、位置と色を別の状態空間としておけば、選択肢は８（５＋３）であり、容易に多数バリエーションのある画像への動きを操作できるようになる。

パラメタのグループ分けとしては、例えば自動車に人が乗っている仮想空間において、自動車の位置を一つのグループ、乗っている人の動き（姿勢等）を一つのグループのようにすることもできる。乗っている人は、自動車の位置に追随するシーングラフ構成（グループ構成；ここで述べているグループとは別のもの）となっていれば、自動車の位置と中の人の様子を別々に操作可能となる。状態遷移の対象とするグループは２つに限定されず、いくつあってもよい。

編集部１２０は、状態集合作成機能を、読み込んだ同じＣＧデータについて、グループ毎に操作させるようにする。編集部１２０は、最初に、図９に示すようなＧＵＩを表示し、状態の群を作るグループについて、新規作成（Ｎｅｗ）（名前の入力を促す）か、選択して、編集する（ＥｄｉｔＧｒｏｕｐ Ｓｔａｔｕｓ Ｓｅｔ）ボタンを表示する。編集ボタンは、クリックされると図５と同様のＧＵＩを表示し、パラメタの変更と状態の登録を受ける。ただし、既に別のグループで変更対象となったパラメタについては、変更操作を受けない。

図１０は、編集部１２０の状態集合作成機能を説明するフロー図であって、そのような変更操作を拒否するステップを加えたものである。編集部１２０は、ステップＳＴ３１において、ＣＧ（シーングラフ）を読み込み表示する。次に、編集部１２０は、ステップＳＴ３２において、ＣＧ内容の変更（パラメタの変更）を受ける。

次に、編集部１２０は、ステップＳＴ３３において、他のグループで変更のあったパラメタへの変更操作か否かを判断する。他のグループで変更のあったパラメタへの変更操作であるとき、編集部１２０は、ステップＳＴ３４において、変更を受け付けず取り消し、その旨を表示する。そして、編集部１２０は、ステップＳＴ３２に戻る。一方、他のグループで変更のあったパラメタへの変更操作でないとき、編集部１２０は、ステップＳＴ３５において、状態の登録を受け、さらに、ステップＳＴ３６において、登録する名前の入力をうける。

次に、編集部１２０は、ステップＳＴ３７において、変更したパラメタの識別子と値を、登録する名前と関連付けて記憶する。そして、編集部１２０は、ステップＳＴ３８において、完了か否かを判断する。完了でないときは、ステップＳＴ３２に戻り、上述したと同様の処理を繰り返す。

一方、完了であるときは、編集部１２０は、ステップＳＴ３９において、全ての状態で不変のパラメタを、不変部分データ（共通データ）として格納する。そして、編集部１２０は、ステップＳＴ４０において、登録された状態毎の各パラメタを、識別子と値の組（タグ付きデータ）として、状態毎に格納する。これにより、編集部１２０は、状態集合作成を終了する。

なお、編集部１２０は、最初にパラメタのグループ定義を行わせ、次に各パラメタについて、図５のような編集操作か、あるいは数値入力による編集操作を受けるようにしてもよい。グループ定義は、ＣＧ仮想空間中のパラメタをツリーで表示させ、ツリーの部分（単独パラメタでない場合は親のノード）を選択させて、それをグループとして定義、記憶する。その後、定義されたグループを選択し、編集操作を受けて、そのグループの状態群を複合データに格納する。編集操作を受けるのは、図５のようなＣＧ表示したＧＵＩか、あるいはグループ内のパラメタを直接数値で入力させ、その結果を状態として登録させるものでもよい。

上述の編集部１２０の例は、静止画のＣＧデータを読み込んで処理するものである。次の例では、タイムライン・アニメーションを持つＣＧデータ（Ｃｏｌｌａｄａ形式のファイル）を読み込む。タイムラインを持つＣＧデータには、タイムラインを複数持つものがある。より詳しくは、タイムラインを、変化対象としたパラメタ（複数）全部まとめてではなく幾つかに分けて持ち、キーフレームの位置も、それぞれに異なるようなものがある。このようなＣＧデータに対して、キーフレームの位置が全て同じ、タイムラインのパラメタを、グループとしてまとめるようにすると、自動的に上述したようなグループ（パラメタのグループ分け）を作成できる。その後は、グループ毎に、キーフレーム点毎に状態として登録する。

図１１は、編集部１２０の自動抽出型の状態集合作成機能を説明するフロー図である。編集部１２０は、ステップＳＴ５１において、タイムライン・アニメーションを持つＣＧデータを読み込む。そして、編集部１２０は、ステップＳＴ５２において、タイムラインを調べ、全てのキーフレーム点の位置（時刻）が同じタイムライン毎に、グループにする。

次に、編集部１２０は、ステップＳＴ５３において、各グループ毎にタイムラインに対して、以下を実行する。そして、編集部１２０は、ステップＳＴ５４において、最初のキーフレーム点を処理対象キーフレーム点とし、ステップＳＴ５５において、処理対象キーフレーム点に自動的に名前を付与する。

次に、編集部１２０は、ステップＳＴ５６において、タイムラインのパラメタの識別子と処理対象キーフレーム点での値を、登録する名前と関連付けて記憶する。そして、編集部１２０は、ステップＳＴ５７において、１グループ完了か否かを判断する。一方、１グループが完了していないとき、編集部１２０は、ステップＳＴ６１へ進み、処理対象キーフレーム点を次のキーフレーム点として、ステップＳＴ５５に戻る。１グループが完了したとき、編集部１２０は、ステップＳＴ５８の処理に移る。

このステップＳＴ５８において、編集部１２０は、全グループが完了したか否かを判断する。全グループが完了していなとき、編集部１２０は、ステップＳＴ５３に戻る。一方、全グループが完了したとき、編集部１２０は、ステップＳＴ５９の処理に移る。このステップＳＴ５９において、編集部１２０は、タイムラインになっていないパラメタを、不変部分データ（共通データ）として格納する。そして、編集部１２０は、ステップＳＴ６０において、登録された状態毎のタイムライン対象だった各パラメタを、識別子と値の組（タグ付きデータ）として、状態毎に格納する。これにより、編集部１２０は、状態集合作成を終了する。

「リンクされた遷移」
気温が下がると、仮想空間で雪が降る、氷が張る、などの、リンクされた遷移について説明する。Ｉ／Ｆ部１８０は、外部からの制御信号を制御部１１０に供給する。ここまでの例では、遷移先指示はＧＵＩ等からの手動操作入力であった。しかし、外部からの制御信号により、遷移先指示およびトリガを実行するように制御を構成することが可能である。

例えば、気温データを制御の基にするデータとし、気温に応じて、状態ＡからＥまで、対応付けるようにできる。０度以下では状態Ａ、０〜１０度では状態Ｂ、１０〜２０度では状態Ｃ、２０〜３０では状態Ｄ、３０〜では状態Ｅとできる。そして、気温が変化すると同時に、遷移（トリガ）を実行するように構成する。図１２は、このような制御により生成するＣＧ画像の一例を示している。既に、説明したように、同一仮想物体については遷移の際にはパラメタが補間されるので、大きさが変わる場合は徐々に変化するように見える。さらに、追加制御機能として、気温が変化してから既定の数秒間その範囲にとどまった場合に、トリガを実行する構成（遅延時間の設定）も可能である。

「条件による遷移の制限について」
遷移に状況（外部要因）に応じて制約を加えることが考えられる。例えば、以下のようなものである。すなわち、（１）入力画（本技術の装置が外部から画像信号を受ける構成の場合の、外部からの、一つまたは複数の画像信号）の一つがＮＧ状態の時に、それが出力画に入らないように制限すること、（２）市場の株価グラフを出力画に加える構成の場合に、市場が開始するまで、リアルタイム株価グラフを画に入れないこと、などである。

外部からの制御信号により、遷移先指示において選択、または遷移実行できる状態を制限するように構成してもよい。例えば、一日の内の、時刻が６：００から１８：００迄の間と、それ以外とで、遷移できる状態を変更する。また、例えば、仮想物体の表面に入力画像をテクスチャマッピングして、それを出力画像に含めている場合、入力画像の内容が使用可能か、不可であるかにより、その仮想物体が出力画像のフレーム（Ｆｒａｍｅ）に入ってくる状態への遷移を許容・禁止するような構成を用いることができる。

上述したように、図１に示す画像処理装置１００においては、仮想空間の静的状態を複数有する複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、第１の静的状態から第２の静的状態へ進行率に従って遷移させながらＣＧによる画像合成を行わせることができる。そのため、生成されるＣＧ画像を操作時の操作者の意図に応じた振る舞いで変化させることができる。

＜２．第２の実施の形態＞
［画像処理装置の構成］
図１３は、本技術の第２の実施の形態としての画像処理装置１００Ａの構成例を示している。この図１３において、図１と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この画像処理装置１００Ａは、制御部１１０と、ＣＧ（コンピュータグラフィクス）制作部２００と、編集部１２０と、データ保持部１３０と、ネットワーク２１０と、画像生成部１４０と、画像マッピング部２２０を有している。また、この画像処理装置１００Ａは、マトリクススイッチ２３０と、スイッチャ操作卓２４０と、所定数、この実施の形態では１つのＭ／Ｅバンク２５０を有している。制御部１１０、編集部１２０、データ保持部１３０、画像生成部１４０およびＣＧ制作部２００は、それぞれネットワーク２１０に接続されている。

ＣＧ制作部２００は、ＣＧ制作ソフトウェアを持つパーソナルコンピュータ（ＰＣ：Personal Computer）により構成されている。このＣＧ制作部２００は、所定のフォーマットのＣＧ記述データを出力する。ＣＧ記述データのフォーマットとして、例えばＣｏｌｌａｄａ（登録商標）がある。Ｃｏｌｌａｄａは、ＸＭＬ（Extensible Markup Language）の上で３ＤのＣＧデータの交換を実現するための記述定義である。ＣＧ記述データには、例えば、以下のような情報が記述される。

（ａ）マテリアル（表面態様）の定義
このマテリアルの定義は、ＣＧオブジェクトの表面の質（見え方）である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をＣＧオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。

（ｂ）幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
（ｃ）カメラの定義
このカメラの定義には、カメラのパラメタが含まれる。

（ｄ）アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト（ノード）のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
（ｅ）シーン中のノード（オブジェクト）の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義

これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル（複数）
・幾何学情報・・・ポリゴン集合（複数）
・ポリゴン集合・・・マテリアル（ノードに対応するうちの一つ）
・アニメーション・・・ノード

一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが２つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。

あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は６つであるが、このうちの３つの面で一つのポリゴン集合、１つの面で１つのポリゴン集合、２つの面で一つのポリゴン集合、というように、直方体のオブジェクトが３つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。

マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。

例えば、マテリアル定義に対して画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ画像をテクスチャマッピングすることもでき、面毎に異なる画像をテクスチャマッピングすることもできる。

編集部１２０は、ＣＧ制作部２００で生成されたＣＧ記述データに基づいて、仮想空間の静的情報を複数有する複合データを生成する。データ保持部１３０は、編集部１２０で編集された複合データを保持する。画像生成部１４０は、データ保持部１３０に保持されている複合データに基づいて、ＣＧによる画像合成を行って画像を生成し、出力端子１４０ａに画像データＶoutを出力する。

マトリクススイッチ２３０は、複数の入力画像（入力画像データ）から所定の画像（画像データ）を選択的に取り出す。このマトリクススイッチ２３０は、複数の入力ライン３１１と、複数の出力バスライン３１２と、複数のクロスポイントスイッチ群３１３を有している。このマトリクススイッチ２３０は、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング部２２０に画像データを供給する他、内部のＭ／Ｅバンク２５０などに画像データを供給する。

各クロスポイントスイッチ群は、複数の入力ラインと複数の出力バスラインとが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、各クロスポイントスイッチ群において接続が制御され、複数の入力ラインに入力された画像データのいずれかが各出力バスラインに選択的に出力される。

複数の入力ライン、この実施の形態においては１０本の入力ラインのうち、「１」〜「９」の入力ラインには、それぞれ、ＶＴＲ、ビデオカメラ等から画像データが入力され、「１０」の入力ラインには、画像生成部１４０から出力されるＣＧ画像データが入力される。複数の出力バスラインの一部は、画像マッピング部２２０にテクスチャマッピング用の画像データ（マッピング入力）Ｔ１〜Ｔ４を供給するためのバスラインである。また、複数の出力バスラインの一部は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。

図１４は、Ｍ／Ｅバンク２５０の構成例を示している。このＭ／Ｅバンク２５０は、入力選択部１５と、キープロセッサ（キー加工回路）５１，５２と、ミキサ（画像合成部）５３と、ビデオ加工処理部６１〜６３からなっている。入力選択部１５は、入力ライン１６のそれぞれを、キーソースバス１１ａ，１２ａ、キーフィルバス１１ｂ，１２ｂ、背景Ａバス１３ａ、背景Ｂバス１３ｂおよび予備入力バス１４に接続させる。

入力ライン１６のそれぞれとキーソースバス１１ａ，１２ａとの間に、入力ライン１６の複数の画像信号からキーソース信号を選択するためのキーソース選択スイッチ１ａ，２ａが設けられている。また、入力ライン１６のそれぞれとキーフィルバス１１ｂ，１２ｂとの間に、入力ライン１６の複数の画像信号からキーソフィル信号を選択するためのキーフィル選択スイッチ１ｂ，２ｂが設けられている。

キーソース選択スイッチ１ａ，２ａで選択されてキーソースバス１１ａ，１２ａに取り出されたキーソース信号はキープロセッサ５１，５２に送られる。また、キーフィル選択スイッチ１ｂ，２ｂで選択されてキーフィルバス１１ｂ，１２ｂに取り出されたキーフィル信号はキープロセッサ５１，５２に送られる。なお、キーフィル信号は、背景画像に前景として重ねる画像の信号であり、キーソース信号は、キーフィル信号を重ねる領域、背景画像を切り抜く形状、背景画像に対するキーフィル信号の濃度等を指定する信号である。

入力ライン１６のそれぞれと背景Ａバス１３ａとの間に、入力ライン１６の複数の画像信号から背景Ａ信号を選択するための背景Ａ選択スイッチ３ａが設けられている。また、入力ライン１６のそれぞれと背景Ｂバス１３ｂとの間に、入力ライン１６の複数の画像信号から背景Ｂ信号を選択するための背景Ｂ選択スイッチ３ｂが設けられている。また、入力ライン１６のそれぞれと予備入力バス１４との間に、入力ライン１６の複数の画像信号から予備入力信号を選択するための予備入力選択スイッチ４が設けられている。

背景Ａ選択スイッチ３ａで選択されて背景Ａバス１３ａに取り出された背景Ａ信号はビデオ加工部６１を介してミキサ５３に送られる。また、背景Ｂ選択スイッチ３ｂで選択されて背景Ｂバス１３ｂに取り出された背景Ｂ信号はビデオ加工部６２を介してミキサ５３に送られる。また、予備入力選択スイッチ４で選択されて予備入力バス１４に取り出された予備入力信号はビデオ加工部６３を介してミキサ５３に送られる。

キープロセッサ５１，５２は、キーフィル信号およびキーソース信号を、キーイングを行うための各種のパラメタであるキー調整値に基づき、キーイングに適するように調整・加工する回路である。キー調整値は、以下のような値である。すなわち、背景画像に対するキーフィル信号の濃度を調整する値、キーソース信号として判別すべき画像の信号レベルの閾値を調整する値、キーソース信号の位置を調整する値、キーフィル信号の縮小率を調整する値、背景画像との境界線に関する調整値等である。

キープロセッサ５１，５２によって調整・加工されたキーフィル信号およびキーソース信号は、ミキサ５３に送られる。ミキサ５３は、キープロセッサ５１，５２からのキーフィル信号およびキーソース信号を用いて、キーイングによって背景画像に前景画像を重畳する回路である。また、ミキサ５３は、ビデオ加工部６１を経由した背景Ａ信号とビデオ加工部６２を経由した背景Ｂ信号とを合成して背景画像とし、この合成にＷｉｐｅなどを用いることが可能で、Ｗｉｐｅなどによる背景画像の切り換えＴｒａｎｓｉｔｉｏｎを行う機能を持つ。このミキサ５３から、プログラム出力ライン２５１を通じてプログラム出力（Program Output）が外部に出力される。また、このミキサ５３から、プレビュー出力ライン２５２を通じてプレビュー出力（Preview Output）が外部に出力される。

制御部１１０は、画像処理装置１００Ａの各部の動作を制御する。制御部１１０は、画像生成部１４０の制御については、同期信号（例えば、外部同期信号）に同期して、フレーム単位（フィールド単位）の画像生成を行わせる。そして、制御部１１０は、複合データ中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、画像生成部１４０に、第１の静的状態から第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる。

スイッチャ操作卓２４０は、マトリクススイッチ２３０への指示の操作入力を受ける。図１４には示していないが、スイッチャ操作卓２４０は、マトリクススイッチ２３０の各クロスポイントスイッチ群のスイッチのオンオフを操作するボタン列を備えている。このスイッチャ操作卓２４０は、制御部１１０への各種操作入力を受ける機能も有する。つまり、このスイッチャ操作卓２４０は、進行率制御部１６０および遷移先指示部１７０を有している。

進行率制御部１６０は、遷移（Transition）の進行率（開始０％から完了１００％）を、制御部１１０に供給する。遷移先指示部１７０は、遷移先を指示する。すなわち、現在が第１の静的状態にあって、第２の静的状態に遷移させる場合、この第２の静的状態を遷移先として指示する。

［グラフ構造］
図１５は、複合データの一例としてのグラフ構造を示している。一つのパラメタグループの各状態は、グラフ構造を成すように、グラフの辺で結ばれている。遷移先指示の選択肢として、現在の状態から辺で結ばれている状態（ノード）が表示される。例えば、状態Ａにある場合には選択肢はＣの一つだけであり、状態Ｄにある場合には選択肢はＢ、Ｃ、Ｅの三つとなる。操作者は表示された選択肢から一つを選び、トリガして遷移させることで出力画像を変化させることができる。この場合、例えば、グラフ構造の複合データの辺に、時間の長さを保持するデータ構造とされる。そして、制御部１１０は、辺の遷移を実行させる際に、例えば、この辺が持つ時間の長さを用いるようにされる。

例えば、仮想空間にロボットが配置されているとして、ロボットが寝ている状態をＡ、起き上がる途中の状態をＣ、起き上がった状態をＤ、足を踏み出す状態をＢ、手を挙げた状態をＥとすると、寝ている状態から起き上がった状態へは、途中の状態Ｃを経由しないと、各部の座標値等の幾何学的情報を補間しても自然な動きにはならない。このため、状態をノードとするグラフ構造により、遷移が妥当な状態間のみを辺で結ぶことで、即時操作の運用でも自然なＣＧ画像のみを出力できるようになる。

図１６は、遷移の指示に関するＧＵＩの一例を示している。図１６（ａ）は遷移先指示の入力前のＧＵＩ表示である。ここでは、図１５のグループ１の例とした内容にしている。Select ボタンを押下（クリック）すると、図１６（ｂ）のＧＵＩ表示となる。このＧＵＩは、遷移先指示を入力するＧＵＩである。Next のリストボックスに、現在の状態から遷移が可能な状態がリスト表示される。遷移が可能でない状態は表示されない。

リストのうちの一つを選択してOK ボタンを押下すると、遷移先指示の入力が完了する。図１６（ｃ）は、遷移先（Ｎｅｘｔ）が確定した状態の表示であり、Transition Exec! ボタンを押下すると、遷移が開始される。遷移の実行中は、図１６（ｄ）のようなプログレスバーが表示される。以上は全てＧＵＩによる例を図示したが、操作卓の表示器・ボタンにより同様のＵＩを実現しても良い。

図１７は、スイッチャ操作卓２４０の外観（操作面）の一例を示している。右端側には、画像合成・切り替えの遷移、つまりトランジション（Transition）を操作するブロック（操作子のグループ）の一例を示している。遷移対象選択ボタン（Next Transition Selection）２５は、このブロックが、どのトランジション（Transition）機能を制御するかを決める。すなわち、次に実行するトランジション（Transition）が、背景（Background）のＡバスとＢバスを切り替える（置き換える）操作か、あるいは、いずれかのキーヤーのオン／オフ（On/Off）を切り替えるかを指定する。

スイッチャ操作卓２４０には、キー１（Key1）とキー２（Key2）の二系統のキーヤーが存在する。勿論、キーヤーの系統数は、これより多くても少なくてもよい。クロスポイントボタン列２３，２４は、それぞれ、キー１系統、キー２系統の入力画の選択などに使われる。クロスポイントボタン列２１，２２は、それぞれ、背景バスのＡバスとＢバスの入力画の選択などに使われる。クロスポイントボタン列は、押下されたボタンに対応する入力信号（ビデオ）を該当バスに供給するような制御を操作する機能がある。

方向指定ボタン２６は、トランジション（Transition）の進み方にノーマル（Normal）とリバース（Reverse）があって選択可能な場合に、指定する操作を受ける。ノーマル・リバース（Normal-Rev）ボタン２７は、ノーマル（Normal）とリバース（Reverse）を交互に切り替えて動作させることを指定する操作を受ける。フェーダレバー１０２は、トランジション（Transition）の進行を手動制御するための操作子である。

自動遷移（AutoTrans）ボタン２８は、トランジション（Transition）の進行を自動的に行う（あらかじめ設定された時間で１００％まで進むように時間に比例して進める）ことを指示トリガする。遷移タイプ（Transition Type）選択ボタン３１は、遷移タイプを選択するためのボタンである。ここでは、Mix（全画面をパラメタの比率で重畳合成）、Wipe（ワイプパターン波形により画面を区画分けして合成）の他に、CG（CG画像の重畳合成）のいずれかを選択操作できる。テンキー入力部３２は、数値を入力できるボタン群であり、ワイプパターンの番号などの番号を入力できる。

各ボタンは、文字表示器を表面に持ち、機能を設定可能として、表示で機能を示すような動的な割り当てが可能な構成としてもよい。表示器３３は、操作により指示されたワイプ（Wipe）番号または遷移先を表示する。ソース名表示器列３０は、下方に配置されたボタンのボタン番号に対応するマトリクススイッチのインデックス番号に対応付けられた文字情報を表示する。文字情報は、スイッチャ操作卓２４０内の図示しないメモリに記憶されており、ユーザが文字情報を設定できる。

スイッチャ操作卓２４０により遷移の指示を操作入力する手順、それに応じた表示（応答）について説明する。図１７の例では、遷移タイプ（Transition Type）選択ボタン３１ではMix が選択されており、Ｍ／Ｅバンク２５０のミキサ（Mixer）５３において、フェードイン（Fade-in）とフェードアウト（Fade-out）による画像の入れ替わりが処理される状態である。

遷移対象としてKey1 が選択されているため、遷移（Transition）をAutoTrans ボタンの押下かまたはフェーダレバーの操作で実行するとKey1 の画像重畳がフェードイン（Fade-in）で現れる動作となる。次に、遷移（Transition）を実行するとフェードアウト（Fade-out）する。どのような画が現れるかは、クロスポイントボタンのKey1列で選択（押下）することで操作できる。

Mixから変更するように、操作者がCGボタンを押下すると、図１８のような（点灯）状態になる。この状態では、Key1 の入力バスには、クロスポイントで画像生成手段からの入力信号が選択され、またキー画像加工部とMixer で、Key1 の画像を前景として重畳するような画像信号処理を行うように制御される。

重畳は、前景とする画素をキー信号により決めて行われる。図１９のように画像生成部１４０からの信号をキー信号にも取る場合、それを元に、例えばクロマキーや輝度によるキー処理で、重畳する画素（濃度／α）を決める。なお、別の例として、画像生成部１４０でＣＧ画像生成と同時にキー信号の内容を生成し、もう一本の出力ラインを設けて、クロスポイント経由でキー画像加工部に供給するように構成してもよい。いずれにしても、ＣＧデータを元に、キー信号処理、重畳処理が行われる。

図１８の状態では、既に画像生成部１４０の画像は、Ｍ／Ｅバンク２５０の出力画像に重畳されている。しかし、もし画像生成部１４０の出力画像が、画面中に何もない状態、すなわち仮想ライトや仮想物体による反射光のない暗い状態であれば、何も重畳されないのと同じ状態となる。

この図１８の状態においては、クロスポイントボタンのKey1列は選択された表示（点灯）となるボタンがない状態になる。これは、通常の入力信号以外を選択していることを示す。なお、もしも、クロスポイントボタンに元々画像生成部１４０からの入力信号を選択するボタンが割り当て（アサイン）されている場合には、クロスポイントボタンのKey1 列で、そのボタンが点灯しても良い。すなわち、図１３の１０番の入力ラインに相当するボタンがクロスポイントボタンにアサインされている場合である。なお、図１３の入力信号の数が１０であるのは図示の都合上で、限定はない。

図１８の状態で、遷移先の状態を選ぶには、テンキー入力部３２により、番号で状態を指定する。番号は、あらかじめ（順に）状態に付与されたもの。あるいは、図１８とは別に設けるＧＵＩにより、図１６（ｂ）のような画面から選択する。選択された遷移先指示である遷移先状態は、表示器に表示される。図１８においては、一例として「002 StatusB」が表示されている。

自動遷移（AutoTrans）ボタン２８の押下、あるいはフェーダレバー１０２の操作でTransition を実行すると、Key1列の画像は、画像生成部１４０の元の状態から指示された状態へ、パラメタ補間により遷移する。遷移を終えたら（AutoTrans完了／フェーダ振り切り）、遷移先としてまた別の状態を選択でき、別の状態への遷移を実行できるようになる。

自動遷移ボタン２８による動作では、進行率制御部１６０により、あらかじめ、Transition Rate あるいは Duration として、メモリ（期間記憶手段）に記憶されている遷移の時間を掛けて、遷移が進むようにフェーダ値が制御される。Transition Rate は数値入力する手段（テンキーあるいはＧＵＩ等）により、変更可能（期間記憶手段に書き込める）とする。

フェーダレバー１０２による遷移では、手動操作に応じて進行率が０％から１００％までの値となり、それに応じて補間されたパラメタによりＣＧ画像が生成される。レバー操作であるから、行きつ戻りつの操作がされても良い。進行率の制御は、スイッチャ操作卓２４０から制御部１１０に送られる。

図２０は別の実施例として、遷移先指示をクロスポイント列の操作で指示できるように構成した場合の表示例である。図１８ではクロスポイントボタンのキー１列は消灯していた。しかし、図２０では、操作者が CG ボタンを押下すると、クロスポイントボタンのキー１列は、画像生成部１４０の仮想空間の状態に対応するボタンの列として機能するようになる。

その割り当ての内容は、Key1 ボタンを押下保持すると、押下している間、ソース名表示器３０に表示される。図２０はそのようにして表示されている場合であり、左からStatusA、StatusB、・・・に対応していることが分かる。図２０では StatusD のボタンが点灯しており、現在の状態を示している。

この状態から遷移先指示を操作入力するには、Key1列において、別の状態に対応するボタンを押下する。例えば、3番：StatusC のボタンを押下すると、図２１のように、そのボタンは別の色で点灯する状態になる（例えば、薄い色、あるいは点滅）。なお、選択できない状態に対応するボタンは、押下しても反応しない。

AutoTransボタンの押下かフェーダレバー１０２の操作で遷移を実行すると、Key1列の画像は画像生成部２４０の元の状態（StatusB）から指示された状態（StatusC）へ、パラメタ補間により遷移する。遷移を終えたら（AutoTrans完了／フェーダー振り切り）、遷移先として、クロスポイントボタンのキー１列により、選択可能な別の状態を選択することができる。

図２０、図２１でソース名表示器３０の一番右側には、「Titl」と表示されている。これは、遷移タイプ（TransType）を CG に切り替える前にKey1列で選択していたクロスポイントであり、これだけはKey1列クロスポイントボタンの選択肢として残っている。Key1列クロスポイントボタンで、この「Titl」を押下すると、遷移タイプは CG から元の Mix に戻り、Key1列クロスポイントボタンの機能も元に戻って、「Titl」が選択された状態に戻る。ここでは、事前の一つだけの選択肢が Key1列クロスポイントボタンの機能に残る例を示したが、これを複数とするように、クロスポイントボタン列への機能アサインを設定可能としても良い。

［テクスチャマッピング］
図１３において、クロスポイントから画像生成１４０へ４つの画像信号（T1,・・・, T4）が供給されている。これは、ＣＧ画像生成においてテクスチャマッピングに使用できる画像信号となる。画像生成部１４０では、元のＣＧデータ中の設定や、操作による指示により、仮想物体の表面に入力画像信号をテクスチャマッピングして、出力画像の生成を行う。この４つの画像信号は入力画像信号の中からクロスポイントにより選択されるが、その操作は、例えばスイッチャ操作卓２４０に、別にＡｕｘ操作卓（補助操作卓）を増設して、そこで行う。

図２２のようなＡｕｘ操作卓で、Delegation ボタンにより操作対象の列を指定し、その上で、クロスポイントボタン（Ｘｐｔ）を操作して、いずれか一つの信号を選択する。あるいは、別の例として、４つの画像信号の選択を、Ｍ／Ｅバンクの操作卓で行う。すなわち、図１９、図２０の例とは別の例として、クロスポイントボタンのKey1列を、テクスチャマッピングの４つの画像信号の選択機能として機能させる。

図２３のように、Ｍ／Ｅバンクの操作卓であって、Util ボタンを設けている。操作者が CG ボタンを押下すると、Key1列クロスポイントボタンは、Aux1（T1）のクロスポイントを操作するボタン列となる。図２３のように、１番目のボタンが点灯しているのは、Aux1バスで、１番目のボタンに割り当てられている入力画像信号のクロスポイントが選択されていることを示す。

そして、CG ボタンが点灯している状態では、Utilボタンを押下しながらの表示／操作により、Aux2、Aux3、Aux4 バスのクロスポイントの操作を行うことができる。すなわち、Utilボタンを押下し続けている状態では、A列 はAux2 の操作を行うボタン列となり、B列は Aux3 の操作を行うボタン列となり、Key2列は Aux4 の操作を行うボタン列となる。Utilボタンを押下し続けている状態で、図２４のような点灯の場合、Aux1 で VTR1 信号、Aux2 と Aux3 では VTR2 信号、Aux4ではCAM2 信号を、それぞれ クロスポイントで選択し、テクスチャマッピング用に供給する。

なお、クロスポイントボタンへの入力信号のアサインは、例えば次の様なテーブルで記憶される。なお、内部信号には特別に定義された、端子番号とは異なる番号が付与されており、その番号により、どの回路ブロックからの信号かを識別する。例えば、図示しない画像メモリの出力を選択する。

ボタン番号 外部入力／内部信号 入力番号 表示名
------------------------------------------------------------
１ 外部入力 １ VTR1
２ 外部入力 ２ VTR2
３ 外部入力 ３ CAM1
４ 外部入力 ４ CAM2
５ 外部入力 ５ Main
６ 外部入力 ６ Sub
７ 外部入力 ７ Fig
８ 外部入力 ８ Titl
９ 外部入力 ９ Up
１０ 内部信号 １０１ ST2
１１ 内部信号 １０２ ST3

［経過を定義したタイムラインとする場合］
図２５は、複合データの別の例の構成を示している。上述の図１５の複合データの例では、辺には遷移動作に関する情報がなかった。図２５の複合データの例では、辺に、タイムラインの情報が含まれている。図１５の例では、状態から状態への遷移の間、ＣＧの変化は、両状態の二点間ではパラメタを線形補間して進めるように構成している。例として、図２６（ａ）に示すように、状態A 、状態C の情報を持つ。そして、図２６（ｂ）に示すように、状態A から状態C への遷移では、状態A を０％、状態Cを１００％とし、進行率の０％から１００％の変化に伴ってパラメタの値を線形補間することで遷移が行われる。

これに対して、図２５の例では、両状態の補間ではなく、その途中に経由する変化の内容を指定する構成も可能である。例として、Timeline1 には、図２７（ａ）のような情報を格納する。状態A を０％、状態C を１００％として、途中のキーフレームとなる位置を％で指定し、その時点におけるグループ１のパラメタの値を指定する情報を持つ。

この場合、状態A から状態C への遷移では、図１５の例の場合と操作（機能）としては同様であるが、図２７（ｂ）に示すように、遷移中に出力される画像の推移が異なる結果となる。なお、状態A から状態C へ進む場合と、逆に状態Cから状態A に進む場合では、Timeline1 は同じでも、進む向きが逆になる。これにより、より複雑な遷移が可能となり、出力画像の付加価値が向上する。

［無向グラフと有向グラフ］
これまでの例では、グラフは無向グラフであり、任意の状態Ｐから状態Ｑへの遷移が可能ならば、状態Ｑから状態Ｐへの遷移も可能であった。これに対して、複合データを有向グラフの構成とし、逆方向の遷移を不可能にする構成も可能である。図２８は、有効グラフ構造の複合データの構成例を示している。

この構成例では、状態Ｄから状態Ｂへの遷移は可能であるが、その逆はできない。この構成が効果を発揮する画の内容としては、例えば物体が落下する様子をタイムラインにした場合、タイムラインを逆方向に進めることは不自然な画像となり、好ましくない。そのような変化が含まれる場合、このような有向グラフの利用が、出力画像の付加価値を高める。図２８では、有向グラフの辺にタイムライン情報を持たせる構成を示している。図２５の例と異なり、図２８の各タイムラインは、逆に進められることはない。

［Duration（長さを定義したタイムラインとする場合）］
上述の図２７に示すタイムラインは時間の長さの情報を持たず、タイムライン上で、進行率％でキーフレームの位置を記したものであった。図２５、図２６におけるタイムラインにおいて、図２９に示すように、％ではなく時間単位で長さを持つタイムラインとしても良い。この場合、遷移を実行する際に、進行率の制御には、以下の（１）から（３）の選択肢がある。

（１）と（２）では、タイムラインに付与された時間の情報は無視され、全体に対する比率としてのみ参照される。この場合は、操作手段として、（１）と（３）を使い分けるために、別々の自動遷移（AutoTrans）ボタンを設ける。
（１）別途あらかじめ設定された Transition Rate を使う自動遷移（AutoTrans）
（２）フェーダレバーによる任意の手動操作
（３）タイムラインが持つ時間単位の長さでの自動遷移（AutoTrans）

［Durationに係数を与える］
上述の（３）において、タイムラインが持つ長さに対して乗算する値を操作可能としても良い。例えば、回転ノブにより係数を操作し、より短時間で、あるいはより長時間で遷移するように指定可能な構成とすることができる。また、この回転ノブを遷移（Transition）の最中でも操作可能で、遷移を加速・減速できるように構成しても良い。すなわち、常時ノブの値を読んで、進行の増減を行うように制御する。また、フェーダ・カーブ機能として、前記係数が時間単位または進行率の関数である用にしても良い。フェーダ・カーブ機能は、従来技術の画像エフェクト同様に、（１）、（２）、（３）のいずれにも適用できる。

［編集装置（上位概念）］
図３０は、状態間の遷移時のタイムラインを編集する機能のＧＵＩである。
図５に示した状態の登録機能に加えて、辺のタイムラインを作成するために、遷移前の状態と、遷移後の状態を選択して、そのタイムラインを編集する機能が図３０のＧＵＩである。

図３０では、矢印は右向きで、左の状態から右の状態へ遷移する場合に関する編集の画面となっている。これは有向グラフである複合データに好適なものであるが、無向グラフの複合データの場合には、矢印を両方向とするほうが直感的な表示となる。図３０の下部には、タイムラインが表示されている。タイムラインの一番左は遷移前の状態である状態Ｄであり、タイムラインの一番右は遷移後の状態である状態Ｂである。タイムライン上で、その途中の経過について、タイムライン上の位置を指定し（下向き三角形）、ＣＧ表示部とパラメタ操作機能などでＣＧの状態を編集し、KeyFrame Set ボタンにより、キーフレームとしてタイムライン上に登録する。登録されると、ダイヤモンド型で表示される。

タイムラインの編集を終えたら、Store Timeline ボタンを押下して状態Ｄから状態Ｂへの遷移のタイムラインとして、複合データに格納する。格納したタイムラインの全体状況については、図３１に示すように、図２５、図２６のような状態遷移図としてＧＵＩに表示する機能を設け、状況を把握しやすくする。図３１の各タイムラインの矩形をクリックすると、図３０の編集画面に移行するようにしても良い。

別の例として、複合データの構造を、単独ファイルとしてではなく、汎用ファイルシステムのディレクトリ構造を使って保持することも可能である。この方式により、一般のＣＧ編集ソフトウェアなどにより編集を行ったり、その結果を取り込んだりすることも容易になる。

一般のＣＧタイムライン・アニメーションのファイルは、一つで、一つのタイムラインを保持している。本技術の複合データの場合、一つの状態から複数のタイムラインに進める構造であるので、タイムラインの始点の状態が全く同じものを、複数まとめる方法が必要である。ファイルシステムにおけるファイルの属性の何かを使えば良いが、例えば同一ディレクトリに納めるか、あるいはファイル名の一部で示す方法が取れる。終点についても同様である。

始点をディレクトリで示し（識別し）、終点をファイル名の一部で示す方式での例を示す。状態Ａで始まるタイムラインのＣＧタイムライン・アニメーションのファイルをディレクトリ StatusA に格納する。他の状態Ｂ，Ｃ，Ｄ，Ｅについても、同様に StatusB、StatusC、StatusD、StatusEのディレクトリを設ける。状態Ｂで終わるタイムラインのＣＧタイムライン・アニメーションのファイルの名称を、XXX_To_StatusB.daeとする。ただし XXX の部分は任意の文字列とする。他の状態Ｂ，Ｃ，Ｄ，Ｅについても同様の命名とする。無向グラフの複合データの場合は、一方向のみでの、このようなファイル構成とすればよい。

これを要約すると、以下のようになる。すなわち、始点識別子をディレクトリで示す。すなわち、始点識別子が同じファイルを同一ディレクトリに入れる。終点識別子についてはディレクトリ以外の名前の一部などの属性で、識別子をファイル毎に刻印する。

図３１の無向グラフのタイムラインの構造は、図３２の様なディレクトリとファイル名の構成と等価となる。各タイムラインのファイルは、始点と終点を変えないようにして、通常のＣＧ編集ソフトウェアにより編集でき、汎用性を持つため、編集が容易また便利となる。なお、有向グラフの複合データの場合は、方向毎にＣＧタイムライン・アニメーションのファイルを設けるようにする。

［クロスポイント、プレビュー系］
図３３、図３４はプレビュー（Preview）系統の回路ブロックを設けた、システム構成である。図３３では、画像生成部１４０に加えて、プレビュー画像生成１４０Ｐが設けられており、制御部１１０が遷移先指示を受けると、プレビュー画像生成部１４０Ｐでは遷移先の状態での画像生成を行い出力する。

出力はプレビューＣＧ画像信号として、エフェクトスイッチャのクロスポイントに入力される。この場合、クロスポイント入力にプレビュー（Preview）系統を受ける入力を設けておく。図３４はＭ／Ｅバンク２５０にプレビュー用のキー画像加工部５１を設けた図である。図３４のミキサ（Mixer）５３は、プレビュー用のキー画像加工部５１からの画像信号を、Key1 からの画像信号に替えて重畳した画像をプレビューとして出力する機能を有する。

遷移タイプ（TransType）としてＣＧが指示されると、 Key1列の入力バスのクロスポイントでは画像生成部１４０からの画像信号を選択するが、ここでは同時に、プレビュー用のキー画像加工部への入力バスのクロスポイントにおいて、プレビュー画像生成部１４０Ｐからの画像信号を選択する。ミキサ５３は、プレビュー出力ライン２５２には、Key1 に替えてプレビュー用キー系統の画像を重畳したものを出力する。

これにより、遷移後の画像がどうなるかをモニタなどで確認しながら、運用操作を行うことができる。テクスチャマッピングを行う場合、このテクスチャマッピングに入るのはカメラ撮影のライブ画像などの場合もあるため、ＣＧ画像の内容がシステムの出力において実際にどうなるかは事前に想定が難しく、従って、このような構成が効果を発揮する。

［無理な場合はミキサによるＦａｄｅ−ｏｕｔ／Ｆａｄｅ−ｉｎ（Mix）等を使う］
上述の図１６を使った説明などでは、遷移先指示を操作入力する遷移先指示部１７０の選択肢としては、グラフで結ばれた、遷移可能な状態のみが選択可能であるとして説明した。図１６（ｂ）のNext のリストボックスに、現在の状態から遷移が可能な状態がリスト表示される。遷移が可能でない状態は表示されない。これに対して、本技術の変形として、選択肢には、画像生成部１４０において遷移が不可能な、つまりグラフの辺で結ばれていない状態も表示し、選択操作を可能とする。

遷移が不可能な状態が選択されて、遷移（Transition）実行が指示された場合は、エフェクトスイッチャのMixer 部の機能により、Key1 のキー画像加工部が出力する画像信号から、プレビュー用のキー画像加工部が出力する画像信号へと遷移させる。この遷移は、Mix、すなわち、フェードイン（Fade-in）とフェードアウト（Fade-out）により画像を交代させる遷移となる。あるいは Mix ではなく、Mixer 部のワイプ機能により、エフェクトスイッチャの通常のワイプによる画像切り替えと同様に実現しても良い。

この遷移が終わると、画像生成部１４０が遷移後の仮想空間の状態で画像生成するように切り替わる。その後、Mixer 部では、プレビュー用キー系統のキー画像加工部に替えて、再びKey1 のキー画像加工部の画像信号を重畳するようにする。この際の切り替えは瞬時で良く、出力画にはこの切り替えの影響は出ない。好ましくは、選択肢の表示において、遷移が不可能な状態については表示態様を若干替えて（例えば色を付ける、ランプ点灯を追加するなど）、遷移がエフェクトスイッチャの機能で実施されることを事前に操作者に示すようにしても良い。

［タリー］
エフェクトスイッチャでは、最終出力の画像に含まれる入力信号（合成されている入力画像信号）を調べ、その情報（含まれる入力信号の識別子：番号）をタリー情報として外部に提供する機能がある。また、現在の出力（プログラム出力）に関するタリー情報に加えて、プレビュー出力に関するタリー情報も生成する機能がある。図３３、図３４において、プログラム出力に関して、画像生成部１４０に向けてテクスチャマッピングのために供給している画像のいずれが画像生成部１４０の出力に含まれるかを判断に加味して、タリー情報が生成される。

なおかつ、図３３、図３４のような、画像生成部１４０についてもプレビュー系統を持つ構成においては、プレビュー画像生成部１４０Ｐについての、テクスチャマッピング用画像信号Ｔ１，・・・，Ｔ４のいずれが出力画像（Preview Output）に含まれるかを制御部１１０において制御状態（画像生成状態）から判定し、エフェクトスイッチャの状態と合わせて、プレビュー出力に含まれる入力画像信号の情報（タリー情報）を生成する。これにより、遷移タイプが CG である、画像生成部１４０を用いた運用においても、プレビュー出力のタリー情報を正しく生成し、表示器（ランプやＧＵＩ等）に表示できるようになり、操作性が向上される。

［階層／グループ］
以上の説明では、図２５等のグループ１のみをエフェクトスイッチャから扱う機能について説明した。図３５のように、 Layer Select としてボタン列を設け、遷移タイプ（TransType）をＣＧとした後、どのパラメタグループの画像遷移を操作するかを、選択操作するようにしても良い。

グループの選択を変更すると、選択肢とその表示も、変更後のグループのものに切り替わる。例えば、 StatusA、StatusB、StatusC、StatusD、StatusE であったものが、StatusR、StatusS、StatusTという選択肢に入れ替わる。仮想空間内のパラメタグループのどれを操作の対象とするかを指定できる。このボタン列によるパラメタグループの選択は、現在操作中のパラメタグループがどの状態にあるかに関係なく、いつでも操作できる。

［リンクされた遷移］
さらに応用機能として、グループ選択で選んだグループについて、操作により状態を遷移する際に、別のグループについても状態を遷移するように、リンク設定を設けても良い。これにより、別グループの状態（ＣＧ中の別のパラメタの値）と所望の連動をさせることができる。例えば、図２５のグループ１からグループ２へのリンクを設定する場合、次の様なテーブルを記憶する。

グループ１ グループ２
-----------------------
StatusA StatusR
StatusB StatusS
StatusC StatusS
StatusD StatusS
StatusE StatusT

このテーブルに従い、グループ１で遷移先指示の操作をされ、遷移を実行する際に、グループ２についても同時に遷移を実行するようにする。ただし、図２５のようなグラフ構造の辺で結ばれていない状態の間は遷移できないので、このリンク動作によりグループ２側（リンクのSlave側）が本来選択不可である遷移先指示を受けたことにならないように、上記リンクのテーブル設定に際して配慮（設定手段によるチェック）をする必要がある。あるいは、別の実施例としては、Slave 側に対して遷移先指示が不可である状態が指示された場合、上述したように、エフェクトスイッチャの Mixer 部の機能により別の状態に移行するようにしても良い。

［操作に応じた、遷移に随伴する動作の実行］
好ましくは、図１７の様な操作卓に、さらに追加して、遷移（Transition）に随伴する動作の指示を操作入力する手段を設けても良い。随伴する動作とは、遷移が振興している間（進行率が０％と１００％の間にあるとき）の動作であって、本技術においては画像生成部１４０の仮想空間のパラメタの変更のことである。

随伴する動作で変化させるパラメタは、遷移により通常変化するパラメタ（該当グループのパラメタ）以外のパラメタであり、あらかじめ随伴するパラメタ（Modifier）として設定されたものである。随伴する動作の一例として、遷移の間だけ、あるパラメタの値が変化する例が考えられる。例えば、ある部分の色が遷移の間だけ別の色になるような、画像効果が得られる。そのような画像効果を、独立して設けた操作入力手段で随伴動作させることにより、操作者の意図で、遷移時に実行する、しないの選択が可能となる。

あるいは随伴する動作の別の例として、対象パラメタのタイムライン動作を行わせてもよい。このタイムラインは遷移に関係しない独立したものであり、例えば次の様な特徴を持たせる。すなわち、始点と終点で対象パラメタは同じ値であり、遷移のフェーダ値（進行率）に応じて進行するもの（本技術の主な動作である遷移と同期して進行するもの）である。さらに変形として、進行率の０％から１００％の間に複数回同じ動作を繰り返すようなタイムラインであっても良い。

これを用いた画像効果の一例としては、PinP（Picture in Picture）の子画面の位置を状態として用意し、遷移により子画面が移動する画像を得られるようにして、さらに、子画面の枠（額縁のような枠）が変化するタイムラインを随伴する動作として用意し、操作者の操作時の希望に応じて、子画面の移動に、枠の変化を伴わせることを可能にする。これにより、随伴する動作の有無により、生成された画像で、同じ子画面の移動であっても、見る者に異なる印象を与えることができる。

［条件による遷移の制限］
好ましくは、Ｉ／Ｆ部１８０から受ける外部の信号、あるいはエフェクトスイッチャの状態により、一部の状態へ遷移しないように制限することができる。遷移先指示の選択肢として該当の状態を表示しない、あるいは選択させないようにする。

［操作用サムネイル］
遷移先指示の選択肢の表示（ＧＵＩ、あるいはボタン列に隣接する表示器など）として、遷移後に、エフェクトスイッチャの出力画像がどういう画になるかを、縮小表示しても良い。これにより操作性が向上する。この場合、それぞれ、あらかじめレンダリングした静止画を表示するか、あるいはそれぞれに画像生成部を設けて常時レンダリングして表示するか、あるいは一つの画像生成部をフレーム毎に時分割で違う状態のレンダリングに使用して、時々更新される画像としても良い。

別の例として、上述例では遷移タイプ（TransType）の選択操作によって画像生成部１４０の出力をクロスポイントで選択する方式であった。しかし、これとは異なる、クロスポイントボタン列の操作において画像生成部１４０の出力を選択させる、方式を採ることもできる。さらに、クロスポイントボタン列において画像生成手段の出力が選択されると、アサインを変更して、クロスポイントボタン列において遷移先を選択・指示できるようにしても良い。

さらにまた、複数の画像生成手段（等のＣＧ部）をエフェクトスイッチャから使用する場合に、遷移タイプ（TransType ）あるいは クロスポイントボタン列で選択した複数の画像生成手段中の一つの画像生成手段に対して、遷移先指示操作ができるように、エフェクトスイッチャの操作卓を構成することもできる。

＜３．変形例＞
図３６は、エフェクトスイッチャのＭ／Ｅバンク２５０と画像生成部１４０を、クロスポイントを経由せずに接続する場合の画像処理装置１００Ｂの構成例を示している。この図３６において、図１３と対応する部分には、同一符号を付して示している。この構成の場合、画像生成部１４０とＭ／Ｅバンク２５０の間は画像信号をＳＤＩとする必要はなく、例えば基板間の接続ラインで構成することもできる。テクスチャマッピングに供給するＴ１，・・・，Ｔ４の画像信号は、Ｍ／Ｅバンク２５０に信号を供給しているバスのクロスポイントで選択できるように構成される。

図３７は、グループを並列に操作可能な操作卓の構成例である。ローカルフェーダ・モジュールは、ＣＧ中のパラメタグループの一つに対するフェーダ操作や、キーヤー一つに対するフェーダ操作を行うものであり、これを複数設けることで並行して操作することができる。図３７には４つのローカルフェーダ・モジュールが示されている。同様のものをＧＵＩで実現しても良い。

図３７のKey1,Key2 ボタンは、キーヤーのいずれを操作対象とするかを選択する二択のボタンである。CG Group Select ボタンは、押す毎に、その下の表示器のパラメタグループの表示が切り替わり、そのモジュールの操作対象とする複数のパラメタグループの内の一つまたは何も選択しないこと（画像生成部１４０と関係なくＫｅｙ１あるいはＫｅｙ２を操作すること）のいずれか一つを選択できる。パラメタグループ（a parameter group）が選択されている場合、Ｋｅｙ１かＫｅｙ２のいずれかのボタンで選択されているキーヤーを、画像生成部１４０の出力を受けて動作させるようにされる。Select ボタンは、遷移先の状態（StatusC など）を選択する手段（遷移先指示操作手段）であり、押す毎にそのグループの遷移先となる状態の選択が切り替わり、表示も切り替わる。

あるいは、押すことによりＧＵＩ部に遷移先の選択肢が表示されるようにしても良い。なお、図３７の「４」では、Key2 が選択されており、これはＣＧとは関係なく、エフェクトスイッチャのKey2を制御する状態になっている。また図３７の「３」では、操作対象がＫｅｙ１とＫｅｙ２のいずれもアサインされておらず、したがって操作しても無効になっている。

［エフェクトスイッチャの別の動作へのリンク］
ある状態に向かって遷移する動作に伴い、あるいは、ある状態から遷移する動作に伴い、エフェクトスイッチャの予め設定した機能を動作させるように、リンク機能を搭載しても良い。対象とする状態については、選択設定する機能を例えばＧＵＩに設ける。設定する機能としては、例えば、図１３のｏｕｔ１のようなバスのクロスポイントを設定された入力に切り換える機能、あるいは、設定したキーヤーのＯｎ／Ｏｆｆを切り換える機能などが可能である。あるいはまた、仮想空間中のあるパラメタの値がある範囲になったら、エフェクトスイッチャの予め設定した機能を動作させるようにしても良い。

［仮想空間中のパラメタの値に応じて機器を制御］
遷移により変化する仮想空間中のパラメタの値に応じて、外部機器を制御するようにしても良い。仮想空間中のパラメタは、本発明の特徴である遷移のほか、アニメーションや手動操作など様々な要因で変化するため、変化したパラメタの値で外部機器を制御することで、変化の要因に関係なく連動させることができる。

例として、出力画のフレームに特定のテクスチャが含まれる比率を制御元とし、それを用いて、あらかじめ設定されたオーディオミキサのあるラインのレベルを制御させる。別の例として、あるマテリアルの色の値を制御元とし、あらかじめ設定されたオーディオミキサのあるラインのレベルを制御させる。これにより色や明るさと音量を連動させることができる。また別の例として、仮想物体の位置座標により、あらかじめ設定されたオーディオミキサのあるラインのレベルを制御させる。これによりＣＧのフェーダレバーで、実際の音量を制御できる。

他の例として、仮想カメラの方向を制御元とし、ロボットカメラ（モーター駆動される雲台）を制御させる。あるいはまた、仮想空間内のノブの動きを制御元として、ロボットカメラを制御させる。また、他の例として、仮想物体の位置座標により、外部のビデオサーバーの再生（ｐｌａｙ）タイムコードを制御させても良い。そのビデオサーバーの出力を仮想空間内でテクスチャマッピングしていれば、仮想空間内の変化に応じてテクスチャマッピングされるビデオ画像が変化するようにできる。さらに別の例として、公衆に出力画像を表示する場所で、照明の明るさを制御させるようにしても良い。

このように、即興性のある操作により、さまざまな変化を引き起こして、付加価値の高いビデオ・オーディオ出力などを得ることができる。

［グラフ構造のデータXMLサンプル］
以下に、実現方法の一つとして、簡単な文法（Schema）で記述したグラフ構造のデータの例を示す。

「図１５無向グラフ」に対応する例：

<transition_edges>
<ss_edgeid="trans_edge_01">
<diff_ref url="#StatusA">
<diff_ref url="#StatusC">
</ss_edge>
<ss_edge id="trans_edge_02">
<diff_ref url="#StatusB">
<diff_ref url="#StatusD">
</ss_edge>
...
</transition_edges>

「図２６有向グラフ、タイムライン」に対応する例：

<ss_transitions>
<ss_transition id="trans21" start="#StatusC"end="#StatusA">
... （タイムラインのデータ）
</ss_transition>
<ss_transition id="trans22" start="#StatusA"end="#StatusC">
... （タイムラインのデータ）
</ss_transition>
...
</ss_transitions>

タイムラインのデータの記述方法の詳細に関しては、例えば Collada の仕様にあるものを流用できる。。

本技術は、以下のような構成も取ることができる。
（１）コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する画像生成部と、
上記生成された画像をビデオ信号として出力するビデオ出力部と、
上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記画像生成部に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる制御部とを備える
画像処理装置。
（２）上記画像生成部は、
コンピュータグラフィクスによる仮想空間の記述データであって、グラフ構造のノードに仮想空間の上記複数の静的状態を配置し、グラフ構造の辺によりノードを結ぶ、グラフ構造の複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成し、
上記制御部は、
上記複合データの中の上記辺で結ばれた第１の静的状態から上記第２の静的状態への遷移の指示に基づいて、上記画像生成部に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる
前記（１）に記載の画像処理装置。
（３）上記グラフ構造の複合データの辺に、時間の長さを保持するデータ構造とし、
上記制御部は、
辺の遷移を実行させる際に、該辺が持つ時間の長さを用いる
前記（２）に記載の画像処理装置。
（４）上記グラフ構造の複合データの辺に、ノード間の状態のデータと、該辺の遷移の中の相対的な時期または絶対的な時期のデータとを保持可能としたデータ構造とし、
上記制御部は、
辺の遷移の実行に際して、該辺に保持された状態を該状態に対応する遷移中の時期に応じて補間する
前記（２）に記載の画像処理装置。
（５）上記制御部は、
外部から供給される同期信号毎に、上記進行率に従って、上記仮想空間の状態を成すパラメタの値を変化させる
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）上記制御部は、
上記遷移の指示の開始からの経過時間に応じて上記進行率を変化させる
前記（１）に記載の画像処理装置。
（７）上記制御部は、
フェーダからのフェーダ値に応じて上記進行率を変化させる
前記（１）に記載の画像処理装置。
（８）上記遷移指示は、外部からの制御信号に基づく
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）上記制御部は、
上記遷移の指示に基づく遷移を、条件により制限する
前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）上記複合データは、仮想空間のパラメータが分割されて得られたグループ毎に複数の状態を有する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）エフェクトスイッチャと、
上記エフェクトスイッチャにおいてバスに供給する入力信号を複数の選択肢から択一選択する操作を受けて上記エフェクトスイッチャに制御信号を送る選択操作部と、
上記選択操作部の各選択肢の内容を設定する割り当て部とをさらに備え、
上記ビデオ出力部からのビデオ信号は上記エフェクトスイッチャの入力信号の一つとされ、
上記割り当て部は、
上記選択操作部の各選択肢の内容を設定することに加えて、上記制御部に遷移先指示を送る
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）上記エフェクトスイッチャのワイプ機能による遷移を操作する遷移トリガ操作部を、上記画像生成部の遷移を開始させるトリガを発する操作部として機能させ、
フェーダレバーにより遷移の進行率を操作可能とする
前記（１１）に記載の画像処理装置。
（１３）コンピュータグラフィクスによる画像合成を行ってプレビュー用画像を生成するプレビュー用画像生成部と、
上記生成されたプレビュー用画像をビデオ信号として出力するプレビュー用ビデオ出力部とをさら備え、
上記エフェクトスイッチャは、次のエフェクトスイッチャ出力とする予定のビデオ信号を出力するプレビュー系統を有し、
上記選択操作部の遷移操作に応じて、遷移完了時の画像を上記レビュー用画像生成部で生成させると共に、上記プレビュー用ビデオ出力部からプレビュー用画像のビデオ信号を出力させて、上記エフェクトスイッチャのプレビュー系統から出力させる
前記（１１）または（１２）に記載の画像処理装置。
（１４）コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成するステップと、
上記生成された画像をビデオ信号として出力するステップと、
上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせるステップとを備える
画像処理方法。
（１５）コンピュータを、
コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する画像生成手段と、
上記生成された画像をビデオ信号として出力するビデオ出力手段と、
上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記画像生成手段に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる制御手段と
して機能させるプログラム。

１６・・・入力ライン
２１，２２，２３，２４・・・クロスポイントボタン列
２５・・・遷移対象選択ボタン
２６・・・方向指定ボタン
２７・・・ノーマル・リバースボタン
２８・・・自動遷移ボタン
３０・・・ソース名表示器列
３１・・・遷移タイプ選択ボタン
３２・・・テンキー入力部
３３・・・表示器
１００，１００Ａ，１００Ｂ・・・画像処理装置
１０２・・・フェーダレバー
１１０・・・制御部
１２０・・・編集部
１３０・・・データ保持部
１４０・・・画像生成部
１４０Ｐ・・・プレビュー用画像生成部
１６０・・・進行率制御部
１７０・・・遷移先指示部
１８０・・・インタフェース（Ｉ／Ｆ）部
２００・・・ＣＧ（コンピュータグラフィクス）制作部
２１０・・・ネットワーク
２２０・・・画像マッピング部
２３０・・・マトリクススイッチ
２４０・・・スイッチャ操作卓
２５０・・・Ｍ／Ｅバンク
２５１・・・プログラム出力ライン
２５２・・・プレビュー出力ライン

Claims (15)

1. コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する画像生成部と、
   上記生成された画像をビデオ信号として出力するビデオ出力部と、
   上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記画像生成部に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる制御部とを備える
   画像処理装置。
2. 上記画像生成部は、
   コンピュータグラフィクスによる仮想空間の記述データであって、グラフ構造のノードに仮想空間の上記複数の静的状態を配置し、グラフ構造の辺によりノードを結ぶ、グラフ構造の複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成し、
   上記制御部は、
   上記複合データの中の上記辺で結ばれた第１の静的状態から上記第２の静的状態への遷移の指示に基づいて、上記画像生成部に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる
   請求項１に記載の画像処理装置。
3. 上記グラフ構造の複合データの辺に、時間の長さを保持するデータ構造とし、
   上記制御部は、
   辺の遷移を実行させる際に、該辺が持つ時間の長さを用いる
   請求項２に記載の画像処理装置。
4. 上記グラフ構造の複合データの辺に、ノード間の状態のデータと、該辺の遷移の中の相対的な時期または絶対的な時期のデータとを保持可能としたデータ構造とし、
   上記制御部は、
   辺の遷移の実行に際して、該辺に保持された状態を該状態に対応する遷移中の時期に応じて補間する
   請求項２に記載の画像処理装置。
5. 上記制御部は、
   外部から供給される同期信号毎に、上記進行率に従って、上記仮想空間の状態を成すパラメタの値を変化させる
   請求項１に記載の画像処理装置。
6. 上記制御部は、
   上記遷移の指示の開始からの経過時間に応じて上記進行率を変化させる
   請求項１に記載の画像処理装置。
7. 上記制御部は、
   フェーダからのフェーダ値に応じて上記進行率を変化させる
   請求項１に記載の画像処理装置。
8. 上記遷移指示は、外部からの制御信号に基づく
   請求項１に記載の画像処理装置。
9. 上記制御部は、
   上記遷移の指示に基づく遷移を、条件により制限する
   請求項１に記載の画像処理装置。
10. 上記複合データは、仮想空間のパラメータが分割されて得られたグループ毎に複数の状態を有する
    請求項１に記載の画像処理装置。
11. エフェクトスイッチャと、
    上記エフェクトスイッチャにおいてバスに供給する入力信号を複数の選択肢から択一選択する操作を受けて上記エフェクトスイッチャに制御信号を送る選択操作部と、
    上記選択操作部の各選択肢の内容を設定する割り当て部とをさらに備え、
    上記ビデオ出力部からのビデオ信号は上記エフェクトスイッチャの入力信号の一つとされ、
    上記割り当て部は、
    上記選択操作部の各選択肢の内容を設定することに加えて、上記制御部に遷移先指示を送る
    請求項１に記載の画像処理装置。
12. 上記エフェクトスイッチャのワイプ機能による遷移を操作する遷移トリガ操作部を、上記画像生成部の遷移を開始させるトリガを発する操作部として機能させ、
    フェーダレバーにより遷移の進行率を操作可能とする
    請求項１１に記載の画像処理装置。
13. コンピュータグラフィクスによる画像合成を行ってプレビュー用画像を生成するプレビュー用画像生成部と、
    上記生成されたプレビュー用画像をビデオ信号として出力するプレビュー用ビデオ出力部とをさら備え、
    上記エフェクトスイッチャは、次のエフェクトスイッチャ出力とする予定のビデオ信号を出力するプレビュー系統を有し、
    上記選択操作部の遷移操作に応じて、遷移完了時の画像を上記レビュー用画像生成部で生成させると共に、上記プレビュー用ビデオ出力部からプレビュー用画像のビデオ信号を出力させて、上記エフェクトスイッチャのプレビュー系統から出力させる
    請求項１１に記載の画像処理装置。
14. コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成するステップと、
    上記生成された画像をビデオ信号として出力するステップと、
    上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせるステップとを備える
    画像処理方法。
15. コンピュータを、
    コンピュータグラフィクスによる仮想空間の記述データであって仮想空間の静的状態を複数有する複合データに基づいて、コンピュータグラフィクスによる画像合成を行って画像を生成する画像生成手段と、
    上記生成された画像をビデオ信号として出力するビデオ出力手段と、
    上記複合データの中の第１の静的状態から第２の静的状態への遷移の指示に基づいて、上記画像生成手段に、上記第１の静的状態から上記第２の静的状態へ進行率に従って遷移させながら画像合成を行わせる制御手段と
    して機能させるプログラム。

Images