JP2004192055A - 画像分割合成方法およびシステム、そのためのプログラムおよび記録媒体 - Google Patents

Abstract

【課題】投影系の内部パラメータの変更を広視野画像の合成に迅速に反映し、必要な像高特性を有する仮想環境の広い視野の画像を、高速に分割生成画像変換処理を行う広視野分割合成方法およびシステム、そのためのプログラム及び記録媒体を提供することにある。
【解決手段】広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する手段からなる広視野分割合成方法であって、
前記変換表を設定する少なくとも一つの内部パラメータを、オンライン変更指示がなされたとき第２の画素変換手順によって簡易変換表を作成し広視野画像を合成する手段。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想環境の画像を合成する方法及びシステム並びにプログラムに関する。特に、部分によって解像度が異なる広い視野の画像を効率よく安価に合成するに必須の技術であり、透視投影カメラだけでなく、魚眼カメラ、全方位カメラなど様々な撮像系をシミュレートできる。
【０００２】
【従来の技術】
仮想環境の画像合成は、コンピュータ・グラフィクスの分野で行なわれ、３次元物体を２次元で表現する必要から、一般には透視投影あるいは直方投影が前提とされてきた。
前記平行投影は、ある面に対して、３次元の形を垂直にそのまま押し付けるようにして投影する方法で、その中で簡単なものに正投影がある。ｘ−ｙ平面（他の平面でも同様）を投影面とすると、正投影はＺ座標を０（ゼロ）とすることにより簡単に得ることができる。
また、前記透視投影は、視点から形へと視線を伸ばし、その視線とスクリーンの交点に形を描画します。この透視投影は、３次元物体を眺めた場合、近くが大きく、遠方が小さく見える効果を表現できる。
【０００３】
一方、最近ではＶＲ（バーチャルリアリテイ：人間に対して仮想世界を現実のように提示すること）の需要に応じて、広い視野の画像を合成する技術（例えば、特許文献１参照。）もあるが、大量の計算を高速に処理するために大規模な計算機を用いている。
このため、広い視野の画像を合成する際、従来の透視投影あるいは直方投影をそのまま用いると画像の合成が間に合わず、使い勝手が悪く、また、大規模なハードウエアを必要とする問題があった。
たとえば、複雑な環境内を移動し作業するロボットの視覚に要求されるタスクには，壁面の文字を読むように高い解像度の画像入力を必要とするタスクもあれば、障害物回避のようにできるだけ広い視野の画像入力を要するタスクもある。これらの要求を同時にみたすために、高い解像度の１枚の透視投影画像で大きな視野をカバーしようとすると必要な画素が膨大な数になる。例えば、１ｍ前方の１ｃｍ四方の文字を読める程度の解像度で１２０度の視野をカバーする透視投影画像は一辺４０００画素になる。このように大きな画像を入力し処理するには非常に高価で規模の大きい装置が必要であり、例えばロボットに搭載することは現実的でない。これに対して１枚の画像内で、一部のみ解像度を高くし、その他の部分は解像度を低くすれば、広い視野の情報と、部分的に高い解像度の情報を１枚の現実的な大きさの画像で得ることができる。
【０００４】
通常の透視投影系に対して、魚眼レンズのように歪曲収差を与えることにより広い視野を小さい画像に投影できる。さらに、視野の部分において歪曲収差の大小を調整できるので、視野の一部で解像度が高く、その他の部分で解像度が低い画像を入力できる。図３は、そのような投影系の一例の歪曲収差を定義する像高特性を示す図である。図３において、横軸はｉｎｃｉｄｅｎｔ ａｎｇｌｅ（ｄｅｇｒｅｅ）入射角度（度）を表し、縦軸はｉｍａｇｅ ｈｅｉｇｈｔ（ｍｍ）像高（ミリメートル）を表す。この像高特性は入射角度０（ゼロ）から５度近辺までは約０．１６６（ｍｍ／度）の傾きで立ち上がり、入射角度約１８から６０度までは約０．０２４（ｍｍ／度）の傾きで伸びる。
この投影系によれば水平方向の視野角度約１２０度が１／３インチＣＣＤに相当するサイズの画像に投影される。さらにこれを、５１２ｘ４８０画素の画像として読み込むと、水平方向の解像度変化は図４となる。
【０００５】
図４では、横軸はＰｉｘｅｌ ｃｏｏｒｄｉｎａｔｅ（ｐｉｘｅｌ）画素座標（画素）で、縦軸はＲｅｓｏｌｕｔｉｏｎ（ｐｉｘｅｌ／ｄｅｇ）解像度（画素／度）を表し、特性は画素座標が０（ゼロ）から５０までは解像度が２０に近い一定値をとり、画素座標５０から１５０の間は解像度２０から２．５近辺の値へなだらかに垂れ下がる特性をとり、画素座標１５０から２５０近辺の間は２．５近辺の一定値をとる特性となる。
つまり５１２ｘ４８０画素の画像で、中心から半径５０画素あたりまでは２０画素／度という高い解像度で、１２０度という広い視野の画像入力を実現している。
このような投影系により得られる実世界の画像をシミュレーションできることは、投影系や画像処理アルゴリズムの設計にとって重要である。
このため、ロボットが動き回る環境を忠実にモデル化した仮想環境において、任意の視点と視線方向から眺めた広い視野を、与えられた像高曲線にしたがった部分的に解像度の異なる画像として、表示に支障のない時間で合成する機能が求められる。
コンピュータグラフィクスの分野において仮想環境の画像を合成する技術が標準化され、それをハードウェアで実現したグラフィクスボードが安価に入手可能である。ただし、画像合成は透視投影にしたがう。よって、グラフィクスボードにより高速に合成できる仮想環境の透視投影画像を元画像として、与えられた像高曲線にしたがった画素変換により、部分的に解像度の異なる広視野の画像を合成する。
【０００６】
（視野分割合成）
ところが、部分的に解像度の異なる広視野の画像を合成するために、一部の高い解像度にあわせて透視投影である元画像を合成すると、その大きさは膨大になる。例えば、図３の像高曲線に基づく画像の元画像のためには、解像度が約２０画素／度以上で視野角度約１２０度の透視投影画像が必要であり、これは少なくとも水平方向約４０００画素の画像となり、一般的なグラフィクスボードでは合成できない。これを回避するために、本発明では、視野角を分割して合成する。画像分割時、水平方向の視野１２０度を１枚の透視投影画像でカバーしようとすると、４０００画素以上必要であったが、２等分して水平方向の視野６０度とすると、それをカバーする透視投影画像は約１３００画素となる。このように、分割による効果は非常に大きく、分割数を増やすにしたがって、全視野を合成するために必要なトータルな画素数は減少していく。ただし、画像合成に要する処理量は画素数に比例する部分のほかに、合成回数に比例するオーバヘッド部分などがあり、これらは合成に使用するソフトやハードに依存するため、最適な分割数は一般的には決まらない。
【０００７】
（解像度分担合成）
広い視野の画像を分割した視野に、解像度の高い部分と低い部分が混在する場合、これを高い解像度の１枚の透視投影画像を元画像として合成するのは無駄が多い。ここでは、解像度の高い部分だけをカバーする高解像度の透視投影画像と、分割視野全体をカバーする低解像度の透視投影画像を用いる。図５（ａ）（ｂ）は（ｃ）に示した左右２分割された左側視野を合成するための、高解像度透視投影画像（３８２ｘ７０５画素）と、低解像度透視投影画像（４３０ｘ６７４画素）である。左側視野の半円で囲まれた内側の画素は高解像度画像から、外側の画素は低解像度画像から計算している。半円で示した分割のための視野角の閾値は、合成に必要な２枚の透視投影画像の合計面積を最小にする値を求め用いる。
【０００８】
（画素変換）
合成する画像の大きさと像高曲線、さらに、分割数を与えると、元画像の大きさ、および元画像と合成画像の幾何学的関係が決まる。図６（ａ）は視野全体を左右に分割した右視野の合成画像と、それを合成するための元画像との関係を図示している。この関係から、図６（ｂ）に示す合成画像の１画素の４頂点を元画像上に座標変換すると、図６（ｃ）のようになる。実際には合成する画像の１画素を構成する４辺は元画像上では直線とはならないが、これを直線で近似し、合成する画像の１画素の元画像上に変換したものを、図６（ｃ）のように４頂点で囲まれる四角形領域で近似するものとして、合成画像上の１画素の輝度値を求める。具体的には、この領域に含まれる各画素の輝度値を面積比で重み付け平均した値を計算する。合成画像の各画素について、輝度値を計算するための元画像の画素の集合と、重み付き平均を計算するための各画素の重みは、合成する視野の視点や視線方向が変化したり、仮想環境が変化しても変わらない。
【０００９】
（画像合成）
仮想環境において、合成したい視野の視点と視線方向を与えると、分割視野を合成するための複数の透視投影画像がグラフィクスボードにより生成されるので、前記画素変換にしたがって、合成画像の各画素の輝度値を元画像の輝度値から計算することにより画像を合成する。
（広視野画像合成の実装の基本メカニズム）
図８は、画像生成システムの主な処理系を示す概略図である。
図８において、画像生成システム２０は、情報処理装置、例えばコンピュータにより構成され、その主な処理系は画像処理系および変換表作成系からなる。
画像処理系は、閉ループを構成するように連結された元画像合成手段１１、生成画像への変換手段１２、生成画像表示手段１３よりなり、生成画像表示手段１３から次に表示する画素を指定する信号が出力されると、元画像合成手段１１が投影系位置姿勢パラメータや環境モデルを基に元画像を合成し、次に生成画像への変換手段１２がその元画像から変換表に基づき分割生成画像に変換して生成画像表示手段１３へ出力し、その分割生成画像を生成画像表示手段１３が表示し、以下同様に元画像を基に生成画像を生成する。
【００１０】
画像処理系における元画像合成手段１１および生成画像への変換手段１２は、図に概略が示されているように、グラフィックボード等の基板に設けられている。前記基板は並列処理する回路の数だけ並置される。
変換表作成系は、変換表作成手段１７からなり、投影系の内部パラメータを取り込んで変換表を作成し、画像処理系の生成画像への変換手段へ出力する。前記内部パラメータとしては、画像サイズ、画像中心、像高曲線等が予定されている。前記画像サイズは、分割した元画像と生成画像のサイズデータであり、前記像高曲線は、視野の部分において解像度の異なる画像に変換するための特性曲線であって、入射角度に対する画像の高さ（大きさ）を表す曲線である。なお、変換表は、前記内部パラメータに依存するが、視野を特定する位置姿勢には依存しない。
【００１１】
図８に示す画像生成システムの処理について説明する。
変換表作成手段１７は与えられた投影系の内部パラメータに基づいて変換表を作成し、画像処理系の生成画像への変換手段１２へ出力する。図６において変換表の作成について説明する。図６（ａ）において水平方向向きの画像で示す生成画像を左右２つに分割したとして、右分割視野の元画像である透視投影画像は図６（ａ）に示す斜め向きの画像のように形成される。生成画像に垂直である光軸に対して入射角θで入射した光は直進して透視投影画像（前記斜め向きの画像）に投影される。一方、生成画像（前記水平方向向きの画像）に対しては焦点において屈折し、図３の像高曲線において入射角θに対応する像高の位置に投影される。つまり、図６（ｂ）に示す生成画像上の各画素の４頂点に対応する元画像上の座標値は、内部パラメータ（例えば、画像中心の位置設定、前記斜め向きの画像のサイズと前記水平方向向きの画像のサイズ、前記像高曲線）に基づいて、図６（ｃ）に示すように特定される。正確には生成画像の１画素を構成する４辺は元画像上では直線とはならないが、これを直線で近似し、生成画像の１画素の元画像上に変換したものを、図６（ｃ）のように４頂点で囲まれる四角形領域で近似するものとして、生成画像上の１画素の輝度値をこの領域に含まれる各画素の輝度値を面積比で重み付け平均した値として計算する。生成画像の各画素について、輝度値を計算するための元画像の画素の集合と、重み付き平均を計算するための各画素の重みを表にしたものが変換表であり、変換表作成手段ではこれを求め、画像処理系の生成画像への変換手段へ出力する。
【００１２】
元画像合成手段１１は、生成画像表示手段１３からの信号を受けると、表示したい視野の環境モデルのデータや投影系の位置姿勢パラメータを基に広視野を分割した分割視野毎の元画像（透視投影画像）を合成し出力する。
生成画像への変換手段１２は、元画像合成手段１１からの合成した元画像を変換表作成手段１７から入力された変換表によって分割生成画像へ変換する。
この変換処理をグラフィックボードの数だけ並列に行い、分割生成画像を形成し、生成画像表示手段１３で１枚の広視野画像として表示する。
【特許文献１】
特開２００２−１３１８３５号広報
【００１３】
【発明が解決しようとする課題】
しかしながら、図８の画像生成システムにおける前記変換表の作成には例えば数十秒時間がかかるため、投影系の内部パラメータをオンラインで変更するというような作業には適さなかった。
本発明は、上記問題点に鑑み、投影系の内部パラメータの変更を広視野画像の合成に迅速に反映し、必要な像高特性を有する仮想環境の広い視野の画像を、高速に分割生成画像変換処理を行う広視野分割合成方法およびシステム、そのためのプログラム及び記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
本発明の広視野分割合成方法、そのためのプログラムおよび記録媒体は、基本的には、広い視野を複数に分割し、分割した複数の視野の各々を解像度に応じてカバーする複数の透視投影画像を高速に生成し、生成した透視投影画像から個々の分割した視野の画像への変換を並列に実行する方法であって、前記変換時、簡易変換表作成手段により投影系の内部パラメータに基づいて変換表をオンラインで作成することを特徴とする。
以下、本発明の課題を解決する手段を説明する。
（１） 広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する手順からなる広視野分割合成方法であって、
前記変換表を設定する少なくとも一つの内部パラメータに対しオンライン変更指示がなされたとき第２の画素変換手順によって簡易変換表を作成し広視野画像を合成する手順を特徴とする。
ここで「第２の画素変換」とは、変換後の画像の１画素に対応する変換前の画像の該当領域の代表画素（１画素）の画素値（輝度値等）等の属性を変換後の画像の１画素の属性として置き換える処理を意味する。
この手順によって、変換表作成時間の短縮と変換表サイズの縮小を図ることができ、投影系の内部パラメータの変更を広視野画像の合成に迅速に反映できる。また、画素変換に要する計算量を大幅に削減でき、処理時間の短縮を図ることが可能となる。
また、安価な市販のグラフィクスボード等により高速に合成することができる透視投影画像を元画像として、画素変換することにより仮想環境の広視野の画像を高速に合成することができる。
【００１５】
（２）上記（１）記載の広視野分割合成方法において、前記変換表を設定する内部パラメータを、オンライン変更指示がなされないとき第１の画素変換手順によってオフラインで作成した変換表により広視野画像を合成し、オンライン変更指示がなされたとき第２の画素変換手順によって作成した簡易変換表により広視野画像を合成する手順を特徴とする。
ここで「第１の画素変換」とは、変換後の画像の１画素に対応する変換前の画像の該当領域の画素値（輝度値等）等の属性を当該領域の面積で重み付けして変換後の画像の１画素の属性として置き換える処理を意味する。
これによれば、投影系の内部パラメータのオンライン変更指示があった場合、第２の画素変換手順に基づく簡易変換表の作成により内部パラメータの変更を反映した簡単化した広視野画像を迅速に合成できるとともに、投影系の内部パラメータのオンライン変更が無い間はオフラインで第１の画素変換手順に基づいて変換表を作成し完了とともに画像処理系に出力することにより、質の高い広視野画像を得ることが可能となる。
（３）上記（１）または（２）記載の広視野分割合成方法において、前記変換表および前記簡易変換表は読み書き自在にメモリに記憶しておくことを特徴とする。
これにより、予め作成された変換表をメモリに蓄積しておき、必要に応じて適宜読み出すことが可能となる。従って、同一の投影系の内部パラメータに対して重複して変換表を作成する無駄を省くことができる。
（４）広視野分割合成システムにおいて、分割視野毎の透視投影画像を元画像として、投影系の内部パラメータに基づいて、分割生成画像へ変換する画像合成システムであって、
透視投影画像を前記元画像に形成する元画像合成手段と、前記元画像を変換表によって分割生成画像へ変換する生成画像への変換手段と、投影系の内部パラメータに基づいて、オンライン変更指示時簡易変換表を作成し、前記生成画像への変換手段へ出力する簡易変換表作成手段とからなることを特徴とする。
これにより、このシステムによって、変換表作成時間の短縮と変換表サイズの縮小を図ることができ、投影系の内部パラメータの変更を広視野画像の合成に迅速に反映できる。また、画素変換に要する計算量を大幅に削減でき、処理時間の短縮を図ることが可能となる。
また、安価な市販のグラフィクスボード等により高速に合成することができる透視投影画像を元画像として、画素変換することにより仮想環境の広視野の画像を高速に合成することができる。
【００１６】
（５）上記（４）記載の広視野分割合成システムにおいて、変換表作成手段として、前記簡易変換表作成手段に並置して、投影系の内部パラメータに基づいて、オンライン変更指示がなされない時、通常変換表を作成し、前記生成画像への変換手段へ出力する通常変換表作成手段を設けたことを特徴とする。
このシステムによれば、投影系の内部パラメータのオンライン変更指示があった場合、第２の画素変換手順に基づく簡易変換表の作成により内部パラメータの変更を反映した簡単化した広視野画像を迅速に合成できるとともに、投影系の内部パラメータのオンライン変更が無い間はオフラインで第１の画素変換手順に基づいて変換表を作成し完了とともに画像処理系に出力することにより、質の高い広視野画像を得ることが可能となる。
（６）広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する広視野分割合成処理をコンピュータに実行させるプログラムであって、該プログラムは、上記（１）乃至（３）のいずれか１項記載の手順をコンピュータに実行させることを特徴とする。
（７）合成処理プログラムを記録した記録媒体であって、広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する広視野分割合成処理をコンピュータに実行させる合成処理プログラムを記録した記録媒体であって、前記合成処理プログラムは、請求項１乃至３のいずれか１項記載の手順をコンピュータに実行させることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳細に説明する。
図１は本発明の画像生成システムの主な処理系を示す概略図である。
図１の本発明の処理系は、前記図８の処理系とは、
投影系の内部パラメータの変更を指示する新たな入力があったとき、即応するために、常時待ち受け状態にある投影系の内部パラメータ変更手段と、前記投影系の内部パラメータ変更手段が新たな変更指示入力があったとき作成して出力する投影系の内部パラメータを取り込み新たな簡易変換表を作成して出力する簡易変換表作成手段と、両変換表作成手段１５および１７で作成した変換表および簡易変換表を読み書き可能に記憶するメモリ１６を追加した構成で相違する。
即ち、常時待ち受け状態にあって、新しい変更指示入力が有る度に投影系の内部パラメータを作成する投影系の内部パラメータ変更手段１４を設け、該投影系の内部パラメータ変更手段１４に新しい変更指示入力が入力されたとき、新しい投影系の内部パラメータを作成して出力し、
簡易変換表作成手段１５は前記新しい投影系の内部パラメータを取り込んで新しい簡易変換表を作成し、直接生成画像への変換手段１２へ出力すると供にメモリ１６へ読み出し可能に記憶する。
また、生成画像への変換手段１２に入力する変換表作成系を、図８に示される変換表作成手段１７の他に、新たに簡易変換表作成手段１５を並置して択一的に動作させる。また、変換表作成手段１７と生成画像への変換手段１２との間に変換表を読み書き可能に記憶するメモリ１６を設けて構成する。
【００１８】
（システムの動作）
投影系の内部パラメータを変更しないときには、変換表作成手段１７を有効にしておき、該変換表作成手段１７によって投影系の内部パラメータに基づき変換表を作成し、直接生成画像への変換手段１２へ入力すると供に再利用できるためにメモリ１６に記憶する。
また、投影パラメータをオンライン変更するときには、投影系の内部パラメータ変更手段１４および簡易変換表作成手段１５を有効にし、投影系の内部パラメータ変更手段１４により作成された投影系の内部パラメータに基づき該簡易変換表作成手段１５によってオンラインで簡易変換表を作成し、直接生成画像への変換手段１２へ入力すると供に再利用するためにメモリ１６に記憶する。投影系の内部パラメータ変更手段１４および簡易変換表作成手段１５の動作は図中の矢印によって指示されているように、簡易変換表を作成し終わるとまた投影系の内部パラメータ変更手段１４に戻ってこの手順を繰り返す。
投影系の内部パラメータ変更手段１４は、新たな投影系の内部パラメータ変更指示が入力されるまで、何もせずに待ちの状態を維持する。この「待ちの状態」の間に、変換表作成手段１７が変換表を作成する。
【００１９】
（変換表作成）
広視野を覆うために視線方向の異なる複数枚の透視投影画像を、オープンＧＬ（Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ社が中心となって開発された、グラフィックス処理のためのプログラミングインターフェース）により合成し、図５に示すように、像高特性曲線に従って生成画像へと変換する。その際、図６に示した生成画像上の１画素は、像高特性曲線に従って逆投影すると、図６に元画像として示す矩形領域となる。このため、透視投影画像における前記矩形領域の画像特性値を前記生成画像上の１画素に変換する必要が出てくる。
変換表作成処理は、投影系の内部パラメータ（例えば、画像サイズ、画像中心、像高特性等）に応じ（例えば、像高特性曲線の変更後）、生成画像上のすべての画素について、透視投影画像上の相当する領域（例えば、前記矩形領域の場合では、各頂点位置座標を指定し、それらの頂点位置を結んだ直線（画素列）で囲まれた領域）を求め、その領域に含まれる画素の画素値（例えば、輝度）の面積による加重平均値を求め、その加重平均値を生成画像上の各画素の属性として設定する処理になる。このため、
変換表は、投影系の内部パラメータ（例えば、画像サイズ、画像中心、像高特性等）に応じて作成され、生成画像の各画素について、各画素に対応した元画像の領域を現す画素列と各画素の重み（加重平均値）等を含む。
【００２０】
（簡易変換表作成）
前記変換表作成処理は、その計算量が非常に大きく、多くの処理時間を要する。例えば、像高特性曲線の変更から生成画像が得られるまで数十秒要する。この問題点を解消するために、簡易変換表を作成する。
簡易変換表処理は、投影系の内部パラメータ（例えば、画像サイズ、画像中心、像高特性等）に応じ、生成画像上のすべての画素について、生成画像上の画素の中心を逆投影した点を含む透視投影画像上の１画素を指定し、その画素の画素値（例えば、輝度値）を生成画像上の各画素の属性として設定する処理になる。よって簡易変換表は、投影系の内部パラメータ（例えば、画像サイズ、画像中心、像高特性等）に応じて作成され、生成画像の各画素について、元画像の１画素を指定するだけの単純なものとなる。
すなわち、生成画像の１画素の属性を、透視投影画像における広い領域の代わりに１画素の画素値で代表させた点、換言すれば「第２の画素変換」に特徴を有する。
より具体的には、生成画像の１画素の４頂点に対応する透視投影画像の４頂点で囲まれる領域の画素値の加重平均値を求める代わりに、生成画像の１画素の中心点に対応する透視投影画像の領域の１画素の画素値を読み出すので、演算量が格段に少なくなる。例えば、この簡易変換に要する計算量は、像高特性曲線の変更後、約１秒で合成画像が得られる。
ここで「第２の画素変換」とは、変換後の画像の１画素に対応する変換前の画像の該当領域の代表画素（１画素）の画素値（輝度値等）等の属性を変換後の画像の１画素の属性として置き換える処理を意味する。
【００２１】
（画像生成システム）
図２は、本発明の画像生成システムの構成の概略図である。
本発明の画像生成システムは、合成の要求を出し、合成された画像を受け取る要求手段となるクライアントコンピュータ（Ｃｌｉｅｎｔ）１、クライアントコンピュータ１の視点位置、視線方向を管理し、クライアントコンピュータ１の要求をレンダリングノードに中継する中継手段となる環境シミュレータ（Ｅｎｖｉｒｏｎｍｅｎｔ Ｓｉｍｕｌａｔｏｒ）２、クライアントコンピュータ１の要求を受けて担当する分割視野の画像を合成する合成手段となる各レンダリングノード（ Ｒｅｎｄｅｒｉｎｇ Ｎｏｄｅ）３−１〜３−３、仮想環境データおよび画素変換等のデータを記憶している記憶手段となるモデルデータメモリ（Ｍｏｄｅｌ Ｄａｔａ）４からなる。
【００２２】
（画像生成システムの動作）
システムの起動時に、環境サーバー２はモデルデータメモリ４から使用する仮想環境データを読出し、使用するクライアントコンピュータ１をセットアップする。クライアントコンピュータ１のセットアップでは、クライアントコンピュータ１が初期値として持つ合成画像の大きさ、像高曲線、および、分割数の情報から、各分割視野を担当するレンダリングノード３−１〜３−３が起動され、レンダリングノード３−１〜３−３のセットアップが行なわれる。レンダリングノード３−１〜３−３の起動では、各レンダリングノードを使用できる複数のコンピュータに順繰りに割り振る。したがって、レンダリングノードの個数と、コンピュータの台数は一致していなくてよい。レンダリングノード３−１〜３−３のセットアップでは、担当する分割視野の画像を合成するための元画像の大きさをセットし、クライアントコンピュータ１が初期値として持つ合成画像の大きさや像高曲線などの投影系の内部パラメータに適合した変換表をメモリから読み出しセットし、さらに、仮想環境の状態を各レンダリングノード３−１〜３−３にセットする。
クライアントコンピュータ１が、合成する視野の情報とともに合成の要求を環境シミュレータ２に出すと、環境シミュレータ２は仮想環境データの状態の更新を各レンダリングノード３−１〜３−３に伝える。
次に、環境シミュレータ２は各レンダリングノード３−１〜３−３にクライアントコンピュータ１からのレンダリング要求を出す。各レンダリングノードは、レンダリング要求が投影系の内部パラメータの更新要求を含むかいなかにより２つのモードで動作する。
第１のモードはレンダリング要求が投影系の内部パラメータの更新要求を含まない場合であり、現在のセットアップにしたがい、元画像合成手段によって更新した仮想環境の透視投影画像であるところの元画像を生成し、この元画像を現在の変換表に基づいて生成画像への変換手段によって分割生成画像へ変換し、この分割生成画像をクライアントコンピュータ１に出力する。
【００２３】
第２のモードはレンダリング要求が投影系の内部パラメータの更新要求を含む場合であり、前記第２の画素変換の手順に従い簡易変換表を作成し現在の変換表と交換し、現在のセットアップを新たな変換表にしたがい変更した後、元画像合成手段によって仮想環境の透視投影画像であるところの元画像を生成し、この元画像を新たな変換表に基づいて生成画像への変換手段によって分割生成画像へ変換し、この分割生成画像をクライアントコンピュータ１に出力する。
第２のモードの場合、簡易変換表の作成と同時に、新たな内部パラメータに基づき前記第１の画素変換の手順に従い変換表をオフラインで作成する手順を起動する。この手順は変換表の作成が終了した時点で、レンダリングノードの変換表を作成した新たな変換表で置き換えた後消滅する。ただし、新たな変換表の作成が終了する以前に、内部パラメータの変更を含む要求がクライアントコンピュータ１よりなされた場合は、新たな内部パラメータに基づき前記第１の画素変換の手順に従い変換表を作成するための手順が新たに起動され、現在の手順は消滅する。
クライアントコンピュータ１は各レンダリングノード３−１〜３−３から分割視野の合成画像を取得し、表示する。
【００２４】
【発明の効果】
以上説明したように、本発明においては、以下の効果を得ることができる。
（１） 広視野分割合成方法によって、変換表作成時間の短縮と変換表サイズの縮小を図ることができ、投影系の内部パラメータの変更を広視野画像の合成に迅速に反映できる。また、画素変換に要する計算量を大幅に削減でき、処理時間の短縮を図ることが可能となる。
（２） 広視野分割合成方法によって、投影系の内部パラメータのオンライン変更指示があった場合、第２の画素変換手順に基づく簡易変換表の作成により内部パラメータの変更を反映した簡単化した広視野画像を迅速に合成できるとともに、投影系の内部パラメータのオンライン変更が無い間はオフラインで第１の画素変換手順に基づいて変換表を作成し完了とともに画像処理系に出力することにより、質の高い広視野画像を得ることが可能となる。
（３） 広視野分割合成方法によって、予め作成された変換表をメモリに蓄積しておき、必要に応じて適宜読み出すことが可能となる。従って、同一の投影系の内部パラメータに対して重複して変換表を作成する無駄を省くことができる。
（４） システムによって、変換表作成時間の短縮と変換表サイズの縮小を図ることができ、投影系の内部パラメータの変更を広視野画像の合成に迅速に反映できる。また、画素変換に要する計算量を大幅に削減でき、処理時間の短縮を図ることが可能となる。
（５） システムによれば、投影系の内部パラメータのオンライン変更指示があった場合、第２の画素変換手順に基づく簡易変換表の作成により内部パラメータの変更を反映した簡単化した広視野画像を迅速に合成できるとともに、投影系の内部パラメータのオンライン変更が無い間はオフラインで第１の画素変換手順に基づいて変換表を作成し完了とともに画像処理系に出力することにより、質の高い広視野画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像生成システムの概略図を示す図である。
【図２】本発明の画像生成システムを示す図である。
【図３】本発明の解像度の異なる広い視野の像高曲線を示す図である。
【図４】本発明の解像度の異なる広い視野の解像度曲線を示す図である。
【図５】本発明の解像度の異なる分割画像を合成する処理を説明する図である。
【図６】本発明の第１の画素変換を説明する図である。
【図７】本発明の第２の画素変換を説明する図である。
【図８】従来の画像生成システムの概略図を示す図である。
【符号の説明】
１ Ｃｌｉｅｎｔ（クライアントコンピュータ）
２ Ｅｎｖｉｒｏｎｍｅｎｔ Ｓｉｍｕｌａｔｏｒ（環境シミュレータ）
３−１、３−２、３−３ Ｒｅｎｄｅｒｉｎｇ Ｎｏｄｅ（レンダリングノード）
４ Ｍｏｄｅｌ Ｄａｔａ（モデルデータメモリ）
１０ 本発明の画像生成システム
１１ 元画像合成手段
１２ 生成画像への変換手段
１３ 生成画像表示手段
１４ 投影系の内部パラメータ変換手段
１５ 簡易変換表作成手段
１６ メモリ
１７ 変換表作成手段
２０ 従来の画像生成システム

Claims (7)

1. 広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する手順からなる広視野分割合成方法であって、
   前記変換表を設定する少なくとも一つの内部パラメータに対し、オンライン変更指示がなされたとき第２の画素変換手順によって簡易変換表を作成し広視野画像を合成する手順を特徴とする広視野分割合成方法。
2. 前記変換表を設定する内部パラメータを、オンライン変更指示がなされないとき第１の画素変換手順によってオフラインで作成した変換表により広視野画像を合成し、オンライン変更指示がなされたとき第２の画素変換手順によって作成した簡易変換表により広視野画像を合成する手順を特徴とする請求項１記載の広視野分割合成方法。
3. 前記変換表および前記簡易変換表は読み書き自在にメモリに記憶しておくことを特徴とする請求項１または２記載の広視野分割合成方法。
4. 分割視野毎の透視投影画像を元画像として、投影系の内部パラメータに基づいて、分割生成画像へ変換する画像合成システムであって、
   透視投影画像を前記元画像に形成する元画像合成手段と、前記元画像を変換表によって分割生成画像へ変換する生成画像への変換手段と、投影系の内部パラメータに基づいて、オンライン変更指示時簡易変換表を作成し、前記生成画像への変換手段へ出力する簡易変換表作成手段とからなることを特徴とする広視野分割合成システム。
5. 変換表作成手段として、前記簡易変換表作成手段に並置して、投影系の内部パラメータに基づいて、オンライン変更指示がなされない時、通常変換表を作成し、前記生成画像への変換手段へ出力する通常変換表作成手段を設けたことを特徴とする請求項４記載の広視野分割合成システム。
6. 広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する広視野分割合成処理をコンピュータに実行させるプログラムであって、該プログラムは、請求項１乃至３のいずれか１項記載の手順をコンピュータに実行させることを特徴とする合成処理プログラム。
7. 広視野をカバーする仮想環境の合成画像を、透視投影画像を元画像として投影系の内部パラメータにより設定される変換表に基づいて画素変換することにより合成する広視野分割合成処理をコンピュータに実行させる合成処理プログラムを記録した記録媒体であって、前記合成処理プログラムは、請求項１乃至３のいずれか１項記載の手順をコンピュータに実行させることを特徴とする合成処理プログラムを記録した記録媒体。

Images