JP2002109531A - 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 １人又は複数のユーザが、広角画像、特に画
像の歪みを補正しパノラマ画像の調整を行う。 【解決手段】 ニューラル・ネットワークを教示するた
め、目盛り点の配列で定義された目盛りパターンが配置
され、広角画像装置の視野に置かれる。したがって、目
盛り画像が装置によって取り込まれる。目盛り点の各視
点方向と目盛り画像内の点の位置がニューラル・ネット
ワークを教示するためのデータとして用いられ、視点方
向を対応する画像内の位置に合わせて補正する。続い
て、任意の歪みのある広角画像から歪みのないサブ画像
を生成するため、表示の画素位置の配列が、視点方向の
対応するセットとして表され、ニューラル・ネットワー
クを用いて、サブ画像の対応する画素に割り当てられる
位置でのビデオ特性を有する、広角画像内で対応する位
置のセットに変換される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、概して広角画像シ
ステムによって作成された画像の歪みを補正する画像処
理の分野に関する。特に本発明は、画像の歪みを除去す
るために、例えばパノラマ画像のような広角画像内で相
互的なナビゲーションを可能にするシステムに関する。

【０００２】

【従来の技術】近年、パノラマ画像埋没操作、テレプレ
ゼンス、仮想現実などの分野における研究と応用開発に
かつてなかったほどの興味が寄せられている。パノラマ
画像埋没操作を使うと、使用する画像システムの視野内
という制約はあるものの、ユーザは遠隔の景色中に埋没
して望む方向を見ることができる。埋没式テレプレゼン
スでは遠隔地の全方向の景色を生画像で、また、埋没式
バーチュアル・リアリティーでは一般に、埋没する画像
を合成して表示する。

【０００３】埋没式パノラマ画像システムでの主な課題
は、システムを実用レベルかつ低コストにするのに十分
な視覚情報をどのように符号化するかということであ
る。１つの解決策としては方向感知装置を用いてユーザ
の希望する方向を感知して、入力情報を用いて通常のカ
メラを回転させてユーザの指示する方向の視野を撮影す
ることである。このようなシステムはクーガラン（Coug
hlan）その他に与えられた米国特許4,728,839に記載さ
れている。ここでは、２人以上のユーザが遠隔の景色を
快適に操作することができないという欠点のほか、方向
指示の信号発信と、それに合う方向にカメラ位置を合わ
す操作との間に遅れが避けられず、このシステムの実用
価値が大きく損なわれる。この問題をより優美に解決す
る方法はパノラマ画像を使用することである。グレガス
パル（Greguss Pal）に与えられた米国特許4,566,763
はその一解決法を示している。

【０００４】サトー ハルオ（Sato Haruo）に与えられ
た米国特許5,434,713に説明する魚眼レンズシステムは
もう１つの解決法である。しかしパノラマ画像システム
は、作り出す画像内に大きな非線形の幾何学的な歪みを
伴うため、人間がその画像を快適にみようとすると、歪
みを補正する必要がある。文献によればこの歪みは透視
歪みと呼ばれ、これを補正するプロセスを透視補正視野
の生成と呼ぶ。

【０００５】透視歪みの問題にはいくつかの解決策が存
在する。その１つはスティーブンズィマーマン（Steven
Zimmermann）に与えられた米国特許5,185,667に説明さ
れている。説明によればシステムは複雑な三角変換を用
い、数学的に理想的な魚眼レンズを前提としている。現
実の魚眼レンズは普通、理想からはずれており、’667
特許に説明するシステムが使用できるのは、理想的な形
状を前提としたときに避けられない誤差を許容できる場
合に限られる。そのような用途であってもこの方法は魚
眼レンズ以外のパノラマ画像システムには拡張できな
い。

【０００６】ガリシエン（Gullischen）その他による米
国特許6,005,611に記載されている解決法によって、’6
67特許に示すシステムの制約の一部が改善される。’61
1特許は１組の投影方程式から得られた制御点と透視歪
みを補正するための２変数多項式を使用する。’611特
許で提示された解決法は’667特許のそれよりも簡単で
高速ではあるが、制御点の生成に魚眼レンズの投影方程
式を使用することに依存している。この方程式は理想的
な魚眼レンズを仮定しているため実用価値は限定され
る。さらに’611特許の方法を他のパノラマ画像システ
ムに拡張しようとすると、それぞれのシステムに合う投
影方程式を規定することが必要となる。方程式の作成は
当初可能であったとしても手間がかかる。通常、投影方
程式はパノラマ画像システムに対して数学的な理想状態
を仮定するため、’611特許の方法でも、’667特許の主
要な欠点の１つを解決できない。

【０００７】

【発明が解決しようとする課題】上記の背景から、パノ
ラマ画像システムの投影方程式を作成する必要がなく、
数学的に理想的なパノラマ画像システムを仮定しなくと
も、任意のパノラマ画像システムから透視歪みを補正し
た画像が作れるようなシステムに対して強い要望があ
る。また汎用コンピュータを用いて（典型的には毎秒３
０フレームの）リアルタイムで画像を作成するシステム
の要望もある。

【０００８】さらに、任意のパノラマ画像システムか
ら、任意の精度で透視歪みを補正した画像が作れるよう
なシステムに対して強い要望があり、これがあれば補正
済みの画面上で正確な測定値を利用するようなシステム
を作ることが可能となる。

【０００９】以下に、パノラマ画像ナビゲーションシス
テムに関して、本発明の特徴を記述及び主張し、歪みの
ある広角画像から歪みのない画像を得るのに適用可能で
あるニューラル・ネットワークを教示し、使用する方法
及び装置を本発明が開示することが明確となるであろ
う。したがって、本発明の適用範囲は、パノラマ画像の
処理に限定されるものではない。

【００１０】以下、『画像の歪み』という単語は、例え
ば３次元のパノラマ景色の環状画像で見られる内在した
（凡庸な）歪みと、画像システムによって作られてしま
う光学的歪みのような複雑で非線形的な歪みとの両方に
対して適用されるものとして理解されるべきである。画
像システムでは、光学レンズユニットの参照原点を通過
する入射光線の方向は、正確に画像上にマッピングされ
るわけではない。

【００１１】＜発明のまとめ＞上記の従来の技術の課題
を解決することが本発明の目的である。特に、十分に歪
みの除去した対応する景色画像が得られるように、画像
装置によって取り込まれる歪みのあるパノラマ画像の任
意の領域が選択できる画像ナビゲーションシステムを供
給することが目的である。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明はパノラマ画像システムの構築を行う。本発
明のパノラマ画像システムでは、ニューラル・ネットワ
ークによって画像の歪みの補正が達成される。ニューラ
ル・ネットワークは、視覚的な目盛り点の配列（目盛り
パターン上に定義）を有する目盛りパターンを用いて、
前もって教示される。

【００１３】特に、目盛りパターンはパノラマ画像シス
テムのレンズユニットの周囲に配置され、目盛りパター
ンを有する（歪みのある）目盛りパノラマ画像がこのシ
ステムによって取り込まれる。レンズユニットの参照原
点から見た目盛りパターン上の目盛り点のそれぞれの視
点は計算又は計測される。これらの視点は、目盛り画像
内に現れる対応目盛り点でのそれぞれの位置に対して、
例えば１組の角座標（仰角、アジマス）として特定され
る各々の方向と合わせられる。

【００１４】その後、ニューラル・ネットワークへの入
力に目盛り方向のセットを用いて、ニューラル・ネット
ワークは教示される。ネットワークからの対応する反応
の出力は、目盛り画像内の目盛り点の対応位置を表す座
標のセットと比較され、誤差が得られる。この誤差は、
適切なアルゴリズムを用いて、十分な教示が達成された
と判断されるまで、ニューラル・ネットワークの内部パ
ラメータ（例えばニューロン結合の重みの値）を変更す
るために用いられる。

【００１５】ニューラル・ネットワークがいったん教示
されると、任意の歪みのある広角画像が歪みのないサブ
画像として表示された場合、例えば表示スクリーン内の
画素の矩形配列から作られた視野ウィンドウに表示され
た場合、ユーザによって、サブ画像用の特定の視点が指
定される。これによって、特定の視点が視野ウィンドウ
の中心に位置する画素に割り当てられる。次に、視野ウ
ィンドウの他の画素の各々に対して、中心画素の視点と
中心画素から見た他の画素の位置に基づいて、対応する
視点が計算される。

【００１６】以上のようにして得られた視点のセット
は、その後、連続的に教示されたニューラル・ネットワ
ークに入力される。その結果、ニューラル・ネットワー
クからの反応として、入力された視点にそれぞれ対応す
る歪みのある広角画像内の位置を特定する情報が得られ
る。その後、歪みのある広角画像内の各々の位置（すな
わち、各々の位置は、特定の視点方向、つまり視野ウィ
ンドウ内の特定の画素位置に合わせられている）におけ
る画素のビデオ特性が抽出され、視野ウィンドウ内の対
応する画素に割り当てられる。

【００１７】以上により、歪みのないサブ画像が視野ウ
ィンドウ内に現れる。この歪みのないサブ画像は、元の
実世界の景色内の選択された一部を特定の視点方向に沿
って見ることによって見える画像に対応している。ニュ
ーラル・ネットワークによる位置データの生成は、主に
一連の単純な乗算及び加算（その数はパノラマ画像シス
テムの歪みの複雑さに依存する）を含んでいる。最も利
用しやすいパノラマ画像システムでは、必要とされる乗
算及び加算の数は非常に少なく、一般に用いられるパー
ソナルコンピュータで、複数のユーザがパノラマ画像の
リアルタイム調整を同時に行うことが可能である。

【００１８】上記のように歪みのあるパノラマ画像から
抽出されたデータを用いて作成された歪みのないサブ画
像は、コンピュータも似たのような適切な表示システム
上に表示される。本発明では、パノラマ画像システムに
よる歪みのない３次元の実世界の景色から歪みのある２
次元画像の作成することは、２次元画像内のそれぞれの
点上で３次元空間内の特定の点に関して定義される方向
の入出力マッピングとみなされる。人工ニューラル・ネ
ットワークは、任意の精度で任意の入出力マッピングを
近似できることが知られている。ニューラル・ネットワ
ークは、任意の精度でパノラマ画像システムに特徴的な
歪みを近似できるので（例えば機械による画像に基づく
工業的な処理の制御などの）パノラマ画像からパラメー
タを正確に測定する場合にも、本発明を適用することが
できる。

【００１９】本発明は、使用されている特定のパノラマ
画像システムを用いて取り込まれた画像から得られたサ
ンプルデータのみを利用しており、パノラマ画像システ
ムに関する数学的な理想化を前提としない。さらに、パ
ノラマ画像システムの投影方程式の導入も必要としな
い。それ故、どのようなパノラマ画像システムの利用も
可能であり、望んだ精度で特徴的な歪みを近似すること
ができる。

【００２０】以上のように、本発明は、任意のパノラマ
画像システムで取り込まれたパノラマ画像から歪みを補
正した任意の画像を作成するシステムを提供することを
目的とする。また、本発明は、複数のユーザが、同一又
は異なる透視補正視野を同時に見られるようにすること
を目的とする。また、任意のパノラマ画像システムに特
徴的な歪みを任意の精度で近似し、透視補正視野上で正
確な測定を行うシステムを作ることを目的とする。さら
に、パノラマ画像システムの投影方程式の決定、又はパ
ノラマ画像システムに係る理想化の前提を必要とせず
に、上記の目的を達成することも、本発明の目的であ
る。本発明のこれらの目的及び本発明の更なる目的は、
後述の詳細な説明で明らかとなるであろう。

【００２１】

【発明の実施の形態】本発明の説明に使用する方法を理
解するためには、人工ニューラル・ネットワークの概要
を説明する必要がある。人工ニューラル・ネットワーク
は人間や動物の神経系統に見られるニューロンの構造や
動作原理を大まかなモデルとする、簡単な処理ユニット
で構成された非線形マッピング・システムである。この
ことから人工ニューラル・ネットワークを構成する処理
ユニットは、しばしば人工ニューロンと呼ばれる。

【００２２】人工ニューロンがモデルとする生体ニュー
ロンの一部は木の枝状で、近傍のニューロンとの間で信
号を配分・集約する。その細胞体は信号を集積したり反
応を生成したりする機能を有し、木の枝部分は細胞体が
生成した反応を近傍のニューロンに配送する機能を果た
す。図１に示すように、生体ニューロンの重要な要素は
人工ニューロンと相似の機能を有する。生体ニューロン
は自己の内部状態と入力とに応じた反応を生成する。た
だしニューロンの反応はその結合の強さ（重み）によっ
て決まると考えられている。図１を参照すると、人工ニ
ューロンの反応yは次の式で代表される。

【００２３】

【数１】

【００２４】ここでf( )は活性関数とよばれるもの（通
常、単純な非線形関数）である。また、

【００２５】

【数２】

【００２６】は結合の重みであり、

【００２７】

【数３】

【００２８】は外部入力又は近傍のニューロンの出力で
ある。式（１）は、人工ニューロンの反応を計算する唯
一の方法ではないが、広く利用されている。

【００２９】いくつかの人工ニューロンを繋ぎ合わせて
多種類の動作形態をもつネットワークを形成することに
より、興味深くかつ有益な挙動をするさまざまな人工ニ
ューラル・ネットワークが得られる。人工ニューラル・
ネットワークは普通、非線形入出力マッピング・システ
ムに利用される。入出力マッピングの種類、すなわち人
工ニューラル・ネットワークによって実現できる機能
は、そのネットワーク内の結合に依存している。ある広
範な制約条件を満足させる任意の機能は、適当な大きさ
と構造をもつ人工ニューラル・ネットワークによって、
任意の精度で近似できることがわかっている。

【００３０】ニューラル・ネットワークの構造は任意に
選択はできるが、普通、層状のネットワークが広く用い
られている。層状ネットワークはニューロンが層状に並
んでおり、特定の層にあるニューロンが前の層とつなが
って、そこから信号をうけとり、次の層に出力（反応）
を伝えるように結合されている。外部入力は最初の層に
供給され、ネットワークの出力は最後の層から得られ
る。中間の層は入力・出力のいずれからも直接観察でき
ないため、普通、隠れた層と呼ばれる。図２は３層ニュ
ーラル・ネットワークの一例である。

【００３１】生体組織と同様に、人工ニューラル・ネッ
トワークは、例から学習する能力を有する。ニューラル
・ネットワークは教示の過程を通じて、前例から学習す
る。特別の指示なしでも入力データから学習することが
できる、いわゆる自己組織化人工ニューラル・ネットワ
ークもあるが、本発明では、指示つき学習が必要な人工
ニューラル・ネットワークを用いて学習データに含まれ
る機能を学習し、そのデータが表すシステムをモデル化
するようにしている。

【００３２】指示つき学習は、２セットの例題データを
使用して行う。セットの１つは入力であり、もう一方の
セットはモデル化するシステムの反応を表す。後者のセ
ットはニューラル・ネットワークに要望する反応として
使用する。学習時には入力データが与えられ、その反応
が要望する出力と比較される。そのとき、いくつかの学
習アルゴリズムの１つと関連して、ネットワークの実際
の出力と要望する反応との差（これは、ネットワークの
誤差と呼ばれる）を用いることができ、誤差が最小にな
るようにネットワーク内の結合の重みが変更される。こ
のプロセスは指定の条件が満たされるまで繰り返し行わ
れる。ニューラル・ネットワークを学習させる方法とし
てよく利用される方法の一つは、後方伝播(back propag
ation：バック・プロバケーション)という名で知られて
いる。

【００３３】教示データによって表されるシステムの特
性をネットワークが十分学習したとみなされると、その
重みを保存する。その後、その重みは入力に対応した正
しい反応を得るのに用いられるが、このときの入力は最
初の学習時のセットに含まれていないものもある。当初
学習させたセットにない入力データに対し、かなり正確
に反応できるように訓練されたニューラル・ネットワー
クの能力は普遍化と呼ばれており、本発明はその能力を
十分に利用する。

【００３４】本発明によれば、パノラマ画像システムを
用いて歪みのない実世界の景色から歪んだパノラマ画像
を作成することは、歪みのない実体空間中の座標と歪ん
だ画像空間中の座標との間の入出力マッピングとみなさ
れる。どんなパノラマ画像システムでも、歪みのない実
世界座標を示すデータと歪んだパノラマ画像座標を表す
データの２組のサンプル・データセットを得ることがで
きる。こうして得られたデータを用いて、希望する精度
で特定のパノラマ画像システムを近似するのに十分複雑
なニューラル・ネットワークを教示することが可能であ
る。

【００３５】後述する本発明の実施の形態の説明におい
て、適切なニューラル・ネットワークを自動的に構築す
る具体的なアルゴリズムを提示する。しかし、使用する
特定のパノラマ画像システムの複雑さについて、前もっ
て知識があれば、最適なネットワークの構造を手動で選
択するのに役立つ。さらに、たとえばカスケード相関
（階層なしのネットワークを生成する構築アルゴリズ
ム）や還元ネットワークなど適用できる数多くの構築ア
ルゴリズムが存在する。

【００３６】図４には、本発明の実施の形態が示されて
いる。パノラマ画像システム２０は、米国特許4,566,76
3に説明されているパノラマ画像ブロックのようなパノ
ラマ・レンズの組み合わせと、ビデオ又は静止画カメラ
から構成され、実世界の景色の歪んだパノラマ画像を生
成する。特許’763に記されたパノラマ画像ブロック
は、いくつかの反射面と屈折面をもつ小型の組み立て品
で構成される。以降、このパノラマ画像システムを単に
ＰＡＬ (Panorama Annular Lens) システムと呼ぶこと
にする。このシステムは図５に示すような歪みをもつド
ーナツ形の平面状の環状画像を生成する。

【００３７】図５において、パノラマ画像ブロックは８
０で示される。パノラマ画像ブロックの原点は８１で示
され、図５で示されるＸＹＺ座標の原点に対応してい
る。パノラマ画像ブロック８０の中心軸、すなわち一般
に取り込まれた実世界の景色の垂直方向に近い方向を向
いている軸は、ＸＹＺ座標システムのＺ軸に対応してい
る。広角レンズユニットの『原点』という言葉は、ここ
ではレンズユニットの視点方向の視点となる参照点とい
う意味で用いられる。すなわち、視点方向のアジマス角
度及び仰角は、原点８１に対して測定される。

【００３８】記述を簡単にするため、中心に垂直であり
原点を含む面、すなわち図５のＸＹ面が水平面として参
照される。これは必ずしも実世界の実際の水平面に対応
している必要はない。ＰＡＬシステムは、３６０度の水
平方向の視野と１８０度の広さまで広がる垂直方向の視
野を有する。水平面上の最大角は

【００３９】

【数４】

【００４０】によって示され、一方、水平面下の最小角
は

【００４１】

【数５】

【００４２】によって示される。それぞれ異なる仰角を
有する（原点８１から見られる）実世界の対象空間内の
点は、ＰＡＬ画像内での異なる同心円状にそれぞれ存在
する。同様に、お互い並行であり、異なる仰角方向を向
いている実世界の対象空間の点（すなわち、パノラマ画
像ブロックの中心軸を通る共通の垂直平面上に存在す
る）は、ＰＡＬ画像内の半径方向の線上に投影される。

【００４３】ビデオカメラの出力は、カメラに内蔵され
ているビデオデジタル回路、又は４０に示す汎用コンピ
ュータ内にあるビデオデジタル化回路、又は独立のデジ
タル化装置でデジタル信号化される。このビデオデジタ
ル化はリアルタイム（普通毎秒３０フレーム）で行うこ
とができる。ビデオデジタル化されたパノラマ画像は一
般に３０で示す適当な記憶装置に保存され、コンピュー
タ４０により取り出せる。記憶装置はコンピュータ４０
のランダム・アクセス・メモリー(ＲＡＭ)でもよいし、
コンピュータ４０に動的に接続された適当な保存媒体で
もよい。この画像に関して、３０での保存の前後に、ア
ンチエイリアス回路（ギザギザを滑らかにする）に通し
たり、適当な前処理工程を行ったりすることも可能であ
る。また、コンピュータ４０として、現在手に入る各種
のパーソナルコンピュータを用いることが可能である。

【００４４】図４では教示したニューラル・ネットワー
クは一般に１０で示し、コンピュータ４０によってアク
セス可能である。ネットワークはコンピュータ４０のＲ
ＡＭに内蔵されていてもよい。教示したニューラル・ネ
ットワーク１０はその構造の種類と、教示したときの最
終時の結合強度に対応する重みの値のセットとによって
表される。

【００４５】ユーザ入力データ５０は、コンピュータ・
マウスのような適切な入力装置とコンピュータ４０上の
適切な入力ポートを介して得られる。ユーザ入力データ
５０によって、少なくとも歪みのあるパノラマ画像上の
位置が、上記のＰＡＬシステムの原点から見た特定の方
向に対応する方向（角座標の組）として指定される。歪
みのあるパノラマ画像上の位置は、垂直方向（仰角方
向）及び水平方向の角度（アジマス角度）の範囲内にあ
り、ＰＡＬシステムに包含されている。さらに、ユーザ
入力によって、歪みのある出力画像のサイズ（表示スク
リーン上の画素の矩形配列のような出力画像を作る視野
ウィンドウに用いられる画素数）、ズーム率、出力画像
の望ましい方向を記述するパラメータを指定するように
することも可能である。

【００４６】コンピュータ４０上のソフトウェアがユー
ザ入力５０及び入力画像バッファ３０内の歪みのあるパ
ノラマ画像を、教示したニューラル・ネットワーク１０
の操作と結合して、歪みのない画像を生成し、出力画像
バッファ６０に保存する。ここでも、出力画像バッファ
６０はコンピュータ４０のＲＡＭ上であっても、その他
の適当な記憶装置であってもよい。出力画像バッファ６
０に保存された視野補正ずみの画像は、一般に７０で示
す適当な表示装置上に表示される。

【００４７】その後、出力画像バッファ６０に保存され
た透視補正視野の画像は、一般に７０で示される適切な
表示装置に表示される。表示装置７０としては、コンピ
ュータモニタ又は頭に装着するディスプレイを用いるこ
とができる。

【００４８】図３は、教示したニューラル・ネットワー
ク１０を得る過程を示すフローチャートである。まずネ
ットワーク教示用に２つのデータセットを取得する。第
１のデータセットは、（パノラマ画像システムの光学装
置の原点に関して）目盛りパターン内で対応する目盛り
の点のそれぞれの目盛り方向のセットの座標からなる。
パノラマ画像ブロックがＰＡＬシステムの場合、その目
盛りパターンは例えば円筒の白い表面に等間隔で描かれ
た黒い点でよい。この円筒を目盛り円筒と呼ぶことにす
る。

【００４９】この目盛りパターンを用いて、ＰＡＬシス
テムの原点に関する目盛り点のそれぞれの方向、これら
の方向と歪みのあるパノラマ画像内の対応点との調和を
できるだけ容易に決めることが目的である。したがっ
て、これらの目盛り点と目盛りパターンとの背景とはで
きるだけ大きなコントラストがあることが好ましい。

【００５０】目盛り円筒は、ＰＡＬシステムの光軸が円
筒の中心軸と同一になり、パノラマ画像ブロック８０を
含むように並べられる。円筒の長さ及び半径、目盛りパ
ターンは、パノラマ画像ブロック８０がだいたい円筒の
中心に位置するように選択され、その結果、目盛りパタ
ーンがパノラマ画像ブロック８０の視野を全体的に十分
覆うようになる。すなわち、（垂直方向での）目盛り方
向の範囲は、少なくともパノラマ画像ブロック８０によ
って得られる仰角の最大範囲を覆うことになる。

【００５１】そのとき、ＰＡＬ画像の目盛りパターン
は、図５に示す平面状の環状画像８２内のそれぞれの場
所での画素の値のセットとして得られる（ここで、『画
素の値』とは画像要素での輝度／クロミナンスの特性デ
ータを意味する）。ＰＡＬシステムの中心軸と目盛り円
筒の軸とを調整することによって、パノラマ画像ブロッ
ク８０の原点に関して、それぞれの目盛りの点の方向を
決定すること、続いて目盛りパターンで表される歪みの
あるパノラマ画像のそれぞれの位置にこれらの方向を合
わせることが可能となる。これは、目盛り円筒表面のす
べての点がＰＡＬシステムの中心軸から同一の半径距離
上に存在することによる。しかし、例えば引き延ばした
箱などの内面に目盛りパターンを作成するなど、目盛り
パターンに関して、他の様々な配置を行うことも等しく
可能である。

【００５２】そのとき、目盛り点が目盛りパターンのＰ
ＡＬ画像上に存在する場所は、実際の目盛りパターンの
それぞれ対応する目盛り点に合わされる。これにより、
これらの目盛り点に対応するそれぞれの目盛り方向（Ｐ
ＡＬ画像ブロック８０の原点８１と目盛り点との間で各
々測定又は計算されたもの）は、ニューラル・ネットワ
ークの教示用の第１の教示データのセットとして得られ
る。一方、これらの目盛り方向は、第２の教示データセ
ットを作り出す位置のセットを用いて、目盛りパターン
のＰＡＬ画像上での対応位置（例えば半径と角度との組
み合わせとして表される各々の位置を有する）と合わさ
れる。各目盛り方向は、アジマス角の角度θ（０から３
６０度まで）と水平面によって２分される仰角（垂直方
向の角度）である。

【００５３】

【数６】

【００５４】によって表される。

【００５５】図８は、円筒９０の内面上に作成される目
盛りパターンを用いた場合の目盛り情報源を示す概念的
なダイアグラムである。記述を簡単にするため、目盛り
パターンは、点で作られた３つのリングのみから構成さ
れている例を示している。リング９２は、図示されてい
るように円筒９０内に位置しているパノラマ画像ブロッ
ク９３の水平面に等しい方向となっており、円筒９０の
軸はパノラマ画像ブロック９３の光軸と同一方向を向い
ている。

【００５６】９４は、パノラマ画像ブロック９３の原点
９６から点９４まで延長する線の方向である視点を有す
る目盛り点を示しており、

【００５７】

【数７】

【００５８】で示される仰角と矢印９５で示されるアジ
マス方向とを有している。

【００５９】上記のようにして得られた教示用データセ
ットを用いて、最小構成に近い３層ニューラル・ネット
ワークを構築する。すなわち入力点の水平および垂直座
標をそれぞれのための入力ニューロン２個、隠れたニュ
ーロン１個、出力点の水平および垂直座標のそれぞれの
ための出力ニューロン２個で構成する。隠れたニューロ
ンの初期の重みは任意の値を入れる。教示には後方伝播
法を用いる。

【００６０】重み及びネットワーク出力に対してはＳ字
放射化関数を使用する。ネットワーク性能の測定には平
均二乗誤差関数を選択し、ネットワークの平均二乗誤差
に対する上限を指定した上で、入力として最初のデータ
セットの点を提示して学習を開始する。出力された反応
を第２のデータセット中の予想反応値と比較する。この
技術に精通した人なら理解できるが、平均二乗誤差の上
限値はネットワークの最終的な大きさに影響し、初期の
最小構成に近いネットワークよりも大きいものが妥当な
性能を得るのに必要となる。ネットワークの大きさは次
に示すアルゴリズムにより、学習を繰り返すことによっ
て新しい隠れたニューロンが動的に追加されて自動的に
変化していく。

【００６１】ステップ１： たとえば学習の１００回ご
とに全体誤差を評価する。 ステップ２： 全体誤差が例えば少なくとも１％以内し
か減少しない場合、新しい隠れたニューロンを追加す
る。この新しい隠れたニューロンの重みの初期値は、任
意の重みに設定される。 ステップ３： 目標とする平均二乗誤差に達するまでス
テップ１を繰り返す。

【００６２】技術に精通する人なら理解できるが、この
アルゴリズムは新しい隠れニューロンを追加するだけで
あるから、指定した誤差の上限が示す精度でＰＡＬシス
テムの固有の歪みを近似するのに最低限必要な数以上の
ノードを、結果としてネットワークが持つことになる。
この状態はネットワークの普遍化能力を低下させ、ネッ
トワークが生成する視野補正画像の生成速度にも悪い影
響を与える。よって上記の動的なニューロン生成アルゴ
リズムを適用したのち、摘み取り工程が必要となる。摘
み取り工程は最近追加されたニューロンを取り除き、ネ
ットワークを再教示し、誤差を再評価する。もしネット
ワークが収斂すれば、さらにもう一つのニューロンを取
り除く。最適のネットワークの大きさに達すると、それ
以上のニューロン除去でネットワークが収斂しなくな
る。この段階で摘み取り作業が終わる。

【００６３】ここでは、特定のニューラル・ネットワー
クの構造と構築アルゴリズムを説明したが、他のニュー
ラル・ネットワークの構造と構築アルゴリズムも、本発
明から逸脱することなく使用することができる。ニュー
ラル・ネットワーク１０は普通コンピュータでシミュレ
ートできるが、ハードウェアを用いても実現できる。ニ
ューラル・ネットワーク１０をコンピュータでシミュレ
ートする場合、教示用のデータセットはテキストファイ
ルから読み込む。

【００６４】図６及び図７は合わせて、ユーザ入力がど
のように変換されて、教示したニューラル・ネットワー
ク用の入力として用いるための歪みのない複数の座標点
になるかを示している。図６では、８４はＣＲＴなどの
表示装置の画素の矩形配列から作られる視野ウィンドウ
を示しており、歪みのあるパノラマ画像から歪みのない
サブ画像を表示するものである。 視野ウィンドウの中
心の画素位置は６´で示されており、４つの角はそれぞ
れ１´、２´、３´、４´で示されている。

【００６５】パノラマ画像８２のように取り込まれた元
の視野の特定領域中の歪みのない２次元視野を得るた
め、歪みのあるパノラマ画像８２内の画素に対応するセ
ットのビデオ特性に従って、視野ウィンドウのそれぞれ
の画素を決定する必要がある。

【００６６】ユーザが、視野ウィンドウ（すなわち、歪
みのあるパノラマ画像を取り込む際のパノラマ画像ブロ
ック８０の原点から見た方向を表す１組の角座標）での
視点を指定していることを前提とする。ニューラル・ネ
ットワークへの入力が行われた場合、視野ウィンドウ
は、最終的にニューラル・ネットワークから出力される
反応データ（半径と角度との組み合わせ）として特定さ
れる歪みのあるパノラマ画像８２での画素位置６とな
る。

【００６７】今、視野ウィンドウ８４の他の画素の各々
に対して、ニューラル・ネットワークに入力し、これに
よるニューラル・ネットワークの出力から歪みのあるパ
ノラマ画像８２内の対応位置を求めるための対応視点を
得る必要がある。この方法で、各視野ウィンドウ８４の
画素に対応する歪みのあるサブ画像８３内のすべての位
置が求められる。図６では、領域８３は、視野ウィンド
ウ８４内のそれぞれの画素位置で得られた視点のセット
に対応する（ＰＡＬ画像内の）位置のセットを表してい
る。

【００６８】視野ウィンドウの中心の位置でのユーザに
より指定される上記の位置が、図６に示すように、

【００６９】

【数８】

【００７０】で表せると仮定する。簡単にするため、ズ
ーム率を１．０、ユーザによって指定された視野ウィン
ドウを幅Ｗピクセル、高さＨピクセルとし、視野ウィン
ドウを、図７のようにＵ−Ｖ面内の領域として表し、Ｕ
−Ｖ面の原点を図６の視野ウィンドウ８４の中心点６´
に対応させる。

【００７１】ズーム率が１．０であるためＰＡＬ画像の
全周(すなわち、外側の半径Ｒの長さによってその画像
の画素数として表される)は２πＲであり、これは２π
ラジアンの角度範囲に対応する。すなわち、ＰＡＬ画像
の外周上の１ピクセルは１/Ｒラジアンに対応する。よ
って、ズーム率１．０では、Ｕ軸上の1ピクセルであ
り、視野ウィンドウ８４内の１ピクセルは、アジマスの
１/Ｒラジアンに対応する。２πラジアンの全アジマス
角度範囲（２πラジアン）をＰＡＬ画像の外周に割り当
てることで、入力ＰＡＬ画像のすべてのピクセルが変換
によって少なくとも１回は使用される。すなわち、歪み
のあるパノラマ画像８２中の画像データは使用されずに
残ることはない。

【００７２】同様に、ＰＡＬ画像８２の全半径幅(Ｒ−
ｒピクセル)は、ＰＡＬシステムの垂直視野角

【００７３】

【数９】

【００７４】に対応する。０より大きい角度

【００７５】

【数１０】

【００７６】には正の値が与えられ、水平線から下の角
度

【００７７】

【数１１】

【００７８】には負の値が与えられる。このことより、
垂直視野

【００７９】

【数１２】

【００８０】は正となる。したがって、視野ウィンドウ
８４内の補助画像のＶ軸上の１ピクセルは

【００８１】

【数１３】

【００８２】ラジアンに対応する。すなわち、１組の
（ｕ，ｖ）座標として表現される視野ウィンドウ８４内
の任意の画素位置に対して、教示したニューラル・ネッ
トワークへの入力として用いられる１組の対応する座標

【００８３】

【数１４】

【００８４】は次のように計算できる。

【００８５】

【数１５】

【００８６】式（２）及び（３）は、次の条件下で有効
である（ズーム率１．０のとき）。

【００８７】

【数１６】

【００８８】上記の式は図９の単純な概念図を参照する
ことによって、簡単に理解できる。図９の概念図では、
１００は環状パノラマ画像を示し、説明のために３つの
画素のリングを有し、上記の角度１／ＲがＢ／８ラジア
ンであり、（ＶＡ−ＶＢ）／（Ｒ−ｒ）もまたＢ／８ラ
ジアンであるような上記の蓄積データによって表現され
る。（実際のコースの環状画像は、外周で最大となる角
度の解像度を有する連続的な画素の配列として表され
る。）

【００８９】記述を簡単にするため、画素の一部のみが
表されている。図９に示される環状画像内の画素の位置
とそれぞれの視点との関係は、理想的な（光学的に歪み
のない）画像システムにより得られる画像の場合におい
て正しいものとなる。水平面内の位置に対応する環状画
像内の画素の位置の軌跡は、図９の中心リング１０２で
ある。

【００９０】領域１０１は、平面状の環状画像１０１´
全体が平面状の矩形、すなわち、環状画像１００内の画
素と矩形領域１０１の画素（ズーム率が１．０の場合）
との間で１：１の対応関係を持った画素の矩形配列とな
る変形を示している。したがって、画面の画素のピッチ
の２倍である領域１０１の高さは、仰角のＢ／４ｒａｄ
に等しい。また、領域１０１の水平方向の広さは、画面
の画像のピッチの１６倍であり（なぜなら、環状画像の
外周の画素が１６分割している）、アジマス角度の２Ｂ
ラジアンに等しい。

【００９１】したがって、この非常に単純な例で、中心
のコラムとして例えば図９のコラム１０１を持つよう
な、画面のサブ画像が３×３配列の９画素として得られ
るものであるならば、サブ画像の水平面上の画素のピッ
チはＢ／８ラジアンのアジマス角度に対応し、一方、画
面の垂直方向に沿って測定されるように、画素のピッチ
はＢ／８ラジアンの仰角に対応する。正確な最初の実世
界の景色に見られるような形状を正確に再生し、環状画
像の比率ｒ／Ｒと仰角の範囲ＶＡ−ＶＢのラジアンとの
関係が、１／Ｒを実質（ＶＡ−ＶＢ）／（Ｒ−ｒ）に等
しくするものであることが理解できる。

【００９２】式（２）及び（３）にズーム率１．０以外
のズーム率を入れるのは比較的簡単で、ズーム率に応じ
て座標の縮尺を調整すればよい。さらに、ズーム率を用
いるときは条件（６）、（７）は不要になる。視野ウィ
ンドウ８４内の画素の位置に対応するそれぞれの視点
は、各々式（２）及び（３）から得られる１組の角座標
として表され、教示したニューラル・ネットワークに入
力される。それによって、ニューラル・ネットワークか
ら出力される反応として、それぞれの視点に対応する歪
みのあるパノラマ画像８２内の位置を指定する対応位置
情報（半径方向の値及び角度のそれぞれの組み合わせ）
が得られる。

【００９３】このように歪みのあるパノラマ画像８２内
で指定される位置のそれぞれにおいて、その位置での歪
みのあるパノラマ画像８２のビデオ特性が抽出され、図
４の表示システム７０のような表示装置に供給される。
表示装置は視野ウィンドウ８４を生成し、抽出されたビ
デオ特性が視野ウィンドウ８４内での対応画素のビデオ
特性として設定される。

【００９４】ユーザがニューラル・ネットワークに入力
する前に、上記式（２）及び（３）によって得られる値
のセットをユーザが変更することも可能である。例え
ば、単純な回転や座標上での適切なアフィン変換を適用
するなど、画面上の画像に対していくつかの任意の向き
を指定することが可能である。教示したニューラル・ネ
ットワークからの反応は全データではないので（Ｓ字放
射化関数を使用）、双１次内挿法などの適切な内挿法を
適用する。

【００９５】教示したネットワークから反応を取り出す
には、それぞれのニューロンについて式（１）を用い
て、入力層からはじめて出力層に至るまで単純な加算と
乗算を繰り返す。３層ネットワークで２つの入力ニュー
ロンと８つの隠れたニューロンがある場合、座標の計算
は２４回の乗算と２２回の加算を必要とする。非常に高
精度が必要な用途で、比較的大型のニューラル・ネット
ワークを生成するような場合は、乗算と加算をリアルタ
イムで行うような専用のハードウェアを用いることがで
きる。

【００９６】ただし、精度がそれほど重要でない用途、
例えばパノラマを相互的に見るような場合、出力ウィン
ドウ８４の全面をカバーする制御座標の格子を用い、か
つ制御点に対する（ニューラル・ネットワークに入力さ
れる）角座標のそれぞれの組み合わせのみを計算させ、
ニューラル・ネットワークから歪みのあるパノラマ画像
内の対応する位置を特定する情報を得ることにより、視
野補正した画像の生成速度を何倍にも早くすることがで
きる。その場合、双１次内挿法を用いて、制御点で示さ
れた画素以外の視野ウィンドウの画素に対応する歪みの
あるパノラマ画像内のそれぞれの位置を特定することが
可能である。

【００９７】簡単な例として、歪みのあるパノラマ画像
内にあって、互いに隣接した４つの制御点のそれぞれに
対応する４つの位置を得るためにニューラル・ネットワ
ークが用いられた場合、位置情報には内挿法が適用可能
であり、画面ウィンドウ内の４つの制御点に関して中心
に位置する画素に対応するほぼ正確な位置情報を得るこ
とができる。それ故、視野ウィンドウの画素のすべてに
対する（歪みのあるパノラマ画像に関する）位置情報を
得るためにニューラル・ネットワークを利用することは
必要ではなくなる。この技術に精通した人ならわかる
が、制御点の数が多いほど結果はより正確になり、制御
点の数をさらに多くして、出力画像のピクセルの数まで
増やすと、教示したニューラル・ネットワークを用いて
すべての座標点の計算する必要が生じてしまう。また、
その他の最適値計算法も使用することができる。

【００９８】この技術に精通した人ならわかるが、ここ
に述べた方法は入力画像を小さな部分に分割し、教示し
た小さなネットワークを用いて、分割の結果現れる歪み
を後で修正することで、さらに最適化できる。また、本
発明の好ましい実施の形態として、２次元対２次元の入
出力マッピングを用いたが、この技術に精通した人な
ら、ここに述べた方法はどのような次元の組み合わせの
入出力マッピングにでも応用できることがわかる。さら
に、入力画像は実世界の景色のパノラマ画像でなく、人
工の景色であってもよい。またさらに、上記の原理はア
ジマスに関して３６０度の範囲の視点を有するパノラマ
画像システムに限定されず、一般に広角画像システムに
も等しく適用可能である。上記よりわかるように、これ
らの原理は以下のようにまとめられる。

【００９９】（１）目盛りパターンを構築する実世界の
景色を用いて、パノラマ画像システムを使用して、（歪
みのある）目盛り付きパノラマ画像を得る。目盛りパタ
ーンの目盛り上の点の配列における各々の点を画像シス
テムの対応する視点と関連させる。教示するための入力
として目盛り上の点に対応する視点を用い、ニューラル
・ネットワークから出力される反応との比較を行うた
め、目盛り付き画像の目盛り上の点の対応位置を用い、
ニューラル・ネットワークのパラメータを変更する際に
使用する誤差を得て、ニューラル・ネットワークを教示
する。

【０１００】（２）ニューラル・ネットワークの教示が
終了した後、任意の実世界の景色の歪みのあるパノラマ
画像を取ってくる。サブ画像を作成するための画素の矩
形配列における中心の画素に対応する視点を指定する。
サブ画像の他の画素のそれぞれに関しては、中心の画素
の視点と中心の画素を参照した他の画素の位置とに基づ
き、さらに半径方向の比率とパノラマ画像の垂直方向の
視点の範囲との関係に基づいて、対応する視点を計算す
る。

【０１０１】（３）続いて、教示したニューラル・ネッ
トワークにこれらの視点（例えば角座標の組み合わせ）
のそれぞれを入力し、これらの視点にそれぞれ対応する
歪みのあるパノラマ画像内の位置を指定する情報を得
る。これらの位置の各々において、広角画像の画素のビ
デオ特性を抽出し、ビデオ特性をサブ画像の画素（その
位置に対応する視点を有する画素）に割り当てる。

【０１０２】前述した本発明の望ましい実施の形態は特
定の装置やアルゴリズムに言及しているが、この技術に
精通した人なら本発明から離れない範囲で、例えば開示
された方法を実現するためのコンピュータが実行する命
令を格納する媒体であってコンピュータが利用可能であ
る媒体など、数多くの代用可能な実施の形態や同等案が
存在することがわかる。 したがって、本発明は上記の
説明によって制限されるものではなく、付随する請求の
範囲によって規定されるものと理解されるべきである。

【図面の簡単な説明】

【図１】人工ニューラル・ネットワークの主要部分を表
示したもの。

【図２】人工ニューロンの３層のネットワークを示す。

【図３】パノラマ画像システムの歪みをモデルとする妥
当な複雑さのネットワークを得るためのフローチャー
ト。

【図４】本発明の実施の形態のブロック図。

【図５】パノラマ画像システムによって歪みをもつ環状
パノラマ画像を生成する状態。

【図６】ユーザの入力データを用いて環状のパノラマ画
像内の興味ある領域を定義する方法の図示。

【図７】環状のパノラマ画像から透視歪みを補正した画
像を作るための線形変換の方法を示す図。

【図８】ニューラル・ネットワークを教示するための目
盛りパターンを示す概念的なダイアグラム。

【図９】画素の矩形配列での対応位置上への環状パノラ
マ画像内の画素位置のマッピングを示す概念的なダイア
グラム。

フロントページの続き Ｆターム(参考） 2H059 BA18 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CD12 CE20 5C023 AA10 BA01 CA02 DA04 DA08 EA03 EA06

Claims (9)

【特許請求の範囲】
1. 【請求項１】 歪みのあるパノラマ画像から歪みのない
   サブ画像を選択的に抽出することによる前記歪みのある
   パノラマ画像の調整方法であって、 ニューラル・ネットワークを教示し、パノラマ画像シス
   テムの各視点と前記パノラマ画像システムによって取り
   込まれた歪みのあるパノラマ画像内の対応する位置とを
   関連させるステップと、 前記パノラマ画像システムによって取り込まれた任意の
   歪みのあるパノラマ画像の所望のサブ画像であって、表
   示装置の画素の矩形配列によって生成されたサブ画像に
   対して、中央の視点を特定するステップと、 前記パノラマ画像システムの分かっている視野と前記任
   意の歪みのあるパノラマ画像の配置とに基づいて、前記
   配列の画素のピッチに等しい前記配列の水平方向の距離
   を同量に置換された視点のアジマス角度で表し、前記画
   素のピッチに等しい前記配列の垂直方向の距離を同量に
   置換された視点の仰角で表し、前記同量に置換された視
   点及び前記中央の視点に基づいて、前記画素に対応する
   各視点を計算するステップと、 続いて前記計算された視点を前記ニューラル・ネットワ
   ークに入力し、前記任意の歪みのあるパノラマ画像内で
   の対応する位置のそれぞれを指定する情報を得るステッ
   プと、 前記位置のそれぞれに対してそれぞれのビデオ特性を得
   て、前記画素の対応する位置に前記ビデオ特性を割り当
   てて前記サブ画像を生成するステップとを、 有する方法。
2. 【請求項２】 請求項１に記載の方法において、 前記ニューラル・ネットワークを教示するステップが、 目盛りパターンが実質的に完全にパノラマ画像システム
   の視野を満たすように方向付けることが可能となるよう
   に次元及び形状があらかじめ定められている前記目盛り
   パターンであって、視覚的な目盛り点を定義する前記目
   盛りパターンを準備するステップと、 実質的に完全に前記視野を満たすよう前記目盛りパター
   ンを配置し、前記目盛りパターンの歪みのあるパノラマ
   画像を取り込んで、目盛り画像を構成するステップと、 前記パノラマ画像システムに関して、前記目盛り点のそ
   れぞれと、対応する視点とを関連づける第１のデータセ
   ットを生成するステップと、 前記目盛り点のそれぞれと、前記目盛り画像内で前記目
   盛り点が現れる対応する位置とを関連づける第２のデー
   タセットを生成するステップと、 前記第１のデータセットから前記視点を表す続いて入力
   されるデータを、前記ニューラル・ネットワークに繰り
   返し教示する処理を行うステップと、 前記ニューラル・ネットワークから作成される各出力反
   応と、前記第２のデータセットから得られる前記目盛り
   画像内の対応する位置を示すデータとを比較して誤差の
   量を得て、前記誤差の量に所定のアルゴリズムを適用し
   て、前記誤差の量が所定のレベルに達するまで前記教示
   する処理を続けて、前記ニューラル・ネットワークの内
   部パラメータを修正するステップとを、 有することを特徴とする方法。
3. 【請求項３】 請求項２に記載の方法において、 前記目盛りパターンが円筒の内面上で作成され、前記パ
   ノラマ画像システムが、前記目盛り画像を取り込む間に
   実質上前記円筒の軸と同一方向を向いている中心の光軸
   を持つ光学レンズユニットを有することを特徴とする方
   法。
4. 【請求項４】 歪みのあるパノラマ画像から歪みのない
   サブ画像を選択的に抽出することによる前記歪みのある
   パノラマ画像の調整装置であって、 実世界の景色を歪みのあるパノラマ画像として取り込む
   ように調整されたパノラマ画像システムと、 前記パノラマ画像システムの視野を、前記パノラマ画像
   システムに関してそれぞれ異なる視点で配列された前記
   目盛り点で満たすように方向づけられており、視覚的な
   目盛り点の配列を定義する目盛りパターンと、 ニューラル・ネットワーク、及び、パノラマ画像システ
   ムの各視点と、前記パノラマ画像システムによって取り
   込まれた任意の歪みのあるパノラマ画像内の対応する位
   置とを関連づけるために前記ニューラル・ネットワーク
   を教示し、前記目盛りパターンの画像として取り込まれ
   た目盛り画像を利用し、前記目盛り画像内で前記目盛り
   点が現れる各位置とともに前記目盛り点の前記視点に基
   づいて教示する教示手段と、 前記ニューラル・ネットワークの教示に続いて、前記パ
   ノラマ画像システムによって取り込まれた任意の歪みの
   あるパノラマ画像から抽出されたサブ画像を生成するた
   めの画素であって、固定ピッチで配列されている複数の
   画素を有する表示手段と、 前記パノラマ画像システムの分かっている視野と前記任
   意の歪みのあるパノラマ画像の配置とに基づいて、画素
   のピッチに等しい前記配列の水平方向の距離を同量に置
   換された視点のアジマス角度で表し、前記画素のピッチ
   に等しい前記配列の垂直方向の距離を同量に置換された
   視点の仰角で表し、前記同量に置換された視点及び前記
   中央の視点に基づいて、前記配列の画素に対応する各視
   点を計算するために、前記任意の歪みのあるパノラマ画
   像の所望のサブ画像に関して、中央の視点を特定する情
   報であって外部に供給される情報に応答するデータ処理
   手段とを有し、 続いて前記計算された視点を前記ニューラル・ネットワ
   ークに入力し、前記任意の歪みのあるパノラマ画像内で
   の対応する位置のそれぞれを指定する情報を得て、 前記位置のそれぞれに対してそれぞれのビデオ特性を得
   て、前記画素の対応する位置に前記ビデオ特性を割り当
   てて前記サブ画像を生成する装置。
5. 【請求項５】 請求項４に記載の装置において、 前記ニューラル・ネットワークを教示する前記教示手段
   が、 前記目盛り点のそれぞれと、対応する視点とを関連づけ
   る第１のデータセットを生成する手段と、 前記目盛り点のそれぞれと、前記目盛り画像内で前記目
   盛り点が現れる対応する位置とを関連づける第２のデー
   タセットを生成する手段と、 前記第１のデータセットから前記視点を表す続いて入力
   されるデータを、前記ニューラル・ネットワークに繰り
   返し教示する処理を行うステップと、 前記ニューラル・ネットワークから作成される各出力反
   応と、前記第２のデータセットから得られる前記目盛り
   画像内の対応する位置を示すデータとを比較して誤差の
   量を得て、前記誤差の量に所定のアルゴリズムを適用し
   て、前記誤差の量が所定のレベルに達するまで前記教示
   する処理を続けて、前記ニューラル・ネットワークの内
   部パラメータを修正する手段とを、 有することを特徴とする装置。
6. 【請求項６】 請求項４に記載の装置において、 前記目盛りパターンが円筒の内面上で作成され、前記パ
   ノラマ画像システムが、前記目盛り画像を取り込む間に
   実質上前記円筒の軸と同一方向を向いている中心の光軸
   を持つ光学レンズユニットを有することを特徴とする装
   置。
7. 【請求項７】 歪みのあるパノラマ画像から歪みのない
   サブ画像を選択的に抽出することによる前記歪みのある
   パノラマ画像の調整方法を実施する場合に実行されるコ
   ンピュータが実行可能な命令を記録するコンピュータが
   利用可能な記録媒体であって、 ニューラル・ネットワークを教示し、パノラマ画像シス
   テムの各視点と前記パノラマ画像システムによって取り
   込まれた歪みのあるパノラマ画像内の対応する位置とを
   関連させるステップと、 前記パノラマ画像システムによって取り込まれた任意の
   歪みのあるパノラマ画像の所望のサブ画像であって、表
   示装置の画素の矩形配列によって生成されたサブ画像に
   対して、中央の視点を特定するステップと、 前記パノラマ画像システムの分かっている視野と前記任
   意の歪みのあるパノラマ画像の配置とに基づいて、前記
   配列の画素のピッチに等しい前記配列の水平方向の距離
   を同量に置換された視点のアジマス角度で表し、前記画
   素のピッチに等しい前記配列の垂直方向の距離を同量に
   置換された視点の仰角で表し、前記同量に置換された視
   点及び前記中央の視点に基づいて、前記画素に対応する
   各視点を計算するステップと、 続いて前記計算された視点を前記ニューラル・ネットワ
   ークに入力し、前記任意の歪みのあるパノラマ画像内で
   の対応する位置のそれぞれを指定する情報を得るステッ
   プと、 前記位置のそれぞれに対してそれぞれのビデオ特性を得
   て、前記画素の対応する位置に前記ビデオ特性を割り当
   てて前記サブ画像を生成するステップとを、 有する方法を実施する場合に実行されるコンピュータが
   実行可能な命令を記録するコンピュータが利用可能な記
   録媒体。
8. 【請求項８】 請求項７に記載のコンピュータが利用可
   能な記録媒体において、 前記ニューラル・ネットワークを教示するステップが、 目盛りパターンが実質的に完全にパノラマ画像システム
   の視野を満たすように方向付けることが可能となるよう
   に次元及び形状があらかじめ定められている前記目盛り
   パターンであって、視覚的な目盛り点を定義する前記目
   盛りパターンを準備するステップと、 実質的に完全に前記視野を満たすよう前記目盛りパター
   ンを配置し、前記目盛りパターンの歪みのあるパノラマ
   画像を取り込んで、目盛り画像を構成するステップと、 前記パノラマ画像システムに関して、前記目盛り点のそ
   れぞれと、対応する視点とを関連づける第１のデータセ
   ットを生成するステップと、 前記目盛り点のそれぞれと、前記目盛り画像内で前記目
   盛り点が現れる対応する位置とを関連づける第２のデー
   タセットを生成するステップと、 前記第１のデータセットから前記視点を表す続いて入力
   されるデータを、前記ニューラル・ネットワークに繰り
   返し教示する処理を行うステップと、 前記ニューラル・ネットワークから作成される各出力反
   応と、前記第２のデータセットから得られる前記目盛り
   画像内の対応する位置を示すデータとを比較して誤差の
   量を得て、前記誤差の量に所定のアルゴリズムを適用し
   て、前記誤差の量が所定のレベルに達するまで前記教示
   する処理を続けて、前記ニューラル・ネットワークの内
   部パラメータを修正するステップとを、 有する方法を実施する場合に実行されるコンピュータが
   実行可能な命令を記録することを特徴とするコンピュー
   タが利用可能な記録媒体。
9. 【請求項９】 請求項７に記載のコンピュータが利用可
   能な記録媒体において、 前記目盛りパターンが円筒の内面上で作成され、前記パ
   ノラマ画像システムが、前記目盛り画像を取り込む間に
   実質上前記円筒の軸と同一方向を向いている中心の光軸
   を持つ光学レンズユニットを有することを特徴とするコ
   ンピュータが利用可能な記録媒体。