JP2002203254A - 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 曲面像を高速に平面像に変換する方法を得
る。 【解決手段】 曲面像変換方法は、曲面像を映し出す魚
眼レンズに映し出された上記曲面像を平面像に変換する
ものである。この曲面像変換方法においては、上記魚眼
レンズに映し出された曲面像のサンプリング点の平面上
への射影点をジオメトリ演算により算出し、上記曲面像
を平面像に変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明に係る曲面像変換方
法及び曲面像変換方法を記録した記録媒体は、例えば監
視装置等に応用されるもので、凸面鏡等の反射鏡や魚眼
レンズ等の射影系レンズに映し出された、物体の曲面像
を平面像に変換するための方法及び該方法を記録した記
録媒体に関する。

【０００２】

【従来技術】近年、コンピュータ関連技術の進歩が著し
い。なかでも、コンピュータグラフィックスに関する技
術は、コンピュータ自体の高速処理化、大記憶容量化に
伴って長足の進歩を遂げている。このような図形処理に
係るソフトウエアを用いることにより、例えばコンピュ
ータに取り込んだ図形を拡大・縮小することは勿論、任
意に変形させることも可能になっている。コンピュータ
に取り込んだ図形を変形するには、当該図形をピクセル
ごとに分解し、これらピクセルごとに複雑な計算を施し
て所望の変形図形を得るようにしている。

【０００３】ところが、上述したような図形の変形処理
においては、上述したように各ピクセルごとに複雑な計
算処理を行う必要があるため、描画等には利用されるこ
とはあっても実社会での応用は限られたものであった。
例えば、上述のような図形の変形処理を迅速に処理でき
るようになれば、通常のレンズよりも広い範囲を撮像で
きる魚眼レンズ等で映し出した映像を平面図形に変換し
て表示させられる。これにより、例えば少ない撮像回数
でより広範囲を監視できる監視システムを築くことが可
能になると考えられる。

【０００４】しかしながら、上述したような図形の変形
処理を監視システム等に応用する場合、従来の処理技術
では上記複雑な計算をピクセルごとに行う必要があるた
め、計算量が膨大なものとなり、処理に時間が嵩んでし
まう。特に、処理すべき画像が高画質であったり、更に
は動画像である場合には、処理が追いつかず、実用に供
するのは困難である。このため、実社会への応用が限ら
れたものであった。

【０００５】上述のような課題に対処すべく、例えば、
予め全てのピクセルの参照マップ（視点マップ）を計算
しておき、変換処理時に当該マップを参照することで実
計算量を減少させることが考えられる。しかしながら、
このような技術を採用しても、高画質な画像を用いたイ
ンタラクティブな視点移動は現実的ではない。何となれ
ば、上述したように事前に視点マップを計算しておくこ
とが前提であるため、膨大な量の視点マップが必要にな
ってしまうからである。このため、この技術を採用する
ことは現実的ではない。

【０００６】図形の変換処理に際して計算量を減少させ
る技術として、特許第３０５１１７３号公報、同第３０
１２１４２号公報には、予め曲面像（円形広角画像）を
極座標系から直交座標系へ変換しておき、画像展開時の
計算には直交座標系を用いることで実計算量を減らす技
術が記載されている。この技術を用いれば、実計算量を
減らし、処理速度を向上させることができ、もって高画
質でインタラクティブな視点の移動を可能とすることが
できる。従って、条件さえ満たせば動画像も実現可能で
あると考えられる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記各
公報に記載された発明においては、事前に直交座標系へ
変換したものを利用して変換処理が実現されるものであ
る。例えば、カメラからリアルタイムに動画像を取り込
みながら画像展開するためには、曲面像の動画全フレー
ムに対しリアルタイムに直交座標系変換が必要である。
このように、曲面像の全フレームに対しリアルタイムに
直交座標系変換を行なうことは、この上記各公報に記載
された発明の利点を損ねるものであり、処理速度の面か
ら現実的ではない。このため、やはりリアルタイムに画
像を取り込みながら変換することには不適であり、更な
る開発が待たれていた。

【０００８】この発明に係る曲面像変換方法及びこの曲
面像変換方法を記録した記録媒体は、上述したような事
情に鑑みて創案されたもので、曲面像を平面像に変形す
る処理を迅速に行え、もって実社会に応用できる曲面像
変換方法及びこの曲面像変換方法を記録した記録媒体を
提供するものである。より具体的に述べれば、事前に何
ら前処理を必要としないにも拘らず、曲面像を直接利用
して、静止画像はもちろん、高画質な動画像であっても
迅速に変換処理可能とし、リアルタイム性のあるインタ
ラクティブな動画像展開をも可能にするものである。

【０００９】

【課題を解決するための手段】この発明に係る曲面像変
換方法及びこの曲面像変換方法を記録した記録媒体のう
ち曲面像変換方法は、請求項１に記載したように、曲面
像を映し出す映出体に映し出された上記曲面像を平面像
に変換するための曲面像変換方法であって、上記映出体
に映し出された曲面像のサンプリング点の平面上への射
影点をジオメトリ演算により算出し、直交系変換アルゴ
リズムを用いることなく上記曲面像を平面像に変換する
ことを特徴とするものである。

【００１０】また、請求項２に記載した発明は、曲面像
を映し出す映出体に映し出された上記曲面像を平面像に
変換するための曲面像変換方法であって、上記映出体の
射影特性に基づいて上記曲面像上のサンプリング点を算
出し、直交系変換アルゴリズムを用いることなく上記曲
面像を平面像に変換することを特徴とするものである。

【００１１】具体的には、請求項３に記載したように、
上記映出体の射影特性に基づいて球面状若しくは平面状
のポリゴンモデルを構築し、このポリゴンモデルに対し
て上記曲面像上の各サンプリング点を、複数の多角形
（例えば三角形）に分割した上記ポリゴンモデルの各頂
点に対応させ、更にジオメトリ変換によりカメラ視野系
に変換した後に各種投影変換を施し、ラスタライズして
上記映出体に映し出された曲面像を平面像に変換するよ
うに構成できる。

【００１２】尚、上記映出体の射影特性としては、請求
項４に記載したように、該映出体の曲率半径に係るパラ
メータを含むものとすることができる。また、請求項５
に記載したように、上記曲面像のうちの任意の範囲を平
面像に変換するようにしたり、請求項６に記載したよう
に、上記曲面像のうちの任意の複数の範囲を同時に平面
像に変換するようにしたり、更には、請求項７に記載し
たように、上記曲面像のうちの任意の範囲を拡大若しく
は縮小して平面像に変換するようにすることもできる。

【００１３】また、上記映出体としては、請求項８に記
載したように反射鏡若しくは射影系レンズを採用でき
る。より具体的には、上記反射鏡としては請求項９に記
載したように凸面鏡若しくは凹面鏡を採用でき、上記射
影系レンズとしては請求項１０に記載したように魚眼レ
ンズを採用できる。

【００１４】次に、この発明に係る曲面像変換方法及び
この曲面像変換方法を記録した記録媒体のうち、曲面像
変換方法を記録した記録媒体は、請求項１１に記載した
ように、曲面像を映し出す映出体に映し出された上記曲
面像を平面像に変換するための曲面像変換方法を記録し
た記録媒体であって、上記曲面変換方法は、上記映出体
に映し出された曲面像のサンプリング点の平面上への射
影点をジオメトリ演算により算出し、直交系変換アルゴ
リズムを用いることなく上記曲面像を平面像に変換する
ものであることを特徴とするものである。

【００１５】更に、請求項１２に記載した発明は、曲面
像を映し出す映出体に映し出された上記曲面像を平面像
に変換するための曲面像変換方法を記録した記録媒体で
あって、上記曲面変換方法は、上記映出体の射影特性に
基づいて上記曲面像の上のサンプリング点を算出し、直
交系変換アルゴリズムを用いることなく上記曲面像を平
面像に変換ものであることを特徴とするものである。

【００１６】また、この発明に係る記録媒体として、請
求項１３に記載したように、上記曲面変換方法が、上記
映出体の射影特性に基づいて球面状若しくは平面状のポ
リゴンモデルを構築し、このポリゴンモデルに対して上
記曲面像上の各サンプリング点を、複数の多角形（例え
ば三角形）に分割した上記ポリゴンモデルの各頂点に対
応させ、更にジオメトリ変換によりカメラ視野系に変換
した後に各種投影変換を施し、ラスタライズして上記映
出体に映し出された曲面像を平面像に変換するものとす
ることもできる。

【００１７】更には、上記曲面像変換方法として、請求
項１４に記載したように、上記曲面像のうちの任意の範
囲を平面像に変換するものであったり、請求項１５に記
載したように、上記曲面像のうちの任意の複数の範囲を
同時に平面像に変換するものであったり、請求項１６に
記載したように、上記曲面像のうちの任意の範囲を拡大
若しくは縮小して平面像に変換するものであっても良
い。

【００１８】この発明に係る曲面像変換方法及びこの曲
面像変換方法を記録した記録媒体は、上述したような構
成を備えているため、前述した特許公報に記載された先
発明のような直交系の変換アルゴリズムとは異なり、事
前に何ら前処理を必要とせず、曲面像を直接利用するこ
とが可能である。この結果、リアルタイムの動画像展開
が可能になる。しかも、展開にいわゆるテクスチャマッ
ピング技法を用いることにより、全体の演算量を減らし
て処理の高速化を果たしている。

【００１９】

【発明の実施の形態】次に、この発明の実施の各形態例
について説明する。図１及び図２は、この発明を監視装
置に応用した第一形態例を示している。すなわち、この
監視装置は、映出体である魚眼レンズ１と、光学フィル
タ２と、光学レンズ３と、ＣＣＤカメラからなるＣＣＤ
装置４と、を備えている。上記魚眼レンズ１に映し出さ
れた像（曲面像）は、上記光学フィルタ２及び光学レン
ズ３を介してＣＣＤ装置４に取り込まれる。上記ＣＣＤ
装置４は、図示しないコンピュータ装置に接続されてお
り、ＣＣＤ装置４が取り込んだ曲面像は、このコンピュ
ータ装置に送られる。尚、上記曲面像とは、魚眼レンズ
１に映し出された像を指す。但し、後述するように、魚
眼レンズ１に代えて凸面鏡や凹面鏡、広角レンズを採用
した場合には、これら凸面鏡や凹面鏡、広角レンズに映
し出された像を指す。

【００２０】上記コンピュータ装置には、上記ＣＣＤ装
置４に取り込んだ曲面像を平面像に変換する変換処理プ
ログラムが組み込まれている。尚、上記平面像とは、我
々の目に映る像を指す。上記コンピュータ装置には図示
しないディスプレイ装置が接続されており、このディス
プレイ装置により、上記変換処理プログラムによって変
換された平面像を表示するようにしている。

【００２１】上記変換処理プログラムは、この発明の特
徴部分をなすもので、曲面像を映し出す映出体に映し出
された上記曲面像を平面像に変換するためのものであ
る。本形態例においては、上記魚眼レンズ１に映し出さ
れた物体の曲面像のサンプリング点の平面上への射影点
をジオメトリ演算により算出し、上記曲面像を平面像に
変換する。すなわち、上記魚眼レンズ１の射影特性を基
にして、曲面像上のサンプリング点を算出し、更に球面
状のポリゴンモデル（天球状のポリゴン）を構築し、こ
のポリゴンモデルに対して各サンプリング点を複数の三
角形に分解した各頂点に対応させ、ジオメトリ演算を用
いてカメラ視野系に変換した後に各種投影変換を施し、
上記映出体に映し出された曲面像を平面像に変換する。
尚、ポリゴンモデルとは多角形により構成されるものを
いうが、本形態例並びに後述する第二形態例において
は、三角形ポリゴンを用いた例について説明する。

【００２２】言い換えれば、三次元空間上に、視線方向
と視野角とクリッピング面とバンク角とを考慮した仮想
的なカメラを想定し、ポリゴンモデルの原点に置いた上
記カメラを介して見渡すと、曲面画像から平面画像に変
換された画像を得られる。実際には、上記仮想的なカメ
ラを介して各サンプリング点の二次元画像上への変換先
を求め、各サンプリング点の三角形領域をテクスチャマ
ッピングにより隙間なく埋めていく。このため、従来方
法のような多数のピクセルごとに複雑な計算を施す必要
がなく、高速に変換可能になる。

【００２３】ところで、本形態例に係る方法によって得
られる平面画像は、近似された画像であるが、ポリゴン
モデルのポリゴン数を増やしたり、ポリゴンモデルの密
度を工夫したりすることによって実際の画像に近づける
ことができる。

【００２４】尚、上述した形態例においては、映出体と
して射影系レンズである魚眼レンズ１を採用している
が、同じく射影系レンズである広角レンズや、反射鏡で
ある凸面鏡、凹面鏡を採用することができる。

【００２５】上述したように構成される本形態例の作用
は次のとおりである。すなわち、上記魚眼レンズ１には
図２（Ａ）に示すような映像（曲面像）が映し出されて
いる。このような像を上記ＣＣＤ装置４によって取り込
み、この取り込んだ像を上記変換処理プログラムを介し
て平面像に変換する。上述したとおり、この変換は従来
方法に比較して高速に処理される。変換された平面像
は、上記ディスプレイ装置によって表示される。図２
（Ｂ）は、ディスプレイ装置に表示された平面像を示し
ている。

【００２６】上記図２の記載から明らかなように、本形
態例においては単一の魚眼レンズ１及び単一のＣＣＤ装
置４によって室内のほぼ全域をディスプレイ装置に表示
させることが可能になる。したがって、従来の監視装置
のように、多数の監視カメラを設置する必要がなくな
る。

【００２７】このように、この発明に係る曲面像変換方
法は、曲面像を高速に平面像に変換できるため、上述し
た監視装置をはじめとして各種装置に応用でき、実用上
の効果が大きい。

【００２８】また、上述したような曲面像変換方法は、
フレキシブルディスク（ＦＤ）や光磁気ディスク（Ｍ
Ｏ）、更にはＣＤ−ＲＯＭといった各種記録媒体に記録
し、配布等することが可能である。

【００２９】次に、図３乃至図１０は、この発明を監視
装置に応用した第二形態例を示している。本形態例に係
る監視装置は、上述した第一形態例と同様、上記図１に
示すように、映出体である魚眼レンズ１と、光学フィル
タ２と、光学レンズ３と、ＣＣＤカメラからなるＣＣＤ
装置４と、を備えている。上記魚眼レンズ１に映し出さ
れた像（曲面像）は、上記光学フィルタ２及び光学レン
ズ３を介してＣＣＤ装置４に取り込まれる。上記ＣＣＤ
装置４は、図示しないコンピュータ装置に接続されてお
り、ＣＣＤ装置４が取り込んだ曲面像は、このコンピュ
ータ装置に送られる。尚、上記曲面像とは、魚眼レンズ
１に映し出された像を指す。但し、後述するように、魚
眼レンズ１に代えて凸面鏡や凹面鏡、広角レンズを採用
した場合には、これら凸面鏡や凹面鏡、広角レンズに映
し出された像を指す。

【００３０】上記コンピュータ装置には、上記ＣＣＤ装
置４に取り込んだ曲面像を平面像に変換する変換処理プ
ログラムが組み込まれている。上記コンピュータ装置に
は図示しないディスプレイ装置が接続されており、この
ディスプレイ装置により、上記変換処理プログラムによ
って変換された平面像を表示するようにしている。

【００３１】次に、上記変換処理プログラムについて説
明するが、この説明に先立ち、この発明に係る変換処理
のアルゴリズムについて簡単に説明しておく。

【００３２】図３に示すように、魚眼レンズ１で撮影さ
れた曲面像６は、魚眼レンズ１の周りの三次元空間を二
次元の円形画像上へ射影して記録されたものである。三
次元空間から二次元の円形画像への射影先は、使用する
魚眼レンズ１の射影特性によって定まる。射影特性によ
り円形画像の中心から外周への情報量の分布密度の特性
が変わり、一般には外側が疎になる傾向がある。

【００３３】曲面像６から平面像への展開（変換処理）
は、平面座標から極座標への対応点を求めることによっ
て行われる。図４に示すように、曲面像の半径をＲ、任
意の点をｐ、原点から点ｐまでの長さをｒ、外部から与
えられるパラメータをθ、φとすると、極座標パラメー
タは以下のようにまとめることができる。 ｐ：（ｒ・cosφ、ｒ・sinφ） ｒ＝Ｒ・ｆ（θ） ｆ(θ)：｛０≦f(θ) ≦１｝ θ：｛０≦θ≦１｝ φ：｛０≦φ≦２π｝ ここで、f(θ)とは魚眼レンズ１の射影特性をあらわす
関数である。

【００３４】この発明に係るアルゴリズムにおいては、
図５に示すように、複数の三角形から成る天球状のポリ
ゴンモデルを作成し、このポリゴンモデルの各頂点を曲
面像上の然るべきサンプリングポイントへレンズの射影
特性を考慮しながら正確にマッピングし、仮想的なカメ
ラで天球の中心から天球内を見渡すことにより遠近画像
を得るものである。上記三角形内部のピクセル演算は、
テクスチャマッピング技法を利用した近似計算で求め
る。このため、従来における変換作業は描画ピクセル単
位で行われることに基づき、その演算量は複雑で膨大な
ものであったが、この発明においては、上述した理由に
より全体の演算量が減り、高速化を可能としている。

【００３５】また、最近の処理系はテクスチャマッピン
グをハードウェアでサポートしているのが一般的になっ
てきており、この遠近補正出力は非常に高速に処理され
る。従来のような直交系の変換アルゴリズムを必要とせ
ず、事前に元画像を直交座標系へ変換しておく必要がな
い。又、使用するレンズの画角に対応させて天球状のポ
リゴンモデルの開度θを決定することにより、焦点距離
などの情報を必要とせずに、任意の画角のレンズに対応
することが可能である。

【００３６】球面展開は三次元空間から曲面像へ射影さ
れてきた光の経路を、今度は逆の経路を辿ることで再び
三次元空間を再現しようと試みる展開である。図６に示
すように、仮想三次元空間へ天球７を置き、曲面像から
空間へ伸びる光との交点を想定し、曲面像を天球７の内
側へテクスチャマッピングすることを想定する。

【００３７】この際、天球７の中心点に仮想的なカメラ
を置き天球内を見渡すと元の三次元空間が再現されて見
える。球面展開では仮想空間上の天球７内に三次元空間
が再現されるので、ユーザーは天球７の中心点に置かれ
た仮想的なカメラを操作することで、自由に好きな方向
を見たり映像を拡大或いは縮小したりすることが可能に
なる。また、仮想的なカメラは何台でも追加が可能なの
で、１つの元画像を同時に様々なアングルの遠近出力が
可能である。これにより複数のユーザーが能動的に、同
時に任意の方向を遠近出力することが可能である。

【００３８】実際のマッピングは三次元空間から曲面像
へ向かう光の経路と同じように、天球状のポリゴンモデ
ルを構成する各頂点の、元画像上への射影によって行わ
れる。その際レンズの射影特性を考慮することで様々な
射影特性のレンズへ対応することができる。

【００３９】天球７上のポリゴン頂点から曲面像上のピ
クセルへの射影点pを求める為には、パラメータθ、φ
を与える必要がある。図７に示すように、天球の頂点を
θの始点とすれば、三次元空間上のポリゴン頂点座標s
は次の通りに定まる。 ｓ：（θ、φ) この頂点パラメータθ、φを、上記図４の極座標へ代入
することで、天球７上の頂点から極座標上の射影先pが
求まる。天球状のポリゴンモデルにテクスチャマッピン
グされた曲面像は、仮想的なカメラを通してレンダリン
グされ二次元の遠近補正画像へと展開される。尚、これ
らパラメータθ、φを、それぞれ平面状のポリゴンの横
軸、縦軸に取ると、この展開は平面状のポリゴンを利用
したパノラマ展開になるのは勿論である。つまり、本発
明は遠近補正画像を得るのに直交系変換アルゴリズムを
用いないにも拘わらず、遠近補正画像と同時にパノラマ
展開画像をも生成することが可能である。

【００４０】仮想的なカメラを通してのレンダリングに
は３Ｄジオメトリ演算が用いられる。３Ｄジオメトリ演
算表記は処理系により異なるが、例として左手座標系、
行（横）ベクトル表記を用いて説明する。一般に３Ｄジ
オメトリ演算は同次四次元座標を用いた各種行列演算に
より行われ、ポリゴンモデル上の頂点を[xyz1]、変換後
の頂点を[x'y'z'1]とすると、一般的に次のように示す
ことができる。 [x'y'z'1]＝[xyz1]*[W]*[V]*[P] 尚、上記[W]はワールド変換行列、上記[V]はビュー変換
行列、上記[P]は射影変換行列である。上記ワールド変
換行列とは、オブジェクト座標系からワールド座標系へ
の変換行列であり、上記ビュー変換行列とは、ワールド
座標系からカメラ座標系への変換行列であり、上記射影
変換行列とは、カメラ座標系から射影空間（遠近補正後
同次空間）への変換行列である。

【００４１】射影空間へ変換されたポリゴン頂点はその
後、一般的に、クリッピング処理、ビューポート変換を
経て二次元平面へ変換され、ポリゴンを形成する頂点間
領域を補完するようにテクスチャマッピング処理により
レンダリングされて画像が生成される。上記の[V]、[P]
の部分が仮想的なカメラの機能を提供する。[V]で任意
の視線方向を設定することでカメラのパン、チルト、回
転が実現される。又、[P]により遠近補正が行われ、カ
メラのズームイン／アウトはここで実現される。これら
座標変換は頂点に対する、平行移動(translating)、回
転(rotation)、拡大縮小(scaling)、せん断(shear)の４
つの操作を組み合わせて実現される。

【００４２】上述したアルゴリズムに基づく上記変換処
理プログラムは、この発明の特徴部分をなし、曲面像を
映し出す映出体に映し出された上記曲面像を平面像に変
換するためのもので、図８と図９とに示すように、魚眼
レンズ１の射影特性に基づいて上記曲面像の上のサンプ
リング点を算出して上記曲面像を平面像に変換するもの
である。すなわち、上記魚眼レンズ１の曲率半径に係る
特性をはじめとする射影特性に基づいて上記曲面像の上
のサンプリング点を算出し、更に上記射影特性に基づい
て球面状のポリゴンモデルを構築し、このポリゴンモデ
ルに対して上記曲面像上の各サンプリング点を、複数の
三角形に分割した上記ポリゴンモデルの各頂点に対応さ
せ、更にジオメトリ変換によりカメラ視野系に変換した
後に各種投影変換を施し、ラスタライズして上記映出体
に映し出された曲面像を平面像に変換するものである。
尚、上記射影特性は、例えば上述した第一形態例と同様
に或いは理工学・数学の各種手法等を用い、手動により
若しくは自動的に求めるようにする。この射影特性は、
一度求めればよい。

【００４３】上記魚眼レンズ１の射影特性を基にして、
上記ポリゴンモデル上の複数の三角形の頂点をジオメト
リ変換することによりカメラ座標系にし、並行投影や透
視投影等の各種投影処理を施す。これにより、上記各頂
点の平面上への投影先ピクセルを求める。次いで、上述
のようにして求められた平面上の三角形領域に対し、対
応する曲面像上の三角形のサンプリング領域を適宜に変
形し、ラスタライズする。すなわち、平面上の三角形領
域の各ピクセルごとに、曲面像上の参照すべき画素を定
める。これらの処理は、厳密な計算ではなく、近似計算
であるため、処理速度を向上させることができる。

【００４４】換言すれば、三次元空間上に、視線方向と
視野角とクリッピング面とバンク角とを考慮した仮想的
なカメラを想定し、ポリゴンモデルの原点に置いた上記
カメラを介して見渡すと、曲面画像から平面画像に変換
された画像を得られる。実際には、上記仮想的なカメラ
を介して各サンプリング点の二次元画像上への変換先を
求め、各サンプリング点の三角形領域をテクスチャマッ
ピングにより隙間なく埋めていく。このため、従来方法
のような多数のピクセルごとに複雑な計算を施す必要が
なく、高速に変換可能になる。

【００４５】ところで、本形態例に係る方法によって得
られる平面画像は、近似された画像であるが、上述した
第一形態例と同様、ポリゴンモデルのポリゴン数を増や
したり、ポリゴンモデルの密度を工夫したりすることに
よって実際の画像に近づけることができる。

【００４６】尚、上述した形態例においては、映出体と
して射影系レンズである魚眼レンズ１を採用している
が、同じく反射鏡である凸面鏡や凹面鏡、射影系レンズ
である広角レンズを採用することができる。

【００４７】上述したように構成される本形態例の作用
は次のとおりである。すなわち、図１０に示すように、
先ず曲面像情報（半径、中心座標）、使用レンズ情報
（射影系、画角）を入力する（ステップ１）。次いで、
ステップ２に進み、天球状のポリゴンを作成する。更
に、ステップ３に進み、上記ステップ１で入力した情報
を元に、天球状のポリゴンの各頂点と曲面像の対応ポイ
ントを関連付ける。尚、上記天球状のポリゴンは、三角
形ポリゴンから成るので、当該処理は結果的に曲面像を
三角形領域へ対応付けるのと同じ意味を持つ。更に、ス
テップ４に進み、仮想カメラ情報（視線方向、画角（ズ
ームイン・ズームアウト））を入力する。次いで、ステ
ップ５に進み、上記ステップ４で入力した情報を元に、
天球状のポリゴンを、各種３Ｄジオメトリ演算する。
尚、この３Ｄジオメトリ演算は、ワールド変換、ビュー
変換、射影変換、クリッピング処理、ビューポート変
換、を含む。更に、ステップ６に進み、上記ステップ５
における結果をテクスチャマッピング処理によりレンダ
リングする。これにより、遠近補正画像が生成される。
このテクスチャマッピング処理は三角形単位で行われ、
この部分が処理を簡略化し高速化する部分である。次い
で、ステップ７に進み、遠近補正画像を表示する。最後
に、ステップ８として、曲面像を更新し、ステップ４に
戻る。以下、上記ステップ４からステップ８を必要回数
繰り返す。

【００４８】上述したような処理により、魚眼レンズ１
に映し出されている、図９（Ａ）に示すような映像（曲
面像）を上記ＣＣＤ装置４によって取り込み、この取り
込んだ像を上記変換処理プログラムを介して平面像に変
換する。尚、このような平面像への変換は、所定角度
（例えば９０度）ごとに行なうことで、コンピュータ装
置の負担を軽減させることができる。上述したとおり、
この変換は従来方法に比較して高速に処理される。変換
された平面像は、上記ディスプレイ装置によって表示さ
れる。図９（Ｂ）は、ディスプレイ装置に表示された平
面像を示している。

【００４９】上記図９の記載から明らかなように、本形
態例においては単一の魚眼レンズ１及び単一のＣＣＤ装
置４によって室内のほぼ全域をディスプレイ装置に表示
させることが可能になる。従って、従来の監視装置のよ
うに、多数の監視カメラを設置する必要がなくなる。

【００５０】このように、この発明に係る曲面像変換方
法は、曲面像を高速に平面像に変換できるため、上述し
た監視装置をはじめとして各種装置に応用でき、実用上
の効果が大きい。

【００５１】また、上述したような曲面像変換方法は、
フレキシブルディスク（ＦＤ）や光磁気ディスク（Ｍ
Ｏ）、更にはＣＤ−ＲＯＭといった各種記録媒体に記録
し、配布等することが可能である。

【００５２】尚、遠近補正出力には膨大な計算が必要で
ある。このため、前述した特許公報に記載の発明におい
ては、使用するデーター構造を工夫することで後の計算
を簡略化し、遠近補正を実用化している。すなわち、前
もって元の画像を目的のデーター構造へ変換しておく。
この結果、上記特許公報に記載の発明においては、この
データー構造変換に時間が嵩み、変換処理すべき画像が
動画像である場合には、そのリアルタイム性（リアルタ
イムに画像を取り込みながらの変換処理を言う。）が失
われてしまうことになり、更には高画質になるにしたが
って実現が難しくなる。従って、上記特許公報に記載の
発明においては、その利用は、予め撮影された画像（静
止画像並びに動画像）に有効なものである。言い換えれ
ば、上記特許公報に記載の発明においては、リアルタイ
ム性のあるインタラクティブで高画質な動画像は現実的
なものではない。

【００５３】より詳細に説明すると、上記特許公報に記
載の発明においては、直交系の変換アルゴリズムとデー
ター構造を用いることで後の計算を簡略化し、高画質で
インタラクティブな視点移動を実現しているが、直交系
の変換アルゴリズムを使用するために、前もって曲面像
を直交座標系へと変換しておかなければならない。この
ため、動画像の各フレームに対して随時データー構造変
換をするのはコストが嵩み過ぎ、リアルタイム性のある
高画質でインタラクティブな動画像は実現が難しいもの
であった。

【００５４】これに対し、上述した形態例の構造の場
合、曲面像をそのまま利用でき、しかも、計算速度を向
上させるために三角形テクスチャポリゴンを変換単位と
して扱うようにしている。この結果、ポリゴンモデルと
テクスチャとの関連付けが必要なのは最初の一回だけと
なり、上記特許公報に記載の発明では実現困難であった
リアルタイム性のあるインタラクティブで高画質な動画
像を実現している。尚、上記ポリゴンモデルの精度を変
更することで、生成画像品質と処理系への負担とを調整
することができる。

【００５５】この発明の奏する効果を更に詳細に述べ
る。前述した特許公報に記載の発明においては、直交系
の変換アルゴリズム（パノラマ展開画像）を使用して、
該当する半球状画像領域の修正画像への直接的マッピン
グをもたらすものである。この方式は、極座標系から直
交座標系へ前もって座標系変換をしておくことで（パノ
ラマ展開）後の計算を簡略化し、遠近出力変換を高速化
する。しかしながら、事前にパノラマ展開をしておく必
要があるので、カメラから画像をキャプチャーしながら
リアルタイムに遠近出力する等の用途には向かないもの
であった。

【００５６】これに対し、本発明においては、仮想的な
三次元空間において、半球状画像領域上の各サンプリン
グポイントを天球状のポリゴンモデルの各頂点へ直接対
応させた後、仮想的なカメラを通して天球内を見上げる
ことで遠近出力を得ている。このため、上記各特許公報
に記載された発明のように直交系の変換アルゴリズムを
必要としない。従って、事前にパノラマ展開等の前処理
を必要とせず、半球状画像領域を直接利用することが可
能である。静止画だけではなく、カメラから画像をキャ
プチャーしながらリアルタイムに遠近出力する用途にも
向いている。更に、種々の射影方式の各種魚眼レンズに
も対応しており、応用範囲が広い。また、使用するレン
ズの画角に対応させて天球の開度を決定することによ
り、焦点距離などの情報を要せず、任意の画角のレンズ
に対応することが可能である。

【００５７】

【発明の効果】この発明は上述のように構成され作用す
るため、曲面像を高速に平面像に変換できるため、上述
した監視装置をはじめとして各種装置に応用でき、実用
上の効果が大きい。

【図面の簡単な説明】

【図１】この発明を適用した実施の一形態例を説明する
ためのブロック図である。

【図２】（Ａ）は魚眼レンズに映し出された曲面像を、
（Ｂ）は変換処理プログラムにより変換された平面像
を、それぞれ示す図である。

【図３】本発明のアルゴリズムを説明するための模式的
な説明図である。

【図４】極座標への対応点を求める演算を説明するため
の図である。

【図５】射影特性に基づいて構築された本発明に係る球
面状のポリゴンモデル例を示す説明図である。

【図６】球面展開を説明するための模式的な説明図であ
る。

【図７】射影点を求めるための演算を説明するための図
である。

【図８】ポリゴンモデル例の曲面画像を平面画像に変換
した画像を示す説明図である。

【図９】（Ａ）は魚眼レンズに映し出された曲面像を、
（Ｂ）は変換処理プログラムにより変換された平面像
を、それぞれ示す図である。

【図１０】本形態例の作用を説明するためのフローチャ
ートである。

【符号の説明】

１ 魚眼レンズ ４ ＣＣＤ装置 ６ 曲面像 ７ 天球

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA12 CA16 CB12 CB16 CD05 CD11 CD16 5B080 AA13 BA02 BA05 BA07 DA06

Claims (16)

【特許請求の範囲】
1. 【請求項１】 曲面像を映し出す映出体に映し出された
   上記曲面像を平面像に変換するための曲面像変換方法で
   あって、上記映出体に映し出された曲面像のサンプリン
   グ点の平面上への射影点をジオメトリ演算により算出
   し、直交系変換アルゴリズムを用いることなく上記曲面
   像を平面像に変換することを特徴とする曲面像変換方
   法。
2. 【請求項２】 曲面像を映し出す映出体に映し出された
   上記曲面像を平面像に変換するための曲面像変換方法で
   あって、上記映出体の射影特性に基づいて上記曲面像上
   のサンプリング点を算出し、直交系変換アルゴリズムを
   用いることなく上記曲面像を平面像に変換することを特
   徴とする曲面像変換方法。
3. 【請求項３】 前記映出体の射影特性に基づいて球面状
   若しくは平面状のポリゴンモデルを構築し、このポリゴ
   ンモデルに対して前記曲面像上の各サンプリング点を、
   複数の多角形に分割した上記ポリゴンモデルの各頂点に
   対応させ、更にジオメトリ変換によりカメラ視野系に変
   換した後に各種投影変換を施し、ラスタライズして上記
   映出体に映し出された曲面像を平面像に変換することを
   特徴とする請求項２に記載の曲面像変換方法。
4. 【請求項４】 前記映出体の射影特性が、該映出体の曲
   率半径に係るパラメータを含むことを特徴とする請求項
   ２または請求項３に記載の曲面像変換方法。
5. 【請求項５】 請求項１乃至請求項４のいずれかに記載
   の曲面像変換方法において、前記曲面像のうちの任意の
   範囲を平面像に変換することを特徴とする曲面像変換方
   法。
6. 【請求項６】 請求項１乃至請求項４のいずれかに記載
   の曲面像変換方法において、前記曲面像のうちの任意の
   複数の範囲を同時に平面像に変換することを特徴とする
   曲面像変換方法。
7. 【請求項７】 請求項１乃至請求項６のいずれかに記載
   の曲面像変換方法において、前記曲面像のうちの任意の
   範囲を拡大若しくは縮小して平面像に変換することを特
   徴とする曲面像変換方法。
8. 【請求項８】 前記映出体が射影系レンズ若しくは反射
   鏡であることを特徴とする請求項１乃至請求項７のいず
   れかに記載の曲面像変換方法。
9. 【請求項９】 前記反射鏡が、凸面鏡若しくは凹面鏡で
   あることを特徴とする請求項８に記載の曲面像変換方
   法。
10. 【請求項１０】 前記射影系レンズが魚眼レンズ若しく
    は広角レンズであることを特徴とする請求項８に記載の
    曲面像変換方法。
11. 【請求項１１】 曲面像を映し出す映出体に映し出され
    た上記曲面像を平面像に変換するための曲面像変換方法
    を記録した記録媒体であって、上記曲面変換方法は、上
    記映出体に映し出された曲面像のサンプリング点の平面
    上への射影点をジオメトリ演算により算出し、直交系変
    換アルゴリズムを用いることなく上記曲面像を平面像に
    変換するものであることを特徴とする曲面像変換方法を
    記録した記録媒体。
12. 【請求項１２】 曲面像を映し出す映出体に映し出され
    た上記曲面像を平面像に変換するための曲面像変換方法
    を記録した記録媒体であって、上記曲面変換方法は、上
    記映出体の射影特性に基づいて上記曲面像の上のサンプ
    リング点を算出し、直交系変換アルゴリズムを用いるこ
    となく上記曲面像を平面像に変換ものであることを特徴
    とする曲面像変換方法を記録した記録媒体。
13. 【請求項１３】 前記曲面像変換方法が、前記映出体の
    射影特性に基づいて球面状若しくは平面状のポリゴンモ
    デルを構築し、このポリゴンモデルに対して前記曲面像
    上の各サンプリング点を、複数の多角形に分割した上記
    ポリゴンモデルの各頂点に対応させ、更にジオメトリ変
    換によりカメラ視野系に変換した後に各種投影変換を施
    し、ラスタライズして上記映出体に映し出された曲面像
    を平面像に変換するものであることを特徴とする請求項
    １２に記載の曲面像変換方法を記録した記録媒体。
14. 【請求項１４】 前記曲面像変換方法が、前記曲面像の
    うちの任意の範囲を平面像に変換するものであることを
    特徴とする請求項１１乃至請求項１３のいずれかに記載
    の曲面像変換方法を記録した記録媒体。
15. 【請求項１５】 前記曲面像変換方法が、前記曲面像の
    うちの任意の複数の範囲を同時に平面像に変換するもの
    であることを特徴とする請求項１１乃至請求項１３のい
    ずれかに記載の曲面像変換方法を記録した記録媒体。
16. 【請求項１６】 前記曲面像変換方法が、前記曲面像の
    うちの任意の範囲を拡大若しくは縮小して平面像に変換
    するものであることを特徴とする請求項１１乃至請求項
    １５のいずれかに記載の曲面像変換方法を記録した記録
    媒体。