JP2002203237A - 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 - Google Patents

曲面像変換方法及びこの曲面像変換方法を記録した記録媒体

Info

Publication number
JP2002203237A
JP2002203237A JP2001233898A JP2001233898A JP2002203237A JP 2002203237 A JP2002203237 A JP 2002203237A JP 2001233898 A JP2001233898 A JP 2001233898A JP 2001233898 A JP2001233898 A JP 2001233898A JP 2002203237 A JP2002203237 A JP 2002203237A
Authority
JP
Japan
Prior art keywords
curved surface
image
surface image
projection
conversion method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001233898A
Other languages
English (en)
Inventor
Tomoyoshi Otsuki
知由 大槻
Norimitsu Shirato
憲光 白戸
Hideyuki Matsumoto
英之 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
USC Corp
Original Assignee
USC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by USC Corp filed Critical USC Corp
Priority to JP2001233898A priority Critical patent/JP2002203237A/ja
Publication of JP2002203237A publication Critical patent/JP2002203237A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

(57)【要約】 【課題】 曲面像を高速に平面像に変換する方法を得
る。 【解決手段】 曲面像変換方法は、曲面像を映し出す凸
面鏡に映し出された上記曲面像を平面像に変換するもの
である。この曲面像変換方法においては、上記凸面鏡1
に映し出された曲面像のサンプリング点の平面上への射
影点をジオメトリ演算により算出し、上記曲面像を平面
像に変換する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明に係る曲面像変換方
法及び曲面像変換方法を記録した記録媒体は、例えば監
視装置等に応用されるもので、凸面鏡等の半球反射鏡や
魚眼レンズ等の射影系レンズに映し出された、物体の曲
面像を平面像に変換するための方法及び該方法を記録し
た記録媒体に関する。
【0002】
【従来技術】近年、コンピュータ関連技術の進歩が著し
い。なかでも、コンピュータグラフィックスに関する技
術は、コンピュータ自体の高速処理化、大記憶容量化に
伴って長足の進歩を遂げている。このような図形処理に
係るソフトウエアを用いることにより、例えばコンピュ
ータに取り込んだ図形を拡大・縮小することは勿論、任
意に変形させることも可能になっている。コンピュータ
に取り込んだ図形を変形するには、当該図形をピクセル
ごとに分解し、これらピクセルごとに複雑な計算を施し
て所望の変形図形を得るようにしている。
【0003】ところが、上述したような図形の変形処理
においては、上述したように各ピクセルごとに複雑な計
算処理を行う必要があるため、描画等には利用されるこ
とはあっても実社会での応用は限られたものであった。
例えば、上述のような図形の変形処理を迅速に処理でき
るようになれば、通常のレンズよりも広い範囲を撮像で
きる魚眼レンズ等で映し出した映像を平面図形に変換し
て表示させられる。これにより、例えば少ない撮像回数
でより広範囲を監視できる監視システムを築くことが可
能になると考えられる。
【0004】しかしながら、上述したような図形の変形
処理を監視システム等に応用する場合、従来の処理技術
では上記複雑な計算をピクセルごとに行う必要があるた
め、計算量が膨大なものとなり、処理に時間が嵩んでし
まう。特に、処理すべき画像が動画像である場合には、
処理が追いつかず、実現は不可能である。このため、実
社会への応用が限られたものであった。
【0005】上述のような課題に対処すべく、例えば、
予め全てのピクセルの参照マップ(視点マップ)を計算
しておき、変換処理時に当該マップを参照することで実
計算量を減少させることが考えられる。しかしながら、
このような技術を採用しても、インタラクティブな視点
移動は不可能である。何となれば、上述したように事前
に視点マップを計算しておくことが前提であるため、膨
大な量の視点マップが必要になってしまうからである。
このため、この技術を採用することは現実的ではない。
【0006】図形の変換処理に際して計算量を減少させ
る技術として、特許第3051173号公報、同第30
12142号公報には、予め曲面像(円形広角画像)を
極座標系から直交座標系へ変換しておき、画像展開時の
計算には直交座標系を用いることで実計算量を減らす技
術が記載されている。この技術を用いれば、実計算量を
減らし、処理速度を向上させることができ、もってイン
タラクティブな視点の移動を可能とすることができる。
従って、条件さえ満たせば動画像も実現可能であると考
えられる。
【0007】
【発明が解決しようとする課題】しかしながら、上記各
公報に記載された発明においては、事前に直交座標系へ
変換したものを利用して変換処理が実現されるものであ
る。例えば、カメラからリアルタイムに動画像を取り込
みながら画像展開するためには、曲面像の全フレームに
対しリアルタイムに直交座標系変換が必要である。この
ように、曲面像の全フレームに対しリアルタイムに直交
座標系変換を行なうことは、処理速度の面から現実的で
はない。このため、やはりリアルタイムに画像を取り込
みながら変換することには不適であり、更なる開発が待
たれていた。
【0008】この発明に係る曲面像変換方法及びこの曲
面像変換方法を記録した記録媒体は、上述したような事
情に鑑みて創案されたもので、曲面像を平面像に変形す
る処理を迅速に行え、もって実社会に応用できる曲面像
変換方法及びこの曲面像変換方法を記録した記録媒体を
提供するものである。より具体的に述べれば、事前に何
ら前処理を必要としないにも拘らず、曲面像を直接利用
して、静止画像はもちろん、動画像であっても迅速に変
換処理可能とし、リアルタイムな動画像展開をも可能に
するものである。
【0009】
【課題を解決するための手段】この発明に係る曲面像変
換方法及びこの曲面像変換方法を記録した記録媒体のう
ち曲面像変換方法は、請求項1に記載したように、曲面
像を映し出す映出体に映し出された上記曲面像を平面像
に変換するための曲面像変換方法であって、上記映出体
に映し出された曲面像のサンプリング点の平面上への射
影点をジオメトリ演算により算出し、直交系変換アルゴ
リズムを用いることなく上記曲面像を平面像に変換する
ことを特徴とするものである。
【0010】また、請求項2に記載した発明は、曲面像
を映し出す映出体に映し出された上記曲面像を平面像に
変換するための曲面像変換方法であって、上記映出体の
射影特性に基づいて上記曲面像上のサンプリング点を算
出し、直交系変換アルゴリズムを用いることなく上記曲
面像を平面像に変換することを特徴とするものである。
【0011】具体的には、請求項3に記載したように、
上記映出体の射影特性に基づいて球面状若しくは平面状
のポリゴンモデルを構築し、このポリゴンモデルに対し
て上記曲面像上の各サンプリング点を、複数の三角形に
分割した上記ポリゴンモデルの各頂点に対応させ、更に
ジオメトリ変換によりカメラ視野系に変換した後に各種
投影変換を施し、ラスタライズして上記映出体に映し出
された曲面像を平面像に変換するように構成できる。
【0012】尚、上記映出体の射影特性としては、請求
項4に記載したように、該映出体の曲率半径に係るパラ
メータを含むものとすることができる。
【0013】また、上記映出体としては、請求項5に記
載したように半球反射鏡若しくは射影系レンズを採用で
きる。より具体的には、上記半球反射鏡としては請求項
6に記載したように凸面鏡若しくは凹面鏡を採用でき、
上記射影系レンズとしては請求項7に記載したように魚
眼レンズを採用できる。
【0014】次に、この発明に係る曲面像変換方法及び
この曲面像変換方法を記録した記録媒体のうち、曲面像
変換方法を記録した記録媒体は、請求項8に記載したよ
うに、曲面像を映し出す映出体に映し出された上記曲面
像を平面像に変換するための曲面像変換方法を記録した
記録媒体であって、上記曲面変換方法は、上記映出体に
映し出された曲面像のサンプリング点の平面上への射影
点をジオメトリ演算により算出し、直交系変換アルゴリ
ズムを用いることなく上記曲面像を平面像に変換するも
のであることを特徴とするものである。
【0015】更に、請求項9に記載した発明は、曲面像
を映し出す映出体に映し出された上記曲面像を平面像に
変換するための曲面像変換方法を記録した記録媒体であ
って、上記曲面変換方法は、上記映出体の射影特性に基
づいて上記曲面像の上のサンプリング点を算出し、直交
系変換アルゴリズムを用いることなく上記曲面像を平面
像に変換ものであることを特徴とするものである。
【0016】また、この発明に係る記録媒体として、請
求項10に記載したように、上記曲面変換方法が、上記
映出体の射影特性に基づいて球面状若しくは平面状のポ
リゴンモデルを構築し、このポリゴンモデルに対して上
記曲面像上の各サンプリング点を、複数の三角形に分割
した上記ポリゴンモデルの各頂点に対応させ、更にジオ
メトリ変換によりカメラ視野系に変換した後に各種投影
変換を施し、ラスタライズして上記映出体に映し出され
た曲面像を平面像に変換するものとすることもできる。
【0017】この発明に係る曲面像変換方法及びこの曲
面像変換方法を記録した記録媒体は、上述したような構
成を備えているため、前述した特許公報に記載された先
発明のような直交系の変換アルゴリズムとは異なり、事
前に何ら前処理を必要とせず、曲面像を直接利用するこ
とが可能である。この結果、リアルタイムの動画像展開
が可能になる。しかも、展開にいわゆるテクスチャマッ
ピング技法を用いることにより、全体の演算量を減らし
て処理の高速化を果たしている。
【0018】
【発明の実施の形態】次に、この発明の実施の各形態例
について説明する。図1及び図2は、この発明を監視装
置に応用した第一形態例を示している。すなわち、この
監視装置は、映出体である凸面鏡1と、光学フィルタ2
と、光学レンズ3と、CCDカメラからなるCCD装置
4と、を備えている。上記凸面鏡1に映し出された像
(曲面像)は、上記光学フィルタ2及び光学レンズ3を
介してCCD装置4に取り込まれる。上記CCD装置4
は、図示しないコンピュータ装置に接続されており、C
CD装置4が取り込んだ曲面像は、このコンピュータ装
置に送られる。尚、上記曲面像とは、凸面鏡1に映し出
された像を指す。但し、後述するように、凸面鏡1に代
えて凹面鏡や広角レンズを採用した場合には、これら凹
面鏡や広角レンズに映し出された像を指す。
【0019】上記コンピュータ装置には、上記CCD装
置4に取り込んだ曲面像を平面像に変換する変換処理プ
ログラムが組み込まれている。尚、上記平面像とは、我
々の目に映る像を指す。上記コンピュータ装置には図示
しないディスプレイ装置が接続されており、このディス
プレイ装置により、上記変換処理プログラムによって変
換された平面像を表示するようにしている。
【0020】上記変換処理プログラムは、この発明の特
徴部分をなすもので、曲面像を映し出す映出体に映し出
された上記曲面像を平面像に変換するためのものであ
る。本形態例においては、上記凸面鏡1に映し出された
物体の曲面像のサンプリング点の平面上への射影点をジ
オメトリ演算により算出し、上記曲面像を平面像に変換
する。すなわち、上記凸面鏡1の射影特性を基にして、
曲面像上のサンプリング点を算出し、更に球面状のポリ
ゴンモデル(天球ポリゴン)を構築し、このポリゴンモ
デルに対して各サンプリング点を複数の三角形に分解し
た各頂点に対応させ、ジオメトリ演算を用いてカメラ視
野系に変換した後に各種投影変換を施し、上記映出体に
映し出された曲面像を平面像に変換する。
【0021】言い換えれば、三次元空間上に、視線方向
と視野角とクリッピング面とバンク角とを考慮した仮想
的なカメラを想定し、ポリゴンモデルの原点に置いた上
記カメラを介して見渡すと、曲面画像から平面画像に変
換された画像を得られる。実際には、上記仮想的なカメ
ラを介して各サンプリング点の二次元画像上への変換先
を求め、各サンプリング点の三角形領域をテクスチャマ
ッピングにより隙間なく埋めていく。このため、従来方
法のような多数のピクセルごとに複雑な計算を施す必要
がなく、高速に変換可能になる。
【0022】ところで、本形態例に係る方法によって得
られる平面画像は、近似された画像であるが、ポリゴン
モデルのポリゴン数を増やしたり、ポリゴンモデルの密
度を工夫したりすることによって実際の画像に近づける
ことができる。
【0023】尚、上述した形態例においては、映出体と
して半球反射鏡である凸面鏡1を採用しているが、同じ
く半球状反射鏡である凹面鏡や、射影系レンズである魚
眼レンズを採用することができる。
【0024】上述したように構成される本形態例の作用
は次のとおりである。すなわち、上記凸面鏡1には図2
(A)に示すような映像(曲面像)が映し出されてい
る。このような像を上記CCD装置4によって取り込
み、この取り込んだ像を上記変換処理プログラムを介し
て平面像に変換する。上述したとおり、この変換は従来
方法に比較して高速に処理される。変換された平面像
は、上記ディスプレイ装置によって表示される。図2
(B)は、ディスプレイ装置に表示された平面像を示し
ている。
【0025】上記図2の記載から明らかなように、本形
態例においては単一の凸面鏡1及び単一のCCD装置4
によって室内のほぼ全域をディスプレイ装置に表示させ
ることが可能になる。したがって、従来の監視装置のよ
うに、多数の監視カメラを設置する必要がなくなる。
【0026】このように、この発明に係る曲面像変換方
法は、曲面像を高速に平面像に変換できるため、上述し
た監視装置をはじめとして各種装置に応用でき、実用上
の効果が大きい。
【0027】また、上述したような曲面像変換方法は、
フレキシブルディスク(FD)や光磁気ディスク(M
O)、更にはCD−ROMといった各種記録媒体に記録
し、配布等することが可能である。
【0028】次に、図3乃至図10は、この発明を監視
装置に応用した第二形態例を示している。本形態例に係
る監視装置は、上述した第一形態例と同様、上記図1に
示すように、映出体である凸面鏡1と、光学フィルタ2
と、光学レンズ3と、CCDカメラからなるCCD装置
4と、を備えている。上記凸面鏡1に映し出された像
(曲面像)は、上記光学フィルタ2及び光学レンズ3を
介してCCD装置4に取り込まれる。上記CCD装置4
は、図示しないコンピュータ装置に接続されており、C
CD装置4が取り込んだ曲面像は、このコンピュータ装
置に送られる。尚、上記曲面像とは、凸面鏡1に映し出
された像を指す。但し、後述するように、凸面鏡1に代
えて凹面鏡や広角レンズ、魚眼レンズを採用した場合に
は、これら凹面鏡や広角レンズ、魚眼レンズに映し出さ
れた像を指す。
【0029】上記コンピュータ装置には、上記CCD装
置4に取り込んだ曲面像を平面像に変換する変換処理プ
ログラムが組み込まれている。上記コンピュータ装置に
は図示しないディスプレイ装置が接続されており、この
ディスプレイ装置により、上記変換処理プログラムによ
って変換された平面像を表示するようにしている。
【0030】次に、上記変換処理プログラムについて説
明するが、この説明に先立ち、この発明に係る変換処理
のアルゴリズムについて簡単に説明しておく。
【0031】図3に示すように、魚眼レンズ5や半球反
射鏡で撮影された曲面像6は、レンズ5の周りの三次元
空間を二次元の円形画像上へ射影して記録されたもので
ある。三次元空間から二次元の円形画像への射影先は、
使用するレンズ5の射影特性によって定まる。射影特性
により円形画像の中心から外周への情報量の分布密度の
特性が変わり、一般には外側が疎になる傾向がある。
【0032】曲面像6から平面像への展開(変換処理)
は、平面座標から極座標への対応点を求めることによっ
て行われる。図4に示すように、曲面像の半径をR、任
意の点をp、原点から点pまでの長さをr、外部から与
えられるパラメータをθ、φとすると、極座標パラメー
タは以下のようにまとめることができる。 P=(r・cosφ、r・sinφ) r=R・f(θ) f(θ):{0≦f(θ) ≦1} θ:{0≦θ≦1} φ:{0≦φ≦2π} ここで、f(θ)とはレンズ5の射影特性をあらわす関数
である。
【0033】この発明に係るアルゴリズムにおいては、
図5に示すように、複数の三角形から成る天球ポリゴン
モデルを作成し、このポリゴンモデルの各頂点を曲面像
上の然るべきサンプリングポイントへレンズの射影特性
を考慮しながら正確にマッピングし、仮想的なカメラで
天球の中心から天球内を見渡すことにより遠近画像を得
るものである。上記三角形内部のピクセル演算は、テク
スチャマッピング技法を利用した近似計算で求める。こ
のため、従来における変換作業は描画ピクセル単位で行
われることに基づき、その演算量は複雑で膨大なもので
あったが、この発明においては、上述した理由により全
体の演算量が減り、高速化を可能としている。
【0034】また、最近の処理系はテクスチャマッピン
グをハードウェアでサポートしているのが一般的になっ
てきており、この遠近補正出力は非常に高速に処理され
る。従来のような直交系の変換アルゴリズムを必要とせ
ず、事前に元画像を直交座標系へ変換しておく必要がな
い。又、使用するレンズの画角に対応させて天球ポリゴ
ンモデルの開度θを決定することにより、焦点距離など
の情報を必要とせずに、任意の画角のレンズに対応する
ことが可能である。
【0035】球面展開は三次元空間から曲面像へ射影さ
れてきた光の経路を、今度は逆の経路を辿ることで再び
三次元空間を再現しようと試みる展開である。図6に示
すように、仮想三次元空間へ天球7を置き、曲面像から
空間へ伸びる光との交点を想定し、曲面像を天球7の内
側へテクスチャマッピングすることを想定する。
【0036】この際、天球7の中心点に仮想的なカメラ
を置き天球内を見渡すと元の三次元空間が再現されて見
える。球面展開では仮想空間上の天球7内に三次元空間
が再現されるので、ユーザーは天球7の中心点に置かれ
た仮想的なカメラを操作することで、自由に好きな方向
を見たり映像を拡大或いは縮小したりすることが可能に
なる。また、仮想的なカメラは何台でも追加が可能なの
で、1つの元画像を同時に様々なアングルの遠近出力が
可能である。これにより複数のユーザーが能動的に、同
時に任意の方向を遠近出力することが可能である。
【0037】実際のマッピングは三次元空間から曲面像
へ向かう光の経路と同じように、天球ポリゴンモデルを
構成する各頂点の、元画像上への射影によって行われ
る。その際レンズの射影特性を考慮することで様々な射
影特性のレンズへ対応することができる。
【0038】天球7上のポリゴン頂点から曲面像上のピ
クセルへの射影点pを求める為には、パラメータθ、φ
を与える必要がある。図7に示すように、天球の頂点を
θの始点とすれば、三次元空間上のポリゴン頂点座標s
は次の通りに定まる。 s=(θ、φ) この頂点パラメータθ、φを、上記図4の極座標へ代入
することで、天球7上の頂点から極座標上の射影先pが
求まる。天球ポリゴンモデルにテクスチャマッピングさ
れた曲面像は、仮想的なカメラを通してレンダリングさ
れ二次元の遠近補正画像へと展開される。
【0039】仮想的なカメラを通してのレンダリングに
は3Dジオメトリ演算が用いられる。3Dジオメトリ演
算表記は処理系により異なるが、例として左手座標系、
行(横)ベクトル表記を用いて説明する。一般に3Dジ
オメトリ演算は同次四次元座標を用いた各種行列演算に
より行われ、ポリゴンモデル上の頂点を[xyz1]、変換後
の頂点を[x'y'z'1]とすると、一般的に次のように示す
ことができる。 [x'y'z'1]=[xyz1]*[W]*[V]*[P] 尚、上記[W]はワールド変換行列、上記[V]はビュー変換
行列、上記[P]は射影変換行列である。上記ワールド変
換行列とは、オブジェクト座標系からワールド座標系へ
の変換行列であり、上記ビュー変換行列とは、ワールド
座標系からカメラ座標系への変換行列であり、上記射影
変換行列とは、カメラ座標系から射影空間(遠近補正後
同次空間)への変換行列である。
【0040】射影空間へ変換されたポリゴン頂点はその
後、一般的に、クリッピング処理、ビューポート変換を
経て二次元平面へ変換され、ポリゴンを形成する頂点間
領域を補完するようにテクスチャマッピング処理により
レンダリングされて画像が生成される。上記の[V]、[P]
の部分が仮想的なカメラの機能を提供する。[V]で任意
の視線方向を設定することでカメラのパン、チルト、回
転が実現される。又、[P]により遠近補正が行われ、カ
メラのズームイン/アウトはここで実現される。これら
座標変換は頂点に対する、平行移動(translating)、回
転(rotation)、拡大縮小(scaling)、せん断(shear)の4
つの操作を組み合わせて実現される。
【0041】上述したアルゴリズムに基づく上記変換処
理プログラムは、この発明の特徴部分をなし、曲面像を
映し出す映出体に映し出された上記曲面像を平面像に変
換するためのもので、図8と図9とに示すように、凸面
鏡1(或いは魚眼レンズ5等)の射影特性に基づいて上
記曲面像の上のサンプリング点を算出して上記曲面像を
平面像に変換するものである。すなわち、上記凸面鏡1
の曲率半径に係る特性をはじめとする射影特性に基づい
て上記曲面像の上のサンプリング点を算出し、更に上記
射影特性に基づいて球面状のポリゴンモデルを構築し、
このポリゴンモデルに対して上記曲面像上の各サンプリ
ング点を、複数の三角形に分割した上記ポリゴンモデル
の各頂点に対応させ、更にジオメトリ変換によりカメラ
視野系に変換した後に各種投影変換を施し、ラスタライ
ズして上記映出体に映し出された曲面像を平面像に変換
するものである。尚、上記射影特性は、例えば上述した
第一形態例と同様に或いは理工学・数学の各種手法等を
用い、手動により若しくは自動的に求めるようにする。
この射影特性は、一度求めればよい。
【0042】上記凸面鏡1(或いは魚眼レンズ5等)の
射影特性を基にして、上記ポリゴンモデル上の複数の三
角形の頂点をジオメトリ変換することによりカメラ座標
系にし、並行投影や透視投影等の各種投影処理を施す。
これにより、上記各頂点の平面上への投影先ピクセルを
求める。次いで、上述のようにして求められた平面上の
三角形領域に対し、対応する曲面像上の三角形のサンプ
リング領域を適宜に変形し、ラスタライズする。すなわ
ち、平面上の三角形領域の各ピクセルごとに、曲面像上
の参照すべき画素を定める。これらの処理は、厳密な計
算ではなく、近似計算であるため、処理速度を向上させ
ることができる。
【0043】換言すれば、三次元空間上に、視線方向と
視野角とクリッピング面とバンク角とを考慮した仮想的
なカメラを想定し、ポリゴンモデルの原点に置いた上記
カメラを介して見渡すと、曲面画像から平面画像に変換
された画像を得られる。実際には、上記仮想的なカメラ
を介して各サンプリング点の二次元画像上への変換先を
求め、各サンプリング点の三角形領域をテクスチャマッ
ピングにより隙間なく埋めていく。このため、従来方法
のような多数のピクセルごとに複雑な計算を施す必要が
なく、高速に変換可能になる。
【0044】ところで、本形態例に係る方法によって得
られる平面画像は、近似された画像であるが、上述した
第一形態例と同様、ポリゴンモデルのポリゴン数を増や
したり、ポリゴンモデルの密度を工夫したりすることに
よって実際の画像に近づけることができる。
【0045】尚、上述した形態例においては、映出体と
して半球反射鏡である凸面鏡1を採用しているが、同じ
く半球状反射鏡である凹面鏡や、射影系レンズである魚
眼レンズを採用することができる。
【0046】上述したように構成される本形態例の作用
は次のとおりである。すなわち、図10に示すように、
先ず曲面像情報(半径、中心座標)、使用レンズ情報
(射影系、画角)を入力する(ステップ1)。次いで、
ステップ2に進み、天球ポリゴンを作成する。更に、ス
テップ3に進み、上記ステップ1で入力した情報を元
に、天球ポリゴンの各頂点と曲面像の対応ポイントを関
連付ける。尚、上記天球ポリゴンは、三角形ポリゴンか
ら成るので、当該処理は結果的に曲面像を三角形領域へ
対応付けるのと同じ意味を持つ。更に、ステップ4に進
み、仮想カメラ情報(視線方向、画角(ズームイン・ズ
ームアウト))を入力する。次いで、ステップ5に進
み、上記ステップ4で入力した情報を元に、天球ポリゴ
ンを、各種3Dジオメトリ演算する。尚、この3Dジオ
メトリ演算は、ワールド変換、ビュー変換、射影変換、
クリッピング処理、ビューポート変換、を含む。更に、
ステップ6に進み、上記ステップ5における結果をテク
スチャマッピング処理によりレンダリングする。これに
より、遠近補正画像が生成される。このテクスチャマッ
ピング処理は三角形単位で行われ、この部分が処理を簡
略化し高速化する部分である。次いで、ステップ7に進
み、遠近補正画像を表示する。最後に、ステップ8とし
て、曲面像を更新し、ステップ4に戻る。以下、上記ス
テップ4からステップ8を必要回数繰り返す。
【0047】上述したような処理により、凸面鏡1(或
いは魚眼レンズ5等)に映し出されている、図9(A)
に示すような映像(曲面像)を上記CCD装置4によっ
て取り込み、この取り込んだ像を上記変換処理プログラ
ムを介して平面像に変換する。尚、このような平面像へ
の変換は、所定角度(例えば90度)ごとに行なうこと
で、コンピュータ装置の負担を軽減させることができ
る。上述したとおり、この変換は従来方法に比較して高
速に処理される。変換された平面像は、上記ディスプレ
イ装置によって表示される。図9(B)は、ディスプレ
イ装置に表示された平面像を示している。
【0048】上記図9の記載から明らかなように、本形
態例においては単一の凸面鏡1(或いは魚眼レンズ5
等)及び単一のCCD装置4によって室内のほぼ全域を
ディスプレイ装置に表示させることが可能になる。従っ
て、従来の監視装置のように、多数の監視カメラを設置
する必要がなくなる。
【0049】このように、この発明に係る曲面像変換方
法は、曲面像を高速に平面像に変換できるため、上述し
た監視装置をはじめとして各種装置に応用でき、実用上
の効果が大きい。
【0050】また、上述したような曲面像変換方法は、
フレキシブルディスク(FD)や光磁気ディスク(M
O)、更にはCD−ROMといった各種記録媒体に記録
し、配布等することが可能である。
【0051】尚、遠近補正出力には膨大な計算が必要で
ある。このため、前述した特許公報に記載の発明におい
ては、使用するデーター構造を工夫することで後の計算
を簡略化し、遠近補正を実用化している。すなわち、前
もって元の画像を目的のデーター構造へ変換しておく。
この結果、上記特許公報に記載の発明においては、この
データー構造変換に時間が嵩み、変換処理すべき画像が
動画像である場合には、そのリアルタイム性(リアルタ
イムに画像を取り込みながらの変換処理を言う。)が失
われてしまうことになる。従って、上記特許公報に記載
の発明においては、その利用は、予め撮影された画像
(静止画像並びに動画像)に特化されるものである。言
い換えれば、上記特許公報に記載の発明は、スムーズで
インタラクティブな視点移動は実現されていないもので
あった。
【0052】より詳細に説明すると、上記特許公報に記
載の発明においては、直交系の変換アルゴリズムとデー
ター構造を用いることで後の計算を簡略化し、インタラ
クティブな視点移動を実現しているが、直交系の変換ア
ルゴリズムを使用するために、前もって曲面像を直交座
標系へと変換しておかなければならない。このため、動
画像の各フレームに対して随時データー構造変換をする
のはコストが大き過ぎ、リアルタイム性が実現できない
ものであった。
【0053】これに対し、上述した形態例の構造の場
合、曲面像をそのまま利用でき、しかも、計算速度を向
上させるために三角形テクスチャポリゴンを変換単位と
して扱うようにしている。この結果、ポリゴンモデルと
テクスチャとの関連付けが必要なのは最初の一回だけと
なり、上記特許公報に記載の発明では実現し得なかった
リアルタイム性を実現している。尚、上記ポリゴンモデ
ルの精度を変更することで、生成画像品質と処理系への
負担とを調整することができる。
【0054】この発明の奏する効果を更に詳細に述べ
る。前述した特許公報に記載の発明においては、直交系
の変換アルゴリズム(パノラマ展開画像)を使用して、
該当する半球状画像領域の修正画像への直接的マッピン
グをもたらすものである。この方式は、極座標系から直
交座標系へ前もって座標系変換をしておくことで(パノ
ラマ展開)後の計算を簡略化し、遠近出力変換を高速化
する。しかしながら、事前にパノラマ展開をしておく必
要があるので、カメラから画像をキャプチャーしながら
リアルタイムに遠近出力する等の用途には向かないもの
であった。
【0055】これに対し、本発明においては、仮想的な
三次元空間において、半球状画像領域上の各サンプリン
グポイントを球ポリゴンモデルの各頂点へ直接対応させ
た後、仮想的なカメラを通して天球内を見上げることで
遠近出力を得ている。このため、上記各特許公報に記載
された発明のように直交系の変換アルゴリズムを必要と
しない。従って、事前にパノラマ展開等の前処理を必要
とせず、半球状画像領域を直接利用することが可能であ
る。静止画だけではなく、カメラから画像をキャプチャ
ーしながらリアルタイムに遠近出力する用途にも向いて
いる。更に、種々の射影方式の各種魚眼レンズにも対応
しており、応用範囲が広い。また、使用するレンズの画
角に対応させて天球の開度を決定することにより、焦点
距離などの情報を要せず、任意の画角のレンズに対応す
ることが可能である。
【0056】
【発明の効果】この発明は上述のように構成され作用す
るため、曲面像を高速に平面像に変換できるため、上述
した監視装置をはじめとして各種装置に応用でき、実用
上の効果が大きい。
【図面の簡単な説明】
【図1】この発明を適用した実施の一形態例を説明する
ためのブロック図である。
【図2】(A)は凸面鏡に映し出された曲面像を、
(B)は変換処理プログラムにより変換された平面像
を、それぞれ示す図である。
【図3】本発明のアルゴリズムを説明するための模式的
な説明図である。
【図4】極座標への対応点を求める演算を説明するため
の図である。
【図5】射影特性に基づいて構築された本発明に係る球
面状のポリゴンモデル例を示す説明図である。
【図6】球面展開を説明するための模式的な説明図であ
る。
【図7】射影点を求めるための演算を説明するための図
である。
【図8】ポリゴンモデル例の曲面画像を平面画像に変換
した画像を示す説明図である。
【図9】(A)は凸面鏡に映し出された曲面像を、
(B)は変換処理プログラムにより変換された平面像
を、それぞれ示す図である。
【図10】本形態例の作用を説明するためのフローチャ
ートである。
【符号の説明】
1 凸面鏡 4 CCD装置 5 魚眼レンズ 6 曲面像 7 天球
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA19 BA02 CA08 CA13 CA16 CB12 CC01 CD11 5B080 AA14 BA02 BA03 BA05 BA07 GA22

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 曲面像を映し出す映出体に映し出された
    上記曲面像を平面像に変換するための曲面像変換方法で
    あって、上記映出体に映し出された曲面像のサンプリン
    グ点の平面上への射影点をジオメトリ演算により算出
    し、直交系変換アルゴリズムを用いることなく上記曲面
    像を平面像に変換することを特徴とする曲面像変換方
    法。
  2. 【請求項2】 曲面像を映し出す映出体に映し出された
    上記曲面像を平面像に変換するための曲面像変換方法で
    あって、上記映出体の射影特性に基づいて上記曲面像上
    のサンプリング点を算出し、直交系変換アルゴリズムを
    用いることなく上記曲面像を平面像に変換することを特
    徴とする曲面像変換方法。
  3. 【請求項3】 前記映出体の射影特性に基づいて球面状
    若しくは平面状のポリゴンモデルを構築し、このポリゴ
    ンモデルに対して前記曲面像上の各サンプリング点を、
    複数の三角形に分割した上記ポリゴンモデルの各頂点に
    対応させ、更にジオメトリ変換によりカメラ視野系に変
    換した後に各種投影変換を施し、ラスタライズして上記
    映出体に映し出された曲面像を平面像に変換することを
    特徴とする請求項2に記載の曲面像変換方法。
  4. 【請求項4】 前記映出体の射影特性が、該映出体の曲
    率半径に係るパラメータを含むことを特徴とする請求項
    2または請求項3に記載の曲面像変換方法。
  5. 【請求項5】 前記映出体が半球反射鏡若しくは射影系
    レンズであることを特徴とする請求項1乃至請求項4の
    いずれかに記載の曲面像変換方法。
  6. 【請求項6】 前記半球反射鏡が、凸面鏡若しくは凹面
    鏡であることを特徴とする請求項5に記載の曲面像変換
    方法。
  7. 【請求項7】 前記射影系レンズが魚眼レンズであるこ
    とを特徴とする請求項5に記載の曲面像変換方法。
  8. 【請求項8】 曲面像を映し出す映出体に映し出された
    上記曲面像を平面像に変換するための曲面像変換方法を
    記録した記録媒体であって、上記曲面変換方法は、上記
    映出体に映し出された曲面像のサンプリング点の平面上
    への射影点をジオメトリ演算により算出し、直交系変換
    アルゴリズムを用いることなく上記曲面像を平面像に変
    換するものであることを特徴とする曲面像変換方法を記
    録した記録媒体。
  9. 【請求項9】 曲面像を映し出す映出体に映し出された
    上記曲面像を平面像に変換するための曲面像変換方法を
    記録した記録媒体であって、上記曲面変換方法は、上記
    映出体の射影特性に基づいて上記曲面像の上のサンプリ
    ング点を算出し、直交系変換アルゴリズムを用いること
    なく上記曲面像を平面像に変換ものであることを特徴と
    する曲面像変換方法を記録した記録媒体。
  10. 【請求項10】 前記曲面変換方法が、前記映出体の射
    影特性に基づいて球面状若しくは平面状のポリゴンモデ
    ルを構築し、このポリゴンモデルに対して前記曲面像上
    の各サンプリング点を、複数の三角形に分割した上記ポ
    リゴンモデルの各頂点に対応させ、更にジオメトリ変換
    によりカメラ視野系に変換した後に各種投影変換を施
    し、ラスタライズして上記映出体に映し出された曲面像
    を平面像に変換するものであることを特徴とする請求項
    9に記載の曲面像変換方法を記録した記録媒体。
JP2001233898A 2000-08-30 2001-08-01 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 Pending JP2002203237A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001233898A JP2002203237A (ja) 2000-08-30 2001-08-01 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2000260619 2000-08-30
JP2000-333670 2000-10-31
JP2000-260619 2000-10-31
JP2000333670 2000-10-31
JP2001233898A JP2002203237A (ja) 2000-08-30 2001-08-01 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2002203237A true JP2002203237A (ja) 2002-07-19

Family

ID=27344464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001233898A Pending JP2002203237A (ja) 2000-08-30 2001-08-01 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2002203237A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102479A1 (ja) * 2003-05-14 2004-11-25 Loarant Corporation 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体
US7511756B2 (en) 2004-03-03 2009-03-31 Canon Kabushiki Kaisha Image-taking apparatus and image processing method
KR101319777B1 (ko) 2007-08-09 2013-10-17 유니베르시떼 클레몽 1 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법
KR20150066930A (ko) * 2013-12-09 2015-06-17 씨제이씨지브이 주식회사 다면 상영관의 영상 생성 방법 및 이를 이용한 영상 관리 장치
CN106604003A (zh) * 2016-11-10 2017-04-26 Tcl集团股份有限公司 一种短焦投影实现曲面幕布投影的方法及系统
JP2018518786A (ja) * 2015-05-29 2018-07-12 エフエックスギア インコーポレイティッドFxgear Inc. 広視野角映像処理装置及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102479A1 (ja) * 2003-05-14 2004-11-25 Loarant Corporation 画像変換プログラム、画像変換方法、及びプログラムを担持した媒体
US7511756B2 (en) 2004-03-03 2009-03-31 Canon Kabushiki Kaisha Image-taking apparatus and image processing method
KR101319777B1 (ko) 2007-08-09 2013-10-17 유니베르시떼 클레몽 1 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법
KR20150066930A (ko) * 2013-12-09 2015-06-17 씨제이씨지브이 주식회사 다면 상영관의 영상 생성 방법 및 이를 이용한 영상 관리 장치
US10096085B2 (en) 2013-12-09 2018-10-09 Cj Cgv Co., Ltd. Method for generating images for multi-projection theater and image management apparatus using the same
KR102039601B1 (ko) * 2013-12-09 2019-11-01 스크린엑스 주식회사 다면 상영관의 영상 생성 방법 및 이를 이용한 영상 관리 장치
JP2018518786A (ja) * 2015-05-29 2018-07-12 エフエックスギア インコーポレイティッドFxgear Inc. 広視野角映像処理装置及び方法
CN106604003A (zh) * 2016-11-10 2017-04-26 Tcl集团股份有限公司 一种短焦投影实现曲面幕布投影的方法及系统

Similar Documents

Publication Publication Date Title
US6320584B1 (en) Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US7426317B2 (en) Image processing apparatus and image processing method, storage medium and computer program
JP2002203254A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
US20040247173A1 (en) Non-flat image processing apparatus, image processing method, recording medium, and computer program
US20020113865A1 (en) Image processing method and apparatus
JP2004187298A (ja) パノラマ画像および全方位画像の描画および符号化
JP2005339313A (ja) 画像提示方法及び装置
US5694531A (en) Method and apparatus for simulating movement in multidimensional space with polygonal projections
JP2003536160A (ja) 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
KR20190125526A (ko) 사용자 움직임 정보에 기초하여 영상을 표시하기 위한 방법 및 장치
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP3352475B2 (ja) 画像表示装置
JP4406824B2 (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
WO2022017528A1 (zh) 车载avm的显示方法、系统、电子设备及存储介质
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP2003069990A (ja) 遠隔映像認識システム
JP3387900B2 (ja) 画像処理方法及び装置
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
JP3149389B2 (ja) ビットマップ・イメージを環境マップにオーバレイする方法および装置
CN113763530B (zh) 图像处理方法、装置、计算设备及存储介质
JP2002216163A (ja) 任意視点によるパノラマ画像の生成方法、コンピュータプログラム及び記録媒体
JPS61138377A (ja) 3次元デジタル画像入力方法
JP2002152719A (ja) 曲面像を利用したモニタ方法及びモニタ装置
US20220358712A1 (en) Method and system for synthesizing novel view image on basis of multiple 360 images for 6-degrees of freedom virtual reality
JP2003110968A (ja) カラオケ用映像出力装置