JP2004227470A

JP2004227470A - 画像変換方法及び画像変換用コンピュータプログラム

Info

Publication number: JP2004227470A
Application number: JP2003017346A
Authority: JP
Inventors: Taro Watanabe; 太郎渡邉; Yutaka Yoneyama; 豊米山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-01-27
Filing date: 2003-01-27
Publication date: 2004-08-12

Abstract

【課題】歪みのある画像から歪みの無い画像への変換に要する計算量を少なくして、リアルタイムでの変換を容易にすることができる画像変換方法及び画像変換用コンピュータプログラムを提供する。
【解決手段】歪みの無い画像を複数の三角形の領域に分割し、該三角形の頂点と対応する歪みのある画像上の点の座標を計算し、前記三角形のアフィン変換式を求め、求められたアフィン変換式を用いて歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を求める。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、画像変換方法及び画像変換用コンピュータプログラムに関し、特に双曲面ミラーまたは魚眼レンズを用いた光学系により撮像された歪みのある画像を、その光学系の視点から指定した視線方向を持つ透視変換により得られる歪みの無い画像に変換する方法と、その変換方法をコンピュータに実行させるためのコンピュータプログラムに関する。
【０００２】
【従来の技術】
特許文献１には、変換後の歪の無い画像上の各画素に対応する、変換前の歪みのある画像上の座標を計算式で各々求め、その座標から画素の信号を求める方法が示されている。
【０００３】
また、特許文献２には、特許文献１に示された方法よりさらに高速な変換を実現することを目的とした方法が示されている。すなわち、視点を中心とする半天球内面を多数のポリゴンに分割して、光学系の射影特性から歪みのある画像上の対応するポリゴンを求めて、各ポリゴンを３次元ジオメトリ演算を用いて半天球内面上にレンダリング（射影）し、その半天球内面上に描かれた画像に透視変換を行って歪みの無い画像を作成する方法が示されている。
【０００４】
【特許文献１】
特許第３０５１１７３号公報
【特許文献２】
特開２００２−２０３２５４号公報
【０００５】
【発明が解決しようとする課題】
変換後の画像の点に対応する、変換前の画像の点の座標を求める計算式は複雑で計算量が多い。そのため、リアルタイムでの変換を容易にするために、上記特許文献２に示された変換方法よりさらに計算量のすくない変換方法が望まれていた。
【０００６】
本発明はこの点に着目してなされたものであり、歪みのある画像から歪みの無い画像への変換に要する計算量を少なくして、リアルタイムでの変換を容易にすることができる画像変換方法及び画像変換用コンピュータプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、双曲面ミラーまたは魚眼レンズを用いた光学系により撮像された歪みのある画像を、前記光学系の視点から指定した視線方向を持つ透視変換により得られる歪みの無い画像に変換する画像変換方法において、前記歪みの無い画像を複数の三角形の領域に分割するステップと、該三角形の頂点と対応する前記歪みのある画像上の点の座標を計算するステップと、前記三角形のアフィン変換式を求めるステップと、求められたアフィン変換式を用いて前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めるステップとを含むことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像変換方法において、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を記憶するステップをさらに含み、前記透視変換の視線方向及びズーム培率が変わらない場合には、改めて座標を計算することなく前記記憶ステップで記憶された座標を用いて、前記歪みの無い画像に変換することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の画像変換方法において、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を記憶するステップをさらに含み、前記透視変換の視線方向またはズーム倍率が変化したために、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を改めて計算し直す場合には、前記三角形の領域の分割数をフレームごとに徐々に増やしていくことを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１から３のいずれかに記載の画像変換方法において、前記アフィン変換式を記憶するステップをさらに含み、前記透視変換の視線方向及びズーム倍率が変わらない場合には、改めてアフィン変換式を求めることなく、前記記憶したアフィン変換式を用いて、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めることを特徴とする。
【００１１】
請求項５に記載の発明は、双曲面ミラーまたは魚眼レンズを用いた光学系により撮像された歪みのある画像を、前記光学系の視点から指定した視線方向を持つ透視変換により得られる歪みの無い画像に変換する画像変換方法をコンピュータに実行させる、画像変換用コンピュータプログラムであって、前記画像変換方法は、前記歪みの無い画像を複数の三角形の領域に分割するステップと、該三角形の頂点と対応する前記歪みのある画像上の点の座標を計算するステップと、前記三角形のアフィン変換式を求めるステップと、求められたアフィン変換式を用いて前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めるステップとを含むことを特徴とする画像変換用コンピュータプログラムを提供する。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の画像変換方法を適用した画像変換装置の構成例を示すブロック図である。この装置は、魚眼レンズを用いた光学系１と、光学系１により撮像される画像を格納する、変換前画像用の画像メモリ２と、画像変換演算を実行するＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）３と、後述するアフィン変換式を格納するデータメモリ４と、変換演算にかかる画素の座標値を格納するデータメモリ５と、変換後画像用の画像メモリ６と、変換後の画像を表示するモニタ７とを備えている。
【００１３】
図１に示す画像変換装置における変換演算を、図２及び図３を参照して、具体的に説明する。
魚眼レンズを用いて撮像した画像（歪みのある画像）Ｉ０から、魚眼レンズの視点Ｏから、視線方向（水平回転角θ、仰角Φ）、垂直方向の画角α、焦点距離ｆ０とする仮想カメラから撮像した画像Ｉ１を求める変換方法の説明を行う。
【００１４】
画像Ｉ１の水平画素数をＭ１，垂直画素数をＮ１とする。画像Ｉ１の左上端から水平方向ｉ１番目、垂直方向ｊ１番目の画素をＩ１（ｉ１，ｊ１）とする。画像Ｉ１は視点から視線方向へ距離ｆ０だけ離れた、視線に対して垂直な仮想スクリーンＳ１に透視変換された画像として得られる。画素Ｉ１（ｉ１，ｊ１）に対応する仮想スクリーンＳ１上の点の座標をＳ１（ｘ１，ｙ１，ｚ１）とする。画素Ｉ１（ｉ１，ｊ１）には、視点Ｏから座標Ｓ１（ｘ１，ｙ１，ｚ１）を通る直線（視線）Ｆ１に突き当たる被写体が撮像される。座標Ｓ１（ｘ１，ｙ１，ｚ１）は、下記式（１）を用いて求めることができる。これと同じ被写体が魚眼レンズで撮像した画像Ｉ０に結像する座標を（ｕ１，ｖ１）とする。直線Ｆ１の水平回転角θ１と仰角φ１、画像Ｉ０の中心の座標を（ｕ０，ｖ０）、画像の半径をＲ０とする。座標（ｕ１，ｖ１）は、下記式（２）及び（３）を用いて求めることができる。画像Ｉ０における座標（ｕ１，ｖ１）の信号値をＩ０（ｕ１，ｖ１）とする。したがって、画素Ｉ１（ｉ１，ｊ１）の信号値はＩ０（ｕ１，ｖ１）となる。
【００１５】
【数１】

【００１６】
【数２】

【００１７】
【数３】

【００１８】
以上より、変換後画像Ｉ１は、まず、すべてのｉ１（１≦ｉ１≦Ｍ１）及びｊ１（１≦ｊ１≦Ｎ１）に対して、画素Ｉ１（ｉ１，ｊ１）に対応する座標Ｓ１（ｘ１，ｙ１，ｚ１）を求め、次に、座標Ｓ１（ｘ１，ｙ１，ｚ１）に対応する変換前画像Ｉ０の座標（ｕ１，ｖ１）を求めて、最後に信号値Ｉ０（ｕ１，ｖ１）を求めることにより得ることが出来る。
【００１９】
本発明では、図３に示すように、変換後画像Ｉ１を複数の三角形領域に分割する。三角形の頂点をＴ１ｍ，ｎ（ｘ２_ｍ，ｎ，ｙ２_ｍ，ｎ）とする。Ｔ１ｍ，ｎ（ｘ２_ｍ，ｎ，ｙ２_ｍ，ｎ）は、例えば下記式（４）で設定する。ここで、Ｍ２はｘ方向の分割数で、Ｎ２はｙ方向の分割数であり、図３に示す例では、Ｍ１＝Ｎ１＝３である。
【数４】

【００２０】
Ｔ１ｍ，ｎ（ｘ２_ｍ，ｎ，ｙ２_ｍ，ｎ）に対応する変換前画像Ｉ０の点をＴ０ｍ，ｎ（ｕ２_ｍ，ｎ，ｖ２_ｍ，ｎ）とする。Ｔ０ｍ，ｎ（ｕ２_ｍ，ｎ，ｖ２_ｍ，ｎ）は前記下記式（２），（３）を用いて求める。
【００２１】
変換後画像Ｉ１上の三角形ｋから対応する変換前画像Ｉ０上の三角形ｋへ変換するアフィン変換式を求める。アフィン変換は、下記式（５）で表される。
【数５】

【００２２】
式（５）において、（ｘ，ｙ）はアフィン変換前の頂点の座標を示し、（ｘ’，ｙ’）は変換後の座標を示している。またａｋ，ｂｋ，ｃｋ，ｄｋ，ｅｋ，及びｆｋは、変換係数である。求めるべき変換係数は各式において３個であるから、三角形ｋの各頂点の座標値を代入して得られる３元１次連立方程式を解くことによって求めることができる。すなわち、三角形ｋの変換後と変換前の頂点の座標をＩ１ａ（ｉａ，ｊａ），Ｉ１ｂ（ｉｂ，ｊｂ），Ｉ１ｃ（ｉｃ，ｊｃ），Ｉ０ａ（ｕａ，ｖａ），Ｉ０ｂ（ｕｂ，ｖｂ），Ｉ０ｃ（ｕｃ，ｖｃ）とすると、アフィン変換式は式（６）から求められる。
【数６】

【００２３】
求めた各三角形のアフィン変換式を用いて、変換前画像の三角形内の画素Ｉ０（ｉ，ｊ）に対応する変換後の点の座標値Ｉ１（ｕ，ｖ）を求める。対応するアフィン変換式を式（５）とすると、Ｉ１（ｕ，ｖ）は、式（７）から求めることができる。
【数７】

【００２４】
変換前の画像Ｉ０の座標（ｕ，ｖ）における信号値（例えば輝度値）を求める。信号値は画像中に離散的にしか与えられていない（ｕ，ｖが整数のとき）。そこで、座標（ｕ，ｖ）での信号値Ｉ０（ｕ，ｖ）は近傍の信号値から補間して求める。ｕ，ｖを整数部分ｕｉ，ｖｉ，と小数部分ｕｄ，ｖｄとに分解する。
【数８】

【００２５】
座標（ｕｉ，ｖｉ），（ｕｉ＋１，ｖｉ），（ｕｉ，ｖｉ＋１），及び（ｕｉ＋１，ｖｉ＋１）の４点の信号値を、それぞれＩ０（ｕｉ，ｖｉ），Ｉ０（ｕｉ＋１，ｖｉ），Ｉ０（ｕｉ，ｖｉ＋１），及びＩ０（ｕｉ＋１，ｖｉ＋１）とすると、信号値Ｉ０（ｕ，ｖ）は、下記式（９）で求めることが出来る。
Ｉ０（ｕ，ｖ）＝（１−ｖｄ）×｛（１−ｕｄ）×Ｉ０（ｕｉ，ｖｉ）
＋ｕｄ×Ｉ０（ｕｉ＋１，ｖｉ）｝
＋ｖｄ×｛（１−ｕｄ）×Ｉ０（ｕｉ，ｖｉ＋１）
＋ｕｄ×Ｉ０（ｕｉ＋１，ｖｉ＋１）｝（９）
【００２６】
三角形内の画素の座標を求めるための計算量としては、三角形内の総画素数をＴとすると、
従来方式の計算量＝（式（１）＋式（２）＋式（３））×Ｔ
本実施形態の計算量＝式（１）×Ｔ＋（式（２）＋式（３））×３
＋式（６）＋式（７）×Ｔ
となる。ＤＳＰ３では、加減乗除の計算は、１〜２サイクルで行われるが、三角関数等の初等関数の計算は、１００サイクル程度を要する。従来方式は初等関数を用いる式（２）及び式（３）の計算回数が多いので、本実施形態の計算量の方が少なくなる。
【００２７】
また、三角形の個数を滅らすと「（式（２）＋式（３））×３＋式（６）」の計算回数が滅るので画面全体の計算量を減らすことが出来る。そこで、視線の仰角や、画角が変化して全画素の座標を計算しなおす必要が生じた場合では、三角形の個数を少ない数から徐々に増やしていくことにより、計算量の増加を抑えることが可能となる。
【００２８】
また、視線の水平回転角のみが変化する場合では、式（７）を式（１０）に示す回転行列を加えることで新たなアフィン変換式を得ることが出来る。式（１０）において、βは、水平回転角の変化角度である。
【数９】

【００２９】
図４は、上述した変換の手順をフローチャートとして示したものである。
先ず、仮想カメラの焦点距離ｆ０、及び画像の半径Ｒ０を入力し、さらに仮想カメラの水平回転角θ、仰角φ、及び画角αを入力する（ステップＳ１，Ｓ２）。次に変換前画像を三角形の領域に分割し、式（４）により三角形の頂点の座標を設定し（ステップＳ３）、その座標を計算し、得られた座標値をデータメモリ５に格納する（ステップＳ４）。
【００３０】
ステップＳ５では、仮想カメラの水平回転角θが変化していれば、新たな水平回転角θを入力し、ステップＳ６では各三角形のアフィン変換式を求める。水平回転角θのみが変化した場合は、データメモリ４の値と式（１０）よりアフィン変換式を求める。このとき、アフィン変換式（変換係数）をデータメモリ４に格納する。
次いで三角形内の画素の変換前画像の座標（ｕ，ｖ）の計算を行い、その座標値をデータメモリ５に格納する。そして座標（ｕ，ｖ）における信号値を、式（９）による補間演算により求める（ステップＳ７，Ｓ８）。そして、変換後画像を画像メモリ６に取り込み、モニタ７に表示する（ステップＳ９，Ｓ１０）。
【００３１】
仮想カメラの水平回転角θのみ変化させたときは、ステップＳ５に戻り、仰角φ及び／または画角αが変化したときは、ステップＳ２に戻る。この場合には、分割する三角形領域の数を、フレーム毎に徐々に設定値まで増加させるようにする。水平回転角θ、仰角φ、及び画角αがいずれも変化しなかった場合は、ステップＳ８に戻り、データメモリ５の値と、式（９）により信号値を求める。
図４に示した処理は、具体的には、ＤＳＰ３において実行されるコンピュータプログラムにより実現される。
【００３２】
本実施形態の画像変換方法によれば、以下の効果を奏する。
１）すべての画素に対して、式（１），（２），（３）の複雑な座標計算を行う必要がなくなるので計算量が削減でき、リアルタイム処理が容易になる。
２）視線の水平回転角のみが変化する場合（仰角及び画角が変わらない場合）は、変化前のアフィン変換式の行列に回転の行列を掛けるだけで新たなアフィン変換式を得ることが出来るので計算量が削減でき、リアルタイム処理が容易になるという効果がある。
３）視線の仰角や、画角が変化する場合（透視変換の視線方向及びズーム倍率が変化する場合）、三角形の分割数を徐々に増やしていくことにより、計算量の増加を低く抑えることが出来るので、リアルタイム処理が容易になる。
【００３３】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、本発明は、魚眼レンズに代えて、双曲面ミラーを用いた光学系により得られる画像の変換にも適用可能である。
【００３４】
【発明の効果】
以上詳述したように請求項１または５に記載の発明は、変換後の歪みの無い画像を複数の三角形の領域に分割し、該三角形の頂点と対応する歪みのある画像上の点の座標を計算し、前記三角形のアフィン変換式を求め、求められたアフィン変換式を用いて歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を求めるようにしたので、従来の画像変換方法または画像変換用コンピュータプログラムに比べて、計算量を削減することができる。
【００３５】
請求項２に記載の発明は、歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を記憶するステップをさらに含み、透視変換の視線方向及びズーム培率が変わらない場合には、改めて座標を計算することなく前記記憶された座標を用いて、歪みの無い画像に変換するようにしたので、計算量をより一層削減でき、リアルタイム処理が容易になる。
【００３６】
請求項３に記載の発明によれば、歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を記憶するステップをさらに含み、透視変換の視線方向またはズーム倍率が変化したために、歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を改めて計算し直す場合には、三角形の領域の分割数をフレームごとに徐々に増やされる。これにより、計算量の増加を低く抑えることができ、リアルタイム処理が容易になる。
【００３７】
請求項４に記載の発明は、求められたアフィン変換式を記憶するステップをさらに含み、透視変換の視線方向及びズーム倍率が変わらない場合には、改めてアフィン変換式を求めることなく、記憶したアフィン変換式を用いて、歪みの無い画像上の各点に対応する、歪みのある画像上の点の座標を求めるようにしたので、計算量をさらに削減することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像変換装置の構成を示すブロック図である。
【図２】図１に示す装置に適用された画像変換方法を説明するための図である。
【図３】複数の三角形領域に分割する処理を説明するための図である。
【図４】図１に示す装置に適用された画像変換の処理手順を示すフローチャートである。
【符号の説明】
１光学系
２，６画像メモリ
３ディジタル信号プロセッサ
４，５データメモリ
７モニタ

Claims

双曲面ミラーまたは魚眼レンズを用いた光学系により撮像された歪みのある画像を、前記光学系の視点から指定した視線方向を持つ透視変換により得られる歪みの無い画像に変換する画像変換方法において、
前記歪みの無い画像を複数の三角形の領域に分割するステップと、
該三角形の頂点と対応する前記歪みのある画像上の点の座標を計算するステップと、
前記三角形のアフィン変換式を求めるステップと、
求められたアフィン変換式を用いて前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めるステップと
を含むことを特徴とする画像変換方法。
前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を記憶するステップをさらに含み、前記透視変換の視線方向及びズーム培率が変わらない場合には、改めて座標を計算することなく前記記憶ステップで記憶された座標を用いて、前記歪みの無い画像に変換することを特徴とする請求項１に記載の画像変換方法。
前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を記憶するステップをさらに含み、前記透視変換の視線方向またはズーム倍率が変化したために、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を改めて計算し直す場合には、前記三角形の領域の分割数をフレームごとに徐々に増やしていくことを特徴とする請求項１または２に記載の画像変換方法。
前記アフィン変換式を記憶するステップをさらに含み、前記透視変換の視線方向及びズーム倍率が変わらない場合には、改めてアフィン変換式を求めることなく、前記記憶したアフィン変換式を用いて、前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めることを特徴とする請求項１から３のいずれかに記載の画像変換方法。
双曲面ミラーまたは魚眼レンズを用いた光学系により撮像された歪みのある画像を、前記光学系の視点から指定した視線方向を持つ透視変換により得られる歪みの無い画像に変換する画像変換方法をコンピュータに実行させる、画像変換用コンピュータプログラムであって、
前記画像変換方法は、
前記歪みの無い画像を複数の三角形の領域に分割するステップと、
該三角形の頂点と対応する前記歪みのある画像上の点の座標を計算するステップと、
前記三角形のアフィン変換式を求めるステップと、
求められたアフィン変換式を用いて前記歪みの無い画像上の各点に対応する、前記歪みのある画像上の点の座標を求めるステップと
を含むことを特徴とする画像変換用コンピュータプログラム。