JP2000011166A

JP2000011166A - 画像処理装置および方法、並びに提供媒体

Info

Publication number: JP2000011166A
Application number: JP10176842A
Authority: JP
Inventors: Masatake Fukushima; 正剛福島; Tadashi Tokuyama; 正徳山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-24
Filing date: 1998-06-24
Publication date: 2000-01-14

Abstract

(57)【要約】【課題】魚眼補正変換を高速で処理する。【解決手段】回転処理部３は、補正して出力する画像
（出力画像）の座標（Ｘ，Ｙ）を、原点を中心として反
時計回りに角度ψだけ回転した座標（Ｘ₁，Ｙ₁）を演算
する。Ｙ軸上魚眼変換処理部４は、Ｙ軸上魚眼変換を実
行し、座標（Ｘ₁，Ｙ₁）から座標（ｘ₁，ｙ₁）を演算す
る。回転処理部５は、Ｙ軸上魚眼変換処理部４により演
算された座標（ｘ₁，ｙ₁）を、原点を中心として時計回
りに角度φだけ回転した座標（ｘ，ｙ）を演算する。画
像生成部６は、画像入力部１に原画像の座標（ｘ，ｙ）
の画素値の出力を要求するとともに、その要求に対応し
て画像入力部１から入力された座標（ｘ，ｙ）の画素値
を、出力画像の座標（Ｘ，Ｙ）の画素値として、出力画
像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、魚眼レンズを用
いて撮影された画像の歪みを補正するようにした画像処
理装置および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】魚眼レンズを用いて撮影された画像に
は、図１２に示すように、実空間の鉛直線が曲がってし
まう特有の歪みが生じている。この画像の歪みを補正
し、図１３に示すように、あたかも通常のレンズで撮影
されたような画像に変換（以下、魚眼補正変換と記述す
る）する方法としては、Ominiview SYSTEM Inc.社のPho
toBubbles（商標）やWarp社のVTV（商標）がある。これ
らのソフトウェアは、それぞれ独自のアルゴリズムに基
づいて魚眼補正変換を行っており、そのアルゴリズムは
明らかにされていない。

【０００３】

【発明が解決しようとする課題】ところで、上述したよ
うなソフトウェアを用いた魚眼補正変換は、その処理に
時間が掛かり、例えば、魚眼レンズで撮影された動画像
を補正するようなリアルタイムな要求には対応できない
課題があった。

【０００４】本発明はこのような状況に鑑みてなされた
ものであり、魚眼補正変換をモジュール化することによ
り、高速で処理できるようにするものである。

【０００５】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、出力画像の座標を回転変換して第１の座標を
生成する第１回転手段と、第１回転手段が生成した第１
の座標を変換して第２の座標を生成する変換手段と、変
換手段が生成した第２の座標を回転変換して入力画像の
座標を生成する第２回転手段とを備えることを特徴とす
る。

【０００６】請求項４に記載の画像処理方法は、出力画
像の座標を回転変換して第１の座標を生成する第１回転
ステップと、第１回転ステップで生成した第１の座標を
変換して第２の座標を生成する変換ステップと、変換ス
テップで生成した第２の座標を回転変換して入力画像の
座標を生成する第２回転ステップとを含むことを特徴と
する。

【０００７】請求項５に記載の提供媒体は、出力画像の
座標を回転変換して第１の座標を生成する第１回転ステ
ップと、第１回転ステップで生成した第１の座標を変換
して第２の座標を生成する変換ステップと、変換ステッ
プで生成した第２の座標を回転変換して入力画像の座標
を生成する第２回転ステップとを含む処理を実行させる
プログラムを提供することを特徴とする。

【０００８】請求項１に記載の画像処理装置において
は、第１回転手段が、出力画像の座標を回転変換して第
１の座標を生成し、変換手段が、第１回転手段が生成し
た第１の座標を変換して第２の座標を生成し、第２回転
手段が、変換手段が生成した第２の座標を回転変換して
入力画像の座標を生成する。

【０００９】請求項４に記載の画像処理方法、および請
求項５に記載の提供媒体においては、は、第１回転ステ
ップで、出力画像の座標を回転変換して第１の座標を生
成し、変換ステップで、第１回転ステップで生成した第
１の座標を変換して第２の座標を生成し、第２回転ステ
ップで、変換ステップで生成した第２の座標を回転変換
して入力画像の座標を生成する。

【００１０】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。

【００１１】すなわち、請求項１に記載の画像処理装置
は、出力画像の座標を回転変換して第１の座標を生成す
る第１回転手段（例えば、図１０の回転処理部３）と、
第１回転手段が生成した第１の座標を変換して第２の座
標を生成する変換手段（例えば、図１０のＹ軸上魚眼変
換処理部４）と、変換手段が生成した第２の座標を回転
変換して入力画像の座標を生成する第２回転手段（例え
ば、図１０の回転処理部５）とを備えることを特徴とす
る。

【００１２】また、請求項３に記載の画像処理装置は、
第２回転手段が生成した入力画像の座標の画素を、出力
画像の座標の画素として出力画像を生成する出力画像生
成手段（例えば、図１０の画像生成部６）をさらに備え
ることを特徴とする。

【００１３】但し勿論この記載は、各手段を記載したも
のに限定することを意味するものではない。

【００１４】本発明を適用した画像変換装置について説
明する前に、魚眼補正変換の概念について、図１を参照
して説明する。例えば、図１(A)に示すような魚眼レン
ズによって撮影された画像（以下、原画像と記述する）
の歪みを補正する場合、ステップＳ１において、原画像
の中で補正対象とする所定の台形領域の位置を決定す
る。その領域の中心の座標を中心点Ｃ（ｘ₀，ｙ₀）（図
には星印で示してある）とし、中心点Ｃとｙ軸の正の部
分とのなす角度をφとする。また、中心点Ｃにおける実
空間の鉛直線とｙ軸のなす角度をωとする（角度ωを求
める演算については後述する）。

【００１５】ステップＳ２において、図１(B)に示すよ
うに、原画像の中心点ＣがＹ軸と重なるように、原画像
を反時計回りに角度φだけ回転する。ステップＳ３にお
いて、図１(C)に示すように、原画像から、中心点Ｃの
台形領域を抽出し、矩形に変換する。なお、図１(C)に
示した状態において、矩形に変換された画像は、実空間
の鉛直線（図１(C)のＹ軸に相当する）に対して角度ψ
だけ傾いているので、ステップＳ４において、図１(D)
に示すように、画像を角度ψだけ時計回りに回転させ
る。

【００１６】ここで、角度ψについて考える。角度ψ
は、一見、角度φと等しいように思われるが、上述した
ように、中心点Ｃにおいては、実空間の鉛直線ＱとＹ軸
とのなす角度がωであり、換言すれば、原画像の台形領
域の中心点Ｃにおいては、鉛直線が角度ωだけずれてい
ることになる。つまり、角度ψを角度φと等しい角度と
考えて、ステップＳ４の処理を実行した場合、角度ψ
（＝φ）だけ回転した画像は、図２(A)に示すように、
鉛直線から角度ωだけ傾いてしまう。したがって、角度
ψは、角度φと角度ωの和に等しい角度とすればよいこ
とがわかる。

【００１７】なお、上述したステップＳ１乃至Ｓ４にお
ける処理は、あくまでも、その概念を説明したものであ
り、実際の魚眼補正変換の手順を説明したものではな
い。

【００１８】実際の魚眼補正変換の手順は、原画像の台
形領域の中心点Ｃの座標（ｘ₀，ｙ₀）から角度ψ，φを
求め、その角度ψ，φを用いて、変換後の画像（図３
(A)の画像）の全画素の座標（Ｘ，Ｙ）に対応する原画
像（図３(D)）の座標（ｘ，ｙ）を演算し、さらに、原
画像の座標（ｘ，ｙ）の画素を、変換後の画像の座標
（Ｘ，Ｙ）に適用することにより、変換後の画像を生成
している。

【００１９】すなわち、ステップＳ１１において、図３
(A)に示した変換後の画像を、図３(B)に示すように、原
点（原画像の台形領域の中心点Ｃに対応する）を中心と
して反時計回りに角度ψだけ回転させる。したがって、
座標（Ｘ，Ｙ）に対応する、回転後の座標を（Ｘ₁，
Ｙ₁）とすると、座標（Ｘ₁，Ｙ₁）は、次式（１）のよ
うに表すことができる。Ｘ₁＝Ｘcosψ−Ｙsinψ Ｙ₁＝Ｘsinψ−Ｙcosψ ・・・・（１）

【００２０】ステップＳ１２において、図３(B)に示し
た矩形の画像を、図３(C)に示すように台形に変換する
（上述したステップＳ３の処理に対応する変換であり、
以下、Ｙ軸上魚眼変換と記述する、また、この詳細につ
いては後述する）。このとき、座標（Ｘ₁，Ｙ₁）に対応
する、変換後の座標を（ｘ₁，ｙ₁）とすると、座標（ｘ
₁，ｙ₁）は、次式（２）のように表すことができる。

【００２１】

【数１】

【００２２】ただし、上記式において、ｇはレンズの射
影関数であり、ｆはレンズの焦点距離であり、Ｆは変換
後の画像（図３(A)）における仮想的な焦点距離であ
る。

【００２３】また、θ₀，θ₁は、次式（３）に示す条件
を満たす角度である。

【数２】

【００２４】ステップＳ１３において、図３(C)に示し
た台形の画像を、図３(D)に示すように、原点を中心と
して時計回りに角φだけ回転させる。したがって、座標
（ｘ₁，ｙ₁）に対応する、回転後の座標を（ｘ，ｙ）と
すると、座標（ｘ，ｙ）は、次式（４）のように表すこ
とができる。ｘ＝ｘ₁cos（−φ）−ｙ₁sin（−φ）ｙ＝ｘ₁sin（−φ）−ｙ₁cos（−φ）・・・・（４）

【００２５】次に、Ｙ軸上魚眼変換について説明する
が、その導入として、魚眼レンズの射影方法について、
図４を参照して説明する。実空間において、半画角がθ
である点Ａ，Ｂが、それぞれ、魚眼レンズを透過して、
焦点距離がｆである像に射影された点を点Ａ’，Ｂ’と
すれば、像高ｈ（距離Ａ’Ｂ’）は、ｆとθの関数であ
る射影関数ｇ（ｆ，θ）で表すことができる。なお、射
影関数ｇは、魚眼レンズの種類によって異なり、一般に
は、以下のような射影関数が知られている。ｈ＝ｇ（ｆ，θ）＝２ｆtan（θ／２）：立体射影の魚眼レンズｈ＝ｇ（ｆ，θ）＝ｆθ ：等距離射影の魚眼レンズｈ＝ｇ（ｆ，θ）＝２ｆsin（θ／２）：立体角射影の魚眼レンズｈ＝ｇ（ｆ，θ）＝ｆsin（θ）：正射影の魚眼レンズ

【００２６】なお、通常の（魚眼レンズではない）レン
ズを用いた場合の射影関数（像高ｈ）は、次式（５）の
ように表すことができる。ｈ＝ｆtan（θ）：通常のレンズ・・・（５）

【００２７】図５は、ｙ軸上魚眼変換の変換前後の座標
系を示している。すなわち、図５(A)は、ｙ軸上魚眼変
換前（図３(B)に相当する）の座標系であり、図５(B)
は、ｙ軸上魚眼変換後（図３(C)に相当する）の座標系
である。ここで、表記を簡単にするため、図３(B)にお
ける座標の点（Ｘ₁，Ｙ₁）を、図５(A)においては点Ｒ
（Ｘ，Ｙ）と記述し、図３(C)における座標の点（ｘ₁，
ｙ₁）を、図５(B)においては点Ｐ（ｘ，ｙ）と記述す
る。なお、図５(A)の座標系の原点Ｏ_Rに対応する図５
(B)の座標系の点をＰ₀（０，ｙ₀）とし、図５(A)の座標
系において、線分Ｏ_RＲとＹ軸とのなす角度をρとす
る。

【００２８】図６は、実空間平面πｑ、原画像平面πｐ
（図３(D)に相当する）、および魚眼補正変換後の平面
πｒ（図３(A)に相当する）の関係を示している。Ｚ軸
に着目すると、Ｚ軸の正の部分は実空間を表しており、
原点Ｏは焦点を表している。さらに、Ｚ軸の負の部分は
レンズを介した像の空間を表している。実空間平面πｑ
上の点Ｑに対応する平面πｐ上の点を点Ｐとし、平面π
ｒ上の点を点Ｒとする。

【００２９】魚眼レンズの焦点距離ｆは、実空間の原点
Ｏと平面πｐの距離（線分ＯＯ_pの長さ）に相当する。
したがって、Ｐ₀の座標は、（０，ｙ₀，−ｆ）となる。

【００３０】また、平面πｑは、平面πｐ上の点Ｐ₀に
対応する実空間上の点を点Ｑ₀とすれば、直線ＯＱ₀を法
線とする平面のうちの点Ｑ₀を含む平面である。この線
分ＯＱ₀の長さを１とする。したがって、平面πｑは、
原点Ｏを中心とする半径１の半球に、点Ｑ₀において接
する平面である。さらに、直線ＯＱ₀とＺ軸とのなす角
をθ₀とすれば、点Ｑ₀の座標は、（０，−sinθ₀，cos
θ₀）となる。

【００３１】平面πｒは、実空間を通常のレンズで射影
した空間（補正された平面）であるので、平面πｒ上の
原点Ｏ_Rは、実空間上の原点Ｏおよび点Ｑ₀と同一直線上
に存在し、線分ＯＯ_Rは通常のレンズの焦点距離Ｆに相
当する。また、平面πｒは平面πｑと平行であるので、
三角形ＯＲＯ_Rは、三角形ＯＱＱ₀と相似である。

【００３２】平面πｑ上の点Ｑ₁は、点ＱからＹ−Ｚ平
面に下ろした垂線の足であり、点Ｐ₀，Ｏ_P，Ｏ_R，Ｏ、
およびＱ₀と同様に、そのＸ成分は０となる。

【００３３】また、角度θ₁は直線ＯＱとＺ軸とのなす
角度であり、角度αは、直線ＯＱと直線Ｏ₀とのなす角
度である。

【００３４】上述した３つの平面πｐ，πｒ、およびπ
ｑの関係（Ｐ₀のｙ成分は、常に正であり、よって、Ｑ₀
のｙ成分は負である）より、以下の２点が明らかにな
る。１点目は「sinφの符号と点ＲのＸ成分の符号が一
致すること」である。このことは、sinφの符号は点Ｐ
のｘ成分の符号に一致し、点Ｐのｘ成分の符号は点Ｒの
Ｘ成分の符号が一致することからも明らかである。２点
目は「tanθ₁の値の増加に伴って、点ＲのＹ成分の値が
増加すること」である。

【００３５】さて、Ｙ軸上魚眼変換においては、上述し
たように、点Ｐ₀（０，ｙ₀）および点Ｒ（Ｘ，Ｙ）か
ら、点Ｐ（ｘ，ｙ）を導くことが目的である。したがっ
て、次式（６−１），（６−２）に示す関数ｈ_x，ｈ_yを
求めればよい。ｘ＝ｈ_x（ｙ₀，Ｘ，Ｙ）・・・（６−１）ｙ＝ｈ_y（ｙ₀，Ｘ，Ｙ）・・・（６−２）

【００３６】ここで、平面πｐに注目し、図４で示した
射影関数を適用すると、線分Ｏ_PＰ＝ｇ（ｆ，θ₁）の関
係があり、この関係から次式（７−１），（７−２）が
成立する。ｘ＝ｇ（ｆ，θ₁）sinφ ・・・（７−１）ｙ＝ｇ（ｆ，θ₁）cosφ ・・・（７−２）

【００３７】式（７−１），（７−２）において、ｆ
（焦点距離）は定数である。したがって、角度θ₁およ
び角度φを、ｙ₀，Ｘ、およびＹで表すことができれ
ば、式（６−１），（６−２）の関数ｈ_x，ｈ_yを求めた
ことになる。そこで、次に、角度θ₁または角度φと、
ｙ₀，Ｘ、およびＹの関係を導き出す。

【００３８】さて、平面πｒは、通常のレンズを介して
射影されたように補正された平面であるので、式（５）
に示した通常レンズの射影関数を適用することができ
る。したがって、線分Ｒ₀Ｒ＝Ｆtanαの関係がある。よ
って、次式（８−１），（８−２）が成立する。Ｘ＝Ｆtanαsinρ ・・・（８−１）Ｙ＝Ｆtanαcosρ ・・・（８−２）

【００３９】次に、平面πｑに注目すると、平面πｑの
法線ベクトルは、ベクトルＯＱ₀（０，−sinθ₀，cosθ
₀）であり、点Ｑ₀が平面πｑ上の点であることから、平
面πｑは、次式（９）で表すことができる。 πｑ：０・(ｘ−０)＋(−sinθ₀)(ｙ＋sinθ₀)＋cosθ₀(ｚ−cosθ₀)＝０・・・（９）式（９）を整理すると、次式（１０）になる。 πｑ： sinθ₀(ｙ＋sinθ₀)−cosθ₀(ｚ−cosθ₀)＝０・・・（１０）

【００４０】次に、平面πｑ上の点Ｑと原点Ｏを通る直
線ＯＱの式を、図７を参照して演算する。図７は、図６
に点Ｓ，Ｓ₁を追加した図である。点Ｓは、直線ＯＱと
原点Ｏを中心とする半径１の半球との交点であり、点Ｓ
₁は、点ＳからＸ−Ｙ平面に下ろした垂線の足である。

【００４１】図７から明らかなように、線分ＯＳ₁＝線
分ＯＳ・sinθ₁であり、線分ＯＳは半球の半径（＝１）
であるので、線分ＯＳ₁＝sinθ₁である。また、点Ｓ
₁は、点Ｐ，Ｏ_P，Ｏ，Ｓ、およびＺ軸を含む平面上の点
であるので、線分ＯＳ₁とＹ軸とのなす角は、角ＰＯ_PＰ
₀と等しく、その角度はφである。したがって、点Ｓ₁の
座標は、（−sinθ₁sinφ，−sinθ₁cosφ，０）であ
り、点Ｓの座標は、（−sinθ₁sinφ，−sinθ₁cosφ，
cosθ₁）となる。

【００４２】直線ＯＱの方向ベクトルは、ベクトルＯＳ
（−sinθ₁sinφ，−sinθ₁cosφ，cosθ₁）と等しく、
直線ＯＱは原点Ｏ（０，０，０）を通るので、直線ＯＱ
の式は、次式（１１）で表すことができる。

【数３】式（１１）を整理すると、次式（１２）となる。

【数４】

【００４３】ここで、式（１０）（平面πｑの式）と式
（１２）（直線ＯＱの式）を連立して、ｘ，ｙ、または
ｚ、それぞれについて、解いたものが次式１３である。
当然ながら、平面πｑと直線ＯＱとの交点である点Ｑの
座標（Ｘｑ，Ｙｑ，Ｚｑ）は、この座標（ｘ，ｙ，ｚ）
に等しいので、点Ｑの座標を、角度φ，θ₀、およびθ₁
で表したことになる。

【数５】

【００４４】なお、点Ｑは実空間上の点であるので、そ
のＺ成分は正である。したがって、以下の不等式（１
４）が成立する。 cosθ₀＋sinθ₀tanθ₁cosφ＞０・・・（１４）

【００４５】次に、平面πｑ上の点Ｑ，Ｑ₀、およびＱ₁
に注目すると、線分ＱＱ₁，Ｑ₀Ｑ₁は、それぞれ、次式
（１５−１），（１５−２）に示すように、線分Ｑ₀Ｑ
を使って表すことができる。ＱＱ₁＝Ｑ₀Ｑ｜sinρ｜・・・（１５−１）Ｑ₀Ｑ₁＝Ｑ₀Ｑ｜cosρ｜・・・（１５−２）

【００４６】また、線分Ｑ₀Ｑ＝ＯＱ₀tanα＝tanαであ
るので、式（１５−１）から、次式（１６）が成立す
る。

【数６】

【００４７】同様に、線分Ｑ₀Ｑ＝tanαであるので、式
（１５−２）から、次式（１７）が成立する。

【数７】

【００４８】これらの式（１６），（１７）の結果を、
それぞれ、式（８−１），（８−２）に代入し、式（８
−１），（８−２）のＦが正であることに注意して変形
すれば、次式（１８），（１９）になる。

【数８】

【００４９】式（１９）の左辺を整理して平方根を外し
た式が次式（２０）である。

【数９】

【００５０】ここで、「角度θ₀および角度θ₁が正であ
ること」を上述した２つの事実、すなわち、「sinφの
符号と点ＲのＸ成分の符号が一致すること」と「tanθ₁
の値の増加に伴って、点ＲのＹ成分の値が増加するこ
と」に適用することにより、式（１８）および式（２
０）の絶対値符号を外すことができる。式（１８），
（２０）に、それぞれ対応する式が次式（２１），（２
２）である。

【数１０】

【００５１】式（２２）をtanθ₁cosφについて解け
ば、次式（２３）になる。

【数１１】この式（２３）を式（２１）の分母に代入して整理する
と、次式（２４）になる。

【数１２】

【００５２】式（２４）に「sinφの符号と点ＲのＸ成
分の符号が一致すること」を適用すれば、左辺のtanθ₁
と、右辺の分母のＦcosθ₀−Ｙsinθ₀との符号が一致す
ることがわかる。なお、tanθ₁は正であるので、Ｆcos
θ₀−Ｙsinθ₀も正である。

【００５３】式（２３）および式（２４）の両辺を、そ
れぞれ２乗して足すと次式（２５）になる。

【数１３】

【００５４】式（２５）に、Ｆcosθ₀−Ｙsinθ₀＞０を
考慮して、式（２５）の平方根を求めれば、次式（２
６）になる。

【数１４】したがって、角度θ₁は次式（２７）のように表すこと
ができる。

【数１５】

【００５５】式（２６）を式（２３）に代入すれば、co
sφを次式（２８）のように表すことができる。また、
式（２６）を式（２４）に代入すれば、sinφを次式
（２９）のように表すことができる。

【数１６】

【００５６】さらに、式（２８）を式（７−１）に代入
したものが次式（３０）であり、式（２９）を式（７−
２）に代入したものが次式（３１）である。

【数１７】

【００５７】ただし、式（３０），（３１）の角度θ₁
は、式（２７）に示した角度θ₁と同様である。また、
角度θ₀については、ｙ₀＝ｇ（ｆ，θ₀）の関係があ
る。したがって、式（３０），（３１）は、ｘまたはｙ
を、Ｘ，Ｙ、およびｙ₀から求める式であるといえる。
よって、ここに、Ｙ軸上魚眼変換の式が導出された。

【００５８】例えば、用いられる魚眼レンズが等距離射
影である場合のＹ軸上魚眼変換の式は、射影関数ｇ
（ｆ，θ）＝ｆθを、式（３０），（３１）に適用すれ
ば、次式（３２），（３３）を得る。このとき、ｙ₀＝
ｇ（ｆ，θ₀）の関係から、角度θ₀＝ｙ₀／ｆである。

【数１８】

【００５９】さらに、式（３２），（３３）の角度θ₁
に、それぞれ、式（２７）の右辺を代入すれば、次式
（３４），（３５）になる。

【数１９】

【００６０】次に、角度ωを求める手順について、図８
および図９を参照して説明する。図８は、実空間におけ
る鉛直線を原画像上に示したものであり、同図におい
て、角度ωは、上述したように、原画像中の補正対象と
する台形領域の中心点Ｃ（図には星印で示している）に
おける実空間の鉛直線とｙ軸とのなす角度である。図９
は、図６と同様に、原画像を示す平面πｐ、および実空
間の平面πｑを表している。ただし、図９の平面πｑの
Ｙ軸（Ｙｑ軸）は、紙面に垂直である。

【００６１】角度ωを求めるには、始めに、中心点Ｃに
おける鉛直線の微分係数ｄｙ／ｄｘを演算する。図９の
平面πｐにおいて、線分Ｏ_PＰの長さをＬとすれば、Ｌ
＝ｇ（ｆ，θ）である。したがって、点Ｐのｘ，ｙ成分
は、それぞれ次式（３６−１），（３６−２）に示すよ
うに、射影関数ｇと角度μを使って表すことができる。ｘ＝ｇ（ｆ，θ）cosμ ・・・（３６−１）ｙ＝ｇ（ｆ，θ）sinμ ・・・（３６−１）

【００６２】また、実空間の三角形ＯＱ₀Ｑに注目する
と、次式（３７）に示した関係がわかる。 tanθ＝Ｑ₀Ｑ／ＯＱ₀ Ｑ₀Ｑ＝Ｘ₀／cosμ ＯＱ₀＝Ｘ₀／tanθ₀ ・・・（３７）

【００６３】式（３７）に示した関係を組み合わせる
と、次式（３８）になる。 tanθ＝tanθ₀／cosμ ・・・（３８）よって、 θ＝arctan(tanθ₀／cosμ) ・・・（３９）

【００６４】さてここで、角度θ₀が定数あるとすれ
ば、式（３９）から明らかなように、角度θは角度μの
関数である。したがって、式（３６−１），（３６−
２）、および式（３９）から、ｘおよびｙは、角度μの
関数であるといえる。

【００６５】そこで、微分係数ｄｙ／ｄｘを、次式４０
に示すように変形して演算する。ｄｙ／ｄｘ＝（ｄｙ／ｄμ）／（ｄｘ／ｄμ）・・・（４０）

【００６６】微分係数の演算について、魚眼レンズが等
立体角射影である場合（射影関数ｇ＝２ｆsin（θ／
２））を例にして説明する。

【００６７】射影関数ｇの中のsin（θ／２）は、三角
関数の公式により、次式（４１）に書き換えることがで
きる。

【数２０】

【００６８】式（４１）の角度θを角度θ₀に置き換え
て、右辺の中のtan²θ₀について解いた式が次式（４
２）である。

【数２１】

【００６９】式（３８）の両辺を２乗して、式（４２）
の右辺を代入すれば、次式（４３）となる。

【数２２】

【００７０】式（４３）を式（４１）に代入し、その結
果を射影関数ｇ＝２ｆsin（θ／２）に適用すれば、射
影関数ｇは次式（４４）になる。

【数２３】

【００７１】式（３６−１），（３６−２）、それぞれ
に、式（４４）を代入すれば、次式（４５−１），（４
５−２）になる。

【数２４】

【００７２】ここで、式（４５−１），（４５−２）の
両辺を角度μで微分して整理すれば、次式（４６−
１），（４６−２）のように、ｄｘ／ｄμおよびｄｙ／
ｄμが演算される。

【数２５】したがって、角度μが与えられれば、ｄｘ／ｄμおよび
ｄｙ／ｄμを演算することができる。

【００７３】なお、式（４６−１），（４６−２）の中
のＡは、次式（４７）に示すように、式（４２）の右辺
と同様である。

【数２６】式（４５−１）に式（４７）を代入すれば、次式（４
８）となる。

【数２７】

【００７４】次式（４９）は、式（４８）をＡについて
解いた式である。式（４９）から明らかなように、Ａ
も、角度μが与えられれば演算することができる。

【数２８】

【００７５】また、図９の平面πｐに注目すれば、角度
μと、ｘおよびｙには、次式（５０）に示す関係があ
る。 μ＝arctan（ｙ／ｘ）・・・（５０）

【００７６】以上に示した式を以下に説明する手順で用
いることにより、図９の平面πｐ上の点Ｐ（ｘ，ｙ）に
おける微分係数ｄｙ／ｄｘが演算される。

【００７７】すなわち、平面πｐ上の点Ｐの座標（ｘ，
ｙ）を、式（５０）に代入して角度μを演算し、角度μ
および点Ｐのｘ座標を、式（４９）に代入してＡの値を
演算する。次に、角度μおよびＡの値を、式（４６−
１），（４６−２）に代入して、ｄｘ／ｄμおよびｄｙ
／ｄμを演算し、その結果を式（４０）に代入して微分
係数ｄｙ／ｄｘを得る。

【００７８】微分係数ｄｙ／ｄｘから角度ωを得る手順
について、図８を参照して説明する。微分係数ｄｙ／ｄ
ｘは、点Ｐ（図８においては中心点Ｃ）における鉛直線
の傾きである。したがって、arctan（ｄｙ／ｄｘ）を演
算することにより、角度λが求められる。ただし、−π
／２≦λ≦π／２である。角度ωは、角度λを用いた次
式（５１）から得ることができる。

【数２９】

【００７９】上述した手順で魚眼補正変換を行う画像変
換装置の構成について、図１０を参照して説明する。画
像入力部１は、魚眼レンズを介して射影された画像（原
画像）の入力を受け付けて、それを記憶するとともに、
画像合成部６に指定された座標の画素値を出力するよう
になされている。

【００８０】パラメータ演算部２は、原画像の中の補正
する領域の中心の座標（ｘ₀，ｙ₀）の入力を受け付け、
その座標値から、角度ψ，φを演算して、後段に出力す
る。回転処理部３は、補正して出力する画像（出力画
像）の座標（Ｘ，Ｙ）を、原点を中心として反時計回り
に角ψだけ回転した座標（Ｘ₁，Ｙ₁）を演算するように
なされている。

【００８１】Ｙ軸上魚眼変換処理部４は、上述したよう
に、Ｙ軸上魚眼変換を実行し、座標（Ｘ₁，Ｙ₁）から座
標（ｘ₁，ｙ₁）を演算するようになされている。

【００８２】回転処理部５は、Ｙ軸上魚眼変換処理部４
により演算された座標（ｘ₁，ｙ₁）を、原点を中心とし
て時計回りに角φだけ回転した座標（ｘ，ｙ）を演算す
るようになされている。

【００８３】画像生成部６は、画像入力部１に原画像の
座標（ｘ，ｙ）の画素値の出力を要求するとともに、そ
の要求に対応して画像入力部１から入力された座標
（ｘ，ｙ）の画素値を、出力画像の座標（Ｘ，Ｙ）の画
素値として、出力画像を生成するようになされている。

【００８４】画像変換装置の魚眼補正処理について、図
１１のフローチャートを参照して説明する。ステップＳ
２１において、画像入力部１は、魚眼レンズを介して射
影された画像（原画像）の入力を受け付けて、それを記
憶する。ステップＳ２２において、パラメータ演算部２
は、原画像の中の補正する領域の中心の座標（ｘ₀，
ｙ₀）の入力を受け付ける。ステップＳ２３において、
パラメータ演算部２は、補正する領域の中心の座標（ｘ
₀，ｙ₀）から、角度ψ，φを演算する。

【００８５】ステップＳ２４において、画像生成部６
は、出力画像の座標（Ｘ，Ｙ）を０に初期化する。

【００８６】ステップＳ２５において、回転処理部３
は、出力画像の座標（Ｘ，Ｙ）を、原点を中心として反
時計回りに角度ψだけ回転した座標（Ｘ₁，Ｙ₁）を演算
する。

【００８７】ステップＳ２６において、Ｙ軸上魚眼変換
処理部４は、Ｙ軸上魚眼変換を実行し、座標（Ｘ₁，
Ｙ₁）から座標（ｘ₁，ｙ₁）を演算する。

【００８８】ステップＳ２７において、回転処理部５
は、Ｙ軸上魚眼変換処理部４により演算された座標（ｘ
₁，ｙ₁）を、原点を中心として時計回りに角度φだけ回
転した座標（ｘ，ｙ）を演算する。

【００８９】ステップＳ２８において、画像生成部６
は、画像入力部１に原画像の座標（ｘ，ｙ）の画素値の
出力を要求する。さらに、画像生成部６は、要求に対応
して画像入力部１から入力された座標（ｘ，ｙ）の画素
値を、出力画像の座標（Ｘ，Ｙ）の画素値として、出力
画像を生成する。

【００９０】ステップＳ２９において、画像生成部６
は、出力画像の座標のＸ成分が最大値Ｘmaxよりも小さ
いか否かを判定する。出力画像の座標のＸ成分が最大値
Ｘmaxよりも小さいと判定された場合、ステップＳ３０
進む。ステップＳ３０において、Ｘの値を１だけインク
リメントして、ステップＳ２５に戻る。

【００９１】ステップＳ２９において、出力画像の座標
のＸ成分が最大値Ｘmaxよりも小さくないと判定された
場合、ステップＳ３１進む。ステップＳ３１において、
画像生成部６は、出力画像の座標のＹ成分が最大値Ｙma
xよりも小さいか否かを判定する。出力画像の座標のＹ
成分が最大値Ｙmaxよりも小さいと判定された場合、ス
テップＳ３２進む。ステップＳ３２において、Ｙの値を
１だけインクリメントして、ステップＳ２５に戻る。

【００９２】ステップＳ３１において、出力画像の座標
のＹ成分が最大値Ｙmaxよりも小さくないと判定された
場合、ステップＳ３３に進む。

【００９３】ステップＳ３３において、画像生成部６
は、生成した画像を出力する。

【００９４】以上のように、本実施の形態においては、
魚眼補正処理の主な部分を２個の回転処理部３，５、お
よびＹ軸上魚眼変換処理部４にモジュール化して実行し
ている。回転処理部３，５については、回転処理が既に
一般的な技術であることから、例えば、アフィン変換用
チップのようなハードウェアが存在しており、低コスト
化が可能である。さらに、この回転処理を高速で実行す
るハードウェアが存在すれば、画像変換装置全体として
の高速化が可能である。

【００９５】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【００９６】

【発明の効果】以上のように、請求項１に記載の画像処
理装置、請求項４に記載の画像処理法法、および請求項
５に記載の提供媒体によれば、２度の回転変換とＹ軸上
魚眼変換とにモジュール化するようにしたので、魚眼補
正変換を高速で処理することが可能になる。

【図面の簡単な説明】

【図１】魚眼補正変換の概念を説明する図である。

【図２】角ωについて説明する図である。

【図３】本発明を適用した魚眼補正変換の手順を説明す
る図である。

【図４】魚眼レンズの射影関数を説明する図である。

【図５】Ｙ軸上魚眼変換を説明する図である。

【図６】Ｙ軸上魚眼変換を説明する図である。

【図７】Ｙ軸上魚眼変換を説明する図である。

【図８】角ωについて説明する図である。

【図９】微分係数の演算について説明する図である。

【図１０】本発明を適用した画像変換装置の構成を示す
ブロック図である。

【図１１】図１０の画像処理装置の魚眼補正処理を説明
するフローチャートである。

【図１２】魚眼レンズを用いて撮影された画像を示す図
である。

【図１３】図１２の画像を補正した画像を示す図であ
る。

【符号の説明】

１画像入力部，２パラメータ演算部，３回転
処理部，４Ｙ軸上魚眼変換処理部，５回転処理
部，６画像生成部

Claims

【特許請求の範囲】

【請求項１】魚眼レンズを用いて撮影された入力画像
の歪みを補正して出力画像を生成する画像処理装置にお
いて、前記出力画像の座標を回転変換して第１の座標を生成す
る第１回転手段と、前記第１回転手段が生成した前記第１の座標を変換して
第２の座標を生成する変換手段と、前記変換手段が生成した前記第２の座標を回転変換して
前記入力画像の座標を生成する第２回転手段とを備える
ことを特徴とする画像処理装置。
【請求項２】前記変換手段は、前記第１の座標にＹ軸
上魚眼変換を施してして第２の座標を生成することを特
徴とする請求項１に記載の画像処理装置。
【請求項３】前記第２回転手段が生成した前記入力画
像の座標の画素を、前記出力画像の座標の画素として前記出力画像を生成す
る出力画像生成手段をさらに備えることを特徴とする請
求項１に記載の画像処理装置。
【請求項４】魚眼レンズを用いて撮影された入力画像
の歪みを補正して出力画像を生成する画像処理方法にお
いて、前記出力画像の座標を回転変換して第１の座標を生成す
る第１回転ステップと、前記第１回転ステップで生成した前記第１の座標を変換
して第２の座標を生成する変換ステップと、前記変換ステップで生成した前記第２の座標を回転変換
して前記入力画像の座標を生成する第２回転ステップと
を含むことを特徴とする画像処理方法。
【請求項５】魚眼レンズを用いて撮影された入力画像
の歪みを補正して出力画像を生成する画像処理装置に、前記出力画像の座標を回転変換して第１の座標を生成す
る第１回転ステップと、前記第１回転ステップで生成した前記第１の座標を変換
して第２の座標を生成する変換ステップと、前記変換ステップで生成した前記第２の座標を回転変換
して前記入力画像の座標を生成する第２回転ステップと
を含む処理を実行させるプログラムを提供することを特
徴とする提供媒体。