JP2013127739A - 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置 - Google Patents

Abstract

【課題】障害物等の状況が確認できるように、１台のカメラにより撮像された歪曲画像から、より自然な画像を生成する画像処理装置等を提供する。
【解決手段】広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像Ｓを取得し、歪曲画像から一部分の切出領域Ｅを切り出すための切出基準点Ｐを設定し、切出基準点に応じて、切出領域を設定し、歪曲画像の撮影の視点を基点として、切出基準点に対応する視線ベクトルｎを設定し、切出基準点から所定の距離、切出領域を移動させ、視線ベクトルに応じて歪曲画像から平面正則画像Ｔ’に変換する画像変換により、移動された切出領域Ｅ’を変換する。
【選択図】図７

Description

本発明は、広角レンズまたは全方位ミラーを用いた撮影された画像を画像処理する画像処理装置、画像処理方法、画像処理装置用プログラム、および、画像表示装置に関する。

広角レンズまたは全方位ミラーを用いたカメラは、車両の運転者にとって障害物や様々な状況が確認できるように使用されている。例えば、特許文献１には、車両後方の低位置に広角レンズのカメラを備え、高位置に狭角レンズのカメラを備え、車両状態検出装置が車両の状態に応じて必要な画像を切り替え表示する車両後方表示装置が開示されている。

特開２００３−２１２０４１号公報

しかしながら、特許文献１の技術では、広角レンズのカメラおよび狭角のレンズのカメラの２台のカメラにより撮像した画像を１枚の画像として表示するときに、２枚の画像を合成したり切り替えたり、特に広角レンズのカメラからの画像を違和感のない画像にするための画像の調整をしたりすることが必要となる。さらに、２台のカメラが必要とされるためコストがかかる。

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、障害物等の状況が確認できるように、１台のカメラにより撮影された歪曲画像から、より自然な画像を生成する画像処理装置等を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段と、前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、前記切出基準点に応じて、切出領域を設定する切出領域設定手段と、前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段と、前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段と、前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段と、を備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記歪曲画像の中心を中心とした仮想球面を設定する仮想球面設定手段を更に備え、前記視線ベクトル設定手段が、前記仮想球面の中心から、前記歪曲画像を含む平面と直交して前記切出基準点を通過する直線と、前記仮想球面とが交差する交点に向く視線ベクトルを設定することを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記視線ベクトル設定手段が、前記視線ベクトルを特定するパラメータの入力を受け付けて、前記視線ベクトルを設定し、前記切出領域設定手段が、前記視線ベクトルの方向で交差する交点において前記視線ベクトルと直交する面内に、前記切出領域に対応する前記平面正則画像の領域を設定し、前記オフセット手段が、前記視線ベクトルと直交する面内において、前記設定された平面正則画像の領域を移動させ、前記画像変換手段が、前記視線ベクトルに応じて、前記移動された平面正則画像の領域の各点に対応する前記歪曲画像の画素値を求め、当該求めた前記歪曲画像の画素値を前記平面正則画像の画素値とすることを特徴とする。

また、請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記視線ベクトルと直交する面が、円柱の面であることを特徴とする。

また、請求項５に記載の発明は、請求項１から４のいずれか１項に画像処理装置において、前記視線ベクトル設定手段が、複数の視線ベクトルを設定し、前記切出領域設定手段が、各視線ベクトルに応じた切出領域を設定し、前記画像変換手段が、前記各切出領域を平面正則画像に変換し、前記画像変換手段が求めた各平面正則画像を１つの表示手段に表示することを特徴とする。

また、請求項６に記載の発明は、画像処理装置が画像を処理する画像処理方法であって、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得ステップと、前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定ステップと、前記切出基準点に応じて、切出領域を設定する切出領域設定ステップと、前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定ステップと、前記切出基準点から所定の距離、前記切出領域を移動させるオフセットステップと、前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換ステップと、を含むことを特徴とする。

また、請求項７に記載の発明は、コンピュータを、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段、前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、前記切出基準点に応じて、切出領域を設定する切出領域設定手段、前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段、前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段、および、前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段として機能させる。

また、請求項８に記載の発明は、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段と、前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、前記切出基準点に応じて、切出領域を設定する切出領域設定手段と、前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段と、前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段と、前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段と、前記画像変換手段により得られた平面正則画像を表示する表示手段と、を備えることを特徴とする。

本発明によれば、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得し、歪曲画像から一部分の切出領域を切り出すための切出基準点を設定し、切出基準点に応じて、切出領域を設定し、歪曲画像の撮影の視点を基点として、切出基準点に対応する視線ベクトルを設定し、切出基準点から所定の距離、切出領域を移動させ、視線ベクトルに応じて歪曲画像から平面正則画像に変換する画像変換により、移動された切出領域を変換することによって、１台のカメラにより撮影された歪曲画像から、より自然な画像を生成することができる。

本発明の実施形態に係る画像表示システムの概要構成例を示すブロック図である。 ３次元ＸＹＺ直交座標系において歪曲円形画像Ｓを含む２次元ＸＹ直交座標系と、平面正則画像Ｔを含む２次元ＵＶ直交座標系との関係の一例を示す斜視図である。 ２次元ＸＹ直交座標系と、２次元ＵＶ湾曲座標系との関係の一例を示す斜視図である。 ２次元ＵＶ直交座標系上における点Ｔ（ｕ，ｖ）と２次元ＵＶ湾曲座標系上における点Ｃ（ｕ，ｖ）との対応関係の一例を示す平面図である。 平面正則画像Ｔとオフセット後の平面正則画像Ｔ’との関係、および、切出領域Ｅとオフセット後の切出領域Ｅ’との関係の一例を示す斜視図である。 平面正則画像Ｔとオフセット後の平面正則画像Ｔ’との関係の一例を示す平面図である。 図１の画像表示システムの動作例を示すフローチャートである。 視線ベクトルの向きと、オフセット機能を用いて変換された画像の一例を示す模式図である。 視線ベクトルの向きと、オフセット機能を用いず変換された画像の一例を示す模式図である。 車体の後部に魚眼カメラを備えた一例を示す模式図である。 魚眼カメラで撮影した歪曲円形画像の一例を示す模式図である。 視点ベクトルがレンズの光軸に対して垂直方向を向いている状態で、オフセット後の平面正則画像Ｔ’の一例を示した斜視図である。 パノラマ画像と見下ろし画像とが表示された画面表示の一例を示す模式図である。 視点ベクトルがレンズの光軸に対して水平方向を向いている状態で、オフセット後の平面正則画像Ｔ’の一例を示した斜視図である。 平面正則画像Ｔとオフセット後の平面正則画像Ｔ’との関係の一例を示す平面図である。 車体の前部に魚眼カメラを備えた車がＴ字路で停車している俯瞰図である。 魚眼カメラで撮影した歪曲円形画像の一例を示す模式図である。 複数の平面正則画像が表示された画面表示の一例を示す模式図である。 車体の後部に魚眼カメラを備えた一例を示す模式図である。 複数の平面正則画像が表示された画面表示の一例を示す模式図である。 複数の平面正則画像が表示された画面表示の一例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像表示システムに対して本発明を適用した場合の実施形態である。

［１．画像表示システムの構成および機能の概要］
（１．１ 画像表示システム１の構成および機能）

まず、本発明の一実施形態に係る画像表示システムの構成および概要機能について、図１を用いて説明する。

図１は、本実施形態に係る画像表示システム１の概要構成例を示すブロック図である。

図１に示すように、画像表示システム１（画像表示装置の一例）は、広角レンズまたは全方位ミラーを有するカメラ２と、カメラ２により撮影された画像に対して画像処理を行う画像処理装置１０と、画像処理装置１０の処理に必要なパラメータを入力するパラメータ入力部３と、画像処理装置１０における演算に必要なメモリを有するフレームメモリ４と、画像処理装置１０による画像を表示する表示用モニタ５と、を備えている。

カメラ２は、例えば、正射影方式の魚眼レンズであり、動画の歪曲円形画像（歪曲画像の一例）を出力する。また、カメラ２は、車両の後方等に所定の向きに設置され、運転者の死角をなくすような広範囲な画像を捉える。なお、カメラ２のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は１８０°に限らず、１８０°より大きくても、小さくてもよい。また、カメラ２が撮影する画像は、静止画でもよい。また、カメラ２が、対角線魚眼レンズを有する場合、矩形の歪曲画像を出力する。カメラ２は、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。

パラメータ入力部３は、歪曲円形画像から平面正則画像への画像変換に必要なパラメータの入力を受け付ける。例えば、パラメータ入力部３は、歪曲円形画像の撮影の視点を基点とした視線ベクトルや、歪曲円形画像から切り出す切出領域に対応する平面正則画像のサイズを示すパラメータや、表示させる平面正則画像の倍率等を設定するために必要なパラメータの入力を、ユーザの指示入力に基づいて受け付ける。ここで、平面正則画像とは、歪曲画像の歪みを軽減させため、ある規則に従って、座標変換された平面正則画像である。

フレームメモリ４は、記憶手段の一例として、記憶部はＲＡＭ（Random Access Memory）、ハードディスクまたはシリコンディスク等により構成されている。フレームメモリ４は、カメラ２により撮影された歪曲円形画像や、画像変換の演算途中の画像データや、画像変換された平面正則画像等を記憶する。

表示用モニタ５は、表示手段の一例として、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されているモニタ画面(平面画面)である。表示用モニタ５は、カメラ２により撮影された歪曲円形画像や、画像変換で得られた平面正則画像等を表示する。

画像処理装置１０は、補正係数および対応座標を算出する補正・演算部１１と、歪曲円形画像を平面正則画像に変換して、表示用モニタ５に表示するための平面正則画像を生成する画像生成部１２と、を有する。

補正・演算部１１は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウエアにより構成されている。補正・演算部１１は、画像生成部１２から、任意の座標が与えられた場合、画像変換の対応関係式を用いた演算を実行し、対応座標を算出したり、視線ベクトルに対応した位置から切出領域を移動させた場合の画像変換の対応関係式を用いた演算を実行し、対応座標を算出したりする。なお、画像変換の対応関係式については、画像変換Ｉおよび画像変換ＩＩにおいて説明する。

画像生成部１２は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウエアにより構成されている。画像生成部１２は、歪曲円形画像から平面正則画像への画像変換の演算を行ったり、画像変換により生成された平面正則画像をフレームメモリ４に記憶させたり、読み出したりする。

（１．２ 画像変換Ｉ）
次に、魚眼レンズを有するカメラ２を用いた撮影により得られた歪曲円形画像を、歪みを軽減させた平面正則画像に変換する画像変換Ｉの処理の基本原理について、図２を用いて説明する。

図２に示すように、ＸＹ平面上に形成された歪曲円形画像Ｓは、座標系の原点Ｏを中心とした半径Ｒの円を構成する画像であり、レンズの光軸であるＺ軸の正の領域側における１８０°の画角を有する領域に存在する像を歪ませて記録した歪曲画像である。なお、図２のモデルは、正射影方式の魚眼レンズにより撮影された場合のモデルである。

ここで、歪曲円形画像Ｓから一部分の領域（切出領域Ｅ）を切り出して、画像変換を行い平面正則画像Ｔが得られる。そのため、図２に示すように、歪曲円形画像Ｓからどの領域を切り出すか決めるための切出基準点の一例として、切出中心点Ｐ（ｘ₀，ｙ₀）が設定される。なお、切出基準点は、中心とは限らなくてもよい。

次に、歪曲円形画像Ｓの中心（歪曲画像の撮影の視点の一例）を中心とした仮想球面Ｈが設定される。図２に示すように、歪曲円形画像Ｓ上に設定された切出中心点Ｐ（ｘ₀，ｙ₀）を通り、Ｚ軸（３次元ＸＹＺ直交座標系の座標軸）に平行な直線と仮想球面Ｈとの交点Ｑ（ｘ₀，ｙ₀，ｚ₀）が設定される。歪曲円形画像の中心から交点Ｑ（ｘ₀，ｙ₀，ｚ₀）に向かう視線ベクトル（歪曲画像の撮影の視点を基点として、切出基準点に対応する視線ベクトルの一例）が設定される。

次に、交点Ｑ（ｘ₀，ｙ₀，ｚ₀）において、仮想球面Ｈに接する接平面（視線ベクトルの方向で交差する交点において視線ベクトルと直交する面の一例）が設定され、この接平面上に２次元ＵＶ直交座標系が設定される。

そして、倍率ｍによって２次元ＵＶ直交座標系を視線ベクトルｎに直交するように平行移動させ、平面正則画像Ｔを２次元ＵＶ直交座標系上の画像として求める。２次元ＵＶ直交座標系は、点Ｇ（ｘ_g，ｙ_g，ｚ_g）が原点となるように設定されている。倍率ｍにより、仮想球面の半径が変動し、平面正則画像Ｔの面が、仮想球面の半径を変動させた仮想球面に接する面（視線ベクトルの方向で交差する交点において視線ベクトルと直交する面）となる。ここで、倍率ｍは、座標値（ｕ，ｖ）のスケーリングと座標値（ｘ，ｙ）のスケーリングとの関係を示すものである。従って、２点ＯＧ間の距離はｍ・Ｒに設定されている。なお、パラメータである倍率ｍは、パラメータ入力部３から入力されてもよいし、予め設定されておいてもよい。また、図２に示すように、倍率ｍが１より大きい場合、平面正則画像Ｔは、仮想平面Ｈの外側になる。倍率が１より小さい場合、平面正則画像Ｔの視線ベクトルの方向で交差する点Ｇは、仮想平面Ｈの内側になる。

点Ｇ（ｘ_g，ｙ_g，ｚ_g）の位置は、方位角αと天頂角βによって特定することができる。さらにＵＶ座標系を決定するために、Ｕ軸とＪ軸（回転基準軸）のなす角度を平面傾斜角φと定義する。なお、ＸＹ座標系の原点ＯからＵＶ座標系の原点Ｇへ向かう方向のベクトルが視線ベクトルｎである。また、パラメータである方位角α、天頂角β、および平面傾斜角φは、パラメータ入力部３から入力されてもよいし、予め設定されておいてもよい。

ここで、ＸＹ座標系上に定義された歪曲円形画像Ｓ上の切出中心点Ｐ（ｘ₀，ｙ₀）を中心とした切出領域内の歪曲画像を切り出して変形し、ＵＶ座標系上に平面正則画像Ｔを得るための対応関係式は、次の式（１）から（９）に示される。

この対応関係式に基づく変換演算で得られる平面正則画像は、水平方向の歪が小さいが垂直方向の歪が大きい。

（１．３ 画像変換ＩＩ）
次に、魚眼レンズを有するカメラ２を用いた撮影により得られた歪曲円形画像を、歪みを軽減させた平面正則画像に変換する画像変換ＩＩの処理の基本原理について、図３および図４を用いて説明する。なお、画像変換ＩＩは、特開２０１０−６２７９０に開示されている技術である。

図２のモデルでは、ＵＶ座標系は、点Ｇ（ｘ_g，ｙ_g，ｚ_g）を通り、視線ベクトルｎに直交する平面上に設定されているのに対し、図３に示すようなモデルでは、この平面上に定義されたＵＶ座標系を円柱側面に沿って湾曲させている。

従って、図３のモデルでは、２次元ＵＶ湾曲座標系(円柱側面上の座標系)上に湾曲した平面正則画像Ｃが得られることになる。

図３に破線で示す平面正則画像Ｔは図２の平面正則画像Ｔと同じものであり、平面正則画像Ｃは、この平面正則画像Ｔを湾曲させた画像に相当し、円柱側面に沿った曲面上の画像になる。

２次元湾曲座標系も、Ｕ軸とＹ軸とを有する２次元の座標系であり、平面正則画像Ｃ内の任意の１点が(ｕ，ｖ)なる座標で示される点は通常の平面上の２次元座標系の場合と同じである。この２次元湾曲座標系は、点Ｇを原点とし、視線ベクトルｎに直交する平面上に配置された２次元ＵＶ直交座標系を、仮想円柱の側面に沿って湾曲させることにより設定された座標系である。

従って、画像変換ＩＩでは、円柱側面上に定義された２次元ＵＶ湾曲座標系上に平面正則画像Ｃを求め、この平面正則画像Ｃを示す画素配列データを用いて、通常のモニタ画面(平面画面)に画素表示を行う。

ここで、２次元ＵＶ直交座標系上の座標(ｕ，ｖ)と２次元ＸＹ直交座標系上の座標(ｘ，ｙ)との対応関係を示す対応関係式を説明する。

図４は、２次元ＵＶ直交座標系(座標面は図４中のＴになる)と、これを湾曲することにより得られる２次元ＵＶ湾曲座標系(座標面は図４中のＣになる)との位置関係を示す側面図である。

図４に示すように、２次元ＵＶ直交座標系における点Ｔ（ｕ，ｖ）と２次元ＵＶ湾曲座標系における点Ｃ（ｕ，ｖ）があり、太線の線分Ｄと線分Ａは同じ長さである。いずれも座標（ｕ，ｖ）で表されている点であるが、異なる座標系で設定された点であるため、ＸＹＺ３次元直交座標系で示される空間上の位置は異なっている。ＸＹＺ３次元直交座標系で考えると点Ｔ（ｕ，ｖ）は、点Ｔ（ｕ，ｖ，ｗ）となるのに対して、点Ｃ（ｕ，ｖ）の座標値はＣ（ｕ’，ｖ，ｗ’）になる。従って、ｕ’、ｖ’と、ｕ，ｖとの関係は、式（１０）から式（１２）で表すことができる。

この式（１０）から式（１２）を、式（１）から式（９）に適用することにより、ＵＶ座標系上に平面正則画像Ｃを得るための対応関係式は、次の式（１’）および（２’）に示される。

このように、式(１)および式（２）における変数ｕの代わりに式（１１）に示す変数ｕ’を用い、変数ｗの代わりに式（１２）に示す変数ｗ’を用い式(１’)、（２’）に代入することで、２次元ＸＹ直交座標系における対応座標（ｘ，ｙ）が算出される。

画像変換ＩＩは、画像変換Ｉに対して、左右輪郭近傍の歪が大幅に改善される。水平パニングを行う（パノラマ映像を撮影する）ような場合でも、滑らかなパニング映像を得ることができる。従って、画像変換ＩＩは、画像の右端や左端に位置する人物の細かな特徴を把握することに適している。

（１．４ 平面正則画像のオフセット）
次に、視点ベクトルｎを変えずに、２次元ＵＶ直交座標系上に平面正則画像を表示するオフセット機能について図５および図６を用いて説明する。なお、便宜上、まず画像変換Ｉの例を用いて、オフセット機能について説明する。

図５に示すように、歪曲円形画像Ｓから切出領域Ｅの切出中心点Ｐ（ｘ₀，ｙ₀）を指定し、方位角α、天頂角βの値が得られ、式（１）から式（９）に示されている対応関係式を用いて、切出領域Ｅを画像変換して平面正則画像Ｔが得られる。なお、図５には、破線で示されている切出領域Ｅを画像変換して、破線で示されている平面正則画像Ｔを得るモデルが示されている。

さらに、図５に示すように、切出中心点Ｐ（ｘ₀，ｙ₀）を変えずに視点ベクトルｎの向きを一定とし、画像変換を開始する点を移動させるオフセットを加えることにより、切出領域Ｅ’を画像変換した平面正則画像Ｔ’が得られる。なお、図５には、実線で示されている切出領域Ｅ’を画像変換し、実線で示されている平面正則画像Ｔ’を得るモデルも示されている。

また、図５および図６に示すように、平面正則画像Ｔにおいて、点Ｇ（ｘ_g，ｙ_g，ｚ_g）を原点とし、歪曲円形画像Ｓに含まれる切出領域Ｅの画像変換を開始する点を、点Ｔｓ（ｕ_s，ｖ_s）とする。この画像変換を開始する点Ｔｓ（ｕ_s，ｖ_s）にＵ軸方向とＶ軸方向にオフセットを加え、画像変換を開始する点を変えることで平面正則画像Ｔ’が得られる。オフセットを加えた平面正則画像Ｔ’の画像変換を開始する点は、点Ｔｓ’（ｕ_s’，ｖ_s’）となる。また平面正則画像Ｔ’は視線ベクトルｎに垂直な平面である。

画像変換Ｉに対してオフセット機能を適用した場合、対応関係式は、式（１３）および式（１４）に示すようになる。

ここで、２次元ＵＶ座標上の画像変換を開始する点Ｔｓ（ｕ_s，ｖ_s）にオフセット値ｕ_os，ｖ_osがそれぞれ加えられる。ｕ_s’＝ｕ_s＋ｕ_osおよびｖ_s’＝ｖ_s＋ｖ_osとなる。

次に、画像変換ＩＩに対してオフセット機能を適用した場合の対応関係式を示す。

２次元ＵＶ湾曲座標上の画像変換を開始する点にオフセット値ｕ_os，ｖ_osがそれぞれ加えられた場合、式（１０）から式（１２）に対応して、式（１５）から式（１７）が得られる。

そして、対応関係式は、式（１８）および式（１９）に示すようになる。

このように画像変換Ｉまたは画像変換ＩＩに対してオフセットを適用することにより、画像変換を開始する点から順次走査で座標の値が変化して平面正則画像を得ることができる。

なお、画像変換Ｉまたは画像変換ＩＩにおいて、非正射影方式の魚眼レンズによって撮影された非正射影画像である場合には、正射影画像上の座標と非正射影画像上の座標との間の座標変換式を用いて、切出中心点Ｐの座標を補正し、補正後の点を通りＺ軸に平行な直線と前記仮想球面との交点Ｑを定義し、前記原点Ｏを基点として交点Ｑを通るベクトルを視線ベクトルｎとすればよい。

また、画角が１８０°より小さい場合、仮想球面Ｈの半径は、画角１８０°に設定され、歪曲円形画像の半径より大きくなる。画角が１８０°より大きい場合、仮想球面Ｈの半径は、画角１８０°に設定されているので、１８０°以上の画角の部分の歪曲円形画像は、仮想球面Ｈの中心に折り返した形で設定される。

［２．画像表示システムの動作］
次に、本発明の１実施形態に係る画像表示システムの動作について図７から図１７を用いて説明する。

図７に示すように、画像処理装置１０が歪曲円形画像を取得する（ステップＳ１）。具体的には、画像処理装置１０の画像生成部１２が、カメラ２が撮影した歪曲円形画像Ｓを、カメラ２から取得する。そして、画像処理装置１０の画像生成部１２が、歪曲円形画像Ｓを表示用モニタ５に表示させる。ここで、カメラ２の向きは、図８に示すように、水平方向とする。カメラ２の斜め下にあるベンチに、３人の人間が並んで座っている画像を、カメラ２が撮影しているとする。なお、画像処理装置１０は、歪曲円形画像の半径Ｒを、歪曲円形画像Ｓから求めたり、パラメータ入力部３から取得したりする。このように、画像処理装置１０は、広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段の一例として機能する。

次に、画像処理装置１０が、歪曲円形画像に切出領域の切出中心点を設定する（ステップＳ２）。具体的には、表示用モニタ５を見ているユーザによりパラメータ入力部３に、歪曲円形画像Ｓにおける切出領域の切出中心点の座標が入力される。そして、画像生成部１２が、パラメータ入力部３から切出領域の切出中心点の座標の情報を取得し、歪曲円形画像Ｓに切出領域Ｅの切出中心点を設定する。このように、画像処理装置１０は、歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段の一例として機能する。

次に、画像処理装置１０が、仮想球面の中心を基点として切出中心点に対応する視点ベクトルを設定する（ステップＳ３）。図５に示すように、切出中心点Ｐ（ｘ₀，ｙ₀）が設定されることにより、方位角α、および、天頂角βが定まる。方位角α、および、天頂角βが定まることは、視点ベクトルの方向が設定されることになる。また、視点ベクトルｎが設定されることは、式（３）から式（８）のＡからＦが設定され、対応関係式（１）および（２）が定まることに相当する。なお、平面傾斜角φ＝０としておくと、式（３）から式（８）のＡからＦが設定される。また、視点ベクトルｎの長さは、ＯＧ間の距離ｍ・Ｒでもよい。また、平面傾斜角φの値は、パラメータ入力部３によりユーザが指定できるようにしておいてもよい。

図５に示す場合は、切出中心点Ｐ（ｘ₀，ｙ₀）が設定され、方位角α、天頂角βが定まり、視点ベクトルｎが設定される。この視点ベクトルｎは、仮想球面Ｓの中心Ｏを基点として、切出中心点Ｐ（ｘ₀，ｙ₀）からＺ軸に平行に伸びる直線と仮想球面Ｈと交差する交点（ｘ₀，ｙ₀，ｚ₀）に向かう方向に設定される。

図８に示す場合は、切出領域Ｅの切出中心点は、歪曲円形画像Ｓの中心Ｏに設定され、方位角α＝０、天頂角β＝０が定まり、視点ベクトルｎは、水平方向になる。

画像処理装置１０の画像生成部１２が、パラメータ入力部３に入力された切出中心点の座標値から、視点ベクトルｎの方向を設定する。すなわち、画像処理装置１０の画像生成部１２が、方位角α、および、天頂角βを、パラメータ入力部３に入力された切出中心点の座標値から設定する。なお、ユーザがパラメータ入力部３に方位角α、および、天頂角βのパラメータの値を入力して、切出中心点が設定されるようにしてもよい。

このように画像処理装置１０は、歪曲画像の撮影の視点を基点として、切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段の一例として機能する。また、画像処理装置１０は、仮想球面の中心から、歪曲画像を含む平面と直交して切出基準点を通過する直線と、仮想球面とが交差する交点に向く視線ベクトルを設定する視線ベクトル設定手段の一例として機能する。また、画像処理装置１０は、視線ベクトルを特定するパラメータの入力を受け付けて、視線ベクトルを設定する視線ベクトル設定手段の一例として機能する。

次に、画像処理装置１０が、視点ベクトルに基づき、切出領域に対応する平面正則画像の領域を設定する（ステップＳ４）。具体的には、ユーザがパラメータ入力部３を操作して、切出領域Ｅに対応する平面正則画像Ｔのサイズおよび倍率ｍが指定される。そして、画像生成部１２が、パラメータ入力部３から指定された平面正則画像Ｔのサイズの情報を取得し、視点ベクトルｎに基づき、２次元ＵＶ直交座標系における平面正則画像Ｔを設定する。このとき、オフセットを加える前の画像変換を開始する点Ｔｓ（ｕ_s，ｖ_s）も設定される。なお、図８に示す場合は、表示用モニタ５に出力される平面正則画像２０に対応した平面正則画像Ｔのサイズが設定される。なお、画像変換ＩＩの２次元ＵＶ湾曲座標系の場合、平面正則画像Ｔは、平面正則画像Ｃとする（以下同様）。

このように画像処理装置１０は、切出基準点に応じて、切出領域を設定する切出領域設定手段の一例として機能する。また、画像処理装置１０は、視線ベクトルの方向で交差する交点において、視線ベクトルと直交する面内に、切出領域に対応する平面正則画像の領域を設定する切出領域設定手段の一例として機能する。

次に、画像処理装置１０が、平面正則画像の領域のオフセット開始位置を取得する（ステップＳ５）。具体的には、ユーザがパラメータ入力部３を操作して、平面正則画像Ｔをどの方向に、どのくらいの距離、移動させて、オフセットを行いたいかが指定される。そして、画像生成部１２が、パラメータ入力部３から指定されたオフセットに関する情報を取得し、平面正則画像の領域のオフセット開始位置を設定する。さらに具体的には、画像生成部１２が、オフセットを加えた平面正則画像Ｔ’の画像変換を開始する点Ｔｓ’（ｕｓ’，ｖｓ’）を設定する。なお、対応関係式（１）（２）、対応関係式（１’）（２’）、対応関係式（１３）（１４）、および、対応関係式（１８）（１９）のいずれの画像変換の式を適用するかの情報を、パラメータ入力部３を介して、画像生成部１２は取得しておく。

このように画像処理装置１０は、切出基準点から所定の距離、前記切出領域を移動させるオフセット手段の一例として機能する。また、画像処理装置１０は、視線ベクトルと直交する面内において、設定された平面正則画像の領域を移動させるオフセット手段の一例として機能する。

次に、画像処理装置１０が、視線ベクトルに応じて、平面正則画像の領域の各点に対応する歪曲円形画像の画素値を求める（ステップＳ６）。具体的には、画像処理装置１０の画像生成部１２が、視線ベクトルに対応する方位角α、天頂角β、および、倍率ｍに関するデータと、歪曲円形画像の半径Ｒのデータと、平面傾斜角φのデータとを、補正・演算部１１に送信する。補正・演算部１１は、受信した方位角α、天頂角β、平面傾斜角φ、倍率ｍ、および、半径Ｒから、式（１３）および式（１４）を適用して、値Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、および、ｗを算出して、設定する。さらに、画像生成部１２が、対応関係式（１）（２）、対応関係式（１’）（２’）、対応関係式（１３）（１４）、および、対応関係式（１８）（１９）のいずれの変換を行うかの情報を補正・演算部１１に送信する。さらにまた、オフセット機能を使用する場合、画像処理装置１０の画像生成部１２が、オフセット開始位置（点Ｔｓ’（ｕ_s’，ｖ_s’））に関するデータ（オフセット値ｕ_os，ｖ_osのデータ）を補正・演算部１１に送信する。そして、平面正則画像Ｔまたは平面正則画像Ｔ’の座標値に基づき、対応関係式（１）（２）、対応関係式（１’）（２’）、対応関係式（１３）（１４）、および、対応関係式（１８）（１９）に応じて、すなわち、視線ベクトルに応じて、歪曲円形画像の画素値が計算できるようになる。

そして、画像生成部１２が、画像変換を開始する点Ｔｓ’（ｕｓ’，ｖｓ’）から、平面正則画像Ｔ’を一画素分ずつ平面正則画像の領域をスキャンして、順に、当該画素の座標のデータを補正・演算部１１に送信する。補正・演算部１１は、対応関係式（１）（２）、対応関係式（１’）（２’）、対応関係式（１３）（１４）、および、対応関係式（１８）（１９）に応じて、平面正則画像Ｔ’に対応する歪曲円形画像Ｅ’の画素値を順次演算する。なお、図８に示す場合は、画像変換ＩＩに対してオフセット機能を適用した場合の対応関係式（１８）（１９）を利用した場合である。なお、スキャンの方向は、ｕ方向、ｖ方向どちらでもよい。

次に、画像処理装置１０が、求めた歪曲円形画像の画素値を平面正則画像の画素値とする（ステップＳ７）。具体的には、画像処理装置１０の画像生成部１２が、補正・演算部１１により演算された歪曲円形画像Ｅ’の画素値を順次取得する。そして、画像生成部１２が、取得した画素値に応じて、平面正則画像Ｔ’の位置に、歪曲円形画像Ｅ’の画素値をプロットして平面正則画像を生成する。

このように画像処理装置１０は、視線ベクトルに応じて歪曲画像から平面正則画像に変換する画像変換により、移動された切出領域を変換する画像変換手段の一例として機能する。また、画像処理装置１０は、視線ベクトルに応じて、移動された平面正則画像の領域の各点に対応する歪曲画像の画素値を求め、当該求めた歪曲画像の画素値を平面正則画像の画素値とする画像変換手段の一例として機能する。

このように画像処理装置１０は、画像変換Ｉおよび画像変換ＩＩの対応関係式を設定することにより、歪曲画像の中心を中心とした仮想球面を設定する仮想球面設定手段の一例として機能する。

次に、画像処理装置１０が、平面正則画像を表示する（ステップＳ８）。具体的には、画像処理装置１０の画像生成部１２が、生成した平面正則画像を表示モニタ５に送信し、表示モニタ５に平面正則画像が表示される。図８の場合は、平面正則画像２０が表示モニタ５に表示される。図８に示すように、平面正則画像２０において、平面正則画像２０の端に写っている人物も、図中ほぼ垂直方向に撮影されている。

なお、図９に示すように、視線ベクトルｎの向きを見下ろした状態にすると、平面正則画像２１の端に写っている人物や椅子が、斜めに傾いていて撮影されている。

カメラ２が動画を撮影する場合、画像処理装置１０は、各フレーム画像において、上記手順を繰り返し、動画の平面正則画像を生成し、表示モニタ５に表示させる。

次に、カメラ２の設定の変形例、および、平面正則画像の表示の仕方について図１０から図１８を用いて説明する。

まず、図１０から図１５を用いて、切出基準点が複数設定された例について説明する。
図１０に示すように、本実施形態では、車体に後方確認用カメラとして、カメラ２が水平向きに取り付けられている。

図１１に示すように、車体の後部に魚眼カメラを備えた車が後方駐車する時に、画像処理装置１０は、カメラ２で撮影した歪曲円形画像の原画像を取得する（ステップＳ１）。

そして、見下ろし画像等を表示するため、画像処理装置１０は、図１２に示すように車体に対して垂直方向に切出中心点を設定する（ステップＳ２）。図１１に示すように、歪曲円形画像に対して切出中心点Ｐ１が設定される。

この場合、方位角α＝０°および天頂角β＝９０°となり、視点ベクトルｎはＸ軸の向きになる（ステップＳ３）。そして、画像処理装置１０は、平面正則画像Ｔ’のサイズを設定する（ステップＳ４）。

次に、図１０に示すように、車体のバンパーの部分が表示されないように画像の表示位置を調整したい場合は、画像処理装置１０は、図１２に示すように、視点ベクトルｎをレンズの光軸（Ｚ軸）に対して垂直方向に固定した状態で、平面正則画像Ｔから平面正則画像Ｔ’の位置にＺ軸方向に移動させるオフセットを設定する（ステップＳ５）。そして、画像処理装置１０は、画像変換Ｉを適用して、すなわち、対応関係式（式（１３）および（１４））を適用して、見下ろし画像としての平面正則画像Ｔ’を生成する（ステップＳ６、Ｓ７）。

次に、図１３に示すように、画像処理装置１０は、見下ろし画像２６を表示用モニタ５の画像２５の下側に表示させる（ステップＳ８）。

次に、表示用モニタ５の画像２５のパノラマ画像２７に関して、画像処理装置１０は、図１４に示すように、切出中心点を車体に対して水平方向に設定する（ステップＳ２）。図１１に示すように、歪曲円形画像に対して切出中心点Ｐ２が設定される。

この場合、方位角α＝０°および天頂角β＝０°となり、視点ベクトルｎはＺ軸の向きになる（ステップＳ３）。そして、画像処理装置１０は、パノラマ画像用に平面正則画像Ｔ’のサイズを設定する（ステップＳ４）。

次に、パノラマ画像の画像表示位置を、オフセット機能により調整したい場合は、画像処理装置１０は、図１５に示すように、視点ベクトルｎをレンズの光軸に固定した状態で、平面正則画像Ｔから平面正則画像Ｔ’の位置に２次元ＵＶ座標系上で、例えば、Ｘ軸方向に移動させるオフセットを設定する（ステップＳ５）。そして、画像処理装置１０は、画像変換ＩＩを適用して、すなわち、対応関係式（式（１８）および（１９））を適用して、パノラマ画像２７としての平面正則画像Ｔ’を生成する（ステップＳ６、Ｓ７）。

次に、図１３に示すように、画像処理装置１０は、パノラマ画像２７を表示用モニタ５の画像２５の上側に表示させる（ステップＳ８）。

次に、図１６から図１８を用いて、切出基準点が複数設定された例について説明する。
図１６は、車体の前部にカメラ２を備えた車がＴ字路で停車している俯瞰図を示している。

図１６に示すように、車体の前方確認用カメラとして、カメラ２が水平向きに取り付けられている。

車体の前部にカメラ２を備えた車がＴ字路で停車したときに、図１７に示すように、画像処理装置１０は、カメラ２で撮影した歪曲円形画像の原画像を取得する。

次に、図１８に示すように、画像３０のパノラマ画像３１を生成するために、画像処理装置１０は、歪曲円形画像に対して切出中心点Ｐ３を設定し、パノラマ画像３１用の平面正則画像のサイズを設定する。そして、画像処理装置１０は、図１７中の矢印の方向に、オフセットさせ、画像変換ＩＩにより、パノラマ画像３１を生成する。なお、パノラマ画像３１は、図１７中、歪曲円形画像の点線分を画像変換してパノラマ表示した画像である。

次に、画像３０の部分拡大画像３２を生成するために、画像処理装置１０は、歪曲円形画像に対して切出中心点Ｐ３を設定し、部分拡大画像３２用の平面正則画像のサイズを設定する。そして、画像処理装置１０は、図１７中の矢印の方向に、オフセットさせ、画像変換Ｉまたは画像変換ＩＩにより、部分拡大画像３２を生成する。

次に、画像３０の部分拡大画像３３を生成するために、画像処理装置１０は、歪曲円形画像に対して切出中心点Ｐ４を設定し、部分拡大画像３３用の平面正則画像のサイズを設定する。そして、画像処理装置１０は、図１７中の矢印の方向に、オフセットさせ、画像変換Ｉまたは画像変換ＩＩにより、部分拡大画像３２を生成する。

以上、本実施形態によれば、広角レンズまたは全方位ミラーを用いたカメラ２に撮影された歪曲円形画像（歪曲画像の一例）Ｓを取得し、歪曲円形画像Ｓから一部分の切出領域を切り出すための切出中心点Ｐ（切出基準点の一例）を設定し、切出中心点Ｐに応じて、切出領域Ｅを設定し、歪曲円形画像Ｓの撮影の視点を基点として、切出中心点Ｐに対応する視線ベクトルｎを設定し、切出中心点Ｐから所定の距離、切出領域Ｅを移動させ、視線ベクトルｎに応じて歪曲円形画像Ｓから平面正則画像Ｔ、Ｃに変換する画像変換（対応関係式（１）（２）、対応関係式（１’）（２’）、対応関係式（１３）（１４）、および、対応関係式（１８）（１９））により、移動された切出領域Ｅ’を変換することによって、１台のカメラにより撮影された歪曲画像から、より自然な画像を生成することができる。

特に、視線ベクトルｎを固定した状態で切出領域を移動させるオフセット機能により、画像変換の様々な対応関係式に応じて、より自然な平面正則画像を得ることができる。例えば、図８に示すように、歪曲円形画像の中心から離れたところで、パノラマ風の平面正則画像をより自然に生成できる。従って、車両に対して水平の向きに設置されたカメラにより歪曲円形画像を得た場合でも、より自然な画像を生成するので、ユーザは地面方向の障害物等の物体の状況が確認しやすくなる。特に、画像変換ＩＩを用いた場合、車体等に対して水平方向の物体が認識されやすくなる。

また、画像処理装置１０は、１台のカメラ２により撮影された歪曲円形画像から、平面正則画像を生成しているので、画像を合成する必要がない。さらに、１台のカメラ２により撮影された歪曲円形画像から、平面正則画像を生成できるので、コストを下げることができる。

また、図８に示すように、視線ベクトルｎを水平方向に固定し、オフセット機能を使用して撮影した場合と、図９に示すように、オフセット機能を使用せず、視線ベクトルｎを人物の方に向けて撮影した場合とを比較すると、図９の平面正則画像２１では、視点ベクトルｎの向きが見下ろした状態になっているため、人物や椅子の垂直方向が斜めに傾いており違和感のある画像になっている。一方、図８の平面正則画像２０では、視点ベクトルｎの向きが水平方向を向いている状態になっており、人物や椅子の垂直方向が傾いておらず、違和感のない画像となる。従って、人物が垂直に表示されているため、平面正則画像２０から人物を容易に検出することができ、画像認識がしやすくなる。また、外側部分(輪郭近傍)の歪が軽減し、人物の細かな特徴を確認しやすくなる。従って人間の目から見て距離感覚を認識することや物体を判断することが容易になる。

また、一般的な後方確認用カメラの場合、見下ろし画像を表示するために、カメラを車体に対して水平方向から垂直方向に向かって程度傾けて設置する必要があったが、後方確認用カメラの取り付け角度に制限が緩和され、視野範囲が広げることができる。

また、歪曲画像の一例の歪曲円形画像Ｓの中心Ｏを中心とした仮想球面Ｈを設定し、仮想球面Ｈの中心から、歪曲画像を含む平面と直交して切出基準点を通過する直線と、仮想球面Ｈとが交差する交点Ｑに向く視線ベクトルｎを設定する場合、歪みが軽減された平面正則画像を得ることができる。また、上記の画像変換Ｉや画像変換ＩＩの対応関係式が算出しやすくなる。

また、視線ベクトルｎを特定するパラメータの入力を受け付けて、視線ベクトルを設定し、視線ベクトルｎの方向で交差する交点Ｑにおいて、視線ベクトルｎと直交する面内に、切出領域Ｅに対応する平面正則画像Ｔの領域を設定し、視線ベクトルと直交する面内において、設定された平面正則画像Ｔの領域を移動させ、視線ベクトルｎに応じて、移動された平面正則画像Ｔ’の領域の各点に対応する歪曲画像の画素値を求め、当該求めた歪曲画像の画素値を平面正則画像Ｔ’の画素値とする場合、歪みが軽減された平面正則画像を得ることができる。また、オフセット機能を有する画像変換Ｉや画像変換ＩＩの対応関係式が算出しやすくなる。

また、視線ベクトルｎの方向で交差する交点Ｑにおいて、視線ベクトルと直交する面が、円柱の面Ｃである場合、歪みが軽減されたパノラマ画像の平面正則画像を得ることができる。

また、各視線ベクトルに応じた切出領域を設定し、各切出領域を平面正則画像に変換し、画像変換手段が求めた各平面正則画像を１つの表示手段に表示する場合、用途に応じて、画像変換Ｉおよび画像変換ＩＩとオフセット機能を組み合わせた、歪曲画像の様々な方向における高精度の平面正則画像を、組み合わせて表示させることができる。

例えば、図１３や図１８に示すように、画像変換Ｉと画像変換ＩＩの平面正則画像を併用して画像を表示することが可能なる。図１３に示すように、パノラマ画像２７により、右端、左端の物体や人物を正確に確認しやすくなり、見下ろし画像２６により、駐車時の縁石や障害物を確認できるやすくなる。

なお、図１９に示すように、カメラ２が、車体の後部に、レンズの光軸が車体に対して垂直になるように設定されてもよい。この場合、図１３の見下ろし画像２６を表示させるためには、視点ベクトルｎを、光軸方向にして、オフセット機能を利用しない、画像変換Ｉか画像変換ＩＩの対応関係式を用いてもよい。また、バンパーが入らないように、オフセット機能を利用してもよいし、視点ベクトルｎの方向を変えてもよい。さらに、図１３のパノラマ画像２７を表示させるためには、視点ベクトルｎを、光軸方向にして、オフセット機能により、平面正則画像Ｔ’を水平方向に移動させ、画像変換ＩＩの対応関係式を用いてもよい。

また、図２０に示すように、バスの運転席の上部にカメラ２を設置して、客席の方向の画像３４と、運転席を見下ろす画像３５とを、表示させるようにしてもよい。１台のカメラでバス車内全体の様子が把握しやすくなる。これらの画像を画像認識に使用すると、人の認識や、車内の人数の把握、顔の認識がしやすくなる。

また、図２１に示すように、ＡＴＭ（Automatic teller machine）の上部にカメラ２を設置して、ＡＴＭの利用者の方向を向く画像３６と、ＡＴＭの入力部分を見下ろす画像３７とを、表示させるようにしてもよい。１台のカメラで、ＡＴＭの利用者の様子や、操作の様子が把握しやすくなる。これらの画像を画像認識に使用すると、顔の認識や、操作の認識がしやすくなる。

なお、画像表示システム１や画像処理装置１０により行われる処理は、ＣＰＵ（Central Processing Unit）を有するコンピュータでもよい。コンピュータにより、画像変換Ｉ、画像変換ＩＩ、オフセット機能等の演算が行われる。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：画像表示システム（画像表示装置）
２：カメラ
３：パラメータ入力部
４：フレームメモリ
５：表示用モニタ（表示手段）
１０：画像処理装置
１１：補正・演算部
１２：画像生成部
Ｓ：歪曲円形画像（歪曲画像）
Ｐ：切出中心点（切出基準点）
Ｅ、Ｅ’：切出領域
ｎ：視線ベクトル
Ｔ、Ｔ’、Ｃ：平面正則画像
Ｈ：仮想球面

Claims (8)

1. 広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段と、
   前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、
   前記切出基準点に応じて、切出領域を設定する切出領域設定手段と、
   前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段と、
   前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段と、
   前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記歪曲画像の中心を中心とした仮想球面を設定する仮想球面設定手段を更に備え、
   前記視線ベクトル設定手段が、前記仮想球面の中心から、前記歪曲画像を含む平面と直交して前記切出基準点を通過する直線と、前記仮想球面とが交差する交点に向く視線ベクトルを設定することを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記視線ベクトル設定手段が、前記視線ベクトルを特定するパラメータの入力を受け付けて、前記視線ベクトルを設定し、
   前記切出領域設定手段が、前記視線ベクトルの方向で交差する交点において前記視線ベクトルと直交する面内に、前記切出領域に対応する前記平面正則画像の領域を設定し、
   前記オフセット手段が、前記視線ベクトルと直交する面内において、前記設定された平面正則画像の領域を移動させ、
   前記画像変換手段が、前記視線ベクトルに応じて、前記移動された平面正則画像の領域の各点に対応する前記歪曲画像の画素値を求め、当該求めた前記歪曲画像の画素値を前記平面正則画像の画素値とすることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記視線ベクトルと直交する面が、円柱の面であることを特徴とする画像処理装置。
5. 請求項１から４のいずれか１項に画像処理装置において、
   前記視線ベクトル設定手段が、複数の視線ベクトルを設定し、
   前記切出領域設定手段が、各視線ベクトルに応じた切出領域を設定し、
   前記画像変換手段が、前記各切出領域を平面正則画像に変換し、
   前記画像変換手段が求めた各平面正則画像を１つの表示手段に表示することを特徴とする画像処理装置。
6. 画像処理装置が画像を処理する画像処理方法であって、
   広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得ステップと、
   前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定ステップと、
   前記切出基準点に応じて、切出領域を設定する切出領域設定ステップと、
   前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定ステップと、
   前記切出基準点から所定の距離、前記切出領域を移動させるオフセットステップと、
   前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータを、
   広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段、
   前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、
   前記切出基準点に応じて、切出領域を設定する切出領域設定手段、
   前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段、
   前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段、および、
   前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段として機能させる画像処理装置用プログラム。
8. 広角レンズまたは全方位ミラーを用いた撮影により得られた歪曲画像を取得する歪曲画像取得手段と、
   前記歪曲画像から一部分の切出領域を切り出すための切出基準点を設定する切出基準点設定手段と、
   前記切出基準点に応じて、切出領域を設定する切出領域設定手段と、
   前記歪曲画像の撮影の視点を基点として、前記切出基準点に対応する視線ベクトルを設定する視線ベクトル設定手段と、
   前記切出基準点から所定の距離、前記切出領域を移動させるオフセット手段と、
   前記視線ベクトルに応じて前記歪曲画像から平面正則画像に変換する画像変換により、前記移動された切出領域を変換する画像変換手段と、
   前記画像変換手段により得られた平面正則画像を表示する表示手段と、
   を備えることを特徴とする画像表示装置。

Images