JP2007013791A - 画像処理装置及びその方法並びに撮像装置 - Google Patents

Abstract

【課題】 魚眼像を透視投影方式の画像に変換するときの画像の劣化を効果的に抑えること。
【解決手段】 画像処理装置１は、魚眼ズーム光学系を用いて撮像された魚眼像の射影方式を変換する魚眼像をディジタル化する（ステップＳ２０３）。次いで、ディジタル化された魚眼像上の位置に応じて該ディジタル化された魚眼像の周波数特性を変更する。次いで、魚眼ズーム光学系の焦点距離に基づいて、周波数特性が変更された魚眼像を透視投影方式の画像に変換する（ステップＳ２０４）。
【選択図】 図２

Description

本発明は、画像処理装置及びその方法並びに撮像装置に関し、特に、超広視野を実現する魚眼ズーム光学系を用いて撮像された撮影像に画像処理を施す手法に関する。

魚眼光学系や全方位光学系などに代表される超広視野画像は、監視・遠隔操作、ＴＶ会議、医療用内視鏡など様々な分野で利用されており、その特殊な画像効果そのものを楽しむなど、一般的に用いられている。その特徴は、画角１８０度以上の超広視野画像を特殊な射影方式により撮像装置受光面の有限領域に投影可能な点である。また、一般的な透視投影方式で撮像する撮像装置では理論的に撮像できないような超広視野画像を撮像できる点である。

しかしながら、一般的に、超広視野画像を撮像するため魚眼光学系などの特殊な射影方式は、撮影像の被写体形状を歪ませている。そのため、人間が観察する観点では本来の被写体形状との相違が著しく視認性を悪くしている。

これに対し、特許文献１では、ディスプレイモニタに撮影像を表示する前に射影方式変換を行い、透視投影像に変換した後に表示を行っている。しかしながら、空間周波数成分が高い領域が存在する場合、魚眼像を射影方式変換するような幾何変換処理によって、モアレ縞など視覚的に不快な低周波パターンが発生することが知られている。このため、特許文献１では、魚眼像の変換画像に対して２次元重畳フィルタによるフィルタ処理を施した後に表示している。

同様に、２次元ビデオ画像に対して３次元的な効果を与える幾何変換処理があり、様々な映像製作現場において利用されている（非特許文献１）。２次元画像に対する幾何変換を行う場合は、一般的に幾何変換を施す前にローパスフィルタ（ＬＰＦ）処理を行う。これによって、幾何変換の際に発生するモアレ縞などの低周波パターンによる画質劣化を抑制している。また、表示光学系に関する公知技術として特許文献２がある。特許文献２では、表示光学系の持つ画質劣化要因を相殺するように、予め表示画像を歪ませている。そして、表示光学系を通して表示することによって、表示光学系の持つ画質劣化要因が相殺された画像を観察している。
特許第３０５１１７３号（第３ページ右３１行目〜３３行目、および第１図８・画像フィルタ） 特開平９−６１７５０号公報（段落番号００５０〜００５３及び図９） 「Ｃ言語で学ぶ実践画像処理」オーム社（１９９２年）、ｐ．１４４ 川又、樋口、"ディジタル信号処理"、昭晃堂（２０００）、第９章 貴家、"よくわかるディジタル画像処理"、ＣＱ出版（１９９６）、第５章

しかしながら、特許文献１では、魚眼光学系で取得された魚眼像に対して２次元重畳フィルタによるフィルタ処理を施した後に表示を行っている。ここでは、一般的な２次元ビデオ画像の幾何変換における場合と同様に画像全体に均一なフィルタ処理を施している。そのため、画像周辺領域がぼけ過ぎたり、画像中央部付近でのモアレ縞の発生が十分に抑えられなかったりして、画質が劣化するという課題がある。また、魚眼光学系の射影方式が異なるような場合や魚眼光学系にズーム機能が追加されたような場合など、光学系の変更があった場合にも、画質が劣化するという課題がある。画像周辺領域のぼけ過ぎや画像中央部付近でのモアレ縞の発生等があるからである。

特許文献２では、表示光学系に対応させて、画像の位置によってフィルタが異なるようなフィルタ処理を行っている。しかしながら、そのフィルタは非点収差を改善するためのフィルタであり、幾何学変換によるモアレ縞発生による画質劣化を効果的に抑制することができないという課題がある。

本発明は、魚眼像を透視投影方式の画像に変換するときの画像の劣化を効果的に抑えることを目的とする。

本発明の第１の側面は、魚眼ズーム光学系を用いて撮像された魚眼像の射影方式を変換する画像処理装置に係り、魚眼像をディジタル化するディジタル画像形成部と、前記ディジタル画像形成部でディジタル化された魚眼像上の位置に応じて該ディジタル化された魚眼像の周波数特性を変更する周波数特性変更部と、前記魚眼ズーム光学系の焦点距離に基づいて、前記周波数特性が変更された魚眼像を透視投影方式の画像に変換する射影変換部と、を備えることを特徴とする。

本発明の第２の側面は、撮像装置に係り、魚眼光学系を用いて魚眼像を撮像する撮像部と、上記の画像処理装置と、を備えることを特徴とする。

本発明の第３の側面は、魚眼ズーム光学系を用いて撮像された魚眼像の射影方式を変換する画像処理方法に係り、魚眼像をディジタル化する工程と、前記ディジタル化された魚眼像上の位置に応じて該ディジタル化された魚眼像の周波数特性を変更する工程と、前記魚眼ズーム光学系の焦点距離に基づいて、前記周波数特性が変更された魚眼像を透視投影方式の画像に変換する工程と、を含むことを特徴とする。

本発明によれば、魚眼像を透視投影方式の画像に変換するときの画像の劣化を効果的に抑えることができる。

［第１の実施形態］（レンズ一体型撮像装置）
以下、本発明の好適な実施の形態に係る撮像装置１の構成及び動作について、添付図面を用いて詳細に説明する。

＜撮像装置１の構成＞
図１に示すように、撮像装置１は、魚眼映像を投影する魚眼光学系１０１、撮像部としての撮像素子１０２及び画像処理装置を含む。画像処理装置は、例えば、ディジタル画像形成回路１０３、フレームメモリ１１０、１１１、メモリ制御回路１１２、画像出力部１１３、射影方式変換回路１０９等を備える。

１００は超広視野を有する魚眼ズーム光学系で構成される撮影レンズであり、撮像素子１０２に被写体光を導く。１０１は絞りやシャッタ等を含む露光量制御部材である。撮影レンズ１００を介して入射された被写体光は、露光量制御部材１０１を介して撮像素子１０２に入射される。１０２は撮影レンズ１００及び露光量制御部材１０１を介して入射された被写体光（光学像）を電気信号に変換して出力する撮像素子である。撮像素子１０２は、ＣＣＤやＣＭＯＳセンサー等のイメージ・センサで構成される。１０３は、撮像素子１０２からのアナログ出力信号をディジタル化して画像化するためのディジタル画像形成回路である。ディジタル画像形成回路１０３は、Ａ／Ｄ変換回路１０３１、オートゲイン制御回路（ＡＧＣ）１０３２、オートホワイトバランス回路（ＡＷＢ）１０３３を含む。Ａ／Ｄ変換回路１０３１は、アナログ信号を標本化及び量子化してディジタル信号に変換する。オートゲイン制御回路１０３２は、ディジタル信号のレベル補正を行う。オートホワイトバランス回路１０３３は、画像の白レベル補正を行う。ディジタル画像形成回路１０３は、その他の不図示の画素補間処理や色変換処理等の回路によって構成され、魚眼像のディジタル画像を形成する。

１０４は撮影レンズ１００のズーム位置（焦点距離）を検出するズーム位置検出回路である。１０５は撮影レンズ１００のズーミングを制御するズーム制御部である。１０６は絞りやシャッタ等を含む露光制御部材１０１を制御する露光制御部である。１０７は撮影レンズ１００のフォーカシングを制御する測距制御部である。露光制御部１０６及び測距制御部１０７は、例えば、ＴＴＬ方式を用いて制御される。１０８は撮像装置１全体の動作制御を司るシステム制御回路である。１０８１はシステム制御回路１０８での動作制御用のデータ及び処理プログラム等を記録するＦＬＡＳＨ ＲＯＭ等を用いたメモリである。１０８２は各種調整値などの情報を記憶する電気的に消去及び記録が可能なＥＥＰＲＯＭ等の不揮発性メモリである。１０９は撮影レンズ１００を介し、撮像素子１０２で取得しディジタル画像形成回路１０３で画像化された魚眼像を一般的な透視投影像に変換するための射影方式変換回路である。

１１０及び１１１は撮像された画像信号を１画面または複数画面単位で、一時的に記憶・保持するフレームメモリである。１１０はディジタル画像形成回路１０３で画像化された魚眼像を記憶・保持するフレームメモリ１である。１１１は後述する魚眼像を射影方式変換回路１０９で射影方式変換を行った透視投影像を一時的に記憶・保持するフレームメモリ２である。１１２はフレームメモリ１１０、１１１に入出力される画像信号を制御するメモリ制御回路である。１１３は射影方式変換回路１０９で射影方式変換処理がされた透視投影像を図示しない画像出力装置に表示または記録するための画像出力部である。

次に、射影方式変換回路１０９の内部構成について説明する。１０９１は、フィルタを算出する（例えば、フィルタの伝達関数などを算出する等）回路である。１０９１は、撮影レンズ１００を介して撮像素子１０２で結像し、ディジタル画像形成回路１０３で画像化された魚眼像に対し、射影方式変換処理を行う前後にフィルタ処理（フィルタリング）を施す。射影方式変換処理を行う前にフィルタ処理を施すことによって、モアレ縞など視覚的に不快な低周波パターンの発生を抑制することができる。また、射影方式変換処理を行った後にもフィルタ処理を施すことによって、より鮮明な透視投影像を得ることができる。算出されたフィルタは、例えば、メモリ１０９７に格納される。１０９２はフィルタ算出回路１０９１でフィルタを算出する場合と、フィルタ処理回路１０９４でフィルタ処理を行う場合に参照するフィルタマップを作成する回路である。作成されたフィルタは、例えば、メモリ１０９７に格納される。１０９４はフィルタマップ作成回路１０９２で作成されたフィルタマップを参照してフィルタ算出回路１０９１で算出されたフィルタを切り替えてフィルタ処理を行う回路である。１０９５はフィルタ処理回路１０９４でフィルタ処理をされた画像に対し、魚眼射影方式から透視投影方式へ射影方式を変換する射影変換回路である。１０９６、１０９７は各処理において利用されるデータ等を記憶するためのメモリである。１０９６は一時記憶用メモリ回路であり、１０９７は電気的に消去及び記録可能な不揮発性のメモリである。１０９３は射影方式変換回路１０９内の各回路を制御する制御部であり、例えば、ＣＰＵなどで構成される。

＜射影方式変換＞
次に、射影方式変換について、添付の図面を参照しながら説明する。図１５を参照して、光学系を介して撮像素子へ結像する際の射影方式と像高との関係、及び、魚眼光学系で撮像された画像を透視投影方式で撮影されたように射影方式変換する処理について説明する。

図１５は、光学系を用いて撮像素子に光線を射影し結像させる様子を模式的に示す図である。光学系によって撮影される被写体は、半球面上１５０１に存在し、光学系は光学中心１５０２にあるとする。光線１５０３が入射角θ１５０４で入射すると、その光学系を介して焦点距離１５０５だけ離れた画像面１５０６の像点１５０８に結像する。光線１５０３は、ＸＹ平面上で見ると、Ｘ軸に対して角度Φだけ傾いている。像点１５０８は、画像面１５０６の画像中心１５０７から像高１５０９だけ離れている。像高１５０９は、光学系の射影方式によって異なる。焦点距離１５０５をｆ、像高１５０９をｈとして、射影方式を表す関数をＰ（θ）で表すと、ｈ＝ｆ×Ｐ（θ）と表すことができる。一般的な透視投影方式の場合は、Ｐ（θ）＝ｔａｎ（θ）である。また、一般に、魚眼光学系においても複数の射影方式が存在する。例えば、正射影方式ではＰ（θ）＝ｓｉｎ（θ）、等距離射影方式ではＰ（θ）＝θ、等立体角射影方式ではＰ（θ）＝ｓｉｎ（θ／２）となる複数の射影方式が存在する。更に、双曲面ミラーを有する射影方式も存在する。この場合、Ｐ（θ）＝（ｃ^２−ｂ^２）×ｓｉｎ（θ）／（（ｃ^２＋ｂ^２）×ｃｏｓ（θ）＋２×ｂ×ｃ）で表される。ここで、ｂ、ｃは、双曲面形状を決める係数である。

魚眼光学系の射影方式を透視投影方式へ変換する場合には、以下のように、透視投影方式で投影された透視投影像における座標の画素値を魚眼像から算出する処理が行われる。なお、添え字としてｆが付されているものは、魚眼光学系の投影方式における変数を表し、添え字としてｐが付されているものは、透視投影方式の投影方式を表すものとする。

画像面の座標系において、画像中心１５０７を原点として考える。像点１５０８（ｘ_ｐ、ｙ_ｐ）の像高１５０９は、ｈ_ｐ＝ＳＱＲＴ（ｘ_ｐ ^２＋ｙ_ｐ ^２）で表される。ここで、ＳＱＲＴはルートを表す。方位角φ１５０４は、φ＝ａｒｃｔａｎ（ｙ_ｐ／ｘ_ｐ）（ａｒｃｔａｎ：逆正接関数）で表される。透視投影方式では、光線の入射角θ１５０３は、θ＝ｆ_ｐ／ａｒｃｔａｎ（ｈ_ｐ）で表される。魚眼光学系の射影方式をＰ_ｆ（θ）とする。このとき、算出した入射角θ１５０３を用いてｈ_ｆ＝ｆ_ｆ×Ｐ_ｆ（θ）で表されるように魚眼像の像面へ投影される。魚眼像の像高ｈ_ｆから方位角φを用いてｘ座標及びｙ座標を算出することができる。例えば、ｘ_ｆ＝ｈ_ｆｃｏｓφ、ｙ_ｆ＝ｈ_ｆｓｉｎφと表される。この時、（ｘ_ｆ、ｙ_ｆ）は、データが存在しない座標である場合もある。その場合には、双線形補間や双３次補間等の補間手法を用いて、参照すべき画素値が算出される。このような処理を透視投影像の全画素について処理を行うことによって、射影方式を変換することができる。

＜撮像装置１の動作＞
次に、撮像装置１の動作についてフローチャートを利用しながら詳細に説明する。

図２は、図１の撮像装置１を用いて被写体を撮影し、透視投影像に変換された画像が、不図示の画像出力装置に表示されるまでの処理を示すフローチャートである。図２のフローチャートでは、例えば、不図示のレリーズボタンが押下される。そして、ズーム制御１０５、ズーム位置検出回路１０６、測距制御部１０７及びシステム制御回路１０８の協調動作によって所望の被写体に合焦した時点など、撮像装置１の撮影動作が開始された時点で処理が開始される。

ステップＳ２０１では、ズーム位置検出回路１０４が、レリーズボタンが押下されたとき等の撮影レンズ１００のズーム位置情報を取得する。これによって、前述したように図１５の焦点距離１５０５が決定され、撮影レンズ１００を介して撮像素子１０２へ投影されるときの投影関数Ｐ（θ）が確定される。このように、ズーム位置情報を用いることによって、抑制すべき周波数などの指針が明確になるという効果がある。

ステップＳ２０２では、撮像素子１０２が、レンズ１００を介して結像された被写体像を光電変換して、被写体輝度に応じたアナログ信号を生成する。

ステップＳ２０３では、ディジタル画像形成回路１０３が、ステップＳ２０２において撮像素子１０２で生成されたアナログ画像信号をＡ／Ｄ変換回路１０３１により標本化及び量子化してディジタル信号に変換する。さらに、オートゲイン制御回路（ＡＧＣ）１０３２及びオートホワイトバランス回路（ＡＷＢ）１０３３によって、信号レベル補正及び白レベル補正を行って、フレームメモリ１１０に記録・保持する。

ステップＳ２０４では、射影方式変換回路１０９が、ステップＳ２０３でフレームメモリ１１０に記憶・保持された魚眼像を一般的な透視投影方式の画像に変換する。

ステップＳ２０５では、画像出力部１１３が、ステップＳ２０４において射影方式変換回路１０９で変換された一般的な透視投影方式の画像を不図示の表示装置に表示する。

図３は、図２のステップＳ２０４における画像処理の詳細を示すフローチャートである。

まず、ステップＳ３０１では、フィルタマップ作成回路１０９２が、２次元ＦＩＲフィルタで魚眼像をフィルタ処理する際に参照するフィルタマップを作成する。

ステップＳ３０２では、フィルタ処理回路１０９４が、ステップＳ３０１で作成されたフィルタマップを参照して、魚眼像上の領域毎に異なるＬＰＦ効果を有するＬＰＦ処理を行う。

ステップＳ３０３では、上述のように、射影変換回路１０９５が、魚眼光学系の射影方式から透視投影方式へ射影方式の変換処理を行う。射影変換回路１０９５は、フレームメモリ１１０に記憶・保持された魚眼画像が入力されると、魚眼画像特有の歪を補正してフレームメモリ１１１に記憶・保持する機能を有する。

図４は、図３のステップＳ３０１におけるフィルタマップ処理の詳細を示すフローチャートである。

ステップＳ４０１では、制御部１０９３が、ステップＳ２０１で取得したズーム位置情報によって確定した魚眼光学系の投影関数に従って、魚眼像の標本点を透視投影方式で投影される画像面に投影する。この様子を図７を用いて模式的に説明する。魚眼光学系の投影方式を例えば正射影方式とする。その場合、魚眼像の画像面の像点（ｘ_ｆ、ｙ_ｆ）は、ｈ_ｆ＝ｆ_ｆ×Ｐ（θ）＝ｈ_ｆ×ｓｉｎ（θ）に従った射影方式として扱われる。これが透視投影方式の画像面に投影されて（ｘ_ｐ、ｙ_ｐ）が得られる。この処理によって、魚眼光学系を用いた場合の画像面の標本点を透視投影像の像面に変換した様子を図７に示す。図７（ａ）、（ｂ）は画像面中央部を示し、図７（ｃ）、（ｄ）は画像面周辺部を示す。

図７（ｂ）に示すように、透視投影方式の画像面中央部においては、その標本化間隔が図７（ａ）に示す魚眼光学系の標本化間隔に比べて狭くなっていることがわかる。また、図７（ｄ）に示すように、画像面周辺部においては、その標本化間隔が図７（ｃ）に示す魚眼光学系の標本化間隔に比べて広くなっていることがわかる。即ち、魚眼像を透視投影像に射影方式変換する場合には、中央部では見かけ上、標本化間隔が狭くなることによって高周波成分が折り返される。結果としてモアレ縞などの低周波パターン発生しうる。また、周辺部では見かけ上、標本化間隔が広がることによって、中央部のような画質劣化は発生しない。

図９（ａ）、（ｂ）を用いて、周波数特性の概要を説明する。魚眼像の標本化間隔をｐ_ｆ、透視投影像の標本化間隔をｐ_pとする。それぞれの標本化周波数及びナイキスト周波数は、次のように表される。すなわち、ｆｒ_ｆ＝１／ｐ_ｆ、Ｎ_ｆ＝ｆｒ_ｆ／２と表される。また、ｆｒ_ｐ＝１／ｐ_p、Ｎ_ｐ＝ｆｒ_ｐ／２と表される。標本化間隔ｐ_ｆで撮像された魚眼像を標本化間隔ｐ_pの透視投影像へ変換する場合を考える。

図９（ａ）は、魚眼像における画像の周波数スペクトル分布を示す図である。撮像時に周波数帯域制限されていても、ナイキスト周波数Ｎ_ｆを超える成分が含まれている場合が多い。このような画像を射影方式変換して透視投影像に変換した際の魚眼像の標本化間隔ｐ_ｆをｐ_ｆ’とする。図７を用いて説明したように、ｐ_ｆ’は画像中の場所によって異なる。即ち、見かけ上の標本化周波数が異なることになる。

図９（ｂ）は、例えば、画像中央部などで、見かけ上、標本化周波数が高くなる場合を示す図である。図９（ｂ）では、魚眼像を透視投影方式に変換したときに、領域９０１’の部分に透視投影方式の像面におけるナイキスト周波数Ｎ_ｐより高い成分が含まれる。その結果として、折り返し歪によるモアレ縞が発生することを示している。図９（ｂ）の領域９０１’の部分は、射影方式変換する前は図９（ａ）の領域９０１にあったものであり、魚眼像のナイキスト周波数Ｎ_ｆを超えていない。しかしながら、魚眼像を透視投影方式に変換した後に、図９（ａ）の領域９０１が透視投影方式の像面におけるナイキスト周波数Ｎ_ｐを超えて領域９０１’の部分に位置する。従って、透視投影方式に変換した後に図９（ｂ）の領域９０１’に含まれることになる。図９（ａ）の周波数スペクトル領域９０１をＬＰＦなどにより帯域制限する必要がある。ここで、魚眼像の像面において制限したい周波数をＮ_ｆ’’とする。図９（ａ）、（ｂ）に示すように、Ｎ_ｆ’’＝Ｎ_ｆ−（Ｎ_ｆ’−Ｎ_ｐ）となる。例えば、ｐ_ｆ＝ｐ_pであり、ｐ_ｆ’＝ｃ×ｐ_p＝ｃ×ｐ_ｆとする。すると、Ｎ_ｆ’’＝Ｎ_ｆ−（Ｎ_ｆ／ｃ−Ｎ_ｆ）＝Ｎ_ｆ（２−（１／ｃ））となる。ｃ＝０．９２（例えば、ｐ_p＝２．５μｍであり、ｐ_ｆ’＝２．３μｍ）の場合では、Ｎ_ｆ’’＝０．９１Ｎ_ｆとなる。即ち、魚眼像の像面において、Ｎ_ｆ’’以上の周波数帯域（図９の９０１及び９０２）を制限するようにすればよい。

ステップＳ４０２では、フィルタマップ作成回路１０９２が、ステップＳ４０１において魚眼像が透視投影方式に変換されたときの魚眼像の標本点情報（例えば、標本化間隔等）と、魚眼像上の位置情報と、が関連付けて記憶されたフィルタマップを作成する。

図５は、図３のステップＳ３０２におけるＬＰＦ処理（プレフィルタ処理）の詳細を示すフローチャートである。

まず、ステップＳ５０１では、制御部１０９３が、図３のステップＳ３０１で作成したフィルタマップをメモリ１０９７等から読み込む。

ステップＳ５０２では、制御部１０９３が、フィルタマップを参照し、フィルタ処理が必要か否かを判断する。制御部１０９３は、魚眼像を透視投影面へ射影方式変換した場合の標本化間隔ｐ_ｆ ^’が、透視投影像の標本化間隔ｐ_pより大きい場合にはフィルタ処理を実行する必要は無い。逆に、ｐ_ｆ ^’がｐ_pより小さい場合には、ＬＰＦ処理が必要であると判断する。制御部１０９３が、ＬＰＦ処理が必要な領域でないと判断した場合は（ステップＳ５０２で「Ｎｏ」）、ステップＳ５０３に進んで次の画素へ注目画素を移動する。フィルタ処理が必要な領域であると判断した場合は（ステップＳ５０２で「Ｙｅｓ」）、ステップＳ５０４へ進み、ＬＰＦ処理を行うフィルタを決定する。フィルタの周波数特性は、図７及び図９を用いて説明したように、透視投影方式に変換された後の標本化間隔に基づいて、制限したい周波数帯域を決定する。そして、そのような遮断特性を有するＬＰＦを算出し、算出したフィルタを用いてＬＰＦ処理を実行すればよい。このように、透視投影方式に変換された後の標本化間隔を用いることによって、抑制すべき周波数などの指針が明確になるという効果がある。フィルタの算出方法としては、例えば、以下の方法が挙げられる。非特許文献２に記載されたＦＩＲフィルタ算出手法である窓関数法や非特許文献３に記載されたＲｅｍｅｚアルゴリズムを用いてフィルタを算出するＰａｒｋｓ−ＭｃＣｌｅｌｌａｎ法等である。

ステップＳ５０５では、フィルタ処理回路１０９４が、ステップＳ５０４で決定されたフィルタを用いてフィルタ処理を行う。ここでは、一般的な積和演算が実行されうる。

ステップＳ５０６では、制御部１０９３が、全ての画素について処理を終了したか否かを判定する。制御部１０９３が、全ての画素について処理が終了していないと判断した場合には（ステップＳ５０６で「Ｎｏ」）、ステップＳ５０３に進む。全ての画素について処理が終了したと判断した場合には（ステップＳ５０６で「Ｙｅｓ」）、ステップＳ３０２のＬＰＦ処理を終了する。

以上説明したように、魚眼光学系の射影方式、ズーム位置（焦点距離）に基づいて算出される画像中の位置に依存した周波数特性を有するフィルタを用いてフィルタ処理する。これによって、モアレ縞など視覚的に不快な低周波パターンの発生を抑制することができる。

なお、本実施形態では、ディジタルフィルタを用いたＬＰＦ処理を用いて説明したが、必ずしもディジタルフィルタを用いる必要は無い。射影方式変換を行う際の画素値の算出に用いる補間手法、補間係数、カーネルサイズなどの補間パラメータを変更してもよい。これによって、ディジタルフィルタによる周波数特性の変更と同様の効果を得ることもできる。この場合、射影方式変換回路１０９は、魚眼像の位置に依存する周波数特性を有する補間パラメータを記憶するメモリ１０９７を含む。そして、メモリ１０９７に記憶されている補間パラメータを用いて射影方式変換を行うことができる。また、射影方式変換回路１０９は、メモリ１０９７に記憶された補間パラメータを魚眼像の位置によって選択し、射影方式変換に用いる補間パラメータの制御を行うマップをメモリ１０９７に記憶させる。そして、メモリ１０９７に記憶されたマップを参照してメモリ１０９７に記憶されている補間パラメータを切り替えて射影方式変換への変換を行うことができる。このように、補間パラメータを用いることによって、ディジタルフィルタによるＬＰＦ効果を省略して、魚眼ズーム光学系に適応させることができる。その結果、処理の高速化が可能となるという利点がある。

また、本実施形態では、射影方式変換の前にＬＰＦ処理を導入した。その他に図６のフローチャートに示すように、図３のステップＳ３０１〜Ｓ３０３と同様にして実行されるステップＳ６０１〜Ｓ６０３の後に、ステップＳ６０４におけるポストフィルタ処理としての高域強調フィルタ処理を行ってもよい。図３に示す画像処理工程にステップＳ６０４のポストフィルタ処理を導入することによって、ステップＳ６０２のＬＰＦ処理によって不要な周波数成分が遮断されると同時に抑制される高周波成分を補償することができる。また、図７で説明したように、魚眼像を射影方式変換によって透視投影像に射影方式変換する際に、周辺領域の画像が拡大される。これによって、この周辺領域を中央部の領域とは異なる鮮鋭化フィルタを導入する等のように、射影方式変換された後の画像の位置に依存するフィルタ処理を導入することにより、画像全体が高精細な射影方式の変換画像を得ることができる。

また、本実施形態において、フィルタマップを標本点毎に標本化間隔情報を保持するようにし、かつ、ＬＰＦがフィルタマップに格納された標本化間隔を利用して逐次算出されるように説明した。しかしながら、本実施形態はこれに限定されず、例えば、標本化間隔情報を、例えば、０．１μｍ間隔などで量子化し、領域毎にその量子化された情報を保持してもよい。また、ＬＰＦも量子化されたフィルタマップの標本化間隔に対応した複数種類のフィルタを事前に算出しておき、それらを不揮発性メモリ１０９７などに記憶するようにしてもよい。

この様子を図８に示す。図８（ａ）、（ｂ）は、離散化されたフィルタマップを示す図であり、図８（ａ）がワイド端、図８（ｂ）がテレ端におけるフィルタマップを示す。領域８０１〜８０３は、魚眼像の見かけ上の標本化間隔が透視投影面の標本化間隔より小さい領域に対応する。領域８０４は、魚眼像の見かけ上の標本化間隔が透視投影面の標本化間隔より大きい領域、即ち、帯域を制限する必要のない領域に対応する。領域８０１〜８０３に対応する魚眼像の見かけ上の標本化間隔に対応するフィルタの周波数特性は、図８（Ａ）〜（Ｃ）にそれぞれ示される。図８（Ａ）〜（Ｃ）に示すように、魚眼像の見かけ上の標本化間隔が最も小さい領域８０１に対応するフィルタのカットオフ周波数が最も低い（図８（Ａ）に対応）。魚眼像の見かけ上の標本化間隔がその次に大きい領域８０２に対応するフィルタのカットオフ周波数が次に大きい（図８（Ｂ）に対応）。魚眼像の見かけ上の標本化間隔が最も大きい領域８０２に対応するフィルタのカットオフ周波数が最も大きい（図８（Ｃ）に対応）。このように、魚眼像の見かけ上の標本化間隔が大きくなるにつれて対応するフィルタのカットオフ周波数を大きくすることが望ましい。

以上のように、本実施形態によれば、魚眼像上のどの位置にどのフィルタを適用すべきかを示すフィルタマップを離散化して表現し、その表現に対応するようにフィルタを確保する。これによって、フィルタマップの記憶容量を低減することができ、また、フィルタを毎回算出する必要がなくなるため、高速化が実現できる。

［第２の実施形態］（歪曲・色収差一体型補正回路）
本実施形態では、第１の実施形態に加え、さらに撮像光学系の収差も同時に補正する機能を持たせた場合の一実施形態である。

本実施形態は、例えば、図１０に示すような撮像装置１０に適用される。以下、本実施形態の撮像装置の構成及び動作について図面を用いて詳細に説明する。

＜撮像装置１０の構成＞
図１０に示す撮像装置１０は、図１に記載の撮像装置１と同じ符号を有するものは同様の機能を有するため説明を省略し、図１と異なるものを中心に説明する。

不揮発性メモリ１０８２は、撮像レンズ１００の光学系の収差情報を記憶している。光学系の収差情報は、ズーム位置検出回路１０４で検出されたズーム位置を基準に算出できるような近似式の係数であってもよいし、テーブル形式であってもよい。

１００９は、魚眼ズーム光学系を有する撮像レンズ１００を介し、撮像素子１０２及びディジタル画像形成回路１０３で画像化された魚眼像を、高画質な透視投影像に変換する射影変換部としての歪補正回路である。１００９は、撮像レンズ１００の光学系の収差、及び、透視投影方式への射影方式変換によって発生するモアレ縞などの低周波パターンの発生を抑制する。第１の実施形態における図１の射影方式変換回路１０９との相違点は、以下の通りである。すなわち、フィルタマップ作成回路１００９２及び歪補正部１００９５が、撮像レンズ１００の光学系の収差も含めてそれぞれ処理を行う点である。それ以外の構成は、第１の実施形態と同様である。

＜撮像装置１０の動作＞
次に、撮像装置１０の動作について、フローチャートを用いて詳細に説明する。第一の実施形態における撮像装置１と動作が同様の部分は省略し、異なる部分を中心に説明する。

第一の実施形態における撮像装置１と動作が異なるのは、図３におけるフィルタマップ作成ステップＳ３０１と、射影方式変換ステップＳ３０３の内容である。図３のフローチャートに対応する本実施形態のフローチャートを図１２に、図４に対応するフローチャートを図１３にそれぞれ示す。先ず、図１２のフローチャートについて説明する。

ステップＳ１２０１では、フィルタマップ作成回路１００９２が、フィルタマップを作成する。ここでは、第１の実施形態の図４のステップＳ３０１におけるフィルタマップの作成に加えて、さらに撮像レンズ１００の光学系の有する色収差及び歪曲収差なども加味してフィルタマップが作成される。

ここで、図１１（ａ）、（ｂ）を用いて、色収差、歪曲収差について簡単に説明する。色収差とは、図１１（ａ）に示すように、色（光の波長）によって色倍率が異なり、画像中には色のにじみとして表れる収差のことである（図１１（ａ）のλ１〜λ３）。歪曲収差とは、図１１（ｂ）に示すように、理想の像高に対する歪曲の程度を表している。また、色収差、歪曲収差どちらもズーム位置（焦点距離）によってその形状が異なる（例えば、図１１（ｂ）のワイド端とテレ端）。これらの情報は、３次曲線などで近似されたり、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）など表形式で表現されたりするのが一般的である。

ステップＳ１２０２では、フィルタ処理回路１０９４が、ステップＳ１２０１で作成されたフィルタマップを利用し、ＬＰＦを算出しながらＬＰＦ処理を行う。

ステップＳ１２０３では、歪補正部１００９５が、射影方式変換と色収差及び歪曲収差を同時に行う。まず、歪補正部１００９５が、透視投影像における像点の座標（ｘ_ｐ、ｙ_ｐ）の魚眼光学系における像高ｈ_ｆを算出する。そのｈ_ｆに色収差、歪曲収差を加えた像高ｈ_ｆ ^’を算出する。最終的に収差情報を加えた像高像高ｈ_ｆ ^’から魚眼像の座標（ｘ_ｆ ^’、ｙ_ｆ ^’）に変換する。第１の実施形態同様、座標（ｘ_ｆ ^’、ｙ_ｆ ^’）が存在しない場合は、周囲の座標より補間することで画素値を取得する。以上のような処理の流れによって、魚眼光学系の有する色収差、歪曲収差が打ち消され、かつ、射影方式変換された透視投影像を得ることができる。

本実施形態においても、第１の実施形態と同様に、補正処理ステップＳ１２０３の後に高域強調フィルタ処理を施してもよい。これによって、第１の実施形態と同様、高精細な補正画像を得ることができる。

また、第１の実施形態と同様に、フィルタマップを離散化して保持し、フィルタを事前に算出しておく。これによって、記憶容量の削減、処理の高速化を図ることもできる。

図１３は、図１２のステップＳ１２０１におけるフィルタマップ作成の工程を詳細を示すフローチャートである。

上述のように、色収差、歪曲収差を補正する場合は、その収差を打ち消すような座標へ変換することによって補正することができる。

ステップＳ１３０１では、歪補正部１００９５が、ズーム位置情報より決定される色収差、歪曲収差情報を元に魚眼像の各座標の補正値を算出する。

ステップＳ１３０２では、歪補正部１００９５が、補正された座標を射影方式変換する。

ステップＳ１３０３では、フィルタマップ作成回路１０９２が、標本化間隔からフィルタマップを作成する。

以上のように、本実施形態によれば、魚眼像から透視投影像へ射影方式変換を行うと同時に収差も補正する場合にも、モアレ縞など視覚的に不快な低周波パターンの発生を抑制することができる。

［第３の実施形態］（撮像システム）
上記各実施形態では、光学ユニットを一体として有した撮像装置について説明した。これに対し、本実施形態では、図１４に示すように光学ユニット２０を撮像装置２０に対して着脱・交換可能とした撮像したシステムにも適用することができる。

＜撮像システムの構成＞
この場合、光学ユニットには、魚眼光学系の射影方式や光学系の収差情報を記憶する不揮発性メモリ２０８を設けておく。また、通信部１４０１が、光学ユニット２０と撮像装置２０との間でデータ通信を行う。通信部１４０１は、光学ユニット内のメモリ２０７や不揮発性メモリ２０８に格納されている魚眼光学系の射影方式や光学系の収差情報を撮像装置２０の通信部１４０２へ送信する。このとき、不図示のマウント接点を介する。また、光学ユニット内の制御回路２０６から、撮像装置２０のシステム制御回路１０８からの要求に応じて、光学ユニット２０のズーム位置情報もシステム制御回路１０８へ送信される。

上記以外の構成は概略第２の実施形態と同様である。但し、光学ユニット２０内の構成は、符号は異なるが、先に述べた制御回路２０６、メモリ２０７、不揮発性メモリ２０８以外を除いて、上述した実施形態と同様であるため説明は省略する。

＜撮像システムの動作＞
次に、撮像装置２０及び光学ユニット２０からなる撮像システムの動作について説明する。

まず、光学ユニット２０が撮像装置２０に装着された時点では、光学ユニット２０内の不揮発性メモリ２０８に記憶されている射影方式情報並びに光学系の収差情報が、不図示のマウント接点を介して、撮像装置２０のシステム制御回路１０８へ送信される。

次いで、撮像装置２０において、撮像動作に入った際に、システム制御回路１０８より光学ユニット２０に対して、ズーム位置情報の取得要求が送信される。光学ユニット２０の制御回路２０６は、ズーム位置検出部２０４よりズーム位置を取得して、システム制御回路１０８へズーム位置情報を送信する。これ以降の処理は、先の実施形態にあるように、魚眼光学系を介して取得された魚眼像を透視投影像に変換することができる。

このように、光学ユニット２０と撮像ユニット１０とから構成される撮像システムにおいても、本実施形態を実施することができる。

［第４の実施形態］（画像処理装置）
上記実施形態は、本発明を撮像装置に適用したが、本実施形態では、画像処理装置に適用した実施形態図を用いて説明する。

図１６は、本実施形態の画像処理装置１６００の構成を示したものであり、汎用のパーソナルコンピュータによって構成される。

＜画像処理装置１６００の構成＞
画像処理装置１６００は、汎用パーソナルコンピュータ１６００にて構成される。ＣＰＵ１６０１、ＲＯＭ１６０２、ＲＡＭ１６０３は、システムバス１６１３を介して互いに通信可能に接続される。キーボード１６０４、マウス１６０５、インターフェース（Ｉ／Ｆ）１６０６、ネットワークコントローラ１６１２は、システムバス１６１３を介して互いに通信可能に接続される。表示部としての二次元表示装置１６０７、表示コントローラ１６０８は、システムバス１６１３を介して互いに通信可能に接続される。ハードディスク（ＨＤ）１６０９、フロッピー（登録商標）ディスク（ＦＤ）１６１０、ディスクコントローラ１６１１は、システムバス１６１３を介して互いに通信可能に接続される。システムバス１６１３は、ネットワークコントローラ１６１２を介してネットワーク１６１４と接続される。ＣＰＵ１６０１は、ＲＯＭ１６０２若しくはＨＤ１６０９に記憶されたソフトウェア又はＦＤ１６１０により供給されるソフトウェアを実行する。これによって、システムバス１６１３に接続された各構成部を統括的に制御することができる。ＣＰＵ１６０１は、処理プログラムをＲＯＭ１６０２若しくはＨＤ１６０９又はＦＤ１６１０から読み出して実行することによって、本実施形態の各機能を実現する制御を行う。ＲＡＭ１６０３は、ＣＰＵ１６０１の主記憶又はワークエリア等として機能する。Ｉ／Ｆ１６０６は、キーボード１６０４やマウス１６０５のようなポインティングデバイスなどからの指示入力を制御する。表示コントローラ１６０８は、二次元表示装置１６０７の表示、例えば、ＧＵＩ表示などを制御する。ディスクコントローラ１６１１は、ＨＤ１６０９並びにＦＤ１６１０とのアクセスを制御する。ＨＤ１６０９及びＦＤ１６１０には、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザーファイル、ネットワーク管理プログラム及び本実施形態の上記処理プログラム等が記憶される。ネットワークコントローラ１６１２は、ネットワーク１６１４上の機器と双方向にデータをやり取りする。以上の各部の動作により、魚眼光学系を介して取得された魚眼像データ及び光学系情報より、透視投影方式に射影方式変換された透視投影像を生成することができる。

＜画像処理装置１６００の動作＞
次に、画像処理装置１６００の動作について、フローチャートを用いて説明する。図１７は画像処理装置１６００を用いて魚眼ズーム光学系を有する撮像装置取得された魚眼像データを、透視投影方式で撮影した透視投影像に変換するまでのフローチャートである。

ステップＳ１７０１では、ＣＰＵ１６０１が、ＨＤ１６０９等に格納されている魚眼像データを含む画像情報ファイルを読み込み、ファイル化されている画像情報を解析する。ファイルとしてＨＤ１６０９等に格納されている画像情報の一例を図１８に示す。ファイルは、各種画像情報を含むヘッダー部及び魚眼像データによって構成される。ヘッダー部は射影方式情報やズームステートなどを含む光学系情報と、撮像機器情報、その他各種パラメータによって構成されている。光学系情報としては、射影方式情報、最大画角、ズームステート、収差情報などから構成される。射影方式情報としては、例えば、図１８（ｂ）に示すように射影方式を表すようなＩＤが格納されている。また、収差情報としては、色収差情報、歪曲収差情報から構成される。

ステップＳ１７０２では、ＣＰＵ１６０１が、ステップＳ１７０１で解析した画像ファイルについて画像処理を行う。

ステップＳ１７０３では、ＣＰＵ１６０１が、キーボード１６０４やマウス１６０５より入力されたユーザー操作に従って、ステップＳ１７０２で処理された画像データを表示装置１６０７に表示したり、ＨＤ１６０９に記憶したりする。

図１９は、図１７のＳ１７０２における画像処理の詳細を示すフローチャートである。

ステップＳ１９０１では、ＣＰＵ１６０１が、画像情報を参照して射影方式が魚眼系の射影方式か否かを判定する。ＣＰＵ１６０１が、魚眼系射影方式でないと判断した場合は（ステップＳ１９０１で「Ｎｏ」）、ステップＳ１９０２に進み、光学系情報の中に収差情報として撮影時のズーム位置情報における色収差や歪曲収差情報が含まれているかを判定する。魚眼射影方式であると判断した場合には（ステップＳ１９０１で「Ｙｅｓ」）、ステップＳ１９０４に進んで光学系情報の中に収差情報として色収差や歪曲収差情報が含まれているかを判定する。

ステップＳ１９０３では、ＣＰＵ１６０１が、色収差や歪曲収差情報が含まれていると判断した場合は（ステップＳ１９０２で「Ｙｅｓ」）、一般的な収差補正処理である幾何補正処理を行う。この時、先の実施形態で述べたように、幾何補正処理後の座標系での標本化間隔を基準としたフィルタを用いた場所に依存するＬＰＦ処理を施した後、幾何補正処理を行うようにしてもよい。

ステップＳ１９０４では、ＣＰＵ１６０１が、色収差や歪曲収差情報が含まれていると判断した場合には（ステップＳ１９０４で「Ｙｅｓ」）、ステップＳ１９０５に進んで色収差・歪曲収差を含めた射影方式変換処理を行う。これは第２の実施形態において説明した処理と同様の処理が行われる。ＣＰＵ１６０１が、光学系収差情報の中に色収差や歪曲収差情報がないと判断した場合には（ステップＳ１９０４で「Ｎｏ」）、以下の処理を行う。すなわち、ステップＳ１９０６で魚眼射影方式で取得された魚眼像を透視投影方式の透視投影像に変換する射影方式変換処理を行う。この処理は、第１の実施形態において説明した処理の流れを行う。以上により、ファイル化された画像情報を用いて画像データに処理を行う。

以上説明したように、撮像機器によって取得されファイル化された画像情報を解析して、画像処理してもよい。これによって、魚眼方式で取得された魚眼像を、モアレ縞など視覚に不快な低周波パターンを抑制し、かつ、光学系の持つ色収差・歪曲収差も補正しながら透視投影像へ変換することができる。

なお、本実施形態において、ファイル化された画像情報を、本装置内で解析するようにした。しかしながら、例えば、ネットワークコントローラ１７１２を介し、ネットワーク上に１７１４に存在するサーバーを介して、射影方式情報や、ズームステート情報に対応する色収差や歪曲収差情報を取得するようにしてもよい。これによって、ファイル容量を削減することができる。

また、画像情報をファイル化されてＨＤ１７０９から読み出して処理を行うように説明したが、ネットワーク１７１４から送信されてきた画像情報に対しても同様に処理を実行することができる。

［他の実施形態］
また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給してもよい。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって完成される。記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコード供給用の記憶媒体としては、例えば、フロッピー(登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いてもよい。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなくなる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることになる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、次のプログラムコードの支持に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行う。このような処理によって上述した実施形態の機能が実現される場合も含まれる。

本発明の好適な第１の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の好適な第１の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の好適な第１の実施形態に係る撮像装置の画像処理の流れを示すフローチャートである。 本発明の好適な第１の実施形態に係る撮像装置のフィルタマップ作成の流れを示すフローチャートである。 本発明の好適な第１の実施形態に係る撮像装置のフィルタ処理の流れを示すフローチャートである。 本発明の好適な第１の実施形態に係る撮像装置の動作において、ポストフィルタ処理を導入した場合の処理の流れを示す図である。 魚眼射影方式における標本点と透視投影方式の標本点の場所による違いの概略を説明する図である。 魚眼像上の位置に応じてフィルタを変更する際に参照するフィルタマップとフィルタの有する周波数特性の概略を説明する図である。 魚眼射影方式から透視投影方式に変換に関する周波数特性を１次元的に説明する概略図である。 本発明の好適な第２の実施形態に係る撮像装置の構成を示すブロック図である。 色収差及び歪曲収差の概略を説明する図である。 本発明の好適な第２の実施形態に係る撮像装置の画像処理の流れを示すフローチャートである。 本発明の好適な第２の実施形態に係るフィルタマップ作成の流れを示すフローチャートである。 本発明の好適な第３の実施形態に係る撮像システムの構成を示すブロック図である。 光学系による射影方式を説明する図である。 本発明の好適な第４の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の好適な第４の実施形態に係る画像処理装置の全体の流れを示すフローチャートである。 画像データ形式を示す概念図である。 本発明の好適な第４の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

符号の説明

１ 撮像装置
１００ 撮影レンズ
１０１ 露光制御部材
１０２ 撮像素子
１０３ ディジタル画像形成回路
１０４ ズーム位置検出回路
１０５ ズーム制御部
１０６ 露光制御部
１０７ 測距制御部
１０８ システム制御回路
１０９ 射影方式変換回路
１１０、１１１ フレームメモリ
１１２ メモリ制御回路
１１３ 画像出力部

Claims (12)

1. 魚眼ズーム光学系を用いて撮像された魚眼像の射影方式を変換する画像処理装置であって、
   魚眼像をディジタル化するディジタル画像形成部と、
   前記ディジタル画像形成部でディジタル化された魚眼像上の位置に応じて該ディジタル化された魚眼像の周波数特性を変更する周波数特性変更部と、
   前記魚眼ズーム光学系の焦点距離に基づいて、前記周波数特性が変更された魚眼像を透視投影方式の画像に変換する射影変換部と、
   を備えることを特徴とする画像処理装置。
2. 前記周波数特性変更部は、前記ディジタル化された魚眼像上の位置に依存する周波数特性を有するディジタルフィルタを用いてフィルタ処理を施すフィルタ処理部を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記周波数特性変更部は、前記ディジタルフィルタを算出するフィルタ算出部を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記射影変換部は、前記ディジタル化された魚眼像上の位置に依存する周波数特性を有する補間パラメータを用いて補間処理を施すことを特徴とする請求項１に記載の画像処理装置。
5. 前記補間パラメータは補間手法、補間係数、カーネルサイズの何れかを含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記周波数特性変更部は、
   前記ディジタル化された魚眼像を透視投影方式の画像に変換したときの標本化間隔と、該ディジタル化された魚眼像上の位置情報と、が関連付けて記憶されたフィルタマップを作成するフィルタマップ作成部を備えることを特徴とする請求項３に記載の画像処理装置。
7. 前記周波数特性変更部は、
   前記フィルタ算出部で算出されたフィルタと、前記フィルタマップ作成部で作成されたフィルタマップと、に基づいて、前記ディジタル化された魚眼像上の位置に応じて該フィルタの周波数特性を変更するフィルタ処理部を備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記ディジタルフィルタは、ローパスフィルタであることを特徴とする請求項７に記載の画像処理装置。
9. 前記フィルタマップ作成部は、さらに、前記魚眼ズーム光学系の収差情報に基づいて、前記フィルタマップを作成することを特徴とする請求項６乃至請求項８のいずれか１項に記載の画像処理装置。
10. 前記射影変換部は、さらに、前記魚眼ズーム光学系の収差を補正することを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 魚眼光学系を用いて魚眼像を撮像する撮像部と、
    請求項１乃至請求項１０のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
12. 魚眼ズーム光学系を用いて撮像された魚眼像の射影方式を変換する画像処理方法であって、
    魚眼像をディジタル化する工程と、
    前記ディジタル化された魚眼像上の位置に応じて該ディジタル化された魚眼像の周波数特性を変更する工程と、
    前記魚眼ズーム光学系の焦点距離に基づいて、前記周波数特性が変更された魚眼像を透視投影方式の画像に変換する工程と、
    を含むことを特徴とする画像処理方法。

Images