JP2005005816A

JP2005005816A - Wide angle camera and wide angle camera system

Info

Publication number: JP2005005816A
Application number: JP2003164434A
Authority: JP
Inventors: Kiyoshi Kumada; 清熊田; Yukio Miyaki; 幸雄宮木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-06-09
Filing date: 2003-06-09
Publication date: 2005-01-06

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image with high resolution without the need for increasing the number of pixels of an imaging device. <P>SOLUTION: In a wide angle camera 1 including an optical system 1a comprising :a hyperboloidal mirror 5; and a lens 6, and an imaging means 1b including an imaging device 7 for imaging an optical image collected by the optical system, the relative position relationship between the optical system 1a and the imaging device 7 is adjusted so that an optical axis 12 of the lens 6 and an effective area center 10a of an imaging face of the imaging device 7 have a prescribed distance on the imaging face in a way of forming an image of a prescribed visual field area being an imaging object to an effective area 10 of the imaging face in a mirror optical image collected by the optical system 1a with magnification. Thus, the original number of pixels can effectively be utilized and an image with high resolution can be obtained without the need for increasing the number of pixels of the imaging device 7. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ロボット用視覚センサ、セキュリティ用カメラ、車載用カメラなどに利用される広角カメラおよび広角カメラシステムに関する。
【０００２】
【従来の技術】
従来から、広い範囲の視野情報を同時に入力し得る入力装置に対する研究が盛んに行われている。このような広い範囲の視野情報を得ることができる画像入力装置として、例えば特許文献１には、二葉双曲面ミラーを用いた全方位カメラが開示されている。この全方位カメラは、周囲３６０°の視野画像を一度に撮像することができ、その撮像画像から射影中心を有する透視投影画像をリアルタイムに作成することができる。また、このような全方位カメラを、例えばロボット用視覚センサー、セキュリティ用カメラ、車載用カメラなどとして用いた全方位視覚システムの研究開発も盛んに為されている。
【０００３】
以下に、従来の全方位カメラについて図６を用いて説明する。
【０００４】
図６は、従来の全方位カメラにおける光学系および撮像手段の配置例を示す図であって、（ａ）は、光学系を構成する双曲面ミラー５およびレンズ６と、撮像手段を構成する撮像素子７との配置を模式的に示す斜視図、（ｂ）は、双曲面ミラー５およびレンズ６を介して得られた円形のミラー像と撮像素子７の撮像面有効領域との配置関係を示す平面図である。
【０００５】
図６（ａ）および図６（ｂ）において、この全方位カメラ２０は、周囲３６０°の視野対象を撮像するため、例えば凸型回転体ミラーの一種である双曲面ミラー５およびレンズ６を含む光学系１ａと、その光学系１ａで集光された光学像を撮像する撮像素子７を含む撮像手段１ｂとを有している。
【０００６】
この光学系１ａは、上記特許文献１に詳しく説明されているので、ここでは，その特徴点についてのみ説明を行う。この双曲面ミラー５は、双曲線を（Ｘ，Ｙ，Ｚ）座標系のＺ軸を中心として回転させて得られる曲面である２葉双曲面の一方（Ｚ＞０の領域）の凸状面に、鏡面を形成したものである。
【０００７】
２葉双曲面は、下記式（１）によって表される。
【０００８】
（Ｘ^２＋Ｙ^２）／ａ^２−Ｚ^２／ｂ^２＝−１・・・（１）
ｃ^２＝ａ^２＋ｂ^２
上記式（１）において、ａおよびｂは双曲面の形状を定義する定数、ｃは焦点の位置を定義する定数であり、それぞれ、図６（ａ）に同一の符号ａ、ｂ、ｃにて示す部分に対応する。ａは２葉双曲面の漸近線ＺＥと双曲面ミラー５の頂点との距離、ｂは双曲面ミラー５の頂点と座標原点８との距離、ｃは第１の焦点Ｃ１および第２の焦点９と座標原点８との距離である。
【０００９】
この２葉双曲面は、第１の焦点Ｃ１および第２の焦点９という二つの焦点を有しており、外部から焦点Ｃ１に向かう光は双曲面ミラー５で反射されて、全て第２の焦点９に向かうという特徴がある。
【００１０】
したがって、図６（ａ）に示すように、双曲面ミラー５の回転軸１２ａ（光学系の光軸）と、レンズ６の光軸１２を一致させると共に、第２の焦点９にレンズ６の主点６ａを一致させるように、双曲面ミラー５とレンズ６とを配置することにより、撮像素子７で撮影すると、第１の焦点８を視点中心として、視野方向によって視点位置が変わらない画像が得られるという特徴を示す。
【００１１】
また、双曲面ミラー５の回転軸１２ａと一致させたレンズ６の光軸１２は、図６（ａ）および図６（ｂ）に示すように、撮像素子７の撮像面有効領域の中心１０ａで交差している。一般的に、撮像素子７の撮像面有効領域１０は長方形状であり、この全方位カメラ２０では、その撮像面有効領域１０の短辺長を直径とする円形状のミラー像１１が入力画像として利用されている。
【００１２】
次に、このような全方位カメラを用いたカメラシステムについて、図７を用いて説明する。
【００１３】
図７は、従来の全方位カメラを用いたカメラシステムの構成例を示すブロック図である。
【００１４】
図７において、このカメラシステム１００は、全方位カメラ２０と、この全方位カメラ２０により撮像された画像情報に対して所定の演算処理を施す画像処理手段２と、この画像処理手段２で各種演算処理された画像情報を表示画面上に表示する表示手段３と、この表示手段３で表示される画像の選択、画像のサイズの制御などを行う表示制御手段４とを有している。
【００１５】
全方位カメラ２０は、図６に示す双曲線ミラー５およびレンズ６を含む光学系１ａと、撮像素子７を含む撮像手段１ｂとを有している。
【００１６】
撮像手段１ｂでは、双曲面ミラー５およびレンズ６によって集光された光学像が固体撮像素子７に入射され、ＣＣＤまたはＣＭＯＳイメージセンサなどの固体撮像素子７によって画像情報に変換される。変換された画像情報は、画像処理手段２に送られる。
【００１７】
画像処理手段２は、撮像手段１ｂから供給された画像情報に対して種々の演算処理を施す画像変換部２ａと、画像変換部２ａで演算処理された結果を格納する出力バッファメモリ２ｂとを有している。
【００１８】
画像変換部２ａでは、撮像手段１ｂから供給された画像情報に対して、表示制御部４から制御ライン４ａを介して供給される制御信号にしたがって、種々の演算処理が施され、その処理結果が出力バッファメモリ２ｂに格納される。
【００１９】
出力バッファメモリ２ｂに格納された画像データは、信号ケーブル３ａを介して表示手段３に供給されて、表示手段３の表示画面上に表示される。
【００２０】
このカメラシステム１００において、解像度を高くするためには、光学ズームを利用することができないため、入力画像データの一部を抜き出して電子的に拡大表示させるという電子ズームが利用される。したがって、この電子ズームを行っても良好な表示状態が保たれるように、撮像素子の画素数を多くする必要がある。
【００２１】
このように光学ズームを用いることができない理由は、以下の通りである。光学ズームでは、レンズ６の焦点距離を長くし、画角を狭くして、撮像領域を相対的に狭くすることにより、相対的に拡大された撮像画像が得られる。これに対して、全方位カメラ２０では、レンズ６の画角が変わると被写体であるミラー像が拡大されてミラー中心部のみが撮像されることになり、ミラー全体を撮像することができなくなる。したがって、全方位カメラ２０では、常にミラー全体が撮像される必要があるため、ミラー像は常に一定のサイズで撮像されている必要があり、これには光学ズームを適用することができない。
【００２２】
【特許文献１】
特開平６−２９５３３３号公報
【００２３】
【発明が解決しようとする課題】
上記従来の全方位カメラ２０を用いたカメラシステム１００では、解像度を高くするために、光学ズームを利用することができない。また、電子ズームを利用する場合には、電子ズームに耐え得るように、撮像素子７の画素数を多くする必要があった。
【００２４】
しかしながら、撮像素子７の画素数を多くする方法では、撮像素子７の読み出し速度の制約から、動画像を撮像して再生表示するためには一定の画素数以上に画素数を多くすることができず、それ以上に画素数を多くして解像度を高くすることは困難であった。
【００２５】
例えば動画像を撮像してそれを再生表示する場合などには、撮像素子７の読み出し速度の制約から、比較的低画素数のＣＣＤ撮像素子を用いつつ、画像の分解能（解像度）を高くする方法が求められる。
【００２６】
本発明は、上記従来の問題を解決するもので、撮像素子の画素数を現状に比べて多くすることなく、解像度が高い画像を容易に得ることができる広角カメラおよびこれを用いた広角カメラシステムを提供することを目的とする。
【００２７】
【課題を解決するための手段】
本発明の広角カメラは、光学系と、該光学系で集光された光学像を撮像する撮像素子とを含む広角カメラにおいて、該光学系の光軸と該撮像素子の撮像面の有効領域中心とが、少なくとも撮像対象視野光を撮像画面上に拡大投影するべく、該撮像面上で所定の距離を有するように該光学系および該撮像素子が配置されており、そのことにより上記目的が達成される。
【００２８】
また、好ましくは、本発明の広角カメラにおける光学系の光軸と前記撮像素子の撮像面の有効領域中心との距離は、前記光学系で集光された光学像のうち、撮像対象となる所定視野領域の光学像が該撮像面の有効領域に結像されるように設定されている。
【００２９】
さらに、好ましくは、本発明の広角カメラにおける光学系の光軸と前記撮像素子の撮像面の有効領域中心との距離は、前記光学系と該撮像素子との相対的な位置関係により設定されている。
【００３０】
さらに、好ましくは、本発明の広角カメラにおける撮像素子の有効撮像面が長方形状であり、前記光学系で集光された光学像の一部が該長方形の短辺および長辺方向いっぱいに結像されている。
【００３１】
さらに、好ましくは、本発明の広角カメラにおける光学系は、凸型回転体ミラーとレンズとを含み、該凸型回転体ミラーの回転軸を該レンズの光軸と一致させ、かつ、該凸型回転体ミラーの凸部を該レンズ側に向けて配置されている。
【００３２】
さらに、好ましくは、本発明の広角カメラにおける凸型回転体ミラーは、２葉双曲面のうちの一方の双曲面状の形状を有する反射ミラーであり、該双曲面の第２の焦点位置に前記レンズの主点が一致するように配置されている。
【００３３】
さらに、好ましくは、本発明の広角カメラにおける撮像素子は固体撮像素子である。
【００３４】
本発明の広角カメラシステムは、請求項１〜７のいずれかに記載の広角カメラと、該広角カメラで撮像された画像情報に対して表示用に所定の演算処理を施す画像処理手段とを有し、そのことにより上記目的が達成される。
【００３５】
また、好ましくは、本発明の広角カメラシステムにおいて、画像処理手段で演算処理された画像情報を表示画面上に表示する表示手段をさらに有する。
【００３６】
さらに、好ましくは、本発明の広角カメラシステムにおいて、表示手段の表示画面上に表示される画像の選択および画像サイズを制御する表示制御手段をさらに有する。
【００３７】
さらに、好ましくは、本発明の広角カメラシステムにおいて、画像処理手段による演算処理には、前記広角カメラで撮像された画像情報に対して、極座標系から直交座標系への変換処理が含まれている。
【００３８】
さらに、好ましくは、本発明の広角カメラシステムにおいて、極座標系から直交座標系への変換処理には、パノラマ変換処理および透視変換処理の少なくとも何れかが含まれている。
【００３９】
上記構成により、以下に、本発明の作用について説明する。
【００４０】
本発明にあっては、例えば双曲面ミラーなどの凸型回転体ミラーおよびレンズを含む光学系と、その光学系で集光された光学像を撮像するＣＣＤやＣＭＯＳイメージャなどの撮像素子とを含む広角カメラにおいて、光学系の光軸と撮像素子の撮像面の有効領域中心とが、少なくとも撮像対象視野光を撮像画面上に拡大投影するべく、撮像面上で所定の距離を有するように光学系と撮像素子とが配置されている。
【００４１】
従来の全方位カメラでは、凸型回転体ミラーとしての双曲面ミラーに映っている円形画像全体を撮像するために、双曲面ミラーからの全体光像が撮像素子の撮像面有効領域内に入るように光学系と撮像素子とが配置されており、図６（ｂ）に示すように、ミラー像の直径が撮像素子の撮像面有効領域の短辺長よりも短くなるように、光学系と撮像素子とが配置されていた。
【００４２】
しかしながら、全方位カメラの利用目的によっては、必ずしもカメラの周囲３６０度（全方位）を撮像する必要がない場合がある、例えば、部屋の壁際に設置される場合や、車のコーナーモニタのように前方，側面，後方の３方向の視野範囲に限定される場合などが挙げられる。
【００４３】
このように、カメラの周囲３６０度を撮像する必要がない場合には、光学系で集光された光学像のうち、必要とされる部分（撮像視野対象）だけが撮像素子の撮像面有効領域に、上記従来の場合に比べて拡大して結像されるように、光学系と撮像素子との相対的な配置を調整して、カメラの画角を変更すると共に、光学系の光軸を撮像素子の撮像面の有効領域中心からずらすことができる。この場合には、光学系で集光された円形状の光学像が一部欠けた状態で、例えば長方形状の撮像素子の撮像面の長辺および短辺いっぱいに結像される。
【００４４】
これにより、双曲面ミラーとレンズとを含む光学系で集光された光学像は、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子の撮像面上に拡大投影されるため、画素数が多い撮像素子を用いなくても、元々ある画素数を有効に用いることにより解像度が高い画像が得られる。
【００４５】
また、本発明の広角カメラシステムは、本発明の広角カメラで撮像された画像情報に対して、画像処理手段によって、パノラマ変換や透視変換などのような極座標系から直交座標系への変換処理を施して、表示手段によって表示させることができる。このときの変換処理の選択、画像サイズなどは、表示制御手段によって制御することができる。
【００４６】
【発明の実施の形態】
以下に、本発明の広角カメラの実施形態を広角カメラシステムに適用した場合ついて、図面を参照しながら説明する。なお、本発明の広角カメラは、全方位未満の視野を撮像するものである。
【００４７】
図１は、本発明の広角カメラの一実施形態における光学系および撮像手段の配置例を示す図であり、（ａ）は、光学系を構成する双曲面ミラー５およびレンズ６と、撮像手段を構成する固体撮像素子などの撮像素子７との配置関係を模式的に示す斜視図、（ｂ）は、双曲面ミラー５およびレンズ６を介して得られたミラー光像と撮像素子７の撮像面有効領域との配置関係を示す平面図である。
【００４８】
図１（ａ）において、この広角カメラ１は、凸型回転体ミラーの一種である双曲面ミラー５およびレンズ６を含む光学系１ａと、その光学系で集光される光学像を撮像するＣＣＤやＣＭＯＳイメージャなどの固体撮像素子からなる固体撮像素子７を含む撮像手段１ｂとを有している。
【００４９】
双曲面ミラー５は、図６の場合と同様に、双曲線を（Ｘ，Ｙ，Ｚ）座標系のＺ軸（双曲面ミラー５の回転軸１２ａ）を中心として回転させて得られる曲面である２葉双曲面の一方（Ｚ＞０の領域）の凸状面に、鏡面を形成したものである。この２葉双曲面は、上記式（１）によって表される。
【００５０】
この２葉双曲面は、第１の焦点Ｃ１および第２の焦点９という二つの焦点を有しており、外部から一方の第１の焦点Ｃ１に向かう光は双曲面ミラー５で反射されて、全て第２の焦点９に向かうという特徴がある。
【００５１】
このため、図１（ａ）に示すように、双曲面ミラー５の回転軸１２ａ（光学系の光軸）と、レンズ６の光軸１２を一致させると共に、第２の焦点９にレンズ６の主点６ａを一致させるように、双曲面ミラー５とレンズ６とを配置することにより、撮像素子７で撮影すると、第１の焦点Ｃ１を視点中心として、視野方向によって視点位置が変わらない画像が得られる。
【００５２】
また、本実施形態の広角カメラ１において、図１（ａ）および図１（ｂ）に示すように、撮像素子７の撮像面の有効領域中心１０ａから所定の距離だけ離れた位置１０ｂで撮像素子７と交差している。このとき、カメラの画角と、レンズ６および撮像素子７の配置（カメラの画角は光学系１ａと撮像素子７とのＺ軸方向の配置調整により設定、レンズ６および撮像素子７の配置は、光学系１ａに対して撮像素子７のＸ−Ｙ軸方向の配置調整により設定、但し、各配置調整に合わせて、ミラー定数、レンズの焦点距離なども変更される。）とは、少なくとも撮像対象視野光を撮像画面上に拡大投影するべく、光学系で得られたミラー光像のうち、撮像対象となる所定の視野領域だけが撮像面の有効領域１０内いっぱい（図１（ｂ）のように長辺および短辺方向いっぱい）に結像されるように調整されている。これによって、長方形状の撮像素子７の撮像面有効領域１０には、円形状のミラー光像のうちの一部が欠けた状態の投影光像１１ａが入力画像として結像されている。
【００５３】
なお、図１（ｂ）の例では、光軸中心１２が、撮像素子７の撮像面の有効領域中心１０ａから下方向にずれた位置１０ｂに配置されているが、ずれの方向はこれに限らず、広角カメラ１の用途など、必要に応じて上下左右いずれの方向にずれていてもよい。
【００５４】
ここで、本実施形態の広角カメラ１を用いたカメラシステム１００Ａについて、図２を用いて説明する。
【００５５】
図２は、本発明の広角カメラシステムの一実施形態における構成例を示すブロック図である。
【００５６】
図２において、この広角カメラシステム１００Ａは、広角カメラ１と、この広角カメラ１で撮像された画像情報に対して所定の演算処理を施す画像処理手段２と、画像処理手段２で演算処理された画像情報を表示画面上に表示する表示手段３と、表示手段３で表示される画像の選択、画像のサイズの制御などを行う表示制御手段４とを有している。
【００５７】
全方位カメラ１は、図１に示す双曲線ミラー５を含む光学系１ａと、撮像素子７を含む撮像手段１ｂを有している。
【００５８】
撮像手段１ｂでは、双曲面ミラー５を介して得られる光学像が、レンズ６を介して撮像素子７に入射され、ＣＣＤまたはＣＭＯＳイメージセンサなどの撮像素子７によって画像情報に変換される。変換された画像情報は、画像処理手段２に送られる。
【００５９】
画像処理手段２は、撮像手段１ｂから供給された画像情報に対して種々の演算処理を施す画像変換部２ａと、画像変換部２ａで演算処理された結果を格納する出力バッファメモリ２ｂとを有している。
【００６０】
画像変換部２ａでは、撮像手段１ｂから供給された画像情報に対して、表示制御部４から制御ライン４ａを介して供給される制御信号にしたがって、パノラマ変換処理や透視変換処理などのような極座標系から直交座標系への変換処理が行われると共に、それらの画像サイズの調整などが行われ、その処理結果が出力バッファメモリ２ｂに格納される。
【００６１】
出力バッファメモリ２ｂに格納された画像データは、信号ケーブル３ａを介して表示手段３に供給され、表示手段３の表示画面上に表示される。
【００６２】
なお、図１に示す本実施形態の広角カメラシステム１００Ａは、図７に示す従来の全方位カメラシステムと同様のブロック構成によって表されているが、広角カメラ１を構成する光学系１ａおよび撮像手段１ｂは従来のものとはその配置が異なっており、本発明固有の構成を有している。また、光学系１ａおよび撮像手段１ｂの配置関係が従来とは異なっていることから、画像処理手段２で行われる演算処理についても、従来とは異なる本願固有の処理となる。
【００６３】
ここで、本実施形態の広角カメラシステム１００Ａにおける画像処理手段２について、図３〜図５を用いて詳細に説明する。
【００６４】
図３は、図２の画像処理手段２の要部構成例を示すブロック図である。
【００６５】
図３において、この画像処理手段２は、Ａ／Ｄ変換器２１、入力バッファメモリ２２、ＣＰＵ２３、ルックアップテーブル（ＬＵＴ）２４、画像変換ロジック２５などを含む画像変換部２ａと、その処理結果を格納する出力バッファメモリ２ｂとを有しており、各々がバスライン２６によって接続されている。
【００６６】
広角カメラ１によって撮像された画像情報が、バスライン２６を介して画像処理手段２に入力されると、その画像情報がアナログ信号の場合には、Ａ／Ｄ変換器２１によってデジタル信号に変換された後、入力バッファメモリ２２に入力される。また、画像情報がデジタル信号の場合には、直接、入力バッファメモリ２２に入力される。
【００６７】
次に、入力バッファメモリ２２からの出力データに対して、画像変換ロジック２５によってパノラマ変換または透視変換などの各種演算処理が施され、各種演算処理後のデータが出力バッファメモリ２ｂに格納される。
【００６８】
これらの画像演算処理は、後述するように、極座標系から直交座標系への変換処理のために三角関数が多用されるが、三角関数の計算には、一般に非常に時間がかかる。そこで、本実施形態では、予め関数の数値を計算し、その数値をルックアップテーブル（ＬＵＴ）２４にテーブルデータとして格納しておき、必要なときにそのテーブルデータを参照して座標変換を行っている。
【００６９】
画像処理手段２を構成する各部分の制御は、ＣＰＵ２３（制御部：中央演算処理装置）によって行われる。このＣＰＵ２３は、所謂ＲＩＳＣ（ＲｅｄｕｃｅｄＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｅｒ）方式のＣＰＵであっても、ＣＩＳＣ（ＣｏｍｐｌｅｘＩｎｓｔｒｕｃｔｉｏｎＳｅｔＣｏｍｐｕｔｅｒ）方式のＣＰＵであってもよい。
【００７０】
次に、画像変換ロジック２５による画像変換処理の原理について説明する。
【００７１】
まず、パノラマ変換処理について、図４を用いて説明する。
【００７２】
図４は、図２の画像変換部２ａによるパノラマ変換処理について説明するための図であり、（ａ）には撮像面１０に結像された一部欠けた円形入力画像（ミラー光像１１ａ）が示され、（ｂ）には変換後のパノラマ画像１３が示されている。
【００７３】
図４（ａ）に示す入力画像１１ａを、撮像面とレンズ６の光軸１２との交点１０ｂを原点とした極座標で表わすと、各画素Ｐの座標は（ｒ，θ）で表わされる。
【００７４】
図４（ａ）において、この入力画像１１ａを、ドーナツ状に切り出して、撮像面とレンズ光軸との交点１０ｂからの距離ｒｏ、角度θｏである内円の一方のコーナ点ＰＯ（ｒｏ，θｏ）を基準に切り開いて引き伸ばし、図４（ｂ）に示すような四角いパノラマ画像１３に変換するための座標変換式は、パノラマ画像１３上の点の座標をＰ（ｘ，ｙ）とすると、
ｘ＝θ−θｏ
ｙ＝ｒ−ｒｏ
と表される。
【００７５】
ここで、入力画像１１ａ上の点の座標をＰ（Ｘ，Ｙ）、その中心１０ｂの座標をＯ（Ｘｏ，Ｙｏ）とすると、
Ｘ＝ｒ×ｃｏｓθ＋Ｘｏ
Ｙ＝ｒ×ｓｉｎθ＋Ｙｏ
から、
Ｘ＝（ｙ＋ｒｏ）ｃｏｓ（ｘ＋θｏ）＋Ｘｏ・・・（２）
Ｙ＝（ｙ＋ｒｏ）ｓｉｎ（ｘ＋θｏ）＋Ｙｏ・・・（３）
と表わされる。
【００７６】
次に、透視変換処理について、図５を用いて説明する。
【００７７】
図５は、図２の画像変換部２ａにおける透視変換処理について説明するための図である。
【００７８】
図５において、透視変換の座標変換処理では、空間上の点から、その点が画像上のどの位置に対応するかを計算し、その点の画像情報を透視変換後の対応する座標位置に割り当てる方法が適用される。
【００７９】
空間上の点の座標をＰ（ｔｘ，ｔｙ，ｔｚ）（またはＰ（Ｘ，Ｙ，Ｚ））とし、対応する画像１１ａ上の点の座標をＲ（ｒ，θ）（ｒはレンズ６の光軸１２と撮像素子の撮像面１０との交点１０ｂからの距離、θはＺ軸回りの回転角）とし、レンズ６の焦点距離（レンズ６と撮像面１０との距離）をＦとし、さらに、双曲面ミラー５のミラー定数をａ，ｂ，ｃとすると、
ｒ＝Ｆ×ｔａｎ（（π／２）−β）・・・（４）
但し、β＝ａｒｃｔａｎ（（（ｂ^２＋ｃ^２）×ｓｉｎα−２×ｂ×ｃ）／（ｂ^２−ｃ^２）×ｃｏｓα）
α＝ａｒｃｔａｎ（ｔｚ／ √（ｔｘ^２＋ｔｙ^２））
θ＝ａｒｃｔａｎ（ｔｙ／ｔｘ）
となる。なお、αは、双曲面ミラー５の第１の焦点Ｃ１を含む水平面から空間上の点Ｐに対する俯角であり、βは、第２の焦点９を含む水平面から双曲面ミラー５の入射点に対する天頂角である。
【００８０】
これらの式を整理すると、
ｒ＝Ｆ×（（（ｂ^２−ｃ^２）×√（ｔｘ^２＋ｔｙ^２））／（（ｂ^２＋ｃ^２）×ｔｚ−２ｂｃ×√（ｔｘ^２＋ｔｙ^２＋ｔｚ^２）））・・・（４’）
となる。
【００８１】
さらに、画像１１ａ上の点の座標を極座標系から直行座標系に変換し、Ｒ（Ｘ，Ｙ）と表すと、
Ｘ＝ｒｃｏｓθ
Ｙ＝ｒｓｉｎθ
から、
Ｘ＝Ｆ×（（（ｂ^２−ｃ^２）×ｔｘ／（（ｂ^２＋ｃ^２）×ｔｚ−２ｂｃ×√（ｔｘ^２＋ｔｙ^２＋ｔｚ^２）））・・・（５）
Ｙ＝Ｆ×（（（ｂ^２−ｃ^２）×ｔｙ／（（ｂ^２＋ｃ^２）×ｔｚ−２ｂｃ×√（ｔｘ^２＋ｔｙ^２＋ｔｚ^２）））・・・（６）
となる。
【００８２】
ここで、双曲面ミラー５の第１の焦点Ｃ１から、距離Ｒ、俯角φ（図５ではα）、Ｚ軸周りの回転角θである透視空間上に幅Ｗ、高さｈの画像平面（仮想平面）１４について考える。この平面１４上の点、例えば右上コーナの点の座標Ｐ１（ｔｘ、ｔｙ、ｔｚ）は下記式（７）〜（９）で表される。
【００８３】
ｔｘ＝（Ｒｃｏｓφ＋ｈ／２ｓｉｎφ）ｃｏｓθ−Ｗ／２ｓｉｎθ・・・（７）
ｔｙ＝（Ｒｃｏｓφ＋ｈ／２ｓｉｎφ）ｓｉｎθ−Ｗ／２ｃｏｓθ・・・（８）
ｔｚ＝Ｒｓｉｎφ−ｈ／２ｃｏｓφ ・・・（９）
したがって、上記式（７）〜（９）を式（５）および（６）に代入することによって、入力画像面１１ａ上の点の座標（Ｘ，Ｙ）を、下記式（１０）および（１１）に示すように、極座標形式で表すことができる。
【００８４】
Ｘ＝Ｆ×（（（ｂ^２−ｃ^２）×（（Ｒｃｏｓφ＋ｈ／２ｓｉｎφ）ｃｏｓθ−Ｗ／２ｓｉｎθ）／（（ｂ^２＋ｃ^２）×（Ｒｓｉｎφ−ｈ／２ｃｏｓφ）
−２ｂｃ×√（Ｒ^２＋Ｗ^２＋ｈ^２）））・・・（１０）
Ｙ＝Ｆ×（（（ｂ^２−ｃ^２）×（（Ｒｃｏｓφ＋ｈ／２ｓｉｎφ）ｓｉｎθ−Ｗ／２ｃｏｓθ）／（（ｂ^２＋ｃ^２）×（Ｒｓｉｎφ−ｈ／２ｃｏｓφ） −２ｂｃ×√（Ｒ^２＋Ｗ^２＋ｈ^２）））・・・（１１）
ここで、透視画面サイズをピクセル単位でａ，ｂとすると、仮想平面の幅ＷをＷ／ａステップで、高さｈをｈ／ｂステップで、Ｗ〜―Ｗ、ｈ〜―ｈまで変化させたときに、それぞれの仮想平面１４上の点に対応する入力画像１１ａの画像データを並べることによって、透視画像が得られる。
【００８５】
上記構成により、画像処理手段２の動作について説明する。
【００８６】
まず、表示手段３では、信号ケーブル３ａを介して画像処理手段２で処理された画像データが入力されると、その画像データが映像として表示される。このとき、表示制御手段４により制御ライン４ａを介して画像処理手段２の変換パラメータであるａ，ｂ，ｃ，Ｒ，Ｗ，ｈ（パノラマ変換では、上記式（２）および（３）からｒｏ、θｏ、Ｘｏ、Ｙｏが必要で、透視変換では、上記式（１０）および（１１）から、Ｆ、ｂ、ｃ、Ｒ、ｈ、Ｗ、θ、φが必要）などが指定される。
【００８７】
画像処理手段２では、ＣＰＵ２３によって、それらの変換パラメータに基づいて、表示手段３に表示させる画像（画像処理手段２により変換されるパノラマ画像および透視画像など）の種類、画像の向き、画像のサイズなどの選択調整が行われる。
【００８８】
例えば図４において、ＰＯ（ｒｏ，θｏ）のθｏを変化させることにより、パノラマ画面での中心視野方向（図４Ａ参照；撮像素子の撮像面の有効領域１８、ミラー光像１９、パノラマ画像２８）を変化させることが可能である。また、図５において、θ、α、Ｗ、ｈを変化させることにより、透視画面の向きと画面サイズを変化させることが可能である。
【００８９】
以上により、本発明によれば、双曲面ミラー５とレンズ６とからなる光学系１ａと、光学系で集光された光学像を撮像する撮像素子７とを含む撮像手段１ｂとを有する広角カメラ１において、光学系１ａで集光されたミラー光像のうち、撮像対象となる所定視野領域が撮像面の有効領域１０に拡大されて結像されるべく、レンズ６の光軸１２と、撮像素子７の撮像面の有効領域中心１０ａとが、撮像面上で所定の距離を有するように、光学系１ａと撮像素子７との相対位置関係を調整するため、撮像素子７の画素数を多くすることなく、元々の画素数を有効に用いることができて、解像度が高い画像を得ることができる。
【００９０】
【発明の効果】
以上のように、本発明によれば、双曲面ミラーなどの凸型回転体ミラーおよびレンズを含む光学系と、その光学系で集光された光学像を撮像するＣＣＤやＣＭＯＳイメージャなどの撮像素子を含む広角カメラにおいて、カメラの周囲３６０度を撮像する必要がない場合に、光学系と撮像素子との相対的な位置を調整して、光学系の光軸と撮像素子の撮像面の有効領域中心とを、少なくとも撮像対象視野光を撮像画面上に拡大投影するべく、撮像面上で所定の距離を有するようにずらせた配置とすることによって、光学系で集光された光学像のうち、必要な部分（撮像対象）だけが撮像素子の撮像面有効領域に結像させて、拡大表示することができる。これによって、従来の場合と同じ画素数の撮像素子を用いても、解像度の高い画像を得ることができる。
【００９１】
また、本発明では、従来の全方位カメラおよびこれを用いた全方位カメラシステムと、機構および部品の多くが共通しており、従来技術からの変更点を最小限に抑えることができるため、低コストで高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】（ａ）は、本発明の一実施形態である広角カメラの光学系と撮像手段との配置例を模式的に示す斜視図および、（ｂ）は、（ａ）の広角カメラによるミラー像と撮像素子７の撮像面有効領域との配置関係を示す平面図である。
【図２】本発明の一実施形態である広角カメラシステムの構成例を示すブロック図である。
【図３】図２の画像処理手段の構成例を示すブロック図である。
【図４】（ａ）および（ｂ）はそれぞれ、図２の画像処理手段によるパノラマ変換処理について説明するための図である。
【図４Ａ】図４のパノラマ画面での中心視野方向の変化について説明するための図である。
【図５】図２の画像処理手段による透視変換処理について説明するための図である。
【図６】（ａ）は、従来の全方位カメラの光学系と撮像手段との配置例を模式的に示す斜視図および、（ｂ）は、（ａ）の全方位カメラによるミラー像と撮像素子の撮像面有効領域との配置関係を示す平面図である。
【図７】従来の全方位カメラシステムの構成例を示すブロック図である。
【符号の説明】
１広角カメラ
１ａ光学系
１ｂ撮像手段
２画像処理手段
２ａ画像変換部
２ｂ出力バッファメモリ
３表示手段
３ａ信号ケーブル
４表示制御手段
４ａ制御ライン
５双曲面ミラー
６レンズ
６ａレンズの主点
７撮像素子
８座標原点
Ｃ１第１の焦点
９第２の焦点
１０、１８撮像素子の撮像面の有効領域
１０ａ撮像面の有効領域の中心
１０ｂ光軸中心と交差する撮像素子の撮像面の位置
１１ａ、１９ミラー光像
１２レンズの光軸
１３、２８パノラマ画像
１４仮想平面
２１Ａ／Ｄコンバータ
２２入力バッファメモリ
２３ＣＰＵ
２４ＬＵＴ
２５画像変換ロジック
２６バスライン
１００Ａ広角カメラシステム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a wide-angle camera and a wide-angle camera system used for robot vision sensors, security cameras, in-vehicle cameras, and the like.
[0002]
[Prior art]
Conventionally, research on input devices that can simultaneously input a wide range of visual field information has been actively conducted. As an image input device capable of obtaining such a wide range of visual field information, for example, Patent Document 1 discloses an omnidirectional camera using a two-leaf hyperboloid mirror. This omnidirectional camera can capture a 360 ° field image at a time, and can create a perspective projection image having a projection center from the captured image in real time. Research and development of an omnidirectional vision system using such an omnidirectional camera as a robot vision sensor, a security camera, an in-vehicle camera, and the like has been actively conducted.
[0003]
Hereinafter, a conventional omnidirectional camera will be described with reference to FIG.
[0004]
FIG. 6 is a diagram illustrating an arrangement example of an optical system and an imaging unit in a conventional omnidirectional camera. FIG. 6A is a diagram illustrating a hyperboloid mirror 5 and a lens 6 constituting the optical system and an imaging unit constituting the imaging unit. The perspective view which shows typically arrangement | positioning with the element 7, (b) shows the arrangement | positioning relationship between the circular mirror image obtained via the hyperboloid mirror 5 and the lens 6, and the imaging surface effective area | region of the imaging element 7. FIG. It is a top view.
[0005]
6A and 6B, the omnidirectional camera 20 includes, for example, a hyperboloid mirror 5 and a lens 6 which are a kind of convex rotating mirror in order to capture a 360-degree field object. It has an optical system 1a and an image pickup means 1b including an image pickup device 7 for picking up an optical image condensed by the optical system 1a.
[0006]
Since this optical system 1a is described in detail in the above-mentioned Patent Document 1, only its feature points will be described here. This hyperboloid mirror 5 has a convex surface on one side (Z> 0 region) of a two-leaf hyperboloid which is a curved surface obtained by rotating the hyperbola around the Z axis of the (X, Y, Z) coordinate system. A mirror surface is formed.
[0007]
The two-leaf hyperboloid is represented by the following formula (1).
[0008]
(X²+ Y²/ A²-Z²/ B²= -1 (1)
c²= A²+ B²
In the above formula (1), a and b are constants that define the shape of the hyperboloid, and c is a constant that defines the position of the focal point, and are respectively denoted by the same symbols a, b, and c in FIG. Corresponds to the part shown. a is the distance between the asymptotic line ZE of the two-leaf hyperboloid and the apex of the hyperboloidal mirror 5, b is the distance between the apex of the hyperboloidal mirror 5 and the coordinate origin 8, and c is the first focal point C1 and the second focal point 9. And the coordinate origin 8.
[0009]
The two-leaf hyperboloid has two focal points, a first focal point C1 and a second focal point 9, and the light traveling from the outside toward the focal point C1 is reflected by the hyperboloidal mirror 5, and is all second focal point. There is a characteristic of heading to 9.
[0010]
Therefore, as shown in FIG. 6A, the rotation axis 12a (optical axis of the optical system) of the hyperboloid mirror 5 and the optical axis 12 of the lens 6 are made to coincide with each other, and the main focus of the lens 6 is set to the second focal point 9. By arranging the hyperboloid mirror 5 and the lens 6 so that the points 6a coincide with each other, when the image pickup device 7 takes an image, an image whose viewpoint position does not change depending on the viewing direction is obtained with the first focus 8 as the center of the viewpoint. It shows the feature that
[0011]
Further, the optical axis 12 of the lens 6 aligned with the rotation axis 12a of the hyperboloid mirror 5 is at the center 10a of the imaging surface effective area of the imaging device 7, as shown in FIGS. 6 (a) and 6 (b). Crossed. In general, the imaging area effective area 10 of the imaging element 7 is rectangular, and in this omnidirectional camera 20, a circular mirror image 11 having a short side length of the imaging area effective area 10 as a diameter is used as an input image. It's being used.
[0012]
Next, a camera system using such an omnidirectional camera will be described with reference to FIG.
[0013]
FIG. 7 is a block diagram illustrating a configuration example of a camera system using a conventional omnidirectional camera.
[0014]
In FIG. 7, the camera system 100 includes an omnidirectional camera 20, an image processing unit 2 that performs predetermined arithmetic processing on image information captured by the omnidirectional camera 20, and various calculations performed by the image processing unit 2. The display unit 3 displays the processed image information on the display screen, and the display control unit 4 performs selection of an image displayed on the display unit 3 and control of the image size.
[0015]
The omnidirectional camera 20 includes an optical system 1 a including the hyperbolic mirror 5 and the lens 6 illustrated in FIG. 6, and an imaging unit 1 b including the imaging element 7.
[0016]
In the image pickup means 1b, the optical image condensed by the hyperboloid mirror 5 and the lens 6 enters the solid-state image pickup device 7, and is converted into image information by the solid-state image pickup device 7 such as a CCD or CMOS image sensor. The converted image information is sent to the image processing means 2.
[0017]
The image processing unit 2 includes an image conversion unit 2a that performs various arithmetic processing on the image information supplied from the imaging unit 1b, and an output buffer memory 2b that stores the results of the arithmetic processing performed by the image conversion unit 2a. is doing.
[0018]
In the image conversion unit 2a, various arithmetic processes are performed on the image information supplied from the imaging unit 1b according to the control signal supplied from the display control unit 4 through the control line 4a, and the processing result is obtained. Stored in the output buffer memory 2b.
[0019]
The image data stored in the output buffer memory 2b is supplied to the display means 3 via the signal cable 3a and displayed on the display screen of the display means 3.
[0020]
In the camera system 100, since the optical zoom cannot be used to increase the resolution, an electronic zoom is used in which a part of the input image data is extracted and electronically enlarged and displayed. Therefore, it is necessary to increase the number of pixels of the image sensor so that a good display state can be maintained even when the electronic zoom is performed.
[0021]
The reason why the optical zoom cannot be used is as follows. In the optical zoom, a relatively enlarged captured image can be obtained by increasing the focal length of the lens 6, narrowing the angle of view, and relatively narrowing the imaging region. On the other hand, in the omnidirectional camera 20, when the angle of view of the lens 6 is changed, the mirror image as the subject is enlarged and only the center of the mirror is imaged, and the entire mirror cannot be imaged. Therefore, in the omnidirectional camera 20, since it is necessary to always capture the entire mirror, the mirror image must always be captured at a certain size, and optical zoom cannot be applied to this.
[0022]
[Patent Document 1]
JP-A-6-295333
[0023]
[Problems to be solved by the invention]
In the camera system 100 using the conventional omnidirectional camera 20, the optical zoom cannot be used to increase the resolution. Further, when the electronic zoom is used, it is necessary to increase the number of pixels of the image sensor 7 so as to withstand the electronic zoom.
[0024]
However, in the method of increasing the number of pixels of the image sensor 7, the number of pixels can be increased beyond a certain number of pixels in order to capture and reproduce a moving image due to restrictions on the reading speed of the image sensor 7. However, it was difficult to increase the resolution by increasing the number of pixels beyond that.
[0025]
For example, when a moving image is picked up and reproduced and displayed, a method for increasing the resolution (resolution) of the image while using a CCD image pickup device having a relatively low number of pixels due to restrictions on the reading speed of the image pickup device 7. Is required.
[0026]
The present invention solves the above-described conventional problems, and a wide-angle camera that can easily obtain a high-resolution image without increasing the number of pixels of the image sensor as compared with the current state, and a wide-angle camera system using the same The purpose is to provide.
[0027]
[Means for Solving the Problems]
The wide-angle camera of the present invention is a wide-angle camera including an optical system and an image pickup device that picks up an optical image collected by the optical system, and an optical axis of the optical system and an effective area center of an image pickup surface of the image pickup device. And the optical system and the imaging device are arranged so as to have a predetermined distance on the imaging surface in order to enlarge and project at least the imaging target field light on the imaging screen, thereby achieving the above object. Is done.
[0028]
Preferably, the distance between the optical axis of the optical system in the wide-angle camera of the present invention and the center of the effective area of the imaging surface of the imaging device is a predetermined target to be imaged among the optical images collected by the optical system. An optical image of the visual field area is set to be formed on the effective area of the imaging surface.
[0029]
Further preferably, the distance between the optical axis of the optical system in the wide-angle camera of the present invention and the center of the effective area of the imaging surface of the imaging device is set according to the relative positional relationship between the optical system and the imaging device. Yes.
[0030]
Further preferably, the effective image pickup surface of the image pickup device in the wide-angle camera of the present invention is rectangular, and a part of the optical image condensed by the optical system is formed in the short side and long side direction of the rectangle. Has been.
[0031]
Further preferably, the optical system in the wide-angle camera of the present invention includes a convex rotator mirror and a lens, the rotational axis of the convex rotator mirror is aligned with the optical axis of the lens, and the convex The convex part of the rotating body mirror is arranged facing the lens side.
[0032]
Further preferably, the convex rotator mirror in the wide-angle camera of the present invention is a reflecting mirror having a hyperboloid shape of one of the two-leaf hyperbolas, and the second hyperboloid on the hyperboloid The main points of the lenses are arranged to coincide.
[0033]
Further preferably, the image sensor in the wide-angle camera of the present invention is a solid-state image sensor.
[0034]
A wide-angle camera system according to the present invention includes the wide-angle camera according to any one of claims 1 to 7 and image processing means for performing predetermined arithmetic processing for display on image information captured by the wide-angle camera. As a result, the above object is achieved.
[0035]
Preferably, the wide-angle camera system of the present invention further includes display means for displaying the image information calculated by the image processing means on the display screen.
[0036]
Furthermore, preferably, the wide-angle camera system of the present invention further includes display control means for controlling selection of an image displayed on the display screen of the display means and image size.
[0037]
Further preferably, in the wide-angle camera system of the present invention, the calculation processing by the image processing means includes conversion processing from the polar coordinate system to the orthogonal coordinate system for the image information captured by the wide-angle camera. .
[0038]
Further preferably, in the wide-angle camera system of the present invention, the conversion processing from the polar coordinate system to the orthogonal coordinate system includes at least one of panorama conversion processing and perspective conversion processing.
[0039]
The operation of the present invention will be described below with the above configuration.
[0040]
The present invention includes, for example, an optical system including a convex rotating mirror such as a hyperboloid mirror and a lens, and an image sensor such as a CCD or CMOS imager that captures an optical image condensed by the optical system. In a wide-angle camera, the optical system is configured such that the optical axis of the optical system and the center of the effective area of the imaging surface of the imaging device have a predetermined distance on the imaging surface so that at least the imaging target field light is enlarged and projected on the imaging screen. And an image sensor.
[0041]
In the conventional omnidirectional camera, in order to capture the entire circular image reflected on the hyperboloidal mirror as a convex rotating mirror, the entire light image from the hyperboloidal mirror is within the effective area of the imaging surface of the image sensor. The optical system and the image pickup device are arranged on each other, and the optical system and the image pickup device are arranged so that the diameter of the mirror image is shorter than the short side length of the image pickup surface effective area of the image pickup device, as shown in FIG. The element was arranged.
[0042]
However, depending on the purpose of use of the omnidirectional camera, it may not always be necessary to take an image of 360 degrees (omnidirectional) around the camera, for example, when installed near the wall of a room or in a corner monitor of a car. The case where it is limited to the visual field range of three directions of the front, side, and back is mentioned.
[0043]
As described above, when it is not necessary to image 360 degrees around the camera, only the necessary portion (imaging field target) of the optical image collected by the optical system is the imaging surface effective area of the imaging device. In addition, the relative arrangement of the optical system and the image sensor is adjusted to change the angle of view of the camera, and the optical axis of the optical system is adjusted so that the image is enlarged and formed as compared with the conventional case. It can be shifted from the center of the effective area of the imaging surface of the imaging device. In this case, an image is formed on the entire long side and short side of the imaging surface of a rectangular imaging device, for example, in a state where a circular optical image collected by the optical system is partially missing.
[0044]
As a result, an optical image condensed by an optical system including a hyperboloid mirror and a lens is enlarged and projected on an imaging surface of an imaging element such as a CCD or a CMOS image sensor, so an imaging element having a large number of pixels is used. Even if not, an image having a high resolution can be obtained by effectively using the number of pixels originally.
[0045]
Further, the wide-angle camera system of the present invention performs conversion processing from a polar coordinate system to an orthogonal coordinate system such as panorama conversion and perspective conversion by image processing means on image information captured by the wide-angle camera of the present invention. And can be displayed by the display means. Selection of the conversion process, image size, and the like at this time can be controlled by the display control means.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a case where an embodiment of the wide-angle camera of the present invention is applied to a wide-angle camera system will be described with reference to the drawings. The wide-angle camera of the present invention captures a field of view that is less than all directions.
[0047]
FIG. 1 is a diagram showing an arrangement example of an optical system and imaging means in an embodiment of the wide-angle camera of the present invention. FIG. 1A shows a hyperboloid mirror 5 and a lens 6 constituting the optical system, and imaging means. The perspective view which shows typically arrangement | positioning relationship with image pick-up elements 7, such as a solid-state image sensor to comprise, (b) is the mirror light image obtained via the hyperboloid mirror 5 and the lens 6, and the image pick-up surface of the image pick-up element 7 It is a top view which shows the arrangement | positioning relationship with an effective area | region.
[0048]
In FIG. 1A, this wide-angle camera 1 includes an optical system 1a including a hyperboloid mirror 5 and a lens 6 that are a kind of convex rotating mirror, and a CCD that captures an optical image condensed by the optical system. And an image pickup means 1b including a solid-state image pickup device 7 made of a solid-state image pickup device such as a CMOS imager.
[0049]
The hyperboloid mirror 5 is a curved surface 2 obtained by rotating the hyperbola around the Z axis (rotation axis 12a of the hyperboloid mirror 5) of the (X, Y, Z) coordinate system, as in FIG. A mirror surface is formed on the convex surface of one of the leaf hyperboloids (Z> 0 region). This two-leaf hyperboloid is expressed by the above formula (1).
[0050]
This two-leaf hyperboloid has two focal points, a first focal point C1 and a second focal point 9, and the light traveling from the outside toward the first focal point C1 is reflected by the hyperboloidal mirror 5, All have the characteristic of going to the second focal point 9.
[0051]
For this reason, as shown in FIG. 1A, the rotation axis 12a of the hyperboloid mirror 5 (the optical axis of the optical system) and the optical axis 12 of the lens 6 coincide with each other, and the second focal point 9 When the hyperboloid mirror 5 and the lens 6 are arranged so that the principal points 6a coincide with each other, when an image is taken with the image sensor 7, an image whose viewpoint position does not change depending on the viewing direction with the first focus C1 as the center of the viewpoint is obtained. can get.
[0052]
Further, in the wide-angle camera 1 of the present embodiment, as shown in FIGS. 1A and 1B, the image sensor at a position 10 b that is a predetermined distance away from the effective area center 10 a of the imaging surface of the image sensor 7. Crosses 7 At this time, the angle of view of the camera and the arrangement of the lens 6 and the image sensor 7 (the angle of view of the camera is set by adjusting the arrangement of the optical system 1a and the image sensor 7 in the Z-axis direction, and the arrangement of the lens 6 and the image sensor 7 is The optical system 1a is set by adjusting the arrangement of the image sensor 7 in the X-Y axis direction. However, the mirror constant, the focal length of the lens, and the like are changed in accordance with each arrangement adjustment. In order to enlarge and project the target field light on the imaging screen, only a predetermined field area to be imaged is filled in the effective area 10 of the imaging surface among the mirror light images obtained by the optical system (see FIG. 1B). In such a way that the image is formed in the long side and the short side direction). As a result, a projected light image 11a in a state in which a part of the circular mirror light image is missing is formed as an input image on the imaging surface effective area 10 of the rectangular imaging device 7.
[0053]
In the example of FIG. 1B, the optical axis center 12 is arranged at a position 10b that is shifted downward from the effective area center 10a of the imaging surface of the imaging device 7, but the direction of the shift is not limited thereto. Instead, it may be shifted in any direction, up, down, left, or right as required, such as the application of the wide-angle camera 1.
[0054]
Here, a camera system 100A using the wide-angle camera 1 of the present embodiment will be described with reference to FIG.
[0055]
FIG. 2 is a block diagram showing a configuration example in an embodiment of the wide-angle camera system of the present invention.
[0056]
In FIG. 2, the wide-angle camera system 100 </ b> A includes a wide-angle camera 1, an image processing unit 2 that performs predetermined arithmetic processing on image information captured by the wide-angle camera 1, and an arithmetic processing performed by the image processing unit 2. The display unit 3 displays image information on the display screen, and the display control unit 4 performs selection of an image displayed on the display unit 3 and control of the image size.
[0057]
The omnidirectional camera 1 includes an optical system 1 a including a hyperbolic mirror 5 shown in FIG. 1 and an imaging unit 1 b including an imaging element 7.
[0058]
In the image pickup means 1b, an optical image obtained through the hyperboloid mirror 5 is incident on the image pickup device 7 through the lens 6 and converted into image information by the image pickup device 7 such as a CCD or CMOS image sensor. The converted image information is sent to the image processing means 2.
[0059]
The image processing unit 2 includes an image conversion unit 2a that performs various arithmetic processing on the image information supplied from the imaging unit 1b, and an output buffer memory 2b that stores the results of the arithmetic processing performed by the image conversion unit 2a. is doing.
[0060]
In the image conversion unit 2a, polar coordinates such as panorama conversion processing and perspective conversion processing are performed on the image information supplied from the imaging unit 1b in accordance with a control signal supplied from the display control unit 4 via the control line 4a. The conversion processing from the system to the orthogonal coordinate system is performed, the image size is adjusted, and the processing result is stored in the output buffer memory 2b.
[0061]
The image data stored in the output buffer memory 2b is supplied to the display means 3 via the signal cable 3a and displayed on the display screen of the display means 3.
[0062]
The wide-angle camera system 100A of the present embodiment shown in FIG. 1 is represented by the same block configuration as that of the conventional omnidirectional camera system shown in FIG. 7, but the optical system 1a and the imaging means constituting the wide-angle camera 1 The arrangement of 1b is different from that of the conventional one and has a configuration unique to the present invention. Further, since the arrangement relationship between the optical system 1a and the imaging unit 1b is different from the conventional one, the arithmetic processing performed by the image processing unit 2 is also a process unique to the present application different from the conventional one.
[0063]
Here, the image processing means 2 in the wide-angle camera system 100A of the present embodiment will be described in detail with reference to FIGS.
[0064]
FIG. 3 is a block diagram showing a configuration example of a main part of the image processing means 2 of FIG.
[0065]
In FIG. 3, this image processing means 2 includes an A / D converter 21, an input buffer memory 22, a CPU 23, a look-up table (LUT) 24, an image conversion logic 25, and the like, and the processing result. The output buffer memory 2b for storing is connected to each other by a bus line 26.
[0066]
When image information captured by the wide-angle camera 1 is input to the image processing means 2 via the bus line 26, if the image information is an analog signal, it is converted into a digital signal by the A / D converter 21. Is then input to the input buffer memory 22. If the image information is a digital signal, it is directly input to the input buffer memory 22.
[0067]
Next, the output data from the input buffer memory 22 is subjected to various arithmetic processes such as panorama conversion or perspective conversion by the image conversion logic 25, and the data after the various arithmetic processes is stored in the output buffer memory 2b.
[0068]
In these image calculation processes, as will be described later, trigonometric functions are frequently used for conversion processing from a polar coordinate system to an orthogonal coordinate system. However, calculation of trigonometric functions generally takes a very long time. Therefore, in the present embodiment, the numerical value of the function is calculated in advance, and the numerical value is stored as table data in the lookup table (LUT) 24, and coordinate conversion is performed with reference to the table data when necessary. Yes.
[0069]
Control of each part constituting the image processing means 2 is performed by a CPU 23 (control unit: central processing unit). The CPU 23 may be a so-called RISC (Reduced Instruction Set Computer) CPU or a CISC (Complex Instruction Set Computer) CPU.
[0070]
Next, the principle of image conversion processing by the image conversion logic 25 will be described.
[0071]
First, the panorama conversion process will be described with reference to FIG.
[0072]
FIG. 4 is a diagram for explaining the panorama conversion process by the image conversion unit 2a of FIG. 2. FIG. 4A shows a partially missing circular input image (mirror light image 11a) formed on the imaging surface 10. (B) shows the panoramic image 13 after conversion.
[0073]
If the input image 11a shown to Fig.4 (a) is represented by the polar coordinate which made the origin the intersection 10b of the imaging surface and the optical axis 12 of the lens 6, the coordinate of each pixel P will be represented by (r, (theta)).
[0074]
In FIG. 4A, the input image 11a is cut out in a donut shape, and one corner point PO (ro, θo) of the inner circle having a distance ro and an angle θo from the intersection 10b between the imaging surface and the lens optical axis. ) With reference to P (x, y) as a coordinate conversion formula for converting to a rectangular panoramic image 13 as shown in FIG.
x = θ−θo
y = r-ro
It is expressed.
[0075]
Here, if the coordinates of a point on the input image 11a are P (X, Y) and the coordinates of the center 10b are O (Xo, Yo),
X = r × cos θ + Xo
Y = r × sin θ + Yo
From
X = (y + ro) cos (x + θo) + Xo (2)
Y = (y + ro) sin (x + θo) + Yo (3)
It is expressed as
[0076]
Next, the perspective conversion process will be described with reference to FIG.
[0077]
FIG. 5 is a diagram for explaining the perspective conversion processing in the image conversion unit 2a of FIG.
[0078]
In FIG. 5, in the coordinate conversion process of perspective transformation, from a point in space, the position on the image corresponding to the point is calculated, and the image information of the point is assigned to the corresponding coordinate position after the perspective transformation. The method is applied.
[0079]
The coordinate of the point on the space is P (tx, ty, tz) (or P (X, Y, Z)), and the coordinate of the corresponding point on the image 11a is R (r, θ) (r is the lens 6). The distance from the intersection 10b between the optical axis 12 and the imaging surface 10 of the imaging device, θ is the rotation angle around the Z axis), the focal length of the lens 6 (the distance between the lens 6 and the imaging surface 10) is F, and When the mirror constants of the hyperboloid mirror 5 are a, b, and c,
r = F × tan ((π / 2) −β) (4)
Where β = arctan (((b²+ C²) × sin α−2 × b × c) / (b²-C²) × cosα)
α = arctan (tz / √ (tx²+ Ty²))
θ = arctan (ty / tx)
It becomes. Α is a depression angle with respect to a point P on the space from the horizontal plane including the first focal point C1 of the hyperboloidal mirror 5, and β is a zenith with respect to the incident point of the hyperboloidal mirror 5 from the horizontal plane including the second focal point 9. It is a horn.
[0080]
Organizing these formulas
r = F × (((b²-C²) × √ (tx²+ Ty²)) / ((B²+ C²) × tz−2bc × √ (tx²+ Ty²+ Tz²))) ... (4 ')
It becomes.
[0081]
Furthermore, when the coordinates of a point on the image 11a are converted from a polar coordinate system to an orthogonal coordinate system and expressed as R (X, Y),
X = r cos θ
Y = rsinθ
From
X = F × (((b²-C²) × tx / ((b²+ C²) × tz−2bc × √ (tx²+ Ty²+ Tz²))) (5)
Y = F × (((b²-C²) × ty / ((b²+ C²) × tz−2bc × √ (tx²+ Ty²+ Tz²))) (6)
It becomes.
[0082]
Here, from the first focal point C1 of the hyperboloidal mirror 5, the distance R, the depression angle φ (α in FIG. 5), and the image plane having the width W and the height h on the fluoroscopic space having the rotation angle θ around the Z axis ( Consider (virtual plane) 14. The coordinates P1 (tx, ty, tz) of the point on the plane 14, for example, the point of the upper right corner, are expressed by the following equations (7) to (9).
[0083]
tx = (R cos φ + h / 2 sin φ) cos θ−W / 2 sin θ (7)
ty = (R cos φ + h / 2 sin φ) sin θ−W / 2 cos θ (8)
tz = Rsinφ−h / 2cosφ (9)
Therefore, by substituting the above formulas (7) to (9) into the formulas (5) and (6), the coordinates (X, Y) of the points on the input image plane 11a are expressed by the following formulas (10) and (11). ) As shown in polar coordinate format.
[0084]
X = F × (((b²-C²) × ((R cos φ + h / 2 sin φ) cos θ−W / 2 sin θ) / ((b²+ C²) × (Rsinφ−h / 2cosφ)
-2bc × √ (R²+ W²+ H²))) (10)
Y = F × (((b²-C²) × ((R cos φ + h / 2 sin φ) sin θ−W / 2 cos θ) / ((b²+ C²) × (Rsinφ−h / 2cosφ) −2bc × √ (R²+ W²+ H²))) (11)
Here, assuming that the perspective screen size is a and b in pixel units, the width W of the virtual plane is changed in W / a steps and the height h is changed in W / −W and h−−h in h / b steps. When the image data of the input image 11a corresponding to each point on the virtual plane 14 is arranged, a fluoroscopic image is obtained.
[0085]
The operation of the image processing means 2 will be described with the above configuration.
[0086]
First, in the display means 3, when the image data processed by the image processing means 2 is input via the signal cable 3a, the image data is displayed as a video. At this time, a, b, c, R, W, h, which are conversion parameters of the image processing means 2 by the display control means 4 via the control line 4a (in panorama conversion, ro from the above formulas (2) and (3)). , Θo, Xo, Yo are required, and in the perspective transformation, F, b, c, R, h, W, θ, φ are required from the above formulas (10) and (11).
[0087]
In the image processing means 2, the type of image (such as a panorama image and a fluoroscopic image converted by the image processing means 2) displayed on the display means 3 by the CPU 23 based on those conversion parameters, the image orientation, and the image size. Etc. are selected and adjusted.
[0088]
For example, in FIG. 4, by changing θo of PO (ro, θo), the central visual field direction on the panoramic screen (see FIG. 4A; effective area 18 on the imaging surface of the image sensor, mirror light image 19, panoramic image 28) Can be changed. Further, in FIG. 5, by changing θ, α, W, and h, it is possible to change the orientation and the screen size of the fluoroscopic screen.
[0089]
As described above, according to the present invention, a wide-angle camera including the optical system 1a including the hyperboloid mirror 5 and the lens 6 and the imaging unit 1b including the imaging device 7 that captures an optical image condensed by the optical system. 1, the optical axis 12 of the lens 6 and the imaging so that a predetermined visual field area to be imaged in the mirror light image collected by the optical system 1 a is enlarged and formed on the effective area 10 of the imaging surface. In order to adjust the relative positional relationship between the optical system 1a and the imaging device 7 so that the effective area center 10a of the imaging surface of the element 7 has a predetermined distance on the imaging surface, the number of pixels of the imaging device 7 is increased. Therefore, the original number of pixels can be used effectively, and an image with high resolution can be obtained.
[0090]
【The invention's effect】
As described above, according to the present invention, an optical system including a convex rotating mirror such as a hyperboloid mirror and a lens, and an image sensor such as a CCD or a CMOS imager that captures an optical image collected by the optical system. In the case of a wide-angle camera including an image sensor, if it is not necessary to image 360 degrees around the camera, the relative position between the optical system and the image sensor is adjusted, and the optical axis of the optical system and the effective area of the image sensor on the image sensor Among the optical images collected by the optical system, the center is arranged so as to have at least a predetermined distance on the imaging surface in order to enlarge and project at least the imaging target field light on the imaging screen. Only a necessary portion (imaging target) can be imaged on the effective area of the imaging surface of the imaging device and can be enlarged and displayed. As a result, a high-resolution image can be obtained even if an image sensor having the same number of pixels as in the conventional case is used.
[0091]
Further, in the present invention, since many of the mechanisms and parts are common with the conventional omnidirectional camera and the omnidirectional camera system using the same, and the changes from the prior art can be minimized, the low A high-resolution image can be obtained at low cost.
[Brief description of the drawings]
FIG. 1A is a perspective view schematically showing an arrangement example of an optical system and an imaging unit of a wide-angle camera which is an embodiment of the present invention, and FIG. 1B is a view of a wide-angle camera of FIG. 3 is a plan view showing a positional relationship between a mirror image and an imaging surface effective area of the imaging device 7. FIG.
FIG. 2 is a block diagram illustrating a configuration example of a wide-angle camera system according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration example of an image processing unit in FIG. 2. FIG.
4A and 4B are diagrams for explaining panorama conversion processing by the image processing unit in FIG. 2 respectively.
4A is a diagram for explaining a change in the central visual field direction on the panoramic screen of FIG. 4; FIG.
5 is a diagram for explaining a perspective conversion process by the image processing unit in FIG. 2; FIG.
6A is a perspective view schematically showing an arrangement example of an optical system and imaging means of a conventional omnidirectional camera, and FIG. 6B is a mirror image and imaging by the omnidirectional camera of FIG. It is a top view which shows the arrangement | positioning relationship with the imaging surface effective area | region of an element.
FIG. 7 is a block diagram illustrating a configuration example of a conventional omnidirectional camera system.
[Explanation of symbols]
1 Wide-angle camera
1a Optical system
1b Imaging means
2 Image processing means
2a Image converter
2b Output buffer memory
3 Display means
3a Signal cable
4 Display control means
4a Control line
5 Hyperboloid mirror
6 Lens
6a Main points of the lens
7 Image sensor
8 Coordinate origin
C1 first focus
9 Second focus
10, 18 Effective area of image pickup surface of image pickup device
10a Center of effective area of imaging surface
10b The position of the imaging surface of the imaging device intersecting the optical axis center
11a, 19 Mirror light image
12 Optical axis of lens
13, 28 panoramic image
14 Virtual plane
21 A / D converter
22 Input buffer memory
23 CPU
24 LUT
25 Image conversion logic
26 Bus line
100A wide-angle camera system

Claims

In a wide-angle camera including an optical system and an image sensor that captures an optical image collected by the optical system,
The optical system so that the optical axis of the optical system and the center of the effective area of the imaging surface of the imaging element have a predetermined distance on the imaging surface so that at least the imaging target field light is enlarged and projected onto the imaging screen And a wide-angle camera in which the image sensor is arranged.

The distance between the optical axis of the optical system and the center of the effective area of the imaging surface of the image sensor is that the optical image of the predetermined visual field area to be imaged is the optical image collected from the optical system. The wide-angle camera according to claim 1, wherein the wide-angle camera is set so as to form an image in an effective area.

The wide-angle camera according to claim 1, wherein a distance between an optical axis of the optical system and an effective area center of an imaging surface of the imaging device is set by a relative positional relationship between the optical system and the imaging device.

The wide angle according to claim 1, wherein an effective image pickup surface of the image pickup device has a rectangular shape, and a part of an optical image condensed by the optical system is formed to fill the short side and the long side of the rectangle. Camera system.

The optical system includes a convex rotator mirror and a lens, the rotational axis of the convex rotator mirror coincides with the optical axis of the lens, and the convex portion of the convex rotator mirror is disposed on the lens side. The wide-angle camera according to claim 1, which is arranged toward the camera.

The convex rotating mirror is a reflecting mirror having a hyperboloid shape of one of the two-leaf hyperboloids, and is arranged so that the principal point of the lens coincides with the second focal position of the hyperboloid surface. The wide-angle camera according to claim 5.

The wide-angle camera according to claim 1, wherein the image sensor is a solid-state image sensor.

A wide-angle camera system comprising: the wide-angle camera according to any one of claims 1 to 7; and image processing means for performing predetermined arithmetic processing for display on image information captured by the wide-angle camera.

The wide-angle camera system according to claim 8, further comprising display means for displaying the image information calculated by the image processing means on a display screen.

The wide-angle camera system according to claim 9, further comprising display control means for controlling selection and image size of an image displayed on the display screen of the display means.

The wide-angle camera system according to claim 8, wherein the arithmetic processing by the image processing means includes conversion processing from a polar coordinate system to an orthogonal coordinate system for image information captured by the wide-angle camera.

The wide-angle camera system according to claim 11, wherein the conversion process from the polar coordinate system to the orthogonal coordinate system includes at least one of a panorama conversion process and a perspective conversion process.