JP2004282551A - 撮像装置、撮像システムおよび撮像方法 - Google Patents
撮像装置、撮像システムおよび撮像方法 Download PDFInfo
- Publication number
- JP2004282551A JP2004282551A JP2003073281A JP2003073281A JP2004282551A JP 2004282551 A JP2004282551 A JP 2004282551A JP 2003073281 A JP2003073281 A JP 2003073281A JP 2003073281 A JP2003073281 A JP 2003073281A JP 2004282551 A JP2004282551 A JP 2004282551A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- image light
- unit
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】取り込んだ像光を単一のＣＣＤチップで受光する場合、光電変換に使われない画素が多数生じるため効率が悪く、しかも解像度が低い。
【解決手段】ＰＡＬレンズ１１を通して取り込んだ像光をハーフミラー１３１で第１，第２の像光に分割し、ハーフミラー１３１を通過した第１の像光を４個のＣＣＤイメージャが環状に配置されてなる第１の撮像部１４で受光する一方、ハーフミラー１３１で反射された第２の像光をさらにミラーで反射させて４個のＣＣＤイメージャが第１の撮像部１４の各ＣＣＤイメージャの間に位置するように環状に配置されてなる第２の撮像部１５で受光し、第１，第２の撮像部１４，１５の各ＣＣＤイメージャから出力される画像データを適宜切り出して合成することによって広範囲の撮像画像を得るようにする。
【選択図】 図１
【解決手段】ＰＡＬレンズ１１を通して取り込んだ像光をハーフミラー１３１で第１，第２の像光に分割し、ハーフミラー１３１を通過した第１の像光を４個のＣＣＤイメージャが環状に配置されてなる第１の撮像部１４で受光する一方、ハーフミラー１３１で反射された第２の像光をさらにミラーで反射させて４個のＣＣＤイメージャが第１の撮像部１４の各ＣＣＤイメージャの間に位置するように環状に配置されてなる第２の撮像部１５で受光し、第１，第２の撮像部１４，１５の各ＣＣＤイメージャから出力される画像データを適宜切り出して合成することによって広範囲の撮像画像を得るようにする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、広角撮像が可能な撮像装置、撮像システムおよび撮像方法に関し、特に監視システムのカメラや自立ロボットの目等として用いて好適な撮像装置、撮像システムおよび撮像方法に関する。
【０００２】
【従来の技術】
広角撮像が可能な撮像装置は、監視システムのカメラや自立ロボットの目などとして用いられる。この種の用途の撮像装置は、全方位に亘って広く撮像できることが必要である。このように、広角撮像が可能な撮像装置では、従来、撮像装置の下方全方位の風景を、側面に鏡面が形成された円錐ミラーにて反射し、この反射された像光をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）カメラで撮影するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平６−１４１２１１号公報（特に、段落００１５〜００１８および図３〜図５、図９）
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例に係る撮像装置では、円錐ミラーで反射されてＣＣＤカメラに入射する全方位の像光を単一のＣＣＤチップで受光する構成となっているため、入射する全方位の像光が円形に結像されるのに対して、当該像光が結像されるＣＣＤチップの撮像面が矩形、一般的には長方形である故、光電変換に使われない画素が多数生じる。したがって、効率が悪く、しかも撮像した像が非常に広い範囲に亘るものであるにも拘わらずＣＣＤイメージャの画像数が限られているため解像度が低いという課題があった。この課題については、円錐ミラーに代えて魚眼レンズを用いた場合にも同様に言える。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、撮像素子の画素を効率的に使うとともに、解像度を格段に向上可能な撮像装置、撮像システムおよび撮像方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、外部から広角レンズを通して取り込んだ像光を像光分割手段で複数の像光に分割し、この分割した各像光を複数の撮像手段において、それぞれ複数の固体撮像素子によって受光して光電変換する構成を採っている。
【０００７】
上記構成の撮像装置またはこれを用いた撮像システムにおいて、広角レンズを通して取り込んだ像光を像光分割手段で複数の像光に分割することで、その分割した各像光の方向に撮像手段を分散させて配置することが可能になる。これにより、撮像手段の配置の自由度が増すため撮像手段の各固体撮像素子の画素を効率的に使うように配置することができる。また、像光を分割した数だけ撮像手段を配置することで、より多くの固体撮像素子にて像光を受光して光電変換できる。したがって、それだけ撮像画像の解像度を上げることができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【０００９】
［撮像装置］
図１は、本発明の一実施形態に係る撮像装置を概略的に示す構成図である。図１から明らかなように、本実施形態に係る撮像装置は、広角レンズの一種である例えばＰＡＬ（Ｐａｎｏｒａｍｉｃ Ａｎｎｕｌａｒ Ｌｅｎｓ）レンズ１１、リレーレンズ１２、像光分割部１３および例えば２つの撮像部１４，１５を有する構成となっている。
【００１０】
ＰＡＬレンズ１１は、２枚のミラーからなる極めて簡単な構造のものであり、図２に示すように、中央の反射部分（光軸の周辺部分）を除くレンズ面を通して広い画角、例えば７０°の画角にて外部からの像光を取り込み、この取り込んだ像光をリレーレンズ１２に向けて出射する。リレーレンズ１２は、ＰＡＬレンズ１１によって取り込まれた像光を拡大、もしくはそのままの大きさで像光分割部１３に伝達する。
【００１１】
像光分割部１３は、ハーフミラー１３１およびミラー１３２を有する構成となっている。ハーフミラー１３１は、リレーレンズ１２を通過した像光の光軸上に位置し、当該像光を透過させて得られる第１の像光と、反射させて得られる第２の像光とに分割する。第１の像光はそのまま第１の撮像部１４へ入射する。第２の像光は、ハーフミラー１３１で反射されることで、第１の像光に対して左右反転した像（鏡像）となってミラー１３２に入射する。ミラー１３２は、この鏡像の第２の像光を第１の像光が向かう方向に反射させる。第２の像光は、ミラー１３２で再度反射されることで、第１の像光と同じ像（正像）となって第２の撮像部１５へ入射する。
【００１２】
第１の撮像部１４は、図３に示すように、複数の固体撮像素子、例えば４個のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャ１４１〜１４４の各チップを１つのパッケージ１４５内に収納した構成となっている。４個のＣＣＤイメージャ１４１〜１４５は、入射する第１の像光の光軸Ｏの周りに一定の角度ピッチで環状に配置されている。
【００１３】
第２の撮像部１５も、第１の撮像部１４と同様に、入射する第２の像光の光軸の周りに同じ角度ピッチで環状に配置された４個のＣＣＤイメージャの各チップを１つのパッケージ内に収納した構成となっている。第１，第２の撮像部１４，１５の相互の配置関係については、第１の撮像部１４に対して第２の撮像部１５が、相互のＣＣＤイメージャが所定の角度、好ましくは４５°の角度をなすように配置されることになる。
【００１４】
ここで、第１の撮像部１４の各ＣＣＤイメージャと第２の撮像部１５の各ＣＣＤイメージャとの間の角度を例えば４５°に設定するには、２つの撮像部１４，１５を全く同じ構成とし、その一方を他方に対して４５°回転させるようにしても良いし、あるいは、一方の撮像部をあらかじめ、各ＣＣＤイメージャのチップを４５°回転させた状態で作成するようにしても良い。ただし、前者の方が、第１，第２の撮像部１４，１５を同一パッケージ構造のものとして作成することができるため、コストの面で有利である。
【００１５】
図４に、第１，第２の像光と第１，第２の撮像部１４，１５との関係を示す。同図から明らかなように、第１，第２の像光は、ＰＡＬレンズ１１の入射面側の光軸周辺部分が反射部分となっていることから（図２参照）、第１，第２の撮像部１４，１５の各撮像面上に環状の像光として結像される。
【００１６】
また、図４から明らかなように、第１の撮像部１４においては、各ＣＣＤイメージャが一定の角度ピッチ、本例ではＣＣＤイメージャが４個であるので９０°の角度ピッチで環状に配置されており、これに対して第２の撮像部１５は、各ＣＣＤイメージャが第１の撮像部１４の各ＣＣＤイメージャに対して４５°の角度をなすように配置されていることがわかる。ＣＣＤイメージャの配置関係については後で詳細に説明する。
【００１７】
第１，第２の撮像部１４，１５において、ＣＣＤイメージャの各々は、各撮像面上に環状に結像される第１，第２の像光を、各画素単位でその光量に応じた電荷量の信号電荷に光電変換し、さらに画素単位の信号電荷を電気信号に変換して出力する。第１，第２の撮像部１４，１５の各ＣＣＤイメージャから出力される電気信号は、後述する信号処理系で適当に切り出されて合成処理されることになる。図５に示すように、第１の撮像部１４の４つの撮像領域（Ａ）と第２の撮像部１５の４つの撮像領域（Ｂ）とを合成することで、その合成した撮像領域の関係は同図（Ｃ）に示すようになる。
【００１８】
この信号処理系での具体的な処理については後で詳細に説明するが、大まかには、第１，第２の撮像部１４，１５のＣＣＤイメージャ相互間でオーバーラップする領域を除く撮像領域を切り出して合成する処理が行われる。図６に、ＰＡＬレンズ１１上の画像と、第１，第２の撮像部１４，１５の各ＣＣＤイメージャの出力を適当に切り出して合成処理して得られる再生画像との関係を示す。
【００１９】
上述したように、広角レンズで取り込んだ像光を像光分割部１３で例えば２つの像光、即ち第１，第２の像光に分割することで、その分割した方向に複数の固体撮像素子、本例では４個のＣＣＤイメージャが環状に配置されてなる第１，第２の撮像部１４，１５を分散させて配置することが可能になり、これら撮像部１４，１５の配置の自由度が増すため、撮像部１４，１５の各ＣＣＤイメージャの画素を効率的に使うように配置することができる。しかも、像光を分割した数だけ第１，第２の撮像部１４，１５を配置し、より多くのＣＣＤイメージャにて像光を受光して光電変換することで、非常に広い範囲に亘って撮像した像光を、多数のＣＣＤイメージャで撮像することができるため、１つのＣＣＤイメージャで撮像する従来技術に比較して解像度を格段に向上できる。
【００２０】
特に、広角レンズとしてＰＡＬレンズ１１を用いることにより、当該ＰＡＬレンズ１１はミラーを２枚用いるだけの極めて簡単な構造で、非常に安価であるため、比較的少ない追加コストで高解像度の撮像装置を実現できる。また、環状に結像される第１，第２の像光に対して、当該像光の光軸の周りにＣＣＤイメージャを一定の角度ピッチで環状に配置した構成を採ることで、環状あるいは円形の像光を単一のＣＣＤイメージャを配置する場合に比べて、各ＣＣＤイメージャの周辺部の画素領域を無駄にすることがないため、ＣＣＤイメージャの画素を効率的に活用できる。
【００２１】
なお、上記実施形態では、広角レンズとしてＰＡＬレンズ１１を用いた場合を例に挙げて説明したが、これに限られるものではなく、例えば魚眼レンズを用いることも可能である。魚眼レンズを用いた場合には、第１，第２の像光は環状ではなく円形に結像されることになるため、第１，第２の撮像部１４，１５としては、像光の光軸上にもＣＣＤイメージャを配置したものを用いる必要がある。
【００２２】
また、上記実施形態では、広角レンズで取り込んだ像光を像光分割部１３で２つの像光に分割するとしたが、ハーフミラー１３１の出射側にさらにハーフミラーを追加して３つ以上の像光に分割することも可能である。この場合には、複数のＣＣＤイメージャを有する撮像部をさらに増やし、撮像部の各々を各ＣＣＤイメージャが所定の角度ずつ順にずれた位置関係になるように配置すれば良い。この構成を採ることにより、ＣＣＤイメージャの数をさらに増やすことができるため、解像度をさらに向上できる。
【００２３】
また、上記実施形態では、第１，第２の撮像部１４，１５のＣＣＤイメージャの数を４個としたが、３個以下あるいは５個以上の複数個であっても良いことは勿論である。ＣＣＤイメージャの数を５個以上にすることで、４個の場合よりも解像度を向上できることは容易に理解できる。
【００２４】
また、上記実施形態では、固体撮像素子としてＣＣＤイメージャを用いたが、ＣＣＤイメージャに限られるものではなく、ＣＣＤイメージャ以外の電荷転送型撮像素子あるいはＣＭＯＳイメージャに代表されるＸ−Ｙアドレス型撮像素子を用いることも可能である。
【００２５】
また、上記実施形態では、ハーフミラー１３１で反射されて得られる鏡像の第２の像光をミラー１３２で反射させて正像として第２の撮像部１５へ入射させる構成を採っているが、図７に示すように、ミラー１３２を省略して第２の像光を鏡像のまま第２の撮像部１５へ入射させる構成を採ることも可能である。この場合は、図８から明らかなように、正像の第１の像光が入射される第１の撮像部１４の各ＣＣＤイメージャに対して、第２の撮像部１５の各ＣＣＤイメージャを左右反転させて配置する必要がある。
【００２６】
かかる構成を採る撮像装置の場合は、第２の撮像部１５での光電変換の段階で鏡像を正像に反転されることになり、ミラー１３２を省略する分だけ光学系の構成を簡略化できるというメリットがある。その反面、第１の撮像部１４と第２の撮像部１５とをそれぞれ別のパッケージ構造のデバイスとして作成しなければならないというデメリットもある。
【００２７】
次に、ＣＣＤイメージャの配置関係について図９の模式図を用いて説明する。ここでは、先述したように、第１，第２の撮像部１４，１５が各々４つずつ、計８つのＣＣＤイメージャを配置する場合を例に挙げて説明するものとする。
【００２８】
図９において、先ず、環状に結像される像光の内径をｒ、外径をＲとする。この環状の像光に対して８つのＣＣＤイメージャを環状中心０の周りに環状に配置するためには、４５°の角度ピッチで配置することになる。このとき、ＣＣＤイメージャの各々については環状中心Ｏを通る線Ｌに対して左辺が平行になるように、また左下隅が内径ｒ上に位置するように配置する。
【００２９】
ここで、８つのＣＣＤイメージャによる撮像可能な面積をできるだけ大きくとるには、環状の像光の照射面積を大きくすれば良く、そのためには環状の像光の外径Ｒを大きく設定すれば良い。当該外径Ｒを最大に設定するには、ＣＣＤイメージャの左上隅が隣りのＣＣＤイメージャ内に位置することが条件となる。換言すれば、ＣＣＤイメージャの左上隅が隣りのＣＣＤイメージャ外になると、像光の半径Ｒが小さくなってしまい、それだけ撮像可能な面積が小さくなる。
【００３０】
ＣＣＤイメージャの有効画素領域の左上隅を隣りのＣＣＤイメージャの有効画素領域内に位置させるには、次の条件を満足するようにすれば良い。すなわち、有効画素領域の水平サイズ（通常、画素数で表される）をＨ、有効画素領域の垂直サイズをＶとするとき、水平サイズＨを、
Ｈ＝２×ｌ＋（√２／２）Ｖ ……（１）
なる式を満足するように設定すれば良い。
【００３１】
ここで、ｌは有効画素領域の左辺と当該左辺に平行でかつ環状中心Ｏを通る線Ｌとの間の距離であり、環状中心Ｏと有効画素領域の下辺との間の距離をｎとするとき、距離ｌは、
ｌ＝（√２−１）×ｎ ……（２）
で与えられる。ただし、（１）式は、ＣＣＤイメージャの有効画素領域の左上隅を、隣りのＣＣＤイメージャの有効画素領域の右辺上に位置させる場合を表している。
【００３２】
上記（１）式を満足するように、ＣＣＤイメージャの有効画素領域の水平サイズＨを設定することで、８つのＣＣＤイメージャによる撮像可能な面積がほぼ最大となる。
【００３３】
環状の像光の外径Ｒは、
Ｒ＝ｎ＋Ｖ ……（３）
で与えられ、また内径ｒは、長辺をｎ、短辺をｌとする直角三角形の斜辺となることから、
ｒ＝√｛（４−２√２）ｎ｝ ……（４）
で与えられる。
【００３４】
ここで、上記構成の８つのＣＣＤイメージャで撮像する場合と従来例のように単一のＣＣＤイメージャで撮像する場合との解像度について考察する。
【００３５】
８つのＣＣＤイメージャで撮像する場合には、図９の構成において、内径ｒと外径Ｒの比をｋとし、ｒ≒ｎとすると、環状の光像の面積Ｓは、
なる式から求められる。
【００３６】
一方、単一のＣＣＤイメージャで撮像する場合には、図１０に示すように、環状の像光の内径をｒ′、外径をＲ′、内径ｒ′と外径Ｒ′の比をｋとすると、環状の光像の面積Ｓ′は、
なる式から求められる。
【００３７】
ここで、光像の面積Ｓがそのまま８つのＣＣＤイメージャによる撮像領域（像光が照射される領域）の画素数に対応し、光像の面積Ｓ′が単一のＣＣＤイメージャによる撮像領域（環状の像光領域）の画素数に対応することになる。したがって、８つのＣＣＤイメージャで撮像する場合の方が、単一のＣＣＤイメージャで撮像する場合に比べて面積Ｓ，Ｓ′の比、即ち４ｋ２ ／（ｋ−１）２倍だけ解像度を向上できる。一例として、ｋ＝３（Ｒ＝３ｒ）のときは、９倍の解像度が得られることになる。
【００３８】
なお、ここでは、８つのＣＣＤイメージャについては同じ画素数のものを用いることを前提として説明したが、必ずしも同じ画素数のＣＣＤイメージャを並べる必要はなく、特に高解像度で撮像したい領域には画素数の多い、高解像度のＣＣＤイメージャを配置するようにすることも可能である。また、撮像する必要のない領域については、ＣＣＤイメージャを省略することも可能である。
【００３９】
［撮像システム］
図１１は、上記実施形態に係る撮像装置を用いて構成される撮像システムの信号処理系の構成を示すブロック図である。図１１から明らかなように、本撮像システムの信号処理系は、第１，第２の撮像部１４，１５の各々から出力される画像信号を処理するディジタル信号処理部２１と、各画像データを一時的に記憶する記憶手段、例えば第１，第２のＳＤ−ＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ−Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２，２３と、第１，第２の撮像部１４，１５およびディジタル信号処理部２１を駆動するための各種のタイミング信号を発生するタイミングジェネレータ（ＴＧ）２４を有する構成となっている。
【００４０】
上記実施形態に係る撮像装置の場合は、第１，第２の撮像部１４，１５が各々４個のＣＣＤイメージャを有する構成となっており、これら撮像部１４，１５から計８系統の画像信号がパラレルにディジタル信号処理部２１に取り込まれる。ディジタル信号処理部２１はこれらをディジタル化した後、第１，第２のＳＤ−ＲＡＭ２２，２３に対してフレーム単位で交互に書き込み、また第１，第２のＳＤ−ＲＡＭ２２，２３からフレーム単位で交互に読み出す。
【００４１】
具体的には、あるフレームで第１のＳＤ−ＲＡＭ２２に画像データを書き込んでいるときには、第２のＳＤ−ＲＡＭ２３から画像データを読み出し、次のフレームでは第２のＳＤ−ＲＡＭ２３に画像データを書き込んで、第１のＳＤ−ＲＡＭ２２から画像データを読み出す（バンク切り替え）。また、画像データの書き込みの際に、各ＣＣＤイメージャの撮像領域の切り出し処理および切り出した各領域の合成処理が行われることになる。以下、撮像領域の切り出し処理および切り出した各領域の合成処理の具体例について説明する。
【００４２】
図１２は、ディジタル信号処理部２１の具体的な構成の一例を示すブロック図であり、図中、図１１と同等部分には同一符号を付して示している。
【００４３】
図１２において、第１，第２の撮像部１４，１５からの８系統のアナログ画像信号は、ＡＤコンバータ３１でそれぞれディジタル画像データに変換されて入力バッファ３２に入力される。このとき、８系統の画像データは、入力バッファ３２の対応する８つのバッファ領域（２次元メモリ）上にそれぞれ別々に保存される。そして、８つのバッファ領域の各々から画像データを読み出す際に、アドレス計算部３３において読み出すべきバッファ領域のアドレスの計算が行われ、この計算処理によって求められたアドレスに格納されている画素データが順に読み出されることにより、先述した撮像領域の切り出し処理および合成処理が行われる。アドレス計算部３３でのアドレス計算については後で具体的に説明する。
【００４４】
入力バッファ３２から読み出された（切り出された）各領域の画像データは、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）３４を介してバンクセレクタ３５に順番に供給される。バンクセレクタ３５は、ＤＭＡ３６を介しての書き込み制御部３７による制御の下に、画像データを書き込むフレームでは入力バッファ３２から読み出された画像データを選択し、ＳＤ−ＲＡＭインターフェース（Ｉ／Ｆ）２８を介してＳＤ−ＲＡＭ２２／２３に格納する。
【００４５】
バンクセレクタ３５はさらに、画像データを読み出すフレームではＳＤ−ＲＡＭ２３／２２に格納されている画像データをＳＤ−ＲＡＭインターフェース２８を介して読み出す。この読み出された画像データは、ＤＭＡ３９、色テーブル変換部４０および出力バッファ４１を介して最終的な画像データ（撮像データ）として外部に出力される。
【００４６】
ディジタル信号処理部２１には、本撮像システム全体の制御を司るＣＰＵ（図示せず）から各種のコントロール信号が入力される。これら各種のコントロール信号は、制御検波部４２で検波されて領域制御部４３に与えられる。領域制御部４３は、制御検波部４２を介して入力されるコントロール信号に基づいて、第１の撮像部１４の４つの撮像領域および第２の撮像部１５の４つの撮像領域の各画像データを切り出して読み出すべく、アドレス計算部３３に対してアドレス計算の指示を出す。
【００４７】
アドレス計算部３３は、領域制御部４３からの指示に基づいて、第１の撮像部１４の４つの撮像領域および第２の撮像部１５の４つの撮像領域の各画像データを切り出して読み出すためのアドレスを各領域ごとに計算し、その求めたアドレス情報を書き込み制御部３７に対して与える。第１，第２の撮像部１４，１５の各ＣＣＤイメージャ、ＡＤコンバータ３１、入力バッファ３２、アドレス計算部３３、ＤＭＡ３４，３６，３９、バンクセレクタ３５および出力バッファ４１等のタイミング制御は、タイミングジェネレータ２４によって行われる。
【００４８】
アドレス計算部３３でのアドレス計算について、以下に具体的に説明する。先ず、基本的な考え方として、環状に結像された像光を単一のＣＣＤイメージャで撮像して得た画像データを２次元メモリ上に保存し、この保存した画像データのうち、環状の領域内の画像データを読み出す場合について、図１３を用いて説明する。なお、ここでは、ＰＡＬレンズ１１上では画像が球面状であるが、説明の簡単化のために、環状に近似して説明するものとするが、アドレス計算の考え方は基本的に同じである。
【００４９】
先ず、図１３（Ａ）に示すＣＣＤイメージャの長方形の撮像領域において、その左下隅を基準としその座標を（０，０）、環状中心の座標を（ａ，ｂ）、読み出す画像データ（画素データ）のデータ座標を（ｘ，ｙ）、中心座標（ａ，ｂ）からデータ座標（ｘ，ｙ）までの距離をｒ、そのＸ軸となす角度をθとする。そして、２次元メモリ上に保存された画像データについて、下記式で与えられるアドレス（ｘ，ｙ）の画素データを読み出す。
【００５０】
ここで、ＰＡＬレンズの半径（ｒ）方向に歪がないものとすると、データ座標（ｘ，ｙ）は、
ｘ＝ａ＋ｒ ｃｏｓθ，ｙ＝ｂ＋ｒ ｓｉｎθ
なる式から求めることができる。読み出したアドレス（ｘ，ｙ）の画素データについて、図１３（Ｂ）に示すように、ビデオメモリ上のアドレス（ｕ，ｖ）に格納する。このアドレス（ｕ，ｖ）は、α，βを定数とすると、
ｕ＝αθ，ｖ＝βｒ
なる式から求めることができる。
【００５１】
次に、先述した実施形態に係る撮像装置、即ち第１，第２の撮像部１４，１５による８ＣＣＤイメージャの場合におけるアドレス計算部３３でのアドレス計算について、図１４に基づいて説明する。ここでは、第１の撮像部１４の４つ撮像領域を０，２，４，６とし、第２の撮像部１５の４つの撮像領域を１，３，５，７としている。
【００５２】
また、第１，第２の撮像部１４，１５の各ＣＣＤイメージャについて、各撮像領域の切り出し処理の方法としては種々考えられるが、ここでは、環状の像光に対して各撮像領域が各々４５°の角度範囲を担当し、一例として、撮像領域０→撮像領域１→撮像領域２→撮像領域３→撮像領域４→撮像領域５→撮像領域６→撮像領域７の順番に各画像データを読み出すものとする。
【００５３】
先ず、図１４（Ａ）に示すように、ＸＹ座標上の点（ｘ，ｙ）をｎ番目（ｎ＝０，１，…，７）のＣＣＤｎ座標ＸｎＹｎ上の点（ｘｎ，ｙｎ）へ次式によって変換する。
ｘｎ＝ ｘ ｓｉｎγ＋ｙ ｃｏｓγ−ｃｎ
ｙｎ＝−ｘ ｃｏｓγ＋ｙ ｓｉｎγ−ｄｎ
ここで、ｃｎ，ｄｎはＣＣＤｎ座標ＸｎＹｎ上の原点であり、γ＝ｎπ／４である。
【００５４】
次に、表示座標の角度θにより、ＣＣＤｎ即ち撮像領域０〜７のいずれかを選択し、相当する２次元メモリ（入力バッファ３２）上に保存されている画像データについて、下記式で与えられるアドレス（ｘ，ｙ）の画素データを読み出す。ここで、ＰＡＬレンズ１１の半径（ｒ）方向に歪がないものとすると、データ座標（ｘ，ｙ）は、
ｘ＝ａ＋ｒ ｃｏｓθ，ｙ＝ｂ＋ｒ ｓｉｎθ
なる式から求めることができる。
【００５５】
そして、読み出したアドレス（ｘ，ｙ）の画素データについて、図１４（Ｂ）に示すように、ＳＤ−ＲＡＭ２２，２３上のアドレス（ｕ，ｖ）に格納する。このアドレス（ｕ，ｖ）は、α，βを定数とすると、
ｕ＝α（θ−φ），ｖ＝βｒ
なる式から求めることができる。ここで、φはＸＹ座標上のＸ軸に対するＣＣＤｎ座標ＸｎＹｎ上のＸ軸の角度である。
【００５６】
上述したアドレス計算部３３でのアドレス計算に基づく入力バッファ３２からの画像データの切り出しは、例えば、撮像領域０→撮像領域１→撮像領域２→撮像領域３→撮像領域４→撮像領域５→撮像領域６→撮像領域７の順番に実行されることになる。ただし、この切り出し方法は、一例に過ぎず、これに限られるものではない。例えば、第１の撮像部１４の撮像領域０，２，４，６を最大限に活用し、足りない部分を第２の撮像部１５の撮像領域１，３，５，７でカバーする方法なども可能である。
【００５７】
また、撮像領域０，１，２，３，４，５，６，７のすべてについて、常に画像データの切り出し処理を行う必要はなく、特定の領域の撮像画像を得たい場合には、該当する撮像領域についてのみ画像データの切り出し処理を行うようにすることも可能である。特定の領域の指定は、外部からのコントロール信号によって行うことが可能である。このように、特定の撮像領域についてのみ画像データの切り出し処理を行うようにすることで、その分だけアドレス計算部３３でのアドレス計算に伴う負荷を軽減できる。
【００５８】
上述したように、先述した実施形態に係る撮像装置、即ち広角レンズを用いて取り込んだ像光を複数のＣＣＤイメージャで同時に撮像する撮像装置を使用し、これらＣＣＤイメージャからの画像データを並列にメモリへ取り込み、当該メモリから画像データを取り出すときに、取り出す角度によって使用するＣＣＤイメージャの画像データを選択し、この選択した画像データを基に画像を復元することにより、高解像度の撮像画像を得ることができる。
【００５９】
かかる構成の撮像システムは、監視システムのカメラや自立ロボットの目などとして用いることができる。具体的には、本撮像システムの撮像データをモニターに映し出すようにすることで監視システムを構築でき、当該撮像データを画像認識装置に与えるようにすることで自立ロボットの視覚部分を構築することができる。これらの用途に限らず、広範囲の撮像画像が必要なシステム全般に適用可能である。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、広角レンズを通して取り込んだ像光を複数の像光に分割し、この分割した各像光をそれぞれ複数の固体撮像素子を有する撮像手段によって受光することで、撮像手段の配置の自由度が増すため、撮像手段の各固体撮像素子の画素を効率的に使うように配置することができ、またより多くの固体撮像素子にて光電変換できるため、それだけ撮像画像の解像度を上げることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置を概略的に示す構成図である。
【図２】ＰＡＬレンズの構成を示す概念図である。
【図３】第１，第２の撮像部の構成の概略を示す斜視図である。
【図４】第１，第２の像光と第１，第２の撮像部との関係を示す図である。
【図５】第１の撮像部の４つの撮像領域（Ａ）、第２の撮像部の４つの撮像領域（Ｂ）およびそれらを合成した撮像領域（Ｃ）の関係を示す図である。
【図６】ＰＡＬレンズ上の像と撮像画像との関係を示す図である。
【図７】本発明の変形例に係る撮像装置を概略的に示す構成図である。
【図８】変形例に係る撮像装置における第１，第２の撮像部の各ＣＣＤイメージャの配置関係を示す図である。
【図９】ＣＣＤイメージャの配置関係を示す模式図である。
【図１０】環状の像光を単一ＣＣＤイメージャで受光する場合の概念図である。
【図１１】本発明の一実施形態に係る撮像装置を用いて構成される撮像システムの信号処理系の構成を示すブロック図である。
【図１２】ディジタル信号処理部の具体的な構成の一例を示すブロック図である。
【図１３】単一のＣＣＤイメージャで撮像する場合のアドレス計算の説明図である。
【図１４】８つのＣＣＤイメージャで撮像する場合のアドレス計算の説明図である。
【符号の説明】
１１…ＰＡＬレンズ、１２…リレーレンズ、１３…像光分割部、１４…第１の撮像部、１５…第２の撮像部、２１…ディジタル信号処理部、２２，２３…ＳＤ−ＲＡＭ、２４…タイミングジェネレータ（ＴＧ）、３２…入力バッファ、３３…アドレス計算部、３４，３６，３９…ＤＭＡ、３５…バンクセレクタ、書き込み制御部３７、４１…出力バッファ、１３１…ハーフミラー、１４１〜１４４…ＣＣＤイメージャ
【発明の属する技術分野】
本発明は、広角撮像が可能な撮像装置、撮像システムおよび撮像方法に関し、特に監視システムのカメラや自立ロボットの目等として用いて好適な撮像装置、撮像システムおよび撮像方法に関する。
【０００２】
【従来の技術】
広角撮像が可能な撮像装置は、監視システムのカメラや自立ロボットの目などとして用いられる。この種の用途の撮像装置は、全方位に亘って広く撮像できることが必要である。このように、広角撮像が可能な撮像装置では、従来、撮像装置の下方全方位の風景を、側面に鏡面が形成された円錐ミラーにて反射し、この反射された像光をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）カメラで撮影するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平６−１４１２１１号公報（特に、段落００１５〜００１８および図３〜図５、図９）
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例に係る撮像装置では、円錐ミラーで反射されてＣＣＤカメラに入射する全方位の像光を単一のＣＣＤチップで受光する構成となっているため、入射する全方位の像光が円形に結像されるのに対して、当該像光が結像されるＣＣＤチップの撮像面が矩形、一般的には長方形である故、光電変換に使われない画素が多数生じる。したがって、効率が悪く、しかも撮像した像が非常に広い範囲に亘るものであるにも拘わらずＣＣＤイメージャの画像数が限られているため解像度が低いという課題があった。この課題については、円錐ミラーに代えて魚眼レンズを用いた場合にも同様に言える。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、撮像素子の画素を効率的に使うとともに、解像度を格段に向上可能な撮像装置、撮像システムおよび撮像方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、外部から広角レンズを通して取り込んだ像光を像光分割手段で複数の像光に分割し、この分割した各像光を複数の撮像手段において、それぞれ複数の固体撮像素子によって受光して光電変換する構成を採っている。
【０００７】
上記構成の撮像装置またはこれを用いた撮像システムにおいて、広角レンズを通して取り込んだ像光を像光分割手段で複数の像光に分割することで、その分割した各像光の方向に撮像手段を分散させて配置することが可能になる。これにより、撮像手段の配置の自由度が増すため撮像手段の各固体撮像素子の画素を効率的に使うように配置することができる。また、像光を分割した数だけ撮像手段を配置することで、より多くの固体撮像素子にて像光を受光して光電変換できる。したがって、それだけ撮像画像の解像度を上げることができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【０００９】
［撮像装置］
図１は、本発明の一実施形態に係る撮像装置を概略的に示す構成図である。図１から明らかなように、本実施形態に係る撮像装置は、広角レンズの一種である例えばＰＡＬ（Ｐａｎｏｒａｍｉｃ Ａｎｎｕｌａｒ Ｌｅｎｓ）レンズ１１、リレーレンズ１２、像光分割部１３および例えば２つの撮像部１４，１５を有する構成となっている。
【００１０】
ＰＡＬレンズ１１は、２枚のミラーからなる極めて簡単な構造のものであり、図２に示すように、中央の反射部分（光軸の周辺部分）を除くレンズ面を通して広い画角、例えば７０°の画角にて外部からの像光を取り込み、この取り込んだ像光をリレーレンズ１２に向けて出射する。リレーレンズ１２は、ＰＡＬレンズ１１によって取り込まれた像光を拡大、もしくはそのままの大きさで像光分割部１３に伝達する。
【００１１】
像光分割部１３は、ハーフミラー１３１およびミラー１３２を有する構成となっている。ハーフミラー１３１は、リレーレンズ１２を通過した像光の光軸上に位置し、当該像光を透過させて得られる第１の像光と、反射させて得られる第２の像光とに分割する。第１の像光はそのまま第１の撮像部１４へ入射する。第２の像光は、ハーフミラー１３１で反射されることで、第１の像光に対して左右反転した像（鏡像）となってミラー１３２に入射する。ミラー１３２は、この鏡像の第２の像光を第１の像光が向かう方向に反射させる。第２の像光は、ミラー１３２で再度反射されることで、第１の像光と同じ像（正像）となって第２の撮像部１５へ入射する。
【００１２】
第１の撮像部１４は、図３に示すように、複数の固体撮像素子、例えば４個のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャ１４１〜１４４の各チップを１つのパッケージ１４５内に収納した構成となっている。４個のＣＣＤイメージャ１４１〜１４５は、入射する第１の像光の光軸Ｏの周りに一定の角度ピッチで環状に配置されている。
【００１３】
第２の撮像部１５も、第１の撮像部１４と同様に、入射する第２の像光の光軸の周りに同じ角度ピッチで環状に配置された４個のＣＣＤイメージャの各チップを１つのパッケージ内に収納した構成となっている。第１，第２の撮像部１４，１５の相互の配置関係については、第１の撮像部１４に対して第２の撮像部１５が、相互のＣＣＤイメージャが所定の角度、好ましくは４５°の角度をなすように配置されることになる。
【００１４】
ここで、第１の撮像部１４の各ＣＣＤイメージャと第２の撮像部１５の各ＣＣＤイメージャとの間の角度を例えば４５°に設定するには、２つの撮像部１４，１５を全く同じ構成とし、その一方を他方に対して４５°回転させるようにしても良いし、あるいは、一方の撮像部をあらかじめ、各ＣＣＤイメージャのチップを４５°回転させた状態で作成するようにしても良い。ただし、前者の方が、第１，第２の撮像部１４，１５を同一パッケージ構造のものとして作成することができるため、コストの面で有利である。
【００１５】
図４に、第１，第２の像光と第１，第２の撮像部１４，１５との関係を示す。同図から明らかなように、第１，第２の像光は、ＰＡＬレンズ１１の入射面側の光軸周辺部分が反射部分となっていることから（図２参照）、第１，第２の撮像部１４，１５の各撮像面上に環状の像光として結像される。
【００１６】
また、図４から明らかなように、第１の撮像部１４においては、各ＣＣＤイメージャが一定の角度ピッチ、本例ではＣＣＤイメージャが４個であるので９０°の角度ピッチで環状に配置されており、これに対して第２の撮像部１５は、各ＣＣＤイメージャが第１の撮像部１４の各ＣＣＤイメージャに対して４５°の角度をなすように配置されていることがわかる。ＣＣＤイメージャの配置関係については後で詳細に説明する。
【００１７】
第１，第２の撮像部１４，１５において、ＣＣＤイメージャの各々は、各撮像面上に環状に結像される第１，第２の像光を、各画素単位でその光量に応じた電荷量の信号電荷に光電変換し、さらに画素単位の信号電荷を電気信号に変換して出力する。第１，第２の撮像部１４，１５の各ＣＣＤイメージャから出力される電気信号は、後述する信号処理系で適当に切り出されて合成処理されることになる。図５に示すように、第１の撮像部１４の４つの撮像領域（Ａ）と第２の撮像部１５の４つの撮像領域（Ｂ）とを合成することで、その合成した撮像領域の関係は同図（Ｃ）に示すようになる。
【００１８】
この信号処理系での具体的な処理については後で詳細に説明するが、大まかには、第１，第２の撮像部１４，１５のＣＣＤイメージャ相互間でオーバーラップする領域を除く撮像領域を切り出して合成する処理が行われる。図６に、ＰＡＬレンズ１１上の画像と、第１，第２の撮像部１４，１５の各ＣＣＤイメージャの出力を適当に切り出して合成処理して得られる再生画像との関係を示す。
【００１９】
上述したように、広角レンズで取り込んだ像光を像光分割部１３で例えば２つの像光、即ち第１，第２の像光に分割することで、その分割した方向に複数の固体撮像素子、本例では４個のＣＣＤイメージャが環状に配置されてなる第１，第２の撮像部１４，１５を分散させて配置することが可能になり、これら撮像部１４，１５の配置の自由度が増すため、撮像部１４，１５の各ＣＣＤイメージャの画素を効率的に使うように配置することができる。しかも、像光を分割した数だけ第１，第２の撮像部１４，１５を配置し、より多くのＣＣＤイメージャにて像光を受光して光電変換することで、非常に広い範囲に亘って撮像した像光を、多数のＣＣＤイメージャで撮像することができるため、１つのＣＣＤイメージャで撮像する従来技術に比較して解像度を格段に向上できる。
【００２０】
特に、広角レンズとしてＰＡＬレンズ１１を用いることにより、当該ＰＡＬレンズ１１はミラーを２枚用いるだけの極めて簡単な構造で、非常に安価であるため、比較的少ない追加コストで高解像度の撮像装置を実現できる。また、環状に結像される第１，第２の像光に対して、当該像光の光軸の周りにＣＣＤイメージャを一定の角度ピッチで環状に配置した構成を採ることで、環状あるいは円形の像光を単一のＣＣＤイメージャを配置する場合に比べて、各ＣＣＤイメージャの周辺部の画素領域を無駄にすることがないため、ＣＣＤイメージャの画素を効率的に活用できる。
【００２１】
なお、上記実施形態では、広角レンズとしてＰＡＬレンズ１１を用いた場合を例に挙げて説明したが、これに限られるものではなく、例えば魚眼レンズを用いることも可能である。魚眼レンズを用いた場合には、第１，第２の像光は環状ではなく円形に結像されることになるため、第１，第２の撮像部１４，１５としては、像光の光軸上にもＣＣＤイメージャを配置したものを用いる必要がある。
【００２２】
また、上記実施形態では、広角レンズで取り込んだ像光を像光分割部１３で２つの像光に分割するとしたが、ハーフミラー１３１の出射側にさらにハーフミラーを追加して３つ以上の像光に分割することも可能である。この場合には、複数のＣＣＤイメージャを有する撮像部をさらに増やし、撮像部の各々を各ＣＣＤイメージャが所定の角度ずつ順にずれた位置関係になるように配置すれば良い。この構成を採ることにより、ＣＣＤイメージャの数をさらに増やすことができるため、解像度をさらに向上できる。
【００２３】
また、上記実施形態では、第１，第２の撮像部１４，１５のＣＣＤイメージャの数を４個としたが、３個以下あるいは５個以上の複数個であっても良いことは勿論である。ＣＣＤイメージャの数を５個以上にすることで、４個の場合よりも解像度を向上できることは容易に理解できる。
【００２４】
また、上記実施形態では、固体撮像素子としてＣＣＤイメージャを用いたが、ＣＣＤイメージャに限られるものではなく、ＣＣＤイメージャ以外の電荷転送型撮像素子あるいはＣＭＯＳイメージャに代表されるＸ−Ｙアドレス型撮像素子を用いることも可能である。
【００２５】
また、上記実施形態では、ハーフミラー１３１で反射されて得られる鏡像の第２の像光をミラー１３２で反射させて正像として第２の撮像部１５へ入射させる構成を採っているが、図７に示すように、ミラー１３２を省略して第２の像光を鏡像のまま第２の撮像部１５へ入射させる構成を採ることも可能である。この場合は、図８から明らかなように、正像の第１の像光が入射される第１の撮像部１４の各ＣＣＤイメージャに対して、第２の撮像部１５の各ＣＣＤイメージャを左右反転させて配置する必要がある。
【００２６】
かかる構成を採る撮像装置の場合は、第２の撮像部１５での光電変換の段階で鏡像を正像に反転されることになり、ミラー１３２を省略する分だけ光学系の構成を簡略化できるというメリットがある。その反面、第１の撮像部１４と第２の撮像部１５とをそれぞれ別のパッケージ構造のデバイスとして作成しなければならないというデメリットもある。
【００２７】
次に、ＣＣＤイメージャの配置関係について図９の模式図を用いて説明する。ここでは、先述したように、第１，第２の撮像部１４，１５が各々４つずつ、計８つのＣＣＤイメージャを配置する場合を例に挙げて説明するものとする。
【００２８】
図９において、先ず、環状に結像される像光の内径をｒ、外径をＲとする。この環状の像光に対して８つのＣＣＤイメージャを環状中心０の周りに環状に配置するためには、４５°の角度ピッチで配置することになる。このとき、ＣＣＤイメージャの各々については環状中心Ｏを通る線Ｌに対して左辺が平行になるように、また左下隅が内径ｒ上に位置するように配置する。
【００２９】
ここで、８つのＣＣＤイメージャによる撮像可能な面積をできるだけ大きくとるには、環状の像光の照射面積を大きくすれば良く、そのためには環状の像光の外径Ｒを大きく設定すれば良い。当該外径Ｒを最大に設定するには、ＣＣＤイメージャの左上隅が隣りのＣＣＤイメージャ内に位置することが条件となる。換言すれば、ＣＣＤイメージャの左上隅が隣りのＣＣＤイメージャ外になると、像光の半径Ｒが小さくなってしまい、それだけ撮像可能な面積が小さくなる。
【００３０】
ＣＣＤイメージャの有効画素領域の左上隅を隣りのＣＣＤイメージャの有効画素領域内に位置させるには、次の条件を満足するようにすれば良い。すなわち、有効画素領域の水平サイズ（通常、画素数で表される）をＨ、有効画素領域の垂直サイズをＶとするとき、水平サイズＨを、
Ｈ＝２×ｌ＋（√２／２）Ｖ ……（１）
なる式を満足するように設定すれば良い。
【００３１】
ここで、ｌは有効画素領域の左辺と当該左辺に平行でかつ環状中心Ｏを通る線Ｌとの間の距離であり、環状中心Ｏと有効画素領域の下辺との間の距離をｎとするとき、距離ｌは、
ｌ＝（√２−１）×ｎ ……（２）
で与えられる。ただし、（１）式は、ＣＣＤイメージャの有効画素領域の左上隅を、隣りのＣＣＤイメージャの有効画素領域の右辺上に位置させる場合を表している。
【００３２】
上記（１）式を満足するように、ＣＣＤイメージャの有効画素領域の水平サイズＨを設定することで、８つのＣＣＤイメージャによる撮像可能な面積がほぼ最大となる。
【００３３】
環状の像光の外径Ｒは、
Ｒ＝ｎ＋Ｖ ……（３）
で与えられ、また内径ｒは、長辺をｎ、短辺をｌとする直角三角形の斜辺となることから、
ｒ＝√｛（４−２√２）ｎ｝ ……（４）
で与えられる。
【００３４】
ここで、上記構成の８つのＣＣＤイメージャで撮像する場合と従来例のように単一のＣＣＤイメージャで撮像する場合との解像度について考察する。
【００３５】
８つのＣＣＤイメージャで撮像する場合には、図９の構成において、内径ｒと外径Ｒの比をｋとし、ｒ≒ｎとすると、環状の光像の面積Ｓは、
【００３６】
一方、単一のＣＣＤイメージャで撮像する場合には、図１０に示すように、環状の像光の内径をｒ′、外径をＲ′、内径ｒ′と外径Ｒ′の比をｋとすると、環状の光像の面積Ｓ′は、
【００３７】
ここで、光像の面積Ｓがそのまま８つのＣＣＤイメージャによる撮像領域（像光が照射される領域）の画素数に対応し、光像の面積Ｓ′が単一のＣＣＤイメージャによる撮像領域（環状の像光領域）の画素数に対応することになる。したがって、８つのＣＣＤイメージャで撮像する場合の方が、単一のＣＣＤイメージャで撮像する場合に比べて面積Ｓ，Ｓ′の比、即ち４ｋ２ ／（ｋ−１）２倍だけ解像度を向上できる。一例として、ｋ＝３（Ｒ＝３ｒ）のときは、９倍の解像度が得られることになる。
【００３８】
なお、ここでは、８つのＣＣＤイメージャについては同じ画素数のものを用いることを前提として説明したが、必ずしも同じ画素数のＣＣＤイメージャを並べる必要はなく、特に高解像度で撮像したい領域には画素数の多い、高解像度のＣＣＤイメージャを配置するようにすることも可能である。また、撮像する必要のない領域については、ＣＣＤイメージャを省略することも可能である。
【００３９】
［撮像システム］
図１１は、上記実施形態に係る撮像装置を用いて構成される撮像システムの信号処理系の構成を示すブロック図である。図１１から明らかなように、本撮像システムの信号処理系は、第１，第２の撮像部１４，１５の各々から出力される画像信号を処理するディジタル信号処理部２１と、各画像データを一時的に記憶する記憶手段、例えば第１，第２のＳＤ−ＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ−Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２，２３と、第１，第２の撮像部１４，１５およびディジタル信号処理部２１を駆動するための各種のタイミング信号を発生するタイミングジェネレータ（ＴＧ）２４を有する構成となっている。
【００４０】
上記実施形態に係る撮像装置の場合は、第１，第２の撮像部１４，１５が各々４個のＣＣＤイメージャを有する構成となっており、これら撮像部１４，１５から計８系統の画像信号がパラレルにディジタル信号処理部２１に取り込まれる。ディジタル信号処理部２１はこれらをディジタル化した後、第１，第２のＳＤ−ＲＡＭ２２，２３に対してフレーム単位で交互に書き込み、また第１，第２のＳＤ−ＲＡＭ２２，２３からフレーム単位で交互に読み出す。
【００４１】
具体的には、あるフレームで第１のＳＤ−ＲＡＭ２２に画像データを書き込んでいるときには、第２のＳＤ−ＲＡＭ２３から画像データを読み出し、次のフレームでは第２のＳＤ−ＲＡＭ２３に画像データを書き込んで、第１のＳＤ−ＲＡＭ２２から画像データを読み出す（バンク切り替え）。また、画像データの書き込みの際に、各ＣＣＤイメージャの撮像領域の切り出し処理および切り出した各領域の合成処理が行われることになる。以下、撮像領域の切り出し処理および切り出した各領域の合成処理の具体例について説明する。
【００４２】
図１２は、ディジタル信号処理部２１の具体的な構成の一例を示すブロック図であり、図中、図１１と同等部分には同一符号を付して示している。
【００４３】
図１２において、第１，第２の撮像部１４，１５からの８系統のアナログ画像信号は、ＡＤコンバータ３１でそれぞれディジタル画像データに変換されて入力バッファ３２に入力される。このとき、８系統の画像データは、入力バッファ３２の対応する８つのバッファ領域（２次元メモリ）上にそれぞれ別々に保存される。そして、８つのバッファ領域の各々から画像データを読み出す際に、アドレス計算部３３において読み出すべきバッファ領域のアドレスの計算が行われ、この計算処理によって求められたアドレスに格納されている画素データが順に読み出されることにより、先述した撮像領域の切り出し処理および合成処理が行われる。アドレス計算部３３でのアドレス計算については後で具体的に説明する。
【００４４】
入力バッファ３２から読み出された（切り出された）各領域の画像データは、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）３４を介してバンクセレクタ３５に順番に供給される。バンクセレクタ３５は、ＤＭＡ３６を介しての書き込み制御部３７による制御の下に、画像データを書き込むフレームでは入力バッファ３２から読み出された画像データを選択し、ＳＤ−ＲＡＭインターフェース（Ｉ／Ｆ）２８を介してＳＤ−ＲＡＭ２２／２３に格納する。
【００４５】
バンクセレクタ３５はさらに、画像データを読み出すフレームではＳＤ−ＲＡＭ２３／２２に格納されている画像データをＳＤ−ＲＡＭインターフェース２８を介して読み出す。この読み出された画像データは、ＤＭＡ３９、色テーブル変換部４０および出力バッファ４１を介して最終的な画像データ（撮像データ）として外部に出力される。
【００４６】
ディジタル信号処理部２１には、本撮像システム全体の制御を司るＣＰＵ（図示せず）から各種のコントロール信号が入力される。これら各種のコントロール信号は、制御検波部４２で検波されて領域制御部４３に与えられる。領域制御部４３は、制御検波部４２を介して入力されるコントロール信号に基づいて、第１の撮像部１４の４つの撮像領域および第２の撮像部１５の４つの撮像領域の各画像データを切り出して読み出すべく、アドレス計算部３３に対してアドレス計算の指示を出す。
【００４７】
アドレス計算部３３は、領域制御部４３からの指示に基づいて、第１の撮像部１４の４つの撮像領域および第２の撮像部１５の４つの撮像領域の各画像データを切り出して読み出すためのアドレスを各領域ごとに計算し、その求めたアドレス情報を書き込み制御部３７に対して与える。第１，第２の撮像部１４，１５の各ＣＣＤイメージャ、ＡＤコンバータ３１、入力バッファ３２、アドレス計算部３３、ＤＭＡ３４，３６，３９、バンクセレクタ３５および出力バッファ４１等のタイミング制御は、タイミングジェネレータ２４によって行われる。
【００４８】
アドレス計算部３３でのアドレス計算について、以下に具体的に説明する。先ず、基本的な考え方として、環状に結像された像光を単一のＣＣＤイメージャで撮像して得た画像データを２次元メモリ上に保存し、この保存した画像データのうち、環状の領域内の画像データを読み出す場合について、図１３を用いて説明する。なお、ここでは、ＰＡＬレンズ１１上では画像が球面状であるが、説明の簡単化のために、環状に近似して説明するものとするが、アドレス計算の考え方は基本的に同じである。
【００４９】
先ず、図１３（Ａ）に示すＣＣＤイメージャの長方形の撮像領域において、その左下隅を基準としその座標を（０，０）、環状中心の座標を（ａ，ｂ）、読み出す画像データ（画素データ）のデータ座標を（ｘ，ｙ）、中心座標（ａ，ｂ）からデータ座標（ｘ，ｙ）までの距離をｒ、そのＸ軸となす角度をθとする。そして、２次元メモリ上に保存された画像データについて、下記式で与えられるアドレス（ｘ，ｙ）の画素データを読み出す。
【００５０】
ここで、ＰＡＬレンズの半径（ｒ）方向に歪がないものとすると、データ座標（ｘ，ｙ）は、
ｘ＝ａ＋ｒ ｃｏｓθ，ｙ＝ｂ＋ｒ ｓｉｎθ
なる式から求めることができる。読み出したアドレス（ｘ，ｙ）の画素データについて、図１３（Ｂ）に示すように、ビデオメモリ上のアドレス（ｕ，ｖ）に格納する。このアドレス（ｕ，ｖ）は、α，βを定数とすると、
ｕ＝αθ，ｖ＝βｒ
なる式から求めることができる。
【００５１】
次に、先述した実施形態に係る撮像装置、即ち第１，第２の撮像部１４，１５による８ＣＣＤイメージャの場合におけるアドレス計算部３３でのアドレス計算について、図１４に基づいて説明する。ここでは、第１の撮像部１４の４つ撮像領域を０，２，４，６とし、第２の撮像部１５の４つの撮像領域を１，３，５，７としている。
【００５２】
また、第１，第２の撮像部１４，１５の各ＣＣＤイメージャについて、各撮像領域の切り出し処理の方法としては種々考えられるが、ここでは、環状の像光に対して各撮像領域が各々４５°の角度範囲を担当し、一例として、撮像領域０→撮像領域１→撮像領域２→撮像領域３→撮像領域４→撮像領域５→撮像領域６→撮像領域７の順番に各画像データを読み出すものとする。
【００５３】
先ず、図１４（Ａ）に示すように、ＸＹ座標上の点（ｘ，ｙ）をｎ番目（ｎ＝０，１，…，７）のＣＣＤｎ座標ＸｎＹｎ上の点（ｘｎ，ｙｎ）へ次式によって変換する。
ｘｎ＝ ｘ ｓｉｎγ＋ｙ ｃｏｓγ−ｃｎ
ｙｎ＝−ｘ ｃｏｓγ＋ｙ ｓｉｎγ−ｄｎ
ここで、ｃｎ，ｄｎはＣＣＤｎ座標ＸｎＹｎ上の原点であり、γ＝ｎπ／４である。
【００５４】
次に、表示座標の角度θにより、ＣＣＤｎ即ち撮像領域０〜７のいずれかを選択し、相当する２次元メモリ（入力バッファ３２）上に保存されている画像データについて、下記式で与えられるアドレス（ｘ，ｙ）の画素データを読み出す。ここで、ＰＡＬレンズ１１の半径（ｒ）方向に歪がないものとすると、データ座標（ｘ，ｙ）は、
ｘ＝ａ＋ｒ ｃｏｓθ，ｙ＝ｂ＋ｒ ｓｉｎθ
なる式から求めることができる。
【００５５】
そして、読み出したアドレス（ｘ，ｙ）の画素データについて、図１４（Ｂ）に示すように、ＳＤ−ＲＡＭ２２，２３上のアドレス（ｕ，ｖ）に格納する。このアドレス（ｕ，ｖ）は、α，βを定数とすると、
ｕ＝α（θ−φ），ｖ＝βｒ
なる式から求めることができる。ここで、φはＸＹ座標上のＸ軸に対するＣＣＤｎ座標ＸｎＹｎ上のＸ軸の角度である。
【００５６】
上述したアドレス計算部３３でのアドレス計算に基づく入力バッファ３２からの画像データの切り出しは、例えば、撮像領域０→撮像領域１→撮像領域２→撮像領域３→撮像領域４→撮像領域５→撮像領域６→撮像領域７の順番に実行されることになる。ただし、この切り出し方法は、一例に過ぎず、これに限られるものではない。例えば、第１の撮像部１４の撮像領域０，２，４，６を最大限に活用し、足りない部分を第２の撮像部１５の撮像領域１，３，５，７でカバーする方法なども可能である。
【００５７】
また、撮像領域０，１，２，３，４，５，６，７のすべてについて、常に画像データの切り出し処理を行う必要はなく、特定の領域の撮像画像を得たい場合には、該当する撮像領域についてのみ画像データの切り出し処理を行うようにすることも可能である。特定の領域の指定は、外部からのコントロール信号によって行うことが可能である。このように、特定の撮像領域についてのみ画像データの切り出し処理を行うようにすることで、その分だけアドレス計算部３３でのアドレス計算に伴う負荷を軽減できる。
【００５８】
上述したように、先述した実施形態に係る撮像装置、即ち広角レンズを用いて取り込んだ像光を複数のＣＣＤイメージャで同時に撮像する撮像装置を使用し、これらＣＣＤイメージャからの画像データを並列にメモリへ取り込み、当該メモリから画像データを取り出すときに、取り出す角度によって使用するＣＣＤイメージャの画像データを選択し、この選択した画像データを基に画像を復元することにより、高解像度の撮像画像を得ることができる。
【００５９】
かかる構成の撮像システムは、監視システムのカメラや自立ロボットの目などとして用いることができる。具体的には、本撮像システムの撮像データをモニターに映し出すようにすることで監視システムを構築でき、当該撮像データを画像認識装置に与えるようにすることで自立ロボットの視覚部分を構築することができる。これらの用途に限らず、広範囲の撮像画像が必要なシステム全般に適用可能である。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、広角レンズを通して取り込んだ像光を複数の像光に分割し、この分割した各像光をそれぞれ複数の固体撮像素子を有する撮像手段によって受光することで、撮像手段の配置の自由度が増すため、撮像手段の各固体撮像素子の画素を効率的に使うように配置することができ、またより多くの固体撮像素子にて光電変換できるため、それだけ撮像画像の解像度を上げることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置を概略的に示す構成図である。
【図２】ＰＡＬレンズの構成を示す概念図である。
【図３】第１，第２の撮像部の構成の概略を示す斜視図である。
【図４】第１，第２の像光と第１，第２の撮像部との関係を示す図である。
【図５】第１の撮像部の４つの撮像領域（Ａ）、第２の撮像部の４つの撮像領域（Ｂ）およびそれらを合成した撮像領域（Ｃ）の関係を示す図である。
【図６】ＰＡＬレンズ上の像と撮像画像との関係を示す図である。
【図７】本発明の変形例に係る撮像装置を概略的に示す構成図である。
【図８】変形例に係る撮像装置における第１，第２の撮像部の各ＣＣＤイメージャの配置関係を示す図である。
【図９】ＣＣＤイメージャの配置関係を示す模式図である。
【図１０】環状の像光を単一ＣＣＤイメージャで受光する場合の概念図である。
【図１１】本発明の一実施形態に係る撮像装置を用いて構成される撮像システムの信号処理系の構成を示すブロック図である。
【図１２】ディジタル信号処理部の具体的な構成の一例を示すブロック図である。
【図１３】単一のＣＣＤイメージャで撮像する場合のアドレス計算の説明図である。
【図１４】８つのＣＣＤイメージャで撮像する場合のアドレス計算の説明図である。
【符号の説明】
１１…ＰＡＬレンズ、１２…リレーレンズ、１３…像光分割部、１４…第１の撮像部、１５…第２の撮像部、２１…ディジタル信号処理部、２２，２３…ＳＤ−ＲＡＭ、２４…タイミングジェネレータ（ＴＧ）、３２…入力バッファ、３３…アドレス計算部、３４，３６，３９…ＤＭＡ、３５…バンクセレクタ、書き込み制御部３７、４１…出力バッファ、１３１…ハーフミラー、１４１〜１４４…ＣＣＤイメージャ
Claims (20)
- 外部からの像光を取り込む広角レンズと、
前記広角レンズを通過した像光を複数の像光に分割する像光分割手段と、
前記像光分割手段で分割された各像光を複数の固体撮像素子によって受光して光電変換する複数の撮像手段と
を備えたことを特徴とする撮像装置。 - 前記広角レンズが魚眼レンズである
ことを特徴とする請求項１記載の撮像装置。 - 前記魚眼レンズがＰＡＬレンズである
ことを特徴とする請求項２記載の撮像装置。 - 前記像光分割手段は、前記広角レンズを通過した像光の光軸上に位置する少なくとも１つのハーフミラーを有する
ことを特徴とする請求項１記載の撮像装置。 - 前記像光分割手段は、前記ハーフミラーで反射された像光をさらに前記第２の撮像手段に向けて反射するミラーを有する
ことを特徴とする請求項４記載の撮像装置。 - 前記第２の撮像手段の各固体撮像素子は、前記第１の撮像手段の各固体撮像素子の配列に対して左右反転して配列されている
ことを特徴とする請求項４記載の撮像装置。 - 前記像光分割手段は、前記ＰＡＬレンズを通過した像光の光軸上に位置する少なくとも１つのハーフミラーを有する
ことを特徴とする請求項３記載の撮像装置。 - 前記複数の撮像手段は、前記複数の固体撮像素子が前記ハーフミラーを通過した像光の光軸の周りに一定の角度ピッチで環状に配置されてなる第１の撮像手段と、前記複数の固体撮像素子が前記ハーフミラーで反射された像光の光軸の周りに前記第１の撮像手段の各固体撮像素子に対して所定の角度をもって同じ角度ピッチで環状に配置されてなる第２の撮像手段とを有する
ことを特徴とする請求項７記載の撮像装置。 - 前記所定の角度は、前記第２の撮像手段の固体撮像素子の各々が前記第１の撮像手段の固体撮像素子の各々の間に位置する角度である
ことを特徴とする請求項８記載の撮像装置。 - 前記像光分割手段は、前記ハーフミラーで反射された像光をさらに前記第２の撮像手段に向けて反射するミラーを有する
ことを特徴とする請求項８記載の撮像装置。 - 前記第２の撮像手段の各固体撮像素子は、前記第１の撮像手段の各固体撮像素子の配列に対して左右反転して配列されている
ことを特徴とする請求項８記載の撮像装置。 - 外部からの像光を取り込む広角レンズと、
前記広角レンズを通過した像光を複数の像光に分割する像光分割手段と、
前記像光分割手段で分割された各像光を複数の固体撮像素子によって受光して光電変換する複数の撮像手段と、
前記複数の撮像手段の各固体撮像素子から出力される画像データを切り出して合成する信号処理手段と
を備えたことを特徴とする撮像システム。 - 前記広角レンズが魚眼レンズである
ことを特徴とする請求項１２記載の撮像システム。 - 前記魚眼レンズがＰＡＬレンズである
ことを特徴とする請求項１３記載の撮像システム。 - 前記信号処理手段によって切り出された画像データを格納する記憶手段をさらに備えた
ことを特徴とする請求項１２記載の撮像システム。 - 前記記憶手段は２つの記憶手段からなり、
前記信号処理手段は、切り出した画像データを前記２つの記憶手段の一方に格納するとき、他方に格納されている画像データを読み出す
ことを特徴とする請求項１５記載の撮像システム。 - 前記信号処理手段は、前記複数の撮像手段の各固体撮像素子から出力される画像データを一時的に保存するバッファ手段と、前記バッファ手段に保存された前記各固体撮像素子の画像データについて切り出す領域にアドレスを計算するアドレス計算手段と、前記アドレス計算手段によって算出されたアドレスの画像データを前記バッファ手段から読み出す読み出し手段とを有する
ことを特徴とする請求項１２記載の撮像システム。 - 外部からの像光を広角レンズを通して取り込んで撮像する撮像方法であって、
前記広角レンズを通過した像光を複数の像光に分割し、
この分割した各像光をそれぞれ複数の固体撮像素子によって受光して光電変換する
ことを特徴とする撮像方法。 - 前記広角レンズが魚眼レンズである
ことを特徴とする請求項１８記載の撮像方法。 - 前記魚眼レンズがＰＡＬレンズである
ことを特徴とする請求項１９記載の撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003073281A JP2004282551A (ja) | 2003-03-18 | 2003-03-18 | 撮像装置、撮像システムおよび撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003073281A JP2004282551A (ja) | 2003-03-18 | 2003-03-18 | 撮像装置、撮像システムおよび撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004282551A true JP2004282551A (ja) | 2004-10-07 |
Family
ID=33289214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003073281A Abandoned JP2004282551A (ja) | 2003-03-18 | 2003-03-18 | 撮像装置、撮像システムおよび撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004282551A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015061125A (ja) * | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 画像撮影装置及び画像撮影方法 |
| US9348131B2 (en) | 2012-07-04 | 2016-05-24 | Olympus Corporation | Image acquisition apparatus |
| US9829693B2 (en) | 2013-07-22 | 2017-11-28 | Olympus Corporation | Image acquisition device |
| CN108827975B (zh) * | 2018-09-07 | 2023-10-20 | 中国工程物理研究院激光聚变研究中心 | 一种ccd阵列成像装置 |
-
2003
- 2003-03-18 JP JP2003073281A patent/JP2004282551A/ja not_active Abandoned
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9348131B2 (en) | 2012-07-04 | 2016-05-24 | Olympus Corporation | Image acquisition apparatus |
| US9829693B2 (en) | 2013-07-22 | 2017-11-28 | Olympus Corporation | Image acquisition device |
| JP2015061125A (ja) * | 2013-09-17 | 2015-03-30 | 日本電信電話株式会社 | 画像撮影装置及び画像撮影方法 |
| CN108827975B (zh) * | 2018-09-07 | 2023-10-20 | 中国工程物理研究院激光聚变研究中心 | 一种ccd阵列成像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6069351A (en) | Focal plane processor for scaling information from image sensors | |
| US7171088B2 (en) | Image input device | |
| CN110876027B (zh) | 图像传感器和包括其的电子设备、以及图像缩放处理方法 | |
| JP4259541B2 (ja) | パノラマ撮像装置 | |
| JP6058963B2 (ja) | 全周カメラ | |
| KR101689534B1 (ko) | 멀티스케일 이미징 시스템 | |
| CN110366740B (zh) | 图像处理装置和摄像装置 | |
| JP2015053644A (ja) | 撮像装置 | |
| JP2004282551A (ja) | 撮像装置、撮像システムおよび撮像方法 | |
| JP2019080174A (ja) | 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム | |
| US20130169758A1 (en) | Three-dimensional image generating device | |
| JP7118659B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP2007189361A (ja) | イメージセンサおよびこれを用いたカメラ | |
| JP6022428B2 (ja) | 画像撮影装置及び画像撮影方法 | |
| JP3714200B2 (ja) | 撮像装置 | |
| JP3888847B2 (ja) | 広視野映像撮像装置 | |
| JP5798375B2 (ja) | 全周カメラ | |
| US20230061593A1 (en) | Video creation method | |
| JP2004215228A (ja) | 撮影装置 | |
| JP3598704B2 (ja) | 画像読取装置 | |
| JP4302485B2 (ja) | 撮像装置、画像取得装置、及び撮像システム | |
| JP2018182621A (ja) | 撮像装置、その制御方法、プログラム及び記録媒体 | |
| JP2018182551A (ja) | 撮像装置 | |
| JP2015053645A (ja) | 撮像装置 | |
| JP2024118461A (ja) | イメージ処理プロセッサとこれを備えるイメージ処理装置及びイメージ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20080228 |