JP2017069986A - 撮像装置および画像処理装置 - Google Patents

Abstract

【課題】複数の撮像素子を有する撮像装置において、撮像素子の数に伴う画像処理用ハードウエアの増加を抑制、データハンドリングの簡素化を図ると共に、信頼性を向上させる。
【解決手段】複数の撮像素子１１，１２を有する撮像装置において、複数の撮像素子から出力される画像データをそれぞれ格納する、複数の撮像素子に対応する複数のページメモリ２１０，２２０と、複数のページメモリに格納された画像データを時分割に読み出すページメモリ読出し手段２３０と、複数のページメモリから時分割に読み出された、複数の撮像素子に対応する画像データに対して所定の画像処理を施す単一の画像処理手段２５０と、複数の撮像素子の画像データ複数のページメモリへの書込みを監視して、前記ページメモリ読出し手段のページメモリ読出し開始を制御する書込み監視手段２４０とを有する。
【選択図】図２

Description

本発明は、複数の撮像素子を用いて被写体を撮像する撮像装置および画像処理装置に関する。

従来から、複数の撮像素子（ＣＭＯＳセンサ等）を用いて全方位を撮影し、該撮影して得られた複数の画像データについて合成処理を行い、パノラマ画像を生成する全方位撮像装置が知られている。

しかしながら、従来の全方位撮像装置では、複数の撮像素子を用いて撮像された複数の画像データについて、それぞれ撮像素子対応の複数の画像処理回路で黒レベル補正、色補間、欠陥画素補正、その他、必要な画像処理を行っている。このため、撮像素子の数が増えるに伴い画像処理のハードウエア量が多く必要となり、コストアップとなる問題があった。また、複数の画像データを別々に扱うために、データハンドリングが煩雑となる問題があった。

例えば、特許文献１には、複数のイメージセンサ（撮像素子）、複数の画像プロセッサ（画像処理回路）、画像ポストプロセッサ、及びネットワークインターフェース等で構成された多重センサパノラマネットワークカメラが記載されており、画像処理回路がイメージセンサの数だけ存在している。

本発明は、複数の撮像素子を使用する全方位撮像装置等の撮像装置において、撮像素子の数に伴う画像処理用ハードウエアの増加によるコストアップ、複数の画像データを別々に扱うことによるデータハンドリングの煩雑化を解決するとともに、信頼性の向上を図ることにある。

上述した課題を解決し、目的を達成するために、本発明は、複数の撮像素子を有する撮像装置であって、前記複数の撮像素子から出力される半球画像データをそれぞれ格納する、前記複数の撮像素子に対応する複数のメモリと、前記複数のメモリに格納された前記半球画像データを時分割に読み出す読出し手段と、読み出された前記複数の撮像素子に対応する前記半球画像データに対して所定の画像処理を施す単一の画像処理手段と、前記単一の画像処理手段で所定の画像処理が施された複数の前記半球画像データに基づいて、全方位画像データを生成する画像生成手段と、を有する。

本発明の撮像装置によれば、複数の撮像素子に対応した複数の画像処理手段が不要であり、コストアップを抑制することができる。また、単一の画像処理手段を使用することにより、複数の撮像素子の画像データを単一の画像素子の画像データとして扱うことが可能になり、データハンドリングの煩雑化が解消される。さらに、書込み監視手段の使用により、複数の画像素子の同一ラインの画像データが正しく画像処理手段に送ることができるため、信頼性が向上する。

本発明の撮像装置の一実施形態に係る全方位撮像装置の全体的構成図である。 図１中の画像処理ユニットの一実施形態の詳細構成図である。 本実施形態の画像データの転送の様子を説明する図である。 本実施形態のページメモリ内の画像データの格納の様子を説明する図である。

以下、本発明の一実施形態について図面にもとづいて説明する。以下では、撮像装置は２つの撮像素子を使用した全方位撮像装置とするが、一般に撮像素子は２つ以上いくつでもよく、また、必ずしも全方位撮像装置である必要はない。

図１は、本実施形態に係る全方位撮像装置の全体的構成図である。本全方位撮像装置は撮像ユニット１０、画像処理ユニット２０、撮像制御ユニット３０、ＣＰＵ４０、ＲＯＭ５０やＳＲＡＭ６０やＤＲＡＭ７０などのメモリ、操作部８０、外部Ｉ／Ｆ回路９０で構成され、撮像装置筐体内に収容されている。

撮像ユニット１０は、２つの撮像素子１１，１２を備えている。撮像素子１１，１２は、各々半球画像を結像するための１８０°以上の画角を有する魚眼レンズ、該魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサなどの画像センサ、該画像センサの水平／垂直同期信号や画素クロックなどを生成するタイミング生成回路、当該撮像素子の動作に必要な種々のコマンド、パラメータなどが設定されるレジスタ群などを有している。この種の撮像素子は良く知られているので、撮像素子１１，１２の具体的構成は省略する。

撮像ユニット１０の撮像素子１１，１２は、各々、画像処理ユニット２０とはパラレルＩ／Ｆバスで接続され、一方、撮像制御ユニット３０とは、別途、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット２０及び撮像制御ユニット３０は、バス１００を介してＣＰＵ４０と接続される。さらに、バス１００には、ＲＯＭ５０、ＳＲＡＭ６０、ＤＲＡＭ７０、操作部８０、外部Ｉ／Ｆ９０なども接続される。

画像処理ユニット２０は、撮像素子１１，１２から出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して全方位画像データを生成する。本発明は、特にこの画像処理ユニット２０に関する。この画像処理ユニット２０の構成、動作については、後で詳しく説明する。

撮像制御ユニット３０は、一般に該撮像制御ユニット３０をマスタデバイス、撮像素子１１，１２をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１１，１２のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ４０から受け取る。また、該撮像制御ユニット３０は、同じくＩ２Ｃバスを利用して、撮像素子１１，１２のレジスタ群のステータス・データ等を取り込み、ＣＰＵ４０に送る。

また、撮像制御ユニット３０は、操作部８０のシャッタボタンが押下されたタイミングで、撮像素子１１，１２に画像データの出力を指示する。撮像装置によっては、ディスプレイ（図１では省略）によるプレビュー表示機能や動画対応機能を持つ場合もある。その場合は、撮像素子１１，１２からの画像データ出力は、所定のフレームレート（フレーム／分）にて連続して行われる。撮像制御ユニット３０は基本的に従来と同様であるので、これ以上の説明は省略する。

ＣＰＵ４０は、当該撮像装置全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ５０は、ＣＰＵ４０のための種々のプログラムを記憶している。ＳＲＡＭ６０及びＤＲＡＭ７０はワークメモリであり、ＣＰＵ４０で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ７０は、画像処理ユニット２０での処理途中の画像データや処理済みの全方位画像データを記憶する。

操作部８０は、種々の操作ボタンや電源スイッチ、シャッタボタンなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

外部Ｉ／Ｆ９０は、外付けメモリ（ＳＤカード、フラッシュメモリ等）やパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、外部Ｉ／Ｆ９０としては、無線、有線を問わずにネットワークインターフェースである場合も考えられる。ＤＲＡＭ７０に記憶された全方位画像データは、該外部Ｉ／Ｆ９０を介して外付けメモリに蓄積されたり、必要に応じて、ネットワークＩ／Ｆとなる外部Ｉ／Ｆ９０を介してパーソナルコンピュータに転送される。

以下に、画像処理ユニット２０の構成、動作について詳述する。

図２は、本実施形態に係る画像処理ユニット２０の詳細構成図である。本画像処理ユニット２０は、撮像素子（１）１１に対応するページメモリ２１０，撮像素子（２）１２に対応するページメモリ２２０、ページメモリ読出し回路２３０、書込み監視回路２４０、単一の画像処理回路２５０、画像合成回路２６０、バスＩ／Ｆ回路２７０、及び、画像処理回路２５０と画像合成回路２６０とバスＩ／Ｆ回路２７０を接続する内部バス２８０からなる。

ページメモリ２１０，２２０は、それぞれ撮像素子１１，１２からライン単位で出力される画像データを順次蓄積する。ここでは、ページメモリ２１０，２２０は、各撮像素子１１，１２に対応して、それぞれ２ページ分のページメモリを持つ構成としている。すなわち、ページメモリ２１０，２２０は、それぞれ撮像素子１１，１２から出力される画像データを最大２ページ分蓄積することが可能である。ページメモリ２１０は、撮像素子１１から出力される画像データをページ単位で、順次、ページメモリ１，ページメモリ２，ページメモリ１，・・・とトグル形式に蓄積していく。同様に、ページメモリ２２０は、撮像素子１２〜出力される画像データをページ単位で、順次、ページメモリ１、ページメモリ２、ページメモリ１，・・・とトグル形式に蓄積していく。

ページメモリ２１０，２２０からの画像データの読出しは、書込み動作とは独立に、ページメモリ読出し回路２３０により制御される。ページメモリ読出し回路２３０は、ページメモリ２１０，２２０の次に読み出すべきページメモリを示すリードポインタを持っている。ページメモリ読出し回路２３０は、書込み監視回路２４０からページメモリ読出し開始指示信号を受け取ると、ページメモリ２１０，２２０からそれぞれリードポインタで示されるページメモリの画像データをライン単位で時分割に読み出す。そして、リードポインタで示されるページメモリの読出しが終了すると、リードポインタを更新して、次のページメモリが読み出せるようにする。つまり、リードポインタは、１→２→１→２→１→・・・とトグル形式で更新される。このようにして、ページメモリ読出し回路２３０は、書込み監視回路２４０からページメモリ読出し開始指示信号を受け取ると、ページメモリ２１０，２２０からそれぞれページメモリ１，ページメモリ２，ページメモリ１，ページメモリ２，ページメモリ１，・・・とトグル形式に順番に画像データをライン単位で時分割に読み出していく。書込み監視回路２４０については後述する。

画像処理回路２５０は、ページメモリ読出し回路２３０によりページメモリ２１０，２２０の各ページメモリからライン単位で時分割に読み出された画像データを入力して、順次、リアルタイムに所定の画像処理を施していく。画像処理回路２５０には、ページメモリ読出し回路２３０から同期信号等も供給される。ここで、画像処理回路２５０での画像処理には、黒レベル補正、色補正、欠陥画素補正、ホワイトバランス補正等がある。該画像処理回路２５０で画像処理された各撮像素子１１，１２の画像データは、バスＩ／Ｆ回路２７０を介して、ＤＲＡＭ７０に転送される。ＤＲＡＭ７０に転送された撮像素子１１，１２の画像データは、各撮像素子１１，１２毎に分離されて、ＤＲＡＭ３０内の各撮像素子１１，１２に対応する記憶領域にそれぞれ書き込まれる。

なお、画像処理回路２５０での画像処理には、例えばレンズ補正のように、撮像素子１１，１２の画像データをまとめて処理できないものもある。これについては、次のようにして処理すればよい。まず、各撮像素子１１，１２の１画面分の処理済み画像データをＤＲＡＭ７０に格納する。その後、ＣＰＵ４０が、各撮像素子１１，１２の画像データをそれぞれ読み出して、画像処理回路２５０に送り、画像処理回路２５０でさらに所定の画像処理を行い、再びＤＲＡＭ７０に書き込むようにする。

画像合成回路２６０は、バスＩ／Ｆ回路２７０を介して、ＤＲＡＭ７０から各撮像素子１１，１２の画像データを取り込んで合成処理する。ＤＲＡＭ７０には、撮像素子１１，１２でそれぞれ撮影して得られた２つの半球画像データが、所定の画像処理が施されて格納されている。この２つの半球画像データは、先に述べたように、画角が１８０度以上有した画像データであるため、互いにオーバーラップ領域を有している。画像合成回路２６０は、この２つの半球画像データについて、互いのオーバーラップ領域をもとに合成して全方位画像データを生成する。

この生成された全方位画像データは、バスＩ／Ｆ回路２７０を介して再度、ＤＲＡＭ７０に格納される。その後、全方位画像データは、ＤＲＡＭ７０から外付けメモリに蓄積されたり、必要に応じて外部Ｉ／Ｆ回路９０を通して、パーソナルコンピュータ等に転送される。

次に、書込み監視回路２４０について説明する。書込み監視回路２４０は、撮像素子１１，１２からの画像データのページメモリ２１０，２２０への書込みを監視する回路である。撮像素子１１，１２では、それぞれ画像データと同時に、水平／垂直同期信号、画素クロック等も出力している。書込み監視回路２４０は、撮像素子１１，１２が出力する同期信号を監視して、撮像素子１１，１２の１ページ分の画像データがページメモリ２１０，２２０に揃ったタイミングで、ページメモリ読出し回路２３０に対してページメモリ読出し開始指示信号を送出する。

本実施形態では、各撮像素子１１，１２に対してページメモリ２１０，２２０はそれぞれ２ページ分のページメモリを持つ構成としている。この場合、撮像素子１１，１２の画像データの同期ずれは最大１ページまで許容可能である。書込み監視回路２４０は、撮像素子１１，１２が出力する１ページ分の画像データがそれぞれページメモリ２１０，２２０に揃ったタイミングで、ページメモリ読出し回路２３０に対してページメモリ読出し開始指示信号を送出する。

ページメモリ読出し回路２３０は、書込み監視回路２４０からページメモリ読出し開始指示信号を受け取ると、ページメモリ２１０，２２０からの画像データの読出しを開始する。すなわち、本実施形態の場合、ページメモリ読出し回路２３０では、ページメモリ２１０，２２０内の既に１ページ分の画像データが格納されたページメモリをトグル形式で一定の順番で選択して、該画像データをライン単位で時分割に読み出すことができる。これにより、撮像素子１１，１２から出力される画像データに同期ずれがあっても、撮像素子１１，１２のページ先頭からの画像データを正しく後段の画像処理回路２５０に送出することが可能になる。

なお、本実施形態では、ページメモリ２１０，２２０はそれぞれ２ページ分のページメモリを持つ構成としたが、ページメモリの数は、撮像素子（ＣＭＯＳセンサ）の特性等に応じて決めればよい。各撮像素子（ＣＭＯＳセンサ）が同一種類のばらつきの少ない同一特性の場合には、１ページ分のページメモリの構成でもよい。

また、ページメモリ２１０，２２０では書込み動作と読出し動作が独立に行われるが、書込みと読出しのクロックを異なる周波数とし、読出しクロックの周波数は、書込みクロックの周波数のｎ倍（ｎ≧２）以上とする。これにより、ページメモリ２１０，２２０の書込み読出し動作、画像処理回路２５０のライン単位でのリアルタイム処理が実現する。

図３は本実施形態の画像データの転送の様子を示した図、図４はページメモリ２１０，２２０の画像データの格納の様子を示した図である。なお、図３中の信号は横軸を時間軸として書かれている。

図３において、上段は撮像素子１１が出力する信号で、Ｖｓｙｎｃ＿Ａは垂直同期信号（２次元画像の１ページの先頭に１回だけ出力）、Ｈｓｙｎｃ＿Ａは水平同期信号（ライン単位の先頭に出力）、ＤＥ＿Ａはデータイネーブル信号（データ有効を示す）、Ａ（１），Ａ（２），Ａ（３），・・・は各ラインの画像データである。中段は撮像素子１２が出力する信号で、Ｖｓｙｎｃ＿Ｂは垂直同期信号、Ｈｓｙｎｃ＿Ｂは水平同期信号、ＤＥ＿Ｂはデータイネーブル信号、Ｂ（１），Ｂ（２），Ｂ（３），・・・は各ラインの画像データである。なお、撮像素子１１，１２からは画素クロックも出力されるが、図３では省略している。

図３の上段と中段に示すように、ここでは、撮像素子１１，１２から出力される画像データが任意のラインずれているとする。具体的には、撮像素子１１の出力画像データに対して、撮像素子１２の出力画像データは数ライン遅れているとする。

撮像素子１１，１２から出力された画像データは、それぞれページメモリ２１０，２２０の各ページメモリに順次、ライン単位で格納される。図４は、この様子を示したものである。一方、書込み監視回路２４０は、撮像素子１１，１２から出力される画像データのページメモリ２１０，２２０への書込み状態を監視して、撮像素子１１，１２の出力する画像データがそれぞれ１ページ分、ページメモリ２１０，２２０のあるページメモリに揃ったタイミングで、ページメモリ読出し回路２３０に対してページメモリ読出し開始指示信号を送出する。

実施例では、撮像素子１１のページ先頭の画像データＡ（１），Ａ（２），Ａ（３）・・・がページメモリ２１０のページメモリ１に順次格納され、これより数ライン遅れて、撮像素子１２のページ先頭の画像データＢ（１），Ｂ（２），・・・がページメモリ２２０のページメモリ１に順次格納される。こうして、撮像素子１１，１２から出力された１ページ分の全ての画像データが格納されたタイミングで、書込み監視回路２４０から、ページメモリ読出し回路２３０に対してページメモリ読出し開始指示信号が送出される。例では、撮像素子１２の画像データＢ（ｎ）がページメモリ２２０のページメモリ１に格納されたタイミングで、ページメモリ読出し開始指示信号が出される。

ページメモリ読出し回路２３０は、書込み監視回路２４０からページメモリ読出し開始指示信号を受け取ることで、ページメモリ２１０，２２０からの画像データの時分割読出しを開始する。すなわち、ページメモリ読出し回路２３０は、まず、ページメモリ２１０におけるページメモリ１の１ライン目の画像データＡ（１）を読み出して画像処理回路２５０に送り、引き続いてページメモリ２２０におけるページメモリ１の１ライン目の画像データＢ（１）を読み出して画像処理回路２５０に送る。以下、同様にして、ページメモリ読出し回路２３０は、ページメモリ２１０，２２０の各ページメモリ１から画像データＡ（２）とＢ（２）、Ａ（３）とＢ（３），・・・を順番に読み出しては画像処理回路２５０に送る。また、ページメモリ読出し回路２３０は、画像処理回路２５０に対して同期信号等も送る。

画像処理回路２５０は、ページメモリ読出し回路２３０から送られてきた画像データＡ（１）とＢ（１），Ａ（２）とＢ（２），Ａ（３）とＢ（３），・・・に対して、順次、リアルタイムに所定の画像処理を施して出力する。図３の下段はこれを示している。ここで、Ｖｓｙｎｃ＿Ｏは画像処理回路２５０の垂直同期信号、Ｈｓｙｎｃ＿Ｏは同平同期信号（ライン単位の先頭に出力）、ＤＥ＿Ｏは同データイネーブル信号である。また、Ｏ（１）はＡ（１）とＢ（１）の画像処理済みの出力画像データを意味している。同様に、Ｏ（２）は、Ａ（２）とＢ（２）の画像処理済みの出力画像データを意味する。

このように、本実施形態では、それぞれ２ページ分のページメモリからなるページメモリ２１０，２２０を用いて、撮像素子１１，１２から出力される画像データをページメモリ２１０，２２０に蓄積し、ページメモリ読出し回路２３０で、ページメモリ２１０，２２０から撮像素子１１，１２の画像データを時分割で読み出して単一の画像処理回路２５０に送り、該画像処理回路２５０で撮像素子１１，１２の画像データに対して一括して所定の画像処理を行っている。これにより、各撮像素子対応の画像処理回路を必要とせず、画像処理回路のハードウエア数を削減することができ、コストアップを抑制することができる。

さらに、本実施形態では、書込み監視回路２４０により、撮像素子１１，１２の1ページ分の画像データがページメモリ２１０，２２０のあるページメモリに揃ったタイミングで、ページメモリ読出し回路２３０に対してページメモリ読出し開始指示信号を送出している。これにより、撮像素子１１，１２の同一ページの画像データを正しく後段の画像処理回路２５０に送ることができる。

以上、本発明の一実施形態について説明したが、本発明の撮像装置は図示の構成に限定されるものではない。先に述べたように、撮像素子は３つあるいはそれ以上でもよい。また、ページメモリは２ページである必要もない。

１１，１２ 撮像素子
２０ 画像処理ユニット
３０ 撮像制御ユニット
４０ ＣＰＵ
７０ ＤＲＭ
２１０，２２０ ページメモリ
２３０ ページメモリ読出し回路
２４０ 書込み監視回路
２５０ 画像処理回路
２６０ 画像合成回路

特開２００６−０３３８１０号公報

Claims (6)

1. 複数の撮像素子を有する撮像装置であって、
   前記複数の撮像素子から出力される半球画像データをそれぞれ格納する、前記複数の撮像素子に対応する複数のメモリと、
   前記複数のメモリに格納された前記半球画像データを時分割に読み出す読出し手段と、
   読み出された前記複数の撮像素子に対応する前記半球画像データに対して所定の画像処理を施す単一の画像処理手段と、
   前記単一の画像処理手段で所定の画像処理が施された複数の前記半球画像データに基づいて、全方位画像データを生成する画像生成手段と、
   を有する、撮像装置。
2. 前記複数のメモリへの書込み状態を監視して、前記読出し手段の読み出し開始を制御する書込み監視手段をさらに有する、請求項１に記載の撮像装置。
3. 前記メモリは、ページメモリであることを特徴とする請求項２に記載の撮像装置。
4. 前記複数のページメモリは、それぞれ少なくとも１ページ分のページメモリを有し、
   前記書込み監視手段は、前記複数の撮像素子の前記半球画像データの１ページ分が各ページメモリに揃ったタイミングで、前記ページメモリ読出し手段に対してページメモリ読出し開始を指示する、請求項３に記載の撮像装置。
5. 前記読出し手段は、前記半球画像データをライン単位で読み出す、請求項１〜４のいずれか一つに記載の撮像装置。
6. 撮像装置に含まれる複数の撮像素子から出力される半球画像データがそれぞれ格納された複数のメモリから、前記半球画像データを時分割に読み出す読出し手段と、
   読み出された前記複数の撮像素子に対応する前記半球画像データに対して、所定の画像処理を施す単一の画像処理手段と、
   前記単一の画像処理手段で所定の画像処理が施された複数の前記半球画像データに基づいて、全方位画像データを生成する画像生成手段と、
   を有する、画像処理装置。

Images