JP2014179841A

JP2014179841A - 撮像装置

Info

Publication number: JP2014179841A
Application number: JP2013052994A
Authority: JP
Inventors: Yasuo Ueda; 康雄上田; Noriyuki Terao; 典之寺尾; Toru Harada; 亨原田; Satoshi Sawaguchi; 聡澤口; Nozomi Imae; 望今江; Yoshiaki Irino; 祥明入野; Hideaki Yamamoto; 英明山本; Makoto Shohara; 誠庄原; Hiroichi Takenaka; 博一竹中; Yoichi Ito; 洋一伊藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-03-15
Filing date: 2013-03-15
Publication date: 2014-09-25
Anticipated expiration: 2033-03-15
Also published as: JP6070308B2

Abstract

【課題】複眼のセンサーモジュールを有する撮像装置において、各センサーモジュール内の温度上昇を極力抑え、結果的にセンサーモジュール間の同期ずれを防止する。
【解決手段】画像同期化部２０内に、センサーモジュール（１）１１及びセンサーモジュール（２）１２のいずれかのセンサーモジュールから出力されるフレーム同期信号をカウントするカウンタ、該カウンタが所定のカウント数になる毎に、すわなち、所定のフレーム毎に、センサーモジュール（１）１１及びセンサーモジュール（２）１２を一定の期間、パワーダウンする制御手段を設ける。
【選択図】図１

Description

本発明は、複数のセンサーモジュールを有する撮像装置に関する。

従来から、複数（複眼）のセンサーモジュールを有する撮像装置は、複数画像の視差演算により障害物までの距離を計測したり、複数の画像を合成してパノラマ画像を生成したり、その他、広く利用されている。

このような撮像装置として、信号線数を出来る限り少なくするため、外部同期信号入力端子を持たないセンサーモジュールを使用した撮像装置が知られている。この場合、各センサーモジュール間で出力映像信号等の同期ずれが問題になる。

近年、センサーモジュールの高解像度が顕著であり、消費電流は高まっていく一方で、それに伴って温度上昇が無視できなくなってきている。温度上昇は、センサーモジュール外の冷却機構によってカバーすることが可能であるが、コストの面で厳しい状況もある。温度が上昇すると、各センサーモジュール内のＰＬＬ回路の出力クロックの誤差等により、各センサーモジュールの出力映像信号が非同期になり、後段の画像処理に破綻をきたす恐れがある。また、センサーモジュールが撮像センサーとしてＣＭＯＳセンサーを含む場合、温度上昇に伴う暗電流の増加により、センサー特性の劣化を招く。

例えば、特許文献１には、外部同期信号入力端子を持たない複数のカメラモジュールの画像同期化技術として、複数のカメラモジュールから出力される垂直同期信号のうち、あらかじめ基準として定めたカメラモジュールから出力される垂直同期信号に対する、他のカメラモジュールから出力されたる垂直同期信号の位相の進み量を検出し、検出された位相の進み量に相当する時間、この他のカメラモジュールのクロックの供給を遮断して動作を一時停止させる技術が開示されている。しかしながら、温度上昇による各センサーモジュール内のＰＬＬ回路のクロック誤差等に起因する非同期状態やセンサー特性の劣化等の軽減については考慮されていない。

本発明は、複数のセンサーモジュールを有する撮像装置において、センサーモジュール内の温度上昇を極力抑えることで、センサーモジュール間の非同期を防ぎ、更にはセンサーモジュール内のセンサー特性の劣化を防ぐことにある。

本発明は、それぞれが映像信号、フレーム同期信号及びライン同期信号を送出する、複数のセンサーモジュールを有する撮像装置において、前記複数のセンサーモジュールのいずれかのセンサーモジュールのフレーム同期信号をカウントするカウンタと、前記カウンタが所定のカウント数になる毎に、前記複数のセンサーモジュールをパワーダウンとする制御手段を有することを主要な特徴とする。

本発明によれば、所定のフレーム毎に、センサーモジュールがパワーダウンするため、センサーモジュールの温度上昇を抑えることができ、結果的にセンサーモジュール間の非同期を防止することが可能になり、更には、撮像センサー等の特性の劣化を防止することも可能になる。

本発明の撮像装置の実施形態に係る全体構成図である。画像同期化部の第１の実施例に係る具体的構成図である。フレーム同期信号とパワーダウンセット・リセットの関係を示す図である。ライン同期信号とパワーダウンセット・リセットの関係を示す図である。画像同期化部の第２の実施例に係る具体的構成図である。

以下、本発明の一実施形態について図面にもとづいて説明する。なお、実施形態は、撮像装置は２つのセンサーモジュールを備えるとするが、一般にセンサーモジュールは２つ以上（複数）いくつでもよい。

図１は、本実施形態に係る撮像装置の全体的構成図である。図１において、１１，１２はセンサーモジュール（カメラモジュール）、２０は画像同期化部、３０は画像処理部である。なお、画像処理部３０は、当該撮像装置とは別構成（パソコンなど）とすることでもよい。

センサーモジュール（１）１１及びセンサーモジュール（２）１２は、各々、レンズ（例えば、魚眼レンズ）、該レンズによる光学像を電気信号の映像信号（画像データ）に変換して出力するＣＭＯＳセンサーなどの撮像センサー、クロック信号を発生するＰＬＬ回路、クロック信号をもとに撮像センサーの画素クロック、ライン同期信号（水平同期信号）、フレーム同期信号（垂直同期信号）などを生成するタイミング信号生成回路等を実装している。

これらセンサーモジュール（１）１１及びセンサーモジュール（２）１２は、各々、独立に動作し、映像信号、フレーム同期信号、ライン同期信号を出力する。すなわち、センサーモジュール（１）１１は映像信号１、フレーム同期信号１、ライン同期信号１を送出し、センサーモジュール（２）１２は映像信号２、フレーム同期信号２、ライン同期信号２を送出する。

画像同期化部２０は、センサーモジュール（１）１１及びセンサーモジュール（２）１２から出力される映像信号、フレーム同期信号、ライン同期信号を入力して、これら信号を同じタイミングで画像処理部３０へ渡す。すなわち、画像同期化部２０は、センサーモジュール（１）１１及びセンサーモジュール（２）１２からそれぞれ出力される映像信号を同期化する処理を行い、同期化された映像信号１，２を出力する。同時に、画像同期化部２０は、同期化されたフレーム同期信号、ライン同期信号を出力する。

画像処理部３０は、画像同期化部２０で同期化された、センサーモジュール（１）１１及びセンサーモジュール（２）１２の映像信号１及び映像信号２、フレーム同期信号、ライン同期信号を入力して必要な処理を実施する。例えば、障害物などの対象物までの距離計測では、センサーモジュール（１）１１及びセンサーモジュール（２）１２の映像信号１及び映像信号２の視差を求め、三角測量の原理で対象物までの距離を計測する。また、全天球カメラなどであれば、センサーモジュール（１）１１及びセンサーモジュール（２）１２の映像信号１及び映像信号２について、互いにオーバーラップ領域をもとに合成して全方位パノラマ画像を生成する。

ここで、本実施形態においては、画像同期化部２０は、センサーモジュール（１）１１及びセンサーモジュール（２）１２のフレーム同期信号やライン同期信号などをモニタして、センサーモジュール（１）１１及びセンサーモジュール（２）１２にパワーダウン信号を送り、所定の期間、センサーモジュール（１）１１及びセンサーモジュール（２）１２をパワーダウンする制御手段を備えている。これにより、センサーモジュール（１）１１及びセンサーモジュール（２）１２の温度上昇を抑止する。

以下に、本実施形態に係る画像同期化部２０の具体的構成例及び動作について詳述する。

図２は、画像同期化部２０の第１の実施例の具体的構成例を示す図である。図２において、ＰＬＬ回路２１０は、当該画像同期化部２０を動作させるためのクロックを発生する回路である。ラインバッファ（１）２０１は、センサーモジュール（１）１１が出力する映像信号１を一時的に保存するバッファメモリ、ラインバッファ（２）２０２は、センサーモジュール（２）１２が出力する映像信号２を一時的に保存するバッファメモリである。これらラインバッファ（１）２０１及びラインバッファ（２）２０２は、各々、数ライン分の映像信号を保存できるメモリ容量を有し、ある程度のラインずれをカバーできるようになっている。

ラインバッファ書込み制御回路２２０は、センサーモジュール（１）１１からのフレーム同期信号１及びライン同期信号１に基づいてバッファ１書込みアドレス制御信号を生成し、ＰＬＬ回路２１０のクロックに同期して、センサーモジュール（１）１１からの映像信号１をラインバッファ（１）２０１に順次格納する。また、ラインバッファ書込み制御回路２２０は、センサーモジュール（２）１２からのフレーム同期信号２及びライン同期信号２に基づいてバッファ２書込みアドレス制御信号を生成し、同じくＰＬＬ回路２１０のクロックに同期して、センサーモジュール（２）１２からの映像信号２をラインバッファ（２）２０２に順次格納する。

一方、ラインバッファ読出し制御回路２３０は、ＰＬＬ回路２１０からのクロックに基づいてバッファ１読出しアドレス制御信号を生成し、ＰＬＬ回路２１０からのクロックに同期して、ラインバッファ（１）２０１から映像信号１を順次読み出す。同様に、ラインバッファ読出し制御回路２３０は、ＰＬＬ回路２１０からのクロックに基づいてバッファ２読出しアドレス制御信号を生成し、ラインバッファ（２）２０２から映像信号２を順次読み出す。

ここで、カウンタ（１）２４５は、例えば、ライン同期信号１を基準にライン同期信号２をカウントしている。このカウンタ（１）２４５のカウント値は、ライン同期信号１とライン同期信号２のラインずれ数、すなわち、センサーモジュール（１）１１から出力される映像信号１とセンサーモジュール（２）１２から出力される映像信号２のラインずれ数を表している。

実際には、ラインバッファ読出し制御回路２３０は、カウンタ（１）２４５のカウント値をもとに、ラインバッファ（１）２０１及びラインバッファ（２）２０２から同一ラインの映像信号１と映像信号２が読み出されるように、バッファ１読出しアドレス制御信号及びバッファ２読出しアドレス制御信号を生成する。この結果、ラインバッファ（１）２０１及びラインバッファ（２）２０２からは、ラインずれのない同期化された映像信号１及び映像信号２が順次読み出される。

ラインバッファ読出し制御回路２３０は、同期化された映像信号１及び映像信号２を画像処理部３０へ送信する。また、ラインバッファ読出し制御回路２３０は、ＰＬＬ回路２１０のクロックに基づいてフレーム同期信号とライン同期信号を生成し、同様に画像処理部３０へ送信する。

ところで、センサーモジュール（１）１１及びセンサーモジュール（２）１２は、長い時間動作していると温度が上昇し、各センサーモジュール内のＰＬＬ回路の出力クロックの誤差等により、各センサーモジュールの出力映像信号に同期ずれが生じる。ラインバッファ（１）２０１及びラインバッファ（２）２０２のライン数を増加させれば、或る程度の同期ずれを吸収することができるが、コスト高になる。そこで、本実施例では、次のようにしてセンサーモジュール（１）１１及びセンサーモジュール（２）１２の温度上昇を抑えて、結果的に各センサーモジュールの出力映像信号の同期ずれを防止する。

図２において、カウンタ（２）２５５は、センサーモジュール（１）１１から出力されるフレーム同期信号１をカウントするカウンタである。なお、カウンタ（２）２５５は、センサーモジュール（２）１２から出力されるフレーム同期信号２をカウントする構成とすることでもよい。

フレームモニタ回路２５０は、カウンタ（２）２５５が所定のカウント数になると、該カウンタ（２）２５５をリセットするとともに、オア回路２６０を通して、センサーモジュール（１）１１及びセンサーモジュール（２）１２に対してパワーダウン信号を送信する。カウンタ（２）２５５は、リセット後、センサーモジュール（１）１１から再びフレーム同期信号１が出力されるとカウントを開始する。つまり、フレームモニタ回路２５０は、カウンタ（２）２５５が所定のカウント数になるごと（所定のフレーム毎）に、センサーモジュール（１）１１及びセンサーモジュール（２）１２に対してパワーダウン信号を送信する。すなわち、フレームモニタ回路２５０は、各センサーモジュールをパワーダウンとする制御手段として機能する。

センサーモジュール（１）１１及びセンサーモジュール（２）１２は、フレームモニタ回路２５０からパワーダウン信号を受信すると、低電力モード（待機状態）となる。低電力モードになると、センサーモジュール（１）１１及びセンサーモジュール（２）１２内のＰＬＬ回路や撮像センサー（ＣＭＯＳセンサー等）が動作を停止し、センサーモジュール（１）及びセンサーモジュール（２）１２からは映像信号、フレーム同期信号、ライン同期信号が送出されなくなる。

その後、パワーダウンが解除すると、センサーモジュール（１）１１及びセンサーモジュール（２）１２は、通常電力モードに復帰する。通常電力モードに復帰すると、センサーモジュール（１）１１及びセンサーモジュール（２）１２内のＰＬＬ回路や撮像センサー等が動作を再開し、センサーモジュール（１）１１及びセンサーモジュール（２）１２からは再び映像信号、フレーム同期信号、ライン同期信号が送出されるようになる。

低電力モード時、センサーモジュール（１）１１及びセンサーモジュール（２）１２内のＰＬＬ回路や撮像センサー等が動作を停止することで、これらセンサーモジュールの消費電流が低下し、温度上昇が抑えられる。

図３に、フレーム同期信号とパワーダウンセット・リセットの関係を示す。図３では、Ｎフレーム毎に、１フレーム期間だけパワーダウンをかける例を示したが、何フレーム毎にパワーダウンを適用するか、また、どの程度の期間だけパワーダウンを実施するかは、例えば、あらかじめセンサーモジュールの温度上昇の割合や、フレームスキップ頻度などをシミュレーションしたり、アプリケーションとしてフレームスキップが許容できるかどうかをユーザが判断したりして設定すればよい。

図２に戻り、一方、ラインモニタ回路２４０は、先に説明したカウンタ（１）２４５のカウント数が所定の値以上になると、すなわち、センサーモジュール（１）１１のライン同期信号１とセンサーモジュール（２）１２のライン同期信号２のラインずれが許容できないライン数になると、該カウンタ（１）２４５をリセットするとともに、オア回路２６０を通して、センサーモジュール（１）１１及びセンサーモジュール（２）１２に対してパワーダウン信号を送信する。すなわち、ラインモニタ回路２４０は、先のフレームモニタ回路２５０と同様に、センサーモジュールをパワーダウンとする制御手段として機能する。カウンタ（１）２４５は、リセット後、センサーモジュール（１）１１及びセンサーモジュール（２）１２からライン同期信号１，２が出力されると、再びライン同期信号１を基準としてライン同期信号２のラインずれのカウントを開始する。

センサーモジュール（１）１１及びセンサーモジュール（２）１２は、ラインモニタ回路２４０からパワーダウン信号を受信すると、低電力モードになる。このときのセンサーモジュール（１）１１及びセンサーモジュール（２）１２の動作は、先のフレームモニタ回路２５０からパワーダウン信号を受信した場合と同様である。その後、パワーダウンが解除されると、センサーモジュール（１）１１及びセンサーモジュール（２）１２は、通常電力モードに復帰する。

図４に、ライン同期信号とパワーダウンセット・リセットの関係を示す。ライン同期信号１とライン同期信号２のラインずれが許容できないライン数になったとき、どの程度の期間だけパワーダウンを実施するかは、先のフレーム同期信号の場合と基本的に同様であるが、例えばフレーム同期信号のときよりも短くしてもよい。

本実施例によれば、所定のフレーム毎に、センサーモジュール（１）１１及びセンサーモジュール（２）１２が一時的に動作を停止するために、これらセンサーモジュールの消費電流が低下し、温度上昇が抑えられるため、結果的に、同期ずれの発生を防止できる。さらに、センサーモジュール（１）１１及びセンサーモジュール（２）１２のライン同期信号のずれが許容値を超えた場合にも、同様に動作を一時的に停止させるため、早期に同期ずれを解消することが可能になる。

なお、センサーモジュール（１）１１及びセンサーモジュール（２）１２が動作を停止すると、映像信号、フレーム同期信号及びライン同期信号は送出されなくなるが、これは一時的であるため、何ら支障をきたさない。センサーモジュール（１）１１及びセンサーモジュール（２）１２内の温度上昇が抑えられることで、撮像センサー（ＣＭＯＳセンサー等）などの特性劣化を防止することができる。

図５は、画像同期化部２０の第２の実施例に係る具体的構成例を示す図である。この第２の実施例は、センサーモジュール（１）１１及びセンサーモジュール（２）１２がそれぞれ温度センサーを内蔵していることが前提である。

図５において、図２との相違点は温度モニタ回路２７０が追加されていることである。それ以外の構成は、図２と全く同様である。温度モニタ回路２７０は、センサーモジュール（１）１１及びセンサーモジュール（２）１２からそれぞれ温度センサーの値（温度センサー値１、温度センサー値２）を入力し、いずれかの温度センサー値が予め定めた閾値を超えた場合、オア回路２６０を介して、センサーモジュール（１）１１及びセンサーモジュール（２）１２に対してパワーダウン信号を送信する。すなわち、温度モニタ回路２７０は、各センサーモジュールをパワーダウンとする制御手段として機能する。

センサーモジュール（１）１１及びセンサーモジュール（２）１２は、温度モニタ回路２７０からパワーダウン信号を受信すると、低電力モードとなる。この時のセンサーモジュール（１）１１及びセンサーモジュール（２）１２内の動作は、先のラインモニタ回路２４０やフレームモニタ回路２５０からパワーダウン信号を受信した場合と同様である。その後、パワーダウンが解除されると、センサーモジュール（１）及びセンサーモジュール（２）１２は、通常電力モードに復帰する。

なお、センサーモジュール（１）１１及びセンサーモジュール（２）１２の温度が所定の温度以上になった時、どの程度の期間、パワーダウンを実施するかは、あらかじめセンサーモジュールの温度上昇の割合をシミュレーションなどしておいて設定すればよい。

本実施例によれば、センサーモジュール（１）１１及びセンサーモジュール（２）１２のさらに緻密な温度管理が実現でき、さらなる温度上昇の抑止、非同期防止、撮像センサーの劣化防止等が可能になる。

以上、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではない。本発明は、特許請求の範囲の記載を逸脱することなく、種々の変形や置換が可能である。

１１，１２センサーモジュール
２０画像同期化部
３０画像処理部
２０１，２０２ラインバッファ
２１０ＰＬＬ回路
２２０ラインバッファ書込み制御回路
２３０ラインバッファ読出し制御回路
２４０ラインモニタ回路
２４５カウンタ（１）
２５０フレームモニタ回路
２５５カウンタ（２）
２７０温度モニタ回路

特許第４５２９８４１号公報

Claims

それぞれが映像信号、フレーム同期信号及びライン同期信号を送出する、複数のセンサーモジュールを有する撮像装置において、
前記複数のセンサーモジュールのいずれかのセンサーモジュールのフレーム同期信号をカウントするカウンタと、
前記カウンタが所定のカウント数になる毎に、前記複数のセンサーモジュールをパワーダウンとする制御手段と、
を有することを特徴とする撮像装置。
前記複数のセンサーモジュールのライン同期信号のラインずれ数をカウントするカウンタをさらに有し、
前記制御手段は、前記カウンタが所定のカウント数になると、前記複数のセンサーモジュールをパワーダウンとする、
ことを特徴とする請求項１に記載の撮像装置。
前記複数のセンサーモジュールはそれぞれ温度センサーを内蔵し、
前記制御手段は、前記複数のセンサーモジュールのいずれかの温度センサーの値が所定の閾値を超えると、前記複数のセンサーモジュールをパワーダウンとする、
ことを特徴とする請求項１または２に記載の撮像装置。