JP2017184151A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】、発光素子をパルス発光させてローリングシャッター方式で露光して画像を取得する場合でも、全ラインの映像を安定して得ることができる撮像装置及び撮像方法を提供すること。【解決手段】発光素子と、発光素子をパルス駆動により発光させる発光素子駆動部と、発光素子の発光を用いて被写体を撮像する撮像素子と、発光素子駆動部を介して発光素子を駆動するとともに、撮像素子を駆動して当該撮像素子における露光または読み出しを制御するタイミング制御部と、を有する。タイミング制御部は、撮像素子をローリングシャッター方式で露光し、且つ、発光素子駆動部を介して、撮像素子のライン毎に同期して発光素子を発光させて、ライン毎に撮像データを取得する。【選択図】図４

Description

本発明は、発光素子をパルス駆動し、撮像素子をライン毎に露光する撮像装置及び撮像方法に関する。

近年、車室内のドライバー（被写体）の映像から、ドライバー状態を監視し、脇見や眠気を警告するシステム（ドライバーモニタシステム：Driver Monitor System、以下、「ＤＭＳ」という）が商品化されている。

ＤＭＳの主たる構成要素は、撮像部、画像処理部、及びドライバー状態検知部である。撮像部は、発光ダイオード（以下、「ＬＥＤ」という）と、ＬＥＤの撮像センサーとで構成されている。撮像部では、二次元の撮像センサーで、受光した被写体の光学的な像を電気的な画像信号に変換する。変換した画像信号は、画像処理部で処理されて、処理された画像データを用いて、ドライバー状態検知部で、ドライバーの運転状態を監視する。

撮像センサーにおいて、ＬＥＤは、近赤外光を照射して、夜間での低照度時の撮像感度を補うとともに、昼間における外乱光の影響を低減する。但し、ＤＭＳで使用するＬＥＤは小型が多いため、外乱光の影響を除去するような強度の発光を連続して実施すると、ＬＥＤが発熱で破壊してしまう虞がある。このため、ＤＭＳにおいては、ＬＥＤをパルス発光させ、発光タイミングに合わせて、撮像センサーで露光して映像を取得する構造が一般的である。
このようにパルス発光させるＬＥＤとともに用いられる撮像センサーには、大きな制約が発生することが知られている。
撮像センサーによる露光方式としては、ローリングシャッター（「ライン露光順次読み出し」）方式と、グローバルシャッター（「同時露光一括読み出し」）方式とが知られている。

ローリングシャッター方式は、例えば、特許文献１に示すように、映像を取得する際に、例えば、１ラインから数ラインを１つのブロックにして、このブロックごとに映像を取得し、これらを組み合わせて１つの映像にする。この方法では、画像を取得する際に、ライン間で露光タイミングが異なり、ブロック内での露光は、同時タイミングであるものの、ブロック毎には若干の時間差が発生する。ローリングシャッター方式は例えばＣＭＯＳ素子で用いられる。

これに対して、グローバルシャッター方式は、映像を取得する際に、ライン間での露光タイミングが完全に一致した全画素同時タイミングで影像を取得する。ＣＣＤ素子は、部分読み出しができないためグローバルシャッター方式を用いる。

図１は、従来のローリングシャッター方式の撮像センサーの動作タイミングの一例を示す図であり、図２は、従来のグローバルシャッター方式の撮像センサーの動作タイミングの一例を示す図である。なお、図１及び図２ともに、垂直同期信号が６０Ｈｚ、撮像センサーのライン数がＮの場合の動作タイミングを示す。また、図１及び図２に示す動作タイミングで映像を取得する構成は、撮像センサーとＬＥＤとを備える撮像部に、水平同期信号８１、９１、撮像部で用いられるシャッター動作のタイミング決定するシャッター信号８３０〜８３Ｎ、９３０〜９３Ｎ及び露光動作を示す露光信号８４０〜８４Ｎ、９４０〜９４Ｎ及びＬＥＤを発光させるＬＥＤ発光信号７２、８２が入力される。これら入力信号により撮像部の撮像センサーからは、映像出力信号８５０〜８５Ｎ、９５０〜９５Ｎが出力される。

ＬＥＤをパルス発光させて画像を取得する場合、ローリングシャッター方式では、図１においてシャッター８３０〜８３Ｎ、及び、露光信号８４０〜８４ＮとＬＥＤ発光信号８２のタイミングで示すように、ライン毎に露光時間が異なっている。
これにより、ＬＥＤをパルス発光させる場合のローリングシャッター方式では、図３Ａの通常露光による映像に比べて、図３Ｂのように、特定のラインの映像しか得られずフレーム映像として被写体の映像を取得できないという問題があった。

これに対し、図２に示すグローバルシャッター方式では、垂直同期信号９０に同期して、全ラインのシャッター９３０〜９３Ｎ、及び、露光信号９４０〜９４Ｎを発生し、ＬＥＤ発光信号９２で発光素子をパルス発光させることで、画像を取得できる。なお、以下では、発光素子をパルス発光させてグローバルシャッター方式で露光する場合を、通常露光という。

特開２００７−３１８５８１号公報

しかしながら、グローバルシャッター方式で用いられる撮像センサーは、ローリングシャッター方式で用いられる撮像センサーよりも非常に高く、生産コストも高くなることはよく知られている。

よって、撮像部においてＬＥＤをパルス発光させる場合でも、ローリングシャッター方式で安定した画像を取得可能な技術が検討されている。

本発明はかかる点に鑑みてなされたものであり、発光素子をパルス発光させてローリングシャッター方式で露光して画像を取得する場合でも、全ラインの映像を安定して得ることができる撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置の一つの態様は、
発光素子と、
前記発光素子をパルス駆動により発光させる発光素子駆動部と、
前記発光素子の発光を用いて被写体を撮像する撮像素子と、
前記発光素子駆動部を介して前記発光素子を駆動するとともに、前記撮像素子を駆動して当該撮像素子における露光または読み出しを制御するタイミング制御部と、
を有し、
前記タイミング制御部は、前記撮像素子をローリングシャッター方式で露光し、且つ、前記発光素子駆動部を介して、前記撮像素子のライン毎に同期して前記発光素子を発光させて、前記ライン毎に撮像データを取得する構成を採る。

本発明の撮像方法の一つの態様は、発光素子を発光させ、その発光を補助光として撮像素子を駆動制御して被写体の画像を取得する撮像方法において、
前記撮像素子をローリングシャッター方式で露光するとともに、前記撮像素子のライン毎に、前記発光素子を同期して発光させて、画像を取得するようにした。

本発明によれば、発光素子をパルス発光させてローリングシャッター方式で露光して画像を取得する場合でも、全ラインの映像を安定して得ることができる。

従来のローリングシャッター方式の撮像センサーの動作タイミングの一例を示す図である。 従来のグローバルシャッター方式撮像センサーの動作タイミングの一例を示す図である。 従来のローリングシャッター方式撮像センサー動作の出力画像を示す図である。 本発明の撮像装置を備えるドライバーモニタカメラシステム構成を示す図である。 本発明の撮像装置のＬＥＤ発光タイミング図である。 本発明の撮像装置の出力画像を示す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図４は、本発明の撮像装置を備えるドライバーモニタカメラシステム（「ＤＭＳ」）の構成を示す図である。

図４に示すＤＭＳ１００は、撮像部１０、撮像センサー（撮像素子）１１、ＬＥＤ駆動回路（発光素子駆動部）１４、タイミング制御回路（タイミング制御部）１５、制御部２０を有する。

撮像部１０は、主に、撮像センサー１１、発光ダイオード（ＬＥＤ）１２を有し、被写体を撮像する。

撮像センサー１１は、撮影レンズ等を含む光学系により形成された被写体の光学像を受光して、電気的な画像信号（映像出力信号１７）に変換して出力する。なお、光学系は、撮影レンズのほか、基本モードである撮像モードにおいてズームレンズを移動させて光学ズーム動作を行わせるズーム駆動部やフォーカスレンズを移動させて合焦動作を行わせるＡＦ駆動部等を有している。撮像部１０は、光学系の他、撮像センサー１１を駆動制御する駆動制御部を有し、駆動制御部が、制御部２０から入力されるセンサー制御信号１６、及びタイミング制御回路１５から入力される同期信号１Ａに基づいて、撮像センサー１１を制御する。

撮像センサー１１は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーである。撮像センサー１１は、ＣＣＤセンサーとしてもよい。

撮像センサー１１の露光状態は、図示しないシャッター部により調整される。撮像センサー１１及びシャッター部は、制御部２０から送られるセンサー制御信号１６により制御される。なお、センサー制御信号１６は、撮像部１０の各部を制御する信号である。また、撮像センサー１１は、映像出力信号１７を制御部２０に出力する。

発光ダイオード１２は、近赤外光を照射することにより、撮像部１０において夜間やトンネルでの低照度時の撮像感度を補うとともに、日中において撮像素子に入射する外乱光を低減させる。例えば、赤外線透過フィルタを併用すれば、朝日や西日による顔の中の強い陰影を軽減できる。

発行ダイオード１２は、ＬＥＤ駆動回路１４により制御され、ＬＥＤ駆動回路１４からのＬＥＤ発光信号１９に基づいて発光する。

ここでは、発光ダイオード１２の駆動は、所定の周期でその点灯と消灯とが繰り返されるデューティ駆動（以下、「ＰＷＭ（Pulse Width Modulation）駆動」ともいう）としている。これにより、発光ダイオード１２を連続点灯させる連続駆動と比較して発光ダイオード１２の放熱効果及び発光効率の向上を図ることができる。

ＬＥＤ駆動回路１４は、タイミング制御回路１５から入力される発光制御信号１８に基づいて、発光ダイオード１２を制御して、発光ダイオード１２の点灯又は消灯を行う。
ＬＥＤ駆動回路１４は、ここでは、発光ダイオード１２をＰＷＭ制御している。

タイミング制御回路１５は、ＬＥＤ駆動回路１４を介して制御される発光ダイオード１２の発光と、撮像センサー１１による撮像駆動の制御（露光又は映像出力信号の出力周期、つまり読み出し周期）とが同期した駆動となるように制御する。ここでは、タイミング制御回路１５は、ＬＥＤ駆動回路１４に発光制御信号１８を出力するとともに、撮像センサー１１及び制御部２０に同期信号１Ａを出力する。同期信号１Ａは、垂直同期信号、水平同期信号、シャッター信号、露光信号を含む。これにより、タイミング制御回路１５は、ＬＥＤ駆動回路１４により制御されるＰＷＭ駆動と制御部２０により制御されるローリングシャッター駆動とを同期させる。

制御部２０は、ＤＭＳ１００全体の制御動作を司るものであり、ＣＰＵ若しくはＭＰＵ（以下、ＣＰＵ）と、該ＣＰＵで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成されている。

制御部２０は、タイミング制御回路１５からの同期信号１Ａに基づいて撮像部１０（具体的には撮像センサー１１）を駆動制御する。

制御部２０は、撮像センサー１１から入力される映像出力信号は、画像処理部２４において画像処理が施され、ドライバー状態検知部２６に出力される。画像処理部２４では、例えば、撮像部１０から出力された映像出力信号（画像データ）に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、画像データとしてドライバー状態検知部２６に出力する。

ドライバー状態検知部２６では、入力される画像データに基づいてドライバー状態を検知する。例えば、ドライバー状態検知部２６では、画像データからドライバーの顔領域を検出し、顔向きを検知して脇見を判定する。また、目、鼻、口、眉毛等の顔の各部位の特徴点の位置情報の変化から、ドライバー状態を検知して、居眠り或いは前方不注意等の可能性を判定する。例えば、ドライバー状態検知部２６は、ドライバーの顔領域を検出し、検出した顔領域に対して顔が向いている角度等を算出し、ドライバーの顔向きが予め設定された領域内にあるか否かを判定する。ドライバー状態検知部２６は、顔の上下方向の角度、顔の左右方向の角度を算出して、正面を向いている場合に「正面」領域内にあると判断可能な領域から変化したかを監視する。また、ドライバー状態検知部２６は、検出された顔領域と、予め格納された口の開閉状態の情報と比較して、検出された顔領域からドライバーの口が開いていることを検知する開口検知を行うこともできる。また、ドライバー状態検知部２６は、検出された顔領域と、予め格納された目の開閉情報と比較して、検出された顔領域から目を閉じていることを検知する目閉じ検知等により、ドライバー状態を検知することもできる。これらの検知により、ドライバー状態検知部２６は、脇見、居眠り或いは前方不注意等のドライバー状態をドライバー状態情報出力信号１Ｂとして、図示しない報知部或いは震動部等に出力して、ドライバーに注意を喚起させる。

次に、本実施の形態のＤＭＳにおける撮像動作を、図５を用いて説明する。

図５は、本発明の撮像装置におけるＬＥＤの発光タイミング図である。図５は、垂直同期信号周期が６０Ｈｚ、ライン数がＮの場合のＬＥＤの発光タイミングを示す。なお、図５では、図１に示すタイミング制御回路１５から撮像センサー１１及び制御部２０に入力される同期信号１Ａを、垂直同期信号７０、水平同期信号７１、ＬＥＤ発光信号７２、シャッター信号（図５では「シャッター」に相当する）７３０〜７３Ｎ、露光信号７４０〜７４Ｎ、及び、映像出力信号７５０〜７５Ｎで示す。シャッター信号７３０〜７３Ｎ、露光信号７４０〜７４Ｎ、及び、映像出力信号７５０〜７５Ｎは、それぞれライン毎に対応する。

図５に示すように、本実施の形態では、タイミング制御回路１５（図４参照）は、水平同期信号７１に同期して、同期信号１Ａ（図４参照）として、シャッター７３０〜７３Ｎ、露光信号７４０〜７４Ｎ、発光制御信号１８を発生する。垂直同期信号７０、水平同期信号７１、シャッター信号７３０〜７３Ｎ、露光信号７４０〜７４Ｎは、同期信号１Ａ（図４参照）としてタイミング制御回路１５から撮像センサー１１及び制御部２０に入力される。また、発光制御信号１８（図４参照）は、タイミング制御回路１５からＬＥＤ駆動回路１４（図４参照）に入力されて、ＬＥＤ発光信号７２（図４では符号１９で示す）が発生し、発光ダイオード１２に入力される。このとき、ＬＥＤ発光信号７２のパルス幅は固定とする。

撮像センサー１１における各ラインでのシャッター信号の入力に対応して、発光ダイオード１２へのＬＥＤ発光信号７２が出力され、発光ダイオード１２は発光している。

すなわち、撮像センサー１１において各ラインには等時性があり、それぞれのラインにおいて、それぞれ同じタイミングでＬＥＤ発光信号７２は出力されている。

このように、ＬＥＤ発光信号７２の発生タイミングは、垂直同期信号７０或いは、シャッター信号７３０〜７３Ｎの発生に連動している。

これにより撮像部１０では、発光ダイオード１２で発光しつつ、撮像センサー１１により被写体（例えば、ドライバー）の画像データが生成され、映像出力信号として制御部２０に出力される。

本実施の形態において、パルス幅を固定したＬＥＤ発光信号７２を発生して、発光ダイオード１２に入力され、映像出力信号７５０〜７５Ｎが制御部２０に入力される。すると、撮像センサー１１のライン毎の信号に同期して、露光及び光源のパルス発光が実行され、図６Ｂに示すように、動きのある物体では歪みが発生するものの、通常露光と類似の画像を得ることができる。なお、図６Ａは、発光素子をパルス発光させて通常露光（パルス発光を用いずにグローバルシャッター方式で取得した画像を示し、図６Ｂは、この図６Ａと略同様の画像となっている。

発光素子をパルス発光させてローリングシャッター方式で画像を取得する場合でも、波スル発光を用いずに露光（通常露光）して得た映像と同様の全ラインの映像を安定して得ることができる。

なお、本実施の形態では、画像を取得する際に、ＬＥＤ駆動回路１４で出力するＬＥＤ発光信号１９を発生させる際のパルス幅内で、撮像センサー１１から映像出力信号が出力される。また、ＬＥＤ発光信号７２のパルス幅が固定であるので、後段の画像処理部２４において露光制御を行わせてもよい。

このように本実施の形態によれば、発光ダイオード１２と、発光ダイオード１２をパルス駆動により発光させるＬＥＤ駆動回路１４と、発光ダイオード１２の発光を用いて被写体を撮像する撮像センサー１１と、ＬＥＤ駆動回路１４を介して発光ダイオード１２を駆動するとともに、撮像センサー１１を駆動して当該撮像センサー１１における露光または読み出しを制御するタイミング制御回路１５とを有する。

タイミング制御回路１５は、撮像センサー１１をローリングシャッター方式で露光し、且つ、ＬＥＤ駆動回路１４を介して、撮像センサー１１のライン毎に同期して発光ダイオード１２を発光させて、ライン毎に撮像データを取得する。なお、タイミング制御回路１５は、撮像センサー１１をローリングシャッター方式で露光するタイミングと、発光ダイオード１２をパルス駆動するタイミングを、水平同期信号のタイミングに連動させてもよい。また、発光ダイオード１２のパルス駆動時間は一定であってもよいし、可変であってもよい。本実施の形態では、撮像センサー１１をローリングシャッター方式で露光するとともに、撮像センサー１１のライン毎に、発光ダイオード１２を同期して発光させて、その発光を補助光として撮像センサー１１を駆動制御して被写体の画像を取得している。

これにより、発光ダイオード１２をパルス発光させてローリングシャッター方式で画像を取得する場合でも、全ラインの映像を安定して得ることができ、フレーム映像として被写体の映像を取得できる。

なお、本実施の形態では、ＬＥＤ発光信号７２のパルス幅は固定としたが、可変としてもよい。ＬＥＤ発光信号７２のパルス幅が可変であれば、撮像センサー１１での露光状態に対応して好適な状態に変更できる。

なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る再送方法のアルゴリズムをプログラム言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る装置と同様の機能を実現することができる。

以上、本発明の実施の形態について説明した。なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されない。つまり、上記装置の構成や各部分の形状についての説明は一例であり、本発明の範囲においてこれらの例に対する様々な変更や追加が可能であることは明らかである。

本発明は、撮像装置に関し、例えばＣＣＤ型イメージセンサーあるいはＣＭＯＳ型イメージセンサー等の固体撮像素子を用いたカメラモジュールなどに用いられる。

１００ ＤＭＳ
１０ 撮像部
１１ 撮像センサー
１２ 発光ダイオード（ＬＥＤ）
１４ ＬＥＤ駆動回路
１５ タイミング制御回路
１６ センサー制御信号
１７ 映像出力信号
１８ 発光制御信号
１９ ＬＥＤ発光信号
２０ 制御部
２４ 画像処理部
２６ ドライバー状態検知部
１Ａ 同期信号
１Ｂ ドライバー状態情報出力信号
７０ 垂直同期信号
７１ 水平同期信号
７２ ＬＥＤ発光信号
７３０〜７３Ｎ シャッター信号
７４０〜７４Ｎ 露光信号
７５０〜７５Ｎ 映像出力信号

Claims (5)

1. 発光素子と、
   前記発光素子をパルス駆動により発光させる発光素子駆動部と、
   前記発光素子の発光を用いて被写体を撮像する撮像素子と、
   前記発光素子駆動部を介して前記発光素子を駆動するとともに、前記撮像素子を駆動して当該撮像素子における露光または読み出しを制御するタイミング制御部と、
   を有し、
   前記タイミング制御部は、前記撮像素子をローリングシャッター方式で露光し、且つ、前記発光素子駆動部を介して、前記撮像素子のライン毎に同期して前記発光素子を発光させて、前記ライン毎に撮像データを取得する、
   ことを特徴とする撮像装置。
2. 前記タイミング制御部は、前記撮像素子をローリングシャッター方式で露光するタイミングと、前記発光素子をパルス駆動するタイミングは、水平同期信号のタイミングに連動する、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記発光素子のパルス駆動時間は一定である、
   ことを特徴とする請求項１または２記載の撮像装置。
4. 前記発光素子のパルス駆動時間は可変する、
   ことを特徴とする請求項１または２記載の撮像装置。
5. 発光素子を発光させ、その発光を補助光として撮像素子を駆動制御して被写体の画像を取得する撮像方法において、
   前記撮像素子をローリングシャッター方式で露光するとともに、前記撮像素子のライン毎に、前記発光素子を同期して発光させて、画像を取得する、
   ことを特徴とする撮像方法。

Images