JP2009165081A - ステレオカメラシステム - Google Patents

Abstract

【課題】点灯及び消灯が周期的に繰り返される発光機器が撮像範囲内にあり、かつどのような輝度状態であっても、この発光機器の点灯状態を正確に撮像可能であり、かつ、通常の画像も撮像できるシステムを、低コストで実現する。
【解決手段】カメラ位置と前方の人や物体との距離を算出する機能をもつステレオカメラシステムを利用する。第１および第２の撮像部１，２はシャッタ機能によって電荷蓄積期間が調整可能に構成されている。信号処理部１５は第１および第２の撮像部１，２から画像データを取得して画像処理を行う。所定の用途において、第１および第２の撮像部１，２のうちいずれか一方の電荷蓄積期間が、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定される。
【選択図】図１

Description

本発明は、所定周期で点滅する被写体に対して、その明滅状態を正確に確認可能にするためのカメラシステムに関する。

近年、車載用カメラは、走行中の画像情報から白線を検知したり周りの車両情報を抽出したりして自動走行や緊急時の事故回避を行う装置など、様々な用途に用いられている。また、ドライブレコーダとしての用途もある。

ドライブレコーダとは、事故時や事故につながりそうな急加速や急減速が生じた際に，その前後の映像や走行データを記録する装置のことであり、事故処理の迅速化に大きく貢献している。現在，タクシー事業者や運送業者では、事故処理の対応に大きな労力をかけているが、事故を起こした相手と事故状況に対する説明が食い違い、裁判に発展することもしばしばある。このような場合にドライブレコーダを使えば、事故の状況について、当事者の記憶に頼るのではなく、記録した映像を利用して客観的に判断することができる。

しかし、事故時に大きな論点になる信号機の明暗について、大きな課題がある。

わが国で平成６年から導入が始まったＬＥＤ（発光ダイオード）式の信号機では、従来の電球式の信号機が点灯時には連続的に発光しているのとは異なり、発光部であるＬＥＤ素子が商用電源周波数に応じて明滅を繰り返す。このため、ドライブレコーダに、点灯しているはずの信号が数秒間消灯しているように撮影される場合がある。

この現象は、ドライブレコーダの撮影フレームレート数ｆｄ［ｆｐｓ］が、商用電源周波数ｆｓ［Ｈｚ］の２倍に一致するか、あるいは近い値になった場合に生じ得る。すなわち、図９に示すように、ＬＥＤの明滅パターンにおいて消灯している瞬間が連続してドライブレコーダによって撮影されることによって、このＬＥＤ信号消灯現象が発生する。図１０は実際のＬＥＤ信号消灯現象を示す写真である。

この問題を解決するために、図１１に示すような特許文献１に記載された装置が提案されている。１１１は撮像部、１１２は撮像部１１１の電荷蓄積時間を調節するシャッタ部、１１３は信号処理部、１１４はＬＣＤ、１１５はメモリ、１１６はＣＰＵ、１１７は光センサである。上述した現象を回避するために、交流電源駆動に起因して明滅を繰り返す発光機器から発せられた光を検出する光センサ１１７等により、この発光機器の消灯期間を検知する。そして、撮像部１１１の電荷蓄積時間が十分に長くなるように信号処理部１１３によって制御する。これにより、発光機器が消灯した状態の画像を取得しないようにしている。
特開２００７−１６１１８９号公報

上述の従来例では、車両周辺視認用の用途とドライブレコーダ用途（発光機器明滅状態確認用途）とを一つの撮像素子で兼用している。また、主に屋外を走る車両に搭載する車載カメラは、5lx（夜間）〜100,000lx（昼間）程度の輝度状態で撮影を行う。この場合、昼間などの輝度が高い状態では、ＬＥＤの消灯現象が生じないような長い電荷蓄積時間（1/100秒あるいは1/120秒）で取得した画像データは、輝度が高すぎて、完全に飽和した画像しか取得できなくなる。このため、運転状況解析などのドライブレコーダ用途の画像としては使用できない状況が多々発生してしまう。

前記の問題に鑑み、本発明は、点灯及び消灯が周期的に繰り返される発光機器が撮像範囲内にあり、かつどのような輝度状態であっても、この発光機器の点灯状態を正確に撮影可能であり、かつ、通常の画像も撮像できるシステムを、低コストで実現することを目的とする。

本発明では、近年使用されている、カメラ位置と前方の人や物体との距離を算出する機能をもつステレオカメラシステムを利用する。

すなわち、本発明は、ステレオカメラシステムとして、シャッタ機能によって電荷蓄積期間が調整可能に構成された第１および第２の撮像部と、前記第１および第２の撮像部から画像データを取得して画像処理を行う信号処理部とを備え、所定の用途において、前記第１および第２の撮像部のうちいずれか一方の電荷蓄積期間が、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定されるものである。

本発明によると、所定の用途において、いずれか一方の撮像部の電荷蓄積期間が、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定される。このため、たとえ、当該撮像部の電荷蓄積期間の開始タイミングと、発光機器の消灯期間の開始タイミングとが一致した場合であっても、当該撮像部の電荷蓄積期間は発光機器の消灯期間を超えて点灯期間にまで継続される。したがって、発光機器の点灯状態を確実に撮像することが可能になる。しかも、他方の撮像部によって、通常の画像も撮像することができる。

本発明のステレオカメラシステムによると、所定の用途において、一方の撮像部によって発光状態の発光機器を確実に撮像可能になるとともに、他方の撮像部によって通常の画像も撮像することができる。よって、発光機器の点灯状態を確実に撮像可能であり、かつ、通常の画像も撮像できるシステムを、新たに装置を設置することなく、低コストで実現することができる。

まず、従来のステレオカメラシステムで行われている、カメラ位置とその前方にある人または物体との距離を算出する距離測定方法について、簡単に説明する。

ステレオカメラによる距離測定方法のうち一般的な手法として、三角測量を用いた手法がある。三角測量とは、基準点と各測点を結んで測量区域を三角形の組み合わせで示し、三角形の内角・辺長を用いて位置関係を求める手法である。図８に示すように、２つの撮像装置（撮像装置Ａ，Ｂ）を任意の距離だけ離し、向きを平行にして設置して画像を取得する。その後、２つの画像データから、注目する被写体のズレ量および被写体と撮像装置の光軸との角度を計測することにより、被写体までの距離が算出される。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１に係るステレオカメラシステムの構成図である。図１において、１１は撮像素子Ａ、１２はＡＦＥ（Analog Front End）＿Ａ、１３は撮像素子Ｂ、１４はＡＦＥ＿Ｂであり、撮像素子Ａ１１およびＡＦＥ＿Ａ１２によって第１の撮像部１が構成されており、撮像素子Ｂ１３およびＡＦＥ＿Ｂ１４によって第２の撮像部２が構成されている。

１５は第１および第２の撮像部１，２から画像データを取得して画像処理を行うとともに、第１および第２の撮像部１，２を制御する信号処理部、１６は信号処理部１５からの出力を記録する記録部である。また、信号処理部１５は主に以下のブロックに分類できる。１５ａは水平・垂直同期信号生成や、センサクロックに同期した画像データを信号処理部１５のクロックに乗り換えさせる処理などを行うＳＳＧ（Standard Signal Generator）部、１５ｂは出力された画像データについて歪み補正を含む画像処理を行うＹＣ部、１５ｃは画像処理後の画像に対して拡大・縮小・出力座標位置調整、あるいは出力フォーマット変換を行う画像出力部、１５ｄはレジスタ１５ｅを制御し、各ブロックのパラメータを演算および設定するＣＰＵである。

ここで、第１および第２の撮像部１，２は、シャッタ機能によって電荷蓄積期間が調整可能に構成されている。このシャッタ機能は、電子シャッタ、または、メカシャッタによって構成されているのが好ましい。これにより、元々備わっているカメラ機構を本発明にそのまま用いることができる。

そして、信号処理部１５は、第１および第２の撮像部１，２の電荷蓄積期間を、後述するＳＨＴパルス（電子シャッタ制御用パルス、またはメカシャッタ制御用パルス）を制御することによって、互いに独立に設定可能であるものとする。すなわち、撮像素子Ａ１１および撮像素子Ｂ１３のシャッタ制御は、ＣＰＵ１５ｄからＡＦＥ＿Ａ１２およびＡＦＥ＿Ｂ１４を介して行われている。これにより、第１および第２の撮像部１，２の電荷蓄積期間を、信号処理部１５の演算結果から自動で設定したり、あるいはマニュアルで設定したりする等、容易に設定変更可能となる。

以下に、図１のステレオカメラシステムの動作を示す。

まず、距離測定用途における動作について説明する。撮像素子Ａ１１および撮像素子Ｂ１３において、通常の電荷蓄積を行う。このとき、撮像素子Ａ１１および撮像素子Ｂ１３の電荷蓄積期間がほぼ同じになるように、信号処理部１５がシャッタ制御をオートあるいはマニュアルで行う（ただし、２つの撮像素子に感度差がある場合、必ずしもシャッタ値は同じにはならない）。その後、撮像素子Ａ１１および撮像素子Ｂ１３から出力された画像データは、ＡＦＥ＿Ａ１２およびＡＦＥ＿Ｂ１４でＯＢ調整およびＡ/Ｄ変換されて、信号処理部１５に入力される。信号処理部１５内部では、まずＳＳＧ部１５ａにおいて、撮像素子側のクロックと信号処理部側のクロックの乗り換えなどが行われる。次にＹＣ部１５ｂにおいて、歪み補正処理などを含めた画像処理が行われ、最後に画像出力部１５ｃにおいて拡大・縮小・出力座標位置調整あるいは出力フォーマット変換が行われ、記録部１６に２つの画像データが出力される。

その際、ＣＰＵ１５ｄにおいて、各ブロックに接続されたレジスタ１５ｅの値を演算、設定することにより、最適な画像処理が行われる。また、前記シャッタ制御においても、入力された画像データの輝度を参照して最適な電荷蓄積期間を演算し、ＣＰＵ１５ｄから直接ＡＦＥ部にシャッタ値を設定することにより、電荷蓄積期間を調整している。

図２は距離測定用途における第１および第２の撮像部１，２の電荷蓄積期間を示すタイミングチャート（１フレーム分）である。図２において、ＶＤは垂直同期信号、ＨＤは水平同期信号である。また、ＳＨＴ＿Ａ，ＥＴＲＡＮＳ＿Ａ，ＴＲＡＮＳ＿Ａはそれぞれ、撮像素子Ａ１１のＳＨＴパルス、電子シャッタ用画素読み出しパルス、画素読み出しパルスであり、ＳＨＴ＿Ｂ，ＥＴＲＡＮＳ＿Ｂ，ＴＲＡＮＳ＿Ｂはそれぞれ、撮像素子Ｂ１３のＳＨＴパルス、電子シャッタ用画素読み出しパルス、画素読み出しパルスである。距離測定用途の場合、撮像素子Ａ１１と撮像素子Ｂ１３の輝度値を同じにする必要があるので、図２に示すように、ＳＨＴパルスＳＨＴ＿Ａ，ＳＨＴ＿Ｂの位置を一致させて、第１および第２の撮像部１，２の電荷蓄積期間を同じにしている。

次に、本発明における所定の用途としてのドライブレコーダ用途（発光機器確認用途）における動作について説明する。ただし、発光機器確認用途と距離測定用途とで異なるのは、第１および第２の撮像部１，２の電荷蓄積期間のみであり、その他の説明は割愛する。

すなわち本実施形態では、発光機器確認用途において、第２の撮像部２の電荷蓄積期間を、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器、例えばＬＥＤ式信号機の消灯期間よりも長く設定し、当該発光機器の明滅状態が第２の撮像部２の画像によって確実に確認できるようにする。一方、第１の撮像部２の電荷蓄積期間は、通常の期間に設定する。

図３は発光機器確認用途における第１および第２の撮像部１，２の電荷蓄積期間を示すタイミングチャート（１フレーム分）である。図３に示すように、撮像素子Ｂ１３の画像から５０（あるいは６０）Ｈｚの発光機器の明滅状態を間違いなく確認できるよう、撮像素子Ｂ１３のＳＨＴパルスＳＨＴ＿Ｂは、第２の撮像部２の電荷蓄積期間が１／１００（あるいは１／１２０）ｓ以上になる位置に設定されている。第１の撮像部１の電荷蓄積期間は図２の距離測定用途の場合と同等である。

また、本実施形態に係るステレオカメラシステムは、距離測定用途と発光機器確認用途とを、任意のフレームで切替可能に構成されているのが好ましい。これにより、本実施形態に係るステレオカメラシステムは、発光機器確認用途で用いない場合には、距離測定用途として用いることができるので、新たにカメラを設置する必要がなく、低コスト化を図ることができる。図４は距離測定用途と発光機器確認用途とを切り替える際のＣＰＵ１５ｄの動作例を示すフローチャートである。図４に示すように、用途切り替えフレーム数を予めレジスタ１５ｅに設定しておき、フレーム毎にインクリメントする用途切り替えフレームカウンタのカウント値を用いることにより、２つの用途を切り替えることができる。これにより、２つの用途を切り替えるフレーム数を容易に設定変更可能であり、例えば、現在の被写体の輝度状況に合わせて切り替えフレーム数を自動で変更するという処理なども容易に行うことができる。

図５は距離測定用途と発光機器確認用途との切替を行った場合における第１および第２の撮像部１，２の電荷蓄積期間を示すタイミングチャートである。図５では、１フレーム毎に、発光機器確認用途と距離測定用途とを切り替えている。

記録部１６は、信号処理部１５から出力された、第１の撮像部１の画像データおよび第２の撮像部２の画像データを、それぞれ保存する。これにより、最適な電荷蓄積期間の画像データと、発光機器の明滅状態が確認可能な画像データとを、同時に取得、保存することが可能となる。信号処理部１５から出力される画像データには、第１および第２の撮像部１，２の画像データが多重化されている。このため、記録部１６で第１および第２の撮像部１，２の画像データをそれぞれ保存する場合、スイッチング機構などを用いて画像データを分離した後、それぞれの画像データの保存を行う。また、任意のフレーム単位で距離測定用途と発光機器確認用途とを切り替える場合、その切り替え周期に同期して、記録部１６における保存先を変更する。

以上のように本実施形態によると、ドライブレコーダ用途において、第２の撮像部２の電荷蓄積期間が、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定される。このため、たとえ、第２の撮像部２の電荷蓄積期間の開始タイミングと、発光機器の消灯期間の開始タイミングとが一致した場合であっても、第２の撮像部２の電荷蓄積期間は発光機器の消灯期間を超えて点灯期間にまで継続される。したがって、発光機器の点灯状態を確実に撮像することが可能になる。しかも、第１の撮像部１によって、通常の画像も撮像することができる。

なお、ドライブレコーダ用途において、第１の撮像部１の電荷蓄積期間の方を、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定するようにしてもかまわない。

なお、本実施形態では、ＣＰＵ１５ｄからＡＦＥ部を介してＳＨＴパルス制御を行う構成としたが、撮像素子のＳＨＴパルスを直接制御（例えばＳＳＧ部１５ａを使用）するような構成でももちろん可能である。

（実施の形態２）
図６は本発明の実施の形態２に係るステレオカメラシステムの構成図である。図６において、図１と共通の構成要素には図１と同一の符号を付けており、ここではその説明を省略する。２１はフレームメモリを有し、信号処理部１５からの出力を任意の座標範囲において合成可能な合成部、２２は合成後の画像データを記録する記録部、２３は合成後の画像をカーナビ等に出力する表示部である。

本実施形態では、図６のステレオカメラシステムは、実施の形態１で説明した発光機器確認用途で動作するものとする。すなわち、第１の撮像部１の電荷蓄積期間は通常の期間に設定されており、第２の撮像部２の電荷蓄積期間は、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く設定されているものとする。ただし、信号処理部１５までの動作は実施の形態１と同等なので、ここでは割愛する。

本実施形態では、信号処理部１５から出力された第１の撮像部１の画像データおよび第２の撮像部２の画像データについて、後段の合成部２１において、合成処理を行う。合成部２１は例えば、第１の撮像部１による最適電荷蓄積期間の画像データに対して、第２の撮像部２による発光機器の明滅状態が確認可能な画像データを、任意の座標範囲で、データ加算する。合成後の画像データは、記録部２２に保存され、また、表示部２３に出力される。これにより、記録部２２の保存データ量の削減が可能になり、また、表示部２３に１枚の画像として出力することが可能になる。

なお、本実施形態では、第１の撮像部１の画像データに対して第２の撮像部２の画像データを加算しているが、もちろんこれを逆にすることも可能である。

（実施の形態３）
図７は本発明の実施の形態３に係るステレオカメラシステムの構成図である。図７において、図１および図６と共通の構成要素には図１および図６と同一の符号を付けており、ここではその説明を省略する。３１はテンプレート画像に基づいた検出処理を行う画像認識部である。

本実施形態では、図７のステレオカメラシステムは、実施の形態１で説明した発光機器確認用途で動作するものとする。すなわち、第１の撮像部１の電荷蓄積期間は通常の期間に設定されており、第２の撮像部２の電荷蓄積期間は、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く設定されているものとする。ただし、信号処理部１５までの動作は実施の形態１と同等なので、ここでは割愛する。

本実施形態では、信号処理部１５から出力された第１の撮像部１の画像データおよび第２の撮像部２の画像データは、後段の画像認識部３１に入力される。画像認識部３１は、テンプレートマッチング法によって、発光機器、例えば信号機の検出処理を行う。すなわち、入力された画像データについて、発光機器のテンプレート画像とのマッチングを行い、当該画像データ内の発光機器を特定する。その際、第１の撮像部１の画像データおよび第２の撮像部２の画像データの被写体はほぼ同じなので、いずれか一方の画像データだけに対してテンプレート画像の検出処理を行えばよい。もちろん、両方の画像データについてテンプレート画像の検出処理を行ってもよい。

画像認識部３１は、画像データ内で発光機器が特定できたとき、テンプレート画像が検出された領域の座標と大きさの情報を後段の合成部２１に入力する。合成部２１は、画像認識部３１から与えられた座標と大きさの情報を用いて、画像の合成処理を行う。これにより、最適な電荷蓄積期間の画像データと、発光機器の明滅状態が確認可能な画像データとを、最適な範囲だけ合成することが可能となる。

なお、上述の各実施形態は、車載用途を前提として説明を行ったが、本発明に係るステレオカメラシステムは、車載用途に限られるものではなく、例えば監視カメラや携帯機器のカメラなど他の用途にも利用可能である。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明によると、発光機器の点灯状態を確実に撮像可能であり、かつ、通常の画像も撮像できるシステムを、低コストで実現することができるので、例えば、信号機の発光を確実に記録することが必要な車載システム等に有効である。

本発明の実施の形態１に係るステレオカメラシステムの構成図である。 距離測定用途における図１のステレオカメラシステムの動作を示すタイミングチャートである。 発光機器確認用途における図１のステレオカメラシステムの動作を示すタイミングチャートである。 距離測定用途と発光機器確認用途とを切り替えるための制御を示すフローチャートである。 距離測定用途と発光機器確認用途との切替を行った場合の、図１のステレオカメラシステムの動作を示すフローチャートである。 本発明の実施の形態２に係るステレオカメラシステムの構成図である。 本発明の実施の形態３に係るステレオカメラシステムの構成図である。 ステレオカメラによる距離測定方法を示す図である。 ＬＥＤ信号消灯現象のメカニズムを示す図である。 実際のＬＥＤ信号消灯現象を示す写真である。 従来の装置構成を示すブロック図である。

符号の説明

１ 第１の撮像部
２ 第２の撮像部
１５ 信号処理部
１６ 記録部
２１ 合成部
３１ 画像認識部

Claims (8)

1. シャッタ機能によって電荷蓄積期間が調整可能に構成された、第１および第２の撮像部と、
   前記第１および第２の撮像部から画像データを取得して、画像処理を行う信号処理部とを備え、
   所定の用途において、前記第１および第２の撮像部のうちいずれか一方の電荷蓄積期間が、交流電源駆動に起因して点灯および消灯が周期的に繰り返される発光機器の消灯期間よりも長く、設定される
   ことを特徴とするステレオカメラシステム。
2. 請求項１記載のステレオカメラシステムにおいて、
   前記第１および第２の撮像部のシャッタ機能は、電子シャッタ、または、メカシャッタによって構成されている
   ことを特徴とするステレオカメラシステム。
3. 請求項１記載のステレオカメラシステムにおいて、
   前記信号処理部は、
   前記第１および第２の撮像部の電荷蓄積期間を、電子シャッタ制御用パルスまたはメカシャッタ制御用パルスであるＳＨＴパルスを制御することによって、互いに独立に、設定可能である
   ことを特徴とするステレオカメラシステム。
4. 請求項１記載のステレオカメラシステムにおいて、
   前記所定の用途とは別に、距離測定用途を有しており、
   前記所定の用途と前記距離測定用途とを、任意のフレームで切替可能に構成されている
   ことを特徴とするステレオカメラシステム。
5. 請求項４記載のステレオカメラシステムにおいて、
   前記信号処理部は、
   ＳＨＴパルスを制御し、前記第１および第２の撮像部の電荷蓄積期間の設定を切り替えることによって、前記所定の用途と前記距離測定用途との切替を行う
   ことを特徴とするステレオカメラシステム。
6. 請求項１記載のステレオカメラシステムにおいて、
   前記信号処理部から出力された、前記第１の撮像部の画像データおよび前記第２の撮像部の画像データを、それぞれ保存する記録部を備えた
   ことを特徴とするステレオカメラシステム。
7. 請求項１記載のステレオカメラシステムにおいて、
   前記信号処理部から出力された、前記第１の撮像部の画像データおよび前記第２の撮像部の画像データを、任意の座標範囲で、合成可能な合成部を備えた
   ことを特徴とするステレオカメラシステム。
8. 請求項１記載のステレオカメラシステムにおいて、
   前記信号処理部から出力された、前記第１の撮像部の画像データおよび前記第２の撮像部の画像データのうち少なくともいずれか一方について、前記発光機器のテンプレート画像とのマッチングを行い、当該画像データ内の前記発光機器を特定する画像認識部を備えた
   ことを特徴とするステレオカメラシステム。