JP2021075163A - カメラシステム - Google Patents

Abstract

【課題】複数のカメラの基準座標を正確に把握して、各カメラの撮像信号から信頼度の高い外部環境情報を取得することが可能なカメラシステムを提供する。【解決手段】それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラ１Ｒ，１Ｌと、複数のカメラ１Ｒ，１Ｌのそれぞれの撮像領域ＡＲ，ＡＬが重畳する領域ＡＣに基準マークＭを照射するマーカー２を備える。マーカー２は基準マークＭの照射形態を変化制御する。マーカー２は基準マークＭを赤外光で照射し、複数のカメラ１Ｒ，１Ｌは可視光領域から赤外光領域を撮像する感度を有する。各カメラ１Ｒ，１Ｌの画像に撮像された基準マークＭに基づいて各画像における空間的、時間的な基準座標を認識し、これらを一致させた上で各画像を相互参照して外部環境情報を取得する。【選択図】 図３

Description

本発明は車両に装備して好適なカメラシステムに関し、特に複数のカメラを備えたカメラシステムに関するものである。

自動車の自動運転制御や、ランプの配光制御を行う際には、自動車の周囲に存在する他車両、歩行者、障害物等の対象物を含む外部環境情報を取得することが必要とされる。外部環境情報を取得する技術の一つとして、自動車にカメラを搭載し、当該カメラで撮像して得られる撮像信号を解析して外部環境情報を取得する技術が提案されている。また、この技術では、自動車の周囲の広い領域での検出を行うために、複数のカメラを搭載し、これらカメラから得られた撮像信号を相互参照して外部環境情報を検出に利用することも考えられている。例えば、特許文献１には、自動車の左右のヘッドランプにそれぞれカメラを内装し、これらカメラで撮像した画像から外部環境情報を取得する技術が提案されている。

特開２０１９−１１７１９７号公報

ところで、複数のカメラにはそれぞれ個別に基準座標（空間的，時間的）が設定されているので、各カメラから取得された画像を相互参照して外部環境情報を取得する際には、この基準座標を基準とすることによって正確な外部環境情報を取得することができる。しかし、複数のカメラの搭載位置にずれが生じていた場合、あるいは各カメラに固体差の違い、特に撮像タイミングにずれが生じていた場合等には、各カメラで撮像した画像についてそれぞれの基準座標を正確に一致させることは難しい。そのため、誤差のある基準座標に基づいた相互参照によって外部環境情報を取得したときには、得られた外部環境情報は信頼度の低いものとなり、高い精度の自動運転制御や配光制御を実現する上での障害になる。

本発明の目的は、複数のカメラの基準座標を正確に把握して、各カメラの撮像信号から信頼度の高い外部環境情報を取得することが可能なカメラシステムを提供する。

本発明のカメラシステムは、それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラと、複数のカメラのそれぞれの撮像領域が重畳する領域に基準マークを照射するマーカーを備えており、マーカーは基準マークの照射形態を変化制御する構成である。ここで、マーカーは基準マークを赤外光で照射し、複数のカメラは可視光領域から赤外光領域を撮像する感度を有することが好ましい。

本発明において、マーカーは、基準マークの明るさ、基準マークの形状、基準マークの照射時間のデューティ比について、１つ叉は複数のフレーム毎に変化制御する構成とする。デューティ比を変化制御する場合、基準マークを時間軸上で分割して照射してもよい。

本発明のカメラシステムは、例えば、複数のカメラ及びマーカーは車両に装備され、当該車両の外部領域を撮像する。この場合、マーカーは車両のランプに内装されることが好ましい。また、複数のカメラは車両のランプに内装されてもよい。

本発明によれば、複数のカメラにおいて同じ基準マークを撮像し、撮像した基準マークに基づいて各カメラで撮像した画像の空間的及び時間的な基準座標を認識することができる。これにより、複数の画像における基準座標を一致させ、各画像を相互参照した信頼度の高い外部環境情報を取得することができる。

本発明のカメラシステムを備えた自動車の外観図。 カメラシステムのブロック構成図。 カメラシステムの模式平面図。 撮像した画像例。 撮像及び照射の第１形態のタイミング図。 撮像及び照射の第２形態のタイミング図。 撮像及び照射の第３形態のタイミング図。 撮像及び照射の不具合形態Ａのタイミング図。 撮像及び照射の不具合形態Ｂのタイミング図。 撮像及び照射の第４形態のタイミング図。 撮像及び照射の第５形態Ａのタイミング図。 撮像及び照射の第５形態Ｂのタイミング図。 撮像及び照射の第６形態のタイミング図。 撮像及び照射の第７形態のタイミング図。 カメラ及びマーカーの配置の変形例を示す模式平面図。

（実施形態１）
次に、本発明の実施の形態について図面を参照して説明する。図１は本発明のカメラシステムを装備した自動車ＣＡＲの外観斜視図であり、自動車の車体の前部左右に装備された左右のヘッドランプＲ−ＨＬ，Ｌ−ＨＬの内部に、それぞれランプユニットＬＵと共にカメラ１（１Ｒ，１Ｌ）が内装されている。また、一方のヘッドランプ、ここでは右ヘッドランプＲ−ＨＬにはさらにマーカー２が内装されている。前記左右の２つのカメラ１（以下、右カメラ１Ｒ、左カメラ１Ｌと称することもある）は自動車ＣＡＲの前方領域のそれぞれ所定の領域を撮像して撮像信号を出力する。前記マーカー２は当該自動車ＣＡＲの前方領域の所定位置に向けて光パターンからなる基準マークを照射する。

前記自動車ＣＡＲにはシステムＥＣＵ（電子制御ユニット３）が搭載されており、前記２つのカメラ１Ｒ，１Ｌとマーカー２に電気接続されている。このシステムＥＣＵ３は、前記マーカー２の照射を制御するとともに、２つのカメラ１Ｌ，１Ｒの撮像信号に基づいて外部環境信号を取得する。また、前記システムＥＣＵ３は図には表れない自動車の制御装置、ここでは自動運転制御装置に接続されており、取得した外部環境情報を自動運転制御装置に出力する。自動運転制御装置は、入力された外部環境情報に基づいて自動車ＣＡＲの自動運転制御を実行する。なお、本発明はカメラシステムにかかわるものであるので、この自動運転制御についての説明は省略する。

図２はカメラシステムのブロック構成図であり、前記した２つのカメラ１Ｒ，１Ｌと、１つのマーカー２と、システムＥＣＵ３を示している。２つのカメラ１Ｒ，１Ｌは同じ構成であり、右カメラ１Ｒの概略構造を図示するように、カメラボディ１１内に撮像レンズ１２と撮像素子１３を備えている。前記撮像素子１３は可視光領域から遠赤外（ＩＲ）領域まで受光感度を有しており、所定のフレームレートで動画を撮像し、得られた撮像信号をシステムＥＣＵ３に出力する。

その一方で、２つのカメラ１Ｒ，１Ｌの撮像領域は相違しており、図３に模式平面図を示すように、右カメラ１Ｒは自動車ＣＡＲの直進方向から右斜め前方向にわたる領域ＡＲを撮像し、左カメラ１Ｌは自動車ＣＡＲの直進方向から左斜め前方方向にわたる領域ＡＬを撮像する。したがって、これら左右のカメラ１Ｒ．１Ｌにより自動車ＣＡＲの左右の前方領域から左右斜め前方の領域が撮像される。また、自動車の直進方向においては、左右のカメラ１Ｒ，１Ｌの撮像領域は一部の領域ＡＣにおいて重複されている。

前記マーカー２は、図２に示したように、ボディ２１内に光源２２と照射レンズ２３を備えており、光源で発光された光を照射レンズにより照射する。前記光源２２は、ここではＩＲ光を発光する微細ＬＥＤ（ピクセル）がマトリクス配列された多分割発光素子で構成されており、ピクセルを選択的に発光制御することにより、発光されたピクセルで光パターンが形成され、この光パターンが照射レンズ２３により基準マークＭとして照射される。

前記光源２２は、後述するように前記システムＥＣＵ３により発光が制御され、この発光制御により複数の異なる光パターンの基準マークＭを生成して照射することが可能とされている。ここで、前記マーカー２は、図３に示すように、前記左右のカメラ１Ｒ，１Ｌの各撮像領域ＡＲ，ＡＬが重畳される領域ＡＣに向けて基準マークＭを照射するように、照射光軸が設定されている。

前記システムＥＣＵ３は、図２に示したように、前記左右のカメラ１Ｒ，１Ｌで撮像された撮像信号から画像を得る画像処理部３１と、前記マーカー２における基準マークＭの照射を制御するマーカー制御部３２と、前記画像処理部３１で得られた画像に基づいて外部環境情報を取得する情報取得部３３を備えている。

前記画像処理部３１は、左右のカメラ１Ｒ，１Ｌのそれぞれの撮像信号から画像を生成し、生成した画像を出力する。各カメラ１Ｒ，１Ｌは通常では動画を撮像しているので、画像処理部３１は各カメラ１Ｒ，１Ｌから出力されるフレーム信号、すなわち所定のフレームレートで経時的に撮像されるフレーム画像を順次生成して出力する。なお、以降においてフレーム画像を単に画像と称することがある。

前記マーカー制御部３２は、画像処理部３１で得られた画像に基づいて、照射する基準マークＭの光パターン形状、及び／又は照射タイミングを変化制御することが可能である。特に、左右の各カメラ１Ｒ，１Ｌにおいてそれぞれ基準マークＭを撮像することができず、あるいは基準マークＭを認識することが難しい状況であると判断した場合にマーカー２の照射形態を制御することが可能である。光パターン形状は、画像中において基準マークＭであることを明確に認識できるパターン形状とする。また、照射タイミングは基準マークＭを時間軸上で連続的に、あるいは所要の周期で間欠的に照射するタイミングとする。

前記情報取得部３３は前記画像処理部３１で生成された左右の各カメラ１Ｒ，１Ｌの画像を相互参照することにより、左右の各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域における外部環境情報を取得することができる。例えば、図４に示すように、道路を走行する自車両（自動車ＣＡＲ）の右前方の撮像領域ＡＲの画像と、左前方の撮像領域ＡＬの画像を、各画像に撮像された基準マークＭを基準にして相互参照することにより、これら撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報、例えば他車両の情報を取得する。

以上の構成のカメラシステムの動作を説明する。図３及び図４に示したように、自動車の走行中において、左右のカメラ１Ｒ，１Ｌはそれぞれ所定領域ＡＲ，ＡＬの撮像を行う。これと同時に、システムＥＣＵ３のマーカー制御部３２は、左右のカメラ１Ｒ，１Ｌでの撮像に同期してマーカー２を駆動して基準マークＭの照射を実行する。この照射により、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬが重畳される領域ＡＣ、例えば当該領域ＡＣの路面にＩＲ光での基準マークＭが投影される。

左右のカメラ１Ｒ，１Ｌにおいて撮像を行うことにより、画像処理部３１で得られる各画像には、各領域ＡＲ，ＡＬに存在する他車両や歩行者等と共に基準マークＭが撮像される。情報取得部３３は、各画像に撮像されている基準マークＭを認識することにより各画像の空間的な基準座標と時間的な基準座標を得ることができる。したがって、情報取得部３３においては、両画像を相互参照する際に両画像における空間的及び時間的な基準座標を一致させることにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を取得することができる。

図５は第１形態における基準マークＭの照射タイミングと撮像タイミングを示したタイミング図である。横方向は時間軸であり、ここでは６つのフレームｆ１〜ｆ６を例示している。マーカー２については、基準マークＭの形状と、その照射タイミングを示している。左右のカメラ１Ｒ，１Ｌについては、各フレームｆ１〜ｆ６における撮像タイミング（露光タイミング及び露光時間）と、撮像した各フレームｆ１〜ｆ６の画像を模式的に示している。

第１形態では、マーカーは基準マークとして、ここでは星形（☆）を経時的に連続照射している。左右のカメラ１Ｒ，１Ｌはフレームレートが同じであり、フレームタイミングも一致している。さらに、撮像タイミングも一致している。なお、フレームレートは６０ＦＰＳであり、撮像タイミングは５ｍｓｅｃであるとしている。

この第１形態では、基準マークＭは連続照射されているので、左右のカメラ１Ｒ，１Ｌでは各フレームｆ１〜ｆ６において基準マークＭを確実に撮像することができる。したがって、カメラＥＣＵ３の情報取得部３３では、左右のカメラ１Ｒ，１Ｌの各画像に撮像されている基準マークＭを相互参照することにより、各画像における空間的な基準座標を認識することができる。これにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得することができる。

その一方で、各カメラ１Ｒ，１Ｌで撮像したフレーム画像中の基準マークＭは、経時的に明るさや形状が変化しない画像として撮像されるため、撮像された他の物体画像とを識別することが難しく、基準マークＭを認識することが難しい場合がある。また、撮像された基準マークＭは経時的に変化しないため、画像の時間的な変化を認識することが難しく時間的な基準座標を得ることは難しい。

このように、基準マークＭの画像を得るのみでは、各画像を時間軸上で対応させることが難しく、両画像における時間的な基準座標の一致を得ることは難しい。そのため、左右のカメラの画像が時間軸上でずれているときには、異なったタイミングで撮像された左右のカメラの画像に基づいて外部環境情報を取得してしまうことになる。

例えば、図４の場合において、右カメラ１Ｒの撮像タイミングが左カメラ１Ｌに対して遅れている場合には、左カメラ１Ｌで撮像した領域ＡＬの先行車ＦＣに対して、右カメラ１Ｒで撮像した領域ＡＲの対向車ＯＣ１が破線の対向車ＯＣ２のように自車により接近した画像が得られることになり、先行車ＦＣと対向車ＯＣ１の相対位置に誤差が生じた外部環境情報が得られてしまう。そのため、この外部環境情報では、正確な自動運転制御を行うことが難しくなる。

時間的な基準座標を正確に得ることができれば、左右のカメラ１Ｒ，１Ｌの画像のフレームを一致させ、より正確な外部環境情報を得ることができる。また、撮像した画像から得られる外部環境情報の時間軸上の特定位置、すなわち時刻を得ることができ、例えば、自動運転車が事故を起こした時などに、各カメラがどのような順序で、かつどの時刻で撮像を行って外部環境情報を得ていたのかが事後検証でき、事故の原因究明や事故対策に有効活用できる。

図６は、この時間的な基準座標を正確に得るための第２形態の基準マークＭの照射タイミングと撮像タイミングのタイミング図である。この第２形態では、マーカー制御部３２においてマーカー２を制御し、基準マークＭを２フレーム毎、すなわち１フレーム置きのフレームｆ１，ｆ３，ｆ５に照射している。これにより、左右のカメラ１Ｒ，１Ｌの画像はフレームｆ１，ｆ３，ｆ５において基準マークＭが撮像され、基準マークＭが点滅した状態で撮像される。

これにより、基準マークＭの点滅を認識することにより、画像中における基準マークＭを容易に認識することができる。また、基準マークＭの点滅のタイミングにより各画像の時間的な基準座標を正確に得ることができ、各画像を相互参照する際に、撮像タイミングが一致した相互参照が可能になり、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。

この第２形態では、基準マークＭが単純に点滅するのみであるので、時間的な基準座標を認識する際の目安になるものがなく、認識が難しい場合がある。図７は、この第２形態を改善して、各画像の時間的な基準座標を正確かつ容易に取得するための、第３形態の基準マークＭの照射タイミングと撮像タイミングのタイミング図である。この第３形態では基準マークＭの明るさをフレームレートに同期した周期で変化制御している。ここでは、フレームｆ１を最大の明るさ、フレームｆ２を最小の明るさ、フレームｆ３を中間の明るさに制御している。以降はこれの繰り返しである。

これにより、左右のカメラ１Ｒ，１Ｌで撮像した画像において、基準マークＭはフレームｆ１，ｆ４において最大の明るさになり、フレームｆ２，ｆ５において最小の明るさとなり、フレームｆ３，ｆ６で中間の明るさとなる。図７では便宜的に、各画像における基準マークＭの明るさの違いを基準マークＭ（☆）のサイズの違いで表している。

したがって、各カメラ１Ｒ，１Ｌの画像における基準マークＭの明るさの変化を認識することにより、各画像における時間的な基準座標を容易に認識することができるようになる。そして、左右のカメラ１Ｒ，１Ｌの画像を相互参照する際に、撮像タイミングを一致した相互参照が容易になり、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。

ところで、実際のカメラでは、個々のカメラのフレームタイミングに誤差（ばらつき）が生じていることがある。また、左右のカメラ１Ｒ，１Ｌでの撮像タイミングにずれが生じていることがある。このようなフレームタイミングや撮像タイミングにずれが生じていると、前記した第２形態では左右のカメラ１Ｒ，１Ｌの一方において基準マークＭを撮像することができないことがある。

例えば、図８Ａのように、左カメラ１Ｌのフレームタイミングが右カメラ１Ｒに対してほぼ半周期程度の遅れが生じている形態Ａの場合には、左カメラ１Ｌの撮像タイミングがマーカー２の基準マークの照射タイミングに一致しなくなり、左カメラ１Ｌにおいて基準マークＭを撮像することができなくなる。

また、図８Ｂのように、左右のカメラ１Ｒ，１Ｌのフレームタイミングが一致していても、各カメラ１Ｒ，１Ｌにそれぞれ設定されている固有の撮像タイミングにずれが生じている形態Ｂの場合についても同様である。この例では、右カメラ１Ｒの撮像タイミングは基準マークＭの照射タイミングに一致しているが、左カメラ１Ｌの撮像タイミングが基準マークＭの照射タイミングよりも遅れているために、左カメラ１Ｌにおいて基準マークＭを撮像することができなくなる。

これらの不具合形態Ａや不具合形態Ｂの場合には、図９に示す第４形態のように、マーカー２は、各フレームの時間軸のほぼ全域において基準マークＭを照射するようにしてもよい。このようにすれば、左右のカメラ１Ｒ，１Ｌのフレームタイミングにずれが生じていても、あるいは各カメラ１Ｒ，１Ｌにそれぞれ設定されている固有の撮像タイミングにずれが生じている場合でも左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークＭを撮像することができる。

また、本発明においては基準マークＭの形状を変化する制御を行うようにしてもよい。図１０Ａは基準マークの形状を変化制御する第５Ａ形態のタイミング図である。マーカー２は、照射する基準マークＭの形状をフレームレートと同じ周期で変化させている。ここでは、第１フレームｆ１では星（☆）形状であり、第２フレームｆ２では丸（○）形状、第３フレームｆ３では三角（△）形状としている。以降はこの繰り返しになる。そして、各フレームにおいては、各フレームの時間軸上のほぼ全域にわたって基準マークが照射される。

このように基準マークＭの形状を変化させた制御を行うことにより、左右のカメラ１Ｒ，１Ｌのフレームタイミングのずれにかかわらず、左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークを撮像することができる。そして、各カメラ１Ｒ，１Ｌで撮像した画像では、撮像された基準マークＭはフレーム毎に形状が変化されるので、各カメラ１Ｒ，１Ｌの画像について、それぞれの基準マークＭの形状とその変化を認識することにより、両画像のフレームタイミングを特定することができる。したがって、この特定に基づいて両画像の時間的な基準座標を認識した上で両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。

また、基準マークＭの形状を変化させた制御を行うことにより、図１０Ｂに第５Ｂ形態のタイミング図を示すように、左右のカメラ１Ｒ，１Ｌのフレームタイミングが同じでも撮像タイミングにずれが生じている場合においても、左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークを撮像することができる。したがって、第５Ａ形態と同様に、両画像のフレームを特定し、両画像の時間的な基準座標を認識した上で、両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できる。

さらに、本発明は基準マークＭを照射する際のデューティ比を制御してもよい。このデューティ比の制御においては、これに合せて分割照射制御を行うようにしてもよい。図１１は第６形態のタイミング図であり、この第６形態は基準マークＭの照射のデューティ比を変化するとともに、時間軸上で分割照射制御している。すなわち、各フレームにおいては、各フレームの時間軸上のほぼ全域にわたって基準マークＭが照射されるが、各フレームにおいて基準マークＭを照射している時間割合、すなわちデューティ比が変化される。この例では第１フレームｆ１ではデューティ比は９０％であり、第２フレームｆ２では２０％、第３フレームｆ３では５０％としている。

これに加えて、各フレームにおいては、照射時間を時間軸上で複数に分割して照射している。ここでは、各フレームにおいて５分割して照射を行っている。したがって、各フレームにおいて５つの分割されたそれぞれの照射、すなわち分割照射は、それぞれデューティ比により決まる１フレームにおける照射時間を５分割した時間での照射となり、これらの分割照射は各フレームの時間軸上に均等に配置される。

このデューティ比変化の分割照射制御を行うことにより、左右のカメラ１Ｒ，１Ｌのフレームタイミングにずれが生じていても、各カメラ１Ｒ，１Ｌはそれぞれ同じ条件で分割照射された基準マークＭを撮像することになり、各カメラ１Ｒ，１Ｌにおいて確実に基準マークＭを撮像することができる。

撮像された各カメラ１Ｒ，１Ｌの画像は、基準マークＭの照射のデューティ比に対応して明るさ（輝度）が変化される。図１１においても、便宜的に、各画像における基準マークＭの明るさの違いを基準マークＭ（☆）のサイズの違いで表している。したがって、両画像における基準マークＭの明るさの変化を認識することにより、両画像のフレーム及びフレームタイミングを特定することができる。そして、この特定に基づいて、第５Ａ，Ｂ形態と同様に、両画像の時間的な基準座標を認識した上で両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。

なお、図１２に第７形態のタイミング図を示すように、左右のカメラ１Ｒ，１Ｌの撮像タイミング、すなわち露光タイミングと露光時間が一致している場合には、その露光時間の時間内における基準マークＭの照射時間の割合、すなわちデューティ比を変化制御してもよい。各画像ではデューティ比に対応した明るさで基準マークが撮像され、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できる。

以上説明した各形態においては、それぞれの形態を適宜に組み合わせることができる。特に、基準マークの形状を変化すると同時に、基準マークの明るさや照射タイミングのデューティ比を変化させるようにしてもよい。このようにすれば、各カメラ１Ｒ，１Ｌの画像には形状と明るさが変化された基準マークＭが撮像されることになり、より正確かつ高い精度で両画像の時間的な基準座標が認識でき、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。

本発明は、以上説明した実施形態に限られるものではなく、マーカーにおける照射タイミング、基準マークの形状、デューティ比、さらに左右のカメラ１Ｒ，１Ｌにおける撮像タイミングは適宜に変更することは可能である。例えば、基準マークの形状はフレーム毎ではなく、複数のフレーム毎に変化させるようにしてもよい。形状は３種類に限られず、２種類、あるいは４種類以上の形状としてもよい。デューティ比についてはフレーム毎ではなく、複数のフレームごとに変化させるようにしてもよく、さらに３値に限られず、２値、あるいは４値以上のデューティ比としてもよい。

また、本発明におけるカメラとマーカーは実施形態に記載の構成に限られるものではない。例えば、カメラは所要のフレームレートで撮像を行う撮像装置で構成できる。マーカーは任意の形状、デューティ比での基準マークの照射が可能な投影装置で構成できる。特に、マーカーは、ＩＲでの基準マークの照射に限られるものではなく、他の波長域の光を利用して照射を行うように構成されてもよい。

実施形態では、左右のヘッドランプ内にカメラとマーカーを配設した例を示しているが、マーカーのみ、あるいはカメラのみがランプ内に配設されてもよい。あるいは、マーカーとカメラがそれぞれ自動車の車体の外部、あるいは車室内に配設されていてもよい。さらに、撮像領域は自動車の前方領域に限られるものではなく、自動車の左右側方、後方の領域であってもよい。また、３つ以上のカメラの撮像領域が重畳する場合には、マーカーはこの重畳領域に向けて基準マークを照射するようにしてもよい。

例えば、図１３はその一例の模式平面図であり、自動車ＣＡＲのフロントウインドＦＷの内側、リアウインドＲＷの内側、左右のサイドミラーＲ−ＳＭ，Ｌ−ＳＭの内部にそれぞれカメラ１ｆ，１ｂ，１ｒ，１ｌを配設し、自動車ＣＡＲの前方領域Ａｆ、後方領域Ａｂ、右側領域Ａｒ、左側領域Ａｌをそれぞれ撮像するように構成する。また、自動車ＣＡＲの左右のヘッドランプＲ−ＨＬ，Ｌ−ＨＬとリアランプＲ−ＲＬ，Ｌ−ＲＬにそれぞれマーカー２ｆｒ，２ｆｌ，２ｂｒ，２ｂｌを配設し、前記各領域Ａｆ，Ａｂ，Ａｒ，Ａｌが重畳する領域に基準マークＭを照射するように構成する。

そして、前方領域Ａｆと右側領域Ａｒが重畳する領域に照射した基準マークＭにより、カメラ１ｆと１ｒの両画像のフレーム及びフレームタイミングを特定する。同様に、後方領域Ａｂと右側領域Ａｒが重畳する領域に照射した基準マークＭにより、カメラ１ｂと１ｒの両画像のフレーム及びフレームタイミングを特定する。このようにして自動車の周辺を撮像する全てのカメラ１ｆ，１Ｂ，１ｒ，１ｌの画像のフレーム及びフレームタイミングを特定することができる。

本発明のカメラシステムは、自動車の自動運転制御のセンサーとして利用されるのに限られるものではなく、自動車のヘッドランプの配光制御、あるいは自動車に装備される表示装置の表示制御等のセンサーとして利用することも可能である。

１ カメラ
２ マーカー
３ システムＥＣＵ
１Ｒ 右カメラ
１Ｌ 左カメラ
１１ カメラボディ
１２ 撮像レンズ
１３ 撮像素子
２１ ボディ
２２ 光源
２３ 照射レンズ
３１ 画像処理部
３２ マーカー制御部
３３ 情報取得部
Ｍ 基準マーク
ｆ１〜ｆ６ フレーム
ＣＡＲ 自動車
Ｒ−ＨＬ，Ｌ−ＨＬ ヘッドランプ
ＬＵ ランプユニット
ＡＲ，ＡＬ 撮像領域
ＡＣ 撮像領域（重畳領域）

Claims (10)

1. それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラと、前記複数のカメラのそれぞれの撮像領域が重畳する領域に基準マークを照射するマーカーを備え、前記マーカーは前記基準マークの照射形態を変化制御することを特徴とするカメラシステム。
2. 前記マーカーは前記基準マークを赤外光で照射し、前記複数のカメラは可視光領域から赤外光領域を撮像する感度を有する請求項１に記載のカメラシステム。
3. 前記マーカーは、前記基準マークの明るさを１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
4. 前記マーカーは、前記基準マークの形状を１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
5. 前記マーカーは、前記基準マークの照射時間のデューティ比を１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
6. 前記マーカーは、前記基準マークを時間軸上で分割して照射する請求項５に記載のカメラシステム。
7. 前記複数のカメラ及びマーカーは車両に装備され、当該車両の外部領域を撮像する請求項１ないし６のいずれかに記載のカメラシステム。
8. 前記マーカーは車両のランプに内装されている請求項７に記載のカメラシステム。
9. 前記複数のカメラは車両のランプに内装されている請求項８に記載のカメラシステム。
10. さらにシステムＥＣＵを備えており、このシステムＥＣＵは、前記複数のカメラの撮像信号から画像を得る画像処理部と、得られた画像に基づいて前記マーカーでの基準マークの照射を制御するマーカー制御部と、前記画像から所要の情報を取得する情報取得部を備える請求項１ないし９のいずれかに記載のカメラシステム。
    
    
    

Images