JP2018125585A - 周辺状況把握支援システム - Google Patents

Abstract

【課題】各状況下において、ユーザが良好に自動車周辺を把握できる「周辺状況把握支援システム」を提供する。【解決手段】自動車の後部に左右に離間して配置した自動車後方を撮影するライトバックカメラ２とレフトバックカメラ３と、選択的にレフトバックカメラ３に入射する光量を減衰する可変光学フィルタ４を設ける。昼間は、ライトバックカメラ２が撮影した右画像とレフトバックカメラ３が撮影した左画像とよりなるステレオ画像を用いて後方物体の検知と測位を行う。夜間は、可変光学フィルタ４でレフトバックカメラ３に入射する光量を減衰させると共に、右画像（ａ）中の白飛びが発生している領域４０１を、左画像（ｂ）中の補完領域４０１に対応する領域４０２の画像に置換した画像（ｃ）を生成しディスプレイ６に表示する。【選択図】図４

Description

本発明は、自動車周辺の把握を支援する技術に関するものである。

自動車周辺の状況の把握を支援する技術としては、左右に離間して配置した、各々自動車後方を撮影する二つのカメラよりなるカメラステレオカメラを設け、各カメラで撮影した画像に基づいて、自動車後方の物体の存在や当該物体までの距離を検出し、検出した自動車後方の物体までの距離に応じて警告の出力等を行うシステムが知られている（たとえば、特許文献１、２）。

また、自動車周辺の状況の把握を支援する技術としては、ルームミラーに代えてフロントウインドシールドの上方の位置にディスプレイを配置し、自動車後方を撮影するカメラで撮影した画像をディスプレイに表示する技術も知られている（たとえば、特許文献３、４）。

特開２００８-１２３４６２号公報 特開２０１３-１７４５１０号公報 特開２０１６- ６０４１１号公報 特開２００７-２１４７４９号公報

カメラを用いて自動車周辺を撮影する場合、夜間等において他の車両のヘッドライトなどの周囲に比べて高輝度の被写体が撮影範囲に含まれていると、撮影した画像の明るい部分の階調がサチュレーションにより失われ真っ白になってしまう白飛びが発生することがある。

そして、上述したステレオカメラを用いて自動車後方の物体の存在や当該物体までの距離を計測するシステムにおいて、撮影した画像に白飛びが発生すると、自動車後方の物体の存在や当該物体までの距離を検出することができなくなり、ユーザが自動車後方の状況を正しく把握することができなくなってしまう。また、白飛びが発生していない場合においても、夜間には、ステレオカメラを用いて暗がりの中にある自動車後方の物体までの距離を計測することは困難となる。

また、上述したカメラで撮影した自動車後方の画像を、ルームミラーに代えて設けたディスプレイに表示するシステムにおいて、撮影した画像に白飛びが発生すると、ユーザは、撮影した画像からでは、自動車後方の状況を正しく把握することができなくなってしまうことがある。

そこで、本発明は、カメラで撮影した画像を用いて、ユーザの自動車周辺の状況の把握を支援する周辺把握支援システムにおいて、撮影した画像に白飛びが発生し得る状況を含む各状況下において、ユーザが、できるだけ良好に自動車周辺を把握できるように支援することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される周辺状況把握支援システムに、左右に離間して配置された、所定方向の自動車周辺のようすを撮影する第１カメラと第２カメラと、第１カメラが撮影した画像である第１画像と第２カメラが撮影した画像である第２画像とよりなるステレオ画像を用いて前記所定方向に存在する物体を測位する物体検知部と、現在が夜間であるか否を検出する夜間検出手段と、前記第２カメラによって前記第２画像として撮影される光の光量を変更する露光量変更手段と、ディスプレイと、前記第１画像中の白飛びが発生している領域上に、当該領域に対応する前記第２画像の領域中の画像部分を当該画像部分が不透明もしくは半透明に視認される形態で重ねた画像を夜間表示画像として生成し、当該生成した夜間表示画像を前記ディスプレイに表示する夜間表示画像生成手段と制御手段とを備えたものである。但し、制御手段は、前記夜間検出手段が、現在夜間でないことを検出しているときに、前記物体検知部に前記所定方向に存在する物体の測位を行わせ、前記夜間検出手段が、現在夜間であることを検出しているときに、前記露光量変更手段に、前記第２カメラによって前記第２画像として撮影される光の光量を減少させると共に、前記夜間表示画像生成手段に、前記夜間表示画像の生成と前記ディスプレイへの表示を行わせるものである。

ここで、このような周辺状況把握支援システムは、前記露光量変更手段を、第２カメラによって前記第２画像として撮影される光のうちの特定波長帯の光の光量を変更するものとし、前記制御手段において、前記夜間検出手段が、現在夜間であることを検出しているときに、前記露光量変更手段に、第２カメラによって前記第２画像として撮影される特定波長帯の光の光量を減少させるようにしてもよい。

また、以上の周辺状況把握支援システムは、前記制御手段において、前記夜間検出手段が、現在夜間でないことを検出しているときに、前記ディスプレイに、前記第１画像と第２画像とのうちの一方を表示させるように構成してもよい。

また、以上の周辺状況把握支援は、前記夜間表示画像生成手段において、前記第１画像中の白飛びが発生している領域に対応する前記第２画像の領域中の画像部分に対して所定の画像処理を行った上で、当該画像処理を行った画像部分を前記第１画像中の白飛びが発生している領域上に不透明もしくは半透明に視認される形態で重ねて前記夜間表示画像を生成するように構成してもよい。

また、以上の周辺状況把握支援システムにおいて、前記第１カメラと第２カメラが自動車周辺のようすを撮影する前記所定方向は、自動車の後方としてもよい。
以上のような周辺状況把握支援システムによれば、昼間は第１のカメラと第２のカメラを用いてステレオ画像による自動車周辺の物体の測位を行いつつ、ステレオ画像による自動車周辺の物体の測位が困難になる夜間には、第１のカメラで撮影した第１画像中の白飛びの発生している部分に、露光量を減少することにより白飛びが発生しないように撮影した第２の画像の対応する部分を重ねた画像、すなわち、白飛びの発生していない画像を夜間表示画像として生成して表示する。

したがって、昼間には、自動車周辺の物体の測位結果に応じた自動車周辺の把握のための高度なサービスを提供することができると共に、夜間においても、当該夜間表示画像の表示によってユーザが自動車周辺を比較的良好に把握できるようにすることができる。

以上のように、本発明によれば、カメラで撮影した画像を用いて、ユーザの自動車周辺の状況の把握を支援する周辺状況把握支援システムにおいて、撮影した画像に白飛びが発生し得る状況を含む各状況下において、ユーザが、できるだけ良好に自動車周辺を把握できるように支援することができる。

本発明の実施形態に係る周辺状況把握支援システムの構成を示すブロック図である。 本発明に係る周辺状況把握支援システムの配置を示す図である。 本発明の実施形態に係る周辺状況把握支援システムの昼間の動作を示す図である。 本発明の実施形態に係る周辺状況把握支援システムの夜間の動作を示す図である。 本発明の実施形態に係る周辺状況把握支援システムの夜間の動作を示す図である。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況把握支援システムの構成を示す。
周辺状況把握支援システムのは自動車に搭載されているシステムであり、図示するように、夜間検出センサ１、ライトバックカメラ２、レフトバックカメラ３、可変光学フィルタ４、警報出力部５、ディスプレイ６、状況把握支援装置７を備えている。

また、状況把握支援装置７は、障害物検知部７１、右画像視点変換部７２、左画像視点変換部７３、画像処理部７４、合成部７５、制御部７６を備えている。
ここで、夜間検出センサ１は、周囲の照度や自動車のヘッドライトのオン/オフの状態などに応じて、現在夜間であるかどうかを検出する。
また、可変光学フィルタ４は、レフトバックカメラ３に入射する各色域、または、特定波長帯の光の光量を、制御装置の制御部７６から設定された減衰率で減少させるフィルタである。なお、可変光学フィルタ４を特定波長帯の光の光量を減少させるフィルタとする場合には、当該特定波長は自動車のヘッドライトの光の代表的な波長帯とする。

次に、ライトバックカメラ２とレフトバックカメラ３は仕様が等しいカメラであり、光軸が平行となる形態で、図２ａに示すように、自動車の後部に左右に離間して配置されており、各々自動車後方のようすを撮影する。

また、ディスプレイ６は、図２ｂに示すように、フロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に、表示面を後方側に向けて配置されている。

図１に戻り、障害物検知部７１は、ライトバックカメラ２が撮影した画像である右画像とレフトバックカメラ３が撮影した画像である左画像よりなるステレオ画像を用いて、後方の物体の検出や、ステレオ法による後方の物体の測位を行う。

右画像視点変換部７２は、ライトバックカメラ２が撮影した右画像を、自動車の左右方向中央の位置を視点として観察したようすを表す右画像に変換する視点変換を行い、左画像視点変換部７３は、レフトバックカメラ３が撮影した左画像を、自動車の左右方向中央の、右画像視点変換部７２が視点変換した画像の視点と同じ視点で観察したようすを表す左画像に変換する視点変換を行う。

また、画像処理部７４は、左画像視点変換部７３が視点変換を行った左画像を、そのまま、もしくが所定の画像処理を施した後に出力する。
そして、合成部７５は、右画像視点変換部７２が視点変換した右画像と、画像処理部７４が出力する左画像と、制御部７６が出力する画像とを制御部７６から設定された合成形態で合成しディスプレイ６に表示する。

そして、警報出力部５は、制御部７６の制御に従って音声出力や警告音や警告灯の点灯による警報の出力を行う。
さて、このような構成において制御部７６は、夜間検出センサ１が、現在夜間であるかどうかを検出しているか否かに応じて、以下の制御を行う。
すなわち、夜間検出センサ１が現在夜間でないことを検出しているとき、すなわち、夜間検出センサ１が現在昼間であることを検出しているときには、可変光学フィルタ４によるレフトバックカメラ３に入射する光量の減衰量が最小となるように、可変光学フィルタ４を制御する。

また、制御部７６は、夜間検出センサ１が現在昼間であることを検出しているときには、合成部７５に、右画像視点変換部７２が視点変換した右画像をディスプレイ６に表示出力させる。

この結果、ディスプレイ６には、たとえば、図３ａに示すように自動車後方のようすを表す画像が表示される。
また、夜間検出センサ１が現在昼間であることを検出しているときには、制御部７６は、障害物検知部７１に後方の物体の検知と測位を行わせる。
ここで、障害物検知部７１は、画像認識処理による後方の物体の検出や、ステレオ法による後方の物体の測位を行う。
すなわち、障害物検知部７１は、ライトバックカメラ２が撮影した右画像とレフトバックカメラ３が撮影した左画像に対して画像認識処理を施して、各画像中の物体を検知する。そして、たとえば、図３ｂに示すように、ライトバックカメラ２が撮影した右画像中の物体の位置xR、レフトバックカメラ３が撮影した左画像中の物体の位置xLとの視差dxと、ライトバックカメラ２とレフトバックカメラ３の焦点距離fと、ライトバックカメラ２の光軸Raxとレフトバックカメラ光軸Laxとの距離（カメラ間の距離）ｂを用いて、物体までの距離zをz=(f×b)/dxにより算出すると共に、距離zと、物体の画像中の右画像や左画像中の位置より求まる物体の方向とより、物体の位置を算出する。

そして、制御部７６は、障害物検知部７１の検出結果より、所定距離内の後方の物体や、所定距離内の所定速度異常で接近してくる後方の物体の存在を検知し、警報出力部５に、音声出力や警告灯の点灯による警報の出力を行わせたり、警告用の画像を合成部７５に出力すると共に、合成部７５に当該警告用の画像を右画像視点変換部７２が視点変換した右画像に合成した画像をディスプレイ６に表示させる警告出力処理を行う。

一方、制御部７６は、夜間検出センサ１が現在夜間であることを検出しているときには、上述した警告出力処理の実行を停止する。
また、夜間検出センサ１が現在夜間であることを検出しているときには、可変光学フィルタ４がレフトバックカメラ３に入射する各色域または特定波長帯の光量を所定の減衰率で減衰させるように、可変光学フィルタ４を制御する。

また、制御部７６は、夜間検出センサ１が現在夜間であることを検出しているときには、画像処理部７４に以下の処理を行わせる。
すなわち、画像処理部７４は、視点変換された右画像中の白飛びが発生している領域を補完領域として算出し、制御部７６に通知する。なお、画像中の白飛びが発生している領域は、たとえば、輝度が最大となっている（画素値が飽和している）画素の領域として検出できる。

一方、画像処理部７４は、視点変換された左画像を合成部７５に出力する。
また、制御部７６は、夜間検出センサ１が現在夜間であることを検出しているときには、合成部７５に、視点変換された右画像の補完領域を、合成部７５から出力される左画像の補完領域に対応する領域の画像に置換した画像を生成させ、ディスプレイ６に表示出力させる。

この結果、夜間に、たとえば、図４ａのような白飛びが発生している視点変換された右画像と、図４ｂのような視点変換された左画像が発生した場合には、まず、画像処理部７４によって、右画像中の白飛びが発生している領域が補完領域４０１として算出される。そして、合成部７５によって、右画像の補完領域４０１を、図４ｂに示す画像処理部７４から出力された左画像中の補完領域４０１に対応する領域４０２の画像に置換した、図４ｃに示す画像が生成され、ディスプレイ６に表示される。

ここで、図４ｂの視点変換された左画像は、可変光学フィルタ４で入射する光量が減衰されたレフトバックカメラ３で撮影された左画像を視点変換した画像であるので、図４ａに示す視点変換された右画像より露光量（カメラにおいて画像に変換された光の光量）が小さい暗い画像となり、図４ａに示す視点変換された右画像において白飛びが発生していても、図４ｂの視点変換された左画像では白飛びは発生しないことが期待できる。

よって、図４ｃに示す右画像の補完領域４０１を、図４ｂに示す画像処理部７４から出力された画像中の補完領域４０１に対応する領域４０２の画像に置換した画像によれば、ユーザは、左画像において白飛びが発生している部分のようすを、当該部分に置換して表示される右画像の当該部分に対応する部分の画像より把握できるようになる。また、左画像において白飛びが発生している部分以外の部分については、露光量が小さいために暗くなっている右画像ではなく、左画像がそのまま表示されるので、ユーザは、当該白飛びが発生している部分以外の部分を良好に把握することができる。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、夜間、画像処理部７４において、視点変換された左画像をそのまま合成部７５に出力するようにしたが、これは、画像処理部７４において、視点変換された左画像の補完領域４０１に対応する領域４０２の画像部分に対して所定の画像処理を施して合成部７５に出力するようにしてもよい。

すなわち、たとえば、画像処理部７４において、右画像中の白飛びが発生している補完領域４０１に対応する左画像の領域４０２内のエッジ検出処理を行い、検出した領域４０２内のエッジを表す画像を合成部７５に出力するようにしてもよい。

このようにすることにより、たとえば、図５ａのような白飛びが発生している視点変換された右画像と、図５ｂのような視点変換された左画像が発生している場合には、画像処理部７４において右画像中の白飛びが発生している補完領域４０１に対応する左画像の領域４０２内のエッジを表す図５ｃに示すような画像が合成部７５に出力され、合成部７５によって、図５ｄに示すように右画像の補完領域４０１を、画像処理部７４から出力された左画像中の補完領域４０１に対応する領域４０２内のエッジを表す図５ｃの画像に置換した画像が生成され、ディスプレイ６に表示される。

以上、本発明の実施形態について説明した
ところで、以上の実施形態では、合成部７５において、右画像の補完領域４０１を、画像処理部７４から出力された左画像の補完領域４０１に対応する領域４０２の画像または当該画像に画像処理を施した画像に置換した画像を生成してディスプレイ６に表示出力するもとのして説明したが、これは、合成部７５において、右画像の補完領域４０１上に、画像処理部７４から出力された左画像の補完領域４０１に対応する領域４０２の画像または当該画像に画像処理を施した画像を半透明で重畳表示するようにしてもよい。

また、以上の実施形態は、制御部７６において、夜間は、レフトバックカメラ３の各画像フレームを撮影する露光時間を昼間より短くすることにより（所謂シャッタスピードを速くすることにより）、夜間にレフトバックカメラ３で撮影される左画像の露光量を小さくし、左画像に白飛びが発生しないようにしてもよい。また、この場合には、可変光学フィルタ４を設けないようにしてもよい。

また、以上の実施形態は、可変光学フィルタ４を設けて、または、設けずに、右画像の補完領域４０１を右画像の白飛びまたは色飛びが発生している領域として、画像処理部７４において画像処理において右画像の補完領域４０１に対応する領域４０２の飽和している色成分を下げる処理を行うようにしてもよい。このようにしても、右画像の色飛びが発生している領域についての、ユーザの当該領域のようすの把握も容易化することができる。

また、以上の実施形態において、レフトバックカメラ３とライトバックカメラ２は自動車前方や、自動車側方を撮影するものとして設けるようにしてもよい。
また、以上の実施形態の説明における、レフトバックカメラ３とライトバックカメラ２、左画像と右画像は、これを置換してもよい。

１…夜間検出センサ、２…ライトバックカメラ、３…レフトバックカメラ、４…可変光学フィルタ、５…警報出力部、６…ディスプレイ、７…状況把握支援装置、７１…障害物検知部、７２…右画像視点変換部、７３…左画像視点変換部、７４…画像処理部、７５…合成部、７６…制御部。

Claims (5)

1. 自動車に搭載される周辺状況把握支援システムであって、
   左右に離間して配置された、所定方向の自動車周辺のようすを撮影する第１カメラと第２カメラと、
   第１カメラが撮影した画像である第１画像と第２カメラが撮影した画像である第２画像とよりなるステレオ画像を用いて前記所定方向に存在する物体を測位する物体検知部と、
   現在が夜間であるか否を検出する夜間検出手段と、
   前記第２カメラによって前記第２画像として撮影される光の光量を変更する露光量変更手段と、
   ディスプレイと、
   前記第１画像中の白飛びが発生している領域上に、当該領域に対応する前記第２画像の領域中の画像部分を、当該画像部分が不透明もしくは半透明に視認される形態で重ねた画像を夜間表示画像として生成し、当該生成した夜間表示画像を前記ディスプレイに表示する夜間表示画像生成手段と
   制御手段とを有し、
   当該制御手段は、
   前記夜間検出手段が、現在夜間でないことを検出しているときに、前記物体検知部に前記所定方向に存在する物体の測位を行わせ、
   前記夜間検出手段が、現在夜間であることを検出しているときに、前記露光量変更手段に、前記第２カメラによって前記第２画像として撮影される光の光量を減少させると共に、前記夜間表示画像生成手段に、前記夜間表示画像の生成と前記ディスプレイへの表示を行わせることを特徴とする周辺状況把握支援システム。
2. 請求項１記載の周辺状況把握支援システムであって、
   前記露光量変更手段は、第２カメラによって前記第２画像として撮影される光のうちの特定波長帯の光の光量を変更し、
   前記制御手段は、前記夜間検出手段が、現在夜間であることを検出しているときに、前記露光量変更手段に、第２カメラによって前記第２画像として撮影される特定波長帯の光の光量を減少させることを特徴とする周辺状況把握支援システム。
3. 請求項１または２記載の周辺状況把握支援システムであって、
   前記制御手段は、前記夜間検出手段が、現在夜間でないことを検出しているときに、前記ディスプレイに、前記第１画像と第２画像とのうちの一方を表示させることを特徴とする周辺状況把握支援システム。
4. 請求項１、２または３記載の周辺状況把握支援システムであって、
   前記夜間表示画像生成手段は、前記第１画像中の白飛びが発生している領域に対応する前記第２画像の領域中の画像部分に対して所定の画像処理を行った上で、当該画像処理を行った画像部分を前記第１画像中の白飛びが発生している領域上に不透明もしくは半透明に視認される形態で重ねて前記夜間表示画像を生成することを特徴とする周辺状況把握支援システム。
5. 請求項１、２、３または４記載の周辺状況把握支援システムであって、
   前記第１カメラと第２カメラが自動車周辺のようすを撮影する前記所定方向は、自動車の後方であることを特徴とする周辺状況把握支援システム。