JP2019079338A - 対象物検知システム - Google Patents

Abstract

【課題】精度良くノイズを除去し対象物の検出精度を向上させる。【解決手段】対象物検知システムは、対象物候補の画像情報及び対象物候補の周辺の画像情報を含む対象画像情報を取得する画像情報取得部６と、対象画像情報について平滑化処理を行い、平滑化処理された対象画像情報について２値化処理を行う画像処理部７と、基準点からの距離が既知である距離情報既知物体の特徴情報を記憶する特徴情報記憶部１５，１６と、特徴情報に基づいて、基準点からの距離に応じて異なる判定閾値を設定する判定閾値設定部と、対象物候補の画像情報について、判定閾値を満たすか否かを判定し、判定閾値を満たさない対象物候補を候補から除外するフィルタリング処理部１１と、対象物候補が対象物であるか否かを判定する対象物判定部１２と、を備える。【選択図】図２

Description

本開示は、対象物検知システムに関する。

従来、移動体に搭載されたカメラにより取得した画像を用いて当該移動体の周辺の対象物を監視する装置がある（例えば、特許文献１参照）。特許文献１に記載の技術では、取得した画像について２値化処理を行い、この２値化処理された情報を用いて、対象物の候補を抽出している。例えば特許文献１に記載の技術では、輝度閾値を用いて、輝度閾値より明るい領域と、輝度閾値より暗い領域とを判別している。

国際公開第２０１３／１３６８２７号

特許文献１に記載の技術では、輝度に基づく判定閾値を用いて、領域を判別しているが、例えば、カメラと対象物との距離が異なる場合には、対象物画像の輝度も異なるため、対象物候補ではないノイズを検出するおそれがある。本開示は、精度良くノイズを除去し対象物の検出精度を向上させることが可能な対象物検知システムを提供することを目的とする。

本開示の対象物検知システムは、対象物候補の画像情報及び対象物候補の周辺の画像情報を含む対象画像情報を取得する画像情報取得部と、対象画像情報について平滑化処理を行い、平滑化処理された対象画像情報について２値化処理を行う画像処理部と、基準点からの距離が既知である距離情報既知物体の特徴情報を記憶する特徴情報記憶部と、距離情報既知物体の特徴情報に基づいて、基準点からの距離に応じて異なる判定閾値を設定する判定閾値設定部と、２値化処理された対象画像に含まれる対象物候補の画像情報について、判定閾値を満たすか否かを判定し、判定閾値を満たさない対象物候補の画像情報を対象物候補から除外するフィルタリング処理部と、対象物候補が対象物であるか否かを判定する対象物判定部と、を備える。

この対象物検知システムでは、基準点からの距離に応じて判定閾値を設定することができるので、距離に応じた判定閾値に基づいて、対象物候補の画像情報について判定を行い、判定閾値を満たさない対象物候補の画像情報を対象物候補から除外することができる。これにより、基準点からの距離を考慮して、対象物候補ではないノイズを精度良く除去し、対象物の検出精度の向上を図ることができる。

対象物検知システムは、対象物に光を投光する照明部を更に備え、特徴情報記憶部は、特徴情報として、既知物体の画像情報の明るさに関する情報を記憶し、判定閾値設定部は、画像情報の明るさに関する情報に基づいて、基準点からの距離に応じて明るさに関する判定閾値を設定し、フィルタリング処理部は、明るさに関する判定閾値より暗い対象物候補の画像情報を対象物候補から除外してもよい。同一の対象物であっても、基準点からの距離に応じて、画像情報の明るさが異なる。対象物検知システムは、距離に応じて明るさに関する判定閾値を変更することで、基準点からの距離を考慮した判定閾値を設定し、精度良くノイズを除去し、対象物の検出精度の向上を図ることができる。

特徴情報記憶部は、特徴情報として、既知物体の画像情報の画素数に関する情報を記憶し、判定閾値設定部は、画像情報の画素数に関する情報に基づいて、基準点からの距離に応じた画素数に関する判定閾値を設定し、フィルタリング処理部は、画素数に関する判定閾値より少ない画素数の対象物候補の画像情報を対象物候補から除外してもよい。同一の対象物であっても、基準点からの距離に応じて、画像情報の画素数（画像上の面積）が異なる。対象物検知システムは、距離に応じて画素数に関する判定閾値を変更することで、基準点からの距離を考慮した判定閾値を設定し、精度良くノイズを除去し、対象物の検出精度の向上を図ることができる。

本開示によれば、精度良くノイズを除去し対象物の検出精度を向上させることが可能な対象物検知システムを提供することができる。

支障物検知システムを搭載する車両が道路を走行している状態を示す斜視図である。 支障物検知システムを示すブロック構成図である。 原画像における検出領域を示すグラフである。 表示部に表示された画像を示す図である。 輝度値に関する判定閾値を示すグラフである。 ピクセル数に関する判定閾値を示すグラフである。 支障物検知ユニットで実行される処理手順を示すフローチャートである。

以下、本開示の好適な実施形態について、図面を参照しながら詳細に説明する。なお、各図において同一部分又は相当部分には同一の符号を付し、重複する説明は省略する。

支障物検知システム（対象物検知システム）１は、図１に示されるように、例えば車両Ｍに搭載されて車両前方の対象物（例えば落下物Ｂ）を検出する。支障物検知システム１は、図２に示されるように、カメラ２、照明部３、車輪速センサ４及び支障物検知ユニット５を備えている。支障物検知システム１は、検出された対象物候補を追跡し、追跡した対象物候補のうち判定条件を満たすものを支障物として判定する。「支障物」とは、車両Ｍの走行の妨げになるおそれがある対象物であり、当該対象物を回避するように走行を変更したり、停止して取り除くことが必要となるものである。支障物検知システム１は、例えば夜間走行において使用することができる。

カメラ２は、レンズ及び撮像素子を備え、車両前方を撮影し、道路（経路Ｃ）及び対象物等の画像情報を取得する。カメラ２で取得された画像情報は、支障物検知ユニット５に入力される。なお、カメラ２のレンズの歪みの影響は十分に小さい。照明部３は、車両Ｍの前部に設けられ、車両前方に光を投光する前照灯である。車両前方の対象物は、照明部３から投光された光によって照らされ、カメラ２によって撮影される。車輪速センサ４は、車両Ｍの車輪の回転角度に関する情報を取得するセンサである。車輪速センサ４は、例えばエンコーダを備え、このエンコーダは、車輪の回転パルスを計測する。車輪の回転パルスに関する信号は、支障物検知ユニット５に入力される。支障物検知ユニット５は、車輪速センサ４から出力された情報に基づいて、車両Ｍの位置を算出することができる。

支障物検知ユニット５は、ＣＰＵ（Central Processing Unit)、ＲＯＭ(Read Only Memory)、およびＲＡＭ(Random Access Memory)等のハードウェアと、ＲＯＭに記憶されたプログラム等のソフトウェアとから構成されたコンピュータである。支障物検知ユニット５は、入力信号回路、出力信号回路、電源回路などを含む。支障物検知ユニット５は、カメラ２及び車輪速センサ４と電気的に接続されている。支障物検知ユニット５は、画像情報取得部６、画像処理部７、線形計算部８、座標変換部９、判定閾値設定部１０、フィルタリング処理部１１、支障物判定部（対象物判定部）１２を備える。また、支障物検知ユニット５は、経路情報記憶部１３、カメラパラメータ記憶部１４、輝度情報記憶部（特徴情報記憶部）１５、ピクセル情報記憶部（特徴情報記憶部）１６を含む。

画像情報取得部６は、カメラ２から出力された画像情報を取得する受信部である。カメラ２から出力された画像情報（対象画像情報）は、対象物候補の画像情報及び対象物候補の周辺の画像情報を含む。「対象物候補」とは対象物として検出される可能性があるものを含み、支障物と判定される対象物、支障物と判定されない対象物、後に対象物候補から除外されるものを含む。

画像処理部７は、画像情報取得部６で受信した画像情報について画像処理を行う。画像処理部７は、例えば動的しきい値法を用いた画像処理を行い、対象物候補の画像情報、道路の白線に関する画像情報を検知する。画像情報には、輝度値（明るさ）に関する情報が含まれる。画像処理部７は、画像情報について平滑化処理を行い、平滑化処理された画像情報について２値化処理を行うことで、動的しきい値法を用いた画像処理を行う。画像処理部７は、検出された対象物候補の画像情報（物体領域）に対して平滑化を行う。そして、原画像（平滑化処理される前の画像）と平滑化を行って得られた平滑化画像との差分をとり、この差分に基づいてオフセット値を設けることで近傍の輝度と比べて突出して明るい領域のみを抽出する。この処理により、局所的に異なる閾値を用いた２値化処理ができ、背景と比較して明るい対象物候補を検出し、対象物候補の輝度値、サイズ、面積（ピクセル数）を算出することができる。

図３は、原画像における検出領域を示すグラフである。図３では、横軸に位置を示し、縦軸に画像の輝度を示している。図３中のＧ１１は、原画像の輝度変化を示し、Ｇ１２は、平滑化画像（平均画像）の輝度変化を示している。図３中のＧ１３は、オフセット値を示している。このオフセット値は、原画像と平滑化画像との差分に基づいて設定される。画像処理部７では、平滑化画像の輝度変化Ｇ１２にオフセットＧ１３を加えた動的しきい値Ｇ１４を算出する。画像処理部７は、図３においてＧ１１及びＧ１４に囲まれた領域を、検出領域Ｄとして検出する。

線形計算部８は、経路情報記憶部１３に記憶されている経路の線形情報と、車輪速センサ４で取得された車速とを用いて、車両Ｍの移動距離を算出する。線形計算部８は、経路の線形情報及び車速に基づいて、車両Ｍの起点からの位置を示す自車位置情報を算出する。経路情報記憶部１３は、経路の線形情報を記憶する記憶部である。「経路の線形情報」は、経路の起点となる位置からの距離に対応した経路の３次元の形状に関する情報であり、道路におけるカーブの水平方向の曲率に関する情報、坂道における上下方向の勾配に関する情報を含むものである。

座標変換部９は、経路座標（３次元座標）と画像座標（２次元座標）との変換を行う。座標変換部９は、例えば、画像中の物体のうち位置、大きさが既知である物体の画像情報に基づいて、経路座標と画像座標とを変換することができる。例えば、道路の白線の長さ、幅、白線同士の間隔等の既知の値を用いて、経路座標と画像座標との変換式を設定することができる。図４に示されるように、経路座標（ｕ，ｖ，ｗ）は、車両Ｍが走行する経路Ｃに沿う方向の位置（ｕ）を示す座標軸Ｕ、経路Ｃに直交する方向の位置（ｖ）を示す座標軸Ｖ、高さ方向の位置（ｗ）を示す座標軸を基準とする。経路座標において、例えば車両Ｍの前方の位置であり、車線の幅方向の中心位置を、経路座標の原点Ｏ_３とすることができる。経路座標の原点Ｏ_３は、その他の位置でもよい。画像座標（ｘ，ｙ）は、２次元の画像における座標であり、画像の横方向の位置（ｘ）を示す座標軸（横軸）Ｘ、画像の縦方向の位置（ｙ）を示す座標軸（縦軸）Ｙを基準とする。

座標変換部９は、経路情報記憶部１３に記憶されている経路の線形情報、及びカメラパラメータ記憶部１４に記憶されているカメラパラメータに関する情報を用いて、経路座標及び画像座標を相互に変換する。カメラパラメータ記憶部１４は、カメラパラメータに関する情報を記憶する記憶部である。「カメラパラメータに関する情報」は、例えばカメラ２の焦点距離、カメラ２の撮像素子の素子サイズ、カメラ２の設置位置、カメラ２の設置角度等が含まれる。座標変換部９は、画像座標を経路座標に変換することで、画像上の対象物候補Ａの実際の位置を把握することができる。これにより、基準点から対象物候補Ａまでの距離を演算することができる。基準点は、例えば車両Ｍの任意の位置であり、カメラ２のレンズの位置とすることができる。

判定閾値設定部１０は、基準点から対象物候補までの距離に応じて判定閾値を設定する。この判定閾値は、対象物候補の判定に利用される判定閾値であり、輝度値（明るさ）に関する判定閾値、ピクセル数（画素数）に関する判定閾値等が含まれる。判定閾値設定部１０は、輝度情報記憶部１５に記憶されている既知物体の特徴情報（距離による明るさの変化、反射率の変化）に基づいて、輝度値に関する判定閾値を設定する。また、判定閾値設定部１０は、ピクセル情報記憶部１６に記憶されている既知物体の特徴情報（距離によるピクセル数の変化）に基づいて、ピクセル数に関する判定閾値を設定する。

輝度情報記憶部１５は、基準点からの距離が既知である対象物の画像情報の輝度値について記憶する記憶部である。図５は、輝度値に関する判定閾値を示すグラフである。図５は、距離による明るさの変化を示している。図５では、横軸に基準点から対象物候補までの距離を示し、縦軸に輝度値を示している。例えば実際に位置が既知であるターゲット（距離情報既知物体）を経路上に配置して、画像情報を取得して輝度値を計測することで、距離に応じた輝度値を予め取得しておく。また、実測した値から計算することで、距離に応じた輝度値を算出してもよい。図５に示されるように、距離が短いほど輝度値が大きく、距離が長いほど輝度値が小さくなる。図５中のＧ１はターゲットの輝度値を示し、Ｇ２は輝度値に関する判定閾値を示し、Ｇ３は背景の輝度値を示している。輝度値に関する判定閾値Ｇ２として、ターゲットの輝度値Ｇ１より低い値を採用することができる。背景の輝度値とは、例えば夜間における画像中の背景の輝度値である。

ピクセル情報記憶部１６は、基準点からの距離が既知である対象物の画像情報のピクセル数について記憶する記憶部である。図６は、ピクセル数に関する判定閾値を示すグラフである。図６は、距離によるピクセル数の変化を示している。図６では、横軸に基準点からの対象物候補までの距離を示し、縦軸にピクセル数を示している。例えば大きさが既知であるターゲットを経路上に配置して、画像情報を取得してピクセル数を算出することで、距離に応じたピクセル数を予め取得しておく。また、実測した値から計算することで、距離に応じたピクセル数を算出してもよい。図６に示されるように、距離が短いほど対象物の画像の面積が大きくなり、ピクセル数が大きい。距離が長いほど対象物の画像の面積が小さくなり、ピクセル数が小さい。図６中のＧ４はターゲットのピクセル数を示し、Ｇ４はピクセル数に関する判定閾値を示している。ピクセル数に関する判定閾値Ｇ５として、ターゲットのピクセル数Ｇ４より低い値を採用することができる。

フィルタリング処理部１１は、画像処理部７で処理された画像情報について、距離に応じた判定閾値を用いて判定を行い、判定閾値を満たさない対象物候補の画像情報を対象物候補から除外する。対象物候補から除外された画像情報については、後段の支障物判定を実施しない。フィルタリング処理部１１は、判定閾値Ｇ２以上の輝度値の対象物候補の画像情報について、対象物候補のまま維持し、判定閾値Ｇ２未満の対象物候補の画像情報について、対象物候補から除外する。フィルタリング処理部１１は、判定閾値Ｇ５以上のピクセル数の画像情報について、対象物候補のまま維持し、判定閾値Ｇ５未満の対象物候補の画像情報について、対象物候補から除外する。

支障物判定部１２は、対象物候補の画像情報について、支障物であるか否かの判定を行う。例えば、検出後、所定時間経過しても対象物候補として維持されているものは、支障物として判定することができる。支障物判定部１２は、その他の判定条件を満たす対象物候補を支障物であると判定することができる。

また、支障物検知ユニット５には、表示部１７及び操作部１８が電気的に接続されている。表示部１７は、例えば、液晶表示装置であり、カメラ２で取得した画像を表示する。また、表示部１７は、支障物検知ユニット５から出力された情報に基づいて、支障物である対象物を強調表示することで、運転者に報知する。また、操作部１８は、例えば液晶表示装置のタッチパネルであり、運転者の操作入力に基づく信号を支障物検知ユニット５に出力する。運転者は、例えば目視によって支障物ではないと確認された対象物候補について、支障物ではない旨の入力を、操作部１８を用いて行うことができる。

次に、図７に示すフローチャートを参照して、支障物検知ユニット５で実行される処理手順について説明する。支障物検知ユニット５の画像情報取得部６は、カメラ２から画像情報を取得する（ステップＳ１）。画像処理部７は、取得した画像情報について平滑化処理を行い、平滑化処理された画像情報について２値化処理を行う（ステップＳ２）。画像処理部７は、２値化処理された情報に基づいて、背景より明るい領域を対象物候補として検出し、検出された対象物候補の輝度値、サイズ、ピクセル数を算出する。

座標変換部９は、経路の線形情報及びカメラパラメータを用いて、経路座標及び画像座標を相互に変換し、基準点から対象物候補までの距離を算出する（ステップＳ３）。判定閾値設定部１０は、基準点から対象物候補までの距離に応じて、輝度値に関する判定閾値及びピクセル数に関する判定閾値を設定する（ステップＳ４）。判定閾値設定部１０は、輝度情報記憶部１５に記憶されている情報を読み取り、輝度値に関する判定閾値を設定する。また、判定閾値設定部１０は、ピクセル情報記憶部１６に記憶されている情報を読み取り、ピクセル数に関する判定閾値を設定する。

次に、フィルタリング処理部１１は、対象物候補の画像情報について、対象物候補までの距離に応じた判定閾値を用いて判定を行う（ステップＳ５）。フィルタリング処理部１１は、例えば輝度値に関する判定閾値未満の対象物候補の画像情報、及びピクセル数に関する判定閾値未満の対象物候補の画像情報を、ノイズであると判定（ステップＳ５；ＮＯ）して対象物候補から除外する（ステップＳ６）。フィルタリング処理部１１は、輝度値に関する判定閾値以上であり、且つ、ピクセル数に関する判定閾値以上である対象物候補の画像情報を対象物候補として維持する（ステップＳ５；ＹＥＳ）。

次に、支障物判定部１２は、ステップＳ５で判定閾値以上であると判定された対象物候補について、支障物判定条件を満たすか否かを判定する（ステップＳ６）。例えば、対象物候補について、所定の時間が経過しても対象物候補として維持されているものについて、支障物判定条件を満たすと判定する（ステップＳ７；ＹＥＳ）。支障物判定条件を満たす対象物候補は、支障物であると判定される（ステップＳ８）。支障物判定条件を満たさない対象物候補（ステップＳ７；ＮＯ）及びステップＳ６で対象物候補から除外されたものは、支障物ではないと判定される。

この支障物検知システム１によれば、基準点から対象物候補までの距離に応じて判定閾値を設定することができるので、距離に応じた判定閾値に基づいて、対象物候補の画像情報について判定を行い、判定閾値を満たさない対象物候補の画像情報を対象物候補から除外することができる。これにより、基準点から対象物候補までの距離を考慮して、対象物候補ではないノイズを精度良く除去し、対象物の検出精度の向上を図ることができる。

支障物検知システム１は、基準点から対象物候補までの距離に応じて、輝度値に関する判定閾値を変更することができるので、距離を考慮した判定閾値を設定し、精度良くノイズを除去し、対象物の検出精度の向上を図ることができる。同一の対象物であっても、距離に応じて画像情報の輝度値が異なるので、距離を考慮して判定閾値を変えることで、対象物の検出精度の向上を図ることができる。輝度値が低く画像上で暗い対象物候補をノイズとして除去することができる。その結果、対象物でないものが支障物であると誤判定される可能性を抑えることができる。

支障物検知システム１は、基準点から対象物候補までの距離に応じて、ピクセル数に関する判定閾値を変更することができるので、距離を考慮した判定閾値を設定し、精度良くノイズを除去し、対象物の検出精度の向上を図ることができる。同一の対象物であっても、距離に応じて画像情報のピクセル数が異なるので、距離を考慮して判定閾値を変えることで、対象物の検出精度の向上を図ることができる。ピクセル数が少なく画像上で小さい面積の対象物候補をノイズとして除去することができる。その結果、対象物でないものが支障物であると誤判定される可能性を抑えることができる。

本開示は、前述した実施形態に限定されず、本開示の要旨を逸脱しない範囲で下記のような種々の変形が可能である。上記の実施形態では、画像処理を行って、対象物候補までの距離を算出しているが、例えばレーザーレーダ等その他の計測装置を用いて、対象物候補までの距離を算出してもよい。また、上記の実施形態では、図５及び図６に示されるようなグラフに基づいて、距離に応じて判定閾値を設定しているが、例えば、一定の距離毎に段階的に判定閾値を変えてもよい。

また、上記の実施形態では、輝度値に関する判定閾値及びピクセル数に関する判定閾値の両方について、距離に応じて判定閾値を設定しているが、例えば輝度値に関する判定閾値のみを距離に応じて変更し、ピクセル数に関する判定閾値は距離によらず一定の値としてもよい。同様に、輝度値に関する判定閾値を一定として、ピクセル数に関する判定閾値を距離に応じて変更してもよい。また、上記の実施形態では、輝度値に関する判定閾値及びピクセル数に関する判定閾値を設定しているが、距離に応じて変化するその他の特徴情報を用いて判定閾値を設定してもよい。例えば、対象物候補の最大寸法を長軸として設定し、長軸と直交する短軸を設定し、長軸方向の寸法と、短軸方向の寸法に基づいて、判定閾値を設定してもよい。この場合において、距離による長軸方向の寸法の変化、距離による短軸方向の寸法の変化に基づいて、判定閾値を変更してもよい。

また、上記の実施形態では、輝度値による判定閾値として下限値を設定しているが、判定閾値として上限値を設定してもよい。これにより、対象物としては明るすぎるものを除外することができる。同様に、ピクセル数による判定閾値として下限値を設定しているが、判定閾値として上限値を設定してもよい。これにより、対象物としては大きすぎるものを除外することができる。

また、上記実施形態では、支障物検知システムを車両に搭載した場合について説明しているが、支障物検知システムを車両以外の移動体に搭載してもよい。例えば、ロボット、飛行機、船舶、鉄道などに、支障物検知システムを搭載してもよい。また、支障物検知システムは、移動体に搭載せずに、その他の場所や物に設置してもよい。例えば、工場、店舗、病院、空港、駅、走行路周辺の建築物などに、支障物検知システムを設置して、危険のおそれがある対象物を支障物として検知してもよい。なお、対象物は静止物に限定されず、移動する物、人、動物でもよい。また、支障物は、危険な対象物に限定されず、障害となる対象物、特定の条件に合致する対象物でもよい。

１ 支障物検知システム（対象物検知システム）
２ カメラ
３ 照明部
５ 支障物検知ユニット
６ 画像情報取得部
７ 画像処理部
１０ 判定閾値設定部
１１ フィルタリング処理部
１２ 支障物判定部（対象物判定部）
１５ 輝度情報記憶部（特徴情報記憶部）
１６ ピクセル情報記憶部（特徴情報記憶部）
Ａ 対象物候補
Ｂ 落下物（対象物、支障物）
Ｃ 経路
Ｍ 車両

Claims (3)

1. 対象物候補の画像情報及び前記対象物候補の周辺の画像情報を含む対象画像情報を取得する画像情報取得部と、
   前記対象画像情報について平滑化処理を行い、平滑化処理された前記対象画像情報について２値化処理を行う画像処理部と、
   基準点からの距離が既知である距離情報既知物体の特徴情報を記憶する特徴情報記憶部と、
   前記距離情報既知物体の前記特徴情報に基づいて、前記基準点からの距離に応じて判定閾値を設定する判定閾値設定部と、
   ２値化処理された前記対象画像に含まれる前記対象物候補の画像情報について、前記判定閾値を満たすか否かを判定し、前記判定閾値を満たさない前記対象物候補の画像情報を前記対象物候補から除外するフィルタリング処理部と、
   前記対象物候補が対象物であるか否かを判定する対象物判定部と、を備える対象物検知システム。
2. 対象物に光を投光する照明部を更に備え、
   前記特徴情報記憶部は、前記特徴情報として、前記既知物体の画像情報の明るさに関する情報を記憶し、
   前記判定閾値設定部は、前記画像情報の明るさに関する情報に基づいて、前記基準点からの距離に応じて明るさに関する判定閾値を設定し、
   前記フィルタリング処理部は、前記明るさに関する判定閾値より暗い前記対象物候補の画像情報を前記対象物候補から除外する請求項１に記載の対象物検知システム。
3. 前記特徴情報記憶部は、前記特徴情報として、前記既知物体の画像情報の画素数に関する情報を記憶し、
   前記判定閾値設定部は、前記画像情報の画素数に関する情報に基づいて、前記基準点からの距離に応じた画素数に関する判定閾値を設定し、
   前記フィルタリング処理部は、前記画素数に関する前記判定閾値より少ない画素数の前記対象物候補の画像情報を前記対象物候補から除外する請求項１又は２に記載の対象物検知システム。

Images