JP2018109824A - 電子制御装置、電子制御システムおよび電子制御方法 - Google Patents

Abstract

【課題】歩行者までの距離の算出精度を向上させる電子制御装置、電子制御システム及び電子制御方法を提供する。【解決手段】電子制御装置は、検出部２２と、探索部２３と、補正部２４と、算出部２５とを備える。検出部は、撮像画像から人物の形状が存在する人物領域を検出する。探索部は、撮像画像における明領域と暗領域との境界を探索する。補正部は、探索部によって探索された境界に基づいて人物領域の下端位置を補正する。算出部は、補正部によって補正された下端位置に基づいて人物までの距離を算出する。【選択図】図２

Description

本発明は、電子制御装置、電子制御システムおよび電子制御方法に関する。

従来、車載カメラ等の撮像装置によって撮像される撮像画像から歩行者を検知し、歩行者までの距離を算出する歩行者検知装置がある（例えば、特許文献１参照）。

特開２００１−３５１１９３号公報

しかしながら、上記した従来技術では、撮像画像から特定した歩行者の位置が正確でない場合があり、かかる場合に、歩行者までの正確な距離を算出することができないという問題がある。

本発明は、上記に鑑みてなされたものであって、歩行者までの距離の算出精度を向上させることができる電子制御装置、電子制御システムおよび電子制御方法を提供することを目的とする。

本発明は、電子制御装置において検出部と、探索部と、補正部と、算出部とを備える。検出部は、撮像画像から人物の形状が存在する人物領域を検出する。探索部は、前記撮像画像における明領域と暗領域との境界を探索する。補正部は、前記探索部によって探索された前記境界に基づいて前記人物領域の下端位置を補正する。算出部は、前記補正部によって補正された前記下端位置に基づいて前記人物までの距離を算出する。

本発明によれば、歩行者までの距離の算出精度を向上させることができる。

図１は、電子制御装置が行う制御方法の概要を示す図である。 図２は、電子制御システムのブロック図である。 図３は、探索範囲の一例を示す図である。 図４Ａは、２値化部による異常判定処理を説明する図(その１)である。 図４Ｂは、２値化部による異常判定処理を説明する図(その２)である。 図５Ａは、補正部による異常判定処理を説明する図(その１)である。 図５Ｂは、補正部による異常判定処理を説明する図(その２)である。 図６は、電子制御装置が実行する処理手順を示すフローチャートである。

以下に添付図面を参照して、実施形態に係る電子制御装置、電子制御システムおよび電子制御方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

以下では、自車両に設けられて自車両の前方を撮像するカメラから入力される撮像画像に基づいて自車両から撮像画像に写る人物（以下、歩行者Ｈという）までの距離を算出する場合について説明する。

まず、図１を用いて実施形態に係る電子制御装置が行う制御方法の概要について説明する。図１は、電子制御装置が行う制御方法の概要を示す図である。なお、かかる制御方法は、図２にて後述する電子制御装置１によって実行される。

図１に示すように、実施形態に係る電子制御装置１は、カメラから歩行者Ｈが写る撮像画像Ｆが入力された場合、まず、撮像画像Ｆから歩行者Ｈの形状が存在する人物領域Ｍを検出する。

例えば、電子制御装置１は、撮像画像Ｆに写る物体が歩行者Ｈか否かを判定する基準となる人物辞書情報を使用して撮像画像Ｆから人物領域Ｍを検出する。

そして、電子制御装置１は、撮像画像Ｆにおける人物領域Ｍの下端位置Ｍｂを歩行者Ｈの接地位置Ｈｂとして使用し、自車両から歩行者Ｈまでの距離を算出する。

このとき、電子制御装置１は、撮像画像Ｆにおける歩行者の接地位置Ｈｂと、人物領域Ｍにおける下端位置Ｍｂとが一致していれば、歩行者Ｈまでの正確な距離を算出することができる。

しかしながら、図１に示すように、人物領域Ｍにおける下端位置Ｍｂと、歩行者Ｈの接地位置Ｈｂにズレが生じる場合がある。かかる場合に、従来の電子制御装置では、自車両から歩行者Ｈまでの距離を正しく算出できなかった。

そこで、実施形態に係る電子制御装置１は、撮像画像Ｆから人物領域Ｍを検出したのちに、人物領域Ｍにおける下端位置Ｍｂを補正し、補正後の人物領域Ｍの下端位置Ｍｂを用いて歩行者Ｈまでの距離を算出することとした。

具体的には、図1に示すように、撮像画像Ｆにおいて、歩行者Ｈおよび歩行者Ｈ以外の領域(例えば、路面)で輝度や彩度、明度などが異なる。このため、撮像画像Fにおいて歩行者Ｈとその他の領域との間に明領域と暗領域との境界が存在する。

図１では、歩行者Ｈが暗領域Ｚｄであり、その他の領域(路面)が明領域Ｚｌである場合について示している。なお、歩行者Ｈの服装や路面の色等によって歩行者Ｈとその他の領域で明領域Ｚｌと暗領域Ｚｄが反転することもある。

そこで、電子制御装置１は、撮像画像Ｆから明領域Ｚｌおよび暗領域Ｚｄの境界を探索し、探索した境界をあらたに下端位置Ｍｂとする補正を行う。したがって、電子制御装置１は、人物領域Ｍの下端位置Ｍｂを歩行者Ｈの接地位置Ｈｂへ正確に一致させることができる。

これにより、電子制御装置１は、補正後の下端位置Ｍｂに基づいて歩行者Ｈまでの距離を算出することで、歩行者Ｈまでの距離の算出精度を向上させることができる。

ところで、上述した例では、電子制御装置１が、単に撮像画像Ｆから明領域と暗領域の境界を探索する場合について説明したが、撮像画像Ｆを２値化した２値化画像から上記の境界を探索することもできる。

また、かかる場合に、電子制御装置１が、２値化処理に用いる２値化閾値を用いて異常判定処理を行うこともできる。この点の詳細については、図４Ａおよび図４Ｂを用いて後述する。

また、電子制御装置１は、補正した下端位置Ｍｂの履歴に基づいて異常判定処理を行うこともできる。この点の詳細については、図５Ａおよび図５Ｂを用いて後述する。

次に、図２を用いて実施形態に係る電子制御システム５０の構成について説明する。図２は、電子制御システム５０のブロック図である。なお、電子制御システム５０は、電子制御装置１、カメラ５および車両制御装置４０を備える。また、電子制御装置１は、カメラ５および車両制御装置４０に接続される。

カメラ５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば、自車両の前方を撮像する。

電子制御装置１は、制御部２と、記憶部３とを備える。制御部２は、変換部２１と、検出部２２と、探索部２３と、補正部２４および算出部２５を備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の変換部２１、検出部２２、探索部２３、補正部２４および算出部２５として機能する。

また、制御部２の変換部２１、検出部２２、探索部２３、補正部２４および算出部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、人物辞書情報３１、閾値履歴情報３２および境界履歴情報３３や各種プログラムを記憶することができる。

なお、電子制御装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

人物辞書情報３１は、撮像画像Ｆに写る物体が歩行者Ｈか否かを判定する基準となる情報であり、機械学習によって予め作成される。人物辞書情報３１は、例えば、形状が既知の複数種類の人物の画像と、人物以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１００００枚の画像）準備する。

続いて、準備した各画像から、例えば、ＨＯＧ（Histogram of Gradient）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて２次元平面状にプロットする。

続いて、例えば、ＳＶＭ（Support Vector Machine）等の識別器によって、２次元平面上における人物の画像と人物以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が人物辞書情報３１となる。

なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量であってもよい。また、人物の画像と人物以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。なお、閾値履歴情報３２および境界履歴情報３３については図４Ａおよび図５Ａ等を用いて後述するため、ここでの説明は省略する。

制御部２の変換部２１は、カメラ５から撮像画像Ｆを取得し、かかる撮像画像Ｆをグレースケール化することで、撮像画像Ｆをグレースケール画像へ変換する。そして、変換部２１は、グレースケール画像を検出部２２へ出力する。

ここで、グレースケール化とは、撮像画像Ｆにおける各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。なお、撮像画像Ｆがカラー画像でない場合、グレースケール化は省略される。

検出部２２は、人物辞書情報３１を使用して、変換部２１から入力されるグレースケール画像について人物、すなわち歩行者Ｈが存在する人物領域Ｍ（図１参照）を検出する。

検出部２２は、例えば、人物領域Ｍを検出した場合、人物領域Ｍに関する人物領域情報を生成して、グレースケール画像とあわせて探索部２３へ出力する。また、検出部２２は、人物領域情報を補正部２４へ出力する処理を行う。

人物領域情報は、撮像画像Ｆにおける人物領域Ｍの位置および大きさを示す情報であり、例えば、ＸＹ直交座標系に変換した撮像画像Ｆにおける人物領域Ｍが存在するＸＹ座標値である。

探索部２３は、撮像画像Ｆから明領域および暗領域の境界を探索し、探索した境界を補正部２４へ出力する。また、探索部２３は、設定部２３ａ、２値化部２３ｂおよび決定部２３ｃを備える。

設定部２３ａは、検出部２２によって検出された人物領域Ｍに基づいて撮像画像Ｆにおける探索範囲Ｒを設定する。例えば、設定部２３ａは、設定した探索範囲Ｒの撮像画像ＦにおけるＸＹ座標値をグレースケール画像に関連付けて２値化部２３ｂへ出力する。なお、設定部２３ａによる処理の具体例については、図３を用いて後述する。

２値化部２３ｂは、設定部２３ａによって設定された探索範囲Ｒにおける各画素の輝度分布に応じた２値化閾値Ｔｈを用いてグレースケール画像を２値化する。

まず、２値化部２３ｂは、例えば、判別分析法（いわゆる「大津の２値化」手法）を用いて２値化閾値Ｔｈを算出する。具体的には、２値化部２３ｂは、探索範囲Ｒ内の画素の輝度値の分布についてヒストグラムを作成し、ヒストグラムにおいて輝度値の分離度が最も大きくなる値を２値化閾値Ｔｈとして算出する。

このように、電子制御装置１は、探索範囲Ｒについて設定判別法を用いることで、周囲の状況にあわせて２値化閾値Ｔｈを最適な値に導出することができる。これにより、歩行者Ｈおよび歩行者Ｈ以外の領域を精度よく分離することができる。

ここで、２値化部２３ｂは、２値化に使用する２値化閾値Ｔｈをグレースケール画像のフレーム番号とともに閾値履歴情報３２として記憶しておく。そして、２値化部２３ｂは、かかる閾値履歴情報３２に基づいて２値化処理を行うか否かを判定することもできる。かかる点の詳細については、図４Ａおよび図４Ｂを用いて後述する。

２値化部２３ｂは、上記の判定において２値化処理を行うと判定した場合、２値化閾値Ｔｈを用いてグレースケール画像を２値化した２値化画像を生成し、決定部２３ｃへ出力する。なお、２値化部２３ｂは、例えば、撮像画像Ｆにおける明領域の画素に「０」、暗領域の画素に「１」をそれぞれ割り当てることで、２値化画像を生成する。

決定部２３ｃは、２値化部２３ｂから入力される２値化画像において、設定部２３ａが設定した探索範囲Ｒを探索し、明領域(画素が「０」の領域)と暗領域(画素が「１」の領域)の境界を決定する。

例えば、決定部２３ｃは、探索範囲Ｒの下端から上端に向かって境界を探索する。そして、決定部２３ｃは、境界を検出した場合に、かかる境界に関する境界情報を生成し、補正部２４へ出力する。境界情報は、例えば、撮像画像Ｆにおける境界のＸＹ座標値である。

例えば、決定部２３ｃは、探索範囲Ｒを探索し、１画素分の明領域と暗領域との境界を検出した場合に、かかる境界の境界情報を生成する。つまり、電子制御装置１は、境界の検出条件を最少の単位である１画素とすることで、決定部２３ｃによる境界の見落としを抑制することができる。

しかしながら、検出条件は、これに限定されるものではない。例えば、隣り合う複数の画素(例えば、３画素以上)にわたって明領域と暗領域の境界を検出したことを境界の検出条件とすることにしてもよい。このようにすることで、決定部２３ｃが、接地位置Ｈｂ以外のノイズ成分を境界として決定するのを抑制することができる。

補正部２４は、決定部２３ｃによって生成された境界情報に基づいて検出部２２から入力される人物領域Ｍの下端位置Ｍｂを補正する。例えば、補正部２４は、決定部２３ｃから入力される境界情報のＸＹ座標値と、検出部２２によって検出された人物領域Ｍの下端位置ＭｂのＸＹ座標値とを比較する。

そして、補正部２４は、双方のＸＹ座標値が異なる値である場合に、下端位置ＭｂのＸＹ座標値から境界情報のＸＹ座標値へ補正して、補正後のＸＹ座標値を算出部２５へ出力する。これにより、算出部２５は、歩行者Ｈまでの正確な距離を算出することができる。

ここで、補正部２４は、補正した下端位置ＭｂのＸＹ座標値を境界履歴情報３３として記憶部３に記憶しておき、かかる境界履歴情報３３に基づいて補正の確からしさを判定することもできる。かかる点の詳細については、図５Ａおよび図５Ｂを用いて後述する。

算出部２５は、補正部２４から入力される補正後のＸＹ座標値に基づいて歩行者Ｈまでの距離を算出する。例えば、算出部２５は、カメラ５の取り付け位置に関する情報(取り付け高さや取り付け角度など)を予め設定値として記憶しておき、かかる設定値と、上記した補正後のＸＹ座標値から三角測量を用いて自車両から歩行者Ｈまでの距離を算出する。

そして、算出部２５は、算出した距離を車両制御装置４０へ出力する。車両制御装置４０は、算出部２５から入力される距離に基づいて自車両を制御する。

車両制御装置４０は、算出部２５から入力される距離が所定距離以下（例えば、１メートル以下）である場合に、自車両のブレーキを制御して自車両を停止させる。

これにより、自車両と歩行者Ｈとの衝突を未然に防ぐことができる。なお、かかる所定距離については、上記の例に限定されるものではなく、任意の値に設定することができる。また、車両制御装置４０は、例えば、歩行者Ｈとの衝突を回避するように自車両のステアリングを制御することにしてもよい。

次に、図３を用いて設定部２３ａによって設定される探索範囲Ｒについて説明する。図３は、探索範囲Ｒの一例を示す図である。

同図に示すように、設定部２３ａは、人物領域Ｍの下端位置Ｍｂの近傍を探索範囲Ｒとして設定する。具体的には、設定部２３ａは、例えば、下端位置Ｍｂを中心として人物領域Ｍの大きさの上下左右±２０％の幅を探索範囲Ｒとして設定する。

すなわち、設定部２３ａは、探索範囲Ｒを人物領域Ｍの下端近傍に設定する。これにより、決定部２３ｃは、人物領域Ｍの下端近傍の領域を集中的に探索することとなる。

このため、決定部２３ｃは、効率よく境界を決定することができる。また、決定部２３ｃによる境界の探索処理に先立って予め探索範囲Ｒを限定しておくことで、決定部２３ｃの探索に掛かる処理負荷を軽減することもできる。

なお、上記した探索範囲Ｒは、一例に過ぎず、設定部２３ａは、探索範囲Ｒをさらに大きく設定することにしてもよいし、小さく設定することにしてもよい。

次に、図４Ａおよび図４Ｂを用いて２値化部２３ｂによる異常判定処理について説明する。図４Ａおよび図４Ｂは、２値化部２３ｂによる異常判定処理を説明する図である。

なお、図４Ａは、閾値履歴情報３２の一例であり、縦軸に２値化閾値Ｔｈの値を示しており、横軸に対応するフレーム番号を示している。また、図４Ｂは、図４Ａに示したフレーム番号Ｆ１およびフレーム番号Ｆ２におけるグレースケール画像の一例を示す。

２値化部２３ｂは、異常判定処理として、図４Ａに示した閾値履歴情報３２に基づいて２値化閾値Ｔｈの時系列的な変動量が所定値ＴｈＡを超えた場合に、２値化閾値Ｔｈを異常として判定する。

図４Ａの例では、フレーム番号Ｆ１およびフレーム番号Ｆ２の間で、２値化閾値Ｔｈの変動量Ａ１が所定値ＴｈＡを超えている。このとき、２値化部２３ｂは、フレーム番号Ｆ２の２値化閾値Ｔｈについて異常と判定する。

これは、図４Ｂに示すように、フレーム番号Ｆ１からフレーム番号Ｆ２の間に、探索範囲Ｒに他車両Ｃや他車両Ｃの影Ｃｓが写り込むなど、歩行者Ｈ以外の領域にノイズの混入が想定されるためである。

かかる場合に、歩行者Ｈよりも下端側に明領域および暗領域の境界が存在することがある。このため、決定部２３ｃが、境界を歩行者Ｈの下端位置Ｍｂ以外に決定してしまうおそれがある。

このため、２値化部２３ｂは、異常対応処理としてフレーム番号Ｆ２のグレースケール画像について２値化処理を実行せず、補正部２４に対して検出部２２によって検出された人物領域Ｍの下端位置ＭｂのＸＹ座標値を算出部２５へ出力するように指示する。

これにより、決定部２３ｃが境界を誤って決定することを未然に回避することができる。したがって、補正部２４による誤った補正を未然に防ぐことが可能となる。また、かかる場合に、２値化部２３ｂによる２値化処理および決定部２３ｃによる処理を省略することができる。

つまり、補正部２４による補正の精度を担保しつつ、２値化部２３ｂや決定部２３ｃによる処理負荷を抑えることができる。このように、２値化部２３ｂは、判別分析法を用いることで、歩行者Ｈと他の領域を適切に分離するのみならず、２値化閾値Ｔｈの履歴に基づいて異常判定処理を行うこともできる。

なお、上記したフレーム番号Ｆ１とフレーム番号Ｆ２は、連続していてもよいし、あるいは、任意のフレーム数を隔てていてもよい。このことは、図５Ａおよび図５Ｂを用いて後述するフレーム番号Ｆ３、Ｆ４についても同様である。

なお、２値化部２３ｂは、異常判定処理として、設定部２３ａによって設定された探索範囲Ｒを狭めて２値化閾値Ｔｈを設定し、かかる２値化閾値Ｔｈについて上記した判定を行うようにしてもよい。これにより、探索範囲Ｒにノイズが混入しにくくなるため、２値化部２３ｂは、正常な値の２値化閾値Ｔｈを設定することができる。

次に、図５Ａおよび図５Ｂを用いて補正部２４による異常判定処理について説明する。図５Ａおよび図５Ｂは、補正部２４による異常判定処理を説明する図である。

図５Ａは、図２に示した境界履歴情報３３の一例である。なお、図５Ａでは縦軸に補正後の境界のＹ座標の値を示しており、横軸に対応するフレーム番号を示している。また、図５Ｂには、図５Ａに示すフレーム番号Ｆ３およびフレーム番号Ｆ４における２値化画像の一例を示している。

補正部２４は、異常判定処理として、図５Ａに示した境界履歴情報３３に基づいて下端位置ＭｂのＹ座標の時系列的な変動量が所定値ＴｈＤを超えた場合に、かかる下端位置Ｍｂを異常として判定する。

図５Ａの例では、フレーム番号Ｆ３およびフレーム番号Ｆ４の間で、Ｙ座標の値の変動量Ｄ１が所定値ＴｈＤを超えている。このとき、補正部２４は、フレーム番号Ｆ４の下端位置Ｍｂについて異常と判定する。

これは、図５Ｂに示すように、フレーム番号Ｆ３における探索範囲Ｒになかったノイズがフレーム番号Ｆ４で発生し、決定部２３ｃが、フレーム番号Ｆ４においてかかるノイズを境界として決定した可能性が高いためである。つまり、Ｙ座標の値の時系列的な変動量が大きい場合、決定部２３ｃによって決定された境界の信頼度が低下するためである。

このため、かかる場合に、補正部２４は、異常対応処理として補正後の下端位置Ｍｂを補正結果の候補から除外する。そして、補正部２４は、例えば、決定部２３ｃから入力される境界情報に代えて、検出部２２によって検出された人物領域Ｍの下端位置ＭｂのＸＹ座標値を補正値として算出部２５へ出力する。

したがって、補正部２４による信頼性の低い補正を回避することになり、補正の信頼度を向上させることができる。なお、補正部２４は、検出部２２によって検出された下端位置Ｍｂおよび決定部２３ｃによって決定された境界の座標のうち、前回の座標に近い方の座標を補正結果とするようにしてもよい。

また、ここでは、補正部２４がＹ座標の値に基づいて異常判定する場合について説明したが、補正部２４は、Ｘ座標の値についても異常判定処理を行うことができる。

また、補正部２４による異常対応処理は、上記の例に限定されるものではない。例えば、補正部２４は、決定部２３ｃに対して下端位置Ｍｂの変動量が小さくなる向きに境界の探索を継続するように指示することにしてもよい。

そして、決定部２３ｃがかかる指示に基づき、新たに境界を決定した場合に、補正部２４は、かかる境界へ下端位置Ｍｂを補正する。

これにより、補正部２４による補正の精度を向上させることができる。なお、決定部２３ｃが新たに境界を決定しなかった場合については、補正部２４は、検出部２２の検出結果を補正結果とすることとすればよい。

また、例えば、決定部２３ｃが、予め全ての境界を探索したうえで、補正部２４は、かかる全ての境界の中から最も確からしい境界へ下端位置Ｍｂを補正することにしてもよい。

また、補正部２４は、境界履歴情報３３から予測されるＸＹ座標値を導出し、かかるＸＹ座標値を設定部２３ａに出力し、かかるＸＹ座標値に基づいて探索範囲Ｒを設定するように指示することにしてもよい。

換言すると、設定部２３ａは、境界履歴情報３３に基づいて探索範囲Ｒを設定することにしてもよい。これにより、設定部２３ａでは、探索範囲Ｒを適切に設定することができるため、２値化部２３ｂや決定部２３ｃによる処理の精度を向上させることができる。

このように、電子制御装置１は、２値化部２３ｂおよび補正部２４の２つの処理部によって異常判定処理を行うこととしている。換言すると、電子制御装置１は、決定部２３ｃによる境界の探索処理の前後で異常判定処理を行う。

そのため、決定部２３ｃによる境界の決定処理の精度を向上させるとともに、補正部２４による誤った補正を回避することができる。なお、異常判定処理は、２値化部２３ｂおよび補正部２４のうち、一方の処理部のみで行うようにしてもよい。かかる場合に、制御部２の処理負荷を抑制することができる。

次に、図６を用いて実施形態に係る電子制御装置１が実行する処理手順について説明する。図６は、実施形態に係る電子制御装置１が実行する処理手順を示すフローチャートである。なお、かかる処理は、電子制御装置１の制御部２によって繰り返し実行される。

同図に示すように、まず、変換部２１は、カメラ５から撮像画像Ｆを取得し、撮像画像Ｆをグレースケール化する（ステップＳ１０１）。

続いて、検出部２２は、グレースケール画像から人物領域Ｍを検出する（ステップＳ１０２）。その後、設定部２３ａは、人物領域Ｍに基づいて探索範囲Ｒを設定し（ステップＳ１０３）、２値化部２３ｂは、２値化閾値Ｔｈを算出する（ステップＳ１０４）。

そして、２値化部２３ｂは、図４Ａおよび図４Ｂに示したように算出した２値化閾値Ｔｈが正常か否かを判定する（ステップＳ１０５）。ここで、２値化部２３ｂは、２値化閾値Ｔｈが正常であった場合（ステップＳ１０５，Ｙｅｓ）、グレースケール画像を２値化する（ステップＳ１０６）。

続いて、決定部２３ｃは、探索範囲Ｒを探索し、境界を決定する（ステップＳ１０７）。その後、補正部２４は、図５Ａおよび図５Ｂに示したように決定部２３ｃによって決定された境界の座標値が正常か否かを判定する（ステップＳ１０８）。

かかる判定において、補正部２４は、境界の座標値が正常であると判定した場合（ステップＳ１０８，Ｙｅｓ）、人物領域Ｍの下端位置Ｍｂを補正する（ステップＳ１０９）。そして、算出部２５は、歩行者Ｈまでの距離を算出して（ステップＳ１１０）、処理を終了する。

一方、ステップＳ１０５の判定において、２値化閾値Ｔｈが異常であった場合（ステップＳ１０５，Ｎｏ）、算出部２５は、検出部２２によって検出された人物領域Ｍの下端位置Ｍｂに基づいて歩行者までの距離を算出する（ステップＳ１１０）。

また、ステップＳ１０８の判定において、境界の座標値が異常であった場合（ステップＳ１０８，Ｎｏ）、電子制御装置１は、ステップＳ１０７以降の処理を繰り返すこととなる。

なお、境界の座標値が異常であった場合（ステップＳ１０８，Ｎｏ）、上記したように、算出部２５は、検出部２２によって検出された人物領域Ｍの下端位置Ｍｂに基づいて歩行者Ｈまでの距離を算出するようにすることにしてもよい。

上述したように、本実施形態に係る電子制御装置１は、検出部２２と、探索部２３と、補正部２４と、算出部２５とを備える。検出部２２は、撮像画像Ｆから人物（歩行者Ｈ）の形状が存在する人物領域Ｍを検出する。探索部２３は、撮像画像Ｆにおける明領域と暗領域との境界を探索する。補正部２４は、探索部２３によって探索された境界に基づいて人物領域Ｍの下端位置Ｍｂを補正する。算出部２５は、補正部２４によって補正された下端位置Ｍｂに基づいて人物（歩行者Ｈ）までの距離を算出する。したがって、実施形態に係る電子制御装置１によれば、歩行者Ｈまでの距離の算出精度を向上させることができる。

ところで、上述した実施形態では、２値化部２３ｂが、撮像画像の輝度に基づいて各画素を２値化する場合について説明したが、撮像画像の明度や彩度に応じて撮像画像を２値化することにしてもよい。

また、上述した実施形態では、探索部２３が、２値化画像から明領域と暗領域の境界を決定する場合について説明したが、これに限定されるものではない。

例えば、探索部２３は、撮像画像Ｆから歩行者Ｈのエッジを抽出し、かかるエッジに基づいて明領域と暗領域の境界として決定することにしてもよい。なお、例えば、エッジ抽出法として、ソベルフィルタやラプラシアンフィルタ等を用いることができる。なお、かかる場合に、例えば、カメラ５として赤外線カメラを用いることにしてもよい。

また、上述してきた実施形態では、カメラ５が自車両の前方を撮像する場合について説明したが、自車両の側方や後方を撮像するカメラから入力される撮像画像に写る歩行者Ｈまでの距離を算出する場合についても適用することができる。また、本実施形態は、街灯や建物等に設けられる固定カメラから入力される撮像画像から歩行者Ｈまでの距離を算出することも可能である。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１ 電子制御装置
５ カメラ
２１ 変換部
２２ 検出部
２３ 探索部
２３ａ 設定部
２３ｂ ２値化部
２３ｃ 決定部
２４ 補正部
２５ 算出部
４０ 車両制御装置
５０ 電子制御システム
Ｍ 人物領域
Ｍｂ 下端位置
Ｈ 歩行者（人物の一例）
Ｈｂ 接地位置

Claims (7)

1. 撮像画像から人物の形状が存在する人物領域を検出する検出部と、
   前記撮像画像における明領域と暗領域との境界を探索する探索部と、
   前記探索部によって探索された前記境界に基づいて前記人物領域の下端位置を補正する補正部と、
   前記補正部によって補正された前記下端位置に基づいて前記人物までの距離を算出する算出部と
   を備えることを特徴とする電子制御装置。
2. 前記補正部は、
   前記境界を用いた補正後の前記下端位置の時系列的な変動量が所定値を超える場合に、当該補正後の前記下端位置を補正結果の候補から除外すること
   を特徴とする請求項１に記載の電子制御装置。
3. 前記探索部は、
   前記下端位置の時系列的な変動量が所定値を超える場合に、当該変動量が小さくなる向きへ前記境界の探索を続けること
   を特徴とする請求項２に記載の電子制御装置。
4. 前記探索部は、
   前記検出部によって検出された前記人物領域に基づいて探索範囲を設定する設定部と、
   前記設定部によって設定された前記探索範囲における各画素の輝度分布に基づいて決定される２値化閾値を用いて前記撮像画像を２値化する２値化部と、
   前記２値化部によって２値化された前記撮像画像の前記探索範囲を探索し、前記境界を決定する決定部と
   をさらに備えること
   を特徴とする請求項１、２または３に記載の電子制御装置。
5. 前記２値化部は、
   前記２値化閾値の時系列的な変動量が所定値を超える場合に、前記検出部によって検出された前記下端位置を補正結果とするように前記補正部へ指示すること
   を特徴とする請求項４に記載の電子制御装置。
6. 車両に設けられる請求項１〜５のいずれか一つに記載の電子制御装置と、
   前記車両の周囲の前記撮像画像を撮像する撮像装置と、
   前記電子制御装置によって算出された前記距離に基づいて前記車両のブレーキを制御する車両制御装置と
   を備えることを特徴とする電子制御システム。
7. 撮像画像から人物の形状が存在する人物領域を検出する検出工程と、
   前記撮像画像における明領域と暗領域との境界を探索する探索工程と、
   前記探索工程によって探索された前記境界に基づいて前記人物領域の下端位置を補正する補正工程と、
   前記補正工程によって補正された前記下端位置に基づいて前記人物までの距離を算出する算出工程と
   を含むことを特徴とする電子制御方法。

Images