JP2015049814A - 歩行者検出装置及び交通制御システム - Google Patents

Abstract

【課題】従来とは全く異なる原理に従って、横断歩道上の歩行者を精度良く検出する。【解決手段】歩行者検出装置１１は、白線が描かれた横断歩道上の歩行者を検出する。歩行者検出装置１１は、前記横断歩道の前記白線の領域を含む領域を撮像する撮像手段２１と、撮像手段２１から時間経過に従って順次得られる複数の画像の各々について、当該画像中の所定領域内において複数の直線を検出する直線検出手段と、前記直線検出手段により検出された前記複数の画像毎の前記複数の直線の、前記複数の画像間での変化に基づいて、前記歩行者の有無を判定する判定手段と、を備える。【選択図】図１

Description

本発明は、横断歩道上の歩行者を検出する歩行者検出装置、及び、これを用いた交通制御システムに関するものである。

下記特許文献１には、横断歩道上の歩行者を検出する検出方法として、横断歩道の白線部分を第１の識別領域に設定し、前記白線以外の部分を第２の識別領域に設定し、計測対象物が存在しない状態で、第１の識別領域及び第２の識別領域にて、基準となる第１基準時空間画像及び第２基準時空間画像を予め生成しておき、前記第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成し、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別方法が開示されている。この識別は、差分時空間画像のヒストグラム解析、エッジ検出、フーリエ解析等を行うことにより行われる。

また、下記特許文献１には、このような方法を利用し、前記識別の結果に基づいて信号機の切り換え時間を制御する手段を備えた交通制御システムも、開示されている。

特許第３７７９２２９号公報

しかしながら、前記従来の歩行者検出装置では、前記識別が差分時空間画像のヒストグラム解析、エッジ検出、フーリエ解析等を行うことにより行われているので、横断歩道上の歩行者の検出精度をさほど高くすることはできなかった。

本発明は、このような事情に鑑みてなされたもので、従来とは全く異なる原理に従って、横断歩道上の歩行者を精度良く検出することができる歩行者検出装置、及び、これを用いた交通制御システムを提供することを目的とする。

前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による歩行者検出装置は、白線が描かれた横断歩道上の歩行者を検出する歩行者検出装置であって、前記横断歩道の前記白線の領域を含む領域を撮像する撮像手段と、前記撮像手段から時間経過に従って順次得られる複数の画像の各々について、当該画像中の所定領域内において複数の直線を検出する直線検出手段と、前記直線検出手段により検出された前記複数の画像毎の前記複数の直線の、前記複数の画像間での変化に基づいて、前記歩行者の有無を判定する判定手段と、を備えたものである。

横断歩道の白線の外形線は、複数の直線からなる。そして、横断歩道上に歩行者が存在すれば、横断歩道の白線の領域を含む領域を撮像した画像において、当該歩行者によって前記直線の一部が遮られ、その遮られる具合が変化する。したがって、前記画像中の直線の長さ等の変化に基づいて、横断歩道上の歩行者を検出することができる。

前記第１の態様によれば、前記撮像手段、前記直線検出手段及び前記判定手段を備えているので、前述したような直線の変化に着目した全く新しい歩行者検出原理に従って、横断歩道上の歩行者を精度良く検出することができる。

第２の態様による歩行者検出装置は、前記第１の態様において、前記直線検出手段は、前記複数の画像の各々について、当該画像中の前記所定領域内において前記複数の直線をハフ変換処理により検出するものである。

画像中の直線の検出をハフ変換処理により行うと、線の一部が遮られていても精度良く検出でき、しかも、ハフ変換処理自体は周知の処理であって比較的簡単な処理である。したがって、前記第２の態様によれば、画像中の直線がハフ変換処理により検出されるので、横断歩道上の歩行者を比較的簡単な処理でより精度良く検出することができる。もっとも、前記第１の態様では、ハフ変換処理以外の処理によって直線を検出してもよい。

第３の態様による歩行者検出装置は、前記第２の態様において、前記直線検出手段は、前記複数の画像の各々について、前記ハフ変換処理の前に当該画像中の前記所定領域の画像に対してエッジ検出処理を行うエッジ検出処理手段を含み、前記直線検出手段は、前記複数の画像の各々について、前記エッジ検出処理手段によりエッジ検出処理された画像に対して前記ハフ変換処理を行うものである。

この第３の態様によれば、ハフ変換処理の前にエッジ検出処理を行うので、より精度良く直線を検出することができ、ひいては、より精度良く横断歩道上の歩行者を検出することができる。

第４の態様による歩行者検出装置は、前記第２又は第３の態様において、前記複数の直線は、前記白線が延びる方向を含む所定角度範囲内の方向の直線であるものである。

横断歩道の白線の領域を含む領域の画像における直線としては、前記白線が延びる方向の直線の成分が多い。また、歩行者は、横断歩道上において白線が延びる方向と交差する方向へ移動する。したがって、検出した直線の変化として歩行者をより精度良く捉えるためには、検出する直線の方向を、前記白線が延びる方向にすることが好ましい。一方、検出する直線の方向を、前記白線が延びる方向のみとすれば、横断歩道の白線を描く際の誤差や撮像手段の視野の傾きの設定誤差等によって、本来検出すべき直線が検出し得なくなってしまい、却って、横断歩道上の歩行者を検出する精度が低下してしまう。

これらの理由で、前記第４の態様によれば、検出する前記複数の直線が、前記白線が延びる方向を含む所定角度範囲内の方向の直線であることから、横断歩道の白線を描く際の誤差や撮像手段の視野の傾きの設定誤差等に拘わらず、横断歩道上の歩行者をより精度良く検出することができる。

第５の態様による歩行者検出装置は、前記第２又は第３の態様において、前記複数の直線は、投票値の大きい順に選択された所定数の直線であるものである。

投票値（投票数）の大きい直線ほど、当該直線に（ある誤差範囲内で）載る画素数が多いことを意味する。前記第５の態様によれば、検出する複数の直線が、投票値の大きい順に選択された所定数の直線であるので、直線部分の総量がより大きい直線の変化が横断歩道上の歩行者の検出に用いられ、横断歩道上の歩行者をより精度良く検出することができる。

第６の態様による歩行者検出装置は、前記第２又は第３の態様において、前記複数の直線は、前記白線が延びる方向を含む所定角度範囲内の方向の直線のうち、投票値の大きい順に選択された所定数の直線であるものである。

この第６の態様によれば、前記第５の態様と同様の理由及び前記第６の態様と同様の理由の両方によって、横断歩道上の歩行者をより一層精度良く検出することができる。

第７の態様による歩行者検出装置は、前記第５又は第６の態様において、前記複数の画像は、第１の画像及び第２の画像であり、前記判定手段は、前記直線検出手段により検出された前記第１の画像の前記複数の直線の投票値と、前記直線検出手段により検出された前記第２の画像の前記複数の直線の投票値との間の、各画像における投票値の大きさの順序が同じもの同士の間の差分を、それぞれ取得し、前記判定手段は、前記取得された複数の差分が、第１及び第２の条件を満たす場合に、横断歩道上の歩行者が存在する旨の判定を行い、前記第１の条件は、前記取得された複数の差分のうちの２つ以上の差分の絶対値の平均値、あるいは、前記取得された複数の差分のうちの１つ以上の差分の絶対値が、ゼロよりも大きくかつ第１の所定値よりも小さいという条件であり、前記第２の条件は、前記取得された複数の差分の分散値又は標準偏差が、ゼロよりも大きい第２の所定値以上であるという条件であるものである。

この第７の態様は、前記判定手段による判定の具体例を挙げたものであるが、前記第１乃至第６の態様では、この例に限定されるものではない。前記第７の態様によれば、前記第１の条件を満たすことを必要条件として横断歩道上の歩行者を検出しているので、横断歩道上の車両を歩行者として誤って検出する可能性が低減され、横断歩道上の歩行者をより一層精度良く検出することができる。これは、一人又は複数人の歩行者よりも車両の方が面積が大きいことから、横断歩道上の車両は、横断歩道上の歩行者に比べて、直線を遮る量が大きくなることが多いことに基づいている。また、前記第７の態様によれば、前記第２の条件を満たすことを必要条件として横断歩道上の歩行者を検出しているので、背景の影響を十分に抑えることができ、横断歩道上の歩行者をより一層精度良く検出することができる。これは、横断歩道上に移動体が存在しなければ、前記分散値又は標準偏差がゼロ又はゼロに近くなるのに対し、横断歩道上に歩行者が存在すれば、歩行者は移動体であるので、前記分散値又は標準偏差がゼロでなくなり所定値以上の値となることに基づいている。

第８の態様による交通制御システムは、前記第１乃至第７のいずれかの態様による歩行者検出装置と、前記歩行者検出装置による前記歩行者の検出結果に基づいて、交通信号機を制御する信号制御装置と、を備えたものである。

この第８の態様によれば、横断歩道上の歩行者を精度良く検出することができる前記第１乃至第７のいずれかの態様による歩行者検出装置が用いられ、その歩行者の検出結果に基づいて、交通信号機が制御されるので、より適切な交通信号機の制御を実現することができる。

本発明によれば、従来とは全く異なる原理に従って、横断歩道上の歩行者を精度良く検出することができる歩行者検出装置、及び、これを用いた交通制御システムを提供することができる。

本発明の一実施の形態による交通制御システムを示す概略ブロック図である。 図１中の歩行者検出装置の動作を示す概略フローチャートである。 図１中のカメラにより撮像された画像の一例を模式的に示す図である。 図１中のカメラにより撮像された画像の他の例を模式的に示す図である。 図１中のカメラにより撮像された画像の更に他の例を模式的に示す図である。 処理対象領域の一例を示す図である。 ハフ変換処理の原理を説明するためのｘ−ｙ平面図である。 ハフ変換処理の原理を説明するためのθ−ρ平面図である。 ハフ変換処理により検出された３本の直線の例を示す図である。 横断歩道上に歩行者も車両を存在しない場合の各差分値の例を示す図である。 横断歩道上に歩行者も車両を存在しない状態から横断歩道上に車両が存在する状態へ変化した場合と、横断歩道上に車両が存在する状態から横断歩道上に歩行者も車両を存在しない状態へ変化した場合の、各差分値の例を示す図である。 横断歩道上に歩行者も車両を存在しない状態から横断歩道上に歩行者が現れて手前側から奥側へ横断歩道上を歩行していく場合の、各差分値の例を示す図である。

以下、本発明による歩行者検出装置及び交通制御システムについて、図面を参照して説明する。

図１は、本発明の一実施の形態による交通制御システム１を示す概略ブロック図である。

本発明による交通制御システム１は、白線Ｗ１〜Ｗ４（後述する図３等参照）が描かれた横断歩道上の歩行者１０１（後述する図５参照）を検出する歩行者検出装置１１と、歩行者検出装置１１からの歩行者検出結果としての歩行者検出信号に基づいて、歩行者用交通信号機１３及び車両用交通信号機１４を制御する信号制御装置１２と、を備えている。

信号制御装置１２は、例えば、歩行者用交通信号機１３が青信号の場合において、当該歩行者用交通信号機１３に対応する横断歩道上の歩行者が検出された旨を示す歩行者検出信号を受けなければ、当該歩行者用交通信号機１３の青時間が所定時間となるように、歩行者用交通信号機１３を制御する一方で、歩行者用交通信号機１３が青信号の場合において、当該歩行者用交通信号機１３に対応する横断歩道上の歩行者が検出された旨の歩行者検出信号を受けると、当該歩行者用交通信号機１３の青時間が前記所定時間よりも長い時間となるように、歩行者用交通信号機１３を制御する。このとき、信号制御装置１２は、車両用交通信号機１４が歩行者用交通信号機１３の動作に適合する動作を行うように、車両用交通信号機１４を制御する。もっとも、信号制御装置１２は、このようないわゆる青時間延長制御に限らず、歩行者検出信号に基づいて他の制御を行ってもよい。また、歩行者検出装置１１からの歩行者検出信号の用途は、信号制御装置１２による交通信号機１３，１４の制御に限らず、他の用途に用いてもよいし、他の装置（例えば、交通管理センターの装置など）へ出力するようにしてもよい。

本実施の形態では、歩行者検出装置１１は、前記横断歩道の白線Ｗ１〜Ｗ４の領域を含む領域を撮像する撮像手段としてのＣＣＤカメラ等のカメラ２１と、カメラ２１からの画像アナログ信号を画素ごとに所定階調のデジタル信号に変換するＡ／Ｄ変換器２２と、デジタル信号に変換された画像（画像信号）を記憶する画像メモリ２３と、画像メモリ２３からの画像に対して後述する処理を行う処理部２４とを備えている。図面には示していないが、処理部２４は、後述する動作を実現するように、マイクロコンピュータ及び他の電子回路等で構成されている。

カメラ２１は、図面には示していないが、例えば、歩行者用交通信号機１３を支持する支柱上に設置される。カメラ２１が撮像する画像の各例を図３乃至図５に示している。これらの例では、カメラ２１は、横断歩道を真正面の斜め上方から俯瞰して横断歩道の領域を撮像しており、横断歩道の４本の白線Ｗ１〜Ｗ４の領域を含む領域を撮像し、白線Ｗ１〜Ｗ４の外形線のうちの白線Ｗ１〜Ｗ４の長辺をなす外形線がカメラ２１の視野（撮像画像）における水平線（すなわち、横方向）と一致している。なお、白線Ｗ１〜Ｗ４の長辺が延びる方向が、白線Ｗ１〜Ｗ４が延びる方向であり、歩行者が横断する（移動する）方向と交差している。

カメラ２１は、必ずしも横断歩道の全体を撮像する必要はなく、横断歩道の一部の領域のみ撮像するようにしてもよく、例えば、横断歩道の３本の白線Ｗ１〜Ｗ３の領域を撮像する一方で、白線Ｗ４の領域は撮像しないように、カメラ２１の視野を設定してもよい。また、カメラ２１は、横断歩道を必ずしも真正面から撮像する必要はなく、例えば、横断歩道を斜め側方かつ斜め上方から撮像し、白線Ｗ１〜Ｗ４の長辺をなす白線Ｗ１〜Ｗ４の外形線が、カメラ２１の視野（撮像画像）における水平線（すなわち、横方向）に対して傾くようになっていてもよい。

図３は、横断歩道上に歩行者１０１も車両１００も存在しない場合において、カメラ２１により撮像された画像の例を、模式的に示す図である。図４は、横断歩道上に車両１００が存在する場合において、カメラ２１により撮像された画像の例を、模式的に示す図である。図５は、横断歩道上に歩行者１０１が存在する場合において、カメラ２１により撮像された画像の例を、模式的に示す図である。

次に、本実施の形態における歩行者検出装置１１の動作について、図２を参照して説明する。

まず、初期設定として、カメラ２１が撮像する画像中における処理対象領域Ｒを設定する（ステップＳ１）。この設定は、歩行者検出装置１１を設置する際に行われる。この設定は、例えば、処理部２４にパーソナルコンピュータを接続し、そのパーソナルコンピュータにカメラ２１からの撮像画像を表示させ、設定者がその画像を見ながらマウス等により処理対象領域を指示することで、その処理対象領域Ｒを示す情報が処理部２４の内部メモリ（図示せず）に格納されるようにすることによって、行うことができる。なお、処理対象領域Ｒの設定後にパーソナルコンピュータは取り外される。処理対象領域Ｒは、例えば、横断歩道の領域を含みそれよりも若干大きい領域に設定される。図６は、処理対象領域Ｒの一例を示す図であり、台形の領域となっている。図６では、図１と同じ画像中に、処理対象領域Ｒが破線で記載されている。

次に、処理部２４は、カメラ２１からの画像を１枚サンプリングし（ステップＳ２）、サンプリングした画像を画像メモリ２３に格納させる。

次いで、処理部２４は、ステップＳ１でサンプリングした画像中の処理対象領域Ｒに対して、Sobelフィルタなどを用いてエッジ検出処理を行う（ステップＳ３）。このとき、処理対象領域Ｒに対してのみエッジ検出処理が行われるので、他の領域のエッジは抽出されない。

引き続いて、処理部２４は、ステップＳ３で得られたエッジ画像を２値化する（ステップＳ４）。この２値化は、予め設定していた固定閾値を用いて行ってもよいし、各種の可変閾値決定手法を用いて行ってもよい。

その後、処理部２４は、ステップＳ４で得られた画像に対してハフ（Hough）変換処理を行い、処理対象領域Ｒ内の複数本の直線を検出し、検出された各直線を示すパラメータρ，θと、当該各直線の投票値とを得る（ステップＳ５）。本実施の形態では、３本の直線を検出するが、２本の直線を検出してもよいし、４本以上の直線を検出してもよい。ただし、本実施の形態では、処理対象領域Ｒ内の白線Ｗ１〜Ｗ４の外形のうちの長辺をなす直線（画像中の横線）は８本であるので、ステップＳ５で検出する直線の本数は、８本以下に設定される。

ここで、図７及び図８を参照して、このハフ変換処理について簡単に説明する。図７及び図８は、ハフ変換処理の原理を一般的に説明するためのものであり、カメラ２１が撮像する画像内容と直接一致するものではない。図７は、ｘ−ｙ平面での直線を示す図である。ｘ−ｙ平面は撮像された画像の座標系であり、各画素に（ｘ，ｙ）の座標が与えられる。ｘ軸方向は、カメラ２１の視野の水平方向（横方向）と一致している。ある座標（ｘ_ｉ，ｙ_ｉ）を通る直線群は、ρ＝xｉcosθ＋yｉsinθの式で表される。

ここで、ρ，θは原点から直線への距離と角度である。前記式をρ，θに関する方程式と考え、その軌跡をθ−ρ空間に描くと図８のようになる。こうした軌跡をハフ曲線という。ステップＳ４で得られた画像の各画素に対し、この写像を行い、θ−ρ空間に描いていく。図７の（ａ，ｂ）はθ−ρ空間では、ρ＝ａcosθ＋ｂsinθの式で表される曲線となる。

多くのハフ曲線が交差する点は同一直線上に多数の特徴点が載っていることを示している。θ−ρ空間内のハフ曲線上の１点で、交差本数の多い点を（ρ_０，θ_０）としたとき、（ρ_０，θ_０）を用いた式、すなわち、ρ_０＝ｘcosθ_０＋ｙsinθ_０によって定義される直線が画像中に存在するとみなすことができる。

理解を容易にするため、図８では、ハフ曲線の交差本数が多い点が１点であるものとし、ステップＳ４で得られた画像中には、１本の直線しか存在しないものとしている。実際には、ステップＳ４で得られた画像中には複数の直線が存在するため、ハフ曲線の交差本数が多い点は複数点となる。ハフ曲線の交差本数は、その交差点（すなわち、θ−ρ空間におけるその点が示す直線）の投票値（投票数）に相当している。投票値の大きい直線ほど、ステップＳ４で得られた画像中の画素のうち当該直線に（ある誤差範囲内で）載る画素数の数が多いことを意味する。

本実施の形態では、ステップＳ５において、処理部２４は、ステップＳ４で得られた画像中の、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線のうち、投票値の大きい順に選択された所定数（本実施の形態では、３本）の直線を、検出する。すなわち、処理部２４は、白線Ｗ１〜Ｗ４の長辺の方向（角度）の設定目標値（本実施の形態では、９０゜）をθｒとし、Δθ１，Δθ２をそれぞれ所定値とするとき、θｒ−Δθ１≦θ≦θｒ＋Δθ２を満たすθ−ρ空間内の点のうち、投票値の大きい順に所定数の点（すなわち、所定数の直線）を選択する。Δθ１＝Δθ２でもよいし、Δθ１≠Δθ２でもよい。Δθ１，Δθ２は、例えば、１゜〜１０゜程度に設定することができる。これにより、白線Ｗ１〜Ｗ４の図中の左側の短辺のなす斜めの直線や白線Ｗ１〜Ｗ４の図中の右側の短辺のなす斜めの直線は、ステップＳ５での検出対象から除外される。一方、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線が検出対象とされるので、横断歩道の白線Ｗ１〜Ｗ４を描く際の誤差やカメラ２１の視野の傾きの設定誤差等があっても、白線Ｗ１〜Ｗ４の長辺をなす直線は検出対象とされる。

例えば、ステップＳ２でサンプリングされた画像が図３に示す画像である場合には、ステップＳ５において、図９に示すように、前記所定範囲内の方向の直線のうち投票値が１番目に大きい直線Ｌ１として、前記所定範囲内の方向の直線のうち１番目に直線成分の多い白線Ｗ１の手前側の長辺に相当する直線が検出され、前記所定範囲内の方向の直線のうち投票値が２番目に大きい直線Ｌ２として、前記所定範囲内の方向の直線のうち２番目に直線成分の多い白線Ｗ１の奥側の長辺に相当する直線が検出され、前記所定範囲内の方向の直線のうち投票値が３番目に大きい直線Ｌ３として、前記所定範囲内の方向の直線のうち３番目に直線成分の多い白線Ｗ２の手前側の長辺に相当する直線が検出される。

なお、本発明では、ステップＳ５において、ステップＳ４で得られた画像に対してハフ変換処理を行い、処理対象領域Ｒ内の複数本の直線を検出し、検出された各直線を示すパラメータρ，θと、当該各直線の投票値とを得るための具体的な処理内容は、必ずしも前述した処理内容に限らない。例えば、ステップＳ５において、処理部２４は、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線であるという制約を課すことなく、投票値の大きい順に選択された所定数の直線を、検出してもよい。また、例えば、ステップＳ５において、処理部２４は、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線のうち、図９中の直線Ｌ１のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線と、図９中の直線Ｌ２のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線と、図９中の直線Ｌ３のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線とを、前記複数本の直線として検出してもよい。また、例えば、ステップＳ５において、処理部２４は、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線であるという制約を課すことなく、図９中の直線Ｌ１のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線と、図９中の直線Ｌ２のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線と、図９中の直線Ｌ３のρに対して一定範囲内のρを持つ直線のうちで最も大きい投票値の直線とを、前記複数本の直線として検出してもよい。これらの点は、後述するステップＳ９についても同様である。

ステップＳ５の後、処理部２４は、カメラ２１からの画像を新たに１枚サンプリングし（ステップＳ６）、今回サンプリングした画像を画像メモリ２３に格納させる。カメラ２１からの画像のサンプリング間隔（前回サンプリングした画像の撮像時点と今回サンプリングした画像の撮像時点との間の時間間隔）は、必ずしもカメラ２１のフレームレートの逆数に限らず、例えば、カメラ２１のフレームレートの逆数の複数倍にし、カメラ２１が撮像する画像を間引いてサンプリングしてもよい。

次に、処理部２４は、ステップＳ３と同様に、ステップＳ６で今回サンプリングした画像中の処理対象領域Ｒに対して、Sobelフィルタなどを用いてエッジ検出処理を行う（ステップＳ７）。

引き続いて、処理部２４は、ステップＳ４と同様に、ステップＳ７で得られたエッジ画像を２値化する（ステップＳ８）。

その後、処理部２４は、ステップＳ５と同様に、ステップＳ８で得られた画像に対してハフ（Hough）変換処理を行い、処理対象領域Ｒ内の複数本の直線を検出し、検出された各直線を示すパラメータρ，θと、当該各直線の投票値とを得る（ステップＳ９）。すなわち、本実施の形態では、ステップＳ９において、ステップＳ５と同様に、処理部２４は、ステップＳ４で得られた画像中の、白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）を含む所定角度範囲内の方向の直線のうち、投票値の大きい順に選択された所定数（本実施の形態では、３本）の直線を、検出する。例えば、ステップＳ６でサンプリングされた画像が図３に示す画像である場合には、ステップＳ９において、図９に示すように、前記所定範囲内の方向の直線のうち投票値が１番目に大きい直線Ｌ１として、前記所定範囲内の方向の直線のうち１番目に直線成分の多い白線Ｗ１の手前側の長辺に相当する直線が検出され、前記所定範囲内の方向の直線のうち投票値が２番目に大きい直線Ｌ２として、前記所定範囲内の方向の直線のうち２番目に直線成分の多い白線Ｗ１の奥側の長辺に相当する直線が検出され、前記所定範囲内の方向の直線のうち投票値が３番目に大きい直線Ｌ３として、前記所定範囲内の方向の直線のうち３番目に直線成分の多い白線Ｗ２の手前側の長辺に相当する直線が検出される。

次に、処理部２４は、ステップＳ６で今回サンプリングされた画像（今回の画像（第１の画像））とステップＳ１又は前回のステップＳ６で前回サンプリングされた画像（前回の画像（第２の画像））との間における対応する３本の直線Ｌ１，Ｌ２，Ｌ３の投票値同士の各差分ΔＰ１，ΔＰ２，ΔＰ３を算出する（ステップＳ１０）。すなわち、処理部２４は、前回の画像についてステップＳ５又は前回のステップＳ９で検出された直線Ｌ１（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が１番目に大きい直線）の投票値から、今回の画像について今回のステップＳ９で検出された対応する直線Ｌ１（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が１番目に大きい直線）の投票値を減算した値を、差分ΔＰ１として算出する。また、処理部２４は、前回の画像についてステップＳ５又は前回のステップＳ９で検出された直線Ｌ２（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が２番目に大きい直線）の投票値から、今回の画像について今回のステップＳ９で検出された対応する直線Ｌ２（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が２番目に大きい直線）の投票値を減算した値を、差分ΔＰ２として算出する。さらに、処理部２４は、前回の画像についてステップＳ５又は前回のステップＳ９で検出された直線Ｌ３（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が３番目に大きい直線）の投票値から、今回の画像について今回のステップＳ９で検出された対応する直線Ｌ３（本実施の形態では、前記所定範囲内の方向の直線のうち投票値が３番目に大きい直線）の投票値を減算した値を、差分ΔＰ３として算出する。

ここで、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３が、どのような値を示すかについて、場合分けして説明する。

横断歩道上に歩行者１０１も車両１００も存在しない場合に撮像された画像（図３及び図９参照）では、白線Ｗ１，Ｗ２等は遮られないので、この画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値は大きくなる。

今回の画像も前回の画像も、横断歩道上に歩行者１０１も車両１００も存在しない場合に撮像された画像（図３及び図９参照）であれば、今回の画像で検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値と前回の画像で検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値とは、それぞれ実質的に同じであるため、図１０に示すように、差分ΔＰ１，ΔＰ２，ΔＰ３はいずれも、ゼロ又はゼロに近い値となる。図１０は、今回の画像も前回の画像も、横断歩道上に歩行者１０１も車両１００も存在しない場合に撮像された画像である場合の、各差分ΔＰ１，ΔＰ２，ΔＰ３の値を示す図である。

横断歩道上に車両１００が存在する場合に撮像された画像（図４参照）では、車両１００の面積は一人又は複数人の歩行者１０１よりも面積が大きいことから、横断歩道上の車両１００は、白線Ｗ１，Ｗ２等を一度に大きく遮ることが多いので、この画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値は大幅に小さくなることが多い。勿論、車両１００が横断歩道上に差し掛かり始めた場合や、車両１００が横断歩道を抜けきる直前である場合には、車両１００は白線Ｗ１，Ｗ２等を小さくしか遮らず、その画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値は少し小さくなるだけであるが、そのような状況が生ずる確率は低い。

今、横断歩道上に歩行者１０１も車両１００も存在しない状態（第１の状態）から、車両１００が横断歩道上に進入して車両１００が白線Ｗ１，Ｗ２等を比較的大きく遮っている状態（第２の状態）を経て、その後に、車両が１００が横断歩道を抜けきって、横断歩道上に歩行者１０１も車両１００も存在しない状態（第３の状態）に戻る状況を考える。このとき、前々回の画像が前記第１の状態で撮像され、前回の画像が前記第２の状態で撮像され、今回の画像が前記第３の状態で撮像されると、前々回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値はいずれも大きくなり、前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値はいずれも一度に大幅に小さくなり、今回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値はいずれも一度に大きくなる。したがって、前々回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値と前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値同士との間の各差分ΔＰ１，ΔＰ２，ΔＰ３は、図１１（ａ）に示すように、いずれも絶対値の大きな正の値となり、前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値と今回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値同士との間の各差分ΔＰ１，ΔＰ２，ΔＰ３は、図１１（ｂ）に示すように、いずれも絶対値の大きな負の値となる。

図１１（ａ）は、前々回の画像が前記第１の状態で撮像された画像であるとともに前回の画像が前記第２の状態で撮像された画像である場合の、各差分ΔＰ１，ΔＰ２，ΔＰ３の値を示す図である。なお、ここでの前々回の画像は、前述したステップＳ１０の説明における前回の画像に相当し、ここでの前回の画像は、前述したステップＳ１０の説明における今回の画像に相当している。図１１（ｂ）は、前回の画像が前記第２の状態で撮像された画像であるとともに今回の画像が前記第３の状態で撮像された画像である場合の、各差分ΔＰ１，ΔＰ２，ΔＰ３の値を示す図である。

横断歩道上に歩行者１０１が存在する場合に撮像された画像（図４参照）では、歩行者１０１の面積は歩行者１０１が一人であっても複数人であっても車両１００の面積よりも小さいことから、横断歩道上の歩行者１０１は、白線Ｗ１，Ｗ２等を小さく遮る。しかも、横断歩道上の歩行者１０１の速度は低いので、一人一人の歩行者１０１は、白線Ｗ１〜Ｗ４の長辺の線を一度にではなく逐次的に遮っていくことになる。したがって、横断歩道上に歩行者１０１がいれば、その人数が一人でも複数人でも、時間経過に従って、白線Ｗ１〜Ｗ４の長辺をなす線のうち歩行者１０１によって遮られていく長辺をなす線が変化していき、しかも、歩行者１０１により各線が遮られる量は小さい。

今、一人の歩行者１０１が横断歩道を図５中の手前側から奥側へ横断していく場合において、横断歩道上に歩行者１０１も車両１００も存在しない状態（第１１の状態）から、歩行者１０１が白線Ｗ１の手前側の長辺のみを遮っている状態（第１２の状態）を経て、その後に、歩行者１０１が白線Ｗ１の手前側及び奥側の両側の長辺を遮っている状態（第１３の状態）となる状況を考える。このとき、前々回の画像が前記第１１の状態で撮像され、前回の画像が前記第１２の状態で撮像され、今回の画像が前記第１３の状態で撮像されると、前々回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値はいずれも大きくなり、前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の投票値のうちの直線Ｌ１の投票値は少しだけ小さくなる一方で直線Ｌ２，Ｌ３の各投票値は大きいまま変わらず、今回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の投票値のうちの直線Ｌ１の投票値は少しだけ小さくなったまま変わらず、直線Ｌ２の投票値は少しだけ小さくなる一方で直線Ｌ３の投票値は大きいまま変わらない。したがって、前々回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値と前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値同士との間の各差分ΔＰ１，ΔＰ２，ΔＰ３は、図１２（ａ）に示すように、差分ΔＰ１が比較的小さな正の値となる一方で、差分ΔＰ２，ΔＰ３はほぼゼロとなり、前回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値と今回の画像から検出された直線Ｌ１，Ｌ２，Ｌ３の各投票値同士との間の各差分ΔＰ１，ΔＰ２，ΔＰ３は、図１２（ｂ）に示すように、差分ΔＰ２が比較的小さな正の値となる一方で、差分ΔＰ１，ΔＰ３はほぼゼロとなる。

以上の通りであるので、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３のうちの２つ以上の差分の絶対値の平均値、あるいは、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３のうちの１つ以上の差分の絶対値が、ゼロよりも大きくかつ第１の所定値Ａ（図１２（ａ）や図１２（ｂ）の状況などの横断歩道上に歩行者１０１がいる場合と、図１１（ａ）や図１１（ｂ）の状況などの横断歩道上に車両１００がいる場合とを、判別するための閾値）よりも小さいという第１の条件を満たすか否かによって、横断歩道上に歩行者１０１がいる場合（前記第１の条件を満たす場合）と横断歩道上に車両１００がいる場合（前記第１の条件を満たさない場合）とを、判別することができる。

また、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３の分散値Ｐｖ又は標準偏差がゼロよりも大きい第２の所定値Ｂ（図１２（ａ）や図１２（ｂ）の状況などの横断歩道上に歩行者１０１がいる場合と、図１０の状況などの横断歩道上に歩行者１０１も車両１００もいない場合とを、判別するための閾値）以上であるという第２の条件を満たすか否かによって、横断歩道上に歩行者１０１がいる場合（前記第２の条件を満たす場合）と横断歩道上に歩行者１０１も車両１００もいない場合（前記第２の条件を満たさない場合）とを、判別することができる。

したがって、前記第１の条件及び前記第２の条件を満たす場合に、横断歩道上の歩行者１０１が存在する旨の判定を行うことによって、横断歩道上の歩行者１０１を精度良く検出することができる。

本実施の形態では、ステップＳ１０の後に、処理部２４は、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３の絶対値の平均値Ｐａｖｅを算出する（ステップＳ１１）。

引き続いて、本実施の形態では、処理部２４は、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３の分散値Ｐｖを算出する（ステップＳ１２）。

次に、処理部２４は、ステップＳ１１で算出された平均値Ｐａｖｅがゼロより大きくかつ第１の所定値Ａより小さいという条件（第１の条件に相当）を満たすか否かを判定し（ステップＳ１３）、その条件を満たしていなければステップＳ１６へ移行する一方で、その条件を満たしていればステップＳ１４へ移行する。

なお、処理部２４は、ステップＳ１１において、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３のいずれか２つの差分の絶対値の平均値を算出し、ステップＳ１３において、その平均値がゼロより大きくかつ第１の所定値Ａより小さいという条件（第１の条件に相当）を満たすか否かを判定してもよい。あるいは、処理部２４は、ステップＳ１１を行うことなく、ステップＳ１３において、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３のうちの１つ以上差分の絶対値が、ゼロよりも大きくかつ第１の所定値Ａ小さいという条件（第１の条件に相当）を満たすか否かを判定してもよい。

ステップＳ１４において、処理部２４は、ステップＳ１２で算出された分散値Ｐｖがゼロより大きい第２の所定値Ｂ以上であるという条件（第２の条件に相当）を満たすか否かを判定し、その条件を満たしていなければステップＳ１６へ移行する一方で、その条件を満たしていればステップＳ１５へ移行する。

なお、処理部２４は、ステップＳ１２において、ステップＳ１０で算出された差分ΔＰ１，ΔＰ２，ΔＰ３の標準偏差を算出し、ステップＳ１４において、その標準偏差がゼロより大きい第２の所定値Ｂ以上であるという条件（第２の条件に相当）を満たすか否かを判定してもよい。

ステップＳ１５において、処理部２４は、横断歩道上の歩行者１０１が検出された旨を示す歩行者検出信号の出力を開始する。この歩行者検出信号は、図１中の信号制御装置１２に供給される。なお、既に歩行者検出信号が出力されている状態であれば、その出力を継続する。

ステップＳ１６において、処理部２４は、横断歩道上の歩行者１０１が検出された旨を示す歩行者検出信号の出力を停止する。なお、既に歩行者検出信号の
出力が停止されている状態であれば、その停止状態を継続する。

本実施の形態では、前述したステップＳ２〜Ｓ５及びステップＳ６〜Ｓ９が、カメラ２１から順次得られる複数の画像の各々について、当該画像中の所定領域Ｒ内において複数の直線Ｌ１，Ｌ２，Ｌ３を検出する直線検出手段としての機能に相当している。また、本実施の形態では、前述したステップＳ１０〜Ｓ１４が、前記直線検出手段により検出された前記複数の画像毎の前記複数の直線Ｌ１，Ｌ２，Ｌ３の、前記複数の画像間での変化に基づいて、横断歩道上の歩行者１０１の有無を判定する判定手段としての機能に相当している。もっとも、本発明では、前記直線検出手段や前記判定手段は、それらに限定されるものではない。本実施の形態では、前述したように、順次得られる２つの画像（今回の画像と前回の画像）間での変化に基づいて横断歩道上の歩行者１０１の有無を判定しているが、本発明では、順次得られる３つ以上の画像間での変化に基づいて横断歩道上の歩行者１０１の有無を判定してもよい。

横断歩道の白線Ｗ１〜Ｗ４の外形線は、複数の直線からなる。そして、前述したように、横断歩道上に歩行者１０１が存在すれば、横断歩道の白線Ｗ１〜Ｗ４の領域を含む領域を撮像した画像において、当該歩行者１０１によって前記直線の一部が遮られ、その遮られる具合が変化する。したがって、前記画像中の直線の長さ等の変化に基づいて、横断歩道上の歩行者を検出することができる。

本実施の形態によれば、前記撮像手段、前記直線検出手段及び前記判定手段を備えているので、前述したような直線の変化に着目した全く新しい歩行者検出原理に従って、横断歩道上の歩行者１０１を精度良く検出することができる。

画像中の直線の検出をハフ変換処理により行うと、線の一部が遮られていても精度良く検出でき、しかも、ハフ変換処理自体は周知の処理であって比較的簡単な処理である。したがって、本実施の形態によれば、画像中の直線がハフ変換処理により検出されるので、横断歩道上の歩行者１０１を比較的簡単な処理でより精度良く検出することができる。もっとも、本発明では、ハフ変換処理以外の処理によって直線を検出してもよい。

また、本実施の形態によれば、ハフ変換処理（ステップＳ５，Ｓ９）の前にエッジ検出処理（ステップＳ３，Ｓ７）を行うので、より精度良く直線を検出することができ、ひいては、より精度良く横断歩道上の歩行者１０１を検出することができる。

横断歩道の白線Ｗ１〜Ｗ４の領域を含む領域の画像における直線としては、前記白線Ｗ１〜Ｗ４が延びる方向（長辺の方向）の直線の成分が多い。また、歩行者１０１は、横断歩道上において白線Ｗ１〜Ｗ２が延びる方向と交差する方向へ移動する。したがって、検出した直線の変化として歩行者１０１をより精度良く捉えるためには、検出する直線の方向を、白線Ｗ１〜Ｗ４が延びる方向にすることが好ましい。一方、検出する直線の方向を、白線Ｗ１〜Ｗ４が延びる方向のみとすれば、横断歩道の白線Ｗ１〜Ｗ４を描く際の誤差やカメラ２１の視野の傾きの設定誤差等によって、本来検出すべき直線が検出し得なくなってしまい、却って、横断歩道上の歩行者を検出する精度が低下してしまう。

これらの理由で、本実施の形態によれば、検出する前記複数の直線が、白線Ｗ１〜Ｗ４が延びる方向を含む所定角度範囲内の方向の直線であることから、横断歩道の白線Ｗ１〜Ｗ４を描く際の誤差やカメラ２１の視野の傾きの設定誤差等に拘わらず、横断歩道上の歩行者１０１をより精度良く検出することができる。

また、本実施の形態によれば、前記第１の条件を満たすことを必要条件として横断歩道上の歩行者１０１を検出しているので、横断歩道上の車両１００を歩行者１０１として誤って検出する可能性が低減され、横断歩道上の歩行者１０１をより一層精度良く検出することができる。これは、前述したように、一人又は複数人の歩行者１０１よりも車両１００の方が面積が大きいことから、横断歩道上の車両１００は、横断歩道上の歩行者１０１に比べて、直線を遮る量が大きくなることが多いことに基づいている。

また、本実施の形態によれば、前記第２の条件を満たすことを必要条件として横断歩道上の歩行者を検出しているので、背景の影響を十分に抑えることができ、横断歩道上の歩行者１０１をより一層精度良く検出することができる。これは、前述したように、横断歩道上に移動体が存在しなければ、前記分散値Ｐｖ又は標準偏差がゼロ又はゼロに近くなるのに対し、横断歩道上に歩行者１０１が存在すれば、歩行者１０１は移動体であるので、前記分散値Ｐｖ又は標準偏差がゼロでなくなり所定値以上の値となることに基づいている。

本実施の形態による交通制御システム１では、横断歩道上の歩行者１０１を精度良く検出することができる歩行者検出装置１１が用いられ、その歩行者１０１の検出結果（歩行者検出信号）に基づいて、交通信号機１３，１４が制御されるので、より適切な交通信号機１３，１４の制御を実現することができる。

以上、本発明の実施の形態とその変形例について説明したが、本発明はこれらに限定されるものではない。

１ 交通制御システム
１１ 歩行者検出装置
１２ 信号制御装置
１３ 歩行者用交通信号機
１４ 車両用交通信号機
２１ カメラ
２４ 処理部

Claims (8)

1. 白線が描かれた横断歩道上の歩行者を検出する歩行者検出装置であって、
   前記横断歩道の前記白線の領域を含む領域を撮像する撮像手段と、
   前記撮像手段から時間経過に従って順次得られる複数の画像の各々について、当該画像中の所定領域内において複数の直線を検出する直線検出手段と、
   前記直線検出手段により検出された前記複数の画像毎の前記複数の直線の、前記複数の画像間での変化に基づいて、前記歩行者の有無を判定する判定手段と、
   を備えたことを特徴とする歩行者検出装置。
2. 前記直線検出手段は、前記複数の画像の各々について、当該画像中の前記所定領域内において前記複数の直線をハフ変換処理により検出することを特徴とする請求項１記載の歩行者検出装置。
3. 前記直線検出手段は、前記複数の画像の各々について、前記ハフ変換処理の前に当該画像中の前記所定領域の画像に対してエッジ検出処理を行うエッジ検出処理手段を含み、
   前記直線検出手段は、前記複数の画像の各々について、前記エッジ検出処理手段によりエッジ検出処理された画像に対して前記ハフ変換処理を行う、
   ことを特徴とする請求項２記載の歩行者検出装置。
4. 前記複数の直線は、前記白線が延びる方向を含む所定角度範囲内の方向の直線であることを特徴とする請求項２又は３記載の歩行者検出装置。
5. 前記複数の直線は、投票値の大きい順に選択された所定数の直線であることを特徴とする請求項２又は３記載の歩行者検出装置。
6. 前記複数の直線は、前記白線が延びる方向を含む所定角度範囲内の方向の直線のうち、投票値の大きい順に選択された所定数の直線であることを特徴とする請求項２又は３記載の歩行者検出装置。
7. 前記複数の画像は、第１の画像及び第２の画像であり、
   前記判定手段は、前記直線検出手段により検出された前記第１の画像の前記複数の直線の投票値と、前記直線検出手段により検出された前記第２の画像の前記複数の直線の投票値との間の、各画像における投票値の大きさの順序が同じもの同士の間の差分を、それぞれ取得し、
   前記判定手段は、前記取得された複数の差分が、第１及び第２の条件を満たす場合に、横断歩道上の歩行者が存在する旨の判定を行い、
   前記第１の条件は、前記取得された複数の差分のうちの２つ以上の差分の絶対値の平均値、あるいは、前記取得された複数の差分のうちの１つ以上の差分の絶対値が、ゼロよりも大きくかつ第１の所定値よりも小さいという条件であり、
   前記第２の条件は、前記取得された複数の差分の分散値又は標準偏差が、ゼロよりも大きい第２の所定値以上であるという条件である、
   ことを特徴とする請求項５又は６記載の歩行者検出装置。
8. 請求項１乃至７のいずれかに記載の歩行者検出装置と、
   前記歩行者検出装置による前記歩行者の検出結果に基づいて、交通信号機を制御する信号制御装置と、
   を備えたことを特徴とする交通制御システム。

Images