JP2006134339A

JP2006134339A - 識別方法、識別装置、及び交通制御システム

Info

Publication number: JP2006134339A
Application number: JP2005324072A
Authority: JP
Inventors: Hidenori Yamamoto; 英典山本; Masakatsu Higashikubo; 政勝東久保; Yoshiyo Tanaka; 佳代田中; Masanori Aoki; 正憲青木; Kenji Terada; 賢治寺田
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2005-11-08
Filing date: 2005-11-08
Publication date: 2006-05-25

Abstract

【課題】背景色及び計測対象物の色の近似による影響を低減してより高精度で計測対象物の有無または種別を認識することが可能な識別方法、及び識別装置を提供する。
【解決手段】画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域及び識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定する。予め基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成しておき、第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成し、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する。
【選択図】図１

Description

本発明は、撮像した画像データから計測対象物を識別する識別方法、識別装置及び交通制御システムに関し、特に横断歩道のゼブラゾーンを撮像した画像データから、歩行者または自動車の有無または種別を識別する識別方法、識別装置及び交通制御システムに関する。

交通流の円滑化及び歩行者の安全を目的として、交差点に設置されるカメラ等を用いて車両または歩行者を検出し、その検出結果に応じて信号機を制御する交通制御システムの開発が進んでいる。特許文献１には、画面内の動物体の移動を、スリットを通して取得し取得したスリット状動画像を配列して時間変化解析や形状解析を行う移動物体計数処理方法が開示されている。これは計数線から得られる画像データを時系列に配列して時空間画像を生成し、生成した時空間画像の形状を解析することにより移動物体を検出するものである。

さらに、特許文献２には道路の交差点に設置された信号機用支柱にカメラを設置し、このカメラにより、横断歩道を含む所定範囲の監視領域内の画像を撮像して、時間的に連続した画像として入力し、この入力画像の中から歩行者用信号機の近傍で横断のために待機している歩行者を抽出して、そのときに得られる様々な情報（人数等）から車両用信号機、歩行者用信号機の制御を行う移動人物監視装置が開示されている。
特開平１０−６３８６３号公報特開平１１−２７５５６２号公報

しかしながら、特許文献２に開示された移動人物監視装置は、単純な背景差分画像及び時間差分画像に基づいて、歩行者検出を行っているため、模様のない服装の人物、または背景色に類似する服装の人物を検出することが困難であった。また、特許文献１に開示された移動物体計数処理方法は、計数線上に出力される計測対象物の輝度または色が、計測対象物が存在しない道路上の輝度または色に近似している場合、差分が生じず、移動物体の検出精度が低くなるという問題があった。横断歩道を歩行する歩行者の検出に失敗し、誤って信号機を制御した場合、重大事故につながる虞もあり、より高精度で道路上を移動する計測対象物の有無または種別を識別することが可能な識別装置の開発が望まれていた。

本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、識別領域から得られる画像データに基づき特定される特性値が所定値以上相違する第１の識別領域と第２の識別領域とを設けて時空間画像を生成し、さらに基準となる基準時空間画像から差分時空間画像を生成して、該差分時空間画像を解析することにより、背景色及び計測対象物の色の近似による影響を低減してより高精度で計測対象物の有無または種別を認識することが可能な識別方法、及び識別装置を提供することにある。

また、本発明の他の目的は、第１の識別領域及び第２の識別領域からなる一組の識別領域を複数組設け、この組間を移動する計測対象物を識別して計測対象物の速度を計測して、信号の切り換え時間を制御することにより、交通流を円滑にすることが可能な識別装置を提供することにある。

さらに、本発明の他の目的は、信号制御装置、電光表示板、交通管制センタ等に識別した計測対象物の有無または種別に関する情報を出力することにより、歩行者、及びドライバーが安全に歩行または運転することが可能な識別装置及び交通制御システムを提供することにある。

本発明に係る識別方法は、撮像部から取り込んだ画像データから計測対象物を識別する識別方法において、前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定するステップと、識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定するステップと、前記第１の識別領域及び第２の識別領域から得られる画像データに基づいて、予め基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成しておくステップと、前記第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成するステップと、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別ステップとを備えることを特徴とする。

本発明に係る識別方法は、撮像部から取り込んだ画像データから計測対象物を識別する識別方法において、前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定するステップと、識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定するステップと、予め基準となる第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを記憶するステップと、前記第１の識別領域から得られる画像データ及び前記記憶した第１基準画像データに基づいて第１時空間画像を生成するステップと、前記第２の識別領域から得られる画像データ及び前記記憶した第２基準画像データに基づいて第２時空間画像を生成するステップと、生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成するステップと、生成した差分時空間画像に基づき計測対象物の有無または種別を識別するステップとを備えることを特徴とする。

本発明に係る識別装置は、撮像部から取り込んだ画像データから計測対象物を識別する識別装置において、前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定する手段と、識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定する手段と、前記第１の識別領域及び第２の識別領域から得られる画像データに基づいて、基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成する手段と、前記第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成する手段と、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別手段とを備えることを特徴とする。

本発明に係る識別装置は、撮像部から取り込んだ画像データから計測対象物を識別する識別装置において、前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定する手段と、識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定する手段と、予め基準となる第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを記憶する手段と、前記第１の識別領域から得られる画像データ及び前記記憶した第１基準画像データに基づいて第１時空間画像を生成する手段と、前記第２の識別領域から得られる画像データ及び前記記憶した第２基準画像データに基づいて第２時空間画像を生成する手段と、生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成する手段と、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別手段とを備えることを特徴とする。

本発明に係る識別装置は、前記特性値は、識別領域における明度平均値であり、前記第１の識別領域の明度平均値と、前記第２の識別領域の明度平均値との差が所定値以上相違するよう構成してあることを特徴とする。

本発明に係る識別装置は、第１の識別領域及び第２の識別領域を一組として、複数組の第１の識別領域及び第２の識別領域を設定する手段と、前記識別手段にて計測対象物を識別した場合、各組における計測対象物の識別時刻及び各組の識別領域間の距離に基づいて計測対象物の移動速度を算出する手段とを更に備えることを特徴とする。

本発明に係る識別装置は、前記識別手段により識別した計測対象物の有無または種別に関する情報を外部へ出力する手段を更に備えることを特徴とする。

本発明に係る交通制御システムは、上述の識別装置及び該識別装置に接続される信号機制御装置からなる交通制御システムにおいて、前記識別装置は、前記識別手段により識別した計測対象物の有無または種別に関する情報を前記信号機制御装置へ出力する手段を更に備え、前記信号機制御装置は、前記識別装置から出力された情報に基づいて、信号機の切り換え時間を制御する手段を備えることを特徴とする。

本発明にあっては、撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域及び第２の識別領域を設定する。第２の識別領域の画像データに基づき特定される特性値は、第１の識別領域の特性値とは所定値以上相違するよう設定する。例えば、特性値を識別領域の明度平均値とした場合、第１の識別領域の明度平均値と、第２の識別領域の明度平均値との差が所定値以上相違する様に設定する。または、第１の識別領域を、横断歩道の白線部分、すなわち歩行者が横断する方向へ並設された横断歩道の白線部分に対応する画素群を領域とし、第２の識別領域を、前記白線以外の部分に対応する画素群を領域とするよう設定する。

計測対象が存在しないタイミングで、第１の識別領域及び第２の識別領域から得られる画像データに基づいて、予め基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成しておく。そして、第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成する。または、計測対象物が存在しない状態で、第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを予め記憶しておき、第１の識別領域から時系列で得られるそれぞれの画像データから第１基準画像データとの差分をとることで第１時空間画像を生成する。同様に第２の識別領域についても、第２の識別領域から時系列で得られるそれぞれの画像データから記憶した第２基準画像データとの差分をとることで、第２時空間画像を生成する。最後に、これら生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成する。そして、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する。識別は、例えば差分時空間画像のヒストグラム解析、エッジ検出、フーリエ解析等を行うことにより、計測対象物の有無、車両または歩行者の種別を識別する。

つまり、白線上では、白色の服を着ている歩行者、または白色系統の車両の認識は困難であるが、黒色または中間色の服を着ている歩行者または黒、中間色系統の車両の認識は容易である。その一方で、白線以外の部分、つまり道路上では、黒（特に灰色）または中間色の服を着ている歩行者または黒、中間色系統の車両の認識は困難であるが、白色の服を着ている歩行者、または白色系統の車両の認識は容易である。このように、横断歩道のゼブラゾーンを利用し、いずれか一方の識別領域の欠点を補うようこれらを合成した差分時空間画像を生成して、識別を行うようにしたので、計測対象物の色の影響を受けにくく高精度で計測対象物の有無または種別を認識することが可能となる。

本発明にあっては、第１の識別領域及び第２の識別領域を一組として、複数組の第１の識別領域及び第２の識別領域を設定する。そして、計測対象物を識別した場合、各組における計測対象物の識別時刻及び各組の識別領域間の距離に基づいて計測対象物の移動速度を算出するようにしたので、歩行者の走行速度を検出でき、お年寄りと判断した場合、信号の切り換え時間を長く制御し、走行速度が速い場合、信号の切り換え時間を短く制御して車両の走行を優先する。これにより、交通流を円滑にすることができ、また歩行者の安全を図ることが可能となる。

本発明にあっては、識別した計測対象物の有無または種別に関する情報を外部へ出力する。例えば、これらの情報を信号機制御装置へ出力することにより、信号機制御装置は、信号機の切り換え時間を制御する。また、歩行者と識別した場合、電光掲示板、車載器へ「歩行者有り」等の情報を出力し、または車両と識別した場合は、「自動車接近」等の情報を携帯端末へ出力するようにしたので、歩行者、及びドライバーが安全に歩行または運転することが可能となる。

本発明にあっては、撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域及び第２の識別領域を設定する。第２の識別領域の画像データに基づき特定される特性値は、第１の識別領域の特性値とは所定値以上相違するよう設定する。計測対象が存在しないタイミングで、第１の識別領域及び第２の識別領域から得られる画像データに基づいて、予め基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成しておく。そして、第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成する。または、計測対象物が存在しない状態で、第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを予め記憶しておき、第１の識別領域から時系列で得られるそれぞれの画像データから第１基準画像データとの差分をとることで第１時空間画像を生成する。同様に第２の識別領域についても、第２の識別領域から時系列で得られるそれぞれの画像データから記憶した第２基準画像データとの差分をとることで、第２時空間画像を生成する。最後に、これら生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成する。そして、生成した差分時空間画像に基づき計測対象物の有無または種別を識別する。

このように、横断歩道のゼブラゾーンを利用し、いずれか一方の識別領域の欠点を補うようこれらを合成した差分時空間画像を生成して、識別を行うようにしたので、計測対象物の色の影響を受けにくく高精度で計測対象物の有無または種別を認識することが可能となる。

本発明にあっては、識別した計測対象物の有無または種別に関する情報を外部へ出力する。例えば、これらの情報を信号機制御装置へ出力することにより、信号機制御装置は、信号機の切り換え時間を制御する。また、歩行者と識別した場合、電光掲示板、車載器へ「歩行者有り」等の情報を出力し、または車両と識別した場合は、「自動車接近」等の情報を携帯端末へ出力するようにしたので、歩行者、及びドライバーが安全に歩行または運転することが可能となる等、本発明は優れた効果を奏し得る。

実施の形態１
以下本発明を実施の形態を示す図面に基づいて詳述する。
図１は本発明に係る交通制御システムの概要を示す模式図である。図においてＳは横断歩道の終端に設けられる歩行者用の信号機であり、信号機制御装置３の制御に従い、信号機Ｓの内部に設けられる発光素子（図示せず）を発光させる。信号機Ｓの近傍には横断歩道を撮像するＣＣＤ(Charge Couple Device)カメラ等の撮像部２が隣設されており、撮像部２から取り込まれた画像データは識別装置１へ入力される。

識別装置１は入力された画像データに基づいて計測対象物の有無または種別（歩行者または車両）を識別し、また必要に応じて信号機Ｓの制御時間を調整する。計測対象物の識別は一点鎖線で示す第１の識別領域に係る画像データ（画素群）及び二点鎖線で示す第２の識別領域に係る画像データ（画素群）を用いて処理する。第１の識別領域は横断歩道の白線部分、すなわち歩行者が横断する方向へ並設された横断歩道の白線部分に対応する画素群を領域とし、第２の識別領域を、前記白線以外の部分に対応する画素群を領域とするよう設定する。

図２は識別装置１のハードウェア構成を示すブロック図である。図に示すように、ＣＰＵ(Central Processing Unit)１１にはバス１７を介してＲＡＭ(Random Access Memory)１２，ハードディスク等の記憶部１５、信号機制御装置３等と情報を送受信するための通信部１６，液晶ディスプレイ等の表示部１４、及びキーボード、マウス、操作パネル等の入力部１３が接続される。ＲＡＭ１２には記憶部１５、表示部１４，及び入力部１３等を制御するための制御プログラム１２Ｐが記憶されている。

撮像部２から出力された映像信号はＡ／Ｄ変換部１９にてディジタル化され、ＹＣ分離部１０ＹＣにより輝度信号を画像データとして抽出する。画像データは１フィルード分の画像データをＲＡＭ１２に格納する。なお、時計部１８は日時データをＣＰＵ１１へ出力する。なお、本実施の形態においては画像データのうち輝度信号を用いるが、これに代えて色信号により処理するようにしても良い。

以上の構成において、本発明に係る識別装置の処理手順を、フローチャート等を用いて説明する。図３は初期設定の手順を示すフローチャートである。まず、第１の識別領域の設定を行う（ステップＳ３１）。図４は撮像部２から得られる画像データを表示部１４へ出力した場合のイメージを示す説明図である。画面の左右方向をＸ軸、上下方向をＹ軸とし、表示部１４へはＸ軸方向に１０２４の画素、Ｙ軸方向に７６８の画素からなる画像データを出力するよう構成している。

図４において、１０はＹ軸方向１画素、Ｘ軸方向５００画素からなる第１の識別領域であり、該第１の識別領域１０は、白線部分、すなわち歩行者が横断する方向（図の矢印方向）へ並設された横断歩道の白線部分に対応する画素群を領域としている。なお、第１の識別領域１０は一部分に白線以外の部分を含んでも良い。この第１の識別領域１０はオペレータが表示部１４を見ながら入力部１３から、座標値を指定することにより設定するようにすればよい。なお、後述するようにこの設定は自動的に設定させるようにしても良い。

続いて第２の識別領域２０の設定を行う（ステップＳ３２）。第２の識別領域２０は図４に示すように、前記白線以外の部分、すなわち歩行者が横断する方向（図の矢印方向）へ並設された横断歩道の白線以外の部分に対応する画素群を領域としている。この第２の識別領域２０についてもオペレータが表示部１４を見ながら入力部１３から、座標値を指定することにより設定するようにすればよい。なお、本実施の形態においては短辺を１画素とする矩形状の領域としたが、必ずしも短辺は１画素である必要はなく、また形状は矩形状以外の形状であっても良い。

識別領域の設定後、ＣＰＵ１１は第１の識別領域１０の画像データを数フレーム（例えば１００フレーム）分、ＲＡＭ１２に記憶して認識の基準となる第１基準時空間画像を生成する（ステップＳ３３）。具体的には第１識別領域１０の１フレーム分の明度データを時計部１８から出力される日時データに対応させてＲＡＭ１２に格納する。そして、これを１００フレーム分繰り返す。同様に第２の識別領域２０の画像データを数フレーム（例えば１００フレーム）分、ＲＡＭ１２に記憶して認識の基準となる第２基準時空間画像を生成する（ステップＳ３４）。以上の処理により、認識の基準となる第１基準時空間画像及び第２基準時空間画像が完成する。なお、基準時空間画像の生成は車両または歩行者が存在しない状態で実行する。

図５は生成した第１基準時空間画像及び第２基準時空間画像のイメージを示す説明図である。図５（ａ）は第１基準時空間画像、図５（ｂ）は第２基準時空間画像であり、横軸にＸ軸方向の画素位置をとり、縦軸にフレームを単位とする時間軸をとったものである。第１の基準時空間画像（図５（ａ））は白線に対応する画像を取り込んでいるので、全体的に明度の高い時空間画像が生成されている。一方、第２の時空間画像（図５（ｂ））はアスファルト部分に対応する画像を取り込んでいるので、全体的に明度の低い時空間画像が生成される。

ＣＰＵ１１は時計部１８から出力される日時データを参照して一定時間（例えば１時間）を経過したか否かを判断する（ステップＳ３５）。つまり、時間の経過に伴い、撮像部２から得られる明度値が変化するため（例えば夕方等）、適宜のタイミングで基準時空間画像を作り直す。一定時間が経過していない場合（ステップＳ３５でＮＯ）、この処理を繰り返す。一方、一定時間を経過した場合（ステップＳ３５でＹＥＳ）、横断歩道上の計測対象物を認識したか否かを判断する（ステップＳ３６）。なお、この認識処理については後述する。

計測対象物を認識した場合（ステップＳ３６でＹＥＳ）、計測対象物を認識しなくなるまで待機する。つまり、基準時空間画像の生成時に計測対象物が存在する事態を回避するためこの処理を行う。一方、計測対象物を認識していない場合（ステップＳ３６でＮＯ）、入力部１３から割り込み処理を示す信号が入力されたか否かを判断する（ステップＳ３７）。割り込み処理がなされていない場合（ステップＳ３７でＮＯ）、ステップＳ３３へ移行し、再び第１基準時空間画像及び第２基準時空間画像を生成する。割り込み処理がなされた場合（ステップＳ３７でＹＥＳ）、全ての処理を終了する。

図６は識別領域の設定処理手順を示すフローチャートである。識別領域の設定は上述したように入力部１３からオペレータが入力するほか以下のように、画像処理を用いて実行するようにしても良い。まず、隣接する二つの識別領域について、座標値（ｘ、ｙ）を適宜変化させる（ステップＳ５１）。具体的には一の識別領域を（ｘ、ｙ）、（ｘ＋５００，ｙ）、（ｘ、ｙ＋１）、（ｘ＋５００，ｙ＋１）とし、隣接する他の識別領域を（ｘ、ｙ＋５）、（ｘ＋５００，ｙ＋５）、（ｘ、ｙ＋５＋１）、（ｘ＋５００，ｙ＋５＋１）とする。そしてＣＰＵ１１はｘ、ｙを所定の範囲内で適宜変化させて、各領域から得られる画像データに基づき特定される特性値を算出する。なお、本実施の形態においては一の識別領域と他の識別領域との間隔を５画素と設定したが、その他の値を入力部１３から入力して設定するようにしても良い。

ｘ、ｙを変化させる範囲は横断歩道の白線部分が含まれるよう予め適当な値を入力部１３から入力または記憶部１５に記憶しておくようにすればよい。特性値としては、例えば識別領域の平均明度、分散値、明度の総和等がある。本実施例においては識別領域の平均明度を特性値であるものとして説明する。

ＣＰＵ１１は座標値（ｘ、ｙ）を変化させて識別領域から得られる明度データの総和を領域内の画像数で除して明度平均値を算出し、算出した２つの識別領域の明度平均値及び座標値（ｘ、ｙ）をＲＡＭ１２に格納する（ステップＳ５２）。ＣＰＵ１１は２つの識別領域の、明度平均値の差を演算し、その差が所定値以上であるか否かを判断する（ステップＳ５３）。所定値以上でない場合は（ステップＳ５３でＮＯ）、ＲＡＭ１２から記憶した明度平均値及び座標値（ｘ、ｙ）を消去する（ステップＳ５４）。なお、この基準となる所定値は予め記憶部１５に記憶または入力部１３から適当な値を設定するようにすれば良い。例えば明度データが８ビット２５６階調で出力される場合、所定値を１５０程度とするようにすればよい。

明度平均値の差が所定値以上の場合（ステップＳ５３でＹＥＳ）、記憶した座標値（ｘ、ｙ）を消去せず保存しておく。このように座標値（ｘ、ｙ）を変化させて抽出した複数の座標値（ｘ、ｙ）から、一の座標値（ｘ、ｙ）を抽出する（ステップＳ５５）。そして、抽出した一の座標値（ｘ、ｙ）を特定することにより第１の識別領域及び第２の識別領域が設定される（ステップＳ５６）。なお、一の座標値（ｘ、ｙ）の抽出は、最も平均明度の差が大きいものを抽出する等すればよい。

図７は計測を開始した場合の差分時空間画像を生成する手順を示すフローチャートである。まず基準時空間画像を生成したときと同じ手順にて、第１の識別領域１０について第１の時空間画像を、第２の識別領域２０について第２の時空間画像を生成する（ステップＳ７１）。そして生成した第１時空間画像と記憶した第１基準時空間画像との差分により第１差分時空間画像を生成する。同様に生成した第２時空間画像と記憶した第２基準時空間画像との差分により第２差分時空間画像を生成する（ステップＳ７２）。

続いて、第１差分時空間画像と第２差分時空間画像との平均をとって差分時空間画像を生成する（ステップＳ７３）。このように横断歩道のゼブラゾーンを利用して、いずれか一方の識別領域の欠点を補うようこれらを合成した差分時空間画像を生成して、識別を行うようにしたので、計測対象物の色の影響を受けにくく高精度で計測対象物の有無または種別を認識することが可能となる。

図８は生成した差分時空間画像のイメージを示す説明図である。図８（ａ）は横断歩道を歩行中の歩行者をとらえた差分時空間画像であり、図８（ｂ）は横断歩道を横切って走行する車両をとらえた差分時空間画像である。ＣＰＵ１１はこれらの生成した差分時空間画像を解析し、計測対象物が存在するか否かを判断する（ステップＳ７４）。計測対象物が存在しないと判断した場合（ステップＳ７４でＮＯ）、ステップＳ７１へ移行し以上の処理を繰り返す。計測対象物が存在すると判断した場合（ステップＳ７４でＹＥＳ）、計測対象物が車両であるか歩行者であるかを識別する（ステップＳ７５）。なお、これらの処理の詳細については後述する。ＣＰＵ１１は計測対象物の有無または種別に関する情報を、通信部１６を介して信号機制御装置３等、外部へ出力する（ステップＳ７６）。

上述した実施例においては第１の識別領域１０及び第２の識別領域２０を、Ｙ軸方向に１画素設定したが、識別誤差を低減するために、Ｙ軸方向に２画素分の領域を設定するようにしても良い。図９はＹ軸方向に２画素分の領域を設定した場合の処理手順を示すフローチャート、図１０はＹ軸方向に２画素分の領域を設定した場合のイメージを示す説明図である。図１０に示すように第１の識別領域１０Ａ及び該第１の識別領域１０Ａに隣り合う第１の識別領域１０Ｂを設定する。同様に第２の識別領域２０Ａ及び該第２の識別領域２０Ａに隣り合う第２の識別領域２０Ｂを設定する。

この場合、基準時空間画像の生成及び差分時空間画像の生成は以下の手順に従い実行する。まず、図３で説明したように第１の識別領域１０Ａ、１０Ｂ及び第２の識別領域２０Ａ、２０Ｂから得られる画像データから第１基準時空間画像Ａ及び第１基準時空間画像Ｂ、並びに第２基準時空間画像Ａ及び第２基準時空間画像Ｂを生成する（ステップＳ９１）。計測が開始された場合、画像データを取り込んで第１時空間画像Ａ及び第１時空間画像Ｂ、並びに、第２時空間画像Ａ及び第２時空間画像Ｂを生成する（ステップＳ９２）。

そして、第１時空間画像Ａと第１基準時空間画像Ａとの差分時空間画像、及び第２時空間画像Ａと第２基準時空間画像Ａとの差分時空間画像を求め、これら求めた２つの差分時空間画像の和から第１差分時空間画像を生成する。同様に、第１時空間画像Ｂと第１基準時空間画像Ｂとの差分時空間画像、及び第２時空間画像Ｂと第２基準時空間画像Ｂとの差分時空間画像を求め、これら求めた２つの差分時空間画像の和から第２差分時空間画像を生成する（ステップＳ９３）。これ以降の処理はステップＳ７３と同様であるので省略する。

図１１は生成した差分時空間画像中の、計測対象物の識別手順を示すフローチャートである。まず生成した差分時空間画像を読み出す（ステップＳ１１１）。さらに予め記憶部１５に記憶した閾値を読み出す（ステップＳ１１２）。ＣＰＵ１１は各画素についての明度が記憶した閾値以上であるか否かを判断する（ステップＳ１１３）。閾値以上である場合は（ステップＳ１１３でＹＥＳ）、ＲＡＭ１２に格納したカウント数Ｎ（初期値Ｎ＝０）をインクリメントする（ステップＳ１１４）。一方、閾値以上でない場合は（ステップＳ１１３でＮＯ）、ステップＳ１１４の処理をスキップする。

ＣＰＵ１１は全ての画素についてステップＳ１１３の処理を行ったか否かを判断する（ステップＳ１１５）。全ての画素について判断を行っていない場合は（ステップＳ１１５でＮＯ）、ステップＳ１１３へ移行し以上の処理を繰り返す。全ての画素について判断を終えた場合（ステップＳ１１５でＹＥＳ）、カウント数Ｎが、所定値以上であるか否かを判断する（ステップＳ１１６）。なお、この所定値は予め記憶部１５に記憶されている。所定値以上である場合（ステップＳ１１６でＹＥＳ）、計測対象物が存在すると判断し、計測対象物有りのフラグをＲＡＭ１２にセットする（ステップＳ１１７）。一方、所定値以上でない場合（ステップＳ１１６でＮＯ）、計測対象物が存在しないと判断し、計測対象物無しのフラグをＲＡＭ１２にセットする（ステップＳ１１８）。

計測対象物が存在すると判断した場合、カウント数Ｎが設定値以上であるか否かを判断する（ステップＳ１１９）。なお、この設定値も予め記憶部１５に記憶されており、ステップＳ１１６で用いる所定値よりも大きい値を設定している。ＣＰＵ１１はカウント数Ｎが設定値以上であると判断した場合（ステップＳ１１９でＹＥＳ）、計測対象物の種別は車両と判断し車両のフラグをセットする（ステップＳ１１１１）。一方カウント数Ｎが設定値以上でない場合は（ステップＳ１１９でＮＯ）、計測対象物の種別は歩行者と判断し、歩行者のフラグをセットする（ステップＳ１１１０）。

なお、計測対象物の種別を識別するには以下の処理により実行しても良い。例えば、生成した差分時空間画像から、横軸をＸ軸の画素位置、縦軸をＸ軸の各画素位置におけるＹ軸方向の画素群の明度和とするヒストグラムを作成し、この形状を解析することにより種別を識別するようにしても良い。例えば、図８（ａ）に示す歩行者の場合、急激なピークを持つ形状となり（特に複数の歩行者が横断している場合は、複数の急激なピークを持つ形状となる）、図８（ｂ）に示す車両の場合、ヒストグラムはＸ軸のほぼ全域に亘り、高い明度値を示す形状となる。このことから、ヒストグラムの明度和平均からのばらつき度を分散値として定義し、分散値を算出してその値が大きい場合は歩行者と判断し、分散値が小さい場合は車両と判断するようにすればよい。

また、ヒストグラムのＸ軸方向において隣り合う画素間での差分を求める。そして、これを全ての隣り合う画素間について差分を求め、その差分の総和をＸ軸の画素数で除して平均値を算出する。この平均値が大きい場合、歩行者と判断し、その平均値が小さい場合、車両と判断する。これらの他、ヒストグラムをＦＦＴ(Fast Fourier Transform)を用いて周波数解析し、周波数が高い場合は歩行者と判断し、周波数が低い場合は車両と判断する。さらに、ヒストグラムを解析する以外に、差分時空間画像についてエッジ検出を行って種別を認識するようにしても良い。まず、エッジを検出すると共に検出した各エッジの方向を検出する。なお、エッジの検出は物体領域の輪郭部分のエッジだけではなく、物体領域内部のエッジも併せて求める。次いで３６０度を８方向に分けてそれぞれの角度が存在する割合を検出したエッジの方向から算出する。これにより時空間画像の「テクスチャの整然らしさ」が数値化できることから、計測対象物が歩行者であるか車両であるかの種別を判断することができる。なお、種別の判断は以上述べた方法に限らず、他の処理方法を用いて解析するようにしても良い。

続いて、上述した識別処理を用いて、歩行者の歩行速度を算出する処理手順について説明する。図１２は他の形態に係る識別領域のイメージを示す説明図である。第１の識別領域１０及び第２の識別領域２０の組からなる一の識別領域Ｒに加えて、これとは異なる第１の識別領域１０および第２の識別領域２０の組からなる他の識別領域Ｑを設定する。ＣＰＵ１１はそれぞれの識別領域にて歩行者フラグがセットされた時刻及び識別領域間の距離に基づいて歩行者の歩行速度を算出する。

図１３は歩行者の歩行速度を算出する処理手順を示すフローチャートである。一の識別領域Ｒ及び他の識別領域Ｑについて上述した設定を終えた後、これらの領域Ｑ−Ｒ間の距離を測定し、記憶部１５に予め記憶して設定しておく（ステップＳ１３１）。ＣＰＵ１１は一の識別領域Ｒで歩行者のフラグがセットされたか否かを判断する（ステップＳ１３２）。歩行者のフラグがセットされていない場合は（ステップＳ１３２でＮＯ）、この処理を繰り返し実行する。

一方、歩行者のフラグがセットされた場合（ステップＳ１３２でＹＥＳ）、時計部１８から出力される日時データをＲＡＭ１２に格納する（ステップＳ１３３）。続いて、ＣＰＵ１１は他の識別領域Ｑで歩行者のフラグがセットされたか否かを判断する（ステップＳ１３４）。歩行者のフラグがセットされていない場合は（ステップＳ１３４でＮＯ）、この処理を繰り返し実行する。

一方、歩行者のフラグがセットされた場合（ステップＳ１３４でＹＥＳ）、時計部１８から出力される日時データをＲＡＭ１２に格納する（ステップＳ１３５）。ＣＰＵ１１は格納した２つの日時データからこれらの領域を通過するのに要した所要時間を算出する（ステップＳ１３６）。そして記憶した距離を読み出し所要時間で除することにより歩行者速度を算出する（ステップＳ１３７）。

最後に、計測対象物の有無または種別に関する情報を信号機制御装置３へ出力した場合の処理手順について説明する。図１４は計測対象物の有無または種別に関する情報を受け付けた信号機制御装置３の処理手順を示すフローチャートである。信号機制御装置３は内部の時計部（図示せず）からの出力に基づいて、青信号から赤信号への切り換え時間を算出し、赤信号への切り換え１０秒前であるか否かを判断する（ステップＳ１４１）。１０秒前でない場合は（ステップＳ１４１でＮＯ）、この処理を繰り返す。

一方１０秒前である場合（ステップＳ１４１でＹＥＳ）、その後に歩行者フラグが識別装置２から出力されたか否かを判断する（ステップＳ１４２）。歩行者フラグが出力された場合（ステップＳ１４２でＹＥＳ）、切り換え時間を数秒程度延長する処理を行う（ステップＳ１４３）。切り換え時間の延長処理後、再度ステップＳ１４２へ移行し手歩行者が存在するか否かを判断する。なお、故障等により一定時間以上連続して歩行者フラグがセットされている場合は、外部の監視センターコンピュータ等へ警告信号を出力するようにしても良い。一方、歩行者フラグが出力されない場合（ステップＳ１４２でＮＯ）、切り換え時間を延長することなく、信号機Ｓの切り換え信号を信号機Ｓへ出力し、信号機Ｓを赤信号に切り換える（ステップＳ１４４）。これにより歩行者の安全が確保されると共に、交通流の円滑化を図ることが可能となる。

なお、計測対象物の有無または種別に関する情報が信号機制御装置３へ出力された場合の信号機Ｓに対する制御はこれに限らず、他の制御を行うようにしても良い。例えば、歩行者の歩行速度から信号機Ｓの切り換え時間を最適化する、歩行者が継続して検出されない場合（例えば夜間など）は、切り換え時間をデフォルト値よりも短く設定する等の制御を行っても良い。さらに、計測対象物の有無または種別に関する情報は、信号機制御装置３へ出力する形態につき説明したが、これに限らず他の装置へ出力するようにしても良い。例えば係る情報を交通流総合管理センターへ出力する、赤信号時に歩行者フラグが出力された場合は、Ｂｌｕｅｔｏｏｔｈ機能をもつ歩行者の携帯電話へ警告信号を、電光掲示板へ「歩行者有り」の信号を、またはカーナビゲーション等の車載機へ歩行者横断中の情報を出力する等するようにしても良い。

実施の形態２
差分時空間画像の生成処理は、実施の形態１で述べた処理とは異なる以下の処理により生成するようにしても良い。図１５は差分時空間画像の生成処理を示すフローチャートである。まず、識別装置１は実施の形態１で述べた手順と同様に第１の識別領域１０の設定（ステップＳ１５１）、及び第２の識別領域２０の設定を行う（ステップＳ１５２）。

そして、第１の識別領域１０から１フレーム分の画像データを取り込み第１基準画像データとしてＲＡＭ１２に記憶する。また、第２の識別領域２０から１フレーム分の画像データを取り込み第２基準画像データとしてＲＡＭ１２に記憶する（ステップＳ１５３）。計測が開始（ステップＳ１５４）された後、第１の識別領域１０から得られる画像データと、ＲＡＭ１２に記憶した第１基準画像データとの差分を画素毎に演算し、その画素毎の差分データを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１５５）。同様に、第２の識別領域２０から得られる画像データと、ＲＡＭ１２に記憶した第２基準画像データとの差分を画素毎に演算し、その画素毎の差分データを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１５６）。

続いてＲＡＭ１２に記憶した差分データを所定時間分（例えば、１秒分）記憶したか否かを判断する（ステップＳ１５７）。所定時間分記憶していない場合は（ステップＳ１５７でＮＯ）、ステップＳ１５５及びＳ１５６の処理を繰り返し、次のフレームの差分データを記憶する。一方、所定時間分記憶している場合は（ステップＳ１５７でＹＥＳ）、ステップＳ１５５において日時データに対応させて記憶した差分データを、時系列に読み出して第１時空間画像を生成し、更にステップＳ１５６において日時データに対応させて記憶した差分データを、時系列に読み出して第２時空間画像を生成する（ステップＳ１５８）。最後に第１時空間画像及び第２時空間画像の各画素の明度を加算して、差分時空間画像を生成する（ステップＳ１５９）。なお、差分時空間画像は第１時空間画像と第２時空間画像とを加算して生成するほか、平均を取る等により生成すればよい。

続いて、図１０に示すように識別領域の幅を複数画素にした場合の他の処理手順について説明する。図１６及び図１７は識別領域の幅を複数画素にした場合の他の処理手順を示すフローチャートである。まず、識別装置１は実施の形態１で述べた手順と同様に第１の識別領域１０Ａ及び１０Ｂの設定、並びに第２の識別領域２０Ａ及び２０Ｂの設定を行う（ステップＳ１６１）。

そして、第１の識別領域１０Ａから１フレーム分の画像データを取り込み第１基準画像データＡとしてＲＡＭ１２に記憶する。同様に、第１の識別領域１０Ｂから１フレーム分の画像データを取り込み第１基準画像データＢとしてＲＡＭ１２に記憶する。また、第２の識別領域２０Ａから１フレーム分の画像データを取り込み第２基準画像データＡとしてＲＡＭ１２に記憶し、第２の識別領域２０Ｂから１フレーム分の画像データを取り込み第２基準画像データＢとしてＲＡＭ１２に記憶する（ステップＳ１６２）。計測が開始（ステップＳ１６３）された後、白線以外の部分である第１の識別領域１０Ａから得られる画像データと、ＲＡＭ１２に記憶した第１基準画像データＡとの差分を画素毎に演算し、その画素毎の差分データ１０Ａを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１６４）。また、白線部分である第２の識別領域２０Ａから得られる画像データと、ＲＡＭ１２に記憶した第２基準画像データＡとの差分を画素毎に演算し、その画素毎の差分データ２０Ａを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１６５）。

上述した処理手順と同様に、第１の識別領域１０Ｂ及び第２の識別領域２０Ｂについても同様の処理を行う。まず、白線以外の部分である第１の識別領域１０Ｂから得られる画像データと、ＲＡＭ１２に記憶した第１基準画像データＢとの差分を画素毎に演算し、その画素毎の差分データ１０Ｂを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１６６）。また、白線部分である第２の識別領域２０Ｂから得られる画像データと、ＲＡＭ１２に記憶した第２基準画像データＢとの差分を画素毎に演算し、その画素毎の差分データ２０Ｂを時計部１８から出力される日時データに対応づけてＲＡＭ１２に記憶する（ステップＳ１６７）。

続いてＲＡＭ１２に記憶した差分データ１０Ａ，２０Ａ、１０Ｂ、２０Ｂを所定時間分（例えば、１秒分）記憶したか否かを判断する（ステップＳ１６８）。所定時間分記憶していない場合は（ステップＳ１６８でＮＯ）、ステップＳ１６４〜Ｓ１６７の処理を繰り返し、次のフレームの差分データ１０Ａ，２０Ａ、１０Ｂ、２０Ｂを記憶する。一方、所定時間分記憶している場合は（ステップＳ１６８でＹＥＳ）、ステップＳ１６４において日時データに対応させて記憶した差分データ１０Ａを、時系列に読み出して第１時空間画像１０Ａを生成し、更にステップＳ１６５において日時データに対応させて記憶した差分データ２０Ａを、時系列に読み出して第２時空間画像２０Ａを生成する（ステップＳ１７１）。

同様に、ステップＳ１６６において日時データに対応させて記憶した差分データ１０Ｂを、時系列に読み出して第１時空間画像１０Ｂを生成し、更にステップＳ１６７において日時データに対応させて記憶した差分データ２０Ｂを、時系列に読み出して第２時空間画像２０Ｂを生成する（ステップＳ１７２）。このようにして生成された第１時空間画像１０Ａ及び第２時空間画像２０Ａの各画素の明度を加算し、また、生成された第１時空間画像１０Ｂ及び第２時空間画像２０Ｂの各画素の明度を加算し、これらの合計値を識別領域の幅である２で除して差分時空間画像を生成する（ステップＳ１７３）。なお、識別領域の幅を複数画素（例えば、３画素（計６本））設けた場合、ステップＳ１７３においては生成した各時空間画像を幅数（この例では３）で除するようにすればよい。

本実施の形態２は以上の如き構成としてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

本発明に係る交通制御システムの概要を示す模式図である。識別装置のハードウェア構成を示すブロック図である。初期設定の手順を示すフローチャートである。撮像部から得られる画像データを表示部へ出力した場合のイメージを示す説明図である。生成した第１基準時空間画像及び第２基準時空間画像のイメージを示す説明図である。識別領域の設定処理手順を示すフローチャートである。計測を開始した場合の差分時空間画像を生成する手順を示すフローチャートである。生成した差分時空間画像のイメージを示す説明図である。Ｙ軸方向に２画素分の領域を設定した場合の処理手順を示すフローチャートＹ軸方向に２画素分の領域を設定した場合のイメージを示す説明図である。生成した差分時空間画像中の、計測対象物の識別手順を示すフローチャートである。他の形態に係る識別領域のイメージを示す説明図である。歩行者の歩行速度を算出する処理手順を示すフローチャートである。計測対象物の有無または種別に関する情報を受け付けた信号機制御装置の処理手順を示すフローチャートである。差分時空間画像の生成処理を示すフローチャートである。識別領域の幅を複数画素にした場合の他の処理手順を示すフローチャートである。識別領域の幅を複数画素にした場合の他の処理手順を示すフローチャートである。

符号の説明

１識別装置
１８時計部
１３入力部
１４表示部
１６通信部
１９Ａ／Ｄ変換部
１０ＹＣＹＣ分離部
２撮像部
３信号機制御装置
Ｓ信号機
１０第１の識別領域
２０第２の識別領域

Claims

撮像部から取り込んだ画像データから計測対象物を識別する識別方法において、
前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定するステップと、
識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定するステップと、
前記第１の識別領域及び第２の識別領域から得られる画像データに基づいて、予め基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成しておくステップと、
前記第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成するステップと、
生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別ステップと
を備えることを特徴とする識別方法。
撮像部から取り込んだ画像データから計測対象物を識別する識別方法において、
前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定するステップと、
識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定するステップと、
予め基準となる第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを記憶するステップと、
前記第１の識別領域から得られる画像データ及び前記記憶した第１基準画像データに基づいて第１時空間画像を生成するステップと、
前記第２の識別領域から得られる画像データ及び前記記憶した第２基準画像データに基づいて第２時空間画像を生成するステップと、
生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成するステップと、
生成した差分時空間画像に基づき計測対象物の有無または種別を識別するステップと
を備えることを特徴とする識別方法。
撮像部から取り込んだ画像データから計測対象物を識別する識別装置において、
前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定する手段と、
識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定する手段と、
前記第１の識別領域及び第２の識別領域から得られる画像データに基づいて、基準となる第１基準時空間画像及び第２基準時空間画像をそれぞれ生成する手段と、
前記第１の識別領域から得られる画像データに基づき生成した第１時空間画像及び前記第２の識別領域から得られる画像データに基づき生成した第２時空間画像と、前記第１基準時空間画像及び前記第２基準時空間画像とを用いて差分時空間画像を生成する手段と、
生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別手段と
を備えることを特徴とする識別装置。
撮像部から取り込んだ画像データから計測対象物を識別する識別装置において、
前記撮像部の画像データ取り込み領域のうち、計測対象物の識別に利用する第１の識別領域を設定する手段と、
識別領域から得られる画像データに基づき特定される特性値が、第１の識別領域とは所定値以上相違する第２の識別領域を設定する手段と、
予め基準となる第１の識別領域から得られる第１基準画像データ及び第２の識別領域から得られる第２基準画像データを記憶する手段と、
前記第１の識別領域から得られる画像データ及び前記記憶した第１基準画像データに基づいて第１時空間画像を生成する手段と、
前記第２の識別領域から得られる画像データ及び前記記憶した第２基準画像データに基づいて第２時空間画像を生成する手段と、
生成した第１時空間画像と第２時空間画像とを用いて差分時空間画像を生成する手段と、
生成した差分時空間画像に基づき計測対象物の有無または種別を識別する識別手段と
を備えることを特徴とする識別装置。
前記特性値は、
識別領域における明度平均値であり、前記第１の識別領域の明度平均値と、前記第２の識別領域の明度平均値との差が所定値以上相違するよう構成してある
ことを特徴とする請求項３または４に記載の識別装置。
第１の識別領域及び第２の識別領域を一組として、複数組の第１の識別領域及び第２の識別領域を設定する手段と、
前記識別手段にて計測対象物を識別した場合、各組における計測対象物の識別時刻及び各組の識別領域間の距離に基づいて計測対象物の移動速度を算出する手段と
を更に備えることを特徴とする請求項３乃至５のいずれかに記載の識別装置。
前記識別手段により識別した計測対象物の有無または種別に関する情報を外部へ出力する手段
を更に備えることを特徴とする請求項３乃至６のいずれかに記載の識別装置。
請求項３乃至７のいずれかに記載の識別装置及び該識別装置に接続される信号機制御装置からなる交通制御システムにおいて、
前記識別装置は、
前記識別手段により識別した計測対象物の有無または種別に関する情報を前記信号機制御装置へ出力する手段
を更に備え、
前記信号機制御装置は、
前記識別装置から出力された情報に基づいて、信号機の切り換え時間を制御する手段
を備えることを特徴とする交通制御システム。