JP2019124986A

JP2019124986A - 障害検知システム

Info

Publication number: JP2019124986A
Application number: JP2018003076A
Authority: JP
Inventors: 佑一郎小宮; Yuichiro Komiya; 伊藤　渡; Wataru Ito; 渡伊藤; 一成岩永; Kazunari Iwanaga; 孝二北村; Koji Kitamura; 崇夫上西; Takao Uenishi; 悠貴中田; Yuki Nakata; 謙太北野; Kenta Kitano; 大樹 ▲高▼松; Daiki Takamatsu
Original assignee: Hitachi Kokusai Electric Inc; Hanshin Expressway Co Ltd
Current assignee: Hitachi Kokusai Electric Inc; Hanshin Expressway Co Ltd
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2019-07-25
Anticipated expiration: 2038-01-12
Also published as: JP7125843B2

Abstract

【課題】屋外の道路上など監視エリアに設置されたＰＴＺタイプの監視カメラを活用し、環境条件の変化等によって生じる誤検知を抑えながら、監視エリアに発生した異常を自動検知する映像解析システムを提供することにある。【解決手段】障害検知システムは、道路上など監視エリアを単一又は複数の画角で撮影する撮影手段（１０１）と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段（２０１）と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段（２０１）によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段（２０２）と、前記物体認識手段（２０２）によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害検知手段（２０４）と、を有する。【選択図】図２

Description

本開示は障害検知システムに関し、特に、監視カメラの映像から、道路上などの監視エリアに発生した障害物の自動検知や監視エリアである道路上を走行する車両の異常検知など、障害検知システムに関する。

近年、高速道路等にて落下物等、通常走行を妨げる物の影響が疑われる事故や渋滞の発生が問題となっている。また、道路を走行する車両が通常とは異なる走行を行った場合にも上記問題となり得る。道路利用者の安全性を向上させるためには、通常走行を妨げる物を検知する、例えば、道路上に発生した走行における障害物をより早く発見し、道路利用者への情報提供を行うなどの対応が求められる。

通常走行を妨げる物の発見を行う手段の一つに、監視カメラの活用が挙げられる。高速道路等の施設には、交通流や有事の際の状況確認のため、電動雲台と電動ズーム機能を備えたＰＴＺ（パン、チルト、ズーム）タイプの監視カメラが設置されていることが多い。ＰＴＺタイプの監視カメラは旋回/ズーム機能により、１台で広い範囲の視認を可能とする。監視カメラの映像を解析することにより、通常走行を妨げる物を自動検知することができれば、高速道路上の事故や渋滞の発生の抑制が可能になると考えられる。

道路上に設置された監視カメラによって落下物の発見を行う映像解析技術には、例えば、以下の特許文献１、特許文献２のようなものが挙げられる。

特許文献１は画像間の差分によって抽出された画素の集合のうちから、判別条件に基づいて落下物候補の図形を認識し、その落下物候補の図形が一定時間、同じ位置に検出された場合に、落下物の発生を検知している。

特許文献２では画像間の差分によって抽出された画素から、車両として検出された画素を除き、その他の画素に対する寸法条件等の判定により、落下物領域を抽出している。

特開２００２-９９９０３号公報特開２００６-５９１８４号公報

特許文献１および特許文献２に開示の技術は、固定画角の専用カメラを用いた映像解析を想定していると考えられる。この場合、監視カメラは走行障害物の検知に適した設置が可能となり、また同じ画角で路面を観測し続けることができるため、画像間の差分方法の工夫と適切な判別条件の設定により、条件変化等による誤検知を抑えながら走行障害物の発生を検知することができると思われる。

しかし、１台のＰＴＺタイプの監視カメラにて広範囲の検知を行おうとした場合、一定期間ごとに監視カメラの画角を巡回させるためのズーム/旋回操作が求められるため、同じ画角で路面を観測し続けることはできない。画角を変化させた際に画面内に存在する走行障害物を検知するためには、前巡回時の映像から得た情報を基に走行障害物の発生を変化として抽出する必要がある。この場合、時間差のある映像データに基づいて変化点を抽出する必要があるため、天候や時間帯等の変化が発生する屋外に設置されたカメラを想定した場合、走行障害物以外の物体の画素を変化点として検出してしまうことが増える。

そのため、変化点として検出された画素を走行障害物として判別するための条件の設定が重要となる。例えば、寸法等の単純な判別条件を用いるだけでは、環境条件の変化によって、背景（走行障害物や車両等の物体が存在しない領域）部分を走行障害物として検知してしまうことによる誤検知が多発することが考えられる。

誤検知を抑えながら走行障害物のみを検知するには、変化点として抽出された画素の集合の特徴から、走行障害物のみを識別するための判別条件の設定が必要となる。特許文献１では走行障害物の形状を特定する複数の要素を組み合わせた判別条件を用いている。しかし、実際に検知すべき走行障害物には、剛体である木材や鉄屑、軟体である衣類やシートなど様々な形状のものが想定されるため、全ての走行障害物を特定するための判別条件を事前に設定することは困難である。

本開示の課題は、屋外の道路上に設置されたＰＴＺタイプの監視カメラを撮影手段として活用し、環境条件の変化等によって生じる誤検知を抑えながら、道路上に発生した走行障害物を自動検知する等、路面の異常を自動検知する映像解析システムを提供することにある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、障害検知システムは、道路上などの監視エリアを単一又は複数の画角で撮影する撮影手段（１０１）と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段（２０１）と、を有する。障害検知システムは、さらに、画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段（２０１）によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段（２０２）と、前記物体認識手段（２０２）によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害物検知手段（２０４）と、を有する。

または、障害検知システムは、道路上などの監視エリアを単一又は複数の画角で撮影する撮影手段と、前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する。

上記障害検知システムによれば、屋外に設置されたＰＴＺタイプの監視カメラ（撮影手段）によって、監視エリア内に発生した障害物を効率的に自動検知することが可能となる。

実施例に係る走行障害検知システムのブロック図である。映像解析部のブロック図である。物体抽出部のブロック図である。物体認識部のブロック図である。物体識別のフローチャートの例を示す図である。監視カメラ画像における物体領域と局所ブロックとの関係を示す図である。走行障害物判定のフローチャートの例を示す図である。避走検知部のブロック図である。動き情報の学習の流れを説明する図である。

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

図１は、実施例に係る走行障害検知システムであって、道路など監視エリアの走行障害検知システムのブロック図である。以後、障害検知システムの実施例として、監視エリアである道路を走行する際の障害検知を行う走行障害検知システムとして説明する。走行障害検知システムは、撮影手段である監視カメラ１０１と、カメラ制御部１０２、映像解析部１０３、情報出力部１０４から構成される。

監視カメラ１０１は、例えば電動雲台と電動ズームを備えたＰＴＺ（パン、チルト、ズーム）カメラである。適用すべきパン、チルト、ズームの状態はカメラ制御情報として与えられる。

カメラ制御部１０２は、監視カメラ１０１のパン、チルト、ズームを制御するためのカメラ制御情報を監視カメラ１０１へ出力する機能を有する。カメラ制御部１０２は、監視カメラ１０１が１つ以上の画角を一定の間隔で巡回して監視するようにカメラ制御情報を出力する。監視カメラ１０１の画角を一定間隔で変更することにより、１台の監視カメラ１０１でより広範囲の走行障害物の自動検知が可能となる。

映像解析部１０３は、監視カメラ１０１の監視カメラ映像を解析することにより映像内の走行障害物の有無を検知する。

図２は、映像解析部１０３のブロック図を示す。映像解析部１０３は、物体抽出手段である物体抽出部２０１、物体認識手段である物体認識部２０２、避走検知手段である避走検知部２０３、走行障害物検知手段である走行障害物検知部２０４から構成される。以下に、映像解析部１０３を構成する各部の詳細を説明する。

物体抽出部２０１は入力した監視カメラ映像とカメラ制御情報をもとに監視カメラ映像内に存在する物体の物体情報（物体が抽出された画像及び画像内での物体領域）を抽出する。

図３は、物体抽出部２０１のブロック図を示す。物体抽出部２０１は背景差分処理部３０１、背景モデル生成部３０２、背景モデル記録部３０３、背景モデル間差分処理部３０４、物体判定処理部３０５から構成される。

背景差分処理部３０１は、例えば、背景差分法を用いて映像内を移動する物体及び映像内に発生した物体の物体情報を抽出する。背景差分処理部３０１は監視カメラ１０１がある画角にて撮像を続けている途中に移動又は発生した障害物を物体として抽出する役割を担う。

ここで障害物は、例えば車両より荷物などが道路に落下したことや、道路そのものの隆起や陥没、亀裂など、道路上に異常が発生することで車両の走行の妨げになりかねない状況であって、監視エリアである道路上の走行障害物となってしまう。

背景モデル生成部３０２は、監視カメラ映像内の背景のみの情報を表すモデルを作成することを目的としている。例えば、入力された監視カメラ映像の各フレームに対して、以下の式１に示す更新式を一定期間適用して得られた時間平滑化画像を背景モデルとする。

ここで、Pavg(x,y)は時間平滑化画像の座標(x,y)における画素値、Pin(x,y)は監視カメラ映像のフレームの座標(x,y)における画素値、αは更新のための係数である。

背景モデル記録部３０３は、背景モデル生成部３０２が生成した背景モデルを、カメラ制御情報に基づいて監視カメラ１０１が巡回する画角の通し番号と対応づけて記録する。また、背景モデル記録部３０３は、カメラ制御情報に基づいて現在の監視カメラ映像の画角に対応付けられた過去の巡回時に背景モデル生成部３０２が生成した１つ以上の背景モデルを出力する。

背景モデル間差分処理部３０４は、背景モデル生成部３０２が生成した背景モデルと、背景モデル記録部３０３に記録された、入力された監視カメラ映像と同じ画角の映像から生成された過去の巡回時の背景モデルの差分から、過去の巡回時から再度同画角に巡回するまでの期間に発生した物体の物体情報を抽出する。背景モデル間差分処理部３０４は、監視カメラ１０１の画角変更後にその時点で映像内に存在する走行障害物を物体として抽出する役割を担う。

背景モデル間差分処理部３０４は、例えば、背景モデルが式１によって得られた時間平滑化画像であった場合、背景モデル生成部３０２から得られた現在の時間平滑化画像と、背景モデル記録部３０３に記録された１つ前の巡回時の時間平滑化画像のエッジ情報の差分を閾値処理することにより、物体の領域を得る。背景モデル間差分処理部３０４は、こうして得た物体領域と物体領域に対応する現在の時間平滑化画像とを、物体情報として出力する。

物体判定処理部３０５は、背景差分処理部３０１と背景モデル間差分処理部３０４から得られた物体情報に対して後段の映像解析処理を行うかの判定を行う。例えば、物体領域の面積が一定以上であり、一定上のフレームで連続して抽出された物体領域の物体情報のみを解析対象として判定する。

図２の物体認識部２０２は、物体抽出部２０１によって得られた物体情報の特徴に基づいて物体の種別を識別する。

図４に、物体認識部２０２のブロック図を示す。物体認識部２０２は、特徴抽出手段である特徴抽出部４０１、物体識別手段である物体識別部４０２、局所ブロック抽出部４０３、局所特徴抽出手段である局所特徴抽出部４０４、局所特徴学習手段である局所特徴学習部４０５、走行障害物判定手段である走行障害物判定部４０６から構成される。

特徴抽出部４０１は、物体情報から特徴量を算出する。ここで算出された１つまたは複数の特徴量の数値に基づいて、後段の物体識別部４０２は物体の種別を識別する。特徴量は例えば、物体領域の画素数、エッジ量、色、画面内の移動量などに基づいて算出される。

物体識別部４０２は、特徴抽出部４０１から得た特徴量に基づき、物体を特定の種別又は走行障害物であるかの判定を後段の処理にて行う走行障害物候補として識別する。

図５に、各物体に対する物体識別のフローチャートの例を示す。図５のフローチャートにおいては、物体を「車両」、「照明柱」、「走行障害物」と、それ以外の「走行障害物候補」と、に識別する場合のフローチャートを例としている。

ステップＳ１０１では、特徴抽出部４０１で得られた物体の特徴をもとに、その物体が「車両」であるかの判定処理を行う。判定は複数の特徴量を閾値処理して行っても良いし、事前にサンプル画像等を機械学習することによって作成した識別器を用いても良い。また、判定条件はカメラ制御情報に基づいてカメラ画角等の環境に応じて変更しても良い。

ステップＳ１０２にて「車両」の条件を満たすと判定された物体は、ステップＳ１０３にて「車両」として識別される。

ステップＳ１０４では、ステップＳ１０２にて「車両」でないと判定された物体が「照明柱」であるかの判定処理を行う。ステップＳ１０５にて「照明柱」の条件を満たすと判定された物体は、ステップＳ１０６にて「照明柱」として識別される。

ステップＳ１０７では、ステップＳ１０５にて「照明柱」でないと判定された物体が「走行障害物」であるかの判定処理を行う。ステップＳ１０８にて「走行障害物」の条件を満たすと判定された物体は、ステップＳ１０９にて「走行障害物」として識別される。

ステップＳ１１０では「車両」、「照明柱」、「走行障害物」のどれにも判定されなかった物体を「走行障害物候補」として識別する。

局所ブロック抽出部４０３は、物体情報から後段の処理によって解析を行う局所ブロック５０３の抽出を行う。局所ブロック５０３とは、通し番号によって監視カメラ画像内での領域を特定可能な、物体情報から抽出された画素ブロックである。

図６は、監視カメラ画像５０１における、物体領域５０２と局所ブロック５０３との関係を示している。図６では、物体領域５０２の内部に、１つの局所ブロック５０３を設けた例を示している。なお、局所ブロック５０３は１つの物体情報に対して１つ以上抽出することが可能である。この場合、局所ブロック５０３は、通し番号によって領域の特定が可能であれば、異なる複数のサイズ及び形状のものを用いても良いし、それらが重なり合っても良い。

局所特徴抽出部４０４は、局所ブロック抽出部４０３によって抽出された局所ブロック５０３のなかで、物体識別部４０２によって「走行障害物候補」として識別された物体情報に対応する局所ブロック５０３の特徴量を抽出する。局所ブロック５０３の特徴量を以下より局所特徴量と呼ぶ。局所特徴量には局所ブロック５０３内のエッジの向きや輝度の分散などに基づいて算出される数値や、特徴抽出部４０１によって算出された物体全体の特徴を用いることができる。

局所特徴学習部４０５は、局所特徴抽出部４０４によって得られた特徴の学習を行う。学習は局所ブロック５０３の通し番号ごとに行われる。特徴の学習方法には、例えば、ＥＭ（Expectation Maximization）法による混合分布のパラメータ学習などを用いる。ＥＭ法を用いることにより、各局所ブロック５０３の特徴の傾向を、混合正規分布によって表現することが可能となる。学習結果は、カメラ制御情報に基づいて、画角変更する際に、監視カメラ１０１が巡回する画角に対応付けて記録される。学習の初期値には、前巡回時に記録された学習結果を用いることができる。

走行障害物判定部４０６は、物体識別部４０２の識別結果と、局所特徴抽出部４０４から得られた「走行障害物候補」の局所特徴量と、局所特徴学習部４０５に記録された過去の「走行障害物候補」の学習結果とにより、物体が走行障害物であるかの判定を行う。

図７に、走行障害物判定部４０６により実施される、各物体に対する走行障害物判定のフローチャートの例を示す。

ステップＳ２０１にて物体識別部４０２によって「走行障害物」として識別されたことが確認された物体は、ステップＳ２０２によって「走行障害物」として判定される。

ステップＳ２０３にて物体識別部４０２によって「走行障害物候補」でないとして識別された物体は、ステップＳ２０４にて「走行障害物でない」と判定される。

ステップＳ２０５では、局所特徴学習部４０５の学習結果に基づいて、物体の各局所特徴量の尤度を算出する。

ステップＳ２０６では、各局所特徴量の尤度に基づいて物体が走行障害物であるかの判定処理を行う。例えば、物体情報から得られた全ての局所ブロック５０３のうち、閾値処理により尤度が設定値以上の局所ブロック５０３の数の割合が一定値以上である場合を走行障害物の条件とする。

ステップＳ２０７にて走行障害物の条件を満たすとされた物体は、ステップＳ２０２にて「走行障害物」として判定される。ステップＳ２０７にて走行障害物の条件を満たさないとされた物体は、ステップＳ２０４にて「走行障害物でない」と判定される。

上述した図７の走行障害物判定処理の効果を、以下に説明する。

物体認識部２０２では、まず、特徴抽出部４０１と物体識別部４０２とによって、物体の種別の識別を行う。上述した通り、走行障害物には様々な種類の物体が想定されるため、その特徴から条件によって走行障害物を識別することは困難である場合が多い。そのため、物体認識部２０２は、その特徴から「走行障害物」であること又は「走行障害物でない」ことの判定が出来ない物体を、「走行障害物候補」として識別し、その判定処理を後段で行うこととした。「走行障害物候補」として識別される物体には、走行障害物以外にも、例えば環境条件の変化等によって抽出された背景の一部分や影、ライトの反射等が挙げられる。これらは、走行障害物と同様に様々な場合が想定されるため、その特徴のみから物体の種別を特定することは困難である。

そこで、物体認識部２０２では、局所ブロック抽出部４０３、局所特徴抽出部４０４、局所特徴学習部４０５によって、物体識別部４０２に「走行障害物候補」として識別された物体の局所特徴量の学習を行っている。局所特徴量の学習は交通流監視カメラ１０１が巡回する画角の局所ブロック５０３ごとに行う。つまり、任意の画角の任意の領域にどのような特徴を持った「走行障害物候補」が抽出されるかを学習している。一般的に、監視カメラ１０１の映像内に走行障害物が発生することは多くなく、「走行障害候補」として識別されるものの大半は誤検知の要因となる背景部分である。よって、物体認識部２０２による物体認識処理は、画角ごとに、誤報の要因となった物体情報の位置と特徴が主に学習される。走行障害物判定部４０６は局所特徴量の学習結果に基づいて、過去に学習した局所特徴量に近い局所特徴量を多く持つ物体を走行障害物でないと判定し、それ以外を走行障害物として判定する。

物体認識部２０２による物体認識処理により、物体の特徴によって走行障害物であることの判定ができなくとも、誤報の要因となる物体情報の傾向を学習することにより、誤報を抑制しながら走行障害物を検知することが可能となる。

図２の避走検知部２０３は、物体抽出部２０１によって得られた物体情報に基づいて、物体が車両で有った場合に、その車両が監視カメラ映像内で避走したかどうかの判定を行う。

図８に、避走検知部２０３のブロック図を示す。避走検知部２０３は、物体追跡手段である物体追跡部６０１、車両選別手段である車両選別部６０２、動き学習手段である動き情報学習部６０３、避走判定部６０４から構成される。

物体追跡部６０１は、監視カメラ映像内に存在する移動体の追跡を行う。物体追跡部６０１は、例えば、ＫＬＴ（Kanade-Lucas-Tomasi）トラッカー等によるフレーム間の特徴点の対応付けによる物体追跡を行う。新規特徴点は物体領域内から抽出するものとし、その特徴点が消失する又は静止する等の追跡終了の条件を満たすまで追跡を行う。このような物体追跡の処理を行うことにより、画面内を移動する各特徴点の軌跡を求めることが出来る。各特徴点の軌跡をその位置や移動方向、特徴点が得られた物体領域等の情報に基づいてクラスタリングすることにより、監視カメラ映像内を移動する物体の動きを表す複数のクラスタを求めることができる。

車両選別部６０２は、物体追跡部６０１で得た特徴点の軌跡のクラスタから車両に相当するクラスタの選別を行う。例えば、物体の画面内の移動速度、サイズ、特徴点の数、追跡された期間等の条件をもとに車両である条件を設定し、その条件を満たす物体のクラスタを車両の動き情報として選別する。

動き情報学習部６０３は、監視カメラ映像をブロックに分割し、ブロック単位で車両の動きの学習を行う。学習する対象には、例えば、車両の移動方向等が挙げられる。図９は、動き情報の学習の流れ示す図であり、図９の（ａ）（ｂ）（ｃ）及び（ｄ）を用いて、動き情報の学習の流れを説明する。

まず、動き情報学習部６０３は車両の追跡結果をもとに、一定期間に発生した車両の特徴点の軌跡を得る。図９の（ａ）において、画像７０１は一定期間に発生した特徴点の軌跡の結果を示す。画像７０２は一定期間に発生した特徴点の軌跡を表している。図９の（ｂ）において、画像７０３は画像７０１をブロック単位に分割した例を示す。図９の（ｃ）において、画像７０４は各ブロック内を通過した軌跡の総和を求めた結果を示す。各ブロックにおける軌跡の総和は、例えば、以下の式２によって求めることができる。

ここでｄ_tmp（i,j）は一定期間内に座標のブロックを通過した軌跡の総和を示す方向ベクトルである。Ｎは特徴点の軌跡の総数、ｎは特徴点の軌跡の通し番号を表す。Ｍ_nはｎ番目の軌跡に対して追跡が行われたフレーム数であり、ｍは追跡が開始された時点からのフレーム数を表す。p(n,m)はｎ番目に対して追跡が開始されてからｍ番目のフレームでの特徴点の位置を示すベクトルである。B(i,j)は座標（i,j）のブロックの領域を示している。if(X,Y,Z)は条件Ｘを満たした際には値Ｙを、それ以外の場合は値Ｚを返す関数である。

図９の（ｄ）において、画像７０５は画像７０４の結果を用いて更新された、各ブロックの軌跡の方向の学習結果を示す。例えば、学習結果の更新には、以下の式３を用いることができる。

ここで、ｄ(i,j)は座標(i,j)のブロックにおける車両の移動方向の傾向を示す方向ベクトルである。αは更新のための係数である。

学習結果はカメラ制御情報に基づいて、監視カメラ１０１が巡回する画角に対応付けて記録される。

避走判定部６０４は、動き情報学習部６０３の学習結果に基づいて、車両の動き情報から車両の避走を数値化して抽出し、避走検知処理を行う。避走量は、例えば、以下の式４によって求めることができる。

ここで、avdは車両の避走量を表す数値である。Lは析対象の車両のクラスタが持つ特徴点の軌跡の総数であり、lは特徴点の軌跡の通し番号である。Ｍ_ｎはｎ番目の軌跡に対して追跡が行われたフレーム数であり、ｍは追跡が開始された時点からのフレーム数を表す。p(n、m)はｎ番目に対して追跡が開始されてからｍ番目のフレームでの特徴点の位置を示すベクトルである。d(i_ｌｍ、ｊ_ｌｍ)は動き情報学習部６０３によって得られた、座標(i,j)のブロックにおける車両の移動方向の傾向を示す方向ベクトルである。i_ｌｍ及びｊ_ｌｍは特徴点の位置p(l,m)が含まれるブロックの座標を示す。inner(a,b)はベクトルaとベクトルbの内積を返す関数である。Ｍは、以下の式５に示される回転行列である。

式４で得られた車両の避走量avdを閾値処理し、閾値を超えた避走量を持つ車両を避走した車両として検知する。

上述した避走検知処理の効果を以下に説明する。

避走検知処理は、車両が走行障害物を避ける動作（車両の走行方向の異常な動作）から走行障害物の存在を推定するために用いられている。避走検知処理により、走行障害物が構造物に隠れるなどして監視カメラ１０１に撮像されていない場合にも、走行障害物を検知することが可能となる。

避走検知処理は、監視カメラ映像をブロックに分割し、監視カメラ１０１の巡回する画角ごとにブロック単位で車両の動きを学習することを特徴としている。避走検知処理は、例えば、車線の方向を監視カメラの画角ごとに指定するなどの、避走検知に必要な調整が不要となる利点がある。

上述した避走検知処理の説明では、車両の移動方向のみの学習を行ったが、ブロック単位で車両の避走量を学習しても良い。車両の避走量の平均値を学習により取得し、避走量をその平均値で正規化した値によって避走検知することにより、撮影条件や撮影場所等の違いによる避走量のばらつきの影響を軽減することができる。

走行障害物検知部２０４は、物体認識部２０２の物体識別結果及び避走検知部２０３の避走検知結果から走行障害物の存在を検知する。走行障害物検知部２０４は、監視カメラ映像内の物体領域が重なり合う位置に設定したフレーム数にわたって、物体認識部２０２によって走行障害物として判定された物体が検出された場合に、走行障害物を検知する。走行障害物検知部２０４は、また、避走検知部２０３の避走検知結果から設定した期間内に設定した台数以上の車両が避走した場合、又は設定した台数の監視カメラ映像内を通過する車両のなかで設定した台数以上の車両が避走した場合に、走行障害物を検知する。

情報出力部１０４は、映像解析部１０３による走行障害物の検知結果を情報表示板等の他の機器及びシステムに向けて出力する。出力する情報には、走行障害物検知の有無だけでなく、物体認識処理と避走検知処理のどちらの処理による走行障害物検知であるかの情報等に基づいて算出した、走行障害物検知の確度の情報を含めても良い。

上述した実施例の構成をまとめと、以下である。

走行障害検知システムは、旋回/ズーム機能を持つＰＴＺタイプの監視カメラ１０１と、監視カメラ１０１が複数の画角を巡回して撮像するよう制御するカメラ制御部１０２と、監視カメラ映像とカメラ制御情報（監視カメラを制御するための旋回/ズームの設定値及び監視カメラが巡回する画角の通し番号）に基づいて走行障害物の有無を検知する映像解析部１０３と、を有する。走行障害検知システムは、さらに、映像解析部１０３からの走行障害物の検知結果を他の表示機器に向けて出力する情報出力部１０４、を有する。

映像解析部１０３は、入力した監視カメラ映像とカメラ制御情報をもとに監視カメラ映像内に存在する物体の物体情報（物体が抽出された画像及び画像内での物体領域）を抽出する物体抽出部２０１と、カメラ制御情報と物体抽出部２０１によって得られた物体情報の特徴に基づいて物体の種別を識別する物体認識部２０２と、を有する。映像解析部１０３は、さらに、カメラ制御情報と物体抽出部２０１によって得られた物体情報から映像内の車両の避走（車線変更など車両が走行障害物を避ける際にすると思われる走行）を検知する避走検知部２０３と、物体認識部２０２によって得られた物体識別結果と避走検知部２０３によって得られた避走検知結果に基づいて走行障害物の検知を行う走行障害物検知部２０４と、を有する。

映像解析部１０３の有する物体抽出部２０１は、監視カメラ映像から監視カメラ映像内を移動する物体及び監視カメラ映像内に発生した物体の領域及び画素値を抽出する背景差分処理部３０１と、監視カメラ映像から背景モデル（監視カメラ映像内を移動する物体以外の背景部分の状態を表すモデル）を生成する背景モデル生成部３０２と、を有する。物体抽出部２０１は、さらに、背景モデル生成部３０２で生成された背景モデルを記録しカメラ制御情報に基づいて記録した１つ以上の背景モデルを出力する背景モデル記録部３０３と、背景モデル生成部３０２で生成された背景モデルと背景モデル記録部３０３に記録された背景モデルから監視カメラ映像内に存在する静止した物体の領域及び画素値を抽出する背景モデル間差分処理部３０４と、を有する。物体抽出部２０１は、また、背景差分処理部３０１と背景モデル間差分処理部３０４にて抽出された物体の領域及び画素値から解析対象とする物体を判定して物体情報として出力する物体判定処理部３０５と、を有する。

映像解析部１０３の有する物体認識部２０２は、物体抽出部２０１から得られた物体情報から物体を識別するための１つ以上の特徴量を抽出する特徴抽出部４０１と、カメラ制御情報と特徴抽出部４０１にて得られた特徴量に基づいて物体を走行障害物又は１つ以上の特定の種別又は走行障害物候補として識別する物体識別部４０２と、を有する。物体認識部２０２は、さらに、物体識別部４０２にて走行障害物候補として識別された物体の物体情報の局所的な特徴を抽出する局所特徴抽出部４０４と、カメラ制御情報と局所特徴抽出部４０４によって得られた局所特徴量に基づいて監視カメラが巡回する各画角にて抽出される走行障害物候補の物体の特徴を学習（入力した特徴の傾向を得ること）する局所特徴学習部４０５と、を有する。物体認識部２０２は、さらに、物体識別部４０２から得た物体識別結果と局所特徴抽出部４０４から得た局所特徴量と局所特徴学習部４０５から得た局所特徴学習結果に基づいて物体が走行障害物であるかを判定する走行障害物判定部４０６と、を有する。

映像解析部１０３の有する避走検知部２０３は、物体抽出部２０１から得られた物体情報に基づいて監視カメラ映像内の物体を複数フレームにわたって追跡する物体追跡部６０１と、物体追跡部６０１にて追跡された物体から動き解析の対象とする車両を選別する車両選別部６０２と、を有する。避走検知部２０３は、さらに、カメラ制御情報と車両選別部６０２によって得られた車両の動き情報に基づいて監視カメラ１０１が巡回する各画角での車両の動きを学習（入力した動き方の傾向を得ること）する動き情報学習部６０３と、車両選別部６０２で得られた車両の動き情報と動き情報学習部６０３によって得られた動き情報学習結果に基づいて車両が避走したかを判定する避走判定部６０４と、を有する。

また、本発明の実施例によれば、道路上を単一又は複数の画角で撮影する撮影手段と、前記撮影手段から取り込まれた映像から道路上に発生した物体の領域と画素値を抽出する物体抽出手段と、前記物体抽出手段によって取得された物体の領域と画素値から、道路上の物体を追跡する物体追跡手段と、前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する。

また、本発明の実施例によれば、道路上を単一又は複数の画角で撮影する撮影手段と、あらかじめ撮影された道路上の所定の路面情報を記憶する路面情報記憶手段と、前記撮影手段から取り込まれた映像と前記路面情報記憶手段に記憶された所定の路面情報とを比較し、該比較結果より道路上に発生した異常の領域と画素値を抽出する異常抽出手段と、画角と映像内の位置ごとに設定された判定基準に基づいて、前記異常抽出手段によって取得された異常の領域と画素値をブロックに分割して局所特徴量から、異常の種別を識別する異常認識手段と、前記異常認識手段によって取得された異常の種別の情報から映像内に発生した路面の異常の有無を走行障害物として検知する障害物検知手段と、を有する。

上記走行障害物検知等、走行障害検知システム１によれば、屋外に設置されたＰＴＺタイプの監視カメラによって、監視エリア内に発生した落下物等の路面異常を効率的に自動検知することが可能となる。

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

１：走行障害検知システム
１０１：監視カメラ
１０２：カメラ制御部
１０３：映像解析部
１０４：情報出力部
２０１：物体抽出部
２０２：物体認識部
２０３：避走検知部
２０４：走行障害物検知部
３０１：背景差分処理部
３０２：背景モデル生成部
３０３：背景モデル記録部
３０４：背景モデル間差分処理部
３０５：物体判定処理部
４０１：特徴抽出部
４０２：物体識別部
４０３：局所ブロック抽出部
４０４：局所特徴抽出部
４０５：局所特徴学習部
４０６：走行障害物判定部
６０１：物体追跡部
６０２：車両選別部
６０３：動き情報学習部
６０４：避走判定部

Claims

監視エリアを単一又は複数の画角で撮影する撮影手段と、
前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、
画角と映像内の位置ごとに設定された判定基準に基づいて、前記物体抽出手段によって取得された物体の領域と画素値をブロックに分割して局所特徴量から、物体の種別を識別する物体認識手段と、
前記物体認識手段によって取得された物体の種別の情報から映像内に発生した障害物の有無を検知する障害物検知手段と、を有する、
ことを特徴とする障害検知システム。
請求項１に記載の障害検知システムにおいて、
前記物体認識手段は、
前記物体抽出手段によって得られた物体の領域と画素値から物体を識別するための１つ以上の特徴量を抽出する特徴抽出手段と、
前記特徴抽出手段にて得られた特徴量に基づいて物体を障害物又は１つ以上の特定の種別又は障害物候補として識別する物体識別手段と、
前記物体識別手段にて障害物候補として識別された物体の領域と画素値をブロックに分割し、各ブロックに対して１つ以上の特徴量を抽出する局所特徴抽出手段と、
前記局所特徴抽出手段によって得られた局所特徴量から障害物としての判定基準を算出する局所特徴学習手段と、
前記局所特徴学習手段によって得た判定基準から、前記物体識別手段によって障害物候補として識別された物体が障害物であるかの判定を行う障害物判定手段と、を有する、
ことを特徴とする障害検知システム。
請求項１に記載の障害検知システムにおいて、
前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、
前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、
前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、
前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する避走検知手段と、
前記避走検知手段による避走検知の頻度から障害物の発生を検知する障害物検知手段と、を有する、
ことを特徴とする障害検知システム。
監視エリアを単一又は複数の画角で撮影する撮影手段と、
前記撮影手段から取り込まれた映像から監視エリアに発生した物体の領域と画素値を抽出する物体抽出手段と、
前記物体抽出手段によって取得された物体の領域と画素値から、監視エリアの物体を追跡する物体追跡手段と、
前記物体追跡手段によって追跡された物体のなかから車両のみを選別する車両選別手段と、
前記車両選別手段によって得られた車両の追跡結果から算出された基準値を、撮影された画角と画面内の位置とで対応付けて記録する動き学習手段と、
前記車両選別手段によって得られた車両の追跡結果と前記動き学習手段によって記録された基準値に基づいて、映像内に存在する車両の走行方向の異常を検知する異常車両検知手段と、を有する、
ことを特徴とする障害検知システム。