JP2012195887A

JP2012195887A - 道路撮影システム

Info

Publication number: JP2012195887A
Application number: JP2011059916A
Authority: JP
Inventors: Hiroshi Ueda; 浩史上田; Takumi Matsuda; 匠松田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-03-17
Filing date: 2011-03-17
Publication date: 2012-10-11

Abstract

【課題】道路上の監視区域に沿って設けられたカメラの撮像画像を補正する道路撮影システムを提供することである。
【解決手段】実施形態の道路撮影システムは、道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、前記カメラによって撮影された前記監視区域の物体を検出するための第１の画像を格納する格納手段と、前記カメラによって撮影された前記監視区域の物体を検出するための第２の画像と前記格納手段によって格納された前記第１の画像との差分を検出する差分検出手段と、前記差分検出手段で検出した差分を基に前記第１の画像と前記第２の画像とにより、前記監視区域の物体を検出する物体検出手段と、外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段とを有する。
【選択図】図１

Description

本発明の実施形態は、道路撮影システムに関する。

高速道路等の道路には、道路状況を把握する為のカメラが設置されており、このカメラにより撮影された画像から車両を検出する車両検出システムが知られている。

道路上や屋外に設置されたカメラは、車両の通行による振動や風などの影響を受けやすく、揺れやすい環境にある。

このため、カメラにより異なるタイミングで撮影された複数画像の差分を検出し、この差分に基づき道路上の車両を検出する車両検出システムでは、カメラの揺れにより生じた画像の差分を車両などによる画像の差分として検出する可能性がある。

特開２００６−１０１４８５号公報

本発明が解決しようとする課題は、道路上の監視区域に沿って設けられたカメラの撮像画像を補正する道路撮影システムを提供することである。

上記課題を達成するために、実施形態の道路撮影システムは、道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、前記カメラによって撮影された前記監視区域の物体を検出するための第１の画像を格納する格納手段と、前記カメラによって撮影された前記監視区域の物体を検出するための第２の画像と前記格納手段によって格納された前記第１の画像との差分を検出する差分検出手段と、前記差分検出手段で検出した差分を基に前記第１の画像と前記第２の画像とにより、前記監視区域の物体を検出する物体検出手段と、外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段とを有する。

第１〜第５の実施形態に共通の道路撮影システムの一例を示すブロック図である。第３の実施形態に係る第１の提供サービス制御処理の一例を示すフローチャートである。第４の実施形態に係る第２の提供サービス制御処理の一例を示すフローチャートである。第５の実施形態に係る第３の提供サービス制御処理の一例を示すフローチャートである。第１の実施形態に係る第１の揺れ検出処理の一例を示すフローチャートについて説明する。第２の実施形態に係る第２の揺れ検出処理の一例を示すフローチャートについて説明する。実施形態に係る差分画像からの物体検出（例えば車両検出）の一例を説明するための図である。実施形態に係る揺れの影響を受けた撮像画像からの物体の誤検出（例えば車両の誤検出）の一例を説明するための図である。実施形態に係る揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正する補正処理の一例を説明するための図である。実施形態に係る車両の変位ベクトルの検出処理の一例を説明するための図である。

以下、第１〜第５の実施形態について図面を参照して説明する。

図１は、第１〜第５の実施形態に共通の道路撮影システム１０の一例を示すブロック図である。図１に示すように、道路撮影システム１０は、上位装置１、撮像装置２、画像処理部３、画像判定部４を備え、画像判定部４には、風速計５（気象観測装置）からの気象観測情報を外部から入力する入力部４１を備えている。道路撮影システム１０は、道路上の監視区域６を撮影して物体（例えば車両７など）を検出する。

第１の実施形態では、道路撮影システム１０の第１の揺れ検出処理（図５参照）の一例について説明する。また、第２の実施形態では、道路撮影システム１０の第２の揺れ検出処理（図６参照）の一例について説明する。

また、第３の実施形態では、道路撮影システム１０の第１の揺れ検出処理を利用した第１の提供サービス制御処理（図２参照）の一例について説明する。また、第４の実施形態では、道路撮影システム１０の第２の揺れ検出処理を利用した第２の提供サービス制御処理（図３参照）の一例について説明する。また、第５の実施形態では、道路撮影システム１０の第１及び第２の揺れ検出処理を利用した第３の提供サービス制御処理（図４参照）の一例について説明する。

（第１の実施形態）
図１、図５、図７〜図９を参照し、第１の揺れ検出処理の一例について説明する。

道路撮影システム１０の撮像装置２は、高速道路等の道路上の監視区域６に沿って設置され、監視区域６を撮影するカメラであり、道路等を走行する車両７を撮影することができる。撮影装置２の撮影により取得された動画データは、画像処理部３に送信される。また、撮影装置２の撮影により取得された動画データは、上位装置１にも送信され、上位装置１の表示部１２は、動画データに基づく映像を表示する。

画像処理部３は、動画データを受信して記憶部３１に記憶し、動画データから基準画像（第１のタイミングで撮影された第１の画像）を検出し、また、動画データから撮像画像（第１のタイミングと異なるタイミングで撮影された第２の画像）を検出する。

動画データは、複数の静止画により構成される画像データであり、画像処理部３は、第１のタイミングで撮影された静止画、又は指定されたタイミングで撮影された静止画を基準画像として設定し（ＳＴ５０１）、第１のタイミングと異なる第２のタイミング（第１のタイミングより遅れた第２のタイミング）で撮影された静止画を撮像画像として設定する（ＳＴ５０２）。

例えば、上位装置１は、操作入力部１１を備え、操作入力部１１は、オペレータからの基準画像の取得指示の入力を受け付け、画像処理部３に基準画像の取得指示を通知する。画像処理部３は、基準画像の取得指示のタイミングで撮影された静止画を基準画像として設定する。オペレータは、表示部１２に表示される映像を見ながら、つまり撮影装置２の撮影により取得された動画データに基づく映像を見ながら、映像中に車両７が映っていないタイミングで、操作入力部１１を介して基準画像の取得指示を入力する。これにより、図７に示すような道路８のみの画像（基準画像）が設定される。

また、操作入力部１１は、オペレータからの道路状況の監視を開始する監視開始指示の入力を受け付け、画像処理部３に監視開始指示を通知する。画像処理部３は、監視開始指示のタイミングで撮影された静止画、又は監視開始指示のタイミングの後に定期的に撮影された複数の静止画を撮像画像として設定する（ＳＴ５０２）。例えば、図７に示すような車両７が映った画像（撮像画像）が設定される（第１の画像を格納する格納手段）。

画像判定部４は、基準画像と撮像画像とを比較し、基準画像と撮像画像との差分を検出し、差分を評価する（差分検出手段）。例えば、画像判定部４は、図７に示すような差分画像を生成し、この差分画像から物体（例えば車両７）を検出する（物体検出手段）。

図８に示すように、撮影装置２が様々な要因（例えば風、地震、走行車両の振動など）により揺れると、撮影装置２の撮影範囲がずれてしまい、本来の撮影範囲と異なる撮影範囲の撮像画像（揺れの影響を受けた撮像画像）が取得されてしまうことがある。基準画像と揺れの影響を受けた撮像画像とを比較すると、実際には、基準画像と揺れの影響を受けた撮像画像との差分が無いにもかかわらず（或いは差分が小さいにもかかわらず）、撮影範囲がずれたことにより、基準画像と揺れの影響を受けた撮像画像から差分が検出されてしまう。この差分検出は、物体の誤検出につながることがある。

そこで、図９に示すように、撮影範囲に目印９を設定し、基準画像と撮像画像とを比較する際に、撮影された目印９により基準画像と撮像画像との比較位置を補正することで、撮影装置２の撮影範囲のずれによる差分検出影響を少なくする。

図９に示す実施形態では、画像処理部３は、基準画像から無変化領域（第１の無変化領域）に相当する目印９（第１の目印画像）を検出し設定する。画像処理部３が、自動的に、基準画像から第１の目印画像を検出してもよいし、また、画像処理部３が、上位装置１からの目印指定に基づき基準画像から第１の目印画像を検出してもよい。画像処理部３が、自動的に基準画像から第１の目印画像を検出する場合、基準画像上における第１の目印画像の位置情報（座標データ）を記憶部３１に記憶し、この位置情報に基づき撮像画像から無変化領域（第２の無変化領域）に相当する目印９（第２の目印画像）を検出し設定する。

また、画像処理部３が、上位装置１からの目印指定に基づき基準画像から第１の目印画像を検出する場合について簡単に説明する。例えば、オペレータは、表示部１２に表示される映像を見ながら、表示部１２に対応して設けられたタッチパネル１２ａを介して映像中の目印９を指定する。これに対応して、上位装置１は、画像処理部３に対して目印指定（画像中の位置情報（座標データ））を通知する。画像処理部３は、目印指定に基づき基準画像から第１の目印画像を検出し設定する。さらに、画像処理部３は、目印指定に含まれた位置情報に基づき撮像画像からも無変化領域（第２の無変化領域）に相当する目印９（第２の目印画像）を検出し設定する。

画像判定部４は、基準画像と撮像画像とを比較し、差分を検出し、差分を評価する（ＳＴ５０３）。画像判定部４が、基準画像と撮像画像との差分無し、或いは基準画像と撮像画像との差分は第１の基準値に満たない（差分は非常に小さい）と判定した場合（ＳＴ５０４、ＮＯ）、画像判定部４は、さらに、画像（道路状況）に変化なしと判定する。この場合、基準画像と前記撮像画像の後続の別の撮像画像とを比較し、差分を検出し、差分を評価する処理を継続する。

画像判定部４が、基準画像と撮像画像との差分有り、或いは基準画像と撮像画像との差分は第１の基準値以上と判定し（ＳＴ５０４、ＹＥＳ）、さらに、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分（ずれ幅）無し（座標データの差分無し）、或いは基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分は第２の基準値に満たない（座標データの差分は第２の基準値に満たない）と判定した場合（ＳＴ５０５、ＮＯ）、基準画像と撮像画像との差分を出力する（ＳＴ５０６）。このケースでは、撮像装置２に対する揺れの影響は無い、又は撮像装置２に対する揺れの影響が小さいと判定できるため、基準画像と撮像画像との差分をそのまま出力する。例えば、上位装置１は、画像判定部４からの差分出力に基づき、物体（例えば車両７）を検出し、物体検出情報を蓄積し、道路状況を判定し、道路状況判定結果を出力する。

画像判定部４が、基準画像と撮像画像との差分有り、或いは基準画像と撮像画像との差分は第１の基準値以上と判定し（ＳＴ５０４、ＹＥＳ）、さらに、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分有り、或いは基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分は第２の基準値以上と判定した場合（ＳＴ５０５、ＹＥＳ）、後続の画像補正処理に移行する。このケースでは、撮像装置２に対する揺れの影響が有ると判定できるため、基準画像と撮像画像との差分をそのまま出力せずに、後続の画像補正処理に移行する。

画像判定部４は、撮像画像から第２の目印画像を検出できていない場合には（ＳＴ５０７、ＮＯ）、異常信号Ａを出力する（ＳＴ５０８）。例えば、撮像装置２の揺れが大きく、撮像装置２の撮影範囲が大きくずれてしまっている場合には、撮像画像から第２の目印画像を検出できないことがある。また、撮像装置２に対して汚れやゴミが付着し、道路上の監視区域６が撮影できない場合にも、撮像画像から第２の目印画像を検出できないことがある。

また、画像判定部４は、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分は第２の基準値以上で且つ第３基準値（＞第２基準値）以上と判定した場合には（ＳＴ５０９、ＮＯ）、異常信号Ｂを出力する（ＳＴ５１０）。つまり、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分が非常に大きい場合は、異常信号Ｂを出力する。

画像判定部４は、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分は第２の基準値以上で且つ第３基準値（＞第２基準値）に満たないと判定した場合には（ＳＴ５０９、ＹＥＳ）、画像補正処理（ＳＴ５１１、ＳＴ５１２）を実行し、異常信号Ｃを出力する（ＳＴ５１３）。

例えば、画像判定部４は、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分（ずれの幅）を計算し（ＳＴ５１１）、計算結果に基づき撮像画像を補正する（ＳＴ５１２）。図９に示すように、画像判定部４は、揺れの影響を受けた撮像画像から、揺れの影響による余分な画像を削除し、揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正する。次に、画像判定部４は、基準画像と補正した撮像画像（補正撮像画像）とを比較して差分を検出し、差分を評価する（ＳＴ５１２）。または、他の実施形態として画像補正処理（ＳＴ５１１、ＳＴ５１２）として、画像判定部４は、基準画像と揺れの影響を受けた撮像画像とを比較するために、基準画像を基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分の計算結果に基づき補正する。次に、画像判定部４は、補正した基準画像（補正基準画像）と撮像画像とを比較して差分を検出し、差分を評価する。

次に、画像判定部４は、基準画像と補正撮像画像との差分無し、或いは基準画像と補正撮像画像との差分は第１の基準値に満たないと判定した場合（ＳＴ５１４、ＮＯ）、画像（道路状況）に変化なしと判定する。この場合、基準画像と前記撮像画像の後続の別の撮像画像とを比較して差分を検出し、差分を評価する処理を継続する。画像判定部４は、基準画像と補正撮像画像との差分有り、或いは基準画像と補正撮像画像との差分は第１の基準値以上と判定した場合（ＳＴ５１４、ＹＥＳ）、画像（道路状況）に変化ありと判定し、基準画像と補正撮像画像との差分を出力する（ＳＴ５１５）。または、他の実施形態として補正基準画像と撮像画像との差分を判定し、その判定結果により、補正基準画像と撮像画像との差分を出力するとしても良い。

上記説明したように、第１の実施形態の道路撮影システム１０は、基準画像から検出された第１の目印画像と、撮像画像から検出された第２の目印画像とを比較し、撮像装置２の揺れを検出することができる。また、第１の実施形態の道路撮影システム１０は、撮像装置２の揺れの影響を受けた撮像画像を、揺れの影響の無い撮像画像へ補正することができる。さらに、第１の実施形態の道路撮影システム１０は、基準画像と補正撮像画像とを比較することができ、撮像装置２の揺れの影響のない差分、又は撮像装置２の揺れの影響の少ない差分を出力することができる。これにより、上位装置１は、差分に基づき物体を検出することができ、物体の検出結果から道路状況を検出することができる。

（第２の実施形態）
図１、図６、図１０を参照し、第２の揺れ検出処理の一例について説明する。

画像処理部３は、動画データを受信して記憶部３１に記憶し、動画データから第１のタイミングで撮影された第１の画像を検出し、また、動画データから第１のタイミングと異なるタイミングで撮影された第２の画像を検出する。動画データは、複数の静止画により構成されるデータであり、画像処理部３は、第１のタイミングと異なる第２のタイミング（第１のタイミングよりＮ時間（Ｎは所定時間の値を示す文字）遅れた第２のタイミング）で撮影された静止画を第２の画像（Ｂ画像）として入力する（ＳＴ６０１）。

次に、第１のタイミング（第２のタイミングよりＮ時間前（例えば、Ｎ（ｍｉｌｌｉｓｅｃｏｎｄ）前）のタイミング）で撮影された静止画を第１の画像（Ａ画像）として入力する（ＳＴ６０２）（第１の画像を格納する格納手段）。

画像判定部４は、第１の画像と第２の画像とを比較し、第１の画像と第２の画像との差分を検出し、差分を評価する。例えば、画像判定部４は、差分評価に基づき、第１の画像と第２の画像において、Ｘ時間以上（Ｘは所定時間の値を示す文字（Ｘ＞Ｎ））の間、差分が生じない領域を静止物領域と判定する（静止物のある領域と判定する）（ＳＴ６０３）。

画像判定部４は、静止物領域に差分が発生していない、又は差分が基準値未満であることを検出し（ＳＴ６０４、ＮＯ）、この検出に対応して、第１の画像と第２の画像との差分に基づき車両変位ベクトルを検出し、車両変位ベクトルを出力する（ＳＴ６０５）。

また、画像判定部４は、静止物領域に差分が発生している、又は差分が基準値以上であることを検出し（ＳＴ６０４、ＹＥＳ）、異常信号Ｄを出力する（ＳＴ６０６）。さらに、画像判定部４は、図１０に示すように、まず、静止物領域の差分に基づき、静止物変位（カメラの揺れ）ベクトル（第１のベクトル）を検出（差分検出手段）し（ＳＴ６０７）、次に、静止物変位ベクトル（第１のベクトル）と、静止物変位ベクトル以外のベクトル量（車両変位ベクトル（第２のベクトル））とを含む第２の画像から、車両変位ベクトルを検出（物体検出手段）して、車両変位ベクトルを出力する（ＳＴ６０８）。

上記説明したように、第２の実施形態の道路撮影システム１０は、第１の画像と第２の画像とを比較し、静止物領域を検出し、さらに静止物領域から静止物変位ベクトルを検出し、次に車両変位ベクトルを検出し、出力することができる。これにより、上位装置１は、車両変位ベクトルに基づき物体（例えば車両７）を検出することができ、物体の検出結果から道路状況を検出することができる。

（第３の実施形態）
図１、図２を参照し、第１の揺れ検出処理を利用した第１の提供サービス制御処理の一例について説明する。

上位装置１は、第１の実施形態で説明した第１の揺れ検出処理（ＳＴ５００）に基づき、異常信号Ａを検出すると（ＳＴ２０１、ＹＥＳ）、撮像装置２の故障を検出し（ＳＴ２０２）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ２０３）。

また、上位装置１は、異常信号Ａを検出せず（ＳＴ２０１、ＮＯ）、異常信号Ｂを検出すると（ＳＴ２０４、ＹＥＳ）、撮像装置２の位置ずれを検出し（ＳＴ２０５）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ２０６）。

また、上位装置１は、異常信号Ａを検出せず（ＳＴ２０１、ＮＯ）、異常信号Ｂも検出せず（ＳＴ２０４、ＮＯ）、異常信号Ｃも検出しなければ（ＳＴ２０７、ＮＯ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ２０８）。

また、上位装置１は、異常信号Ａを検出せず（ＳＴ２０１、ＮＯ）、異常信号Ｂを検出せず（ＳＴ２０４、ＮＯ）、異常信号Ｃを検出し（ＳＴ２０７、ＹＥＳ）、且つ異常信号Ｃの出力継続時間が一定以上の場合には車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ２１０）。

また、上位装置１は、異常信号Ｃの出力継続時間が一定以上でなければ（ＳＴ２０９、ＮＯ）、風速計５からの風の情報（風向き情報、風速情報）を取得し（ＳＴ２１１）（外部からの気象観測情報を入力する手段）、風の情報と、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分（第１の目印画像の位置（位置情報（座標データ））と第２の目印画像の位置との変位（位置情報（座標データ）））との相関性（相互に関係しあっている傾向）を解析する（ＳＴ２１２）。

上位装置１は、相関性有りの判定の場合（ＳＴ２１３、ＹＥＳ）、撮像装置２の揺れの原因を風によるものと判定して（ＳＴ２１６）、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する。次に、上位装置１は、風速計５の風速情報の値が一定値以上であれば（ＳＴ２１７、ＹＥＳ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ２１８）。風速情報の値が一定値以上であれば、撮像画像から物体を検出したとしても誤検出の可能性が高くなるため、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する。

上位装置１は、相関性無しの判定の場合（ＳＴ２１３、ＮＯ）、撮像装置２の揺れの原因を車両７の走行によるものと判定して（ＳＴ２１４）、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する。次に、上位装置１は、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ２１５）。上位装置１は、撮像装置２の揺れの原因が車両７の走行によるものであれば、車両７が道路上の監視区域６に存在しているとして、撮像画像から物体を検出し、道路状況等の情報を提供する。しかし、このときに、上位装置１が撮像画像から物体を検出できない場合、上位装置１は、表示部１２に風速計５の風速検出の異常や動作の確認等の表示を行う。また、上位装置１は、画像判定部４の入力部４１から風速計５の情報を入力し、その風速計５の情報と撮像装置２の揺れの原因の情報との比較により、風速計５の風速検出の異常や動作の確認等を行うことにより風速計５からの情報の異常監視を行う（監視手段）。

また、上位装置１は、風速情報の値が一定値以上でなければ（ＳＴ２１７、ＮＯ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する。風速情報の値が一定値以上でなければ、撮像画像（補正撮像画像）から物体を検出したとしても誤検出の可能性が低くなるため、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ２１９）。

上記説明したように、第３の実施形態の道路撮影システム１０は、物体の検出結果から道路状況を検出するとともに、撮像装置２の揺れの原因を検出（解析手段）することができる。また、検出した原因に応じて車両検出に基づくサービスの提供を判断し（出力判断手段）、車両検出に基づくサービスの提供（道路状況等のサービスの提供（検出結果出力手段））を停止したり、継続したりすることができる。

（第４の実施形態）
図１、図３を参照し、第２の揺れ検出処理を利用した第２の提供サービス制御処理の一例について説明する。

上位装置１は、第２の実施形態で説明した第２の揺れ検出処理（ＳＴ６００）に基づき、異常信号Ｄを検出しなければ（ＳＴ３０１、ＮＯ）、道路状況等の車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ３０２）。上位装置１は、異常信号Ｄを検出すると（ＳＴ３０１、ＹＥＳ）、風速計５からの風の情報（風向き情報、風速情報）を取得し（ＳＴ３１１）、静止物領域の変位ベクトルを検出し（ＳＴ３１２）（外部からの気象観測情報を入力する手段）、風の情報と静止物領域の変位ベクトルとの相関性（相互に関係しあっている傾向）を解析する（ＳＴ３１３）。

上位装置１は、相関性有りの判定の場合（ＳＴ３１３、ＹＥＳ）、撮像装置２の揺れの原因を風によるものと判定して（ＳＴ３１６）、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する。次に、上位装置１は、風速計５の風速情報の値が一定値以上であれば（ＳＴ３１７、ＹＥＳ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ３１８）。風速情報の値が一定値以上であれば、撮像画像から物体を検出したとしても誤検出の可能性が高くなるため、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する。

上位装置１は、相関性無しの判定の場合（ＳＴ３１３、ＮＯ）、撮像装置２の揺れの原因を車両７の走行によるものと判定して（ＳＴ３１４）、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する。次に、上位装置１は、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ３１５）。上位装置１は、撮像装置２の揺れの原因が車両７の走行によるものであれば、車両７が道路上の監視区域６に存在しているとして、撮像画像から物体を検出し、道路状況等の情報を提供する。しかし、このときに、上位装置１が撮像画像から物体を検出できない場合、上位装置１は、表示部１２に風速計５の風速検出の異常や動作の確認等の表示を行う。また、上位装置１は、画像判定部４の入力部４１から風速計５の情報を入力し、その風速計５の情報と撮像装置２の揺れの原因の情報との比較により、風速計５の風速検出の異常や動作の確認等を行うことにより風速計５からの情報の異常監視を行う（監視手段）。

また、上位装置１は、風速情報の値が一定値以上でなければ（ＳＴ３１７、ＮＯ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する。風速情報の値が一定値以上でなければ、撮像画像（補正撮像画像）から物体を検出したとしても誤検出の可能性が低くなるため、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ３１９）。

上記説明したように、第４の実施形態の道路撮影システム１０は、物体の検出結果から道路状況を検出するとともに、撮像装置２の揺れの原因を検出（解析手段）することができる。また、検出した原因に応じて車両検出に基づくサービスの提供を判断し（出力判断手段）、車両検出に基づくサービスの提供（道路状況等のサービスの提供（検出結果出力手段））を停止したり、継続したりすることができる。

（第５の実施形態）
図１、図４〜図６を参照し、第１及び第２の揺れ検出処理を利用した第３の提供サービス制御処理の一例について説明する。

上位装置１は、第１及び第２の実施形態で説明した第１及び第２の揺れ検出処理（ＳＴ５００、ＳＴ６００）に基づき、異常信号Ｃ、Ｄを検出しなければ（ＳＴ４０１、ＮＯ）、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ４０２）。上位装置１は、異常信号Ｃ、Ｄを検出すると（ＳＴ４０１、ＹＥＳ）、風速計５からの風の情報（風向き情報、風速情報）を取得し（ＳＴ４１１）、風速計５の風速情報の値が一定値以上でなければ（ＳＴ４１２、ＮＯ）、画像補正（ＳＴ５１２）及び車両変位ベクトルの検出（ＳＴ６０８）により誤検出の可能性を低減できるため、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ４１３）。

上位装置１は、風速計５の風速情報の値が一定値以上であれば（ＳＴ４１２、ＹＥＳ）、基準画像中の第１の目印画像と撮像画像中の第２の目印画像との差分（第１の目印画像の位置（位置情報（座標データ））と第２の目印画像の位置（位置情報（座標データ））との変位）を取得し、さらに、静止物領域の変位ベクトルを取得し（ＳＴ４１４）、風の情報と画像（基準画像と撮像画像）中の目印画像の差分との相関性、及び風の情報と静止物領域の変位ベクトルとの相関性（相互に関係しあっている傾向）を解析する（ＳＴ４１５）。

上位装置１は、相関性有りの判定の場合（ＳＴ４１６、ＹＥＳ）、撮像装置２の揺れの原因を風によるものと判定し、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止する（ＳＴ４１７）。また、上位装置１は、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する。

上位装置１は、相関性無しの判定の場合（ＳＴ４１６、ＮＯ）、撮像装置２の揺れの原因を車両７の走行によるものと判定し、車両７が道路上の監視区域６に存在しているとして、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を継続する（ＳＴ４１８）。また、上位装置１は、撮像装置２の揺れの原因の情報を表示部１２と出力部１３とに出力し、出力部１３は道路撮影システム１０の外部に揺れの原因の情報を出力する（解析結果出力手段）。

しかし、この車両検出に基づくサービスの提供の継続（ＳＴ４１８）のときに、上位装置１が撮像画像から物体を検出できない場合、上位装置１は、表示部１２に風速計５の風速検出の異常や動作の確認等の表示を行う。また、上位装置１は、画像判定部４の入力部４１から風速計５の情報を入力し、その風速計５の情報と撮像装置２の揺れの原因の情報との比較により、風速計５の風速検出の異常や動作の確認等を行うことにより風速計５からの情報の異常監視を行う（監視手段）。

上記説明したように、第５の実施形態の道路撮影システム１０は、物体の検出結果から道路状況を検出するとともに、撮像装置２の揺れの原因を検出することができ、原因に応じて、車両検出に基づくサービスの提供（道路状況等のサービスの提供）を停止したり、継続したりすることができる。

以上説明した少なくとも一つの実施形態によれば、道路撮影システム１０は、基準画像から検出された第１の目印画像と、撮像画像から検出された第２の目印画像とを比較し、撮像装置２の揺れを検出することができる。また、道路撮影システム１０は、揺れの影響を受けた撮像画像を揺れの影響の無い撮像画像へ補正することができる。さらに、道路撮影システム１０は、基準画像と補正撮像画像とを比較することができ、撮像装置２の揺れの影響のない差分、又は撮像装置２の揺れの影響の少ない差分を出力することができる。この差分に基づき、道路撮影システム１０は、物体（例えば車両７）を検出することができる。

さらに、道路撮影システム１０は、高速道路等の道路上の監視区域６に目印９を設定し、基準画像と撮像画像中での目印９の位置（位置情報（座標データ））を比較することで、撮像装置２の揺れが大きければサービスの停止を行い、微小な揺れならば撮影した画像の補正を行い動作を継続することができる。また、揺れの原因を出力することができる。

また、以上説明した少なくとも一つの実施形態によれば、道路撮影システム１０は、第１の画像と異なるタイミングで撮影された第２の画像とを比較し、静止物領域を検出し、さらに、静止物領域から変位ベクトルを検出した場合に、静止物領域の変位ベクトル以外のベクトル量（車両変位ベクトル）を検出し、車両変位ベクトルを出力することができる。この車両変位ベクトルに基づき、道路撮影システム１０は、物体（例えば車両７）を検出することができる。

つまり、道路撮影システム１０は、一定時間以上変化がない領域を静止物領域と設定し、静止物領域内で移動ベクトルが検出された場合、静止物領域以外の差分のベクトルを検出し、撮像装置２が揺れている時でも動作を継続することができる。また、揺れの原因を出力することができる。

また、以上説明した少なくとも一つの実施形態によれば、道路撮影システム１０は、物体の検出結果から道路状況を検出するとともに、撮像装置２の揺れの原因を検出することができ、原因に応じて、物体（例えば車両７）の検出に基づくサービスの提供（道路状況等のサービスの提供）の継続を判断し、サービスの提供を停止したり、継続したりすることができる。つまり、撮像装置２の揺れの原因を、サービスの提供（道路状況等のサービスの提供）の継続の判断に使用することができる。さらに、揺れの原因の情報を出力することができる。

さらに、道路撮影システム１０は、一定以上の風速の時には、サービスを停止することができる。

さらに、道路撮影システム１０は、第１の揺れ検出や第２の揺れ検出の揺れ情報を用い、風速計５からの風速と撮像装置２の揺れ情報との解析結果を基に、風速計５の風速検出の異常や動作の確認等を行うことで、風速検出の精度を向上させることができる。つまり、道路撮影システム１０は、外部装置や外部装置から入力される気象観測情報の異常の監視を行うことができる。

本実施形態では、道路上の監視区域６を撮影して検出する物体は、車両７として用いられる例を示したが、道路上への落下物（荷物などの物品や植物、生物など）、人間、動物などの物体の検出であってもよい。

また、本実施形態では、外部からの気象観測情報は、風速計５からの風の情報（風向き情報、風速情報の値）として用いられる例を示したが、地震計からの震度の情報や振動計からの振動の情報であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…上位装置、２…撮像装置、３…画像処理部、４…画像判定部、５…風速計、
１０…道路撮影システム、１１…操作入力部、１２…表示部、１２ａ…タッチパネル、
１３…出力部、３１…記憶部、４１…入力部、６…監視区域、７…車両、８…道路、
９…目印

Claims

道路上の監視区域に沿って設けられ、前記監視区域を撮影するカメラと、
前記カメラによって撮影された前記監視区域の物体を検出するための第１の画像を格納する格納手段と、
前記カメラによって撮影された前記監視区域の物体を検出するための第２の画像と前記格納手段によって格納された前記第１の画像との差分を検出する差分検出手段と、
前記差分検出手段で検出した差分を基に前記第１の画像と前記第２の画像とにより、前記監視区域の物体を検出する物体検出手段と、
外部からの気象観測情報を入力する手段を含み、前記気象観測情報と前記差分検出手段の差分検出結果との関係を解析する解析手段と、
を有することを特徴とする道路撮影システム。
前記物体検出手段により前記監視区域の物体を検出した結果の出力を、前記解析手段で解析した結果により判断する出力判断手段と、
前記物体検出手段により前記監視区域の物体を検出した結果を、前記出力判断手段の判断の結果により出力する検出結果出力手段と、
を有する請求項１に記載の道路撮影システム。
前記解析手段で解析した結果を出力する解析結果出力手段を有する請求項１又は請求項２に記載の道路撮影システム。
前記解析手段の検出結果と前記気象観測情報との比較により、前記気象観測情報の監視を行う監視手段を有する請求項１乃至請求項３のいずれか１項に記載の道路撮影システム。
前記差分検出手段は、前記カメラによって撮影される前記監視区域の前記第１の画像に、前記第１の画像と前記第２の画像との差分を検出するための目印を設定し、前記第１の画像の前記目印と前記第２の画像中の前記第１の画像で設定した目印との差分を検出し、
前記物体検出手段は、前記差分検出手段で検出した差分を基に前記第１の画像と前記第２の画像とにより前記第２の画像を補正し、前記補正した第２の画像と前記第１の画像との差分により、前記監視区域の物体を検出すること、
を特徴とする請求項１乃至請求項４のいずれか１項に記載の道路撮影システム。
前記差分検出手段は、前記カメラによって撮影される前記監視区域の前記第１の画像と前記第２の画像とを比較し、前記比較で所定の時間以上において画像の変化のなかった部分を目印に設定し、前記第１の画像の前記目印と前記第２の画像中の前記第１の画像で設定した目印との差分の第１のベクトルを検出し、
前記物体検出手段は、前記第２の画像から前記第１のベクトル以外の第２のベクトルを検出し、前記第２のベクトルにより前記監視区域の物体を検出すること、
を特徴とする請求項１乃至請求項４のいずれか１項に記載の道路撮影システム。