JP2004287605A - Determining device, situation determining system, method and program - Google Patents

Determining device, situation determining system, method and program Download PDF

Info

Publication number
JP2004287605A
JP2004287605A JP2003076362A JP2003076362A JP2004287605A JP 2004287605 A JP2004287605 A JP 2004287605A JP 2003076362 A JP2003076362 A JP 2003076362A JP 2003076362 A JP2003076362 A JP 2003076362A JP 2004287605 A JP2004287605 A JP 2004287605A
Authority
JP
Japan
Prior art keywords
area
determination
moving image
analysis
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003076362A
Other languages
Japanese (ja)
Inventor
Takahiko Niimura
貴彦 新村
Hiroyuki Arai
啓之 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2003076362A priority Critical patent/JP2004287605A/en
Publication of JP2004287605A publication Critical patent/JP2004287605A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To more accurately determine situations on the basis of images taken. <P>SOLUTION: This situation determining system 100 includes a video camera 110 for photographing areas near an intersection 1, and a PC 120 for connection to the video camera 110 via a network 101. The PC 120 functions as a determining device for determining the situation of the intersection 1 from the images taken with the video camera 110 in accordance with a program stored in a built-in external storage device. In this case, of the images taken with the video camera 110, the PC 120 cuts out the images of three areas, an area 20 where a car turning right is waiting, an area 30 of near opposing lanes, and an area 40 of distant opposing lanes, and performs preset analysis for the image of each area. By determining whether or not the result of analysis on the image of each area matches a preset result for determination, the situation is determined. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、撮影画像から特定の状況になったか否か等の判定を行う判定装置、状況判定システム、判定方法およびプログラムに関する。
【0002】
【従来の技術】
従来より、撮影画像を分析することで、自動的に何らかの状況判断を行う技術が用いられている。例えば、落石、侵入物体、火災や車などの監視対象を撮影し、その撮影画像を分析することで、異常発生等の判定を行う装置がある(例えば、特許文献1参照)。
【0003】
そして、このような判定機能を利用した技術として、交差点の様子を撮影し、その撮影画像を交通監視センタ等に送信し、その画像の分析の結果撮影画像中に物体(=車)が進入した場合に警告を発するといったシステムも提案されている。かかるシステムでは、車などが交差点に進入することが交差点における交通事故等の発生の前提となるため、このような状況となったことを撮影画像に基づいて自動的に判別してセンタ員などに注意を促すことができる。
【0004】
【特許文献1】
特開2002−74370号公報
【0005】
【発明が解決しようとする課題】
しかしながら、上記のように交差点の様子を撮影した画像範囲内に車が進入することは多々あり、車が通過するたびにそれを検知して警報等を発していたのでは事故等の発生の可能性がほとんどないにもかかわらず、無駄な警報が多発してしまうといった問題が生じる。すなわち、この技術では、正確な状況判定ができないため、わずかでも事故発生等特定の状況発生の可能性がある場合(車が進入した場合)に警報等を発生させて、当該状況発生を逃すことがないようにしているのである。
【0006】
このように状況判定が正確にできない場合であっても、上記のようにすることで特定状況の発生検知を逃す可能性は低減できるものの、ほとんどその状況の発生する確率がないにもかかわらず、警報発生等がなされてしまう。このため、警報が意味をなさなくなるおそれがあり、特に上記の適用ケースにおいて交通量の多い交差点を監視対象として撮影する場合には常時警報が鳴ってしまうおそれがある。
【0007】
この発明は上記に鑑みてなされたもので、撮影画像に基づく状況判定をより正確に行うことができる判定装置、状況判定システム、判定方法およびプログラムを得ることを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、動画像を撮影する撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを具備することを特徴とする判定装置である。
【0009】
請求項1にかかる発明によれば、撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0010】
また、請求項2にかかる発明は、請求項1にかかる発明の構成において、前記判定手段による判定結果が一致するものである場合に、予め決められた機能を実行する機能実行手段をさらに具備することを特徴とする。
【0011】
請求項2にかかる発明によれば、撮影された画像のうちの複数の領域の画像についての分析結果が、予め設定されている判定用結果と一致した場合に、予め決められた機能が実現される。したがって、各領域の分析結果と判定結果が一致するような状況となったときに行うべき機能を実現するようにすれば、より正確に特定の状況判定がなされ、かつその状況に応じた機能を実現することができる。
【0012】
また、請求項3にかかる発明は、請求項1または2にかかる発明の構成において、前記動画像取得手段が取得すべき2以上の前記領域の範囲を特定するための領域特定情報を記憶する領域特定情報記憶手段と、前記領域ごとに設定される分析処理の内容を記憶する分析処理内容記憶手段と、前記領域ごとに設定される前記判定用結果を記憶する判定用記憶手段と、ユーザの指示にしたがって、前記領域特定情報、前記分析処理内容記憶手段または前記判定用記憶手段に記憶させるべき分析処理内容、判定用結果または両者を設定する設定手段とをさらに具備することを特徴とする。
【0013】
請求項3にかかる発明によれば、ユーザの指示にしたがって、領域特定情報記憶手段、分析処理内容記憶手段または判定用記憶手段に記憶させる設定内容を指定することができる。したがって、ユーザが、判定のために分析すべき2つ以上の画像領域の指定、各領域の画像について行わすべき分析処理、または判定用の結果を指定することができ、どのような環境においてどのような状況を判定するかに応じて適宜設定内容を決めることができる。
【0014】
また、請求項4にかかる発明は、予め決められた範囲の動画像を撮影する撮影手段と、前記撮影手段によって撮影された動画像に基づいて状況を判定する判定装置とを備えた状況判定システムであって、前記判定装置は、前記撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを有することを特徴とする状況判定システムである。
【0015】
請求項4にかかる発明によれば、撮影手段によって撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。
このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0016】
また、請求項5にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、互いに交差または合流する可動体が移動する複数の経路における当該交差または合流する位置よりも予め決められた距離だけ移動方向の上流側の領域を含む範囲を撮影するように配置されており、前記動画像取得手段は、各々の前記上流側の領域の動画像データを取得することを特徴とする。
【0017】
請求項5にかかる発明によれば、交差または合流する各々の経路の交差または合流前の上流側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、交差または合流点の上流側の領域の事象に基づいた判定を行うことができ、交差または合流点における可動体の衝突等の発生可能性が高い状況をより正確に判定することができる。
【0018】
また、請求項6にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、交差点における右折車待機領域と、当該右折車が走行する車線の対向車線上の領域であって、当該右折車待機領域の近傍にある第1の対向車線領域と、当該第1の対向車線領域よりも前記右折車待機領域から離れた位置にある第2の対向車線領域とを含む範囲を撮影するように配置されており、前記動画像取得手段は、前記右折車待機領域、前記第1の対向車線領域および前記第2の対向車線領域の動画像データを取得することを特徴とする。
【0019】
請求項6にかかる発明によれば、交差点における右折車待機領域と、これの対向車線の領域であって、右折車待機領域の近傍にある第1の対向車線領域と、離れた位置にある第2の対向車線領域との撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができ、交差点における右折しようとする車等と対向車等との衝突発生可能性が高い状況をより正確に判定することができる。
【0020】
また、請求項7にかかる発明は、請求項6にかかる発明の構成において、前記分析手段は、前記右折車待機領域の画像について可動物体が映っているか否かおよび映っている場合にはその移動方向を分析し、前記第1の対向車線領域の画像に映っていた可動物体が映らなくなったか否かを分析し、前記第2の対向車線領域の画像に可動物体が映っているか否かを分析し、前記判定手段は、前記右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っていることを含む判定結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0021】
請求項7にかかる発明によれば、各領域の画像についての分析結果が、交差点における右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っているといった交差点における右折車と対向車との衝突可能性が高いケースを条件として判定がなされるので、これらの条件を満たさない、つまり衝突等の可能性があまり高くない場合には特定状況の判定はなされないこととなり、衝突等の可能性が高い状況になったか否かをより正確に判定することができる。
【0022】
また、請求項8にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、交差点において交差する少なくとも2つの道路における当該交差点よりも予め決められた距離だけ手前にある交差点前領域を含む範囲を撮影するように配置されており、前記動画像取得手段は、少なくとも2つの前記交差点前領域の動画像データを取得することを特徴とする。
【0023】
請求項8にかかる発明によれば、交差点において交差する各々道路の交差点よりも手前側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、交差点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、交差点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0024】
また、請求項9にかかる発明は、請求項8にかかる発明の構成において、前記分析手段は、少なくとも2つの前記交差点前領域の画像について可動物体が映っているか否かを分析し、前記判定手段は、少なくとも2つの前記交差点前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0025】
請求項9にかかる発明によれば、交差点前領域の画像についての分析結果が、可動物体が映っているという交差点における衝突の発生の前提となる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0026】
また、請求項10にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、合流する2つの道路におけるその合流点よりも予め決められた距離だけ手前の合流前領域を含む範囲を撮影するよう配置されており、前記動画像取得手段は、2つの道路における前記合流前領域の動画像データを取得することを特徴とする。
【0027】
請求項10にかかる発明によれば、合流する各々道路の合流点よりも手前側の領域の撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、合流点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、合流点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0028】
また、請求項11にかかる発明は、請求項10にかかる発明の構成において、前記分析手段は、各前記合流前領域の画像に基づいて当該領域内に可動物体が存在しているかを分析し、前記判定手段は、各前記合流前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0029】
請求項11にかかる発明によれば、合流点手前領域の画像についての分析結果が、可動物体が映っているという合流点における衝突の発生の前提となる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0030】
また、請求項12にかかる発明は、請求項4にかかる発明の構成において、前記撮影手段は、ゲレンデにおけるリフト降り場から滑走路へ合流する合流領域と、当該合流領域よりも予め決められた距離だけ上方側の滑走路の上方領域とを含む範囲を撮影するように配置されており、前記動画像取得手段は、前記合流領域および前記上方領域の動画像データを取得することを特徴とする。
【0031】
請求項12にかかる発明によれば、ゲレンデにおける滑走路とリフト降り場からの経路の合流領域と、滑走路におけるこの合流領域よりも上方側の上方領域との撮影画像を取得し、各々について分析処理を行ってその分析結果と判定用結果が一致するか否かの判定を行うことができる。したがって、合流点の上方側の滑走路で生じている事象と、合流領域で生じている事象に基づいた判定を行うことができ、合流点におけるスキーヤー等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができる。
【0032】
また、請求項13にかかる発明は、請求項12にかかる発明の構成において、前記分析手段は、前記合流領域の画像中において可動物体が占める割合を分析し、前記上方領域の画像に可動物体が映っているか否かを分析し、前記判定手段は、前記合流領域の画像中において可動物体が占める割合が予め設定された値以上であること、前記情報領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする。
【0033】
請求項13にかかる発明によれば、滑走路における合流点の上方側の領域の画像に可動物体(スキーヤーらしき)が映っていることと、合流点の領域の画像に占める可動物体の割合が設定値以上である(複数のスキーヤーがいると思われる)ことといったように合流点におけるスキーヤー等の衝突の発生の可能性が高いと考えられる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できる。
【0034】
また、請求項14にかかる発明は、動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得ステップと、前記動画像取得ステップによって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析ステップと、前記分析ステップによって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定ステップとを具備することを特徴とする判定方法である。
【0035】
請求項14にかかる発明によれば、撮影された異なる2つ以上の領域の動画像データが取得され、その各々について予め設定された画像の内容分析処理が行われる。そして、各々の領域についての分析処理結果と、予め各領域について設定された判定用結果とが一致するか否かによって判定が行われる。このように複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となる。
【0036】
また、請求項15にかかる発明は、コンピュータを、動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段、前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析手段、前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段として機能させるためのプログラムである。
【0037】
請求項15にかかるプログラムをコンピュータに実行させることで、コンピュータを請求項1にかかる発明と同様の構成を有する装置として機能させることができる。
【0038】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる判定装置、状況判定システム、判定方法およびプログラムの好適な実施の形態を詳細に説明する。
【0039】
A.実施形態
図1は、本発明の一実施形態にかかる状況判定システムの全体構成を示す図である。同図に示すように、この状況判定システム100は、公衆網または専用回線などのネットワーク101を介して接続されるビデオカメラ110と、PC(Personal Computer)120とを備える。
【0040】
図示のようにビデオカメラ110は、右折用の車が走行する右折用車線10のある交差点1とその近傍を撮影できる位置に固定配置されており、交差点1およびその近傍を含む範囲の様子を撮影する。
【0041】
ここで、ビデオカメラ110の撮影範囲には、図中左側から右側に走行する車の右折用車線10を含む右折車待機領域20と、これと対向する車線(図中右から左に進行する車等が走行する車線(図の下側の車線))であって、当該右折車待機領域20の近傍にある近対向車線領域30と、当該近対向車線領域30よりも右折車待機領域20から離れた位置にある離対向車線領域40とが含まれるよう、その固定位置、撮影方向およびズームなどが調整され、調整後は位置、方向、ズームなどは固定される。つまり、ビデオカメラ110は、上記のような3つの領域を含む固定された範囲を撮影し続けるのである。
【0042】
ビデオカメラ110は、以上のような3つの領域を含む交差点1近傍範囲を撮影した動画像データをリアルタイムでネットワーク101を介してPC120に送信する。
【0043】
PC120は、ルータやモデム等の通信インターフェースを有しており、ネットワーク101を介してビデオカメラ110からリアルタイム送信される動画像データを受信して取り込む。すなわち、ビデオカメラ110によって撮影された一定時間t(例えば1/30秒)ごとのフレーム画像が順次PC120に取り込まれる。
【0044】
また、PC120はハードディスクドライブなどの外部記憶装置を有しており、当該外部記憶装置に、ビデオカメラ110によって撮影されてリアルタイムで供給される動画像データを分析等することで、交差点1において事故が発生する確率があると思われる状況になっているか否かを判定する処理を実現するためのプログラムが格納されている。
【0045】
PC120のCPUはかかるプログラムを読み出して実行することで、上記のような判定処理方法を実現する判定装置として機能するようになっており、その機能構成を図2に示す。
【0046】
同図に示すように、PC120は、領域別動画像取得部121と、領域座標テーブル(領域特定情報記憶手段)122と、画像データ保持部123と、分析処理部124と、分析処理テーブル(分析処理内容記憶手段)125と、判定処理部126と、判定用テーブル(判定用記憶手段)127と、警報発生部128とを備える。
【0047】
領域別動画像取得部121は、領域座標テーブル122を参照し、ビデオカメラ110から供給される動画像データ(順次供給される各フレーム画像)のうち、3つの特定の領域内の画像のみを切り出す。領域別動画像取得部121は、切り出した3つの領域画像にこれら各領域を識別するための領域IDを付して画像データ保持部123に出力する。
【0048】
領域座標テーブル122には、領域別動画像取得部121によって切り出すべき3つの領域の範囲を特定するための座標情報が格納されている。本実施形態では、長方形または正方形状の領域の範囲を特定するためにこれらの対角座標の情報が格納されているが、領域を特定できる情報であれば他の情報であってもよい。
【0049】
図示の例では、「ID01」は上述した右折車待機領域20を、「ID02」近対向車線領域30を、「ID03」は離対向車線領域40を識別するためのIDとして用いられている。そして、上述した交差点1における各3つの領域が範囲として特定されて切り出されるように各IDに対応する座標情報が設定されている。
【0050】
画像データ保持部123は、識別IDが付与された上記3つの領域の画像を保持する。ここで、画像データ保持部123は、動画像データを構成する一定時間tごとのフレーム画像から切り出された各領域の画像を複数フレーム分保持する。つまり、現時点Tで供給されたフレーム画像から切り出した各領域の画像のみならず、1つ前のフレーム画像(T−tの時点で供給されたフレーム画像)、その前のフレーム画像など、過去一定期間(例えば0.5秒間)分のフレーム画像から切り出された各領域の画像についても保持する。
【0051】
分析処理部124は、画像データ保持部123に保持されている3つの右折車待機領域20、近対向車線領域30および離対向車線領域40の画像(1つ前の画像を含む)の各々について、各々領域に対して予め設定された画像の内容に関する分析処理を行う。
【0052】
本実施形態では、分析処理部124は、分析対象領域内に可動物体が存在するか否かを分析する物体有無検出処理部124aと、分析対象領域内を可動物体が通過したか否かを検出する通過検出処理部124bと、分析対象領域内にある可動物体の移動方向を検出する移動方向検出処理部124cとを有しており、各領域の画像について予め決められた1または複数の上記処理部による分析処理が行われる。
【0053】
分析処理テーブル125には、各領域IDごとに、そのIDによって識別される領域の画像に対して行うべき分析処理内容を示すデータが設定されており、分析処理部124はこの分析処理テーブル125の設定にしたがって上記3つの処理部の1または複数を選択し、選択した処理部による処理を各領域の画像に対して行う。
【0054】
本実施形態では、分析処理テーブル125には次のような設定がなされている。「ID01」によって識別される右折車待機領域20の画像については、物体有無検出処理部124aによる処理および移動方向検出処理部124cによる処理を行うように設定されている。「ID02」によって識別される近対向車線領域30については、通過検出処理部124bによる処理を行うように設定されている。「ID03」によって識別される離対向車線領域40については、物体有無検出処理部124aによる処理を行うように設定されている。
【0055】
次に、上記3つの処理部による分析処理内容について説明する。まず、物体有無検出処理部124aは、対象領域の画像に基づいて対象領域内に可動物体が存在するか否か、つまり可動物体が対象領域内に映っているか否かを検出する。より具体的には、対象領域内に車などの可動物体が存在していない時の画像(2値化画像)を保持しておき(朝、昼、夕方、夜など時刻ごとに用意しておく)、この画像と画像データ保持部123に保持されている領域の画像(2値化画像)を比較し、両者の相違具合に応じて領域内の可動物体の有無を検出する。例えば、相違する部分がある一定領域以上存在すれば可動物体ありと判別するようにすればよい。
【0056】
本実施形態では、物体有無検出処理は、右折車待機領域20および離対向車線領域40の画像に対して行われ、現時点Tのフレーム画像から切り出されたこれらの領域内に自動車やオートバイなどの可動物体が存在するか否かを検出する。
【0057】
なお、上記のように可動物体が存在していない時の画像と比較することで、可動物体の有無を検出するようにしてもよいし、1つ前の画像を利用し、1つ前の画像と比較することで移動する物体の有無を検出し、移動物体が検出されたか否かによって物体の有無を検出するようにしてもよい。
【0058】
また、単に可動物体の有無を検出するのではなく、領域の画像から可動物体のサイズ(例えばその物体が占める面積)や形状等を検出し、予め用意した自動車やオートバイであろうと思われるサイズの最小値よりも検出サイズが大きい場合に自動車やオートバイが存在する、もしくは自動車らしき形状である場合に自動車が存在するといったように自動車やオートバイらしき物体が存在することを検出するようにしてもよい。このように可動物体の有無の検出方法は任意であり、種々の方法を用いることができるが、自動車らしき物体の有無を検出できる処理であることが好ましい。なお、夜間において交差点1近傍の照明等がない、または少ない場合には、ビデオカメラ110として赤外線カメラ等を利用することが好ましく、かかる場合には物体有無検出用の比較画像も赤外線カメラで撮影したものを用いればよい。
【0059】
通過検出処理部124bは、対象領域内を可動物体が通過したか否かを検出する処理部であり、例えば次のようにして可動物体の通過の有無を検出する。対象領域内に車などの可動物体が存在していない時の画像(2値化画像)を保持しておき、この画像と画像データ保持部123に保持されている過去(例えば、0.5秒前)の領域の画像(2値化画像)を比較し、領域内の可動物体の有無を検出する。なお、この際、上記のように可動物体のサイズや形状の範囲を特定して自動車やオートバイらしき物体に絞って存在の有無を検出するようにしてもよい。
【0060】
過去の画像内に可動物体が検出されない場合には通過はなしとする一方で、可動物体が検出された場合には現時点Tで供給された対象領域の画像内に可動物体があるか否かを検出する。この際、可動物体が検出されなかった場合には、過去(0.5秒前)に存在していた可動物体が存在しなくなったわけであるから、通過があったと判別する。本実施形態では、かかる通過検出処理は、近対向車線領域30の画像に対して行われるようになっており、当該領域内を自動車やオートバイなどの可動物体が通過したか否かを検出する。
【0061】
なお、このような手法に限らず、過去一定期間(例えば0.5秒間)分のすべてのフレームから取り出した領域画像を分析し、移動する物体を特定して通過の有無をより正確に検出するようにしてもよく、通過の有無の検出手法は任意である。
【0062】
移動方向検出処理部124cは、対象領域内の物体の移動方向を検出する処理を行うものであり、例えば次のようにして可動物体の移動方向を検出する。画像データ保持部123に保持されている現時点Tの対象領域画像と、その1つ前(T−t)のフレーム画像から切り出した対象領域画像とを比較し、各々の画像にある物体の重心移動ベクトルを計算することで、移動方向を検出する。本実施形態では、右折車待機領域20の画像に対して当該移動方向検出処理が行われるようになっているが、この検出は領域内に映っている右折車待機領域にある自動車らしき可動物体が右折する方向に移動しているか否かを検出する。したがって、図3に示すような領域が、右折車待機領域20である場合には、自動車らしき可動物体21が右折しようとすると思われる方向である図の下側(斜め下側も含む)に移動したか否かを検出する。
【0063】
なお、このように1つ前のフレームから切り出した画像と、現時点との画像とを比較することで移動方向を検出するようにしてもよいが、3つ以上のフレームから切り出した画像に基づいて移動方向を検出するようにしてもよく、その検出方法は任意である。
【0064】
図2に示す分析処理部124では、3つの領域の画像が新たに画像データ保持部123に保持される毎(つまり、時間t毎)に、各領域の画像に対して上記のような予め決められた処理が行われるようになっており、分析処理部124は各々の領域の画像に対して行った処理の結果を判定処理部126に出力する。
【0065】
判定処理部126は、判定用テーブル127を参照し、分析処理部124から供給される各領域画像に対して行われた処理の結果(分析内容)に基づいて警報を発すべき状況にあるか否かの判定を行う。
【0066】
判定用テーブル127には、警報を発すべき状況と判定するための各領域画像ごとの処理結果が格納されている。図示のように、「ID01」で識別される右折車待機領域20の画像については、物体有無の検出結果が「物体あり」、かつ移動方向検出結果が「右折方向への移動あり」といった処理結果が格納されている。また、「ID02」で識別される近対向車線領域30の画像については、通過有無の検出結果が「通過あり」といった処理結果が格納されている。また、「ID03」で識別される離対向車線領域40の画像については、物体有無の検出結果が「物体であり」という処理結果が格納されている。
【0067】
すなわち、判定処理部126は、分析処理部124による各領域の画像に対する処理の結果が、判定用テーブル127に格納されている各領域の画像ごとの処理結果と一致するか否かを判定し、すべてが一致した場合に警報を発すべき状況であると判定してその旨を警報発生部128に出力する。
【0068】
警報発生部128は、アラーム音発生装置などを備えており、判定処理部126から警報発すべき状況である旨の通知を受け取った場合、アラーム音発生装置を駆動してアラーム音を発し、当該PC12の管理者に対して警報を発するといった機能を実現する。
【0069】
以上説明したようにPC120は、交差点を撮影した画像のうち上記3つの領域の画像に着目し、各画像内に映っている事象が予め決められた事象となったか否かを判別し、すべての領域内に映っている画像が予め決められた事象となった場合に特定の状況であると判定して警報を発するのである。
【0070】
より具体的に説明すると、本実施形態では、交差点において以下のような条件が整った時に異常発生として警報が発せられる。
▲1▼右折車待機領域20に右折車が存在し(物体あり)、かつその右折車が右折方向に移動しようとしている
▲2▼近対向車線領域30を上記右折車の対向車が通過した
▲3▼離対向車線領域40に対向車(オートバイを含む)が存在する
【0071】
この3つの条件を満たす状態を交差点の平面図で模式的に例示すると、図4に示すようになる。同図に示すように、右折車用の待機場所にいる自動車Aが、対向車である自動車Bが通過したので右折しようとしている。その時に、その対向車である自動車Bの後方にオートバイCが交差点に向かって走行しているといったケースである。
【0072】
このようなケースにおいては、自動車Aの運転手は、自動車Bが通過したので右折しようとしているので、自動車Bの背後に隠れていた、つまる自動車Aの運転手にとって死角となっている領域40内にあるオートバイCの存在に気づいていない可能性が高いと思われる一方で、現実にその背後にいたオートバイCが交差点に向かって走行しているので、右折しようとする自動車AとオートバイCが交差点において衝突等する可能性がある。
【0073】
本実施形態における判定装置として機能するPC120は、3つの特定の領域の画像に着目し、その画像に映し出される事象がどのようなものであるかを分析して判定に用いることで、上記のような事故発生可能性の高いケースとなった場合に異常発生ありといった判定をなすことができ、警報を発することができる。
【0074】
一方、単に自動車Bが交差点を通過しただけで、右折車待機領域20に自動車Aが存在しない場合、自動車Aが存在する場合であっても自動車Bの通過後も停止したままである場合、自動車Aが右折しようとした場合であっても自動車Bの背後にオートバイCが存在しない場合には、衝突事故などが発生する可能性は著しく低いが、本実施形態ではこのようなケースについては異常発生とは判定しない。
【0075】
したがって、衝突事故が発生する可能性が高い状況となったことのみをより正確に判定して警報を発することができ、交差点を自動車が通過したり、右折待機車がいる場合であっても衝突事故が起こる可能性が低い場合にはそれを異常と判定して警報等を発してしまうことを低減できる。
【0076】
なお、警報発生部128は、上記のようにアラーム音を発生させる機能を実現させるものに限らず、他の機能を実現するものであってもよく、例えばネットワーク101を介して交差点1近傍における右折車待機領域20にいる自動車Aの運転手が見える設置した発光部等の発光駆動指示を送信するものであってもよい。このようにすれば、警報を発すべき状況にあることを右折車待機領域20にある自動車Aの運転手に知らせることができ、右折を中止させてオートバイCとの衝突事故を未然に防止するといったことも可能となる。
【0077】
B.変形例
なお、本発明は、上述した実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【0078】
(変形例1)
上述した実施形態では、上記3つの領域の画像に映っている事象を分析し、上記▲1▼〜▲3▼の条件を満たした場合に異常ありと判定するようになっていたが、着目する領域、条件は上記実施形態で提示したものに限らず、交差点において事故が起こりうる可能性が高い他の状況を把握するために必要な領域の画像に着目し、各領域内で生じている事象の条件を設定するようにしてもよい。
【0079】
例えば、上記3つの領域の各々に自動車やオードバイらしき可動物体が存在するといった単純な条件を設定し、事故発生可能性がやや低い場合でも異常発生として判定するようにしてもよいし、上記実施形態における3つの条件に加え、離対向車線領域40内に存在する可動物体(オートバイC等)の移動速度を複数フレーム分の画像を用いることで検出し、移動速度が予め決められた条件の合致する場合(例えば40km/h以上など)にのみ異常発生と判定するようにしてもよい。
【0080】
また、上記の3つの領域の組み合わせ以外にも、右折車待機領域20および近対向車線領域30に加え、右折車が右折後に通過する横断歩道の領域の画像を取得して分析し、上記▲1▼、▲2▼の条件を満たすとともに当該横断歩道領域内に歩行者がいる場合には異常発生可能性ありと判定して警報等を発するようにしてもよい。
【0081】
(変形例2)
また、上述した実施形態では、交差点における上記3つの領域を含む画像を撮影するための1台のビデオカメラ110を用いていたが、撮影手段としては1台のビデオカメラに限らず、上記3つの領域を含む画像を撮影できればく、複数台のビデオカメラを用いるようにしてもよい。
【0082】
(変形例3)
また、上述した実施形態では、交差点における上記3つの領域の画像を取得分析して所定の条件を満たすか否かを判別するようにしていたが、領域や条件等は上記実施形態のものに限定されず、判定対象などに応じて取得分析する画像の領域や、領域内の事象の条件などを適宜設定するようにすればよい。
【0083】
例えば、図5に示すように、交差点の衝突事故等の発生可能性が高いか否かを判定する状況判定システムとして本発明を適用することができる。同図に示すように、この状況判定システム200は、2つのビデオカメラ210、211と、これらと有線もしくは無線通信手段を介して接続されるPC220とを備えている。
【0084】
ビデオカメラ210は、図5の上下方向に沿った道路201の特定の領域を含む範囲を撮影するよう固定配置されており、ビデオカメラ211は、図5の左右方向に沿った道路202の特定の領域を含む範囲を撮影するように固定配置されている。
【0085】
より具体的には、ビデオカメラ210は、道路201と道路202が交差する交差点203よりも一定距離D1だけ図の上方側の地点、上方から下方に進行する車等にとっては交差点203の距離D1だけ手前側の地点を中心とした領域250を含む範囲を撮影する。また、ビデオカメラ211は、道路202における交差点203よりも一定距離D2だけ図の右側の地点、右側から左側に進行する車等にとっては交差点203の距離D2だけ手前側の地点を中心とした領域260を含む範囲を撮影する。
【0086】
ビデオカメラ210、211は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC220に送信する。
【0087】
PC220は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0088】
まず、領域座標テーブル122には、ビデオカメラ210から順次供給されるフレーム画像から切り出す領域を特定するための座標情報が設定されており、設定される座標情報は上記領域250と一致するものであり、これにより領域別動画像取得部121によって上記領域250の画像がフレーム画像から切り出されるような情報である。
【0089】
また、領域座標テーブル122には、ビデオカメラ211から順次供給されるフレーム画像から切り出す領域を特定するための座標情報が設定されており、設定される座標情報は上記領域260と一致するものであり、これにより領域別動画像取得部121によって上記領域260の画像がフレーム画像から切り出される。
【0090】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域250の画像に対しては可動物体が存在するか否かの検出(実施形態の物体有無検出処理部124aと同じ処理)と、存在する場合にはその可動物体の移動速度と移動方向(移動方向検出処理部124cと同じ)を検出する。移動速度の検出処理方法としては、例えば1つ前のフレーム画像から切り出した領域250の画像と、現時点の領域250の画像との間で可動物体の移動量を求め、かかる画像上の移動量とフレーム間の時間tとに基づいて移動速度を求める手法を用いることができる。
【0091】
また、この変形例における分析処理部124は、領域260の画像に対しても領域250と同様に、物体の有無検出処理、移動速度検出処理および移動方向検出処理を行う。
【0092】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域250および領域260の各々に可動物体がある
▲2▼両領域内の可動物体の移動速度が一定速度(例えば20km/h)以上である
▲3▼領域250内の可動物体が図5の上から下側に移動し、かつ領域260内の可動物体が図5の左側から右側に移動している
▲4▼領域250内の可動物体の移動速度V1(km/h)と、領域260内の可動物体の移動速度V2(km/h)とした場合、両者が次のような関係にある
V1=V2×D1/D2±10
【0093】
すなわち、領域250,260に映った自動車等の可動物体が、交差点203に向けて移動しており、両者の速度関係から両者が交差点203で衝突しそうな場合に異常発生可能性が高いと判定されるのである。
【0094】
例えば、距離D1が30m、距離D2を15mであった場合、領域250内にいる自動車Aが60km/hで走行し、領域260内にいる自動車Bが30km/hで走行していた場合(V1=V2×D1/D2を満たす場合)、そのまま走行すると両自動車は交差点203にほぼ同時に進入し、衝突するおそれが高い。
このように上記の4つの条件を満たす場合、交差点203において衝突事故が発生する可能性が高く、PC220が上記のような判定を行うことで衝突事故等の発生可能性が高い状況になったことをより正確に判定することができる。
【0095】
なお、可動物体の速度が20km/h以下のように低速である場合には、両者は交差点203前で停止するか、交差点203に近づいた時点で交差点203に進入している他の車に存在に気づいてブレーキ等をかける可能性が十分考えられるので、条件▲2▼を満たすことを要求しているが、人や自転車と自動車やオートバイとの衝突可能性が高い状況であるか否かを判定する場合には、この条件を除くようにしてもよい。また、上記式における「±10」は、両者の速度差が10km/hの範囲内であれば、その後の速度変動によって衝突する可能性が十分にあるので幅を持たせたものであり、値は10km/hに限定されるものではなく、距離D1、D2や道路の状況などから適宜決定すればよい。
【0096】
また、領域250内に存在する自動車の運転手にとって領域260内に存在する自動車が見えず、また領域260内に存在する自動車の運転手にとって領域250内に存在する自動車が見えないといった両領域内に存在する者にとって互いに死角となる領域である場合、衝突の可能性は見晴らしのよい交差点と比較して高くなると考えられる。したがって、領域250、260として互いに死角となるような範囲に設定することで、より衝突等の可能性が高い状況になったことを判定できる。
【0097】
以上のように交差点203における衝突事故の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば交差点203に設置した発光部等を発光させるといった警報を発することで、交差点203へ進入しようとする自動車等の運転手に注意を促すことができ、衝突事故の発生を未然に防止することができる。
【0098】
なお、当該変形例のようなケースにおいて、上記の4つの条件以外にも、自動車Aと自動車Bが衝突するおそれが高い状況に応じた条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼のみを要求するようにして衝突可能性がそれほど高くない場合であっても可能性ありと判定するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0099】
(変形例4)
また、上記実施形態および変形例3以外にも、図6に示すように、複数の道路が合流する地点で衝突事故等が発生する可能性が高い状況であるか否かを判定する状況判定システムとして本発明を適用することができる。同図に示すように、この状況判定システム300は、2つのビデオカメラ310、311と、これらと有線もしくは無線通信手段を介して接続されるPC320とを備えている。
【0100】
ビデオカメラ311は、図6の上下方向に沿った本線道路301(進行方向は図の下から上方向)の特定の領域を含む範囲を撮影するよう固定配置されており、ビデオカメラ310は、本線道路301に合流する道路302の特定の領域を含む範囲を撮影するように固定配置されている。
【0101】
より具体的には、ビデオカメラ310は、道路301と道路302が合流する合流地点Gよりも一定距離D3だけ手前側の地点を中心とした領域350を含む範囲を撮影する。また、ビデオカメラ311は、合流地点Gよりも一定距離D4だけ手前側の地点を中心とした領域360を含む範囲を撮影する。
【0102】
ビデオカメラ310、311は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC320に送信する。
【0103】
PC320は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0104】
この変形例における領域座標テーブル122の設定内容にしたがった領域別動画像取得部121は、ビデオカメラ310によって撮影されたフレーム画像から上記領域350の画像を切り出し、ビデオカメラ311によって撮影されたフレーム画像から上記領域360の画像を切り出す。
【0105】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域350の画像に対しては可動物体が存在するか否かの検出(実施形態の物体有無検出処理部124aと同じ処理)と、存在する場合にはその可動物体の移動速度を検出する。また、この変形例における分析処理部124は、領域360の画像に対しても領域350と同様に、物体の有無検出処理および移動速度検出処理を行う。
【0106】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域350および領域360の各々に可動物体がある
▲2▼領域350内の可動物体の移動速度V3(km/h)と、領域360内の可動物体の移動速度V4(km/h)とした場合、両者が次のような関係にある
V3=V4×D3/D4±10
【0107】
すなわち、領域350,360に映った自動車等の可動物体が、その速度関係から両者が合流地点Gで衝突しそうな場合に異常発生可能性が高いと判定されるのである。
【0108】
例えば、距離D3が80m、距離D4を100mであった場合、領域350内にいる自動車Aが80km/hで走行し、領域360内にいる自動車Bが100km/hで走行していた場合(V3=V4×D3/D4を満たす場合)、そのまま走行すると両自動車は合流地点Gにほぼ同時に進入し、衝突するおそれが高い。このように上記の2つの条件を満たす場合、合流地点Gにおいて衝突事故が発生する可能性が高く、PC320が上記のような判定を行うことで衝突事故等の発生可能性が高い状況になったことをより正確に判定することができる。
【0109】
また、領域350内に存在する自動車の運転手にとって領域360内に存在する自動車が見えず、また領域360内に存在する自動車の運転手にとって領域350内に存在する自動車が見えないといった両領域内に存在する者にとって互いに死角となる領域である場合、衝突の可能性は見晴らしのよい合流地点と比較して高くなると考えられる。したがって、領域350、360として互いに死角となるような範囲に設定することで、より衝突等の可能性が高い状況になったことを判定できる。
【0110】
以上のように合流地点Gにおける衝突事故等の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば合流地点G近傍に設置した発光部等を発光させるといった警報を発することで、合流地点Gへ進入しようとする自動車等の運転手に注意を促すことができ、衝突事故の発生を未然に防止することができる。
【0111】
なお、当該変形例のようなケースにおいて、上記の2つの条件以外にさらに条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼のみを要求するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0112】
(変形例5)
また、上記実施形態および変形例3、4以外にも、図7に示すように、スキーのゲレンデにおいて、上方から滑走してくるスキーヤーと、リフト降り場にいるスキーヤーとが衝突等する可能性が高い状況であるか否かを判定するシステムとして本発明を適用することができる。同図に示すように、この状況判定システム400は、2つのビデオカメラ410、411と、これらと有線もしくは無線通信手段を介して接続されるPC420とを備えている。
【0113】
ビデオカメラ410は、リフト降り場430と山の上から下側への滑走路431との合流地点GG近傍の領域450を含む範囲を撮影するよう固定配置されており、ビデオカメラ411は滑走路431におけるその合流地点GGよりも上方側の領域460を含む範囲を撮影するよう固定配置されている。
【0114】
ビデオカメラ410、411は、以上のような領域を含む範囲を撮影した動画像データをリアルタイムで有線または無線通信手段を介してPC420に送信する。
【0115】
PC420は、上記実施形態におけるPC120とほぼ同様の構成であり(図2参照)、領域座標テーブル122に設定される内容と、分析処理部124によって行われる処理および分析処理テーブル125の設定内容と、判定用テーブル127の設定内容とが相違しており、以下相違点について説明する。
【0116】
この変形例における領域座標テーブル122の設定内容にしたがった領域別動画像取得部121は、ビデオカメラ410によって撮影されたフレーム画像から上記領域450の画像を切り出し、ビデオカメラ411によって撮影されたフレーム画像から上記領域460の画像を切り出す。
【0117】
この変形例における分析処理テーブル125の設定内容にしたがった分析処理部124では、領域450の画像に対してはその領域内における可動物体(スキーヤー)が占める割合を検出する。例えば、スキーヤーの全くいない状態で同じ領域を撮影した画像と、領域別動画像取得部121が切り出した領域の画像とを比較し、差のある部分を可動物体の占める部分として領域全体におけるその部分の占める割合を求めることにより検出する。このようなゲレンデにおいてはスキーヤー以外の可動物体はほとんど存在せず、上記のような可動物体が占める割合が大きい場合には、リフト降り場430から滑走路431への合流地点GG近傍の領域により多くのスキーヤーが存在していると考えられ、可動物体の占める割合が小さい場合にはスキーヤーの数が少ないと考えられる。
【0118】
また、この変形例における分析処理部124は、領域460の画像に対しては、物体の有無検出処理および移動速度検出処理を行う。
【0119】
そして、判定用テーブル127の設定内容を参照して判定を行う判定処理部126は、以下の条件が満たされた場合に異常発生の可能性が高いとしてその旨を警報発生部128に通知する。
▲1▼領域450内の可動物体の占める割合が所定値以上である
▲2▼領域460内に可動物体が存在する
▲3▼領域460内の可動物体の移動速度が一定速度(20km/h)以上である
【0120】
すなわち、領域450内における可動物体の占める割合が大きく、つまりその領域内にいるスキーヤーの数が比較的多く、かつ領域460内に一定速度以上で滑走する可動物体であるスキーヤーがいる場合に衝突等の発生可能性が高いと判定されるのである。
【0121】
以上のように合流地点GGにおける衝突事故等の発生可能性が高いと考えられる状況になったことをより正確に判定し、例えば合流地点GG近傍に設置した発光部等を発光させたり、アラーム音を発生させるといった警報を発することで、合流地点GGへ上方から滑走しようとするスキーヤーに注意を促すことができるとともに、合流地点GG近傍にいるスキーヤー達にも上方から滑走するスキーヤーがいることを伝えることができ、衝突事故の発生を未然に防止することができる。
【0122】
なお、当該変形例のようなケースにおいて、上記の3つの条件以外にさらに条件を加えてもよいし、逆に条件をゆるくする、例えば条件▲1▼および▲2▼のみを要求するように構成してもよく、ユーザが必要とする用途や可能性の程度にあわせて各条件等を設定すればよい。
【0123】
(変形例6)
なお、上記のような道路が交差する交差点、道路が合流する合流点、スキーの滑走路等が合流する地点などに限らず、移動する物体等を案内する複数の経路が合流または交差する状況がある場合において各々の経路に沿って進行する物体の衝突等の可能性が高くなる状況を判定するシステムとして本発明を適用することができる。このようなシステムにおいては、各々経路の合流点または交差点の上流側に置ける領域の画像を取得し、これらの領域内に合流点または交差点に向かう移動物体が存在するか否か、移動速度等を分析し、これらの分析結果が合流点または交差点近傍で衝突するおそれが高い結果と一致する場合には衝突可能性が高いといった判定を行うようにすればよい。
【0124】
(変形例7)
また、上述した実施形態や各変形例等において、図8に示すように、領域座標テーブル122、分析処理テーブル125および判定用テーブル127の設定内容をユーザが任意に設定できるような構成としてもよい。同図に示すように、この構成は、図2に示す構成に加え、設定内容をユーザが入力するためのキーボードやマウス等を有する入力手段500と、これらのテーブルに入力手段500を介して入力されたユーザの指示内容にしたがった座標情報、分析処理内容、判定用の処理結果を設定する設定手段510を備えている。
【0125】
かかる構成の下、ユーザがキーボード等を操作指示することで入力手段500を介して設定内容を入力すれば、その内容が設定手段510によって領域座標テーブル122、分析処理テーブル125または判定用テーブル127に設定されるので、判定に用いる領域や条件をユーザが任意に設定することができ、種々の用途にあわせて容易に設定内容を変更できる。
【0126】
(変形例8)
また、上述した実施形態や各変形例においては、ビデオカメラなどの撮影手段によって撮影された動画像から複数の領域を切り出し、各々の領域画像について分析を行って分析結果から何らかの状況判定を行う判定処理を、PC120等が外部記憶装置に格納されたプログラムにしたがった処理を行うことで実現するようにしていたが、上記のような処理をコンピュータに実行させるためのプログラムをインターネット等の通信回線を介してユーザに提供するようにしてもよいし、当該プログラムをCD−ROM(Compact Disc−Read Only Memory)などのコンピュータ読み取り可能な記録媒体に記録してユーザに提供するようにしてもよい。また、上記のような処理を専用のハードウェア回路によって実現する判定装置として構成し、当該判定装置をユーザに提供等するようにしてもよい。
【0127】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0128】
また、請求項2にかかる発明によれば、より正確に特定の状況判定がなされ、かつその状況に応じた機能を実現することができるという効果を奏する。
【0129】
また、請求項3にかかる発明によれば、ユーザが、判定のために分析すべき2つ以上の画像領域の指定、各領域の画像について行わすべき分析処理、または判定用の結果を指定することができ、どのような環境においてどのような状況を判定するかに応じて適宜設定内容を決めることができるという効果を奏する。
【0130】
また、請求項4にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0131】
また、請求項5にかかる発明によれば、交差または合流点の上流側の領域の事象に基づいた判定を行うことができ、交差または合流点における可動体の衝突等の発生可能性が高い状況をより正確に判定することができるという効果を奏する。
【0132】
また、請求項6にかかる発明によれば、交差点における右折しようとする車等と対向車等との衝突発生可能性が高い状況をより正確に判定することができるという効果を奏する。
【0133】
また、請求項7にかかる発明によれば、交差点において衝突等の発生可能性が高い状況になったか否かをより正確に判定することができるという効果を奏する。
【0134】
また、請求項8にかかる発明によれば、交差点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、交差点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0135】
また、請求項9にかかる発明によれば、交差点において衝突等の可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0136】
また、請求項10にかかる発明によれば、合流点の手前側の各々の領域で生じている事象に基づいた判定を行うことができ、合流点における車等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0137】
また、請求項11にかかる発明によれば、合流点において衝突等の可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0138】
また、請求項12にかかる発明によれば、ゲレンデの滑走路におけるリフト降り場からの走路との合流点の上方側で生じている事象と、合流領域で生じている事象に基づいた判定を行うことができ、合流点におけるスキーヤー等の衝突の発生可能性が高い状況であるか否かをより正確に判定することができるという効果を奏する。
【0139】
また、請求項13にかかる発明によれば、合流点におけるスキーヤー等の衝突の発生の可能性が高いと考えられる条件を状況判定のための条件としているので、このような条件を満たさない衝突可能性の低いケースにおいて衝突可能性が高いといった誤った判定をしてしまうことを低減できるという効果を奏する。
【0140】
また、請求項14にかかる発明によれば、複数の異なる領域内で起こっている事象を考慮した判定を行うことができ、より正確な状況判定が可能となるという効果を奏する。
【0141】
また、請求項15にかかるプログラムをコンピュータに実行させることで、コンピュータを請求項1にかかる発明と同様の構成を有する装置として機能させることができ、請求項1にかかる発明と同様の効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる状況判定システムの全体構成を示す図である。
【図2】前記状況判定システムの構成要素であるPCの機能構成を示すブロック図である。
【図3】交差点の状況を判定する前記状況判定システムにおいて、状況判定に用いられる領域の画像の一例を示す図である。
【図4】前記状況判定システムの状況判定対象である交差点の様子を示す図である。
【図5】前記状況判定システムの変形例の全体構成を示す図である。
【図6】前記状況判定システムの他の変形例の全体構成を示す図である。
【図7】前記状況判定システムのその他の変形例の全体構成を示す図である。
【図8】前記状況判定システムの構成要素であるPCの変形例の機能構成を示すブロック図である。
【符号の説明】
10 右折用車線
20 右折車待機領域
30 近対向車線領域
40 離対向車線領域
100 状況判定システム
101 ネットワーク
110 ビデオカメラ
121 領域別動画像取得部
122 領域座標テーブル
123 画像データ保持部
124 分析処理部
124a 物体有無検出処理部
124b 通過検出処理部
124c 移動方向検出処理部
125 分析処理テーブル
126 判定処理部
127 判定用テーブル
128 警報発生部
200 状況判定システム
210 ビデオカメラ
211 ビデオカメラ
300 状況判定システム
310 ビデオカメラ
311 ビデオカメラ
400 状況判定システム
410 ビデオカメラ
411 ビデオカメラ
500 入力手段
510 設定手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a determination device, a status determination system, a determination method, and a program for determining whether or not a specific situation has been reached from a captured image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique of automatically performing some kind of situation determination by analyzing a captured image has been used. For example, there is a device that captures a monitoring target such as a falling rock, an intruding object, a fire or a car, and analyzes the captured image to determine whether an abnormality has occurred (for example, see Patent Document 1).
[0003]
As a technique using such a determination function, an image of an intersection is photographed, the photographed image is transmitted to a traffic monitoring center or the like, and as a result of analyzing the image, an object (= vehicle) enters the photographed image. A system that issues a warning in such a case has also been proposed. In such a system, a car or the like entering the intersection is a prerequisite for the occurrence of a traffic accident or the like at the intersection. Therefore, such a situation is automatically determined based on the photographed image and the center staff etc. You can call attention.
[0004]
[Patent Document 1]
JP-A-2002-74370
[0005]
[Problems to be solved by the invention]
However, there are many cases where a car enters the image area where the intersection was photographed as described above, and if the car detects it and issues an alarm etc. every time it passes, an accident etc. may occur There is a problem that useless alarms occur frequently despite the fact that there is almost no possibility. In other words, since this technique cannot accurately determine the situation, if there is a possibility that a particular situation such as an accident may occur (when a car enters), an alarm or the like is issued to miss the situation. There is no such thing.
[0006]
Even when the situation determination cannot be accurately performed in this way, although the possibility of missing the occurrence detection of the specific situation can be reduced by performing the above, although there is almost no probability that the situation will occur, An alarm is issued. For this reason, there is a possibility that the alarm may not be meaningful, and especially in the above-mentioned application case, when an intersection with a large traffic volume is photographed as a monitoring target, the alarm may always sound.
[0007]
The present invention has been made in view of the above, and an object of the present invention is to provide a determination device, a status determination system, a determination method, and a program that can more accurately perform a status determination based on a captured image.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 includes a moving image acquiring unit that acquires moving image data of two or more different regions photographed by a photographing unit that photographs a moving image; For each of the acquired moving image data of two or more different regions, an analysis unit that performs a content analysis process of an image set in advance for each region, and an analysis result for each region analyzed by the analysis unit. A determination unit configured to determine whether a determination result set in advance for each of the regions matches the determination result.
[0009]
According to the first aspect of the present invention, moving image data of two or more different photographed areas is obtained, and a content analysis process of a preset image is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area. As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0010]
The invention according to a second aspect is the configuration according to the first aspect of the present invention, further comprising a function execution unit that executes a predetermined function when the determination results by the determination unit match. It is characterized by the following.
[0011]
According to the second aspect of the present invention, a predetermined function is realized when an analysis result of an image of a plurality of regions in a captured image matches a predetermined determination result. You. Therefore, if the function to be performed when the analysis result of each area matches the determination result is realized, a specific situation determination can be made more accurately, and the function according to the situation can be performed. Can be realized.
[0012]
According to a third aspect of the present invention, in the configuration according to the first or second aspect, an area for storing area specifying information for specifying a range of two or more areas to be obtained by the moving image obtaining means. Specific information storage means, analysis processing content storage means for storing the content of the analysis processing set for each area, determination storage means for storing the determination result set for each area, and a user instruction And setting means for setting the analysis processing content to be stored in the analysis processing content storage means or the determination storage means, the determination result, or both.
[0013]
According to the invention according to claim 3, it is possible to specify the setting content to be stored in the area specifying information storage means, the analysis processing content storage means, or the determination storage means according to the user's instruction. Therefore, the user can specify two or more image regions to be analyzed for determination, specify an analysis process to be performed on the image of each region, or specify a result for determination. The setting content can be appropriately determined depending on whether such a situation is determined.
[0014]
According to a fourth aspect of the present invention, there is provided a situation judging system comprising: a photographing means for photographing a moving image in a predetermined range; and a judging device for judging a situation based on the moving image photographed by the photographing means. Wherein the determination device comprises: a moving image acquiring unit that acquires moving image data of two or more different regions photographed by the photographing unit; and a moving image of two or more different regions acquired by the moving image acquiring unit. For each of the image data, an analysis unit that performs a content analysis process of an image set in advance for each of the regions, an analysis result for each region analyzed by the analysis unit, and a setting in advance for each of the regions A determination unit configured to determine whether the determination result matches the determination result.
[0015]
According to the fourth aspect of the present invention, moving image data of two or more different areas photographed by the photographing means is obtained, and a predetermined image content analysis process is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area.
As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0016]
According to a fifth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means is determined in advance on a plurality of paths along which the movable bodies intersecting or merging with each other move or intersect. Are arranged so as to capture a range including an area on the upstream side in the movement direction by the distance, and the moving image acquisition unit acquires moving image data of each of the upstream areas.
[0017]
According to the fifth aspect of the present invention, a captured image of the upstream region before intersection or merging of the respective paths that intersect or merge is acquired, analysis processing is performed on each of them, and the analysis result matches the judgment result. It can be determined whether or not to do so. Therefore, it is possible to make a determination based on an event in an area on the upstream side of the intersection or the junction, and it is possible to more accurately determine a situation in which there is a high possibility of collision of the movable body at the intersection or the junction.
[0018]
According to a sixth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing unit includes a right turn vehicle waiting area at an intersection and an area on an opposite lane to a lane in which the right turn vehicle runs, An image is captured of a range including a first oncoming lane area near the right turn lane waiting area and a second oncoming lane area further away from the right turn lane waiting area than the first oncoming lane area. And the moving image acquiring means acquires moving image data of the right-turning vehicle waiting area, the first oncoming lane area, and the second oncoming lane area.
[0019]
According to the invention according to claim 6, the right turn vehicle standby area at the intersection and the area of the opposite lane thereof, which is the first oncoming lane area near the right turn vehicle standby area, are located at a distance from the first opposite lane area. 2 to obtain an image of the oncoming lane area, perform analysis processing on each of them, determine whether or not the analysis result matches the determination result. It is possible to more accurately determine a situation where the possibility of collision with an oncoming vehicle or the like is high.
[0020]
According to a seventh aspect of the present invention, in the configuration according to the sixth aspect, the analyzing means determines whether or not a movable object is shown in the image of the right turn vehicle waiting area and, if so, moves the movable object. Analyzing the direction, analyzing whether or not the movable object reflected in the image of the first oncoming lane area is not reflected, and analyzing whether or not the movable object is reflected on the image of the second oncoming lane area. The determination means may include a movable object reflected in the image of the right turn vehicle waiting area, the movable object moving in the right turn direction, and a movable object reflected in the image of the first oncoming lane area. It is characterized in that it is determined whether or not the result of the analysis by the analysis means coincides with the result of the determination that the object disappears and that the movable object is reflected in the image of the second oncoming lane area.
[0021]
According to the invention according to claim 7, the analysis result of the image of each area shows that the movable object is reflected in the image of the right turn vehicle waiting area at the intersection, and the movable object is moving in the right turn direction; The possibility of a collision between a right-turning vehicle and an oncoming vehicle at an intersection where the movable object shown in the image of the first oncoming lane region is no longer shown and the movable object is shown in the image of the second oncoming lane region is reduced. Since the judgment is made on the condition of a high case, if these conditions are not satisfied, that is, if the possibility of collision etc. is not so high, the judgment of the specific situation will not be made and the situation where the possibility of collision etc. is high It can be more accurately determined whether or not it has become.
[0022]
According to an eighth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means includes a pre-intersection area at a predetermined distance before the intersection on at least two roads intersecting at the intersection. , And the moving image acquiring means acquires moving image data of at least two areas before the intersection.
[0023]
According to the invention according to claim 8, a photographed image of a region on the near side of the intersection of each road intersecting at the intersection is obtained, and an analysis process is performed on each of the images to determine whether the analysis result matches the determination result. Can be determined. Therefore, it is possible to make a determination based on an event that has occurred in each area on the near side of the intersection, and to more accurately determine whether or not there is a high possibility of collision of a car or the like at the intersection. Can be.
[0024]
According to a ninth aspect of the present invention, in the configuration according to the eighth aspect, the analysis unit analyzes whether or not a movable object is present in at least two images of the area before the intersection, and Is characterized in that it is determined whether or not the determination result including the fact that a movable object is reflected in at least two images of the area before the intersection and the analysis result by the analysis unit match.
[0025]
According to the ninth aspect of the present invention, since the analysis result of the image of the area before the intersection presupposes the occurrence of a collision at the intersection where a movable object is shown as the condition for the situation determination, It is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy such conditions.
[0026]
According to a tenth aspect of the present invention, in the configuration of the fourth aspect of the present invention, the photographing means includes a pre-merging area that is a predetermined distance before the merging point on the two merging roads. , And the moving image acquiring means acquires moving image data of the pre-merging area on two roads.
[0027]
According to the tenth aspect of the present invention, a captured image of a region on the near side of the merging point of each of the merging roads is acquired, an analysis process is performed on each of them, and whether or not the analysis result and the determination result match. Can be determined. Therefore, it is possible to make a determination based on an event occurring in each area on the front side of the junction, and to more accurately determine whether or not there is a high possibility of collision of a vehicle or the like at the junction. can do.
[0028]
Also, in the invention according to claim 11, in the configuration of the invention according to claim 10, the analysis means analyzes whether or not a movable object is present in the region based on the image of each of the pre-merging regions, The determination means determines whether or not the determination result including the fact that a movable object is reflected in the image of each of the pre-merging regions matches the analysis result by the analysis means.
[0029]
According to the eleventh aspect of the present invention, since the analysis result of the image in the area before the confluence point assumes that the condition premised on the occurrence of the collision at the confluence point where the movable object is reflected is the condition for the situation determination. In addition, it is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy such conditions.
[0030]
According to a twelfth aspect of the present invention, in the configuration of the fourth aspect, the photographing means includes: a merging area where the ski slope joins the runway from a lift landing; and a predetermined distance from the merging area. The moving image acquisition unit acquires the moving image data of the merging region and the upper region.
[0031]
According to the twelfth aspect of the present invention, the captured images of the merge area of the runway and the path from the lift landing on the slope and the upper area of the runway above the merge area are acquired and analyzed. By performing the processing, it is possible to determine whether or not the analysis result matches the determination result. Therefore, it is possible to make a determination based on the event occurring on the runway above the junction and the event occurring in the junction area, and there is a high possibility of collision of a skier or the like at the junction. Can be determined more accurately.
[0032]
According to a thirteenth aspect of the present invention, in the configuration according to the twelfth aspect, the analysis unit analyzes a ratio occupied by a movable object in the image of the merging region, and the moving object is included in the image of the upper region. Analyzing whether or not the image is reflected, the determination unit determines that the ratio of the movable object in the image of the merge area is equal to or greater than a preset value, and that the movable object is reflected in the image of the information area. It is characterized in that it is determined whether or not the determination result including the above and the analysis result by the analysis means match.
[0033]
According to the thirteenth aspect, the movable object (like a skier) is reflected in the image of the region on the runway above the junction, and the ratio of the movable object in the image of the region of the junction is set. Since conditions that are considered to be likely to cause a collision of a skier or the like at a confluence, such as being equal to or more than a value (presumably there are a plurality of skiers), are set as conditions for the situation determination, It is possible to reduce erroneous determination that the possibility of collision is high in the case of low possibility of collision that does not satisfy the condition.
[0034]
The invention according to claim 14 is a moving image acquiring step of acquiring moving image data of two or more different regions photographed by a photographing means, and two or more different moving image data acquired by the moving image acquiring step. For each of the moving image data of the region, an analysis step of performing a content analysis process of an image set in advance for each of the regions, an analysis result for each region analyzed by the analysis step, and a preset for each of the regions. A determining step of determining whether or not the determination result matches the determination result.
[0035]
According to the fourteenth aspect of the present invention, moving image data of two or more different photographed areas is obtained, and a content analysis process of a preset image is performed for each of them. The determination is made based on whether or not the analysis processing result for each area matches the determination result set in advance for each area. As described above, the determination can be performed in consideration of the events occurring in a plurality of different areas, and more accurate situation determination can be performed.
[0036]
According to a fifteenth aspect of the present invention, there is provided a computer, comprising: a moving image acquiring unit that acquires moving image data of two or more different areas photographed by a photographing unit; For each of the moving image data of the above-mentioned regions, an analysis unit that performs a content analysis process of an image set in advance for each region, an analysis result for each region analyzed by the analysis unit, and a setting for each region in advance This is a program for functioning as determination means for determining whether or not the determined result matches.
[0037]
By causing a computer to execute the program according to claim 15, the computer can function as an apparatus having a configuration similar to that of the invention according to claim 1.
[0038]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of a determination device, a situation determination system, a determination method, and a program according to the present invention will be described in detail with reference to the accompanying drawings.
[0039]
A. Embodiment
FIG. 1 is a diagram illustrating an overall configuration of a situation determination system according to an embodiment of the present invention. As shown in FIG. 1, the situation determination system 100 includes a video camera 110 connected via a network 101 such as a public network or a dedicated line, and a PC (Personal Computer) 120.
[0040]
As shown in the figure, the video camera 110 is fixedly arranged at a position where the intersection 1 having the right turn lane 10 in which the right turn vehicle travels and the vicinity thereof can be photographed, and photographs a state including the intersection 1 and the vicinity thereof. I do.
[0041]
Here, the shooting range of the video camera 110 includes a right-turning vehicle waiting area 20 including a right-turning lane 10 of a vehicle traveling from the left side to the right side in the figure, and a lane opposed thereto (a vehicle traveling from right to left in the figure). And the like (the lower lane in the figure)), which is closer to the oncoming lane area 30 near the right-turning lane waiting area 20, and farther from the right-turning car waiting area 20 than the closer oncoming lane area 30. The fixed position, the photographing direction, the zoom, and the like are adjusted so as to include the separated oncoming lane region 40 at the shifted position. After the adjustment, the position, direction, zoom, and the like are fixed. That is, the video camera 110 continues to photograph a fixed range including the three regions as described above.
[0042]
The video camera 110 transmits, to the PC 120 via the network 101 in real time, moving image data obtained by photographing the vicinity of the intersection 1 including the three regions as described above.
[0043]
The PC 120 has a communication interface such as a router or a modem, and receives and captures moving image data transmitted in real time from the video camera 110 via the network 101. That is, the frame images taken by the video camera 110 every fixed time t (for example, 1/30 second) are sequentially taken into the PC 120.
[0044]
Further, the PC 120 has an external storage device such as a hard disk drive, and by analyzing moving image data captured by the video camera 110 and supplied in real time in the external storage device, an accident at the intersection 1 may occur. A program for realizing a process of determining whether or not the situation is considered to be likely to occur is stored.
[0045]
The CPU of the PC 120 reads and executes such a program so as to function as a determination device that realizes the above-described determination processing method, and the functional configuration is shown in FIG.
[0046]
As shown in the figure, the PC 120 includes an area-specific moving image acquisition unit 121, an area coordinate table (area identification information storage unit) 122, an image data holding unit 123, an analysis processing unit 124, and an analysis processing table (analysis A processing content storage unit) 125, a determination processing unit 126, a determination table (determination storage unit) 127, and an alarm generation unit 128 are provided.
[0047]
The region-specific moving image acquisition unit 121 refers to the region coordinate table 122 and cuts out only images in three specific regions from the moving image data (each sequentially supplied frame image) supplied from the video camera 110. . The region-based moving image acquisition unit 121 adds the region IDs for identifying these regions to the three region images cut out, and outputs the region images to the image data holding unit 123.
[0048]
The area coordinate table 122 stores coordinate information for specifying a range of three areas to be cut out by the area-specific moving image acquisition unit 121. In the present embodiment, the information of the diagonal coordinates is stored in order to specify the range of the rectangular or square region, but other information may be used as long as the information can specify the region.
[0049]
In the illustrated example, “ID01” is used as an ID for identifying the above-described right turn vehicle waiting area 20, “ID02” as a near oncoming lane area 30, and “ID03” as an ID for identifying a separated oncoming lane area 40. Then, coordinate information corresponding to each ID is set such that each of the three regions at the intersection 1 is specified and cut out as a range.
[0050]
The image data holding unit 123 holds the images of the three areas to which the identification IDs are assigned. Here, the image data holding unit 123 holds, for a plurality of frames, images of the respective regions cut out from the frame images of the moving image data at regular time intervals t. In other words, not only the image of each region cut out from the frame image supplied at the current time T but also the previous frame image (the frame image supplied at the point of time Tt), the previous frame image, etc. The image of each region cut out from the frame image for the period (for example, 0.5 seconds) is also held.
[0051]
The analysis processing unit 124 determines the three images of the right turn vehicle waiting area 20, the near oncoming lane area 30, and the separated oncoming lane area 40 (including the previous image) held in the image data holding unit 123. An analysis process is performed on the content of a preset image for each region.
[0052]
In the present embodiment, the analysis processing unit 124 includes an object presence / absence detection processing unit 124a that analyzes whether or not a movable object exists in the analysis target area, and detects whether or not the movable object has passed through the analysis target area. And a moving direction detection processing unit 124c that detects the moving direction of the movable object in the analysis target area. An analysis process is performed by the unit.
[0053]
In the analysis processing table 125, data indicating the analysis processing content to be performed on the image of the area identified by the ID is set for each area ID. One or more of the three processing units are selected according to the settings, and the processing by the selected processing unit is performed on the image of each area.
[0054]
In the present embodiment, the following settings are made in the analysis processing table 125. For the image of the right turn vehicle waiting area 20 identified by “ID01”, the processing by the object presence / absence detection processing unit 124a and the processing by the movement direction detection processing unit 124c are set. The near-oncoming lane area 30 identified by “ID02” is set to be processed by the passage detection processing unit 124b. With respect to the away lane area 40 identified by “ID03”, the processing is performed by the object presence / absence detection processing unit 124a.
[0055]
Next, the contents of the analysis processing by the three processing units will be described. First, the object presence / absence detection processing unit 124a detects whether or not a movable object is present in the target area based on the image of the target area, that is, whether or not the movable object is reflected in the target area. More specifically, an image (a binarized image) when a movable object such as a car does not exist in the target area is held (prepared for each time such as morning, noon, evening, and night). This image is compared with the image (binary image) of the area held in the image data holding unit 123, and the presence or absence of a movable object in the area is detected according to the difference between the two. For example, if a different portion exists in a certain area or more, it may be determined that there is a movable object.
[0056]
In the present embodiment, the object presence / absence detection processing is performed on the images of the right-turning vehicle waiting area 20 and the separated lane area 40, and the moving area of the car, motorcycle, etc. Detects whether an object exists.
[0057]
The presence or absence of the movable object may be detected by comparing the image with the image when the movable object does not exist as described above. The presence / absence of a moving object may be detected by comparing with, and the presence / absence of the object may be detected based on whether or not a moving object has been detected.
[0058]
In addition, instead of simply detecting the presence or absence of a movable object, the size (for example, the area occupied by the object) and the shape of the movable object are detected from the image of the area, and the size of a car or motorcycle prepared in advance is considered to be possible. The presence of an object such as an automobile or a motorcycle may be detected such that an automobile or a motorcycle exists when the detection size is larger than the minimum value, or an automobile exists when the shape is an automobile. As described above, the method of detecting the presence or absence of a movable object is arbitrary, and various methods can be used. However, it is preferable that the process be capable of detecting the presence or absence of an object like a car. In addition, when there is no or little illumination near the intersection 1 at night, it is preferable to use an infrared camera or the like as the video camera 110. In such a case, a comparative image for detecting the presence or absence of an object is also taken by the infrared camera. What should be used.
[0059]
The passage detection processing unit 124b is a processing unit that detects whether or not the movable object has passed through the target area, and detects whether or not the movable object has passed, for example, as follows. An image (a binarized image) when a movable object such as a car does not exist in the target area is held, and this image and the past (for example, 0.5 seconds) held in the image data holding unit 123 are held. The image (binarized image) of the region (previous) is compared to detect the presence or absence of a movable object in the region. At this time, as described above, the range of the size and shape of the movable object may be specified, and the presence or absence of the object may be detected by narrowing down to objects such as automobiles and motorcycles.
[0060]
If no moving object is detected in the past image, no passage is made, while if a moving object is detected, it is detected whether or not there is a moving object in the image of the target area supplied at the current time T. I do. At this time, if a movable object is not detected, it means that a movable object that has existed in the past (0.5 seconds before) no longer exists, and thus it is determined that a passage has occurred. In the present embodiment, such passage detection processing is performed on the image of the near-oncoming lane area 30, and detects whether or not a movable object such as an automobile or a motorcycle has passed through the area.
[0061]
The method is not limited to such a method, and the region images extracted from all the frames for the past fixed period (for example, 0.5 seconds) are analyzed, the moving object is specified, and the presence or absence of the passage is detected more accurately. The method of detecting the presence or absence of passage may be arbitrary.
[0062]
The moving direction detection processing unit 124c performs a process of detecting the moving direction of the object in the target area, and detects the moving direction of the movable object as follows, for example. The target area image at the current time T stored in the image data storage unit 123 is compared with the target area image cut out from the frame image immediately before (T−t), and the center of gravity of the object in each image is shifted. The moving direction is detected by calculating the vector. In the present embodiment, the moving direction detection processing is performed on the image of the right-turning vehicle waiting area 20. This detection is performed by detecting a movable object like an automobile in the right-turning vehicle waiting area reflected in the area. It detects whether it is moving in the right turn direction. Therefore, when the area as shown in FIG. 3 is the right-turning vehicle waiting area 20, the movable object 21 like a car moves to the lower side (including the diagonally lower side) in the direction in which it is considered that the movable object 21 is going to turn right. It detects whether or not it has been done.
[0063]
Note that the moving direction may be detected by comparing the image cut out from the immediately preceding frame with the image at the present time, but based on the images cut out from three or more frames. The moving direction may be detected, and the detection method is arbitrary.
[0064]
In the analysis processing unit 124 shown in FIG. 2, each time an image of three regions is newly held in the image data holding unit 123 (that is, for each time t), the image of each region is determined in advance as described above. The analysis processing unit 124 outputs the result of the processing performed on the image of each area to the determination processing unit 126.
[0065]
The determination processing unit 126 refers to the determination table 127 and determines whether a warning should be issued based on the result (analysis content) of the processing performed on each area image supplied from the analysis processing unit 124. Is determined.
[0066]
The determination table 127 stores a processing result for each area image for determining that a situation in which a warning should be issued. As shown in the figure, with respect to the image of the right turn vehicle waiting area 20 identified by “ID01”, the processing result that the detection result of the presence or absence of the object is “object present” and the movement direction detection result is “there is movement in the right turn direction” Is stored. In addition, for the image of the near oncoming lane area 30 identified by “ID02”, a processing result such that the detection result of the presence or absence of passage is “passed” is stored. In addition, for the image of the away lane area 40 identified by “ID03”, a processing result indicating that the detection result of the presence or absence of an object is “object” is stored.
[0067]
That is, the determination processing unit 126 determines whether or not the result of the processing on the image of each area by the analysis processing unit 124 matches the processing result of each image of each area stored in the determination table 127, If all of them match, it is determined that an alarm should be issued, and that fact is output to the alarm generator 128.
[0068]
The alarm generation unit 128 is provided with an alarm sound generation device and the like, and upon receiving a notification from the determination processing unit 126 that the situation is that an alarm should be issued, the alarm generation unit 128 drives the alarm sound generation device to generate an alarm sound, and the PC 12 A function of issuing an alarm to the administrator of the system is realized.
[0069]
As described above, the PC 120 pays attention to the images of the above three regions in the image of the intersection, determines whether or not the event shown in each image is a predetermined event, When the image reflected in the area becomes a predetermined event, it is determined that the situation is a specific situation and an alarm is issued.
[0070]
More specifically, in the present embodiment, when the following conditions are satisfied at an intersection, an alarm is issued as an abnormality occurrence.
{Circle around (1)} A right-turn vehicle is present in the right-turn vehicle waiting area 20 (there is an object), and the right-turn vehicle is about to move in the right-turn direction.
(2) The oncoming vehicle of the right-turning vehicle has passed the near oncoming lane area 30
(3) Oncoming vehicles (including motorcycles) exist in the separated oncoming lane area 40
[0071]
FIG. 4 is a schematic illustration of a state satisfying these three conditions in a plan view of an intersection. As shown in the figure, a car A at a waiting place for a right-turn car is about to turn right because an oncoming car B has passed. At that time, there is a case where the motorcycle C is traveling toward the intersection behind the oncoming vehicle B.
[0072]
In such a case, since the driver of the car A is about to make a right turn because the car B has passed, the driver 40 of the car A, which is hidden behind the car B, is in a blind spot for the driver of the car A. It is highly probable that you are unaware of the presence of motorcycle C in the area, but the motorcycle A and motorcycle C trying to make a right turn cross at the intersection because motorcycle C, which was actually behind, is running toward the intersection. May collide.
[0073]
The PC 120 functioning as the determination device in the present embodiment focuses on the images of the three specific areas, analyzes what events appear in the images, and uses the analyzed results for the determination as described above. When a case with a high possibility of occurrence of an accident occurs, it can be determined that an abnormality has occurred, and an alarm can be issued.
[0074]
On the other hand, when the car B merely passes through the intersection and the car A does not exist in the right turn car waiting area 20, when the car A is present and remains stopped after passing the car B, Even if A attempts to make a right turn, the possibility of a collision accident or the like is extremely low if the motorcycle C does not exist behind the car B. Is not determined.
[0075]
Therefore, it is possible to more accurately determine only a situation in which a collision accident is highly likely to occur and to issue an alarm, and even if a car passes an intersection or a right-turn standby vehicle is present, a collision occurs. When the possibility of an accident is low, it is possible to reduce occurrence of an alarm or the like by determining that the abnormality is abnormal.
[0076]
The alarm generation unit 128 is not limited to the one that realizes the function of generating an alarm sound as described above, and may realize another function. For example, a right turn near the intersection 1 via the network 101 may be used. It may transmit a light emission driving instruction for a light emitting unit or the like installed so that the driver of the automobile A in the vehicle standby area 20 can be seen. In this way, it is possible to notify the driver of the car A in the right turn vehicle waiting area 20 that the situation in which a warning should be issued is given, and the right turn is stopped to prevent a collision accident with the motorcycle C beforehand. It is also possible.
[0077]
B. Modified example
Note that the present invention is not limited to the above-described embodiment, and various modifications as exemplified below are possible.
[0078]
(Modification 1)
In the above-described embodiment, the events appearing in the images of the three regions are analyzed, and when the above conditions (1) to (3) are satisfied, it is determined that there is an abnormality. The areas and conditions are not limited to those presented in the above embodiment, and attention is paid to the images of the areas necessary to grasp other situations where an accident is likely to occur at the intersection, and the events occurring in each area May be set.
[0079]
For example, a simple condition that an automobile or a movable object like an automobile exists in each of the three areas may be set, and even if the possibility of an accident is slightly low, it may be determined that an abnormality has occurred. In addition to the above three conditions, the moving speed of the movable object (motorcycle C or the like) existing in the separated oncoming lane region 40 is detected by using images of a plurality of frames, and the moving speed matches a predetermined condition. It may be determined that an abnormality has occurred only in such a case (for example, 40 km / h or more).
[0080]
In addition to the combination of the above three areas, in addition to the right turn vehicle waiting area 20 and the near oncoming lane area 30, an image of the area of the pedestrian crossing where the right turn vehicle passes after turning right is acquired and analyzed. If the conditions of (2) and (3) are satisfied and there is a pedestrian in the pedestrian crossing area, it may be determined that there is a possibility of occurrence of an abnormality and an alarm or the like may be issued.
[0081]
(Modification 2)
Further, in the above-described embodiment, one video camera 110 for capturing an image including the three regions at the intersection is used. However, the capturing means is not limited to one video camera, and the three video cameras are used. As long as an image including an area can be photographed, a plurality of video cameras may be used.
[0082]
(Modification 3)
In the above-described embodiment, the images of the three regions at the intersection are acquired and analyzed to determine whether or not a predetermined condition is satisfied. However, the regions and conditions are limited to those of the above-described embodiment. Instead, a region of an image to be acquired and analyzed, a condition of an event in the region, and the like may be appropriately set according to a determination target or the like.
[0083]
For example, as shown in FIG. 5, the present invention can be applied to a situation determination system that determines whether the possibility of an intersection collision accident or the like is high. As shown in the figure, the situation determination system 200 includes two video cameras 210 and 211, and a PC 220 connected to the video cameras 210 and 211 via a wired or wireless communication unit.
[0084]
The video camera 210 is fixedly arranged to capture an area including a specific area of the road 201 along the vertical direction in FIG. 5, and the video camera 211 is arranged to capture a specific area of the road 202 along the horizontal direction in FIG. 5. It is fixedly arranged so as to photograph a range including the region.
[0085]
More specifically, the video camera 210 is located at a point above the intersection 203 where the road 201 and the road 202 intersect with each other by a fixed distance D1 and at a point D1 of the intersection 203 for a car traveling from above to below at a point on the upper side of the figure. A range including an area 250 centered on a point on the near side is photographed. In addition, the video camera 211 has an area 260 centered on a point on the right side of the road 202 at a distance D2 a fixed distance D2 from the intersection 203, and for a vehicle traveling from the right to the left by a distance D2 of the intersection 203. Shoot the area including.
[0086]
The video cameras 210 and 211 transmit, in real time, moving image data obtained by photographing a range including the above-described region to the PC 220 via a wired or wireless communication unit.
[0087]
The PC 220 has substantially the same configuration as the PC 120 in the above-described embodiment (see FIG. 2), and includes the contents set in the area coordinate table 122, the processing performed by the analysis processing unit 124, and the settings in the analysis processing table 125. The setting content of the determination table 127 is different, and the difference will be described below.
[0088]
First, in the area coordinate table 122, coordinate information for specifying an area to be cut out from a frame image sequentially supplied from the video camera 210 is set, and the set coordinate information coincides with the area 250. Thus, the information is such that the image of the region 250 is cut out from the frame image by the region-based moving image acquisition unit 121.
[0089]
In the area coordinate table 122, coordinate information for specifying an area to be cut out from a frame image sequentially supplied from the video camera 211 is set, and the set coordinate information matches the area 260 described above. Thus, the image of the region 260 is cut out from the frame image by the region-based moving image acquisition unit 121.
[0090]
The analysis processing unit 124 according to the setting contents of the analysis processing table 125 in this modification detects whether or not a movable object exists in the image of the area 250 (same as the object presence / absence detection processing unit 124a of the embodiment). Processing), and, if present, the moving speed and moving direction of the movable object (same as the moving direction detection processing unit 124c). As the moving speed detection processing method, for example, the moving amount of the movable object is obtained between the image of the region 250 cut out from the previous frame image and the image of the current region 250, and the moving amount on the image is calculated. It is possible to use a method of obtaining the moving speed based on the time t between frames.
[0091]
In addition, the analysis processing unit 124 according to this modification performs the presence / absence detection processing, the movement speed detection processing, and the movement direction detection processing on the image in the area 260, as in the area 250.
[0092]
Then, when the following conditions are satisfied, the determination processing unit 126 that determines with reference to the setting contents of the determination table 127 notifies the alarm generation unit 128 that the possibility of occurrence of an abnormality is high.
(1) There is a movable object in each of the region 250 and the region 260
(2) The moving speed of the movable object in both areas is equal to or higher than a constant speed (for example, 20 km / h).
(3) The movable object in the area 250 moves from the top to the bottom in FIG. 5, and the movable object in the area 260 moves from the left to the right in FIG.
{Circle around (4)} Assuming that the moving speed V1 (km / h) of the movable object in the area 250 and the moving speed V2 (km / h) of the movable object in the area 260, the two have the following relationship.
V1 = V2 × D1 / D2 ± 10
[0093]
That is, when a movable object such as a car reflected in the regions 250 and 260 is moving toward the intersection 203, and it is determined from the speed relationship between the two that the two are likely to collide at the intersection 203, it is determined that the possibility of occurrence of abnormality is high. Because
[0094]
For example, when the distance D1 is 30 m and the distance D2 is 15 m, the car A in the area 250 runs at 60 km / h, and the car B in the area 260 runs at 30 km / h (V1 = V2 × D1 / D2), the two cars enter the intersection 203 almost at the same time when traveling as they are, and there is a high possibility of collision.
Thus, when the above four conditions are satisfied, a collision accident is highly likely to occur at the intersection 203, and the PC 220 makes the above-described determination, so that a collision accident or the like is likely to occur. Can be determined more accurately.
[0095]
When the speed of the movable object is low, such as 20 km / h or less, both stop before the intersection 203 or exist in another vehicle entering the intersection 203 when approaching the intersection 203. There is a high possibility that the driver may apply brakes, etc., so he / she is required to satisfy condition (2). However, it is necessary to determine whether there is a high possibility of collision between a person or bicycle and a car or motorcycle. When the determination is made, this condition may be excluded. In addition, “± 10” in the above equation has a certain width if the speed difference between the two is within a range of 10 km / h, since there is a sufficient possibility of collision due to subsequent speed fluctuation. Is not limited to 10 km / h, and may be appropriately determined based on the distances D1 and D2, road conditions, and the like.
[0096]
In addition, in both regions, the driver of the vehicle existing in the region 250 cannot see the vehicle existing in the region 260, and the driver of the vehicle existing in the region 260 cannot see the vehicle existing in the region 250. It is considered that the possibility of a collision is higher than that of an intersection with a good view if the areas are blind spots to each other. Therefore, by setting the regions 250 and 260 to be in a range where each other becomes a blind spot, it is possible to determine that a situation in which the possibility of collision or the like is higher is obtained.
[0097]
As described above, it is more accurately determined that a situation in which the possibility of a collision accident at the intersection 203 is considered to be high is determined, and a warning such as, for example, emitting a light-emitting unit or the like installed at the intersection 203 is issued. The driver of an automobile or the like trying to enter the vehicle 203 can be alerted, and the occurrence of a collision accident can be prevented.
[0098]
In addition, in a case such as the modified example, in addition to the above four conditions, a condition according to a situation where there is a high possibility that the vehicle A and the vehicle B collide may be added, or conversely, the condition may be relaxed. For example, it may be configured to request only the condition (1) and determine that the possibility is high even if the possibility of collision is not so high. What is necessary is just to set each condition etc. together.
[0099]
(Modification 4)
In addition to the above-described embodiment and Modified Example 3, as shown in FIG. 6, a situation determination system that determines whether a collision accident or the like is likely to occur at a point where a plurality of roads merge. The present invention can be applied as As shown in the figure, the situation determination system 300 includes two video cameras 310 and 311 and a PC 320 connected to the video cameras 310 and 311 via a wired or wireless communication unit.
[0100]
The video camera 311 is fixedly arranged to capture an area including a specific area of the main road 301 (the traveling direction is from the bottom to the top of the figure) along the vertical direction in FIG. It is fixedly arranged so as to photograph a range including a specific area of the road 302 which joins the road 301.
[0101]
More specifically, the video camera 310 captures an image of a range including a region 350 centered on a point on the near side by a predetermined distance D3 from a junction G where the road 301 and the road 302 join. In addition, the video camera 311 captures a range including a region 360 centered on a point on the near side by a fixed distance D4 from the junction G.
[0102]
The video cameras 310 and 311 transmit the moving image data obtained by photographing the range including the above-described region to the PC 320 via a wired or wireless communication unit in real time.
[0103]
The PC 320 has substantially the same configuration as the PC 120 in the above-described embodiment (see FIG. 2), and includes the contents set in the area coordinate table 122, the processing performed by the analysis processing unit 124, and the settings in the analysis processing table 125. The setting content of the determination table 127 is different, and the difference will be described below.
[0104]
The region-specific moving image acquisition unit 121 according to the setting contents of the region coordinate table 122 in this modification cuts out the image of the region 350 from the frame image photographed by the video camera 310 and the frame image photographed by the video camera 311 The image of the area 360 is cut out from.
[0105]
The analysis processing unit 124 according to the setting contents of the analysis processing table 125 in this modification detects whether or not a movable object exists in the image of the area 350 (the same as the object presence / absence detection processing unit 124a of the embodiment). Processing), and if present, the moving speed of the movable object is detected. In addition, the analysis processing unit 124 according to this modification performs the presence / absence detection processing of the object and the moving speed detection processing on the image of the area 360, similarly to the area 350.
[0106]
Then, when the following conditions are satisfied, the determination processing unit 126 that determines with reference to the setting contents of the determination table 127 notifies the alarm generation unit 128 that the possibility of occurrence of an abnormality is high.
(1) There is a movable object in each of the region 350 and the region 360
{Circle around (2)} Assuming that the moving speed V3 (km / h) of the movable object in the region 350 and the moving speed V4 (km / h) of the movable object in the region 360, the two have the following relationship.
V3 = V4 × D3 / D4 ± 10
[0107]
That is, it is determined that the possibility of occurrence of abnormality is high when a movable object such as a car reflected in the areas 350 and 360 is likely to collide at the junction G from the speed relationship.
[0108]
For example, when the distance D3 is 80 m and the distance D4 is 100 m, the car A in the area 350 runs at 80 km / h, and the car B in the area 360 runs at 100 km / h (V3 = V4 × D3 / D4), and if the vehicle is driven as it is, the two vehicles enter the merging point G almost simultaneously, and there is a high possibility of collision. Thus, when the above two conditions are satisfied, a collision accident is highly likely to occur at the junction G, and the PC 320 makes the above-described determination, so that a collision accident or the like is likely to occur. Can be determined more accurately.
[0109]
In addition, in both regions, the driver of the vehicle present in the region 350 cannot see the vehicle existing in the region 360, and the driver of the vehicle present in the region 360 cannot see the vehicle present in the region 350. It is considered that the possibility of collision is higher than that of a converging point with a good view if the areas are blind spots to each other. Therefore, by setting the areas 350 and 360 to be in a range where each other is in a blind spot, it can be determined that a situation in which the possibility of collision or the like is higher is obtained.
[0110]
As described above, it is more accurately determined that a situation in which a collision accident or the like is likely to occur at the junction G is more accurately determined, and an alarm is issued, for example, to emit light from a light emitting unit installed near the junction G. Thus, a driver of a car or the like trying to enter the junction G can be alerted, and a collision accident can be prevented from occurring.
[0111]
In addition, in the case of the modified example, a condition may be further added in addition to the above two conditions, or the condition may be relaxed, for example, only the condition (1) may be required. Each condition or the like may be set according to the use or the degree of possibility required by the user.
[0112]
(Modification 5)
In addition to the above-described embodiment and Modifications 3 and 4, as shown in FIG. 7, on a ski slope, there is a possibility that a skier sliding from above and a skier at a lift landing may collide. The present invention can be applied as a system for determining whether or not the situation is high. As shown in the figure, the situation determination system 400 includes two video cameras 410 and 411, and a PC 420 connected to the video cameras 410 and 411 via a wired or wireless communication unit.
[0113]
The video camera 410 is fixedly arranged to capture an area including a region 450 near a junction GG between the lift landing 430 and the runway 431 from the top to the bottom of the mountain. It is fixedly arranged to photograph a range including the region 460 above the junction GG.
[0114]
The video cameras 410 and 411 transmit, in real time, moving image data obtained by photographing a range including the above-described region to the PC 420 via a wired or wireless communication unit.
[0115]
The PC 420 has substantially the same configuration as the PC 120 in the above-described embodiment (see FIG. 2), and includes the contents set in the area coordinate table 122, the processing performed by the analysis processing unit 124, and the setting contents of the analysis processing table 125. The setting content of the determination table 127 is different, and the difference will be described below.
[0116]
The region-specific moving image acquisition unit 121 according to the setting contents of the region coordinate table 122 in this modification cuts out the image of the region 450 from the frame image photographed by the video camera 410, and the frame image photographed by the video camera 411. The image of the area 460 is cut out from.
[0117]
The analysis processing unit 124 according to the settings of the analysis processing table 125 in this modification detects the ratio of the movable object (skier) in the area 450 to the image of the area 450. For example, an image obtained by photographing the same area without any skier is compared with an image of the area cut out by the area-specific moving image acquisition unit 121, and a part having a difference is regarded as a part occupied by the movable object, and the part in the entire area is determined Is detected by calculating the ratio of In such a slope, there is almost no movable object other than the skier, and when the ratio of the movable object as described above is large, the movable object is more in the area near the junction GG from the lift landing 430 to the runway 431. Is considered to be present, and if the ratio of the movable object is small, it is considered that the number of skiers is small.
[0118]
In addition, the analysis processing unit 124 according to this modification performs an object presence / absence detection process and a moving speed detection process on the image of the area 460.
[0119]
Then, when the following conditions are satisfied, the determination processing unit 126 that determines with reference to the setting contents of the determination table 127 notifies the alarm generation unit 128 that the possibility of occurrence of an abnormality is high.
(1) The ratio of the movable object in the area 450 is equal to or more than a predetermined value.
(2) A movable object exists in the area 460
(3) The moving speed of the movable object in the area 460 is equal to or higher than a constant speed (20 km / h).
[0120]
That is, when the ratio of the movable object in the area 450 is large, that is, the number of skiers in the area is relatively large, and there is a skier that is a movable object that slides at a certain speed or more in the area 460, a collision or the like occurs. Is determined to be highly likely to occur.
[0121]
As described above, it is more accurately determined that a situation in which a collision accident or the like is likely to occur at the junction GG is more accurately determined. For example, a light emitting unit or the like installed near the junction GG emits light or an alarm sound A warning such as generating a warning can be given to skiers who are going to glide from above to the confluence point GG, and the skiers near the confluence point GG are informed that there are skiers who are glide from above. This can prevent a collision accident from occurring.
[0122]
In the case of the modified example, a condition may be further added in addition to the above three conditions, or the condition may be relaxed, for example, only the conditions (1) and (2) are required. The conditions may be set according to the use and the degree of possibility required by the user.
[0123]
(Modification 6)
It should be noted that not only intersections where roads intersect, junctions where roads merge, points where ski runways merge, and the like, but also situations where a plurality of routes that guide moving objects and the like merge or intersect. In some cases, the present invention can be applied to a system that determines a situation in which the possibility of collision of an object traveling along each route becomes high. In such a system, an image of a region located on the upstream side of the junction or intersection of each route is acquired, and whether or not a moving object heading for the junction or intersection exists in these regions, the moving speed, etc. The analysis may be performed, and when these analysis results coincide with the result that the possibility of collision near the junction or the intersection is high, it may be determined that the possibility of collision is high.
[0124]
(Modification 7)
Further, in the above-described embodiment, each modification, and the like, as shown in FIG. 8, a configuration may be adopted in which the user can arbitrarily set the setting contents of the area coordinate table 122, the analysis processing table 125, and the determination table 127. . As shown in the drawing, this configuration is different from the configuration shown in FIG. 2 in that input means 500 having a keyboard, a mouse, and the like for the user to input the setting contents, and input to these tables via the input means 500 are provided. Setting means 510 for setting coordinate information, analysis processing contents, and processing results for determination according to the contents of the user's instruction.
[0125]
In such a configuration, when the user inputs setting contents via the input means 500 by operating the keyboard or the like, the contents are stored in the area coordinate table 122, the analysis processing table 125, or the determination table 127 by the setting means 510. Since the setting is made, the user can arbitrarily set the area and condition used for the judgment, and the setting contents can be easily changed according to various uses.
[0126]
(Modification 8)
Further, in the above-described embodiment and each of the modifications, a plurality of regions are cut out from a moving image photographed by a photographing means such as a video camera, and analysis is performed on each region image, and some situation determination is performed based on the analysis result. The processing is realized by the PC 120 or the like performing the processing according to the program stored in the external storage device. However, the program for causing the computer to execute the above processing is provided by a communication line such as the Internet. The program may be provided to the user via a computer, or the program may be recorded on a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) and provided to the user. Further, the above-described processing may be configured as a determination device that is realized by a dedicated hardware circuit, and the determination device may be provided to a user.
[0127]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to make a determination in consideration of an event occurring in a plurality of different areas, and it is possible to perform more accurate situation determination.
[0128]
Further, according to the second aspect of the present invention, it is possible to determine a specific situation more accurately and to realize a function according to the situation.
[0129]
According to the third aspect of the present invention, the user specifies two or more image regions to be analyzed for determination, specifies an analysis process to be performed on an image of each region, or specifies a determination result. Thus, there is an effect that the setting contents can be appropriately determined according to what environment and what situation is determined.
[0130]
Further, according to the invention according to claim 4, it is possible to make a determination in consideration of an event occurring in a plurality of different areas, and it is possible to perform more accurate situation determination.
[0131]
Further, according to the invention according to claim 5, it is possible to make a determination based on an event in an area on the upstream side of the intersection or the junction, and there is a high possibility that a collision of the movable body at the intersection or the junction occurs. Is more accurately determined.
[0132]
Further, according to the invention according to claim 6, there is an effect that it is possible to more accurately determine a situation in which there is a high possibility of occurrence of a collision between a car or the like that is going to turn right at an intersection and an oncoming car or the like.
[0133]
Further, according to the invention according to claim 7, there is an effect that it is possible to more accurately determine whether or not a situation in which the possibility of collision or the like has occurred at an intersection is high.
[0134]
Further, according to the invention according to claim 8, it is possible to make a determination based on an event occurring in each area on the near side of the intersection, and there is a high possibility that a collision of a car or the like at the intersection occurs. This has the effect that it can be determined more accurately.
[0135]
Further, according to the ninth aspect of the present invention, it is possible to reduce an erroneous determination that the possibility of collision is high in a case where the possibility of collision at an intersection is low.
[0136]
According to the tenth aspect of the present invention, it is possible to make a determination based on an event occurring in each area on the front side of the junction, and there is a high possibility that a collision of a vehicle or the like at the junction occurs. This is advantageous in that it can be determined more accurately.
[0137]
Further, according to the invention according to claim 11, it is possible to reduce an erroneous determination that the possibility of collision is high in a case where the possibility of collision or the like is low at the junction.
[0138]
According to the twelfth aspect of the present invention, a determination is made based on an event occurring above a junction with a runway from a lift landing on a runway on a slope and an event occurring in a junction area. Therefore, it is possible to more accurately determine whether or not the situation where the possibility of collision of a skier or the like at the junction is high is high.
[0139]
According to the thirteenth aspect of the present invention, a condition that is considered to have a high possibility of collision of a skier or the like at the junction is used as a condition for determining a situation. It is possible to reduce an erroneous determination that the possibility of collision is high in the case of low probability.
[0140]
According to the invention of claim 14, it is possible to make a determination in consideration of an event occurring in a plurality of different regions, and it is possible to perform more accurate situation determination.
[0141]
By causing a computer to execute the program according to claim 15, the computer can function as a device having a configuration similar to that of the invention according to claim 1, and achieve the same effects as the invention according to claim 1. .
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a situation determination system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a functional configuration of a PC which is a component of the situation determination system.
FIG. 3 is a diagram illustrating an example of an image of an area used for situation determination in the situation determination system that determines the situation of an intersection.
FIG. 4 is a diagram showing a state of an intersection which is a situation determination target of the situation determination system.
FIG. 5 is a diagram showing an overall configuration of a modification of the situation determination system.
FIG. 6 is a diagram showing an overall configuration of another modification of the situation determination system.
FIG. 7 is a diagram showing an overall configuration of another modification of the situation determination system.
FIG. 8 is a block diagram showing a functional configuration of a modified example of a PC which is a component of the situation determination system.
[Explanation of symbols]
10 Right turn lane
20 Right turn waiting area
30 Near oncoming lane area
40 Separate oncoming lane area
100 Situation judgment system
101 Network
110 video camera
121 Moving Image Acquisition Unit by Region
122 area coordinate table
123 image data holding unit
124 Analysis processing unit
124a Object presence / absence detection processing unit
124b Passage detection processing unit
124c moving direction detection processing unit
125 Analysis processing table
126 judgment processing unit
127 Judgment table
128 alarm generator
200 Situation judgment system
210 Video Camera
211 Video Camera
300 Situation judgment system
310 video camera
311 Video Camera
400 Situation judgment system
410 Video Camera
411 Video Camera
500 input means
510 Setting means

Claims (15)

動画像を撮影する撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを具備することを特徴とする判定装置。
Moving image acquiring means for acquiring moving image data of two or more different regions photographed by the photographing means for photographing a moving image;
Analysis means for performing, for each of the moving image data of the two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each area;
A determination device for determining whether an analysis result for each of the regions analyzed by the analysis unit matches a determination result set in advance for each of the regions, .
前記判定手段による判定結果が一致するものである場合に、予め決められた機能を実行する機能実行手段をさらに具備することを特徴とする請求項1に記載の判定装置。2. The determination device according to claim 1, further comprising a function execution unit that executes a predetermined function when the determination results by the determination unit match. 前記動画像取得手段が取得すべき2以上の前記領域の範囲を特定するための領域特定情報を記憶する領域特定情報記憶手段と、
前記領域ごとに設定される分析処理の内容を記憶する分析処理内容記憶手段と、
前記領域ごとに設定される前記判定用結果を記憶する判定用記憶手段と、
ユーザの指示にしたがって、前記領域特定情報、前記分析処理内容記憶手段または前記判定用記憶手段に記憶させるべき分析処理内容、判定用結果または両者を設定する設定手段とをさらに具備することを特徴とする請求項1または2に記載の判定装置。
Area specifying information storing means for storing area specifying information for specifying a range of two or more areas to be obtained by the moving image obtaining means;
Analysis processing content storage means for storing the content of the analysis processing set for each area,
Determination storage means for storing the determination result set for each area,
According to a user's instruction, the apparatus further comprises setting means for setting the area specifying information, the analysis processing content to be stored in the analysis processing content storage means or the determination storage means, the determination result, or both. The determination device according to claim 1 or 2, which performs the determination.
予め決められた範囲の動画像を撮影する撮影手段と、前記撮影手段によって撮影された動画像に基づいて状況を判定する判定装置とを備えた状況判定システムであって、
前記判定装置は、前記撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段と、
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定されている画像の内容分析処理を行う分析手段と、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段とを有することを特徴とする状況判定システム。
A situation determination system including a photographing unit that photographs a moving image in a predetermined range, and a determination device that determines a situation based on the moving image photographed by the photographing unit,
The determination device is a moving image acquisition unit that acquires moving image data of two or more different regions photographed by the photographing unit,
Analysis means for performing, for each of the moving image data of the two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each area;
A situation determination system comprising: a determination unit configured to determine whether an analysis result for each region analyzed by the analysis unit matches a determination result set in advance for each region. .
前記撮影手段は、互いに交差または合流する可動体が移動する複数の経路における当該交差または合流する位置よりも予め決められた距離だけ移動方向の上流側の領域を含む範囲を撮影するように配置されており、
前記動画像取得手段は、各々の前記上流側の領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。
The photographing means is arranged so as to photograph a range including a region on the upstream side in the moving direction by a predetermined distance from a position at which the movable bodies crossing or merging with each other move on a plurality of paths that move. And
The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of each of the upstream regions.
前記撮影手段は、交差点における右折車待機領域と、当該右折車が走行する車線の対向車線上の領域であって、当該右折車待機領域の近傍にある第1の対向車線領域と、当該第1の対向車線領域よりも前記右折車待機領域から離れた位置にある第2の対向車線領域とを含む範囲を撮影するように配置されており、
前記動画像取得手段は、前記右折車待機領域、前記第1の対向車線領域および前記第2の対向車線領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。
The photographing means includes: a right-turning vehicle waiting area at an intersection; a first oncoming lane area in the vicinity of the right-turning vehicle waiting area, the area being on the opposite lane of the lane in which the right-turning vehicle travels; Is arranged so as to photograph a range including a second oncoming lane area located at a position farther from the right turn vehicle waiting area than the oncoming lane area,
5. The system according to claim 4, wherein the moving image acquisition unit acquires moving image data of the right-turning vehicle waiting area, the first oncoming lane area, and the second oncoming lane area. 6.
前記分析手段は、前記右折車待機領域の画像について可動物体が映っているか否かおよび映っている場合にはその移動方向を分析し、前記第1の対向車線領域の画像に映っていた可動物体が映らなくなったか否かを分析し、前記第2の対向車線領域の画像に可動物体が映っているか否かを分析し、
前記判定手段は、前記右折車待機領域の画像について可動物体が映っており、かつその可動物体が右折方向に移動しており、また前記第1の対向車線領域の画像に映っていた可動物体が映らなくなり、さらに前記第2の対向車線領域の画像に可動物体が映っていることを含む判定結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項6に記載の状況判定システム。
The analysis means analyzes whether or not a movable object is shown in the image of the right turn vehicle waiting area and, if so, the moving direction of the movable object, and analyzes the movable object shown in the image of the first oncoming lane area. Is analyzed to determine whether or not the moving object is reflected in the image of the second oncoming lane area,
The determining means includes a movable object reflected in the image of the right-turning vehicle waiting area, the movable object moving in the right-turn direction, and a movable object reflected in the image of the first oncoming lane area. 7. The method according to claim 6, further comprising: determining whether or not the determination result including that the movable object is reflected in the image of the second oncoming lane area and the analysis result by the analysis unit match. The situation determination system according to 1.
前記撮影手段は、交差点において交差する少なくとも2つの道路における当該交差点よりも予め決められた距離だけ手前にある交差点前領域を含む範囲を撮影するように配置されており、
前記動画像取得手段は、少なくとも2つの前記交差点前領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。
The photographing means is arranged to photograph a range including an area before the intersection that is a predetermined distance before the intersection on at least two roads that intersect at the intersection,
5. The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of at least two areas before the intersection. 6.
前記分析手段は、少なくとも2つの前記交差点前領域の画像について可動物体が映っているか否かを分析し、
前記判定手段は、少なくとも2つの前記交差点前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項8に記載の状況判定システム。
The analyzing means analyzes whether or not a movable object is reflected in at least two images of the area before the intersection,
The determination unit determines whether the determination result including that a movable object is reflected in at least two images of the area before the intersection and the analysis result by the analysis unit match. The situation determination system according to claim 8.
前記撮影手段は、合流する2つの道路におけるその合流点よりも予め決められた距離だけ手前の合流前領域を含む範囲を撮影するよう配置されており、
前記動画像取得手段は、2つの道路における前記合流前領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。
The photographing means is arranged so as to photograph a range including a pre-merging area in front of the merging point of the two merging roads by a predetermined distance from the merging point,
5. The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of the pre-merging area on two roads. 6.
前記分析手段は、各前記合流前領域の画像に基づいて当該領域内に可動物体が存在しているかを分析し、
前記判定手段は、各前記合流前領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項10に記載の状況判定システム。
The analysis means analyzes whether a movable object is present in the area based on the image of each pre-merging area,
The method according to claim 1, wherein the determining unit determines whether a result of the determination including that a movable object is reflected in an image of each of the pre-merging regions matches an analysis result by the analyzing unit. The situation determination system according to claim 10.
前記撮影手段は、ゲレンデにおけるリフト降り場から滑走路へ合流する合流領域と、当該合流領域よりも予め決められた距離だけ上方側の滑走路の上方領域とを含む範囲を撮影するように配置されており、
前記動画像取得手段は、前記合流領域および前記上方領域の動画像データを取得することを特徴とする請求項4に記載の状況判定システム。
The photographing means is arranged so as to photograph a range including a merging area where the ski slope meets the runway from the lift landing area and an upper area of the runway above the merging area by a predetermined distance. And
The system according to claim 4, wherein the moving image acquiring unit acquires moving image data of the merging area and the upper area.
前記分析手段は、前記合流領域の画像中において可動物体が占める割合を分析し、前記上方領域の画像に可動物体が映っているか否かを分析し、
前記判定手段は、前記合流領域の画像中において可動物体が占める割合が予め設定された値以上であること、前記情報領域の画像に可動物体が映っていることを含む前記判定用結果と、前記分析手段による分析結果が一致するか否かを判定することを特徴とする請求項12に記載の状況判定システム。
The analysis means analyzes a ratio occupied by a movable object in the image of the merge area, and analyzes whether or not a movable object is reflected in the image of the upper area,
The determination unit is that the ratio of the movable object in the image of the confluence area is equal to or greater than a predetermined value, the determination result including that the movable object is reflected in the image of the information area, 13. The situation determination system according to claim 12, wherein it is determined whether or not the analysis results by the analysis unit match.
動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得ステップと、
前記動画像取得ステップによって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析ステップと、
前記分析ステップによって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定ステップとを具備することを特徴とする判定方法。
A moving image acquiring step of acquiring moving image data of two or more different areas photographed by the photographing means,
For each of the moving image data of two or more different regions acquired by the moving image acquiring step, an analyzing step of performing a content analysis process of an image set in advance for each region,
A determining step of determining whether an analysis result for each area analyzed in the analysis step matches a determination result set in advance for each area. .
コンピュータを、
動画像を撮影手段によって撮影された異なる2以上の領域の動画像データを取得する動画像取得手段、
前記動画像取得手段によって取得された異なる2以上の領域の動画像データの各々について、予め前記領域ごとに設定された画像の内容分析処理を行う分析手段、
前記分析手段によって分析された前記領域ごとの分析結果と、予め前記領域ごとに設定されている判定用結果とが一致するか否かを判定する判定手段として機能させるためのプログラム。
Computer
Moving image acquiring means for acquiring moving image data of two or more different areas photographed by the photographing means,
Analysis means for performing, for each of the moving image data of two or more different areas acquired by the moving image acquisition means, a content analysis process of an image set in advance for each of the areas;
A program for functioning as determination means for determining whether or not the analysis result for each area analyzed by the analysis means matches a determination result set for each area in advance.
JP2003076362A 2003-03-19 2003-03-19 Determining device, situation determining system, method and program Pending JP2004287605A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003076362A JP2004287605A (en) 2003-03-19 2003-03-19 Determining device, situation determining system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003076362A JP2004287605A (en) 2003-03-19 2003-03-19 Determining device, situation determining system, method and program

Publications (1)

Publication Number Publication Date
JP2004287605A true JP2004287605A (en) 2004-10-14

Family

ID=33291443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003076362A Pending JP2004287605A (en) 2003-03-19 2003-03-19 Determining device, situation determining system, method and program

Country Status (1)

Country Link
JP (1) JP2004287605A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164565A (en) * 2005-12-15 2007-06-28 Sumitomo Electric Ind Ltd System and device of vehicle sensing for traffic-actuated control
JP2008217813A (en) * 2008-04-08 2008-09-18 Sumitomo Electric Ind Ltd Collision information providing device and method
JP2009110153A (en) * 2007-10-29 2009-05-21 Toshiba Corp Traffic information providing system, and traffic information providing method
JP2012153285A (en) * 2011-01-27 2012-08-16 Fujitsu Ten Ltd Object detecting device, and object detecting method
JP2015215905A (en) * 2015-06-03 2015-12-03 株式会社ニコン Information management device, data analysis device, server, information management system and program
CN111882906A (en) * 2020-07-31 2020-11-03 北京航迹科技有限公司 Method, apparatus, device and medium for determining parking position of vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164565A (en) * 2005-12-15 2007-06-28 Sumitomo Electric Ind Ltd System and device of vehicle sensing for traffic-actuated control
JP2009110153A (en) * 2007-10-29 2009-05-21 Toshiba Corp Traffic information providing system, and traffic information providing method
JP2008217813A (en) * 2008-04-08 2008-09-18 Sumitomo Electric Ind Ltd Collision information providing device and method
JP2012153285A (en) * 2011-01-27 2012-08-16 Fujitsu Ten Ltd Object detecting device, and object detecting method
JP2015215905A (en) * 2015-06-03 2015-12-03 株式会社ニコン Information management device, data analysis device, server, information management system and program
CN111882906A (en) * 2020-07-31 2020-11-03 北京航迹科技有限公司 Method, apparatus, device and medium for determining parking position of vehicle

Similar Documents

Publication Publication Date Title
US10977938B2 (en) Signal control apparatus and signal having the same
EP1030188B1 (en) Situation awareness system
US9104939B2 (en) Emergency rescue vehicle video based violation enforcement method and system
CN102945603B (en) Method for detecting traffic event and electronic police device
Messelodi et al. Intelligent extended floating car data collection
CN111369831A (en) Road driving danger early warning method, device and equipment
CN108883725A (en) A kind of driving vehicle warning system and method
US20120148092A1 (en) Automatic traffic violation detection system and method of the same
WO2016070193A1 (en) Systems, apparatus, and methods for improving safety related to movable/moving objects
US20180240336A1 (en) Multi-stream based traffic enforcement for complex scenarios
JP2008547071A (en) Method and image evaluation unit for scene analysis
US11914041B2 (en) Detection device and detection system
CN105390027B (en) A kind of road safety monitoring and early warning device and method
CN113808418B (en) Road condition information display system, method, vehicle, computer device and storage medium
CN109544936A (en) Motor vehicle zebra stripes based on radar video camera do not give precedence to pedestrian&#39;s early warning capturing system
CN111178286A (en) Attitude trajectory prediction method and device and electronic equipment
WO2021162205A1 (en) Method, apparatus, server, and computer program for collision accident prevention
JP2012038089A (en) Information management device, data analysis device, signal, server, information management system, and program
KR101210615B1 (en) Regulation system of u-turn violation vehicle
CN112289036A (en) Scene type violation attribute identification system and method based on traffic semantics
KR102456869B1 (en) System for smart managing traffic
KR102270625B1 (en) Method and system for processing an enter of vehicle one way using learning of ai
JP2002230679A (en) Road monitoring system and road monitoring method
JP2004287605A (en) Determining device, situation determining system, method and program
JP2019207655A (en) Detection device and detection system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060117