JP2004534464A - 支援又は記録を必要とするイベントを検出する視覚に基づく方法及び装置 - Google Patents
支援又は記録を必要とするイベントを検出する視覚に基づく方法及び装置 Download PDFInfo
- Publication number
- JP2004534464A JP2004534464A JP2003511205A JP2003511205A JP2004534464A JP 2004534464 A JP2004534464 A JP 2004534464A JP 2003511205 A JP2003511205 A JP 2003511205A JP 2003511205 A JP2003511205 A JP 2003511205A JP 2004534464 A JP2004534464 A JP 2004534464A
- Authority
- JP
- Japan
- Prior art keywords
- event
- image
- predetermined feature
- rule
- assistance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 230000000977 initiatory effect Effects 0.000 claims abstract description 5
- 230000009118 appropriate response Effects 0.000 claims abstract 2
- 208000027418 Wounds and injury Diseases 0.000 claims description 7
- 230000006378 damage Effects 0.000 claims description 7
- 208000014674 injury Diseases 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 3
- 230000000875 corresponding effect Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
- G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Management (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Library & Information Science (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Finance (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Abstract
視覚に基づく技術を使用して場所を監視し、所定の支援開始イベントを認識する方法と装置が開示される。1つ以上の映像取得装置が、所定の場所に焦点を合わせられる。取得された画像は、1つ以上の所定のイベントを識別し、支援を送ることや、証拠目的のためイベントを記録することのような、適切な応答を開始するように処理される。複数のルールが、多様な支援開始イベントを定義する。各ルールは、満たされなければならない1つ以上の条件と、前記ルールが満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも1つの条件が、視覚に基づく技術を使用して、画像において検出されるべき特徴を識別する。取得された画像を分析し、前記イベントルールにより定義された1つ以上の支援開始イベントを検出するイベント監視処理もまた開示される。
Description
【0001】
本発明は、コンピュータ・ビジョン技術に関し、特に、視覚に基づく認識技術を使用してイベントを検出する方法と装置に関する。
【0002】
能力ある従業者候補の不十分な人数に加えて、労働コストの増加により、多くの小売店や他の施設では、しばしば、不十分な数の従業者で経営しなければならない。したがって、全ての望ましい機能を実行する十分な従業者がいない場合、経営者は、最も重要な機能が満足することを確実にするために、職務に優先付けをするか、又は前記機能を実行する他の方法を見つけなければならない。例えば、多くの小売施設は、自動窃盗検出システムを利用し、セキュリティ職員を交代するか、補っている。
【0003】
加えて、多くの店において、例えば、セキュリティ目的で、又は客が支援を要求する場合に判断するために、全ての店や他の場所を適切に監視する十分な従業者を有しない。したがって、多くの店や他の施設は、客や従業者の動きを監視するため、多様な場所にカメラを設置する。前記カメラにより生成された画像により、一般的には、多様な場所が中央に位置する1人の人間によって監視され得るが、そのようなシステムは、それでもなお、所定のイベントを検出するために、人間の監視を必要とする。
【0004】
そのような所定のイベントが、従業者や客の負傷を含む場合、店の経営者は責任の対象になる。したがって、その後の証拠目的で負傷に関するイベントに関連する何らかの画像を保存することが望ましい。しかし、画像の人間による監視を必要とする従来のシステムでは、前記の負傷に関するイベントが、イベントの時に、又は画像が保存されたことを確実にする十分な期間内に、検出されないかもしれず、又は報告されないかもしれない。“滑って転ぶ”ことや、他の負傷についての不当な要求について増加する傾向があり、証拠目的で負傷に関するイベントの画像を保存することは、店の経営者にとって特に有益である。
【0005】
したがって、個人が支援を要求することを示すイベントを自動的に認識する、視覚に基づく技術を使用する監視システムに対する要求が存在する。各イベントを定義するルールベースを使用するイベント監視システムに対する要求も、更に存在する。所定のイベントを認識し、証拠目的で前記イベントを記録する視覚に基づく技術を使用する監視システムに対する要求も、更に存在する。
【0006】
概して、個人が支援を必要とする、又は責任に巻き込まれ得る所定のイベントを認識する視覚に基づく技術を使用して、場所を監視する方法と装置が開示される。前記イベントは、本願で支援開始イベントと称する。前記開示されたイベント監視システムは、所定の場所に焦点を合わせた1つ以上の画像取得装置を含む。取得された画像は、前記イベント監視システムにより処理され、1つ以上の支援開始イベントを識別し、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような適切な応答を開始する。
【0007】
本発明の一形態により、多様な支援開始イベントを定義するために、複数のルールが使用される。各ルールは、前記ルールが起動されるために満たさなければならない1つ以上の条件と、オプションで、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような、ルールが満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも1つの条件が、視覚に基づく技術を使用して、画像において検出されるべき特徴を識別する。所定のイベントを検出すると、存在する場合は対応するアクションが、前記イベント監視システムにより実行される。
【0008】
識別された支援開始イベントが、支援を要求する客である場合、例えば、対応するアクション・アイテムは、店の職員を自動的に送ることかもしれないし、又は適切な場合には医療支援であるかもしれない。イベント監視処理が開示され、取得された画像を分析し、イベントルールで定義された1つ以上の支援開始イベントを検出する本発明の一般的概念について説明する。
【0009】
本発明のさらなる特徴と利点に加え、本発明のより完全な理解が、以下の詳細な説明と図を参照して達せられる。
【0010】
図1は、本発明によるイベント監視システム100を示したものである。一般的に、本発明により検出されたイベントは、支援を必要とする個人を含むイベントであるか、責任に巻き込まれるイベントであり、本願では合わせて“支援開始イベント”と称する。図1に示す通り、イベント監視システム100は、1つ以上の監視領域160に焦点を合わせた1つ以上の画像取得装置150−1から150−N(以下、合わせて画像取得装置150と称する)を含む。前記監視領域160は、店の通路のような、支援を要求する個人を有する可能性のある何らかの場所、又はかなりの数の車の事故を有し得る交差点のような、潜在的に責任に巻き込まれるイベントを有する可能性のある何らかの場所になり得る。
【0011】
本発明は、支援開始イベントがその後しばしば訴訟に巻き込まれることを認識する。したがって、本発明の他の形態により、前記画像取得装置150で取得した画像は、例えば、画像保存データベース175に証拠目的で、記録され、蓄積され得る。更に後述するとおり、検出された支援開始イベントのそれぞれに関連付けられる画像は、証拠目的で、前記画像保存データベース175にオプションで記録され得る。ある実施例においては、検出された支援開始イベントのそれぞれの前後の、所定の数の画像フレームが、例えば、証拠目的で、前記イベントのタイム・スタンプと共に、前記画像保存データベース175に記録され得る。
【0012】
それぞれの画像取得装置150は、例えば、画像又は映像情報を取得する固定カメラ又はパン・チルト・ズーム(pan−tilt−zoom)(PTZ)カメラとして具現され得る。前記画像取得装置150で生成された画像は、図3と共に後述する方法で、前記イベント監視システム100で処理され、1つ以上の所定の支援開始イベントを識別する。ある実施においては、本発明は、図2とともに後述するイベント・データベース200を使用し、前記イベント・データベースは、多様な支援開始イベントを定義する複数のルールを記録する。
【0013】
各ルールにより定義された支援開始イベントは、本発明により、イベント監視システム100で検出され得る。後述の通り、各ルールは、前記ルールが開始されるために満たさなければならない1つ以上の基準と、オプションで、前記ルールを起動する所定の基準が満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも1つの基準は、本発明に従って、視覚に基づく技術を使用して、画像において検出される条件である。所定の交通のイベント等の検出により、存在する場合には前記対応するアクションが、支援を送る、又は証拠目的で前記イベントを記録するように、前記イベント監視システム100で実行される。
【0014】
図1に示し、更に図3と4と共に後述する通り、前記イベント監視システム100はまた、イベント検出処理300と、滑って転ぶことの検出処理400とを含む。概して、前記イベント検出処理300は、前記画像取得装置150により取得された画像を分析し、前記交通イベント・データベース200で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。前記滑って転ぶことの検出処理400は、前記画像取得装置150で取得された画像を分析し、人が転ぶことを検出する。
【0015】
前記イベント監視システム100は、中央演算処理装置(CPU)と、RAM及び/又はROMのようなメモリ100とを含むパーソナルコンピュータ又はワークステーションのような、何らかのコンピュータ装置として具現され得る。他の実施においては、前記画像処理システム100は、特定用途向け集積回路(ASIC)を使用して具現され得る。
【0016】
図2は、多様な支援開始イベントを定義する各ルールを記録するイベント・データベース200の例示的なテーブルを示したものである。前記イベント・データベースの各ルールは、ルールが開始される条件を特定する所定の基準と、オプションで、ルールに関連付けられた基準が満たされる場合に起動される対応するアクション・アイテムとを含む。一般的に、前記アクション・アイテムは、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような、ルールが起動される場合に実行される1つ以上の適切なステップを定義する。
【0017】
図2に示す通り、例示的なイベント・データベース200は、レコード205−210のような、複数のレコードを保持し、それぞれが、異なるルールに関連付けられる。ルール毎に、前記イベント・データベース200は、フィールド250にルールの基準と、存在する場合はフィールド260に対応するアクション・アイテムとを識別する。例えば、レコード206に記録されたルールは、車の事故に対応するイベントである。フィールド250に示す通り、レコード206のルールは、2台の車が衝突する場合に起動される。レコード206のルールは、前記ルールを開始するために検出され得る複数の独立した条件を指定する。例えば、2台の車が他方と所定の距離内にある場合、事故が発生したと思われる。フィールド260に示す通り、対応するアクションは、監視場所160に支援を送ることと、証拠目的で前記イベントを記録することからなる。
【0018】
図3は、例示的なイベント検出処理300について説明するフローチャートである。前記イベント検出処理300は、前記画像取得装置150から取得した画像を分析し、前記イベント・データベース200で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。図3に示す通り、ステップ310の間に、前記イベント検出処理は、まず前記画像取得装置150から監視領域160の1つ以上の画像を取得する。
【0019】
その後、ステップ320の間に、前記画像が、映像コンテンツ分析(VCA)技術を使用して分析される。適切なVCA技術の詳細な説明については、例えば、アイルランドのダブリンにおける第3回IEEE国際ワークショップ会報(2000年7月1日)の59−67ページの、Nathanael RotaとMonique Thonnatによる、“Video Sequence Interpretation for Visual Surveillance”及び、アイルランドのダブリンにおける第3回IEEE国際ワークショップ会報(2000年7月1日)の77−83ページの、Jonathan OwensとAndrew Hunterによる、“Application of the Self−Organizing Map to Trajectory Classification”にあり、参照として取り込まれる。概して、前記VCA技術は、前記画像取得装置150で取得された画像における様々な特徴を認識するために使用される。
【0020】
ステップ330の間に、前記映像コンテンツ分析が、前記イベント・データベース200で定義されている所定のイベントを検出したかどうかを、判断するテストが実行される。ステップ330の間に、前記映像コンテンツ分析が所定のイベントを検出しないと判断した場合は、プログラム制御はステップ310に戻り、前述の方法で、場所(群)160を監視し続ける。
【0021】
しかし、ステップ330の間に、前記映像コンテンツ分析が所定のイベントを検出した場合、ステップ340の間に、前記イベント・データベース200のフィールド260に示される通りに、前記イベントが処理される。前述の通り、本発明の一形態により、ステップ350の間に、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース175に記録され得る。そしてプログラム制御は終了する(又は、ステップ310に戻り、前述の方法で場所(群)160を監視し続ける)。
【0022】
前述の通り、滑って転ぶことの検出処理400は、前記画像取得装置150で取得された映像を分析し、人が転んだことを検出する。図4に示す通り、ステップ410の間に、前記滑って転ぶことの検出処理400は、まず前記画像取得装置150から監視領域160の1つ以上の画像を取得する。
【0023】
その後、ステップ420の間に、動く物体を検出するために次の画像フレームが除去される。ほとんどの小売の場所の制御される環境において、検出された動く物体は、人であると仮定できることがわかる。しかし、通常の技術的に熟練した人に明確な通り、周知の人間分類技術が、必要に応じて追加の防護手段としてオプションで使用され得る。ステップ430の間に、それぞれの検出された物体の投影が分析され、物体の主軸の向き(縦方向又は横方向)を識別する。
【0024】
ステップ440の間に、検出された物体の主軸が、前のフレームにおいて縦方向から、現在のフレームにおいて横方向に変化すると、誰かが転んだことを意味するという判断するテストが実行される。ステップ440の間に、検出された物体の主軸が、縦方向から横方向に変化してないと判断されると、滑って転ぶことが発生せず、プログラム制御はステップ410に戻り、前述の方法で場所(群)160を監視し続ける。
【0025】
しかし、ステップ430の間に、検出された物体の主軸が、縦方向から横方向に変化したと判断されると、滑って転ぶことが発生し、ステップ450の間に、前記イベント・データベース200のフィールド260に示される通りに、検出された滑って転ぶことのイベントが処理される。前述の通り、本発明の一形態により、ステップ460の間に、滑って転ぶことのような、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース175に記録され得る。そしてプログラム制御は終了する(又は、ステップ410に戻り、前述の方法で場所(群)160を監視し続ける)。
【0026】
実施例と様々な示されたもの及び説明は、単に本発明の原理の実例であり、本発明の範囲と意図を逸脱することなく、技術的に熟練した人によって、多様な改良が実現され得ることがわかる。
【図面の簡単な説明】
【0027】
【図1】本発明によるイベント監視システムを示したものである。
【図2】図1のイベント・データベースからのテーブルの実例を示したものである。
【図3】本発明の原理を具現する例示的なイベント監視処理について説明したフローチャートである。
【図4】本発明の特徴を具体化する、例示的な滑って転ぶことの検出処理について説明したフローチャートである。
本発明は、コンピュータ・ビジョン技術に関し、特に、視覚に基づく認識技術を使用してイベントを検出する方法と装置に関する。
【0002】
能力ある従業者候補の不十分な人数に加えて、労働コストの増加により、多くの小売店や他の施設では、しばしば、不十分な数の従業者で経営しなければならない。したがって、全ての望ましい機能を実行する十分な従業者がいない場合、経営者は、最も重要な機能が満足することを確実にするために、職務に優先付けをするか、又は前記機能を実行する他の方法を見つけなければならない。例えば、多くの小売施設は、自動窃盗検出システムを利用し、セキュリティ職員を交代するか、補っている。
【0003】
加えて、多くの店において、例えば、セキュリティ目的で、又は客が支援を要求する場合に判断するために、全ての店や他の場所を適切に監視する十分な従業者を有しない。したがって、多くの店や他の施設は、客や従業者の動きを監視するため、多様な場所にカメラを設置する。前記カメラにより生成された画像により、一般的には、多様な場所が中央に位置する1人の人間によって監視され得るが、そのようなシステムは、それでもなお、所定のイベントを検出するために、人間の監視を必要とする。
【0004】
そのような所定のイベントが、従業者や客の負傷を含む場合、店の経営者は責任の対象になる。したがって、その後の証拠目的で負傷に関するイベントに関連する何らかの画像を保存することが望ましい。しかし、画像の人間による監視を必要とする従来のシステムでは、前記の負傷に関するイベントが、イベントの時に、又は画像が保存されたことを確実にする十分な期間内に、検出されないかもしれず、又は報告されないかもしれない。“滑って転ぶ”ことや、他の負傷についての不当な要求について増加する傾向があり、証拠目的で負傷に関するイベントの画像を保存することは、店の経営者にとって特に有益である。
【0005】
したがって、個人が支援を要求することを示すイベントを自動的に認識する、視覚に基づく技術を使用する監視システムに対する要求が存在する。各イベントを定義するルールベースを使用するイベント監視システムに対する要求も、更に存在する。所定のイベントを認識し、証拠目的で前記イベントを記録する視覚に基づく技術を使用する監視システムに対する要求も、更に存在する。
【0006】
概して、個人が支援を必要とする、又は責任に巻き込まれ得る所定のイベントを認識する視覚に基づく技術を使用して、場所を監視する方法と装置が開示される。前記イベントは、本願で支援開始イベントと称する。前記開示されたイベント監視システムは、所定の場所に焦点を合わせた1つ以上の画像取得装置を含む。取得された画像は、前記イベント監視システムにより処理され、1つ以上の支援開始イベントを識別し、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような適切な応答を開始する。
【0007】
本発明の一形態により、多様な支援開始イベントを定義するために、複数のルールが使用される。各ルールは、前記ルールが起動されるために満たさなければならない1つ以上の条件と、オプションで、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような、ルールが満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも1つの条件が、視覚に基づく技術を使用して、画像において検出されるべき特徴を識別する。所定のイベントを検出すると、存在する場合は対応するアクションが、前記イベント監視システムにより実行される。
【0008】
識別された支援開始イベントが、支援を要求する客である場合、例えば、対応するアクション・アイテムは、店の職員を自動的に送ることかもしれないし、又は適切な場合には医療支援であるかもしれない。イベント監視処理が開示され、取得された画像を分析し、イベントルールで定義された1つ以上の支援開始イベントを検出する本発明の一般的概念について説明する。
【0009】
本発明のさらなる特徴と利点に加え、本発明のより完全な理解が、以下の詳細な説明と図を参照して達せられる。
【0010】
図1は、本発明によるイベント監視システム100を示したものである。一般的に、本発明により検出されたイベントは、支援を必要とする個人を含むイベントであるか、責任に巻き込まれるイベントであり、本願では合わせて“支援開始イベント”と称する。図1に示す通り、イベント監視システム100は、1つ以上の監視領域160に焦点を合わせた1つ以上の画像取得装置150−1から150−N(以下、合わせて画像取得装置150と称する)を含む。前記監視領域160は、店の通路のような、支援を要求する個人を有する可能性のある何らかの場所、又はかなりの数の車の事故を有し得る交差点のような、潜在的に責任に巻き込まれるイベントを有する可能性のある何らかの場所になり得る。
【0011】
本発明は、支援開始イベントがその後しばしば訴訟に巻き込まれることを認識する。したがって、本発明の他の形態により、前記画像取得装置150で取得した画像は、例えば、画像保存データベース175に証拠目的で、記録され、蓄積され得る。更に後述するとおり、検出された支援開始イベントのそれぞれに関連付けられる画像は、証拠目的で、前記画像保存データベース175にオプションで記録され得る。ある実施例においては、検出された支援開始イベントのそれぞれの前後の、所定の数の画像フレームが、例えば、証拠目的で、前記イベントのタイム・スタンプと共に、前記画像保存データベース175に記録され得る。
【0012】
それぞれの画像取得装置150は、例えば、画像又は映像情報を取得する固定カメラ又はパン・チルト・ズーム(pan−tilt−zoom)(PTZ)カメラとして具現され得る。前記画像取得装置150で生成された画像は、図3と共に後述する方法で、前記イベント監視システム100で処理され、1つ以上の所定の支援開始イベントを識別する。ある実施においては、本発明は、図2とともに後述するイベント・データベース200を使用し、前記イベント・データベースは、多様な支援開始イベントを定義する複数のルールを記録する。
【0013】
各ルールにより定義された支援開始イベントは、本発明により、イベント監視システム100で検出され得る。後述の通り、各ルールは、前記ルールが開始されるために満たさなければならない1つ以上の基準と、オプションで、前記ルールを起動する所定の基準が満たされる場合に、実行される対応するアクション・アイテムとを含む。各ルールの少なくとも1つの基準は、本発明に従って、視覚に基づく技術を使用して、画像において検出される条件である。所定の交通のイベント等の検出により、存在する場合には前記対応するアクションが、支援を送る、又は証拠目的で前記イベントを記録するように、前記イベント監視システム100で実行される。
【0014】
図1に示し、更に図3と4と共に後述する通り、前記イベント監視システム100はまた、イベント検出処理300と、滑って転ぶことの検出処理400とを含む。概して、前記イベント検出処理300は、前記画像取得装置150により取得された画像を分析し、前記交通イベント・データベース200で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。前記滑って転ぶことの検出処理400は、前記画像取得装置150で取得された画像を分析し、人が転ぶことを検出する。
【0015】
前記イベント監視システム100は、中央演算処理装置(CPU)と、RAM及び/又はROMのようなメモリ100とを含むパーソナルコンピュータ又はワークステーションのような、何らかのコンピュータ装置として具現され得る。他の実施においては、前記画像処理システム100は、特定用途向け集積回路(ASIC)を使用して具現され得る。
【0016】
図2は、多様な支援開始イベントを定義する各ルールを記録するイベント・データベース200の例示的なテーブルを示したものである。前記イベント・データベースの各ルールは、ルールが開始される条件を特定する所定の基準と、オプションで、ルールに関連付けられた基準が満たされる場合に起動される対応するアクション・アイテムとを含む。一般的に、前記アクション・アイテムは、支援を送ることや、証拠目的のためイベントを記録すること(又はその双方)のような、ルールが起動される場合に実行される1つ以上の適切なステップを定義する。
【0017】
図2に示す通り、例示的なイベント・データベース200は、レコード205−210のような、複数のレコードを保持し、それぞれが、異なるルールに関連付けられる。ルール毎に、前記イベント・データベース200は、フィールド250にルールの基準と、存在する場合はフィールド260に対応するアクション・アイテムとを識別する。例えば、レコード206に記録されたルールは、車の事故に対応するイベントである。フィールド250に示す通り、レコード206のルールは、2台の車が衝突する場合に起動される。レコード206のルールは、前記ルールを開始するために検出され得る複数の独立した条件を指定する。例えば、2台の車が他方と所定の距離内にある場合、事故が発生したと思われる。フィールド260に示す通り、対応するアクションは、監視場所160に支援を送ることと、証拠目的で前記イベントを記録することからなる。
【0018】
図3は、例示的なイベント検出処理300について説明するフローチャートである。前記イベント検出処理300は、前記画像取得装置150から取得した画像を分析し、前記イベント・データベース200で定義された複数の特定の、例示的ではあるが、支援開始イベントを検出する。図3に示す通り、ステップ310の間に、前記イベント検出処理は、まず前記画像取得装置150から監視領域160の1つ以上の画像を取得する。
【0019】
その後、ステップ320の間に、前記画像が、映像コンテンツ分析(VCA)技術を使用して分析される。適切なVCA技術の詳細な説明については、例えば、アイルランドのダブリンにおける第3回IEEE国際ワークショップ会報(2000年7月1日)の59−67ページの、Nathanael RotaとMonique Thonnatによる、“Video Sequence Interpretation for Visual Surveillance”及び、アイルランドのダブリンにおける第3回IEEE国際ワークショップ会報(2000年7月1日)の77−83ページの、Jonathan OwensとAndrew Hunterによる、“Application of the Self−Organizing Map to Trajectory Classification”にあり、参照として取り込まれる。概して、前記VCA技術は、前記画像取得装置150で取得された画像における様々な特徴を認識するために使用される。
【0020】
ステップ330の間に、前記映像コンテンツ分析が、前記イベント・データベース200で定義されている所定のイベントを検出したかどうかを、判断するテストが実行される。ステップ330の間に、前記映像コンテンツ分析が所定のイベントを検出しないと判断した場合は、プログラム制御はステップ310に戻り、前述の方法で、場所(群)160を監視し続ける。
【0021】
しかし、ステップ330の間に、前記映像コンテンツ分析が所定のイベントを検出した場合、ステップ340の間に、前記イベント・データベース200のフィールド260に示される通りに、前記イベントが処理される。前述の通り、本発明の一形態により、ステップ350の間に、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース175に記録され得る。そしてプログラム制御は終了する(又は、ステップ310に戻り、前述の方法で場所(群)160を監視し続ける)。
【0022】
前述の通り、滑って転ぶことの検出処理400は、前記画像取得装置150で取得された映像を分析し、人が転んだことを検出する。図4に示す通り、ステップ410の間に、前記滑って転ぶことの検出処理400は、まず前記画像取得装置150から監視領域160の1つ以上の画像を取得する。
【0023】
その後、ステップ420の間に、動く物体を検出するために次の画像フレームが除去される。ほとんどの小売の場所の制御される環境において、検出された動く物体は、人であると仮定できることがわかる。しかし、通常の技術的に熟練した人に明確な通り、周知の人間分類技術が、必要に応じて追加の防護手段としてオプションで使用され得る。ステップ430の間に、それぞれの検出された物体の投影が分析され、物体の主軸の向き(縦方向又は横方向)を識別する。
【0024】
ステップ440の間に、検出された物体の主軸が、前のフレームにおいて縦方向から、現在のフレームにおいて横方向に変化すると、誰かが転んだことを意味するという判断するテストが実行される。ステップ440の間に、検出された物体の主軸が、縦方向から横方向に変化してないと判断されると、滑って転ぶことが発生せず、プログラム制御はステップ410に戻り、前述の方法で場所(群)160を監視し続ける。
【0025】
しかし、ステップ430の間に、検出された物体の主軸が、縦方向から横方向に変化したと判断されると、滑って転ぶことが発生し、ステップ450の間に、前記イベント・データベース200のフィールド260に示される通りに、検出された滑って転ぶことのイベントが処理される。前述の通り、本発明の一形態により、ステップ460の間に、滑って転ぶことのような、検出された支援開始イベントに関連付けられる画像は、オプションで、証拠目的のためにタイム・スタンプと共に、前記画像保存データベース175に記録され得る。そしてプログラム制御は終了する(又は、ステップ410に戻り、前述の方法で場所(群)160を監視し続ける)。
【0026】
実施例と様々な示されたもの及び説明は、単に本発明の原理の実例であり、本発明の範囲と意図を逸脱することなく、技術的に熟練した人によって、多様な改良が実現され得ることがわかる。
【図面の簡単な説明】
【0027】
【図1】本発明によるイベント監視システムを示したものである。
【図2】図1のイベント・データベースからのテーブルの実例を示したものである。
【図3】本発明の原理を具現する例示的なイベント監視処理について説明したフローチャートである。
【図4】本発明の特徴を具体化する、例示的な滑って転ぶことの検出処理について説明したフローチャートである。
Claims (17)
- 監視場所の少なくとも1つの画像を処理する方法であって、
前記監視場所の少なくとも1つの画像を取得するステップと、
前記監視場所でイベントを識別するステップと、
前記イベントが識別される場合に適切な応答を開始するステップと
を有する方法。 - 請求項1に記載の方法であって、
支援開始イベントが識別され、
映像コンテンツ分析技術を使用して前記画像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも1つの所定の特徴を識別するステップと、
前記所定の特徴が前記画像の1つに認識される場合に、支援を提供するステップと
を更に有する方法。 - 請求項3に記載の方法であって、
前記の所定の特徴が前記画像の1つに認識された場合に、前記少なくとも1つの画像を記録するステップを更に有する方法。 - 請求項1に記載の方法であって、
訴訟に巻き込まれ得るイベントが識別され、
映像コンテンツ分析技術を使用して前記映像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも1つの所定の特徴を識別するステップと、
前記所定の特徴が前記画像の1つに認識される場合に、前記少なくとも1つの画像を記録するステップと
を更に有する方法。 - 請求項1に記載の方法であって、
支援開始イベントが識別され、
前記支援開始イベントを定義するルールを作るステップであって、前記ルールが識別される少なくとも1つの条件を有するステップと、
前記ルールが満たされると支援を提供するステップと
を更に有する方法。 - 請求項6に記載の方法であって、
前記ルールが満たされる場合に、前記少なくとも1つの画像が記録されるステップを更に有する方法。 - 請求項2又は4又は5に記載の方法であって、
前記イベントが、前記監視場所における負傷である方法。 - 請求項2又は4又は5に記載の方法であって、
前記イベントが、前記監視場所における事故である方法。 - 請求項2又は5に記載の方法であって、
前記イベントが、支援を必要とする客である方法。 - 支援開始イベントを検出するシステムであって、
コンピュータが解読可能なコードを蓄積するメモリと、
前記メモリに動作可能につなげられるプロセッサと
を有し、前記プロセッサは、前記コンピュータが解読可能なコードを実行するように構成され、前記コンピュータが解読可能なコードは、
監視場所の少なくとも1つの画像を取得し、
映像コンテンツ分析技術を用いて前記画像を分析し、前記支援開始イベントに関連付けられる前記画像において、少なくとも1つの所定の特徴を識別し、
前記所定の特徴が、前記画像の1つに認識される場合に、支援を提供するように構成されるシステム。 - 訴訟に巻き込まれ得るイベントを記録するシステムであって、
コンピュータが解読可能なコードを蓄積するメモリと、
前記メモリに動作可能につなげられるプロセッサと
を有し、前記プロセッサは、前記コンピュータが解読可能なコードを実行するように構成され、前記コンピュータが解読可能なコードは、
監視場所の少なくとも1つの画像を取得し、
映像コンテンツ分析技術を用いて前記画像を分析し、前記イベントに関連付けられる前記画像において、少なくとも1つの所定の特徴を識別し、
前記所定の特徴が、前記画像の1つに認識される場合に、前記少なくとも1つの画像を記録するように構成されるシステム。 - 請求項10又は11に記載のシステムであって、
前記特徴が、前記イベントを定義するルールに記録されるシステム。 - 請求項10又は11に記載のシステムであって、
前記イベントが、前記監視場所における負傷であるシステム。 - 請求項10又は11に記載のシステムであって、
前記イベントが前記監視場所における事故であるシステム。 - 請求項10に記載のシステムであって、
前記イベントが支援を必要とする客であるシステム。 - 請求項10に記載のシステムであって、
前記所定の特徴が前記画像の1つに認識される場合に、前記プロセッサが前記少なくとも1つの画像を記録するように更に構成されるシステム。 - コンピュータプログラム製品であって、
そのコンピュータプログラム製品を実行するときに、プログラム可能な装置を、請求項10又は11に記載のシステムとして機能させるコンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/897,524 US20030004913A1 (en) | 2001-07-02 | 2001-07-02 | Vision-based method and apparatus for detecting an event requiring assistance or documentation |
PCT/IB2002/002676 WO2003005315A1 (en) | 2001-07-02 | 2002-06-27 | Vision based method and apparatus for detecting an event requiring assistance or documentation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004534464A true JP2004534464A (ja) | 2004-11-11 |
Family
ID=25408020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003511205A Pending JP2004534464A (ja) | 2001-07-02 | 2002-06-27 | 支援又は記録を必要とするイベントを検出する視覚に基づく方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20030004913A1 (ja) |
EP (1) | EP1405279A1 (ja) |
JP (1) | JP2004534464A (ja) |
KR (1) | KR20030040434A (ja) |
CN (1) | CN1522426A (ja) |
WO (1) | WO2003005315A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2870378B1 (fr) * | 2004-05-17 | 2008-07-11 | Electricite De France | Protection de detection de chutes a domicile, notamment de personnes a autonomie restreinte |
US8457354B1 (en) | 2010-07-09 | 2013-06-04 | Target Brands, Inc. | Movement timestamping and analytics |
CN104537528A (zh) * | 2015-01-26 | 2015-04-22 | 深圳前海万融智能信息有限公司 | 一种救急手机支付方法及系统 |
JP6745824B2 (ja) | 2015-06-26 | 2020-08-26 | 武田薬品工業株式会社 | 複素環化合物 |
CN106023541B (zh) * | 2016-06-21 | 2019-10-22 | 深圳市金立通信设备有限公司 | 一种提醒用户的方法及终端 |
US10872235B2 (en) * | 2018-09-27 | 2020-12-22 | Ncr Corporation | Tracking shoppers and employees |
CN109271956A (zh) * | 2018-09-30 | 2019-01-25 | 湖北职业技术学院 | 一种计算机网络监控装置及其工作方法 |
CN111340966B (zh) * | 2019-12-12 | 2022-03-08 | 山东中创软件工程股份有限公司 | 一种车辆检测方法、装置及系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2834079B1 (de) * | 1978-08-03 | 1979-10-31 | Messerschmitt Boelkow Blohm | Verfahren zum automatischen Feststellen und Auswerten der AEnderungen von Bildinhalte und Einrichtung dazu |
US6778672B2 (en) * | 1992-05-05 | 2004-08-17 | Automotive Technologies International Inc. | Audio reception control arrangement and method for a vehicle |
US4976053A (en) * | 1989-09-07 | 1990-12-11 | Caley Jeffrey H | Auxiliary equipment attachment adapter |
US5408330A (en) * | 1991-03-25 | 1995-04-18 | Crimtec Corporation | Video incident capture system |
US5436839A (en) * | 1992-10-26 | 1995-07-25 | Martin Marietta Corporation | Navigation module for a semi-autonomous vehicle |
US5497149A (en) * | 1993-09-02 | 1996-03-05 | Fast; Ray | Global security system |
US5495288A (en) * | 1994-01-28 | 1996-02-27 | Ultrak, Inc. | Remote activated surveillance system |
US6727938B1 (en) * | 1997-04-14 | 2004-04-27 | Robert Bosch Gmbh | Security system with maskable motion detection and camera with an adjustable field of view |
DE19829888A1 (de) * | 1998-07-05 | 2000-01-13 | Helmut Hochstatter | Raumüberwachung mit CCD-Technik |
GB2350510A (en) * | 1999-05-27 | 2000-11-29 | Infrared Integrated Syst Ltd | A pyroelectric sensor system having a video camera |
EP1061487A1 (en) * | 1999-06-17 | 2000-12-20 | Istituto Trentino Di Cultura | A method and device for automatically controlling a region in space |
US6690411B2 (en) * | 1999-07-20 | 2004-02-10 | @Security Broadband Corp. | Security system |
US6940998B2 (en) * | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
US7106885B2 (en) * | 2000-09-08 | 2006-09-12 | Carecord Technologies, Inc. | Method and apparatus for subject physical position and security determination |
US6678413B1 (en) * | 2000-11-24 | 2004-01-13 | Yiqing Liang | System and method for object identification and behavior characterization using video analysis |
US6720880B2 (en) * | 2001-11-13 | 2004-04-13 | Koninklijke Philips Electronics N.V. | Vision-based method and apparatus for automatically activating a child safety feature |
-
2001
- 2001-07-02 US US09/897,524 patent/US20030004913A1/en not_active Abandoned
-
2002
- 2002-06-27 WO PCT/IB2002/002676 patent/WO2003005315A1/en not_active Application Discontinuation
- 2002-06-27 CN CNA028134435A patent/CN1522426A/zh active Pending
- 2002-06-27 KR KR10-2003-7003127A patent/KR20030040434A/ko not_active Application Discontinuation
- 2002-06-27 EP EP02741094A patent/EP1405279A1/en not_active Withdrawn
- 2002-06-27 JP JP2003511205A patent/JP2004534464A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20030004913A1 (en) | 2003-01-02 |
CN1522426A (zh) | 2004-08-18 |
EP1405279A1 (en) | 2004-04-07 |
WO2003005315A1 (en) | 2003-01-16 |
KR20030040434A (ko) | 2003-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
US10817710B2 (en) | Predictive theft notification | |
JP2005501351A (ja) | 小売の環境における不正なイベントを検出するための視覚に基づく方法及び装置 | |
WO2021159604A1 (zh) | 一种轨道列车的监控系统,监控方法及监控装置 | |
US9135499B2 (en) | Predictive theft notification for the prevention of theft | |
US20080186381A1 (en) | Customer service counter/checkpoint registration system with video/image capturing, indexing, retrieving and black list matching function | |
EP2113846B1 (en) | Behavior history searching device and behavior history searching method | |
JP2018173914A (ja) | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 | |
JP6729793B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
US20100007738A1 (en) | Method of advanced person or object recognition and detection | |
JP2010272958A (ja) | 監視装置、監視システム、および監視プログラム | |
CN112383756B (zh) | 一种视频监控报警处理方法和装置 | |
Zin et al. | A Markov random walk model for loitering people detection | |
KR20090035379A (ko) | 주차장내 영상감지를 이용한 지능형 보안방범 시스템 및 그제어방법 | |
JP2004534464A (ja) | 支援又は記録を必要とするイベントを検出する視覚に基づく方法及び装置 | |
JP6836173B2 (ja) | 万引き防止システム及びそれに使用される店舗側装置並びにセンタ側装置 | |
JP2011145839A (ja) | 監視システム、装置、方法及びプログラム | |
JP2001266131A (ja) | 監視システム | |
JP7478630B2 (ja) | 映像解析システムおよび映像解析方法 | |
JP4120379B2 (ja) | 行動監視システムおよびプログラム | |
JP2005284652A (ja) | 動きベクトルを用いた映像監視方法及び装置 | |
JP2004128615A (ja) | 人物監視システム | |
JP5618366B2 (ja) | 監視システム、監視装置、監視方法、及びプログラム | |
JP7054075B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
US20240242504A1 (en) | Systems and methods for repeat offender anti-theft notification based on vehicle identification |