JP2013058899A - 監視装置、その方法、及び、そのプログラム - Google Patents

監視装置、その方法、及び、そのプログラム Download PDF

Info

Publication number
JP2013058899A
JP2013058899A JP2011195783A JP2011195783A JP2013058899A JP 2013058899 A JP2013058899 A JP 2013058899A JP 2011195783 A JP2011195783 A JP 2011195783A JP 2011195783 A JP2011195783 A JP 2011195783A JP 2013058899 A JP2013058899 A JP 2013058899A
Authority
JP
Japan
Prior art keywords
unit
average
monitoring
movement
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011195783A
Other languages
English (en)
Other versions
JP5547144B2 (ja
Inventor
Takeshi Tazaki
豪 田崎
Daisuke Yamamoto
大介 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011195783A priority Critical patent/JP5547144B2/ja
Priority to GB1204852.6A priority patent/GB2494486A/en
Priority to US13/428,410 priority patent/US9019373B2/en
Priority to CN2012100999613A priority patent/CN103002198A/zh
Publication of JP2013058899A publication Critical patent/JP2013058899A/ja
Application granted granted Critical
Publication of JP5547144B2 publication Critical patent/JP5547144B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • G01S3/7865T.V. type tracking systems using correlation of the live video image with a stored image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視対象物が移動しても確実に追従できる監視装置を提供する。
【解決手段】監視対象物を指し示す指示部22と、前記監視対象物を撮像して時系列の画像を取得するカメラ12と、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点の第1の集合の移動先位置Bを予測する予測部14と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置Oを検出する検出部16と、前記平均移動量が第1の閾値と比較して大きい場合には前記移動先位置Bを指示位置と設定し、小さい場合には前記重心位置Oを指示位置と設定する判定部18と、前記指示部が前記指示位置を指し示すように前記指示部を制御する制御部20とを有する。
【選択図】 図2

Description

本発明の実施形態は、監視装置、その方法、及び、そのプログラムに関する。
赤外線カメラで移動物体を検出し、移動物体の移動量と移動方向から短期的に位置を予測してレーザー光を照射する装置、また、画像の差分を取り移動領域を検出し、移動領域に向かって風を送る装置、さらに、監視対象物を撮影して、その画像から監視対象物の重心位置を検出し、この重心位置の移動を追跡する装置が提案されている。
特開2004−331021号公報 特開2009−30837号公報 特開2006−135799号公報
しかし、上記従来装置において、応答性能が低い追従装置を用いた場合には、近距離で高速に動く監視対象物には追従動作が間に合わないという問題点があった。
そこで、本発明の実施形態は、上記問題点に鑑み、監視対象物が移動しても確実に追従できる監視装置、その方法、及び、そのプログラムを提供することを目的とする。
本発明の実施形態は、監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラと、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第1の集合に所属する前記特徴点の移動先位置を予測する予測部と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、前記平均移動量が第1の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、を有することを特徴とする監視装置である。
一実施形態の監視装置を設けたセルフレジの斜視図。 第1の実施形態の監視装置のブロック図。 監視装置の動作状態を示すフローチャート。 判定部のフローチャート。 カメラが撮影した第1の画像。 カメラが撮影した第2の画像。 第2の実施形態におけるカメラが撮影した画像。 第2の実施形態の監視装置のブロック図。 第2の実施形態の判定部のフローチャート。
一実施形態の監視装置10について図面に基づいて説明する。
本実施形態の監視装置10は、図1に示すように、スーパーマーケットやコンビニエンスストアに最近設置されているセルフレジ1に設けられる装置であって、客が自分で、カゴから商品を出して勘定を行うときに、客が不正な行為を行わないように監視する。
そのために、監視装置10は、図5〜図7の画像に示すようなカメラ12で勘定作業を行う客を撮像して、その撮像した時系列の画像から、図1に示すように、客が視線を感じることができる人形の顔(以下、「指示部22」と呼ぶ)を、客の手(以下、「監視対象物」と呼ぶ)の移動に合わせて追従動作させる。これによって、客はあたかも人形の顔に監視されていると感じて、不正が防止される。
第1の実施形態の監視装置10について図1〜図6に基づいて説明する。
監視装置10の構成について図2のブロック図に基づいて説明する。
図2に示すように、監視装置10は、客を撮像するカメラ12、予測部14、検出部16、判定部18、指示部22を追従動作させる制御部20とを有する。
以下、各部12〜22について順番に説明する。
一台のカメラ12が、図1に示すように、セルフレジ1のレジ台2に固定され、客を正面から撮像して、時系列の画像を取得する。例えば、1秒間に30フレームの時系列の画像を取得する。取得された時系列の画像は、検出部16と予測部14に出力される。
予測部14の動作について説明する。
まず、予測部14は、カメラ12から入力した画像中の輝度変化が大きい場所を特徴点として抽出する。例えば、図5、図6に示すように、エッジ検出のように隣接する画素間の輝度差が、予め設定した基準輝度差より大きい位置を、特徴点(図中のラ点)として抽出する。なお、輝度に限らず、他の画素値(明度など)から特徴点を求めてもよい。
次に、予測部14は、抽出した複数の特徴点mのそれぞれに関して、移動量と移動方向を、時系列の画像(2〜3フレームの画像)を用いてLucasKanade法やブロックマッチング法で算出する。
次に、予測部14は、各特徴点mの移動量と、予め設定した基準移動量とをそれぞれ比較し、基準移動量より大きい移動量を有する特徴点mを選択する。予測部14は、この選択した特徴点mの集まりを、第1の集合Sに所属させる。
次に、予測部14は、第1の集合Sに所属する特徴点mの平均位置Aを、下記の式(1)から計算する。但し、Xmは、特徴点mの画像上での位置ベクトル(前記抽出した移動量と移動方向からなる構成されるベクトル)を意味する。
Figure 2013058899
図6においては、平均位置Aは、白丸で表示している。
次に、予測部14は、平均位置Aから特徴点mの移動先位置Bを下記で説明する予測方法で予測する。
予測部14の第1の予測方法について説明する。
第1の予測方法は、予測部14が、平均位置A、又は、平均位置A近傍の位置を移動先位置Bにそのまま設定して、判定部18に出力する。なお、予測部14は、集合Sに所属する各特徴点mの移動量の平均値(以下、「平均移動量」と呼ぶ)も合わせて判定部18へ出力する。
予測部14の第2の予測方法について説明する。第2の予測方法は、予測部14が、移動先位置Bを平均位置Aと特徴点mの移動方向から計算する。
まず、予測部14は、特徴点mの移動方向ベクトルをvmとすると、第1の集合Sに所属する特徴点mの平均移動方向Vを下記の式(2)から計算する。
Figure 2013058899
次に、予測部14は、第1の集合Sに所属する特徴点mのうち、移動方向ベクトルvmと平均移動方向Vのなす角が、予め設定した基準角度より小さな特徴点を、第2の集合S2に所属させる。
次に、予測部14は、第2の集合S2に所属する特徴点mのうち、平均位置Aから平均移動方向Vに、最も遠方にある移動方向ベクトルvmを有する特徴点m、又は、最も遠方にある特徴点mと近距離にある特徴点mの位置を、移動先位置Bに設定して、判定部18へ出力する。最も遠方にある移動方向ベクトルvmを有する特徴点mを用いるのは、監視対象物が、最も移動している位置を用いたいためである。移動先位置Bの計算法以外の動作は、第1の予測方法と同様とする。すなわち、予測部14は、平均移動量も合わせて出力する。
なお、予測部14は、平均移動方向Vを移動方向ベクトルvmから計算したが、状況に応じて予め定義した方向であってもよい。状況に応じて定義した方向とは、例えば、式(2)で得られた平均移動方向Vのx成分の方向を用いるなどとしてもよい。図6には、平均移動方向Vのx成分の方向を用いて得られた移動先位置Bを白丸で示す。
予測部14の第3の予測方法について説明する。
まず、予測部14は、第1の予測方法、又は、第2の予測方法で予測された移動先位置Bを時系列で保存する。
次に、予測部14は、時系列の移動先位置Bから線形予測によって位置を予測する。なお、この線形予測で予測する位置は、例えば、特徴点mの元の位置から2〜3フレーム先の位置である。なお、「線形予測」は、パーティクルフィルタなどの非線形予測器、又は、類似するその他の予測手法により代用できる。
次に、予測部14は、予測した位置を新たな移動先位置Bと設定して、判定部18へ出力する。移動先位置Bの計算法以外の動作は、第1の予測方法と同様とする。すなわち、予測部14は、平均移動量も合わせて出力する。
検出部16の動作について説明する。
まず、検出部16は、カメラ12から入力した時系列の画像間の差分を取り、この差分に基づいて変化領域を抽出する。例えば、まず、カメラ12で、客がいない状態のレジ台2を撮像し背景画像として記憶しておく。図5に示すように、レジ台2に客が来た場合の画像を取得すると、その取得した画像と背景画像との差分に基づいて変化領域を抽出する。図5の場合には、検出部16は、客の上半身全体を変化領域として抽出する。なお、この変化領域を検出する時刻は、予測部14で特徴点mを抽出する時刻と同じ時刻の画像を用いる。
次に、検出部16は、変化領域の重心位置Oを計算し、判定部18に出力する。図5の場合には、検出部16は、客の上半身全体が変化領域であるため、その上半身全体の中心が重心位置O(図5中の黒丸)として検出される。
判定部18の動作について説明する。判定部18は、指示部22が人に視線を与えるように見せることができる駆動方法を判定し、それに加えて指示部22が指し示すための指示位置を制御部20へ出力する。
まず、判定部18は、予測部14から入力された平均移動量が、予め設定した第1の閾値と比較して小さい場合は、検出部16から入力された重心位置Oを指示位置と判定して、制御部20に出力する。
次に、判定部18が、重心位置Oを指示位置と判定した後、指示部22の駆動に使用できる指示位置へ変換する。この変換処理について説明する。まず、重心位置Oは、2次元上の画像位置で表されているため、これをレジ台2に固定されたカメラ12の位置を基準(原点)にして、現実の3次元空間中の重心位置Oの方向に変換する。この変換は予め用意した表(テーブル)を用いて行う。次に、予測部14は、指示部18の現在の位置と、前記現実の3次元空間上の重心位置Oの方向から、後から説明する指示部18のモータのパン角とチルト角を計算する。このパン角とチルト角が指示位置である。
一方、判定部18は、予測部14から入力された平均移動量が第1の閾値と比較して大きい場合は、移動先位置Bを指示位置と判定して、制御部20に出力する。移動先位置Bから指示位置に変換する処理は、重心位置Oと同様である。
なお、平均移動量が第1の閾値と等しい場合は、重心位置O、又は、移動先位置Bのどちらか一方を、指示位置と判定するように、予め決定しておく。
なお、判定部18は、上記出力後、一定時間D(例えば、数m秒)の間は、この指示位置と同じ位置を指示位置と判定して、維持する。
指示部22は、図1に示すように人形の顔で形成されており、セルフレジ1のレジ台2の上から垂直に立設され支持棒3の上端に回転自在に設けられている。また、指示部22と指示棒3の間に、指示部22をパン(水平方向θの首振り)−チルト(上下方向ψの首振り)回転させるモータが設けられている。
制御部20は、判定部18から入力された指示位置を、指示部22(人形の両眼の部分)が指し示すように、指示部22のモータを駆動させる。すなわち、制御部20は、指示位置(モータのパン角とチルト角)に用いて、客の手(監視対象物)に向かって人形の顔をモータによって回転させて追従動作させ、あたかも客の手を監視しているような状態に見せる。
次に、監視装置10の動作状態について図3のフローチャートに基づいて説明する。
ステップS1において、カメラ12が、客を正面から撮影する。画像は、時系列に取得される。そしてステップS2に進む。
ステップS2において、予測部14が、各画像の特徴点を抽出して、ステップS3に進む。
ステップS3において、予測部14は、平均移動量、移動先位置Bを予測する。そしてステップS4に進む。
ステップS4において、検出部16は、画像中の変化領域を検出し、この変化領域の重心位置Oを検出して、ステップS5に進む。
ステップS5において、判定部18は、駆動方法を判定して、指示部を出力する。
ステップS6において、制御部20は、指示位置に基づいて、指示部22のモータを駆動させて、客の手に向かって人形の顔を回転させる。そして終了する。
判定部18の駆動判定方法について、図4のフローチャートに基づいて説明する。
ステップS11において、判定部18は、予測部14が予測した平均移動量と第1の閾値を比較し、平均移動量が第1の閾値よりも小さい場合にはステップS12に進み(noの場合)、平均移動量が第1の閾値よりも大きい場合(yesの場合)にはステップS13に進む。
ステップS12において、判定部18は、平均移動量が第1の閾値よりも小さいため、検出部16が検出した重心位置Oを指示位置と判定して、制御部20に出力して終了する。
ステップS13において、判定部18は、平均移動量が第1の閾値よりも大きいため、予測部14が予測した移動先位置Bを指示位置と判定して、制御部20に出力して終了する。
本実施形態によれば、平均移動量が小さい場合には、重心位置Oを指示位置と判定し、平均移動量が大きい場合には移動先位置Bを指示位置と判定し、この指示位置に対して指示部22を追従動作させるため、モータの応答性が低い場合であっても、監視対象物を指示部が指し示すように見せることができる。
次に、第2の実施形態の監視装置10について図7〜図9に基づいて説明する。
本実施形態の監視装置10の構成について図8のブロック図に基づいて説明する。
図8に示すように、監視装置10は、カメラ12、予測部14、検出部16、判定部18、指示部22を追従動作させる制御部20、保存部24とを有する。
本実施形態と第1の実施形態の監視装置10の異なる点は、保存部24を新たに有することと、判定部18の駆動判定動作にある。制御部20、カメラ12、検出部16、予測部14については、第1の実施形態と同様であるため、それらの説明は省略し、保存部24と判定部18について詳しく説明する。
保存部24は、予め設定された客の手(監視対象物)が通過する画像上での監視領域Cを複数保存する。図7においては、監視領域C1〜C3が設定されている。監視領域Cの設定は、例えば次のように行う。
まず、判定部18が監視対象物の移動終了位置を出力している場合、保存部24は、移動終了位置同士の距離を基にクラスタリングを行う。
次に、判定部18は、クラスタリングして得られた領域に含まれる移動終了位置の数が予め設定した基準数以上になった際に、同じクラスに属する移動終了位置の重心位置Jを計算する。
次に、判定部18は、計算して得られた重心位置J、又は、その重心位置Jを中心とした周辺領域を新たな監視領域候補とする。
次に、判定部18は、新たな監視領域候補と、保存部24に既に保存されている監視領域との距離が、予め設定した基準距離と比較して大きい場合は、新たな監視領域候補を新たな監視領域として保存する。
上記では、重心位置Jを新たな監視領域候補の重心位置としたが、クラスタリングして得られた領域の任意の点を監視領域候補の重心位置としても構わない。
次に、判定部18の判定動作について説明する。
まず、判定部18は、予測部14から入力された平均移動量が第1の閾値と比較して小さい場合は、検出部16から入力された重心位置Oを指示位置と判定して、制御部20に出力する。なお、重心位置Oから指示位置に変換する処理は、第1の実施形態の重心位置Oの変換処理と同様である。
次に、判定部18は、予測部14から入力された平均移動量が第1の閾値と比較して大きい場合は、予測部14から入力された移動先位置Bと保存部24に保存されている複数の監視領域C1〜C3との距離を計算する。
最後に、判定部18は、計算された複数の距離のうち、最も近い距離が第2の閾値と比較して短い場合は最も距離が近くなった監視領域(例えば、監視領域C3)を指示位置と判定して、制御部20に出力し、一方、長い場合は移動先位置Bを指示位置と判定して、制御部20に出力する。なお、指示位置は、監視領域C3の中の任意の点であればよく、例えば、重心位置である。また、監視領域Cから指示位置に変換する処理、及び、指示位置Bから指示位置に変換する処理は、第1の実施形態の重心位置Oの変換処理と同様である。
次に、判定部18が、保存部24に新たな監視領域Cを保存させる動作について説明する。
まず、判定部18は、予測部14から入力された平均移動量と移動先位置Bを時系列で保存する。
次に、判定部18は、保存された平均移動量が前記第1の閾値と比較して大きい状態が、時系列で連続して基準回数以上続いた後、平均移動量が前記第1の閾値と比較して小さくなった時刻をTと設定する。
次に、判定部18は、時刻T−1、又は、時刻T−1に近い時刻tに得られた移動先位置Bを移動終了位置として設定する。
次に、判定部18は、移動終了位置を保存部24に出力する。
次に、保存部24は、入力した移動終了位置、又は、その周辺領域を監視領域C4として、新たに保存する。なお、周辺領域の大きさは、予め設定しておく。
次に、本実施形態の監視装置10の判定部18の動作状態について図9のフローチャートに基づいて説明する。
ステップS21において、予測部14が予測した平均移動量が第1の閾値よりも小さい場合にはステップS22に進み(noの場合)、平均移動量が第1の閾値よりも大きい場合にはステップS23に進む(yesの場合)。
ステップS22において、平均移動量が第1の閾値よりも小さいため、判定部18は、検出部16が検出した重心位置Oを指示位置と判定して、制御部20に出力する。そして終了する。
ステップS23において、平均移動量が第1の閾値よりも大きいため、判定部18は、予測部14が予測した移動先位置Bと、保存部24に保存されている複数の監視領域C1〜C3との距離をそれぞれ計算する。計算された複数の距離のうち、最も近い距離が第2の閾値と比べて大きい場合にはステップS24に進み(yesの場合)、距離が第2の閾値よりも短い場合にはテップS25に進む(noの場合)。
ステップS24において、判定部18は、監視領域と移動先位置Bの距離が大きいため、予測部14が予測した移動先位置Bを指示位置と判定して、制御部20に出力する。そして終了する。
ステップS25において、移動先位置Bが監視領域C3と近いため、監視領域C3の中の重心点を指示位置と判定して、判定部18は、制御部20に出力する。そして終了する。
本実施形態によれば、予測した移動先位置Bが予め設定した監視領域に近い場合に、その監視領域の中の位置を指示位置として、先回りして判定するため、低応答性のモーターでも、制御部20はより迅速に指示部22を追従動作させることができる。
第3の実施形態の監視装置10について説明する。本実施形態と第1の実施形態の異なる点は、検出部16と判定部18の動作にある。
まず、検出部16は、変化領域の重心位置Oからの分散を計算する。
次に、判定部18が、重心位置Oを指示位置と判定した場合、検出部16で計算された分散と予め設定した所定値とを比較する。
次に、判定部18は、分散が前記所定値と比較して大きい場合は、重心位置Oがノイズであると判定して、指示位置を出力せず、次のフレームの処理に移る。一方、判定部18は、分散が前記所定値と比較して小さい場合は、重心位置Oを指示位置と判定して、制御部20に出力する。
本実施形態によれば、検出部16が、ノイズがあって不正確な重心位置Oしか検出できない場合に、次のフレームに処理が移るため、指示部22は常に正確に客の手を指示できる。
変更例
上記実施形態では、検出部16で予め重心位置Oを検出したが、判定部18で予測部14から入力された平均移動量が第1の閾値と比較して小さい場合にのみ、検出部16で重心位置Oを検出してもよい。
上記実施形態では、指示部22として人間の顔を模擬した人形の顔を例示したが、これに限らず、指を模擬したものや、レーザーポインタなど、人間にとって指示位置を示すことができる物体であればよい。また、ディスプレイに写し出された人間の眼や指でもよい。
上記実施形態では、指示位置としては、モータのパン角−チルト角としたが、これに限らす判定部18は、指示部22を駆動させる駆動手段に応じて、指示位置の情報に変換すればよい。例えば、ディスプレイに写し出す場合には、人間の眼や指の画像情報などである。
上記実施形態では、セルフレジ1に設ける監視装置10で説明したが、これに限らず、監視装置10をATMに設け、ATMを操作する客の不正行為を監視してもよい。また、部屋に監視用のカメラ12を複数配置し、部屋の中の移動している人間を監視してもよい。この場合に、指示部22としては、移動している人間にレーザ光を当てたり、また、移動している人間に最も近い照明を点灯させてもよい。
なお、この監視装置10は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、検出部16、予測部14、判定部18、保存部24は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、監視装置10は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10・・・監視装置、12・・・カメラ、14・・・予測部、16・・・検出部、18・・・判定部、20・・・制御部、22・・・指示部、24・・・保存部

Claims (9)

  1. 監視対象物を指し示す指示部と、
    前記監視対象物を撮像して時系列の画像を取得するカメラと、
    前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第1の集合に所属する前記特徴点の移動先位置を予測する予測部と、
    前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、
    前記平均移動量が第1の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、
    前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
    を有することを特徴とする監視装置。
  2. 前記カメラが取得する画像における複数の監視領域を保存する保存部をさらに有し、
    前記判定部は、
    前記平均移動量が前記第1の閾値と比較して大きく、かつ、複数の前記監視領域の中の位置と前記移動先位置との距離が、予め設定した第2の閾値と比較して短い場合に、前記監視領域中の位置を前記指示位置に設定する、
    ことを特徴とする請求項1記載の監視装置。
  3. 前記予測部は、
    前記第1の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
    前記平均移動量と前記平均移動方向を持つ、前記第1の集合に所属する各特徴点の平均位置を、前記移動先位置に設定する、
    ことを特徴とする請求項1記載の監視装置。
  4. 前記予測部は、
    前記第1の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
    前記平均移動量と前記平均移動方向を持つ、前記第1の集合に所属する各特徴点の平均位置を設定し、
    前記第1の集合に所属する前記特徴点の前記移動方向と前記平均移動方向のなす角が、予め設定した基準角より小さい前記特徴点が集まった第2の集合を求め、
    前記第2の集合に所属する前記特徴点の中で、前記平均位置から前記平均移動方向に沿って最も遠方にある前記特徴点の位置を前記移動先位置として設定する、
    ことを特徴とする請求項1記載の監視装置。
  5. 前記判定部は、前記指示位置を判定した後、予め設定した一定時間後までは前記指示位置の判定を維持する、
    ことを特徴とする請求項1記載の監視装置。
  6. 前記判定部は、前記変化領域の分散が予め設定した所定値より小さい場合に、前記重心位置を前記指示位置と判定する、
    ことを特徴とする請求項1記載の監視装置。
  7. 前記判定部は、
    前記移動先位置を前記指示位置とする判定が、予め設定した基準回数以上連続した後、前記移動先位置を前記指示位置としない判定が行われた時点での前記移動先位置を移動終了位置として前記保存部に出力し、
    前記保存部は、前記移動終了位置、又は、その周辺領域を新たな前記監視領域として保存する、
    ことを特徴とする請求項2記載の監視装置。
  8. 監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視方法であって、
    前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第1の集合に所属する前記特徴点の移動先位置を予測する予測ステップと、
    前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出ステップと、
    前記平均移動量が第1の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定ステップと、
    前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御ステップと、
    を有することを特徴とする監視方法。
  9. 監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視プログラムであって、
    前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第1の集合に所属する前記特徴点の移動先位置を予測する予測機能と、
    前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出機能と、
    前記平均移動量が第1の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定機能と、
    前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
    をコンピュータに実現させるための監視プログラム。
JP2011195783A 2011-09-08 2011-09-08 監視装置、その方法、及び、そのプログラム Expired - Fee Related JP5547144B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011195783A JP5547144B2 (ja) 2011-09-08 2011-09-08 監視装置、その方法、及び、そのプログラム
GB1204852.6A GB2494486A (en) 2011-09-08 2012-03-20 Monitoring self service cash register
US13/428,410 US9019373B2 (en) 2011-09-08 2012-03-23 Monitoring device, method thereof
CN2012100999613A CN103002198A (zh) 2011-09-08 2012-04-06 监视设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011195783A JP5547144B2 (ja) 2011-09-08 2011-09-08 監視装置、その方法、及び、そのプログラム

Publications (2)

Publication Number Publication Date
JP2013058899A true JP2013058899A (ja) 2013-03-28
JP5547144B2 JP5547144B2 (ja) 2014-07-09

Family

ID=46052210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011195783A Expired - Fee Related JP5547144B2 (ja) 2011-09-08 2011-09-08 監視装置、その方法、及び、そのプログラム

Country Status (4)

Country Link
US (1) US9019373B2 (ja)
JP (1) JP5547144B2 (ja)
CN (1) CN103002198A (ja)
GB (1) GB2494486A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181347A (ja) * 2019-04-24 2020-11-05 セコム株式会社 監視表示装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274246B2 (ja) * 2016-04-08 2018-02-07 株式会社デンソー 監視装置
CN109272528A (zh) * 2018-09-18 2019-01-25 图普科技(广州)有限公司 一种行人轨迹获取方法及装置
US11874679B2 (en) * 2019-01-09 2024-01-16 Mitsubishi Electric Corporation Using an imaging device to correct positioning errors
US11519997B1 (en) * 2021-06-03 2022-12-06 National Technology & Engineering Solutions Of Sandia, Llc Broad-area laser awareness sensor
CN113673494B (zh) * 2021-10-25 2022-03-08 青岛根尖智能科技有限公司 人体姿态标准运动行为匹配方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049595A (ja) * 1996-08-06 1998-02-20 Yasuo Ito 無人レジスター管理システム
JPH1132325A (ja) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd 物体追跡方法および物体追跡監視装置
JP2002008041A (ja) * 2000-06-22 2002-01-11 Namco Ltd 動作検出装置、動作検出方法および情報記憶媒体
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2004331021A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 夜間障害物報知装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6236736B1 (en) * 1997-02-07 2001-05-22 Ncr Corporation Method and apparatus for detecting movement patterns at a self-service checkout terminal
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6970083B2 (en) * 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
US7221777B2 (en) * 2002-07-02 2007-05-22 Honda Giken Kogyo Kabushiki Kaisha Image analysis device
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US7336299B2 (en) * 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US20070035622A1 (en) * 2004-06-01 2007-02-15 Hanna Keith J Method and apparatus for video surveillance
US20050285941A1 (en) * 2004-06-28 2005-12-29 Haigh Karen Z Monitoring devices
US7639840B2 (en) * 2004-07-28 2009-12-29 Sarnoff Corporation Method and apparatus for improved video surveillance through classification of detected objects
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置,プログラム,車両用監視システム
US7606425B2 (en) * 2004-09-09 2009-10-20 Honeywell International Inc. Unsupervised learning of events in a video sequence
JP4390684B2 (ja) 2004-11-08 2009-12-24 セイコープレシジョン株式会社 ターゲット監視装置
RU2323475C2 (ru) * 2004-11-12 2008-04-27 Общество с ограниченной ответственностью "Центр Нейросетевых Технологий - Интеллектуальные Системы Безопасности" (ООО "ИСС") Способ (варианты) и устройство (варианты) автоматизированного обнаружения умышленных либо случайных нарушений технологической процедуры оператором
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
US7778770B2 (en) * 2005-03-31 2010-08-17 Honda Motor Co., Ltd. Communication system between vehicles
JP2009030837A (ja) 2007-07-25 2009-02-12 Toppan Printing Co Ltd 画像処理を用いたクリーンルーム送風量制御システム
CN101478675A (zh) * 2008-01-03 2009-07-08 中国科学院计算技术研究所 一种视频中语义事件检测方法及系统
US8345935B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Detecting behavioral deviations by measuring eye movements
US9241094B2 (en) * 2008-03-18 2016-01-19 Intel Corporation Capturing event information using a digital video camera
JP4733756B2 (ja) * 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
CN102004910A (zh) * 2010-12-03 2011-04-06 上海交通大学 基于surf特征点图匹配和运动生成模型的视频目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049595A (ja) * 1996-08-06 1998-02-20 Yasuo Ito 無人レジスター管理システム
JPH1132325A (ja) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd 物体追跡方法および物体追跡監視装置
JP2002008041A (ja) * 2000-06-22 2002-01-11 Namco Ltd 動作検出装置、動作検出方法および情報記憶媒体
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2004331021A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 夜間障害物報知装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181347A (ja) * 2019-04-24 2020-11-05 セコム株式会社 監視表示装置
JP7007323B2 (ja) 2019-04-24 2022-01-24 セコム株式会社 監視表示装置

Also Published As

Publication number Publication date
GB2494486A (en) 2013-03-13
JP5547144B2 (ja) 2014-07-09
GB201204852D0 (en) 2012-05-02
US9019373B2 (en) 2015-04-28
CN103002198A (zh) 2013-03-27
US20130063593A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
JP5547144B2 (ja) 監視装置、その方法、及び、そのプログラム
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US20200167554A1 (en) Gesture Recognition Method, Apparatus, And Device
JP2021036437A (ja) 移動状況推定装置、移動状況推定方法およびプログラム記録媒体
US9317035B2 (en) Remote operation system
JP5697583B2 (ja) 部屋形状認識方法および装置、ならびにこれを用いた空気調和機
JP5665401B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5001930B2 (ja) 動作認識装置及び方法
JP2010016796A5 (ja)
US11924585B2 (en) Video monitoring apparatus, control method thereof, and computer readable medium
US20210319229A1 (en) System and method for determining object distance and/or count in a video stream
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
JP5111934B2 (ja) 監視装置
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
JPWO2019021973A1 (ja) 端末装置、危険予測方法、プログラム
JP2021189587A (ja) 表示装置、表示方法及び表示プログラム
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
JP2020201674A (ja) 映像解析装置及びその制御方法及びプログラム
JP6897467B2 (ja) 視線検出装置、視線検出プログラム、及び視線検出方法
JP2014142696A (ja) 解析処理制御システム
JP2021051524A (ja) 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

LAPS Cancellation because of no payment of annual fees