JP2015100031A - 検知装置、検知システム及び検知方法 - Google Patents

検知装置、検知システム及び検知方法 Download PDF

Info

Publication number
JP2015100031A
JP2015100031A JP2013239115A JP2013239115A JP2015100031A JP 2015100031 A JP2015100031 A JP 2015100031A JP 2013239115 A JP2013239115 A JP 2013239115A JP 2013239115 A JP2013239115 A JP 2013239115A JP 2015100031 A JP2015100031 A JP 2015100031A
Authority
JP
Japan
Prior art keywords
person
group
motion vector
observed
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013239115A
Other languages
English (en)
Other versions
JP6297822B2 (ja
Inventor
隆之 黒澤
Takayuki Kurosawa
隆之 黒澤
匡亮 谷本
Masaaki Tanimoto
匡亮 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2013239115A priority Critical patent/JP6297822B2/ja
Priority to US14/526,683 priority patent/US9293022B2/en
Publication of JP2015100031A publication Critical patent/JP2015100031A/ja
Application granted granted Critical
Publication of JP6297822B2 publication Critical patent/JP6297822B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0415Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting absence of activity per se
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • G08B29/185Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】被観察者の転倒、転落などの異常な状態を、撮影画像からリアルタイムに検知し、背景画像やノイズの影響を除去して検知の精度を向上させる検知装置を提供する。
【解決手段】検知装置は、映像データ41の画像のブロックそれぞれの動作ベクトルを算出し、動作ベクトルの大きさが一定値を超えるブロックを抽出する。検知装置は、隣接するブロック同士をグループにする。検知装置は、例えば面積の大きいブロックから順に、ブロックに含まれる動作ブロックの平均ベクトル、分散、および回転方向などの特徴量を算出する。検知装置は、各グループの特徴量に基づいて、被観察者が転倒、転落などの異常な状態であることを検出し、検出結果を、外部の装置等へ報知する。検知装置は、画像に対し水平方向の画素の間引き処理や、カメラの加速度に基づき撮影方向の角度のずれを補正することで検知の精度を向上させる。
【選択図】図4

Description

本発明は、被観察者の転倒などの状態を検知する検知装置、検知システム及び検知方法に関し、特に、画像を用いて自動的に被観察者の状態を検知する技術に関する。
居住者が生活する家庭内などの空間において、不慮の事故が発生し、その事故により傷害や死亡などに至ることがある。これら事故の原因として、転倒や転落が比較的多くの割合を占めていることが知られている。特に、高齢者の場合、居室や病室など、比較的平坦な室内空間においても転倒や転落事故が発生している。高齢者の場合、このような転倒、転落などの事故が、そのまま死亡や重大な障害の原因となる事例も多くみられる。そのため、これら転倒などの異常な事態を効率的に発見し、即座に対処を行うことが、高齢者の生活環境を向上させる上でも重要となっている。また、高齢者などの被観察者の様子を確認したい観察者にとっても、いつでも被観察者の状態を知ることができると、被観察者の異常な状態に直ちに対処することができる。
被観察者の異常な状態を検知するため、様々なシステムが検討されている。このようなシステムにおいては、被観察者の日常生活によく親和した検知システムを提供することが望ましい。例えば、被観察者に測定器具を装着させるなどの物理的な負担をなるべく回避しつつ、被観察者のプライバシーにも配慮したシステムとしてもよい。
高齢者等の転倒等を迅速に発見するための技術として、例えば、特開2002−232870号公報(特許文献1)がある。特許文献1に記載された技術によると、検知装置は、一定の間隔ごとに、被観察者の画像を撮影して、記録する。検知装置は、画像データに基づき、各画素について動作ベクトルを算出する。検知装置は、各画素について算出された動作ベクトルの、重力方向の成分の和を算出する。検知装置は、被観察者が転倒した場合の、一定期間内の動作ベクトルの変化の大きさを予め記憶している。検知装置は、算出した、動作ベクトルの重力方向の成分の和と、閾値とを比較し、動作ベクトルの重力方向の成分が、閾値Tより大きい場合に、被観察者が転倒したものと判断する。検知装置は、被観察者が転倒したと判断した場合に、被観察者の転倒を通報するための処理を行う。このように、特許文献1に記載された技術によると、高齢者等の転倒等を迅速に発見することができる。
特開2002−232870号公報
しかしながら、特許文献1に記載された技術によると、撮影画像全体の動作ベクトルを対象として、動作ベクトルの重力方向の成分の和と閾値とを比較して、高齢者などの被観察者の転倒の有無を判断している。そのため、特許文献1に記載された技術によると、背景画像の動きやカメラノイズなどによって、被観察者の状態とは無関係に重力方向の動作ベクトルが発生し、これにより被観察者の転倒を誤って検出してしまうことがある。そのため、撮影画像からの被観察者の異常な状態をリアルタイムに検知しつつ、検知の精度を高める技術が必要とされている。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施形態に従う検知装置は、撮影された映像から被観察者の動作状態を検知するものである。検知装置は、入出力部と、メモリと、制御部とを備える。検知装置は、入出力部によって映像データの入力を受け付けてメモリに記憶させる。制御部は、メモリに記憶される映像データに基づいて、被観察者の動作状態を検知する処理を制御する。制御部は、映像データを構成する画像の複数のブロックそれぞれについて動作ベクトルを算出する。制御部は、算出される動作ベクトルに基づいて、動作ベクトルの大きさが一定値を超えるブロックの集合を構成するブロック群を抽出する。制御部は、抽出されたブロック群に含まれるブロックの動作ベクトルに基づいて、被観察者の異常な動作状態を検出する。制御部は、被観察者の異常な動作状態が検出された場合に、被観察者の異常な状態を示す出力を、報知部によって行わせる。
一実施の形態に従う検知装置によれば、検知の精度を高めつつ、被観察者の転倒などの異常な状態をリアルタイムに検知して、観察者への通知を行うことができる。
検知システムの構成を示すブロック図である。 MCU(Micro Control Unit)17の詳細な構成を示すブロック図である。 検知装置200の各機能を示すブロック図である。 検知装置200の各機能の概略を示す図である。 グルーピング情報51のデータ構造と、特徴量情報52のデータ構造とを示す図である。 検知装置200の制御部22がカメラ11の撮影画像に基づいて被観察者500の転倒、転落を検出する処理を示すフローチャートである。 映像データ41を構成する各画像の画素を間引く間引き処理を示すフローチャートである。 間引き処理における、スキャンの方向を示す図である。 画像の各ブロックの動作ベクトルを算出する処理の概略を示す図である。 グループに含まれる各ブロックの動作ベクトルの平均ベクトルを算出する処理を示すフローチャートである。 グループに含まれる各ブロックの動作ベクトルに基づいて、動作ベクトルの分散を特徴量として算出する処理を示すフローチャートである。 グループに含まれる各ブロックの動作ベクトルに基づいて、各ブロックの動作ベクトルからなる回転方向成分の値を算出する処理を示すフローチャートである。 グループに含まれる各ブロックの動作ベクトルの分布の例を示す図である。 検知システム100が被観察者500の異常な動作の状態を報知する処理を示すフローチャートである。 被観察者の転倒、転落の状況の例を示す図である。 実施の形態2の検知装置200がカメラ11の撮影画像に基づいて被観察者500の転倒、転落を検出する処理を示すフローチャートである。 制御部22が、被観察者500が異常な動作の状態であることを報知する処理を示すフローチャートである。 被観察者500の転倒、転落の状況を判定する処理を示すフローチャートである。 カメラ11を設置したときのピッチ角のずれを示す図である。 カメラのピッチ角のずれに基づき、動作ベクトルを補正する処理を示すフローチャートである。 カメラ11と被写体との距離の差、および、撮影画像を示す図である。 実施の形態5の検知システムの構成を示すブロック図である。 実施の形態5のMCU17の詳細な構成を示すブロック図である。 実施の形態6の検知システムの構成を示すブロック図である。 実施の形態6のMCU17の詳細な構成を示すブロック図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<実施の形態1>
図面を参照して実施の形態1の検知システムおよび検知装置について説明する。
<構成>
図1は、検知システムの構成を示すブロック図である。図1に示すように、検知システム100は、カメラ11と、加速度センサ12と、記憶部13と、通知部14と、通信モジュール15と、MCU17とを含む。検知システム100は、例えば、病室など被観察者500が存在する空間において、カメラ11によって空間を撮影し、撮影画像に基づいて、被観察者500が異常な動作をしていることを検出する。例えば、検知システム100は、被観察者500が転倒したことや転落したことを検出する。
カメラ11は、例えば、フォトダイオード、ADC(Analog to digital converter)などを備えるCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである。カメラ11は、撮像により画像を逐次取得して、映像データとしてMCU17へ出力する。例えば、カメラ11は、病室、居室、ベッドルームその他の空間に設置され、これら空間で活動する被観察者500を撮影する。
加速度センサ12は、カメラ11の撮影方向の傾きを、重力方向の加速度として検出するためのセンサであり、例えば3軸加速度センサである。加速度センサ12は、検出した3軸の加速度をMCU17へ出力する。
記憶部13は、RAM(Random Access Memory)などにより構成され、例えば、検知システム100においてMCU17が演算などを行う際に、演算に使用されるデータを記憶する。
図1に示すように、報知部16は、MCU17の制御に従って、MCU17が被観察者500の異常な動作を検出したことを報知する機能を発揮する。報知部16は、通知部14と通信モジュール15とを含む。
通知部14は、MCU17の制御に従って情報の通知を行う。例えば、通知部14は、LED(Light Emitting Diode)、ディスプレイ、スピーカなどであり、MCU17が被観察者500の異常な動作を検出した場合に、被観察者500が転倒したことなどを、ディスプレイなどの視覚的な方法、スピーカからの音声出力などの聴覚的な方法などによって通知する。
通信モジュール15は、検知システム100が外部の装置と通信するための通信機能を発揮する。例えば、通信モジュール15は、Bluetooth(登録商標)、ZigBee(登録商標)、無線LAN(Local Area Network)規格その他の無線または有線の通信方式に対応し、外部の装置と無線または有線により接続する。通信モジュール15は、MCU17の制御に従って、MCU17が被観察者500の異常な動作を検出した場合に、被観察者500が転倒したことなどを示す情報を、警報装置800、通信装置900その他の外部の装置に送信する。例えば、警報装置800は、通信モジュール15が送信する、被観察者500が異常な動作をしていることを示す警報信号を検知システム100から受信して警報を発する。また、通信装置900は、検知システム100から、被観察者500が異常な動作をしていることを示す通知を受信して、この通知の内容を、通信装置900のディスプレイや通信装置900のスピーカなどにより出力する。
図2は、MCU17の詳細な構成を示すブロック図である。図2に示すように、MCU17は、複数の入出力部(I/O18A、I/O18B、I/O18C、I/O18D、I/O18E、I/O18F)と、キャプチャメモリ21と、制御部(CPU(Central Processing Unit))22とを含む。MCU17は、入出力部(I/O18A〜I/O18F)を介してカメラ11、加速度センサ12、記憶部13、通知部14、通信モジュール15、ROM20その他の外部の装置と接続し、これら外部の装置とデータの入出力を行う。なお、図2では、記憶部(RAM)13とROM20とは、MCU17の外部にあるものと示しているが、これら記憶部(RAM)13とROM20とは、MCU17の内部にあるものとしてもよい。
キャプチャメモリ21は、映像データを記憶するためのメモリ領域であり、映像データを構成する各画像フレームを記憶する。
制御部22は、MCU17の動作を制御するためのプロセッサである。制御部22は、例えば、MCU17の動作の開始時にROM20に格納されるプログラムを読み出して実行する。MCU17の起動後、制御部22は、記憶部13にプログラムおよびデータを格納し、プログラムに従って動作する。
MCU17は、I/O18Aを介して、カメラ11が生成する映像データの入力を受け付けてキャプチャメモリ21に保持する。MCU17は、カメラ11の加速度を加速度センサ12からI/O18Bを介して取得し、取得した加速度を記憶部13に記憶する。
図3は、検知装置200の各機能を示すブロック図である。図4は、検知装置200の各機能の概略を示す図である。図3に示すように、実施の形態1の検知システム100において、検知装置200は、I/O18と、記憶部13と、キャプチャメモリ21と、制御部22とを含む。
キャプチャメモリ21は、検知装置200がカメラ11から取得した映像データ41を記憶する。
制御部22は、キャプチャメモリ21に記憶される映像データ41に基づいて、被観察者500の動作状態を検知する処理を行う。制御部22は、プログラムに従って動作することにより、キャプチャ処理部31と、間引き処理部32と、動作ベクトル算出部33と、フローベクトル閾値処理部34と、ラベリング部35と、特徴量算出部36と、異常状態判定部37と、報知制御部38との各機能を発揮して動作する。
キャプチャ処理部31は、カメラ11が生成する映像データを検知装置200が受け付けてキャプチャメモリ21に格納する処理を行う。
間引き処理部32は、後述する映像データ41の動作ベクトル(フローベクトル)を算出する処理の前に、予め映像データ41を構成する画素の一部を間引く処理を行う。実施の形態1では、間引き処理部32は、例えば映像データ41の水平方向(重力方向に対して垂直な方向)の画素を間引く処理を行う。例えば、間引き処理部32は、映像データ41の水平方向の2画素を平均化して1画素とすることで間引きを行う。こうすることで、後述する動作ベクトルの算出の対象となる画素ブロックの数を減らして以降の処理を高速化する。この他に、間引き処理部32によって映像データ41の水平方向の画素を間引くことで、動作ベクトルの水平方向の成分を小さくし、重力方向の動作ベクトルの成分を大きくすることができる。被観察者500が転倒または転落する場合、映像データ41に被写体として映る被観察者500は、画像においては重力方向に大きな動作ベクトルを有するブロック群となる。そのため、間引き処理部32が水平方向の画素を間引くことにより、被観察者500の転倒または転落の検出の精度を維持しつつ、動作ベクトルの計算量を削減することができる。
動作ベクトル算出部33は、画像の、複数のブロックそれぞれについて動作ベクトルを算出する。実施の形態1において、間引き処理部32によって間引き処理が行われた画像は、複数のブロックによって構成される。複数のブロックそれぞれは、例えば8ピクセル×8ピクセルの画素を含むものとするが、これに限られない。動作ベクトル算出部33は、画像を等間隔のブロックに分割し、ブロックごとに画像を切り出す。動作ベクトル算出部33は、切り出した画像と、例えば1フレーム前の画像とを比較することで動作ベクトルを算出する。例えば、ブロックごとに切り出した画像を移動(シフト)させつつ、1フレーム前の画像と比較し、画像同士の類似度が高い位置(シフト位置)を、そのブロックの動作ベクトルとする。
フローベクトル閾値処理部34は、複数のブロックについて算出された動作ベクトルの大きさと閾値とを比較して、動作ベクトルのうち、一定の大きさのものを選択する。被観察者500の転倒ではなく映像データ41の明るさ変化などによる微小な動作ベクトルの影響を小さくするため、検知装置200は、被観察者500の動作の異常を検出する処理において、フローベクトル閾値処理部34により、閾値より小さい動作ベクトルを計算の対象から除いている。
ラベリング(グルーピング)部35は、画像を構成する複数のブロックのうち、一定の大きさの動作ベクトルのブロックについて、隣接するものをひとつのグループとし、グループの名称を指定して各グループを識別可能にするグルーピング(ラベリング)を行う。
特徴量算出部36は、グルーピングされたブロック群の動作ベクトルを対象として、動作ベクトルの重力方向成分の平均値、動作ベクトルの分散、および、ブロック群の重心を中心とした場合の、各ブロックの動作ベクトルからなる回転方向成分の値その他の各ブロックの特徴量を算出する。
異常状態判定部37は、グルーピングされたブロック群それぞれについて特徴量算出部36が算出する特徴量に基づいて、被観察者500が転倒または転落している異常な動作状態であることを検出する。
報知制御部38は、異常状態判定部37によって被観察者500の異常な動作状態が検出された場合に、被観察者500が転倒や転落などの異常な動作状態にあることを報知部16によって報知する処理を制御する。例えば、報知制御部38は、被観察者500が異常な動作状態であることを、通信モジュール15によって外部の装置に通知する。
制御部22の各機能を具体的に説明する。図4(A)に示すように、キャプチャ処理部31は、カメラ11が生成する画像をキャプチャメモリ21に映像データ41として記憶させる。図4(B)に示すように、動作ベクトル算出部33は、映像データ41を構成する画像の各ブロックについて動作ベクトルを算出する。図4(B)では、動作ベクトルを矢印の大きさと向きで示している。図4(C)に示すように、フローベクトル閾値処理部34は、一定以上の大きさの動作ベクトルを選択し(画素ブロック群43Aおよび画素ブロック群43B)、ラべリング部35によるグルーピング処理に渡す。
図4(D)に示すように、ラべリング部35は、フローベクトル閾値処理部34によって選択された、一定以上の大きさの動作ベクトルのうち、隣接するブロックのものを1つのグループとしてグループ名により識別する処理を行う。図4(D)の例では、画素ブロック群43Aをグループ名「Group1」とし、画素ブロック群43Bをグループ名「Group2」としている。図4(E)に示すように、特徴量算出部36は、ラベリングされた各グループの動作ベクトルに基づいて、各グループの動作ベクトルの特徴量を算出する。図4(E)の例では、特徴量算出部36は、各グループに含まれるブロックそれぞれの動作ベクトルの平均ベクトル、分散値、および各グループの重心となるブロックを中心とした各ブロックの動作ベクトルの回転方向成分の値を、各グループの特徴量として算出する。
異常状態判定部37は、特徴量算出部36によって算出される各グループの特徴量と閾値とを比較して、各グループについて、被観察者500が転倒または転倒している異常な動作状態によるものであるか否かを検出する。図4(F)の例では、画素ブロック群43Aは、被観察者500が転倒したものとして、被観察者500が異常な状態であることが検出されている。また、画素ブロック群43Bは、被観察者500が異常な状態であるとは検出されていない。
<データ>
図5を参照して、検知装置200が使用するデータについて説明する。図5は、グルーピング情報51のデータ構造と、特徴量情報52のデータ構造とを示す図である。
グルーピング情報51は、ラべリング部35によってグルーピングがなされるブロック群の範囲を示す情報である。例えば、映像データ41を構成する各画像が、X行Y列の複数のブロックからなるとする。画像に含まれるブロックそれぞれは、例えばx行y列にあるブロックをブロック(x,y)として示すこととする。
画像データ51Aは、複数のフレームにより構成される映像データ41の各画像を識別する情報を示す。図5の例では、映像データの再生位置に対応した時間により各画像を識別している。
グループ名51Bは、各画像において、ラべリング部35によってグルーピングがなされた各グループを識別する情報(グループの名称)を示す。
グループの範囲51Cは、各グループに含まれるブロックそれぞれを示す。
特徴量情報52は、ラべリング部35によってグルーピングがなされるブロック群について、特徴量算出部36が算出する特徴量を示す図である。
画像データ52Aは、複数のフレームにより構成される映像データ41の各画像を識別する情報を示す。
グループ名52Bは、各画像において、ラべリング部35によってグルーピングがなされた各グループを識別する情報を示す。
特徴量52Cは、各グループについて特徴量算出部36が算出する特徴量(各グループを構成するブロックそれぞれの動作ベクトルの平均、動作ベクトルの分散、グルーピングされたブロック群の重心を中心位置とした各動作ベクトルの回転方向成分の値)を示す。
<動作>
図6から図14を参照して、実施の形態1の検知システム100、および検知システム100を構成する検知装置200の動作について説明する。図1等において示したように、検知システム100は、被観察者500が生活をしている居室に設置され、カメラ11によって、常時、室内を撮影している。例えば、検知システム100は、病室や、被観察者500が日常生活を営むリビングルーム、ベッドルーム等に設置される。検知システム100において、検知装置200は、カメラ11が生成する映像データ41を受け付けて、被観察者500の転倒等の異常な動作状態を検出する。検知装置200は、被観察者500の転倒等を検出すると、報知部16によって、被観察者500が転倒していることを報知する。例えば、検知装置200は、通信モジュール15を介して外部の装置(通信装置900など)に対し、被観察者500が転倒していることを示す信号を送信する。通信装置900の外部の装置は、検知装置200からの通知を受信して、被観察者500が異常な状態であることを、例えばディスプレイの表示や音声等によって報知する。
図6は、検知装置200の制御部22がカメラ11の撮影画像に基づいて被観察者500の転倒、転落を検出する処理を示すフローチャートである。
ステップS601において、制御部22は、被観察者500の転倒、転落を検出するための初期化処理を行う。例えば、制御部22は、後述するカウンタの値に初期値をセットする。
ステップS603において、制御部22は、カメラ11から出力される映像データの、各画像をキャプチャし、キャプチャメモリ21に格納する。
ステップS605において、制御部22は、処理対象となる画像の画素の一部を間引く間引き処理を行う。この処理の詳細は図面を用いて後述する。制御部22が間引き処理を行うことで、後述する動作ベクトルの算出処理等の対象となる画素の数を少なくする。実施の形態1では、制御部22は、映像データ41を構成する各画像の、水平方向の画素を間引くことにより、重力方向の動作ベクトルの検出精度を向上させている。制御部22は、間引き処理により、映像データ41の各画像の水平方向の画素を間引いた画像データをメモリに格納する。
ステップS607において、制御部22は、ステップS605において間引き処理が行われた画像の動作ベクトルを、ブロックごとに算出する。ブロックそれぞれは、8ピクセル×8ピクセルの画素を含むものとする。
ステップS609において、制御部22は、各ブロックの動作ベクトルの大きさと、閾値とを比較することで、閾値より大きい動作ベクトルを有するブロックを選択する。閾値は、例えば、被観察者500が転倒、転落等の異常な動作をする場合の動作ベクトルの大きさに基づき設定する。ステップS609の処理により、被観察者500の動作の状態を検出する処理において、被観察者500が異常な動作をしている場合の動作ベクトルの大きさと比較して微小な動作ベクトルの影響を除去することができる。
ステップS611において、制御部22は、ステップS609で選択されたブロックについて、隣接するブロック同士をひとつのグループ(ブロック群)とし、各グループの名称を設定することで、各グループを識別可能にする処理を行う。制御部22は、各グループに含まれるブロックの範囲とグループの名称とを画像と対応付けてグルーピング情報51としてメモリに記憶させる。
ステップS613において、制御部22は、ステップS611でグルーピングがなされた各グループについて、グループに含まれるブロックの数(ブロックの面積)に基づいて優先度を設定する。具体的には、制御部22は、各グループを、グループの面積の順にソートする。各グループの面積は、グルーピング情報51に示されるグループの範囲に基づき算出される。制御部22は、面積の大きい順にソートされたグループの、例えば上位3つのグループを選択する。
ステップS615において、制御部22は、ステップS613でソートされ、選択されたグループについて、グループに含まれる各ブロックの動作ベクトルに基づいて、動作ベクトルの特徴量を算出する。グループに含まれる各ブロックの動作ベクトルの特徴量とは、例えば、動作ベクトルの重力方向の成分の平均値、動作ベクトルの分散、および、グループに含まれるブロック群の重心となるブロックを中心とした、各ブロックの動作ベクトルからなる回転方向成分の値などである。詳細は図面を用いて後述する。
ステップS617において、制御部22は、ステップS615で算出された各グループの動作ベクトルの特徴量に基づいて、判定用の判定値Dを算出し、判定値Dと閾値とを比較することにより、各グループに示される被写体が転倒または転落しているか否かを推定する。判定値Dは、例えば、以下の(式1)によって算出する。制御部22は、算出される判定値Dが、閾値の範囲内である場合(ステップS617においてYES)に、グループに示される被写体が転倒または転落していると推定してステップS619の処理へ進み、そうでない場合(ステップS617においてNO)は、ステップS621の処理へ進む。
(式1)D = αVacc + βVrot − γVvar
ここで、平均値Vaccは、動作ベクトルの重力方向の成分の平均値である。回転方向成分Vrotは、グループの重心となるブロックを中心とした、各ブロックの動作ベクトルからなる回転方向成分の値である。なお、グループを構成するブロック群の重心となるブロックとは、これらブロック群を平面図形としたときの重心を含むブロックであるとする。
分散Vvarは、グループに含まれる各ブロックの動作ベクトルの分散である。α、β、およびγは、重みを決定するためのパラメータである。平均値Vaccは、落下を示す特徴量であり、回転方向成分Vrotは、転倒を示す特徴量である。そのため、平均値Vaccおよび回転方向成分Vrotが大きい場合は、被写体が転倒、転落している可能性が高いとする。また、分散Vvarが大きい場合は、映像データ41のノイズによる誤検出の可能性が高いため、分散Vvarを、判定値Dの算出式の抑制項とする。
ステップS619において、制御部22は、被観察者500の異常な動作の状態を検出するためのカウンタの値に加算する。
ステップS621において、制御部22は、カウンタの値が一定値を超えているか否かを判断する。このカウンタ値と比較するための値は、例えば、ステップS617の処理において各グループに示される被写体が転倒または転落していると推定される期間が一定期間(例えば、0.5秒程度)継続する場合に、被写体が異常な動作の状態にあると制御部22が検出するよう設定される。1秒の映像データが30フレームの画像を含み、各画像についてステップS615の処理で特徴量を算出してステップS617で判定処理を行う場合、例えば、カウンタ値と比較するための一定値を、値”15”(0.5秒に相当する)とする。こうすることで、被観察者500の転倒または転落ではない、瞬時に大きな動作ベクトルが発生した場合に、誤検出を避けることができる。制御部22は、ステップS621においてカウンタの値が一定値を超えていると判断される場合(ステップS621においてYES)に、ステップS623の処理を行い、そうでない場合(ステップS621においてNO)、ステップS625の処理を行う。
ステップS623において、制御部22は、被観察者500が異常な動作の状態であることを示す出力を行い、カウント値をクリアする。例えば、制御部22は、被観察者500が異常な動作の状態であることを示すフラグをオンにする等の処理を行う。制御部22は、被観察者500が異常な動作の状態であると検出すると、通知部14による通知、通信装置900等の外部の装置への信号の出力その他の処理により被観察者500の異常な状態を報知するための処理(報知制御)を行う。
ステップS625において、制御部22は、被観察者500が転倒または転落する時間と比較して十分に長い期間(例えば、10秒程度)ごとに、カウンタ値をクリアする処理を行う。
制御部22は、映像データ41を構成する各画像について、ステップS603以降の処理を繰り返す。
<間引き処理(ステップS605)>
図7と図8とを参照して、ステップS605で説明した間引き処理の詳細を説明する。図7は、映像データ41を構成する各画像の画素を間引く間引き処理を示すフローチャートである。制御部22は、間引き処理を呼び出して、処理の対象となる画像データ、画像データを縮小する縮小率、画像データをスキャンする方向などの各種のパラメータを渡すことで間引き処理を行う。例えば、制御部22は、加速度センサ12から出力されるカメラ11の傾きの情報を受け付けて、カメラ11のロール角のずれに基づいて、画像データのスキャンの方向を水平方向から傾ける。
ステップS701において、制御部22は、画像データのスキャンを開始する位置、スキャンをする範囲などの初期化の処理を行う。例えば、制御部22は、画像に含まれる各画素のうち、左上の画素をスキャンの開始の位置と設定する。
ステップS703において、制御部22は、縮小率のパラメータの指定に基づき、スキャンの位置からスキャン方向に並ぶ複数の画素のピクセル値を取得する。例えば、縮小率が50%(2つの画素のピクセル値を平均化して1画素のピクセル値とする)の場合、制御部22は、スキャンの位置の画素のピクセル値と、スキャン方向に並ぶ1画素のピクセル値とを取得する。
ステップS705において、制御部22は、ステップS703で取得した各画素のピクセル値の平均値、中間値などを算出する。
ステップS707において、制御部22は、ステップS705の算出結果をメモリに格納する。
ステップS709において、制御部22は、スキャンの位置と、スキャンの方向とに基づき、次にスキャンする位置の情報を更新する。例えば、縮小率が50%の場合、2つの画素ごとにピクセル値の平均値を算出するため、制御部22は、スキャンする方向に従って、平均値の算出の対象となった複数の画素の、次の画素を、次にスキャンする位置として更新する。
ステップS711において、制御部22は、スキャンの範囲に含まれる全ての画素のスキャンが完了したか否かを判断し、スキャンすべき位置すべてについてステップS705の処理を完了していない場合は(ステップS711においてNO)、ステップS703以降の処理を繰り返し行い、そうでない場合は(ステップS711においてYES)、メモリに格納された、間引き処理後の縮小画像のデータをリターンする。
図8は、間引き処理における、スキャンの方向を示す図である。制御部22は、加速度センサ12から出力されるカメラ11の加速度の情報に基づいて、カメラ11のロール角のずれを検出し、ロール角のずれを修正して、画像の間引き処理を行う。
図8(A)は、カメラ11のロール角のずれの影響がない場合の映像データ41の例である。図8(B)は、カメラ11のロール角のずれの影響がない場合の、間引き処理におけるスキャンの方向を示す図である。図8(B)に示すように、間引き処理において、制御部22は、走査位置47に示すように、画像に含まれる各画素に対し、水平方向にスキャン位置を移動させてスキャンを行う。制御部22は、複数のラインを含む画像の1ラインのスキャンが終了すると、次のラインの先頭からスキャンを継続する。
図8(C)は、カメラ11のロール角が、角度”θ”ずれている場合の映像データ41の例である。図8(C)に示す画像は、カメラ11の撮影方向に基づくずれの影響がある。そのため、ステップS615の動作ベクトルの特徴量の算出において、重力方向の成分の平均値を算出するには、カメラ11のロール角のずれの影響を除去するよう補正をする必要がある。補正の方法としては、例えば、カメラ11のロール角のずれに応じて、カメラ11から出力される映像データを回転させることが考えられる。また、補正の方法としては、制御部22がステップS607の処理等によって算出した動作ベクトルを、カメラ11のロール角のずれに応じて補正することが考えられる。また、補正の方法としては、ステップS615の処理において、特徴量として算出される、グループに含まれる動作ベクトルの重力方向の平均成分を、カメラ11のロール角のずれを示す角度”θ”の分、修正することも考えられる。
図8(D)は、カメラ11のロール角が角度”θ”ずれている場合に、制御部22が画像のスキャンの方向を傾けてスキャンの方向を修正している例を示す図である。例えば、制御部22は、映像データ41に対し、画像の中心点から角度”θ”の分、回転させた範囲を、スキャンを実施する範囲(走査範囲45)とする。図8(D)の走査位置48に示すように、スキャンする方向が、カメラ11のロール角のずれ(角度”θ”)に対応して傾いている。
実施の形態1においては、制御部22は、ステップS605の間引き処理を実行する前の段階で画像を回転させることで、カメラ11の撮影時のロール角のずれを補正する。間引き処理において、カメラ11のロール角のずれを補正し、補正後の画像について間引き処理を行うことにより、画像の重力方向以外のノイズを最小化することができる。
<動作ベクトルの算出(ステップS607)>
図9は、画像の各ブロックの動作ベクトルを算出する処理の概略を示す図である。図9に示すように、動作ベクトルは、画像の複数のフレームを参照して算出される。図9(A)は、映像データ41を構成する画像の例を示す図である。図9(B)は、図9(A)の1フレーム後の画像であり、画像に含まれるブロックの一部を示す図である。図9(C)は、動作ベクトルの算出方法を示す図である。
図9(A)と図9(B)に示すように、前後のフレームにおいて、車が被写体として含まれているとする。図9(B)に示すように、動作ベクトルを算出する対象となるブロックがブロック55であるとする。図9(B)と図9(C)に示すように、制御部22は、現フレームのブロック55に含まれる画像が、前フレームからどれだけ移動したかを求めることにより、動作ベクトルを算出する。具体的には、処理対象の現フレームのブロックに含まれる画像を切り出して、切り出した画像(ウィンドウ)を、切り出した位置を基準として平行移動させる。ウィンドウを移動させる都度、制御部22は、前フレームの画像と重ねて類似度を算出する。このように、制御部22は、ウィンドウを移動させつつ類似度の算出を繰り返し、最も類似度が高い移動位置を、動作ベクトルとする。
<特徴量の算出(ステップS615)>
図10から図13を参照して、ステップS615の、グループに含まれる各ブロックの動作ベクトルの特徴量を算出する処理について説明する。制御部22は、グループに含まれる各ブロックの動作ベクトルに基づいて、動作ベクトルの重力方向の成分の平均値、動作ベクトルの分散、および、グループに含まれるブロック群の重心となるブロックを中心とした回転方向成分の値を、特徴量として算出する。
図10は、グループに含まれる各ブロックの動作ベクトルの平均ベクトルを算出する処理を示すフローチャートである。制御部22は、グルーピング情報51を参照してグループに含まれるブロックを特定する。制御部22は、特徴量として動作ベクトルの平均ベクトルを算出するための処理を呼び出して、ブロックに含まれる動作ベクトルの集合をパラメータとして渡すことにより、グループに含まれる動作ベクトルの平均ベクトルを算出する処理を行う。
ステップS1001において、制御部22は、初期化処理として、ベクトルaccを値”0”に設定する。
ステップS1003において、制御部22は、初期化処理として、ブロックを指定するポインタpを、グループ内の先頭のブロックに設定する。
ステップS1005において、制御部22は、ポインタpに示されるブロックの動作ベクトルを読み出して、ベクトルaccに加算する。
ステップS1007において、制御部22は、ポインタpを、グループ内の次のブロックを指定するよう設定する。
ステップS1009において、制御部22は、ポインタpの値と、グループ内のブロックの数とに基づいて、グループ内の全てのブロックの動作ベクトルについて読出しが完了したか判定する。制御部22は、加算を行っていない動作ベクトルがある場合は(ステップS1009においてNO)、ステップS1005以降の処理を繰り返すことで、グループ内の動作ベクトルの加算処理を行い、そうでない場合(ステップS1009においてYES)、ステップS1011の処理を行う。
ステップS1011において、制御部22は、ベクトルaccを、グループ内の動作ベクトルの数(グループに含まれるブロックの数)で割ることにより、平均ベクトルaccを算出し、算出した平均ベクトルaccをリターンする。
図11は、グループに含まれる各ブロックの動作ベクトルに基づいて、動作ベクトルの分散を特徴量として算出する処理を示すフローチャートである。制御部22は、特徴量として動作ベクトルの分散を算出するための処理を呼び出して、ブロックに含まれる動作ベクトルの集合と、図10に示す処理で算出した平均ベクトルaccとをパラメータとして渡すことにより、グループに含まれる動作ベクトルの分散を算出する処理を行う。
ステップS1101において、制御部22は、初期化処理として、ベクトルvarを値”0”に設定する。
ステップS1103において、制御部22は、ブロックを指定するポインタpを、グループ内の先頭のブロックに設定する。
ステップS1105において、制御部22は、ポインタpに示されるブロックの動作ベクトルを読み出して、読みだした動作ベクトルと、平均ベクトルaccとの差分値diffを算出する。
ステップS1107において、制御部22は、ステップS1105で算出された差分diffの2乗を、ベクトルvarに加算する。
ステップS1109において、制御部22は、ポインタpを、グループ内の次のブロックを指定するよう設定する。
ステップS1111において、制御部22は、ポインタpの値と、グループ内のブロックの数とに基づいて、グループ内の全てのブロックの動作ベクトルについて読出しが完了したか判定する。制御部22は、加算を行っていない動作ベクトルがある場合は(ステップS1111においてNO)、ステップS1105以降の処理を繰り返すことで、グループ内の動作ベクトルの差分diffの加算処理を行い、そうでない場合(ステップS1111においてYES)、ステップS1113の処理を行う。
ステップS1113において、制御部22は、ベクトルvarを、値”(グループに含まれるブロックの数)−1”で割ることにより、ベクトルの分散Vvarを算出し、算出した分散Vvarをリターンする。
図12は、グループに含まれる各ブロックの動作ベクトルに基づいて、各ブロックの動作ベクトルからなる回転方向成分の値を算出する処理を示すフローチャートである。制御部22は、特徴量としてグループの動作ベクトルの回転方向成分の値を算出するための処理を呼び出して、グループに含まれるブロックの動作ベクトルの集合と、グループの重心となるブロックとをパラメータとして渡すことにより、回転方向成分を算出する処理を行う。
ステップS1201において、制御部22は、初期化処理として、回転量rot1を値”0”に設定する。
ステップS1203において、制御部22は、ブロックを指定するポインタpを、グループ内の先頭のブロックに設定する。
ステップS1205において、制御部22は、重心となるブロックを中心として、ポインタpに示されるブロックまでの位置ベクトルposを算出する。
ステップS1207において、制御部22は、ポインタpに示される動作ベクトルと、重心となるブロックからポインタpに示されるブロックまでの位置ベクトルposとの外積rot2を算出する。
ステップS1209において、制御部22は、外積rot2を、位置ベクトルposのノルムで割る演算を行って、その演算結果を回転量rot1に加算する。
ステップS1211において、制御部22は、ポインタpを、グループ内の次のブロックを指定するよう設定する。
ステップS1213において、制御部22は、ポインタpの値と、グループ内のブロックの数とに基づいて、グループ内の全てのブロックの動作ベクトルについて読出しが完了したか判定する。制御部22は、回転量の演算を行っていない動作ベクトルがある場合は(ステップS1213においてNO)、ステップS1205以降の処理を繰り返すことで、各ブロックについて回転量を算出する処理を行い、そうでない場合(ステップS1213においてYES)、ステップS1215の処理を行う。
ステップS1215において、制御部22は、回転量rot1を、値”(グループに含まれるブロックの数)−1”で割ることにより、グループの各ブロックの動作ベクトルからなる回転方向成分rot1を算出し、算出した回転方向成分rot1をリターンする。
図13は、グループに含まれる各ブロックの動作ベクトルの分布の例を示す図である。図13(A)に示すように、画素ブロック群43に含まれる各ブロックの動作ベクトルが重力方向に揃っている場合、被観察者500が転倒または転落している可能性が比較的大きい。そのため、グループに含まれる動作ベクトルの重力方向の成分の平均値が比較的大きい場合は、被観察者500が転倒、転落している可能性が高い。一方、図13(B)に示すように、画素ブロック群43に含まれる各ブロックの動作ベクトルの分散が大きい場合は、ノイズの可能性が高い。図13(C)に示すように、画素ブロック群43に含まれる各ブロックの動作ベクトルからなる回転方向成分が大きい場合は、被観察者500が転倒、転落している可能性が高い。図13(C)において、画素ブロック群43の重心を含む重心ブロック42を中心とし、各ブロックの位置ベクトルの例を、位置ベクトル44A、位置ベクトル44B、位置ベクトル44C、および位置ベクトル44Dとして示す。制御部22は、各ブロックの動作ベクトルと、位置ベクトル44A等に示す各ブロックの位置ベクトルとに基づいて、重心ブロック42を中心とした動作ベクトルの回転方向成分の値を算出する(図13(C)では、一部のブロックについて動作ベクトルを示している)。
<報知制御処理>
図6のステップS623に示す処理により、制御部22が、被観察者500が異常な動作の状態であることを示す出力を行う(例えば、被観察者500の異常な状態を示すフラグをオンにする)と、制御部22は、報知部16によって、被観察者500の異常を報知するための処理を制御する。
図14は、検知システム100が被観察者500の異常な動作の状態を報知する処理を示すフローチャートである。例えば、制御部22は、図6のステップS623の処理を行った場合に、図14に示す処理を行う。
ステップS1401において、MCU17は、通知部14に対し、被観察者500の異常な動作の状態を示す通知を行うよう指示する。通知部14は、被観察者500が転倒したことを、視覚的な方法(例えば、ディスプレイへの情報の表示)、聴覚的な方法(例えば、スピーカによる音声出力)、その他の方法によって出力する。
ステップS1403において、MCU17は、通信モジュール15を介して警報装置800、通信装置900その他の外部の装置に対し、被観察者500が異常な動作の状態であることを示す信号を出力する。例えば、警報装置800は、通信モジュール15からの信号を受けて、警報を示す音声を出力する。また、例えば、通信装置900は、無線通信端末であり、検知システム100から送信されるデータを受け付けて、被観察者500が異常な動作の状態であることを、ディスプレイやスピーカにより報知する。
<実施の形態1のまとめ>
家庭内で起こる不慮の事故のうち、転倒、転落は、比較的高い比率を占めている。特に、高齢者の場合、転倒、転落が発生する場所として、居室や病室などの比較的平坦な場所が多い。そのため、この転倒、転落の状態にあることを効率的に発見し、早期の対応を可能にすることが望ましい。
ここで、実施の形態1の検知システム100によると、カメラによって被観察者を撮影し、撮影画像から動作ベクトルを算出し、被観察差の動作ベクトルの大きさに基づいて、被観察者の転倒や転落を検出する処理において、間引き処理部32、動作ベクトル算出部33、フローベクトル閾値処理部34、ラべリング部35、特徴量算出部36の機能により、背景画像の動き、カメラノイズ、輝度の変化等によって、被観察者の異常な状態を誤って検出する事態を回避する。また、検知システム100は、特徴量算出部36が特徴量を算出して、この特徴量に基づいて被観察者500の状態を判定することにより、被観察者500の転倒に伴う複雑な動作を検知する可能性が高まる。
実施の形態1の検知システム100によると、被観察者がセンサユニットなどを装着や携帯しなくとも、継続的に被観察者の状態を観察し、転倒、転落が発生した場合に自動的に通知することが可能となる。すなわち、実施の形態1の検知システム100によると、被観察者に大きな負担をかけることなく、日常生活の中で、常時、監視をすることができる。
実施の形態1の検知システム100によると、被観察者が異常な動作の状態であることを、被観察者自身が情報発信する必要がない。そのため、例えば、被観察者が突然意識を喪失した場合、不慮の外力を受けて被観察者が転落した場合であっても、その情報が自動的に検出され、外部の装置等に通知される。
実施の形態1の検知システム100によると、映像データ41を構成する画像のうち、閾値と動作ベクトルの大きさとの比較によってブロックを選択する。検知システム100は、ブロック群をグルーピングし、各グループのブロックの動作ベクトルを対象として特徴量の算出などを行う。これにより、被観察者以外の、被観察者の状態の検出に不要な物体の動き(例えば部屋のカーテンの動き)を分離して被観察者の動作の状態を検出することができる。また、白い壁など、物体の表面の特徴が小さい物体も、カメラの輝度の変化や影などによって動作ベクトルのノイズを生じることもあるが、実施の形態1の検知システム100は、これらの影響も分離することができる。そのため検知システムは、被観察者の異常な状態を精度よく検出することができる。また、検知システム100は、グルーピングを行った各ブロックについて、グループに含まれるブロックの面積に基づいて優先度を設定し、面積の大きい順に特徴量を算出して被観察者の動作の状態を判定している。そのため、画像から複数のグループが検出される場合に、被観察者とは無関係と想定される、比較的小さなグループについての特徴量の算出をする前に、被観察者と想定されるグループの特徴量を算出することができ、状態の検出の処理を高速化することができる。
また、検知システムは、被観察者の異常な状態を検知するまでは、画像の送信等を行わないこととすることもでき、被観察者のプライバシーの保護も実現することができる。これにより、被観察者は、カメラによる観察を日常生活で意識することもなく、心理的な負担を小さくすることができる。
また、検知システムは、被観察者の異常な状態を検出した場合に、異常な状態であると判定されたブロックの画像を抽出して外部の装置等へ送信することもできる。これにより、被観察者のプライバシーを保護することができる。
<実施の形態2>
図15から図18を参照して、実施の形態2の検知システムについて説明する。実施の形態2の検知システムでは、撮影画像に複数の被写体が含まれ、ラべリング部35によってグルーピングがなされた場合に、グループの被写体が異常な動作をしている状態であるか否かの検出と、異常な状態の度合を示す警戒度とを出力する。検知システムは、画像に含まれるグループの数、各グループの特徴量の算出結果、グループの面積などに基づいて、上記の警戒度の出力などを行う。
図15は、被観察者の転倒、転落の状況の例を示す図である。
図15(A)は、被観察者500が1人でいる場合に転倒した例を示す。例えば、画像から抽出されるグループの数が1つで、特徴量の算出等によって被観察者500の転倒と検出されたグループの数が1つの場合である。この場合、被観察者500が1人で転倒、転落している可能性があるため、制御部22は、警戒度の水準を、警戒度が高い状態を示す警戒度”HIGH”、状況の種別を、警戒種別”1”に設定する。制御部22は、さらに、被観察者500が1人で転倒、転落していることを検出した後、一定期間、動作ベクトルに大きな変化がなく、被観察者500の動きがない場合は、警戒度をさらに高く設定してもよい。
図15(B)は、被観察者500が1人でいる場合に転倒した例であり、画像に、被写体510などの背景物を含む例を示す。例えば、画像から抽出されるグループの数が複数で、特徴量の算出等によって被観察者500の転倒と検出されたグループの数が1つ、それ以外のグループは分散が大きく転倒と検出されない場合などである。この場合、図15(A)の状況と同様に、制御部22は、警戒度”HIGH”、警戒種別”2”に設定する。このように、グループの分散が大きい場合は、制御部22は、その分散が大きいグループが被観察者500ではなく背景物等を示すものであるとし、被観察者500の動作の状態の検出において無視することができる。
図15(C)は、被観察者500が1人でいる場合に、被観察者500以外の背景物である被写体520などが転倒した例を示す図である。検知システム100は、グルーピングがなされた各グループの面積と、人物の面積よりも大きい閾値とを比較することで、各グループが人物であるか背景物であるかを検知することとしてもよい。図15(C)に示す状況において、制御部22は、背景物が転倒したと検知した場合は、緊急ではないが危険かつ被観察者に助けが必要であると推定し、警戒度が中程度の状態を示す警戒度”MIDDLE”、警戒種別”3A”と設定する。制御部22は、背景物が転倒したと検知した後、人物を示すグループが転倒したことを検出した場合、または、人物を示すグループが、転倒したと検知される背景物のグループと同化した場合は、警戒度”HIGH”、警戒種別”3B”を設定してもよい。
図15(D)は、被観察者500以外の人物(被写体530)が存在し、複数人がいる場合に、いずれかのグループに示される被写体が転倒した例を示す図である。例えば、画像から抽出されるグループが複数で、被観察者500の転倒と検出されたグループの数が1つの場合などである。この場合、制御部22は、警戒度の水準を、警戒度が低いことを示す警戒度”LOW”、警戒種別”4A”を設定する。制御部22は、1つのグループの転倒を検出した後、各グループの動きがみられない場合(例えば、グループに含まれるブロック群の動作ベクトルの大きさが、一定期間(例えば、数秒を一定期間としてもよい)の画像において閾値を下回る場合)は、被観察者に助けが必要であると推定し、警戒度”HIGH”、警戒種別”4B”を設定する。
図15(E)は、例えば被観察者500と被写体540の複数人が同期時に転倒した例を示す図である。例えば、画像から抽出されるグループが複数で、人物の転倒と検出されたグループの数が複数の場合などである。この場合、制御部22は、警戒度”HIGH”、警戒種別”5”を設定する。
図15(F)は、被写体同士が接近し、制御部22が、画像に含まれるグループの数が1つと検出して面積が閾値を越える場合、またはグループの数が複数でグループ間の距離が近接している場合の例を示す図である。この場合、被観察者の近傍に、介護者などの人物である被写体550が同室していると推定して、制御部22は、警戒度”LOW”、警戒種別”6”を設定する。
このように、検知システムは、画像に含まれるグループ数、各グループの特徴量の算出結果などに基づいて、警戒度の水準を示す警戒度と、状況の種別を示す警戒種別とを出力し、メモリ等に保持する。そのため、検知システムは、メモリ等に保持される警戒度、警戒種別を参照し、警戒度と、警戒種別に応じて、被観察者の動作の状況を報知することができる。例えば、検知システムは、警戒度に応じて、スピーカからの音声出力を切り替える、ディスプレイの表示内容を切り替える等をすることができる。検知システムは、警戒種別に応じて、被観察者の動作の状況をディスプレイに表示する等をすることができる。
図16から図18を参照して、実施の形態2の検知システムの動作を説明する。図16は、実施の形態2の検知装置200がカメラ11の撮影画像に基づいて被観察者500の転倒、転落を検出する処理を示すフローチャートである。ステップS601からステップS619までの処理は、実施の形態1で説明したものと同様であるため説明を繰り返さない。ステップS619において制御部22がカウンタ値を更新した後、制御部22は、ステップS631の処理を行う。
ステップS631において、制御部22は、カウンタの値が一定値を超えているか(グループの特徴量が閾値の範囲内である期間が一定フレームを超えているか)否かを判断する。カウンタの値が一定値を超えている場合(ステップS631においてYES)、制御部22は、ステップS633の処理を行い、そうでない場合は(ステップS631においてNO)、ステップS625の処理を行う。
ステップS633において、制御部22は、被観察者500が異常な動作の状態であることを示す出力を行う。
また、ステップS617において、制御部22が、各グループの特徴量を算出し、判定値Dが閾値の範囲内でない場合(ステップS617においてNO)、制御部22は、ステップS635の処理を行う。
ステップS635において、制御部22は、前回、被観察者500の動作の状態が異常であると報知がされた場合の警戒種別を参照し、被観察者の動作の状況が、複数のグループを検出して転倒と検出されたグループの数が1つの場合(警戒種別”4A”)は(ステップS635においてYES)、ステップS637の処理を行い、そうでない場合は(ステップS635においてNO)、ステップS625の処理を行う。
ステップS637において、制御部22は、警戒度”HIGH”、警戒種別”4B”に切り換えてメモリ等に保持する。この状況は、制御部22が、複数のグループを検出し、そのうち転倒と検出したグループが1つで、その後、各グループの動きがみられない場合であり、被観察者に助けが必要な可能性がある。なお、制御部22は、警戒種別”4A”から警戒種別”4B”に切り替えるまでに一定期間を設けるため、カウンタを用意し、ステップS637の処理の都度、カウンタ値を加算して、カウンタ値が一定値に達した時に、警戒種別の切り替えをすることとしてもよい。
図17は、制御部22が、被観察者500が異常な動作の状態であることを報知する処理を示すフローチャートである。図17に示す処理は、例えば、制御部22が図16のステップS633の処理を行ったときに呼び出されるか、制御部22が周期的に図17に示す処理を行うこととしてもよい。
ステップS1701において、制御部22は、グルーピング情報51と特徴量情報52とを参照し、グループの数、グループの面積、グループの特徴量に基づいて、被観察者500が転倒または転落した状況を判定し、判定結果に応じて警戒度および警戒種別を設定する。この処理の詳細は図18を用いて後述する。
ステップS1703において、制御部22は、警戒度および警戒種別に応じて、被観察者500の動作の状態を、通知部14等によって報知する。
図18は、被観察者500の転倒、転落の状況を判定する処理を示すフローチャートである。図18の処理は、図17のステップS1701の処理に対応する。
ステップS1801において、制御部22は、特徴量情報52を参照し、画像に含まれるグループの数と、グループに含まれる動作ベクトルの分散が閾値を越えるグループの数との差分を算出し、算出結果を、人物が含まれるグループの候補の数を示す変数candに格納する。分散が閾値を越えるグループは、人物ではなくノイズの可能性があるため、画像に含まれるグループの総数から、ノイズによって検出されたグループの影響を除去する。
ステップS1803において、制御部22は、ノイズが除去された後のグループの数が1つであるか否かを判断する。制御部22は、変数candが値”1”であるか否か、すなわちグループに含まれる動作ベクトルの分散が小さいグループの数が1つであるかを判断する。変数candが値”1”である場合は(ステップS1803においてYES)、制御部22は、ステップS1813の処理を行い、そうでない場合は(ステップS1803においてNO)、ステップS1805の処理を行う。
ステップS1805において、グルーピング情報51を参照し、複数のグループそれぞれに対し重心位置を算出し、グループ間の重心位置が一定距離以下に近接しているか否かを判断する。例えば、画像において、グループ間の重心位置が、横方向のブロックの総数の数%以下、または数十%以下である場合に、グループ間の重心位置が一定距離以下に近接していると判断する。例えば、人物が数m程度の距離にある場合に、画像のグループ間の重心位置が一定距離以下に近接していると判断されるよう、グループ間の重心位置の間隔と比較するための閾値を設定する。制御部22は、グループ間の重心位置が一定距離以下に近接していると判断する場合に(ステップS1805においてYES)、ステップS1817の処理を行い、そうでない場合に(ステップS1805においてNO)、ステップS1807の処理を行う。
ステップS1807において、制御部22は、転倒していると判断されるグループの面積に基づいて、グループに示される被写体が人物であるか、家具などの背景物であるかを判断する。制御部22は、各グループの特徴量に基づきステップS617の処理において判定値Dが閾値内と判定され、被観察者500が転倒または転落していると判断されたグループの面積を、グルーピング情報51を参照して取得する。制御部22は、取得したグループの面積が閾値を越えるか否かを判断し、閾値を越えると判断される場合に(ステップS1807においてYES)、ステップS1823の処理を行い、そうでない場合に(ステップS1807においてNO)、ステップS1809の処理を行う。
ステップS1809において、制御部22は、画像に含まれる全てのグループが転倒しているか否かを判断する。制御部22は、変数candに示されるグループの数と、転倒していると判断されるグループの数とが一致するか否かを判断し、一致すると判断される場合は(ステップS1809においてYES)、ステップS1811の処理を行い、そうでない場合は(ステップS1809においてNO)、ステップS1825の処理を行う。
ステップS1811において、制御部22は、警戒種別”5”、警戒度”HIGH”を設定する。
ステップS1813(ステップS1803においてYESの場合)において、制御部22は、グループが被観察者500などの人物を示すか、家具などの背景物を示すかを判断する。制御部22は、分散の小さいグループの面積を、グルーピング情報51を参照して算出し、算出されたグループの面積を閾値と比較して、グループの面積が一定の大きさであるか否かを判断する。ここで、グループの面積と比較するための閾値は、画像において、人物と、人物とは大きさが異なる家具などの背景物とを区別できるよう設定することとしてもよい。制御部22は、分散の小さいグループの面積が一定の大きさを超える場合(ステップS1813においてYES)、ステップS1819の処理を行い、そうでない場合(ステップS1813においてNO)、ステップS1815の処理を行う。
ステップS1815において、制御部22は、警戒種別”1”または”2”を設定し、警戒度”HIGH”を設定する。例えば、制御部22は、画像から1つのグループが検出され、そのグループが転倒、転落と判断された場合は警戒種別”1”を設定し、画像から複数のグループが検出され、そのうち1つのグループが転倒、転落と判断された場合は警戒種別”2”を設定する。
ステップS1817(ステップS1805においてNO)において、制御部22は、転倒、転落していると判断されるグループが、人物であるか、人物とは大きさが異なる家具などの背景物であるかを判断する。制御部22は、転倒、転落していると判断されたグループの面積を、グルーピング情報51を参照して取得する。制御部22は、取得した面積が閾値を越えているか否かを判断し、閾値を越えていると判断される場合は(ステップS1817においてYES)、ステップS1821の処理を行い、そうでない場合は(ステップS1817においてNO)、ステップS1819の処理を行う。
ステップS1819において、制御部22は、警戒種別”6”、警戒度”LOW”を設定する。
ステップS1821において、制御部22は、警戒種別”3B”、警戒度”HIGH”を設定する。
ステップS1823(ステップS1807においてYES)において、制御部22は、警戒種別”3A”、警戒度”MIDDLE”を設定する。
ステップS1825(ステップS1809においてNO)において、制御部22は、警戒種別”4A”、警戒度”LOW”を設定する。
このように、実施の形態2の検知システムによると、被観察者の異常な状態の度合を判定することができる。検知システムによると、被観察者が深刻な状態であるか、緊急ではない状態であるかなど様々な状態に応じて、被観察者の異常を、介護者、家族などの観察者に対し、視覚的、聴覚的その他の様々な方法で報知することができる。また、観察者は、被観察者の異常な状態の度合を知ることで、直ちに対応が必要なのか否かなどの判断が容易となり、負担が軽減される。検知システムは、被観察者の異常な状態の度合に応じて、画像を通知するか否かを制御することもでき、この場合、被観察者の状態に応じて、プライバシー保護を実現することができる。
<実施の形態3>
実施の形態3の検知システムについて説明する。実施の形態3の検知システムは、カメラ11の撮影方向のずれを、カメラ11の傾きに応じて補正する。
図19は、カメラ11を設置したときのピッチ角のずれを示す図である。図19において、カメラの撮影軸方向のベクトルと、重力方向のベクトルとがなす角度を、角度”θ”とする。制御部22は、加速度センサ12の出力値を受け付けて、受け付けたカメラ11の加速度に基づいて、このカメラの撮影軸方向のベクトルと重力方向のベクトルとがなす角度”θ”を算出する。
図19(A)は、重力方向のベクトルと、カメラの撮影軸方向のベクトルとがほぼ90度(角度”θ”が90度)の場合を示す図である。この場合、被観察者500が転倒したときに、動きベクトルが、カメラ11による撮影画像の下方向(重力方向)を向く。この図19(A)のように、重力方向のベクトルと、カメラの撮影軸方向のベクトルとがほぼ90度をなす場合を基準とする。図19(B)は、重力方向のベクトルと、カメラの撮影軸方向のベクトルとが角度”θ”(θ<90度)をなす場合を示す図である。被観察者500が転倒したとき、被観察者500の転倒は、重力方向の動きであるが、カメラ11の撮影画像においては、重力方向とカメラの撮影軸方向とのずれが反映された動きとなる。そのため、カメラ11による撮影画像の動きベクトルを、角度”θ”に基づいて補正することで、カメラ11のピッチ角のずれを補正することができる。制御部22は、図6のステップS607に示す動作ベクトルの算出の処理、または、ステップS615の動作ベクトルの特徴量の算出処理において、ピッチ角のずれを補正するための補正係数を動作ベクトルに乗ずる。
図20は、カメラのピッチ角のずれに基づき、動作ベクトルを補正する処理を示すフローチャートである。例えば、図6のステップS615において、制御部22がグループに含まれるブロックの動作ベクトルの平均ベクトルを算出した場合に、算出された平均ベクトルと、カメラ11の撮影軸方向と重力方向とがなす角度”θ”とをパラメータとして図20に示す処理を実行する。
ステップS2001において、制御部22は、カメラ11の撮影軸方向と重力方向とがなす角度”θ”のパラメータに基づき、sinθを算出する。
ステップS2003において、制御部22は、平均ベクトルaccに対し、値”1/sinθ”を乗ずることにより、平均ベクトルaccを補正した補正ベクトルvect_rを算出し、算出した補正ベクトルvect_rをリターンする。
このように、実施の形態3の検知システムによると、カメラのピッチ角のずれに応じて動作ベクトルを補正することで、カメラのピッチ角がずれている場合においても、被観察者500の転倒、転落の検出の精度を高めることができる。そのため、カメラの設置の自由度が高まる。
<実施の形態4>
実施の形態4の検知システムについて説明する。実施の形態4の検知システムは、カメラ11から被写体までの距離に応じた補正を行う。
図21は、カメラ11と被写体との距離の差、および、撮影画像を示す図である。カメラ11から被写体までの距離の長さに応じて、カメラ11の撮影画像における被写体の大きさが異なる。被写体がカメラ11から遠いほど、カメラ11の撮影画像において被写体が小さく写る。そのため、被写体がカメラ11から遠い場合、その被写体の動作ベクトルは、カメラ11からの距離が近い被写体と比べて小さくなる傾向にある。そのため、実施の形態4の検知システムは、カメラ11と被写体との距離に応じて動作ベクトルの大きさを補正する。
図21(A)は、カメラ11と被写体(被観察者500A、被観察者500B)との距離の関係を示す図である。図21(B)は、撮影画像の例を示す図である。図21(B)において、カメラ11と被写体との距離に応じて被写体の大きさが異なる大きさで撮影されている。カメラ11の設置位置が固定である場合、カメラ11の撮影画像において、被観察者500A、被観察者500Bについてグルーピングがされたグループの面積は、それぞれカメラ11と被観察者500Aとの距離、また、カメラ11と被観察者500Bとの距離に準じたものとなる。そこで、制御部22は、グループの面積に基づいて、カメラ11と各被写体(被観察者500A、被観察者500B)との距離を推定する。制御部22は、カメラ11と各被写体との距離の推定結果に応じて、例えば、ステップS617でグループの特徴量に基づき算出される判定値Dと比較する閾値を補正することとしてもよい。例えば、カメラ11からの距離が比較的遠い被写体は、撮影された画像において動作ベクトルの大きさが比較的小さくなるため、判定値Dと比較するための閾値を小さくすることとしてもよい。
実施の形態4の検知システムによると、カメラ11と被写体との距離に応じた補正をすることにより、被観察者500の転倒、転落の検出の精度を高めることができる。
<実施の形態5>
実施の形態5の検知システムについて説明する。検知システム100は、マイクを備え、マイクにより音声の入力を受け付けて、マイクの入力レベルの変化が大きい場合は被観察者500が異常な状態であると検出しやすくする。
図22は、実施の形態5の検知システムの構成を示すブロック図である。図23は、実施の形態5のMCU17の詳細な構成を示すブロック図である。
図22に示すように、実施の形態5の検知システム100は、マイク61を備える。マイク61は、例えば、被観察者500が活動する室内空間の音声の入力を受け付けて音声信号をMCU17に出力する。
図23に示すように、MCU17は、I/O18Gを介してマイク61からの音声信号の入力を受け付ける。制御部22は、マイク61からの音声信号の入力を受け付けて、音声信号のレベルの変化率Vacouを算出する。制御部22は、図6に示すステップS615の処理において、閾値と比較するための判定値Dを、例えば以下の(式2)に従って算出する。
(式2)D = αVacc + βVrot − γVvar +δVacou
ここで、δは、重みを決定するためのパラメータである。このように、実施の形態5では、音声信号のレベルの変化が大きいほど、被観察者500の動作が異常な状態であると検出する可能性を高めている。
実施の形態5の検知システムによると、転倒によって大きな音が出た場合に、被観察者500が転倒したと検出しやすくなる。また、暗所など、カメラ11からの撮影画像に基づく被観察者500の転倒の検出率が低下する状況の場合も、音声を入力として用いることで、被観察者500の転倒を検出することが可能となる。
<実施の形態6>
実施の形態6の検知システムについて説明する。検知システム100は、遠赤外線センサを備え、センサの出力を受け付けて、温度が高い部分を、被観察者500の転倒、転落の検出の条件とする。
図24は、実施の形態6の検知システムの構成を示すブロック図である。図25は、実施の形態6のMCU17の詳細な構成を示すブロック図である。
図24に示すように、実施の形態6の検知システム100は、遠赤外線センサ62を備える。遠赤外線センサ62は、例えば、被観察者500が活動する室内空間の温度を検出して検出結果をMCU17に出力する。
図25に示すように、MCU17は、I/O18Hを介して遠赤外線センサ62からの信号を受け付ける。例えば、図10に示したグループの動作ベクトルの平均ベクトルを算出する処理において、各ブロックの動作ベクトルに、温度値を乗じて平均ベクトルaccを算出することとしてもよい。これにより、非生物の動きを、被観察者500の転倒、転落の検出の対象から除外することができる。また、暗所など、カメラ11からの撮影画像に基づく被観察者500の転倒の検出率が低下する状況の場合も、センサの出力を用いることで、被観察者500の転倒を検出することが可能となる。
<変形例>
検知システム100が加速度センサ、遠赤外線センサを備える例について説明してきたが、これに限らず、カラーセンサ、距離センサ、ミリ波センサ、超音波センサ、金赤外線センサなどの各種センサを単体で、または任意に組み合わせたものを検知システム100が備えることとしてもよい。検知システム100は、これらセンサの出力結果に応じて被観察者の転倒、転落を検出する。
このように各実施形態について説明してきたが、これら実施形態を組み合わせてもよいことはいうまでもない。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
11 カメラ、12 加速度センサ、13 記憶部、14 通知部、15 通信モジュール、16 報知部、17 MCU、18 I/O、20 ROM、21 キャプチャメモリ、22 制御部、31 キャプチャ処理部、32 間引き処理部、33 動作ベクトル算出部、34 フローベクトル閾値処理部、35 ラべリング部、36 特徴量算出部、37 異常状態判定部、38 報知制御部、41 映像データ、42 重心ブロック、43 画素ブロック群、45 走査範囲、47 走査位置、48 走査位置、51 グルーピング情報、52 特徴量情報、55 ブロック、56 動きベクトル、61 マイク、62 遠赤外線センサ、100 検知システム、200 検知装置、500 被観察者、800 警報装置、900 通信装置。

Claims (13)

  1. 撮影された映像から被観察者の動作状態を検知する検知装置であって、
    入出力部と、
    前記入出力部によって入力を受け付ける映像データを記憶するためのメモリと、
    前記メモリに記憶される映像データに基づいて、前記被観察者の動作状態を検知する処理を制御する制御部とを備え、
    前記制御部は、
    前記映像データを構成する画像の複数のブロックそれぞれについて動作ベクトルを算出する算出部と、
    前記算出される動作ベクトルに基づいて、前記動作ベクトルの大きさが一定値を超える前記ブロックの集合を構成するブロック群を抽出し、前記抽出されたブロック群に含まれる前記ブロックの前記動作ベクトルに基づいて、前記被観察者の異常な動作状態を検出する検出部と、
    前記検出部により前記被観察者の異常な動作状態が検出された場合に、前記被観察者の異常な状態を示す出力を行う報知制御部とを含む、検知装置。
  2. 前記検出部は、
    前記算出される動作ベクトルの大きさが第1の閾値を越えるブロックであって、隣接するブロックを抽出してグルーピングを行うグルーピング部と、
    前記グルーピングがなされた各グループを構成するブロックの動作ベクトルに基づいて、各グループの動作ベクトルの特徴量を算出する特徴量算出部と、
    前記算出された各グループの動作ベクトルの特徴量に基づいて、前記被観察者の異常な動作状態を検出する判定部とを含む、請求項1に記載の検知装置。
  3. 前記グルーピング部は、グルーピングがなされた1以上のグループについて、前記グループに含まれるブロックの数に基づいて優先度を設定し、
    前記特徴量算出部は、前記グループに設定される前記優先度に示される順に、前記グループの動作ベクトルの特徴量を算出する、請求項2に記載の検知装置。
  4. 前記特徴量算出部が算出する各グループの動作ベクトルの特徴量とは、
    前記グループそれぞれに含まれる各ブロックの動作ベクトルの重力方向成分の平均値、各ブロックの動作ベクトルの分散値、および、各グループの重心位置を中心とした場合の、前記グループを構成する各ブロックの動作ベクトルからなる回転方向成分の値のうち少なくともいずれかを含み、
    前記判定部は、前記特徴量算出部により算出される前記特徴量に基づいて、前記被観察者の状態を検出する、請求項2に記載の検知装置。
  5. 前記判定部は、前記特徴量算出部により算出される前記ブロックの前記動作ベクトルの平均値と第2の閾値とを比較し、前記平均値が前記第2の閾値を越える場合に、前記被観察者の状態が異常な動作状態であると検出する、請求項4に記載の検知装置。
  6. 前記判定部は、前記特徴量算出部により算出される前記ブロックの前記動作ベクトルの分散値と第2の閾値とを比較し、前記分散値が前記第2の閾値を越えない場合に、前記被観察者の状態が異常な動作状態であると検出する、請求項4に記載の検知装置。
  7. 前記判定部は、前記特徴量算出部により算出される前記回転方向成分の値と第2の閾値とを比較し、前記回転方向成分の値が前記第2の閾値を越える場合に、前記被観察者の状態が異常な動作状態であると検出する、請求項4に記載の検知装置。
  8. 前記判定部は、複数のグループそれぞれについて、各グループの動作状態を判定し、各グループの判定結果の組合せに基づいて、前記被観察者の異常な動作状態の度合を判定する、請求項4に記載の検知装置。
  9. 前記制御部は、前記メモリに記憶される前記映像データの、水平方向の画素を間引く間引き処理を行う間引き処理部を含み、
    前記算出部は、前記間引き処理部によって水平方向の画素が間引かれた映像データについての動作ベクトルを算出する、請求項1に記載の検知装置。
  10. 前記制御部は、前記映像データを生成するカメラの加速度の情報を前記入出力部により受け付けて前記メモリに記憶させ、
    前記間引き処理部は、前記メモリに記憶される映像データに対し、前記加速度の情報に基づいて、前記カメラのピッチ角のずれ、または、前記カメラのロール角のずれのうち少なくともいずれかを補正し、補正後の映像データに対して前記間引き処理を行う、請求項9に記載の検知装置。
  11. 前記検知装置の前記報知制御部が前記被観察者の異常な状態を報知することには、外部の通信装置に対し、前記被観察者が異常な状態であることを示す情報を送信することを含む、請求項1に記載の検知装置。
  12. 撮影された映像から被観察者の動作状態を検知する検知システムであって、
    撮像により映像データを生成するカメラと、
    前記カメラにより生成される前記映像データを記憶するためのメモリと、
    前記メモリに記憶される映像データに基づいて、前記被観察者の動作状態を検知する処理を制御する制御部と、
    前記制御部が前記被観察者の異常な状態を検知した場合に、前記被観察者の異常な状態を報知する報知部とを備え、
    前記制御部は、
    前記映像データを構成する画像の複数のブロックそれぞれについて動作ベクトルを算出する算出部と、
    前記算出される動作ベクトルに基づいて、前記動作ベクトルの大きさが一定値を超える前記ブロックの集合を構成するブロック群を抽出し、前記抽出されたブロック群に含まれる前記ブロックの前記動作ベクトルに基づいて、前記被観察者の異常な動作状態を検出する検出部と、
    前記検出部により前記被観察者の異常な動作状態が検出された場合に、前記報知部に前記報知を行わせる報知制御部とを含む、検知システム。
  13. 撮影された映像から被観察者の動作状態を検知する検知システムの検知方法であって、
    前記検知システムは、撮像により映像データを生成するカメラと、前記カメラにより生成される前記映像データを記憶するためのメモリと、前記メモリに記憶される映像データに基づいて、前記被観察者の動作状態を検知する処理を制御するプロセッサと、報知部とを備え、
    前記検知方法は、
    前記プロセッサが、前記映像データを構成する画像の複数のブロックそれぞれについて動作ベクトルを算出するステップと、
    前記プロセッサが、前記算出される動作ベクトルに基づいて、前記動作ベクトルの大きさが一定値を超える前記ブロックの集合を構成するブロック群を抽出し、前記抽出されたブロック群に含まれる前記ブロックの前記動作ベクトルに基づいて、前記被観察者の異常な動作状態を検出するステップと、
    前記プロセッサが、前記検出するステップにより前記被観察者の異常な動作状態が検出された場合に、前記報知部に前記報知を行わせるステップとを含む、検知方法。
JP2013239115A 2013-11-19 2013-11-19 検知装置、検知システム及び検知方法 Expired - Fee Related JP6297822B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013239115A JP6297822B2 (ja) 2013-11-19 2013-11-19 検知装置、検知システム及び検知方法
US14/526,683 US9293022B2 (en) 2013-11-19 2014-10-29 Detecting apparatus, detecting system, and detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013239115A JP6297822B2 (ja) 2013-11-19 2013-11-19 検知装置、検知システム及び検知方法

Publications (2)

Publication Number Publication Date
JP2015100031A true JP2015100031A (ja) 2015-05-28
JP6297822B2 JP6297822B2 (ja) 2018-03-20

Family

ID=53173353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013239115A Expired - Fee Related JP6297822B2 (ja) 2013-11-19 2013-11-19 検知装置、検知システム及び検知方法

Country Status (2)

Country Link
US (1) US9293022B2 (ja)
JP (1) JP6297822B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101997683B1 (ko) * 2019-03-14 2019-07-08 (주)그린텍 영상 기반의 펌프의 이물질 감지 방법 및 장치
JP2020088852A (ja) * 2018-11-15 2020-06-04 ソニー株式会社 ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知
JPWO2021186655A1 (ja) * 2020-03-19 2021-09-23

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038717B (zh) * 2014-06-26 2017-11-24 北京小鱼在家科技有限公司 一种智能录制系统
US10846536B2 (en) * 2014-06-27 2020-11-24 Nec Corporation Abnormality detection device and abnormality detection method
CN108198383B (zh) * 2017-12-26 2020-08-07 深圳市宇恒互动科技开发有限公司 一种多传感器组合的高精度行为识别方法、装置及系统
CN109726750B (zh) * 2018-12-21 2023-09-12 上海三菱电梯有限公司 一种乘客摔倒检测装置及其检测方法及乘客输送装置
JP7366547B2 (ja) * 2019-01-10 2023-10-23 東芝テック株式会社 情報処理装置及び情報処理プログラム
CN111292354B (zh) * 2020-01-22 2023-07-28 维沃移动通信有限公司 误检测抑制方法及电子设备
US20210110552A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve driver-assistance vision systems using object detection based on motion vectors
GB2605647A (en) * 2021-04-09 2022-10-12 Secure Sensor Innovative Design Ltd Method and device
CN115909503B (zh) * 2022-12-23 2023-09-29 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054508A1 (fr) * 1999-03-09 2000-09-14 Sanyo Electric Co., Ltd. Dispositif et procede de traitement de signaux camera
JP2002232870A (ja) * 2001-02-06 2002-08-16 Mitsubishi Electric Corp 検知装置及び検知方法
JP2006228025A (ja) * 2005-02-18 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 転倒転落検知装置、転倒転落検知システム、及びプログラム
JP2013073445A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 危険検知装置及び危険検知方法
JP2013101419A (ja) * 2011-11-07 2013-05-23 Mitsubishi Electric Corp 画像信号処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2861245B1 (fr) * 2003-10-16 2006-05-05 Canon Europa Nv Procede de video surveillance, dispositif, systeme et programme d'ordinateur correspondant
US7526102B2 (en) * 2005-09-13 2009-04-28 Verificon Corporation System and method for object tracking and activity analysis
US8684922B2 (en) * 2006-05-12 2014-04-01 Bao Tran Health monitoring system
WO2008016679A2 (en) * 2006-08-02 2008-02-07 24Eight Llc Wireless detection and alarm system for monitoring human falls and entries into swimming pools by using three dimensional acceleration and wireless link energy data method and apparatus
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
WO2011074121A1 (ja) * 2009-12-18 2011-06-23 株式会社 東芝 動きベクトル検出装置及び方法
JP2011192141A (ja) * 2010-03-16 2011-09-29 Sony Corp 動体検出装置と動体検出方法およびプログラム
JP5559335B2 (ja) * 2010-08-31 2014-07-23 オムロン株式会社 挙動解析装置
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054508A1 (fr) * 1999-03-09 2000-09-14 Sanyo Electric Co., Ltd. Dispositif et procede de traitement de signaux camera
JP2002232870A (ja) * 2001-02-06 2002-08-16 Mitsubishi Electric Corp 検知装置及び検知方法
JP2006228025A (ja) * 2005-02-18 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 転倒転落検知装置、転倒転落検知システム、及びプログラム
JP2013073445A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 危険検知装置及び危険検知方法
JP2013101419A (ja) * 2011-11-07 2013-05-23 Mitsubishi Electric Corp 画像信号処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020088852A (ja) * 2018-11-15 2020-06-04 ソニー株式会社 ビデオコンテンツのフィルムショットにおける異なるオブジェクトの描写の偏差通知
US11070706B2 (en) 2018-11-15 2021-07-20 Sony Corporation Notifications for deviations in depiction of different objects in filmed shots of video content
KR101997683B1 (ko) * 2019-03-14 2019-07-08 (주)그린텍 영상 기반의 펌프의 이물질 감지 방법 및 장치
JPWO2021186655A1 (ja) * 2020-03-19 2021-09-23
WO2021186655A1 (ja) * 2020-03-19 2021-09-23 株式会社日立製作所 転倒リスク評価システム
JP7185805B2 (ja) 2020-03-19 2022-12-07 株式会社日立製作所 転倒リスク評価システム

Also Published As

Publication number Publication date
JP6297822B2 (ja) 2018-03-20
US9293022B2 (en) 2016-03-22
US20150139504A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
JP6297822B2 (ja) 検知装置、検知システム及び検知方法
JP5782737B2 (ja) 状態検知装置、状態検知方法および状態検知プログラム
WO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
CN110089104B (zh) 事件存储装置、事件搜索装置和事件警报装置
JP6546828B2 (ja) ビデオ処理で使用する少なくとも一つのパラメータの修正
US10786183B2 (en) Monitoring assistance system, control method thereof, and program
JP6500785B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6417670B2 (ja) 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2017028364A (ja) 監視システムおよび監視装置
WO2016042946A1 (ja) 監視システム
WO2018029193A1 (en) Device, system and method for fall detection
JP5147760B2 (ja) 画像監視装置
KR101352001B1 (ko) 영상 감시 시스템 및 그 방법
JP5771039B2 (ja) 放置人物検出装置
JP6048630B1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JP6791731B2 (ja) 姿勢判定装置及び通報システム
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
JP2008541650A (ja) モニタリング方法および装置
KR101357721B1 (ko) 영상 데이터를 이용하여 독거 노인에 대한 비정상 상황 발생을 감지하는 장치 및 방법
CN107851185A (zh) 占用检测
JP4707019B2 (ja) 映像監視装置及び方法
KR101704471B1 (ko) 낙상 검출 장치 및 그 방법
WO2018030024A1 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP6124739B2 (ja) 画像センサ
JP2002232870A (ja) 検知装置及び検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180222

R150 Certificate of patent or registration of utility model

Ref document number: 6297822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees