JP2017068442A - 特定動作検出装置及び特定動作検出方法 - Google Patents

特定動作検出装置及び特定動作検出方法 Download PDF

Info

Publication number
JP2017068442A
JP2017068442A JP2015191408A JP2015191408A JP2017068442A JP 2017068442 A JP2017068442 A JP 2017068442A JP 2015191408 A JP2015191408 A JP 2015191408A JP 2015191408 A JP2015191408 A JP 2015191408A JP 2017068442 A JP2017068442 A JP 2017068442A
Authority
JP
Japan
Prior art keywords
luminance gradient
difference
luminance
calculated
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015191408A
Other languages
English (en)
Other versions
JP6543546B2 (ja
Inventor
円 井上
Madoka Inoue
円 井上
梅崎 太造
Taizo Umezaki
太造 梅崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiphone Co Ltd
Original Assignee
Aiphone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiphone Co Ltd filed Critical Aiphone Co Ltd
Priority to JP2015191408A priority Critical patent/JP6543546B2/ja
Publication of JP2017068442A publication Critical patent/JP2017068442A/ja
Application granted granted Critical
Publication of JP6543546B2 publication Critical patent/JP6543546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】 画像の見えが異なる起き上がり動作に対して,同一の動作として認識できる特定動作検出装置を提供する【解決手段】 撮像映像を連続する画像フレームで出力するカメラ1と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部2と、複数の時系列の画像フレームに対して、求めた輝度勾配の差分を算出する輝度勾配差分算出部3と、算出した輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部4と、算出した自己相関特徴ベクトルについて特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部6と、判定部6の判定結果を出力する結果出力部7とを有する。【選択図】 図1

Description

本発明は、事前情報として入力動画像から人物の特定の行動を定量化した数値データを保持し、未知の入力データに対して、事前情報として保持した数値データとの比較によって類似度を推定する特定動作検出装置および方法に関する。
近年、病院や高齢者施設において患者や入居者が転倒して骨折等怪我をする事故が多発している。このような事故を未然に防止するために、本発明者等は特許文献1においてベッド上及び室内の見守りシステムを提案した。これは、可視カメラを用いて見守り対象者を画像で捕捉することで、起き上がり動作等の特定動作の検知を可能としている。
特開2015−156127号公報
しかしながら、上記特許文献1の技術は、カメラ位置を固定した場合は良好な検出精度を維持できるが、カメラ位置を変更した場合、画像から得られる出力値が変化するために、起き上がり動作の検出精度が低下した。
これは、カメラ位置を変更する事で、画像中のベッドの見え方が変化することに起因し、カメラを患者の頭上に設置した映像とベッドサイドに設置した映像では、ベッドの見え方は45度以上の大きな角度差として現れる。
ここで、カメラ設置位置に対するベッドの見え方の一例を示す。カメラを図6のように患者頭部近辺に設置した場合、カメラに映るベッドの見え方は図7となる。尚、図6は見守り対象者とカメラの関係を示す平面説明図であり、Mは見守り対象者、Bはベッド、P1〜P7はカメラの位置を示している。図7では図6のP1〜P7点に設置したカメラの画像を示している。また、図7ではベッドの角度を明示するためにベッド長手方向の中心を直線で示し、図7(a)〜(g)が順にP1〜P7点に対応している。
このように、ベッドの角度差が大きくなる事で,起き上がり動作の見えも大きく変化する。この見えの変化に起因して、抽出される画像特徴が大きく異なるという問題が発生する。例えば、図7(g)の様に、ベッドが垂直方向に撮影された画像では、起き上がる際に上半身は直線運動を行う為、画像から輝度勾配を算出すると比較的画面の垂直方向に向きを持つ特徴が抽出される。しかし,図7(b)の場合,起き上がり動作における上半身の動きは腰を中心として頭を端点とした回転運動を行う為、画像から輝度勾配を抽出すると斜め方向の画像特徴が最も多く抽出される。
特許文献1では、従来の輝度勾配自己相関特徴の次元数は、勾配方向を4方向に制限した場合324次元となる。また、特許文献1の数10が示す通り、勾配の異なる動作に基づく自己相関はそれぞれ異なる次元の特徴として抽出される。つまり,画像水平方向に勾配を持つ物体の動作と画像垂直方向に勾配を持つ物体の動作は、移動方向が同じ場合でも異なる特徴量として区別される。
具体的に、図8は図7(b)及び図7(g)の動画像における人物周辺領域から算出した起き上がりの動作特徴を表す輝度勾配差分特徴を示し、角度差による輝度勾配の差異を明示している。この図8に示すように、同じ起き上がり動作でも見え方の変化により異なる輝度勾配が算出される。この結果、この輝度勾配から算出される輝度勾配差分自己相関特徴は異なる特徴ベクトルとして扱われ、抽出された特徴量はAdaboostにより特徴ベクトル毎の識別が行われ、識別結果に大きな影響を与えた。
そこで、本発明はこのような問題点に鑑み、画像の見え方が異なる起き上がり動作に対して,同一の動作として認識できる特定動作検出装置及び特定動作検出方法を提供することを目的としている。
上記課題を解決する為に、請求項1の発明に係る特定動作検出装置は、撮像映像を連続する画像フレームで出力する撮像手段と、画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、複数の時系列の画像フレームに対して、求めた輝度勾配の差分を算出する輝度勾配差分算出部と、算出した輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、算出した自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部と、判定部の判定結果を出力する結果出力部とを有することを特徴とする。
この発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。
請求項2の発明は、請求項1に記載の構成において、輝度勾配差分自己相関特徴算出部は、畳み込み前の方向数をK、畳み込み後の方向数をp、畳み込まれる1方向のあたりの要素数をQ、セル位置(x,y)の位置ベクトルをr、輝度勾配の方向をk、輝度勾配差分をf(r,k)、変位ベクトルをa、自己相関の次数をN、Iを入力画像とすると、輝度勾配差分から抽出した時間変化のベクトルに対して、畳み込みを次式で行って自己相関特徴を算出することを特徴とするとする。
Figure 2017068442
この発明によれば、効果的に畳み込みを実施でき、特定動作を良好に判別できる。
ここで、上記特許文献1の技術を基にした、本願発明に至る流れを説明する。特許文献1の手法において、異なる勾配方向を組み合わせたマスクパターンの出力値はガウスカーネルにより低減される。この出力値は起床動作識別における特徴量として用いられるが,ガウスカーネルにより0に近い値まで低減された場合、識別器に正例が入力された場合でも負例が入力された場合でも出力値が等しくなる。正例と負例に対する判別能力が無い為、この異なる勾配方向が組み合わされたマスクパターンは識別器の要素から除外する事が出来る。そのため、マスクパターンの計算処理は同一方向の勾配のみで構成されたマスクパターンだけを扱う処理に置き換えられ、次の式で記述する事が出来る。
Figure 2017068442
数3は任意のマスクパターンから得られる出力値を計算する際に、全てのセルの勾配方向が等しいことを表している。
次に本願発明の計算処理について述べる。今、K方向の勾配をP方向の勾配に畳み込むとすると、K/P個の要素が1方向に畳み込まれる。この要素数をQとすると、方向数K,P、要素数Qの関係は次式で表される。
Figure 2017068442
そして、畳み込まれた勾配の方向をkと置くと、本発明の自己相関特徴は上記数2の式で得られる。
請求項3の発明は、請求項1又は2に記載の構成において、撮像手段が、ベッド上の人物を撮像するカメラであると共に、
事前に特定物体の行動特徴を数値化したデータが、ベッド上で起き上がり動作する人物のデータを含む人物の動作データであり、判定部がカメラの撮像映像から人物の起き上がり動作を判定することを特徴とする。
この発明によれば、カメラの設置位置が変化しても、ベッドに伏している見守り対象者の起き上がり動作を確実に検出できる。
請求項4の発明は、プロセッサにより実行される特定動作検出方法であって、撮像手段から連続して出力される画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算ステップと、複数の時系列の画像フレームに対して、求めた輝度勾配の差分を算出する輝度勾配差分算出ステップと、算出した輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出ステップと、算出した自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定ステップと、を実行することを特徴とする。
この発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。
本発明によれば、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。
本発明に係る特徴動作検出装置の一例を示すブロック図である。 輝度勾配差分抽出までの概念図であり、(a)はカメラが出力する時系列画像フレーム、(b)は個々の画像の輝度勾配画像、(c)は輝度勾配画像のフレーム間差分を示している。 輝度勾配差分の自己相関抽出の概略図である。 次数2のマスクパターン組み合わせ説明図である。 輝度勾配差分自己相関特徴算出部の動作説明図であり、(a)は輝度勾配差分を小領域に分解して全領域を探索する概念図、(b)ば小領域の勾配パターンと事前に定義した324パターンを比較する概念図、(c)は全領域の変化量で作成したヒストグラムである。 カメラ位置と見守り対象者の関係を示す平面説明図である。 図6に示す各場所に設置したカメラの撮像画像である。 特徴抽出の結果画像を示し、(a)はカメラがP7点に設置された場合、(b)はカメラがP2点に設置された場合を示している。 マスクパターン形状サンプルであり、(a)はカメラがP7点に設置された場合、(b)はカメラがP2点に設置された場合である。 勾配の異なるマスクパターンの説明図である。 畳み込み結果を示し、(a)は従来の出力、(b)は本発明手法の出力である。
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図1は本発明に係る特定動作検出装置の一例を示すブロック図であり、1は見守り対象を撮像して連続する画像フレームを出力する撮像手段としてのカメラ、2はカメラ1が出力した画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部、3は複数の時系列の画像フレームに対して求めた輝度勾配の差分を抽出する輝度勾配差分算出部、4は輝度勾配差分の自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部、5は得られた自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部、6は判定結果を出力する結果出力部である。
尚、輝度勾配算出部2、輝度勾配差分算出部3、輝度勾配自己相関特徴算出部4、判定部5は所定のプログラムをインストールしたCPU或いはDSP等のプロセッサで一体に構成される。
以下、各部の動作を説明する。但し、ここで検出する特定の動作は、ベッドに伏している患者等の見守り対象者が起き上がる動作であり、見守り対象者の起き上がる動作を検出したら報知する構成について説明する。
図2は個々のカメラ1の出力画像から輝度勾配差分算出部3までの概念図を示し、(a)はカメラ1が出力する時系列画像フレーム、(b)は個々の画像の輝度勾配画像、(c)は算出した輝度勾配画像のフレーム間差分を示している。
カメラ1は、ベッド全体を上方から撮像するよう設置され、特にベッド上の患者を認識し易い頭部の上方に設置される。そして、例えば0.2秒毎に図2(a)に示すような画像フレーム(以下、単に「フレーム」と称する)を生成して出力する。
輝度勾配算出部2は、カメラ1が出力した画像をあらかじめ定義したパッチサイズにダウンサンプリングし、各ピクセルの輝度から勾配強度m(x,y)と勾配方向θ(x,y)を次式より算出する。図2(b)はこの勾配方向θに基づく輝度勾配画像を示している。
Figure 2017068442
数5において、dx(x,y)並びにdy(x,y)は輝度差であり,次の式で算出される。
Figure 2017068442
数6において、I(x,y)は、(x,y)座標上の輝度である。
続いて,勾配方向θをビン数Kの勾配ヒストグラムh(x,y)に畳み込む。h(x,y)はS×Sピクセル領域内の全ての画素の勾配方向θを集計して得られる。
勾配ヒストグラムh(x,y)のビンのインデックスをkとすると,各ビンのスコアh(x,y)は,次式で表される。
Figure 2017068442
数7において、θ'(x,y)は勾配方向θ(x,y)をKビンに畳み込んだ値、δ[・]はクロネッカーのデルタを表し,仮に勾配ヒストグラムh(x,y)のビンのインデックスkとθ'(x,y)が等しければ1を返し,それ以外ならば0を返す。
輝度勾配差分算出部3は、輝度勾配算出部2によって算出した輝度勾配の隣接画像間の差分を算出、即ち輝度勾配の時間変化量を算出する。時刻tにおける輝度勾配の勾配強度ヒストグラムをh(x,y,t)とおくと、輝度勾配画像のフレーム間差分である輝度勾配ヒストグラム差分S(x,y)は,次式により得られる。図2(c)が、こうして得られた輝度勾配画像のフレーム間差分を示している。
なお、フレーム間隔を大きくすることで遅い動きや詳細な動きに対する耐性を持たせることができる。
Figure 2017068442
輝度勾配差分自己相関特徴算出部4は、算出した輝度勾配差分から抽出した時間変化のベクトルに対して畳み込みを行って自己相関特徴ベクトルを算出する。具体的に、セルの座標位置、時刻の3次元ベクトルで構成されたマスクパターンに,輝度勾配方向の情報を加えた4次元空間上における勾配強度の自己相関を算出して輝度勾配差分自己相関特徴を求める。
図3は輝度勾配差分の自己相関抽出の概略を示し、セルの座標位置はXY平面で定義され、時系列情報はt軸で定義される。更に、輝度勾配方向は、セル毎のビン数により定義され、これらの4次元ベクトルを用いて任意の輝度勾配強度が表される。また、図3に示すようにマスクパターンは、N×N×Nセルで定義されたマスクブロック内の3次元ベクトル(x,y,t)から得られるブロックの組み合わせパターンである。
例として次数2のマスクパターンで説明する。尚、ここで用いる次数とは、CHLAC特徴の次数同様に着目する変位の数であり、着目変位の数が基準点を除いて2点あることを示す。CHLACでは着目する変位の位置(変位点)は、マスクブロックの全てのセルに設定される可能性があるが、本発明では変位点の位置は各フレームで1つに限定する。更に、基準点が設定されたフレームには変位点を設定しない。つまり、計算対象となるセルは常にフレームに1つだけとする。
このような制約をすることで、マスクパターンの組み合わせは、起点の置かれたフレームを除いた残りの前後2フレームから各一点ずつを抽出することになり、それぞれのフレームの9セルを組み合わせてマスクパターンが作成される。つまり、次数2の場合、マスクブロック内には81 (=9×1×9)のマスクパターンが定義される。図4はこの次数2のマスクパターン組み合わせ概要を示している。
そして、次数をNとした場合のマスクパターン数は次式のように表される。ただし、マスクパターンを構成するブロックサイズをH×Wとする。
Figure 2017068442
入力画像全体で抽出される特徴の総数は,セル領域サイズに分割した画像に対して、マスクブロックを1セルずつずらして走査したマスクブロック数となり、1画像にH×W個のセルが存在する場合、1画像あたり(W−N+1)×(H−N+1)個のマスクブロックが得られる。更に勾配方向を組み合わせて(W−N+1)×(H−N+1)×K個の特徴が得られる。
一方で、異なる勾配方向を組み合わせたマスクパターンの出力値はガウスカーネルにより低減される。このマスクパターンの出力値は、起床動作識別における特徴量として用いられるが,ガウスカーネルにより0に近い値まで低減された場合、識別器に正例が入力された場合でも負例が入力された場合でも出力値が等しくなる。正例と負例に対する判別能力が無い為、この異なる勾配方向が組み合わされたマスクパターンは識別器の要素から除外する事が出来る。そのため、マスクパターンの計算処理は同一方向の勾配のみで構成されたマスクパターンだけを扱う処理に置き換えられ、次の式で記述する事が出来る。
Figure 2017068442
ここで,セル位置(x,y)の位置ベクトルをr、輝度勾配の方向をk、輝度勾配差分をf(r,k)、変位ベクトルをa、自己相関の次数をN、Iは入力画像を示す。この数10は、任意のマスクパターンから得られる出力値を計算する際に,全てのセルの勾配方向が等しい事を表している。
そして、今、K方向の勾配をP方向の勾配に畳み込むとすると、K/P個の要素が1方向に畳み込まれる。この要素数をQとすると、方向数K,P、要素数Qの関係は次式で表される。
Figure 2017068442
更に、畳み込まれた勾配の方向をkと置くと、本発明の自己相関特徴は次式で得られる。
Figure 2017068442
ここで、畳み込み後の方向数をp、畳み込まれる1方向当りの要素数をQとする。
図5はこの輝度勾配差分自己相関特徴算出部4の動作説明図であり、(a)は輝度勾配差分を小領域に分解し、全領域を探索する概念図、(b)は小領域の勾配パターンと、事前に定義した324パターンを比較する概念図、(c)は勾配強度の変化量を全領域で作成したヒストグラムを示している。
判定部6は、人物と背景によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて検出を行う。ここでは、起き上がり動作と、それ以外の動作、歩行・座る・伸び等によってクラス分けされた学習サンプルと特徴量を用いて学習された強識別器によって構成されるアダブーストによるカスケード型識別器を用いて検出し、起き上がり動作であると判定したら、起き上がり検出信号を結果出力部へ出力する。
結果出力部7は、警報等を報音する報音部、検出した映像を表示する表示部、外部に通報する通報部等を備え、判定部6が出力する起き上がり検知信号を受けて報音通知し、カメラ1の撮像映像を表示する。
このように、自己相関特徴ベクトルの畳み込みの効果によって、撮像手段の取り付け位置の変化で見え方が異なる動作が大まかな動作カテゴリに集約されるため、撮像手段の取り付け位置を厳密に指定しなくても特定動作の効果的な識別が可能となる。
ここで、上記図6に示す位置にカメラ1を設置した場合について、上記特定動作検出装置の動作を具体的に説明する。図9はマスクパターン形状のサンプル、図10は勾配の異なるマスクパターン、図11は畳み込み結果をそれぞれ示し、これらを参照して説明する。
上述したように、輝度勾配算出部2において輝度勾配が算出され、輝度勾配差分自己相関特徴算出部4において勾配方向θの畳み込みが行われるが、図9はの畳み込まれる特徴ベクトルの一例をマスクパターンの形状で示し、図9(a)は上記図6に示すP7点にカメラ1が設置された場合、図9(b)はP2点にカメラ1が設置された場合の畳み込まれる特徴ベクトルの一例をマスクパターンの形状で示している。
微小時間での画素変化を考えた場合に、上記図7(g)の様に垂直方向の輝度勾配を多く含む物体の垂直方向運動から得られる特徴は、図9(a)のようなマスクパターン形状となる。また、同じ物体の動作を側面からとらえた際の傾斜角を持つ輝度勾配の特徴は、図9(b)の様なマスクパターン形状となる。
このような図9(a)の輝度勾配と図9(b)の輝度勾配が同一画像中で発生した場合、上記の演算を実施して輝度勾配を算出した後、自己相関の算出処理において勾配方向の畳み込み処理を行うことで、輝度勾配の値は図11(b)に示すように同一の出力として集計される。
但し、図11においてD1はカメラ1をP7点に設置した場合、D2はカメラをP2点に設置した場合を示し、図11(a)は上記特許文献1の手法による畳み込み結果を示している。また、前提条件として使用する勾配方向θは4、畳み込みの次元数は1、ガウスカーネルは極端に凸形状で、図10に示す様な異なる勾配を含むマスクパターンの出力値が0となる様に設定する。その場合、特許文献1の手法では出力次元数は324となり、本発明の手法では勾配の4方向が畳み込まれることで出力次元数は81となる。その結果、勾配方向θの値は図11(b)に示す様に同一の出力として集計され、畳み込み処理により、この二つの特徴量は同一のベクトルとして扱われる。
よって、2次元画像の平面的な制約上、同じ動作でありながら見えの違いで分離された情報は、特徴量の畳み込みを用いることで再び同じ動作の情報として統合される。そのため、カメラ1の設置位置が変化しても、ベッドBに伏している見守り対象者Mの起き上がり動作を確実に検出することができる。
上記実施形態は、ベッドに伏している人物が起き上がる動作を検出する作用に関して説明したが、本発明の特定動作検出装置は、検出する動作を限定するものではない。判定部6において比較する学習サンプルの内容に応じて特定動作を幅広く変更でき、起き上がりの延長線上で考えれば、起き上がり動作は反応せずにベッドから離れようとする動作を検出して通知するよう動作させても良いし、他に転倒やしゃがみ込み動作を検出することも可能である。
また、覗き込み動作等の不審者特有の動作を判別させれば、不審者の検知も可能となる。
1・・カメラ(撮像手段)、2・・輝度勾配算出部、3・・輝度勾配差分算出部、4・・輝度勾配差分自己相関特徴算出部、5・・判定部、6・・結果出力部。

Claims (4)

  1. 撮像映像を連続する画像フレームで出力する撮像手段と、
    前記画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算出部と、
    複数の時系列の前記画像フレームに対して、求めた前記輝度勾配の差分を算出する輝度勾配差分算出部と、
    算出した前記輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出部と、
    算出した前記自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定部と、
    前記判定部の判定結果を出力する結果出力部とを有することを特徴とする特定動作検出装置。
  2. 前記輝度勾配差分自己相関特徴算出部は、畳み込み前の方向数をK、畳み込み後の方向数をp、畳み込まれる1方向のあたりの要素数をQ、セル位置(x,y)の位置ベクトルをr、輝度勾配の方向をk、輝度勾配差分をf(r,k)、変位ベクトルをa、自己相関の次数をN、Iを入力画像とすると、前記輝度勾配差分から抽出した時間変化のベクトルに対して、畳み込みを次式で行って自己相関特徴を算出することを特徴とする請求項1記載の特定動作検出装置。
    Figure 2017068442
  3. 前記撮像手段が、ベッド上の人物を撮像するカメラであると共に、事前に特定物体の行動特徴を数値化したデータが、ベッド上で起き上がり動作する人物のデータを含む人物の動作データであり、
    前記判定部が前記カメラの撮像映像から人物の起き上がり動作を判定することを特徴とする請求項1又は2記載の特定動作検出装置。
  4. プロセッサにより実行される特定動作検出方法であって、
    撮像手段から連続して出力される画像フレームに対して微小領域毎の輝度勾配を求める輝度勾配算ステップと、
    複数の時系列の前記画像フレームに対して、求めた前記輝度勾配の差分を算出する輝度勾配差分算出ステップと、
    算出した前記輝度勾配差分の時間変化を抽出して畳み込みを行い、自己相関特徴ベクトルを算出する輝度勾配差分自己相関特徴算出ステップと、
    算出した前記自己相関特徴ベクトルについて、特定物体の行動特徴を数値化したデータに基づき機械学習による識別処理を実施して類似度を判定する判定ステップと、を実行することを特徴とする特定動作検出方法。
JP2015191408A 2015-09-29 2015-09-29 特定動作検出装置及び特定動作検出方法 Active JP6543546B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015191408A JP6543546B2 (ja) 2015-09-29 2015-09-29 特定動作検出装置及び特定動作検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015191408A JP6543546B2 (ja) 2015-09-29 2015-09-29 特定動作検出装置及び特定動作検出方法

Publications (2)

Publication Number Publication Date
JP2017068442A true JP2017068442A (ja) 2017-04-06
JP6543546B2 JP6543546B2 (ja) 2019-07-10

Family

ID=58494856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015191408A Active JP6543546B2 (ja) 2015-09-29 2015-09-29 特定動作検出装置及び特定動作検出方法

Country Status (1)

Country Link
JP (1) JP6543546B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022161277A (ja) * 2021-04-08 2022-10-21 株式会社ナガセインテグレックス 砥面判定装置、学習器、判定プログラム、および砥面判定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
JP2011215811A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 画像マッチング装置、および、画像マッチング方法
JP2014229266A (ja) * 2013-05-27 2014-12-08 アイホン株式会社 特定動作検出装置
JP2015156127A (ja) * 2014-02-20 2015-08-27 アイホン株式会社 特定動作検出装置
JP2015156128A (ja) * 2014-02-20 2015-08-27 アイホン株式会社 特定動作検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229157A (ja) * 2007-03-22 2008-10-02 Chiba Univ 眼底画像処理装置及び眼底撮影装置
JP2011215811A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 画像マッチング装置、および、画像マッチング方法
JP2014229266A (ja) * 2013-05-27 2014-12-08 アイホン株式会社 特定動作検出装置
JP2015156127A (ja) * 2014-02-20 2015-08-27 アイホン株式会社 特定動作検出装置
JP2015156128A (ja) * 2014-02-20 2015-08-27 アイホン株式会社 特定動作検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井上円, 外3名: ""実利用の制約条件下における起床動作検出システムの検討"", SSII2015 第21回 画像センシングシンポジウム 講演論文集, JPN6019007408, 11 June 2015 (2015-06-11), JP, pages 3 - 20, ISSN: 0003988835 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022161277A (ja) * 2021-04-08 2022-10-21 株式会社ナガセインテグレックス 砥面判定装置、学習器、判定プログラム、および砥面判定方法
JP7345867B2 (ja) 2021-04-08 2023-09-19 株式会社ナガセインテグレックス 砥面判定装置、学習器、判定プログラム、および砥面判定方法

Also Published As

Publication number Publication date
JP6543546B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP4842197B2 (ja) 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
US20100195899A1 (en) Detection of people in real world videos and images
JP2012108785A (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
JP5832910B2 (ja) 画像監視装置
JP5290227B2 (ja) 対象物検知装置及びその学習装置
JP2009027393A (ja) 映像検索システムおよび人物検索方法
WO2022257314A1 (zh) 图像检测方法和相关训练方法及相关装置、设备及介质
JP2008288684A (ja) 人物検出装置及びプログラム
JP2011209794A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
Khan et al. Video analytic for fall detection from shape features and motion gradients
JP6214424B2 (ja) 特定動作検出装置
JP6543546B2 (ja) 特定動作検出装置及び特定動作検出方法
JP2018133042A (ja) 放置物検出装置
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
JP6046559B2 (ja) 特定動作検出装置
JP2010113562A (ja) 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム
Lee et al. Automated abnormal behavior detection for ubiquitous healthcare application in daytime and nighttime
Dorgham et al. Improved elderly fall detection by surveillance video using real-time human motion analysis
KR101539944B1 (ko) 객체 식별 방법
JP5864231B2 (ja) 移動方向識別装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6543546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250