JP2020162765A - 認識システム及び認識方法 - Google Patents
認識システム及び認識方法 Download PDFInfo
- Publication number
- JP2020162765A JP2020162765A JP2019064938A JP2019064938A JP2020162765A JP 2020162765 A JP2020162765 A JP 2020162765A JP 2019064938 A JP2019064938 A JP 2019064938A JP 2019064938 A JP2019064938 A JP 2019064938A JP 2020162765 A JP2020162765 A JP 2020162765A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- sensor data
- units
- unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】複数のセンサのうち、一部のセンサデータが何らかの原因で欠損、又は異常値であるようなときでも認識率を安定させる。【解決手段】異常検出部14〜16と、行動認識部7〜13と、出力選択部17とを備える。異常検出部14〜16は、異なるパターンのセンサデータを出力する各センサ部1〜3のセンサデータについて異常の有無を検出し異常検出結果を出力する。認識部7〜13は、複数の認識結果を出力する。出力選択部17は、複数の認識結果と、各センサ部1〜3のセンサデータの異常検出結果とを入力として最終的な認識結果を出力する。複数の認識結果は、センサデータの一部又は全部と、いずれかの他の認識部の認識結果との少なくとも一つを入力とした認識の結果である。出力選択部17は、異常の検出されたセンサデータ又はそれに基づく認識結果を入力とした認識結果以外のいずれかの認識結果を選択する。【選択図】 図1
Description
本発明は、センサデータを用いて静止物又は動作を認識するシステム及び方法に関する。
監視システムや、ライフログ、顧客行動ごとのマーケティング等のために、カメラや加速度センサ等のセンサから得られるデータを分析して、人間の行動を認識したいという需要がある。このような需要に対し、これまでに数多くの行動認識技術が開発されてきた。
行動認識技術の中でも、代表的な方法は、認識対象となる行動ごとに、学習データ(それぞれの行動が実際に行われた際のセンサデータと、その行動名のラベルデータ)を収集し、ニューラルネットワークやSVM(Support Vector Machine)等の手法を用いて、センサデータと行動ラベルとの対応付けを学習する方法であった。
SVMは、現在知られている手法の中でも認識性能が優れた学習モデルの一つである。このSVMは、未学習データに対して高い識別性能を得るための工夫がなされており、優れた認識性能を発揮できる。
特許文献1には、被験体がした動作又は行動と、披検体に取り付けられた加速度センサのデータを予め収集して、その対応関係をニューラルネットワークにより学習させることによって、多種類の複雑な動作を認識する行動認識装置が開示されている。
特許文献1の行動認識装置に対し、特許文献2には、さらに高精度に認識するための患者行動識別方法が開示されている。すなわち、患者が使用する複数の機器や部材に力や位置を検知する各種センサを設け、患者の動作から得られるセンサデータを識別し、その動作状態を判別する、というものである。この患者行動識別方法は、複数のセンサを使って動作又は行動を認識するため、1つのセンサを用いた場合に比べて認識率の向上が期待できる。
しかしながら、特許文献2の患者行動識別方法のように、複数のセンサを使って行動を認識する場合、複数のセンサのうち、一部のセンサデータが何らかの原因で欠損、あるいは異常値であるようなときに、正常データで学習した認識モデルを適用すると認識率が極端に低下してしまう、という課題がある。
上記課題を解決するため、例えば請求項1に記載の構成を備える。すなわち、静止物又は動作を認識する認識システムであって、異なるパターンのセンサデータを出力する複数のセンサ部と、前記複数のセンサ部の各々について当該センサ部からのセンサデータの異常の有無を検出し異常検出結果を出力する異常検出部と、複数の認識結果を出力する複数の認識部と、複数の認識結果と前記複数のセンサ部の各々についてのセンサデータの異常検出結果とを入力として最終的な認識結果を出力する出力選択部と、を備え、前記複数の認識結果は、センサデータの一部又は全部と、いずれかの他の認識部の認識結果との少なくとも一つを入力とした認識の結果であり、該出力選択部は、異常の検出されたセンサデータ又はそれに基づく認識結果を入力とした認識結果以外のいずれかの認識結果を選択するものである。
本発明によれば、一部のセンサデータが欠損、あるいは異常値であるようなときでも認識率を安定させることができる。
以下、図面を参照して、本発明の実施例について説明する。なお、以下の実施例では、人の行動の認識を代表的に例に取り、そのため、以下の実施例では「行動認識部」という機能が採用されているが、本発明では、人の行動に限らず人以外の物体の動作を認識することも、物体の動作に限らず静止物(静止している物体)を認識することもできる。物体の動作に代えて又は加えて静止物を認識することができる機能は、「認識部」と呼ばれてよい。つまり、「行動認識部」は、「認識部」の一例である。
図1は、本発明の実施例1に係る認識システムの構成例を示すブロック図である。認識システム19は、複数のセンサ部1〜3からそれぞれのセンサデータを受信する受信部4〜6と、受信部4〜6毎に受信したセンサデータの欠損又は異常値を検出する異常検出部14〜16と、センサデータの一部又は全てを入力として行動を認識する複数の行動認識部7〜13と、異常検出結果と行動認識結果に基づいて、最終的な行動認識結果を出力する出力選択部17と、行動認識結果を記録する記録部18で構成される。
図1の認識システム19では、3つのセンサ部1〜3から出力されたセンサデータを用いて、リアルタイムで行動を認識する例を示す。認識する行動として、8つの生活行動(第一の行動:食事する、第二の行動:料理する、第三の行動:掃除する、第四の行動:TVを見る、第五の行動:本を読む、第六の行動:歩く、第七の行動:寝る、第八の行動:その他)を自動的にリアルタイムで認識して、行動ログ(ライフログ)を取得する例で説明する。なお、ライフログ(lifelog)とは、人間の生活・行い・体験を、映像・音声・位置情報などのデジタルデータとして記録する技術、あるいは記録自体のことをいう。
センサ部1〜3のセンサは、それぞれ、左手に装着した加速度センサ1、右手に装着した加速度センサ2、胸につけた加速度センサ3とする。加速度センサからは、3軸の加速度情報を取得でき、この加速度から人間の動作を認識する。加速度センサの情報は、10fps(frame per second)で取得できるとする。また、認識システム19は、例えば、自宅のPC(personal computer)を想定しており、センサ部1〜3と認識システム19の間は、Wi-Fi(登録商標)その他の無線通信規格で定められた無線LAN等により通信する。
センサ部2,3で取得した加速度情報は、タイムスタンプを付けて、リアルタイムで認識システム19に転送される。なお、このタイムスタンプは、各センサ部2,3で時刻がずれていると正しい認識ができない。したがって、電源の起動時をはじめ、適宜周期的にそれぞれのセンサ部2,3の時刻を合わせる処理を実行することで、ずれないように同期させておく必要がある。
3つのセンサ部1〜3それぞれの加速度情報(センサデータ)は、認識システム19のそれぞれの受信部4〜6で受信する。受信部4〜6で受信したセンサデータは、複数の行動認識部7〜13に供給し、タイムスタンプ情報は、受信部4〜6それぞれにある異常検出部14〜16に供給する。ここで、行動認識部7〜13に供給するセンサデータは、図2を用いて後述する単位時間ウインドウ41,42毎のデータとする。
図2は、加速度センサの例である。図2の例に従うグラフは、横軸を時間t、縦軸を加速度αとし、一つのセンサ部について、時間経過に伴う加速度変化を示したものである。x軸、y軸、z軸の3軸加速度の情報が各センサ部から出力される。
認識システム19では、このセンサデータを10秒間の単位時間ウインドウ41で切り取ったセンサデータを行動認識部7〜13の入力データとする。なお、他のセンサ部も同時刻で、同様に単位時間ウインドウ内のセンサデータを取得して、行動認識部7〜13の入力データとする。単位時間ウインドウ41,42の幅とずらし方は、ユーザが取得したい粒度に応じて変更すれば良い。図2に例示するように、単位時間ウインドウ42は、単位時間ウインドウ41との隣接関係を維持しながらも、重ならないように動かされる。
行動認識部7〜13は、事前に正解ラベル付きのセンサデータで学習した認識モデルを用いて行動認識結果を出力する。ここで行動認識の一例として、ニューラルネットワークを用いた例を示す。
図3は、ニューラルネットワーク50の構成例である。ニューラルネットワーク50は、入力層53、出力層54、及び隠れ層59から構成される。入力層53は、一つ以上の入力ニューロンが属する層である。出力層54は、一つ以上の出力ニューロンが属する層である。隠れ層59は、複数の隠れニューロンが属する層である。
行動認識部7〜13は、上述したように、事前に正解ラベル付きのセンサデータで学習した認識モデルを用いて行動認識結果を出力する。また、本例において、入力ニューロンの数は、行動認識部毎に異なる。例えば、行動認識部7の場合、3つのセンサ部1〜3のセンサデータを入力として行動認識するため、入力ニューロンの数は、10秒×10fps×3軸×3センサ=900となる。
また、本例では、隠れ層59は、第一隠れ層51及び第二隠れ層52の2層を有している。最終的には8つの行動にクラス分類したいので、出力層54における出力ニューロン数は8となる。学習するときは、入力となるセンサデータとその正解ラベルに基づき、逆誤差伝播法(Backpropagation)を用い、各ニューロンの係数を正解に近づけるように更新することにより、認識モデルを作成する。
一方、学習済みの認識モデルを用いて、行動認識をするときは、認識モデルにセンサデータを入力することで、出力層54に出力された8つの行動それぞれの確率が出力される。一般的には、第一の行動〜第八の行動で区別される8つの行動の内、最も大きい確率の行動を選択する。選択された行動が該当するものと決定されることにより行動認識される。
図1には、複数の行動認識部7〜13が存在するが、ここでのポイントは入力されるセンサデータがそれぞれ異なっている点である。これは、どのセンサデータが無くなっても、どれかの行動認識部が正常に認識できるようにするためである。例えば、行動認識部7は、10秒×10fps×3軸×3センサの入力となっている。行動認識部8は10秒×10fps×3軸×2センサの入力となっている。行動認識部11は10秒×10fps×3軸×1センサの入力となっている。
つぎに、異常検知部14〜16について説明する。受信部4〜6から、行動認識部に入力するセンサデータのタイムスタンプの情報を取得して、これにより該当の単位時間にセンサデータの入力数が正常かどうかを判定する。例えば、該当の単位時間ウインドウ41のスタートとエンドの時刻内に所定の個数のタイムスタンプが無かった場合、検知結果情報を出力選択部17に通知する。この場合の実例として、例えば、充電された蓄電池等により供給されるセンサ部の電源が予期せずに切れてしまった場合のほか、無線通信の受信状況が悪かった場合が挙げられる。
図4は、出力選択部17のテーブルの例である。出力選択部17は、各行動認識部7〜13の行動認識結果と、異常検知部の検知結果情報が入力となり、検知結果情報と図4に記載の対応テーブルに基づいて、どの行動認識部の認識結果を使うかを決定する。図4のセンサ部2,3の〇と×は、異常検知部14〜16の結果に基づき、異常データと検知された場合は「×」、検知されなかった場合は、「〇」となる。
行動認識部7〜13の「1」は、その行動認識結果を使うことを示しており、「0」はその行動認識結果を使用しないことを示している。例えば、センサ部1が「〇」、センサ部2が「〇」、センサ部3が「×」だった場合、図4の対応テーブルに基づいて、行動認識部8の結果を採用する。このように、各異常検知部14〜16の検知結果に基づき、正常に動作している行動認識部を判断して、その結果を使うことで、入力のセンサデータに欠損があった場合でも、認識率の低下を最小限に抑えることが可能となる。
なお、認識システム19は、不図示のコンピュータにより構成されている。そのコンピュータは、例えば、CPU(Central Processing Unit)と、メモリと、通信装置と、入出力装置と、を備える。CPUは、メモリに記憶されるプログラムを実行することで、図1に例示の機能を実現する。このコンピュータのメモリに、出力選択部19のテーブルが格納される。
最後に、この行動認識結果を時間とともに記録部18で行動ログとして保存すれば、行動ログを残すことができる。この行動ログを使って、例えば、「もう3時間も本を読んでいます。そろそろ掃除しませんか?」等と、リアルタイムでフィードバックするアプリケーションに応用もできるし、行動ログを1か月単位で集計して、どんな行動にどれぐらい時間をかけたかをダッシュボードに表示して、今後の生活改善に役立てるといった使い方もできる。
[システム]
本実施例では、センサ部1〜3と認識システム19と通信は、Wi-Fi(登録商標)としたが、特に制限はなく、有線を用いても良いし、Bluetooth(登録商標)等他の無線通信でも良い。また、センサ部2,3と認識システム19が直接通信する例を記載したが、転送するだけの転送デバイスを挟んでも良い。例えば、スマートフォンで3つのセンサ部2,3のセンサデータをBluetooth(登録商標)経由で受信した後、Wi-Fi(登録商標)を使って認識システム19に入力する等の構成でも良い。
本実施例では、センサ部1〜3と認識システム19と通信は、Wi-Fi(登録商標)としたが、特に制限はなく、有線を用いても良いし、Bluetooth(登録商標)等他の無線通信でも良い。また、センサ部2,3と認識システム19が直接通信する例を記載したが、転送するだけの転送デバイスを挟んでも良い。例えば、スマートフォンで3つのセンサ部2,3のセンサデータをBluetooth(登録商標)経由で受信した後、Wi-Fi(登録商標)を使って認識システム19に入力する等の構成でも良い。
また、認識システム19はPCとして説明したが、これに限定されない。例えば、タブレット、スマートフォン、ノートPC等のモバイル機器で処理しても良いし、クラウドで処理しても良い。クラウドで処理する場合場合、クラウド上にデータを送信する必要があるが、例えば、一旦スマートフォンでセンサ部2,3のデータを受信して、LTE回線でクラウドに送信する等すれば良い。認識結果はクラウド上に保存しておいても良いし、PCやスマートフォン等の表示したい表示デバイスに転送しても良い。
また、リアルタイムで行動を認識する例を示したが、保存してあるデータを受信部に入力しても良い。具体例を挙げると、センサ部2,3のデータをスマートフォンで受信してSDカードや内部メモリ等の記憶媒体にタイムスタンプ付きでセンサデータを長時間保存しておき、その記憶媒体からの読出したセンサデータを受信部4〜6に入力するとしても良い。
[センサ]
本実施例では、センサ部1〜3が全て加速度センサの例を説明したが、センサ部の数やセンサの種類は限定しない。例えば、センサ部としてウエアラブルカメラや、ウエアラブルマイク、ビーコンやGPS(Global Positioning System, Global Positioning Satellite、全地球測位システム)等を使っても良いし、加速度センサの数を増やしても良い。
本実施例では、センサ部1〜3が全て加速度センサの例を説明したが、センサ部の数やセンサの種類は限定しない。例えば、センサ部としてウエアラブルカメラや、ウエアラブルマイク、ビーコンやGPS(Global Positioning System, Global Positioning Satellite、全地球測位システム)等を使っても良いし、加速度センサの数を増やしても良い。
さらに、身に着けているセンサに限らず、監視カメラの映像を使う等、外部から人を対象とした情報を取る方法でも良い。この場合は、例えば、画像認識で、人の骨格を検出し、骨格情報を入力とすることで、しゃがんでいる、立っている等全身の動き情報も加味した、行動認識が可能になる。
また、センサ部でタイムスタンプ付きのデータを出力する例を示したが、受信部4〜6で受信したときにタイムスタンプを付けてもよい。この場合、3つの受信部4〜6は認識システム19内にあり同一時刻で動いているため、各センサ部1〜3に対して時刻同期を取る必要が無くなるという利点がある。
また、図2では固定の単位時間ウインドウ41,42を用意して、行動認識部7〜13に入力する例を示したが、単位時間ウインドウを複数用意する、又は可変にするとしても良い。また、単位時間ウインドウ41,42の幅やずらし方に関しても、制限はなく、どんな幅や、どんなずらし方でも良い。
[異常判定部]
本実施例では、タイムスタンプが所定個数あるなしで異常検出をしたが、データの欠損だけではなく異常値を検出しても良い。例えば、行動認識部に入力する単位時間ウインドウのセンサデータを異常検出部に入力して異常検出しても良い。具体例としては、取得した大量の正常データから、正常範囲を求めておき、その範囲を逸脱した場合に、異常と検出する方法がある。
本実施例では、タイムスタンプが所定個数あるなしで異常検出をしたが、データの欠損だけではなく異常値を検出しても良い。例えば、行動認識部に入力する単位時間ウインドウのセンサデータを異常検出部に入力して異常検出しても良い。具体例としては、取得した大量の正常データから、正常範囲を求めておき、その範囲を逸脱した場合に、異常と検出する方法がある。
他の例として認識対象を認識する方法がある。例えば、監視カメラの場合、行動認識を行いたい対象人物が写っていないが、別の人が写っている場合、別の人の骨格情報を入れても認識率を低下させるだけになってしまう。そこで、異常検知部で、顔認識エンジンを動かして、対象の人物の時のみ、骨格情報を使って、行動認識を行うことで、認識率の向上が見込める。
[行動認識部]
本実施例では、行動認識部7〜13として、ニューラルネットワーク50を用いた例を挙げて説明したがそれに限らない。ニューラルネットワーク50に代えて、例えば、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、LSTM(Long Short Term Memory)等を用いても良い。あるいは、機械学習による認識モデルとして、SVM、その他(Random Forest,Gradient Boosting)等を用いても良い。さらに、これらの機械学習による認識モデルと異なり、人間がルールベースで考えた認識モデルを使っても良い。
本実施例では、行動認識部7〜13として、ニューラルネットワーク50を用いた例を挙げて説明したがそれに限らない。ニューラルネットワーク50に代えて、例えば、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、LSTM(Long Short Term Memory)等を用いても良い。あるいは、機械学習による認識モデルとして、SVM、その他(Random Forest,Gradient Boosting)等を用いても良い。さらに、これらの機械学習による認識モデルと異なり、人間がルールベースで考えた認識モデルを使っても良い。
また、本実施例では、行動認識部7〜13に、センサデータをそのまま入力して認識する手法を記載した。これとは異なる手法として、センサデータに対し、高速フーリエ変換等の特徴量変換を施した後に、上述した各種の認識モデルを用いて行動認識する構成でも良い。
[出力部]
図5は、出力選択部17のテーブルの他の例である。本実施例では、図4に示したテーブルで、一番正常なセンサデータを多く使えるモデルを採用する例を説明したが、それに限らない。
図5は、出力選択部17のテーブルの他の例である。本実施例では、図4に示したテーブルで、一番正常なセンサデータを多く使えるモデルを採用する例を説明したが、それに限らない。
例えば、図5のように、正常に認識できる認識モデルの利用割合を定義しておき、各行動認識部の認識結果に割合をかけ合わせて、それぞれの行動認識部の認識結果を足し合わせてから、最も確率の高いものを採用するとしても良いし、IF文を含むプログラムで全てのパターンを記載するとしても良い。
[アプリケーション]
本実施例では、生活行動を認識する例を記載したが、これに限定されない。例えば、設備保守を定期的に行う作業員に対して、加速度センサを装着して、どんな作業をしているかを認識するとしても良い。この場合、例えば、チェックリストの項目を認識項目として学習した認識モデルを作ることで対応できる。
本実施例では、生活行動を認識する例を記載したが、これに限定されない。例えば、設備保守を定期的に行う作業員に対して、加速度センサを装着して、どんな作業をしているかを認識するとしても良い。この場合、例えば、チェックリストの項目を認識項目として学習した認識モデルを作ることで対応できる。
この行動認識結果は、例えば、チェックリストのチェックを自動的に付けることもできる。また、リアルタイムで認識する時は、全ての行動が認識されなかった場合に、「チェックリストX(不図示)の作業を忘れていませんか?」というようにリアルタイムで確認を促す等の用途にも応用可能である。
[その他]
また、本実施例では、行動認識部をセンサデータの異常検出結果によらず計算する例を記載したが、異常検出結果を先に計算して結果を出すことによって、図4及び図5に示したテーブルにおいて、「0」の部分の行動認識部は使用していないので計算しないという制御を行うこともできる。これにより、認識結果が速く出力される、消費電力が少なくなるという利点もある。
また、本実施例では、行動認識部をセンサデータの異常検出結果によらず計算する例を記載したが、異常検出結果を先に計算して結果を出すことによって、図4及び図5に示したテーブルにおいて、「0」の部分の行動認識部は使用していないので計算しないという制御を行うこともできる。これにより、認識結果が速く出力される、消費電力が少なくなるという利点もある。
図6は、本発明の実施例2に係る認識システムの構成例を示すブロック図である。実施例2に係る認識システム61において、認識システム19と同一機能に対しては、同一符号を付して説明を省略し、主に相違点の説明を行う。
認識システム61は、認識システム19と行動認識部の構成が異なる。認識システム61は、第一の行動認識部20〜22と第二の行動認識部23〜26のように2段階の階層構造で構成される。これによる動作は、以下のとおりである。
第一の行動認識部20〜22へ、各受信部4〜6からの信号のみが入力されて、そこからの認識結果は、一方の出力が実線の矢印で示すように出力されて出力選択部17へ入力される。また、他方の出力として、点線の矢印で示すように、第二の行動認識部23〜26へ入力される。点線の矢印で示す出力は、図3に示すニューラルネットワーク50の第二隠れ層52から出力される信号である。
第一の行動認識部20〜22の第二隠れ層52の出力を入力された第二の行動認識部23〜26は、そこからの認識結果を出力する。第二の行動認識部23〜26の入力パターンは、実施例1と同様に、どのセンサが無くなっても、どれかは正常に認識できるように設定されている。
このような行動認識部を階層構造の構成とすることの利点は、認識システム19に比べて、第一の行動認識部20〜22における単体の認識率の向上が見込めることである。それは、例えば、第二の行動認識部23を学習するときに、誤差逆伝播法により、第一の行動認識部20と、同21と、それら両方のニューロンの係数を更新することができる。
これは、第一の行動認識部20単体で学習したときに比べて、他のセンサデータ情報も用いて学習できていることになり、第一の行動認識部20単体の認識率の向上が見込める。
一般的には、マルチタスク学習と呼ばれる学習方法があり、上述のように階層構造の行動認識部20〜22,23〜26において学習することにより、認識率が向上することをいくつかの文献で確認できている。ただし、一般的なマルチタスク学習は入力データが同じ物に対して行われている。その点について、認識システム61は入力データが全て異なっているので、上述した一般的なマルチタスク学習とは異なる。
[実施例2の変形例]
図7は、実施例2の変形例に係る認識システムの構成を示すブロック図である。実施例2では、2段構成の例を説明したが、図7に示す認識システム62のように3段構成にしても良い。
図7は、実施例2の変形例に係る認識システムの構成を示すブロック図である。実施例2では、2段構成の例を説明したが、図7に示す認識システム62のように3段構成にしても良い。
その3段構成の1段目は、第一の行動認識部30〜32である。つぎの2段目は、第二の行動認識部33〜35である。つぎの3段目は、第三の行動認識部36である。なお、図7の点線の矢印と実線の矢印と、それぞれの意味は、図6で用いたものと同じ意味である。ここでも、点線の矢印で示す出力は、図3に示すニューラルネットワーク50の第二隠れ層52から出力される信号である。
第一の行動認識部30〜32へ、各受信部4〜6からの信号のみが入力されて、そこからの認識結果は、一方の出力が実線の矢印で示すように出力されて出力選択部17へ入力される。また、他方の出力として、点線の矢印で示すように、第二の行動認識部33〜36へ入力される。
そこからの認識結果は、一方の出力が実線の矢印で示すように出力されて出力選択部17へ入力される。また、他方の出力として、点線の矢印で示すように、第三の行動認識部36へ入力される。第三の行動認識部36からの認識結果は、その出力が実線の矢印で示すように出力されて出力選択部17へ入力される。
このように、複数の行動認識部20〜22,23〜26,30〜32,33〜36,36は階層構造であることが好ましい。すなわち、この階層構造は、少なくとも、第一の行動認識部20〜22と、第二の行動認識部23〜26と、を含む多段階の階層構造を意味する。
図8は、本発明の実施形態に係る認識方法(以下、本認識方法)の概略を説明するためのフローチャートである。本認識方法は、静止物又は動作を認識するものであり、図8に示すように、ステップS1〜ステップS5を有する。ステップS1では、複数のセンサ部1〜3がパターンの全て異なるセンサデータを出力する。ステップS2では、異常検出部14〜16がセンサ部1〜3毎にセンサデータの異常を検知する。ステップS3では、複数の認識部7〜13,20〜22,30〜32に、センサデータの一部又は全てを入力する。
ステップS4では、異常検出部14〜16の出力する異常検出結果と、複数の認識部7〜13,20〜22,30〜32の認識結果と、を出力選択部17に入力する。ステップS5では、出力選択部17が、異常検出部14〜16の異常検出結果に基づいて、異常の検出されたセンサデータの入力が排除された認識部の認識結果を選択して最終的な認識結果を出力する。これによれば、認識システム19,61,62と同等の作用効果が得られる。
認識システム61において、つぎの構成を例示した。まず、第一の行動認識部20〜22へ、各受信部4〜6からの信号のみが入力されるステップ(図8のS3)がある。また、第一の行動認識部20〜22の認識結果のうち、一方の出力が出力選択部17へ入力されるとともに、他方の出力が第二の行動認識部23〜26へ入力されるステップ(図8のS4)もある。
認識システム62において、つぎの構成でも良いことを例示した。すなわち、第一の行動認識部30〜32の認識結果を第二の行動認識部33〜35へ入力し、第二の行動認識部33〜35の認識結果を第三の行動認識部36の入力する構成でも良い。以上、センサ部1〜3が3つの例で説明したが、センサ数の増減がある場合も、行動認識部の階層構造の段数を変えることで対応可能である。
[補足]
上述のニューラルネットワーク50に限らず、人工知能が学習するということは、IF文のようなプログラムを自ら生成して蓄積し、同一の場合に遭遇すれば、同一の答えを出力できるように機能が成長することを意味する。また、認識システム61,62において、多段階の階層構造を有する行動認識部(認識部)20〜22,23〜26,30〜32,33〜35,36は、学習効果が別の階層にまで波及する。
上述のニューラルネットワーク50に限らず、人工知能が学習するということは、IF文のようなプログラムを自ら生成して蓄積し、同一の場合に遭遇すれば、同一の答えを出力できるように機能が成長することを意味する。また、認識システム61,62において、多段階の階層構造を有する行動認識部(認識部)20〜22,23〜26,30〜32,33〜35,36は、学習効果が別の階層にまで波及する。
これには以下の作用効果が期待できる。すなわち、異常が検出されたセンサデータの入力を排除すると、センサデータから得られる情報量が減少する。このように、情報量が減少した中で、行動認識部の認識結果を選択した場合であっても、別の階層に蓄積された学習内容を生かすことによって、認識率を安定させ易くなる。
ここに、簡単な一例を示しておく。認識システム62を防犯システムに適用した一例として、センサ部1を可視光カメラ、センサ部2を赤外線カメラ、センサ部3を可聴音マイクロフォン、により、それぞれ構成した。行動認識部20〜22,23〜26は、不審者が侵入したことを各センサ1〜3から得られる異なるパターンのセンサ出力を用いて学習する。
センサ部1のセンサデータは、可視光カメラのレンズが曇る不具合や暗がりのため、異常検出部14が異常検出したとする。この場合、異常検出結果に基づいて、センサ部1のセンサデータを入力された第一の行動認識部20の認識結果は、出力選択部17において排除される。
その結果、3つのセンサデータのうち、残る2つのセンサデータ2,3から得られる情報量のみに減少する。しかし、行動認識部20〜22,23〜26は、予め、センサ部2の赤外線カメラによるセンサデータと、センサ部3の可聴音マイクロフォンによるセンサデータと、により、不審者が侵入した場合のパターンを学習している。
このため、情報量が減少した中で、行動認識部の認識結果を選択した場合であっても、異なるパターンのセンサ出力を用いれば、別の階層に蓄積された学習内容を生かすことによって、認識率を安定させ易い。つまり、可視光カメラの出力が異常なときでも、赤外線カメラと可聴音マイクロフォンと、により、学習内容を生かせる。その結果、認識システム62は、高い認識率を維持できる。
1〜3 センサ部、4〜6 受信部、7〜13 行動認識部、14〜16 異常検出部、17 出力選択部、18 記録部、19,61,62 認識システム、50 ニューラルネットワーク、51 第一隠れ層、52 第二隠れ層、53 入力層、54 出力層、59 隠れ層、t 時刻、α 加速度
Claims (7)
- 静止物又は動作を認識する認識システムであって、
異なるパターンのセンサデータを出力する複数のセンサ部と、
前記複数のセンサ部の各々について当該センサ部からのセンサデータの異常の有無を検出し異常検出結果を出力する異常検出部と、
複数の認識結果を出力する複数の認識部と、
複数の認識結果と前記複数のセンサ部の各々についてのセンサデータの異常検出結果とを入力として最終的な認識結果を出力する出力選択部と、
を備え、
前記複数の認識結果は、センサデータの一部又は全部と、いずれかの他の認識部の認識結果との少なくとも一つを入力とした認識の結果であり、
該出力選択部は、異常の検出されたセンサデータ又はそれに基づく認識結果を入力とした認識結果以外のいずれかの認識結果を選択する、
認識システム。 - 前記複数の認識部は階層構造であり、
第一層に属する認識部は、センサデータの全部又は一部を入力とし、
第一層以外の層に属する認識部は、当該認識部が属する層より上位の層に属する認識部からの認識結果を入力とする、
請求項1に記載の認識システム。 - 前記複数の認識部の各々は、入力を基に認識結果を出力する認識モデルを有する、
請求項1に記載の認識システム。 - 前記出力選択部は、正常なセンサデータを出力したセンサ部の複数通りの組合せと、当該複数通りの組合せの各々について、当該組合せに属する一つ以上のセンサ部から出力された正常なセンサデータ又はそれの認識結果を入力とする認識部との対応関係から、前記複数のセンサ部の各々についてのセンサデータの異常検出結果に該当する組合せに対応した認識部を特定し、当該特定した認識部から出力された認識結果を選択する、
請求項1に記載の認識システム。 - 前記出力選択部は、正常なセンサデータを出力したセンサ部の複数通りの組合せと、当該複数通りの組合せの各々について認識部毎の正常に認識できる割合である利用割合との対応関係から、前記複数のセンサ部の各々についてのセンサデータの異常検出結果に該当する組合せに対応した認識部毎の利用割合を特定し、各認識部について特定された利用割合と、当該各認識部の認識結果とを基に、正常に認識できる確率の最も高い認識結果を選択する、
請求項1に記載の認識システム。 - 静止物又は動作を認識する認識方法であって、
異なるパターンのセンサデータを出力する複数のセンサ部の各々について当該センサ部からのセンサデータの異常の有無を検出し異常検出結果を出力するステップと、
複数の認識結果を出力するステップと、
前記複数の認識結果と前記複数のセンサ部の各々についてのセンサデータの異常検出結果とを入力として最終的な認識結果を出力するステップと
を有し、
前記複数の認識結果は、センサデータの一部又は全部と、いずれかの他の認識部の認識結果との少なくとも一つを入力とした認識の結果であり、
前記出力するステップでは、異常の検出されたセンサデータ又はそれに基づく認識結果を入力とした認識結果以外のいずれかの認識結果を選択する、
認識方法。 - 前記複数の認識結果は、階層構造を持つ複数の認識部により出力された認識結果であり、
第一層に属する認識部は、センサデータの全部又は一部を入力とし、
第一層以外の層に属する認識部は、当該認識部が属する層よりに属する認識部からの認識結果を入力とする、
請求項6に記載の認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019064938A JP2020162765A (ja) | 2019-03-28 | 2019-03-28 | 認識システム及び認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019064938A JP2020162765A (ja) | 2019-03-28 | 2019-03-28 | 認識システム及び認識方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020162765A true JP2020162765A (ja) | 2020-10-08 |
Family
ID=72716869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019064938A Pending JP2020162765A (ja) | 2019-03-28 | 2019-03-28 | 認識システム及び認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020162765A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022085442A1 (ja) * | 2020-10-20 | 2022-04-28 | ソニーグループ株式会社 | 信号処理装置および方法、学習装置および方法、並びにプログラム |
WO2022185808A1 (ja) | 2021-03-02 | 2022-09-09 | ソニーグループ株式会社 | 検出装置、検出方法及びプログラム |
-
2019
- 2019-03-28 JP JP2019064938A patent/JP2020162765A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022085442A1 (ja) * | 2020-10-20 | 2022-04-28 | ソニーグループ株式会社 | 信号処理装置および方法、学習装置および方法、並びにプログラム |
WO2022185808A1 (ja) | 2021-03-02 | 2022-09-09 | ソニーグループ株式会社 | 検出装置、検出方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shojaei-Hashemi et al. | Video-based human fall detection in smart homes using deep learning | |
Deep et al. | A survey on anomalous behavior detection for elderly care using dense-sensing networks | |
US20230316762A1 (en) | Object detection in edge devices for barrier operation and parcel delivery | |
Kim et al. | Emergency situation monitoring service using context motion tracking of chronic disease patients | |
US20210256264A1 (en) | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof | |
CN110291489A (zh) | 计算上高效的人类标识智能助理计算机 | |
CN111797858A (zh) | 模型训练方法、行为预测方法、装置、存储介质及设备 | |
US20210166023A1 (en) | Context-aided machine vision | |
US20200226360A1 (en) | System and method for automatically detecting and classifying an animal in an image | |
CN111797854B (zh) | 场景模型建立方法、装置、存储介质及电子设备 | |
US20150359201A1 (en) | Methods and Apparatus for Tracking and Analyzing Animal Behaviors | |
JP2020162765A (ja) | 認識システム及び認識方法 | |
US10621424B2 (en) | Multi-level state detecting system and method | |
Purohit et al. | Multi-sensor surveillance system based on integrated video analytics | |
Jain et al. | Smart city management system using IoT with deep learning | |
CN114972727A (zh) | 用于多模态神经符号场景理解的系统和方法 | |
CN110677448A (zh) | 关联信息推送方法、装置和系统 | |
Moutsis et al. | Fall detection paradigm for embedded devices based on YOLOv8 | |
KR102508889B1 (ko) | 디지털 트윈 기반의 영유아 시설 모니터링 방법 및 시스템 | |
EP3798779A1 (en) | Method, apparatus, and computer program product for determining burner operating state | |
US20220174076A1 (en) | Methods and systems for recognizing video stream hijacking on edge devices | |
US20200219412A1 (en) | System and method for sensor fusion from a plurality of sensors and determination of a responsive action | |
US20230011337A1 (en) | Progressive deep metric learning | |
CN113543938A (zh) | 机器人感知可扩展性 | |
Afroz et al. | IoT based two way safety enabled intelligent stove with age verification using machine learning |