JP2020154551A

JP2020154551A - 行動解析装置、及び、行動解析方法

Info

Publication number: JP2020154551A
Application number: JP2019051162A
Authority: JP
Inventors: 克行中村; Katsuyuki Nakamura; 岡田　光弘; Mitsuhiro Okada; 岡田　　光弘; 谷田部　祐介; Yusuke Yatabe; 祐介谷田部; 洋輝大橋; Hiroki Ohashi; 拓杜佐藤; Takuto SATO
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2019-03-19
Filing date: 2019-03-19
Publication date: 2020-09-24

Abstract

【課題】映像データから抽出した画像データから高精度に行動を解析可能な行動解析装置、及び、行動解析方法を提供する。【解決手段】行動解析装置であって、映像データから画像データを抽出する入力部と、画像データを特徴量に変換する特徴抽出部と、画像データの品質を評価する品質解析部と、品質に基づき処理内容を決定する処理判定部と、処理判定部により決定した処理内容に基づき画像データを符号化する適応符号化部と、符号化された符号化ベクトルを再帰的に復号化して系列データに変換する出力部を備える。【選択図】図１

Description

本発明は、画像センサを用いて行動を解析する装置に関する。

機械学習に基づく行動解析技術は広く普及しており、製造・保守分野の作業を効率化するシステムや、不審者を報知する映像監視システムなどで実用化が進められている。たとえば製造・保守分野では、人の作業状況を解析して作業手順書を自動で生成するシステムに需要がある。

こうしたシステムの実現形態として、画像情報から状況説明文を生成する技術が特許文献１または非特許文献１に開示されている。

特開２００３−１５０６１０号公報

Subhashini Venugopalan et al., Sequence-to-sequence Video-to-Text, International Conference on Computer Vision (ICCV), 2015.

特許文献１または非特許文献１によれば、例えば、画像センサで作業者を撮像し、得られた三人称視点映像を入力として、作業状況説明文を生成することができる。しかしながら、三人称視点映像では詳細な手作業を観測することは困難であり、作業手順書を作成する目的には適さない。一方で、作業者に装着した画像センサで周りの状況を撮像し、得られた一人称視点映像を入力として、作業状況説明文を生成できる可能性もある。しかしながら、一人称視点映像では、品質の悪い画像フレーム、すなわち、モーションブラー、オクルージョン、フレームアウトなどが混入するため、精度が低下する課題がある。

本発明は、上記の課題を鑑みてなされたものであり、その目的は、映像データから抽出した画像データから高精度に行動を解析可能な行動解析装置、及び、行動解析方法を提供することである。

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、行動解析装置であって、映像データから画像データを抽出する入力部と、画像データを特徴量に変換する特徴抽出部と、画像データの品質を評価する品質解析部と、品質に基づき処理内容を決定する処理判定部と、処理判定部により決定した処理内容に基づき画像データを符号化する適応符号化部と、符号化された符号化ベクトルを再帰的に復号化して系列データに変換する出力部を備える。

本発明によれば、映像データから抽出した画像データから高精度に行動を解析可能な行動解析装置、及び、行動解析方法を提供できる。

実施例１における行動解析装置の機能構成ブロック図である。実施例１における行動解析装置の処理フローチャートである。実施例１における行動解析方法の説明図である。実施例１における系列データの説明図である。実施例２における行動解析装置の機能構成ブロック図である。実施例２における行動解析装置の処理フローチャートである。実施例３における行動解析システムの構成ブロック図である。実施例３におけるＵＩ画面の説明図である。

以下、本発明の実施例につき、図面を用いて説明する。

図１は、本実施例における行動解析装置１０の一例を示す機能構成ブロック図である。図１に示す行動解析装置１０は、入力部１０１、品質解析部１０２、処理判定部１０３、特徴抽出部１０４、適応符号化部１０５、出力部１０６を備える。また、行動解析装置１０の外部に映像データ１０７と出力データ１０８を備える。なお、映像データ１０７は画像センサ（カメラ）で撮影した映像データを蓄えたものでもよいし、他の映像データのデータベースからのデータであってもよい。また、前記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

図２は、本実施例における行動解析装置１０の動作を説明するフローチャートである。以下、図１、図２を用いて行動解析装置１０の動作を説明する。図２において、まずステップＳ２００１で、入力部１０１は、映像データ１０７から単一フレームまたは複数フレームの画像データを抽出する。そして、ステップＳ２００２で、品質解析部１０２は、抽出された画像データの品質をあらわす品質スコアを算出する。たとえばモーションブラー、オクルージョン、フレームアウトなどが発生する場合は、品質スコアを低くする。品質スコアは次の式（１）によって求めることができる。

ここで、Qは画像データの品質スコア、Ｓｍはモーションブラーに関する画像データの品質スコア、Ｓｏはオクルージョンに関する画像データの品質スコア、Ｓｆはフレームアウトに関する画像データの品質スコア、α,β,γは各因子の重み係数である。Ｓｍはラプラシアンフィルタを施した画像の輝度絶対値の総和を０−１のスコアに正規化したものである（１に近いほど高品質）。Ｓｏは多クラスのオブジェクト検出器を用いて画像データ内の物体を検出し、物体の外接矩形同士が重なっている面積の総和を０−１のスコアに正規化したものである（１に近いほど高品質）。また、Ｓｆは同じくオブジェクト検出器を用いて画像データ内の物体を検出し、矩形の個数に応じて０−１のスコアを付与したものである（矩形が少なければ０、矩形が多ければ１、１に近いほど高品質）。オブジェクト検出器としては、Deep Convolutional Neural Network（CNN）を用いるが、CNNに限定されるものではなく、全結合型のネットワークであるDeep Neural Network（DNN）、マルチクラスサポートベクターマシン、ブースティングベースなどを用いても構わない。

そして、ステップＳ２００３で、処理判定部１０３は、品質解析部１０２が出力した品質スコアを用いて、フレームドロップアウト率を算出する。フレームドロップアウトとは、通常の深層学習におけるドロップアウトとは異なる技術であり、Sequence-to-sequenceなど時系列深層学習モデルにおいて、フレーム単位で適応的にドロップアウト（取り除く）を実現する本実施例の特徴技術の一つである。ここで、品質スコアが低ければフレームドロップアウト率を１．０に近づけ、品質スコアが高ければフレームドロップアウト率を０に近づける。こうすることで、品質が低い画像フレームに対して、高いドロップアウト率を適用することができ、悪影響のある画像フレームを自然に排除することが可能となる。

そして、ステップＳ２００４で、特徴抽出部１０４は、入力部１０１が出力した画像データの特徴量を抽出する。単一フレームの画像を用いる場合は、CNNを用いて画像データを特徴量に変換する。具体的には、入力画像データと、学習で求めた重み係数（フィルタ係数）の内積をとり、非線形関数でアクティベーションを行なう処理を、複数回実施することで特徴量に変換する。ここで、複数フレームの画像データを用いることもでき、その場合は、3次元CNNを用いて画像データを特徴量に変換する。なお、特徴量抽出の技術はこれらに限定されず、HOG(Histograms of Oriented Gradients)特徴量、Haar-like特徴量、Dense Trajectory特徴量など、一般的に用いられる技術を利用しても構わない。

そして、ステップＳ２００５で、適応符号化部１０５は、前記特徴抽出部１０４が出力した画像データの特徴量と、前記処理判定部１０３が出力したフレームドロップアウト率を用いて、適応的に符号化を行ない符号化ベクトルを出力する。符号化の方法として、LSTM（Long Short Term Memory）、RNN（Recurrent Neural Networks）、GRU（Gated Recurrent Unit）に代表される再帰型のニューラルネットワークを用いる。ここで、各時刻における画像データの品質が悪い場合は高いドロップアウト率を用いるので、質の低い特徴量を誤って符号化することを避けられる。以上のステップＳ２００１〜ステップＳ２００５の処理は、入力フレームの時刻を進めつつ、規定区間が終了するまで再帰的に繰り返す。

そして、ステップＳ２００６で規定区間が終了かを判断し、規定区間が終了したら、ステップＳ２００７で、出力部１０６は、符号化ベクトルを復号化して、系列データを出力する。復号化の方法も同様に、LSTM/RNN/GRU等に代表される再帰型ニューラルネットワークを用いる。

図３は本実施例における行動解析方法の説明図である。図３において、まず時刻T１における画像データ３０１を入力として、特徴抽出部１０４により画像データの特徴量を抽出する。そして、抽出した特徴量を入力として、時系列符号化を行う。ここで、時刻T１における画像データ３０１の品質スコアは前述した手法により事前に算出されており、時刻ごとに異なるフレームドロップアウト率が設定され、適応符号化部１０５により適応符号化が行われる。適応符号化部１０５は、隠れ状態ベクトル、セル状態ベクトルなどの状態量を保持しており、次の時刻T２、時刻T３、時刻T４、・・・へと再帰的に入力され、逐次状態ベクトルの更新を行う。最後の時刻TNにおいて、適応符号化部１０５は隠れ状態ベクトルを符号化ベクトル３０３として出力する。出力部１０６は、符号化ベクトル３０３を用いて復号化処理を行い、系列データ１、系列データ２、系列データ３、・・・系列データKを出力する。

図４は出力される系列データの説明図である。
図４において、横軸は時間、縦軸はデータの種類を示しており、出力は、第一の言語による行動説明文４０１、第二の言語による行動説明文４０２、動作の時系列４０３、物体の時系列４０４のように複数の形態をとることができる。これらはいずれかひとつの系列データを出力とするだけでなく、動作の時系列４０３と物体の時系列４０４など、複数の系列データを同時に出力することもできる。

以上、説明した本実施例では、画像データの品質を評価する品質解析部を設けることで、モーションブラー、オクルージョン、フレームアウトなど一人称視点映像で生じがちな低品質データの利用を避けることができる。また、画像データの品質を活用した処理判定部を設けることで、フレーム単位のドロップアウト率を算出することができ、時系列深層学習のフレームワークに自然に統合して行動解析処理を実現することができる。また、適応符号化部を設けることで、悪影響のある画像データの符号化を避けることができ、結果として作業状況説明文を好適に生成することができる。また、柔軟な系列データを扱う出力部を設けることで、作業状況説明文の自動生成だけでなく、フレーム単位の行動認識、行動の始終点検出、作業工具認識など複数の行動解析アプリケーションを単一のフレームワークで実現することができる。

これにより、本実施例によれば、例えば、被験者である作業者に装着した画像センサを用いて、人の作業状況を詳細に解析することができる。すなわち、映像データから抽出した画像データから高精度に行動を解析可能な行動解析装置、行動解析方法、及び行動解析システムを提供できる。

本実施例では、作業者に装着したセンサを併用した例について説明する。ここでセンサとは、加速度センサ、角速度センサ、地磁気センサ、筋電位センサ、心拍数センサなどを指し、作業者の身体の状態を詳細に計測するものである。なお、本実施例における行動解析装置の構成要素のうち、実施例１における構成要素と同じものには同じ符号を付して説明を省略する。

図５は、本実施例における行動解析装置５０の一例を示す機能構成ブロック図である。図５に示す行動解析装置５０は、実施例１の構成要素に加えて、第二の入力部５０１、第二の品質解析部５０２、第二の処理判定部５０３、第二の特徴抽出部５０４、マルチモーダル適応符号化部５０５、を備える。また、行動解析装置５０の外部にセンサデータ５０６を備える。また、前記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

図６は、本実施例における行動解析装置５０の動作を説明するフローチャートである。図６において、Ｓ２００１〜Ｓ２００４、およびＳ２００６〜Ｓ２００７の処理は、実施例１の図２と同一である。以下、本実施例の特徴部を図５、図６を用いて説明する。

図６において、ステップＳ６００１で、第二の入力部５０１は、センサデータ５０６に対してスライド窓で部分系列データを抽出する。そして、ステップＳ６００２で、第二の品質解析部５０２は、前記抽出された部分系列データの品質をあらわす品質スコアを算出する。たとえば強い加速度・角速度変化が発生する場合、または加速度・角速度変化がほとんど変化しない場合などは、品質スコアを低くする。品質スコアは部分系列データに対して平均・分散・周波数係数などの統計量を算出し、これら統計量を入力とした回帰モデルにより求めることができる。

そして、ステップＳ６００３で、第二の処理判定部５０３は、第二の品質解析部５０２が出力した品質スコアを用いて、フレームドロップアウト率を算出する。

また、ステップＳ６００４で、第二の特徴抽出部５０４は、前記抽出した部分系列データの特徴量を抽出する。ここで特徴抽出には、部分系列データに対する１次元ＣＮＮを用いるが、加速度・角速度・地磁気など時系列信号の各成分を並べ、行列として表し、行列データに対して２次元ＣＮＮをかけてもよい。また、行列データを時間軸方向に並べ、テンソル化したデータに対して３次元ＣＮＮをかけてもよい。あるいは、部分系列データに対して平均、分散などのモーメント特徴量、周波数特徴量などを計算してもよい。

次に、ステップＳ６００５において、マルチモーダル適応符号化部５０５は、まず得られた画像データの特徴量に対して、ステップＳ２００３で算出したフレームドロップアウト率を掛け合わせ、画像データの特徴量をドロップアウトする。次に得られたセンサデータの特徴量に対して、ステップＳ６００３で算出したフレームドロップアウト率を掛け合わせ、部分系列データの特徴量をドロップアウトする。最後に上記ドロップアウトした画像・センサデータの特徴量を統合（Ｃｏｎｃａｔ）してマルチモーダル特徴量を算出する。

そして、ステップＳ６００６において、得られたマルチモーダル特徴量とフレームドロップアウト率を用いて、適応的に符号化する。その後は、実施例１と同様に規定区間が終了するまで符号化を逐次実施し、ステップＳ６００７で、得られた符号化ベクトルデータを用いて系列データを出力する。

以上のように、本実施例によれば、センサデータを併用することで、より行動解析の精度を向上することができる。また、画像データだけでは観測ができない状態、例えば、力の入れ方など、を用いることで、副詞句を活用した作業状況説明文の生成が可能となる（例えば、40ニュートンでボルトをきつく締めているなど）。

本実施例は、カメラ、センサ、ＵＩ(User Interface)を用いた行動解析システムの例について説明する。なお、本実施例は、実施例１の図１、及び実施例２の図５の機能構成ブロックを実現するハードウェアイメージの構成も兼ねている。

図７は、本実施例における行動解析システムの構成ブロック図である。本実施例は作業者の行動を解析する行動解析システム１０００であって、作業者に装着したカメラ１００１と、作業者に装着したセンサ１００２と、パラメータ入力を行なうＵＩ１００３と、ディスプレイなどによって作業者へのフィードバックを行う出力装置１００４とを備える。また、行動解析システム１０００は、データなどの入出力を行う入出力インタフェースＩ／Ｏ(Input/Output)１００５と、各種演算を実行する処理部であるＣＰＵ(Central Processing Unit)１００６と、メモリ１００７とを備える。ＣＰＵ１００６には、行動を解析する行動解析部１００８を備える。ＣＰＵ１００６における処理は、ＧＰＵ(Graphics Processing Unit)を活用した並列処理であっても構わない。行動解析部１００８は、実施例１における行動解析装置１０または実施例２における行動解析装置５０をソフトウェアで実装したものであり、メモリ１００７に格納された学習モデル１００９、１０１０、１０１１を用いて、作業者の行動を解析する。ここで学習モデル１００９は特徴抽出部１０４で用いる重み係数、学習モデル１０１０は適応符号化部１０５で用いる重み係数、学習モデル１０１１は出力部１０６で用いる重み係数である。

ＵＩ１００３は、キーボード、マウスなどのＵＩであって、例えば、図８に示すＵＩ画面１１００を介して、行動解析部１００８の動作を設定する。例えば、図８に示すように、前記品質解析部１０２における、モーションブラーの重要度（重み係数）α、フレームアウトの重要度（重み係数）β、オクルージョンの重要度（重み係数）γを手動で設定する。ＵＩ上でこれらの係数を入力した後、ファイル名入力バー１１０１にてファイル名を指定し、登録ボタン１１０４を押すことで、本実施例における行動解析の動作を変更するとともに、プリセットファイルを保存することができる。

出力装置１００４は、ディスプレイなどの機器であり行動解析の結果を表示する。なお、この際に、前記解析部が解析した画像品質スコアに応じて、エラーメッセージを表示することもできる。たとえば、モーションブラーをあらわす品質スコア（Ｓｍ）が低い場合、「計測開始後１分２０秒〜１分３０秒の区間でモーションブラーによる性能低下が発生しています」のようにメッセージを出すことができる。

以上のように、本実施例によれば、作業者の作業の状況をカメラやセンサで計測し、行動解析部が作業手順を自然言語として出力することで、作業手順書の自動生成などのアプリケーションを実現できる。また、ＵＩによって行動解析部の詳細を手動設定できるため、現場に応じて好適な設定を行なえる。たとえば激しい作業動作が発生する屋外現場において、モーションブラーが発生した低品質な画像フレームの符号化を避けることができ、行動解析の性能を向上することができる。また、細かい手作業が発生するセル生産現場において、手によるセルフオクルージョンが発生した低品質フレームの符号化を避けることができ、行動解析の性能を向上することができる。

なお、本発明は、上述の各実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、各構成、機能をソフトウェアで実現する場合、各機能を実現するプログラム、データ、ファイル等の情報は、メモリのみならず、ハードディスク等の記録装置、または、ＩＣカード等の記録媒体におくことができるし、必要に応じて無線ネットワーク等を介してダウンロードし、インストロールすることも可能である。

１０：行動解析装置、１０１：入力部、１０２：品質解析部、１０３：処理判定部、１０４：特徴抽出部、１０５：適応符号化部、１０６：出力部、１０７：映像データ、５０５：マルチモーダル適応符号化部、５０６：センサデータ、１００１：カメラ、１００２：センサ、１００３：ＵＩ、１００４：出力装置、１００５：Ｉ／Ｏ、１００６：ＣＰＵ、１００７：メモリ

Claims

映像データから画像データを抽出する入力部と、
前記画像データを特徴量に変換する特徴抽出部と、
前記画像データの品質を評価する品質解析部と、
前記品質に基づき処理内容を決定する処理判定部と、
前記処理判定部により決定した処理内容に基づき前記画像データを符号化する適応符号化部と、
前記符号化された符号化ベクトルを再帰的に復号化して系列データに変換する出力部を備えていることを特徴とする行動解析装置。
請求項1に記載の行動解析装置であって、
前記処理判定部は、前記品質解析部が出力する品質に応じて特徴量のフレームドロップアウト率を算出することを特徴とする行動解析装置。
請求項２に記載の行動解析装置であって、
前記適応符号化部は、前記フレームドロップアウト率を用いて前記画像データの特徴量をサンプリングし、画像データの品質に応じて適応的に符号化を行うことを特徴とする行動解析装置。
請求項１に記載の行動解析装置であって、
前記品質解析部は、前記画像データの品質スコアを、モーションブラー、オクルージョン、フレームアウトのうち、少なくとも一つの観点で評価することを特徴とする行動解析装置。
請求項１に記載の行動解析装置であって、
前記出力部は、第一の言語による行動説明文、第二の言語による行動説明文、動作の時系列、物体の時系列のうち、少なくとも一つの系列データを出力することを特徴とする行動解析装置。
請求項１に記載の行動解析装置であって、
前記映像データは、被験者に装着されたカメラで撮影した映像であることを特徴とする行動解析装置。
請求項1に記載の行動解析装置であって、
センサデータから部分系列データを抽出する第二の入力部と、
前記部分系列データを特徴量に変換する第二の特徴抽出部と、
前記画像データの特徴量および前記部分系列データの特徴量を用いて、前記品質に基づき前記画像データを符号化するマルチモーダル適応符号化部を備えることを特徴とする行動解析装置。
映像データから画像データを抽出する入力ステップと、
前記画像データを特徴量に変換する特徴抽出ステップと、
前記画像データの品質を評価する品質解析ステップと、
前記品質に基づき処理内容を決定する処理判定ステップと、
前記処理判定ステップにより決定した処理内容に基づき前記画像データを符号化する適応符号化ステップと、
前記符号化された符号化ベクトルを再帰的に復号化して系列データに変換する出力ステップを備えていることを特徴とする行動解析方法。
請求項８に記載の行動解析方法であって、
前記処理判定ステップは、前記品質解析ステップが出力する品質に応じて特徴量のフレームドロップアウト率を算出することを特徴とする行動解析方法。
請求項９に記載の行動解析方法であって、
前記適応符号化ステップは、前記フレームドロップアウト率を用いて前記画像データの特徴量をサンプリングし、画像データの品質に応じて適応的に符号化を行うことを特徴とする行動解析方法。
請求項８に記載の行動解析方法であって、
前記品質解析ステップは、前記画像データの品質スコアを、モーションブラー、オクルージョン、フレームアウトのうち、少なくとも一つの観点で評価することを特徴とする行動解析方法。
請求項８に記載の行動解析方法であって、
前記出力ステップは、第一の言語による行動説明文、第二の言語による行動説明文、動作の時系列、物体の時系列のうち、少なくとも一つの系列データを出力することを特徴とする行動解析方法。
請求項８に記載の行動解析方法であって、
前記映像データは、被験者に装着されたカメラで撮影した映像であることを特徴とする行動解析方法。
請求項８に記載の行動解析方法であって、
センサデータから部分系列データを抽出する第二の入力ステップと、
前記部分系列データを特徴量に変換する第二の特徴抽出ステップと、
前記画像データの特徴量および前記部分系列データの特徴量を用いて、前記品質に基づき前記画像データを符号化するマルチモーダル適応符号化ステップを備えることを特徴とする行動解析方法。
映像データから抽出した画像データから行動を解析する行動解析装置であって、
映像データから画像データを抽出する入力部と、
前記画像データの品質を評価する品質解析部と、
ユーザインターフェースを有し、
前記品質解析部の評価する品質は、モーションブラー、オクルージョン、フレームアウトのうち、少なくとも一つの観点で評価し、
前記ユーザインターフェースは、表示画面を介して、前記品質解析部における、モーションブラーの重要度、フレームアウトの重要度、オクルージョンの重要度を設定可能であり、さらに、前記品質解析部が解析した前記画像データの品質に応じて、表示画面を介して、エラーメッセージを表示可能であることを特徴とする行動解析装置。