JP2019219766A - 分析装置、分析システム、及び分析プログラム - Google Patents

Abstract

【課題】画像に含まれるオブジェクトを精度良く検出することを可能とする技術を提供する。【解決手段】分析装置１０は、撮像装置１１により時系列的に撮像された複数の画像を一連の画像群として取得する取得部２１と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズム６１を使用して、取得部２１により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出ユニット４０と、一連の画像群の間で、検出ユニット４０により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析ユニット５０とを備える。【選択図】図２

Description

本発明は、分析技術に関し、とくに、画像に含まれるオブジェクトを分析する分析装置、分析システム、及び分析プログラムに関する。

特許文献１には、調理者が調理している食材及びその食材に対する調理操作を精度良く特定し、調理者が調理している料理の調理レシピを精度良く推定する技術が開示されている。

特許文献１に記載された調理操作認識システムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備える。

国際公開第２００５／０８８５４２号

本発明者らは、調理者による調理操作を分析することにより、キッチンなどの商材の開発に有用な情報が得られると考えた。しかし、そのような応用のためには、多数の調理者による調理操作をより精度良く認識するための技術が必要である。

本発明は、このような課題に鑑みてなされ、その目的は、画像に含まれるオブジェクトを精度良く検出することを可能とする技術を提供することにある。

上記課題を解決するために、本発明のある態様の分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、を備える。

本発明の別の態様の分析システムは、対象者の行動を分析するための分析装置と、対象者の周囲の機器又は環境を制御する制御装置と、を備え、分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、分析部による分析結果を制御装置へ出力する出力部と、を備え、制御装置は、分析装置から取得した分析結果に応じて機器又は環境を制御する。

本発明の更に別の態様の分析システムは、対象者の行動を分析するための分析装置と、対象者、対象者が購入する商品の販売者、又は商品の開発者に情報を提供する情報提供装置と、を備え、分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、分析部による分析結果を情報提供装置へ出力する出力部と、を備え、情報提供装置は、分析装置から取得した分析結果を対象者、販売者、又は開発者に提供する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像に含まれるオブジェクトを精度良く検出することを可能とする技術を提供することができる。

実施の形態に係る分析システムの構成を示す図である。 実施の形態に係る分析装置の構成を示す図である。 撮像装置により撮像された画像の例を示す図である。 学習データに付与されるラベルの例を示す図である。 複数の対象者が同じ料理を調理する様子を撮像した動画における調理器具の検出数の時間変化を示す図である。 図５と同じ動画における調理器具の移動軌跡を示す図である。

本発明の実施の形態として、分析対象者の行動やオブジェクトの動きを撮像装置により時系列的に撮像し、撮像された画像に含まれる対象者の体の部位やオブジェクトを自動的に検出することにより、分析対象者の行動やオブジェクトの動きなどを分析する技術について説明する。

実施の形態に係る分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得し、それぞれの画像に含まれるオブジェクトの種類、状態、位置、及び数を検出し、一連の画像群の間で、検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する。検出されるオブジェクトは、例えば、対象者の体の部位や、対象者により移動可能な物体などである。これにより、キッチンなどの商品の使用者の行動特性を的確に分析することができるので、商品の開発や使用者に対する提案などに生かすことができる。また、実施の形態に係る分析装置は、撮像された画像に含まれるオブジェクトの検出を自動化することができるので、多数の対象者の行動を分析するために要する期間を飛躍的に短縮することができる。これにより、単独の対象者の行動分析では得られないような新たな知見を得ることができる。

実施の形態では、対象者がキッチンで調理する行動を分析する例について説明する。対象者が、食材と調理器具を用いて料理を作り、食器に盛りつける様子を撮像し、撮像した画像に含まれる食材、器具、料理、食器、対象者の手などのオブジェクトの種類、状態、位置、及び数を検出し、それらの時間変化を分析する。例えば、調理器具の検出数の時間変化を分析することにより、調理器具を洗ったり片付けたりするタイミングの個人差やパターンを把握し、商品開発に有用な知見を得ることができる。また、調理器具の移動軌跡を分析することにより、調理器具の収納場所などを使用者に提案することができる。

図１は、実施の形態に係る分析システムの構成を示す。分析システム１は、キッチン８０に設置された撮像装置１１及びセンサ１２により収集された情報に基づいて対象者３の行動を分析する分析装置１０と、対象者３の周囲の機器又は環境を制御する制御装置１００と、分析装置１０による分析結果を分析装置１０から取得して提示する情報提供装置の例である情報提供サーバ２００、商品販売サーバ３００、使用者端末４００、及び開発者端末５００を備える。これらの装置は、インターネット２などの通信網により接続される。

制御装置１００は、分析装置１０により分析された対象者３の行動に関する情報を分析装置１０から取得して、分析結果に応じてキッチン８０に設置された機器やキッチン８０の周囲の環境などを制御する。制御装置１００は、例えば、対象者３の行動の分析結果に応じて、キッチン８０の温度、湿度、背景音楽、吐水装置の吐水温度、吐水量、吐水口形状、加熱装置のオンオフや温度、換気扇のオンオフや風量、照明器具のオンオフや光量などを制御してもよい。また、制御装置１００は、対象者３の行動の分析結果に応じて選択した情報を表示装置８３に表示してもよい。例えば、制御装置１００は、調理手順やレシピなど、対象者３の行動に関連する情報や、対象者３に推奨される行動を誘導するための情報などを、対象者３の行動特性ごとに分類して記憶し、それらの情報の中から分析結果に応じて選択された情報を表示装置８３に表示してもよい。対象者３は、自身の行動に応じた情報をリアルタイムに確認しながら、実行中の行動に役立てることができる。

情報提供サーバ２００は、分析装置１０により分析された対象者３の行動に関する情報を分析装置１０から取得して、取得された情報や、取得された情報に基づいて生成又は選択された情報などを提供する。情報提供サーバ２００は、例えば、対象者３本人からの要求に応じて、対象者３の行動の分析結果を提供してもよいし、複数の対象者３のそれぞれの行動の分析結果を取得し、それらの分析結果の統計情報や、それらの分析結果から生成又は分析される情報などを、商品販売サーバ３００、使用者端末４００、開発者端末５００などに提供してもよい。

商品販売サーバ３００は、分析装置１０により分析された対象者３の行動に関する情報を分析装置１０又は情報提供サーバ２００から取得し、対象者３が商品販売サーバ３００において商品を購入する際に、対象者３の行動の分析結果に応じた商品の情報などを対象者３に提供する。対象者３は、自身の行動の分析結果に合わせた商品の情報を商品販売サーバ３００から取得して確認することにより、購入する商品の選択などに役立てることができる。

使用者端末４００は、分析装置１０により分析された対象者３の行動に関する情報を分析装置１０又は情報提供サーバ２００から取得して、使用者に提示する。使用者端末４００の使用者は、自身や第三者の行動に関する情報を確認することにより、次の自身の行動のために役立てることができる。

開発者端末５００は、分析装置１０により分析された複数の対象者３の行動に関する情報を分析装置１０又は情報提供サーバ２００から取得して、対象者３が使用する商品を開発する開発者に提示する。開発者は、開発する商品を使用する複数の対象者３の行動の分析結果を確認することにより、商品の開発や設計などのために役立てることができる。

分析装置１０による対象者３の行動の分析は、例えば、キッチン設備を有する実験施設、レシピや調理手順の動画撮影施設、商品選定を行うショールーム、一般家庭等において実行されてもよい。このような施設、ショールーム、家庭等において、対象者の行動を分析することにより、対象者の行動特性に合わせた適正な設備提案を行うことが可能なサービスを展開することができる。

図２は、実施の形態に係る分析装置の構成を示す。分析装置１０は、撮像装置１１、センサ１２、入力装置１３、表示装置１４、制御装置２０、及び記憶装置６０を備える。分析装置１０は、サーバ装置であってもよいし、パーソナルコンピューターなどの装置であってもよいし、携帯電話端末、スマートフォン、タブレット端末などの携帯端末であってもよい。

撮像装置１１は、分析の対象となるオブジェクトを含む画像を撮像する。本実施の形態では、対象者がキッチンで調理する行動を分析するので、撮像装置１１は、例えばキッチンの上方又は上方前方に下向きに固定され、上方から俯瞰したキッチン又はキッチンカウンターの一部の画像を撮像する。撮像装置１１は、可視光を撮像可能な一般的なＣＭＯＳなどの光学イメージセンサを用いたカメラであってもよい。撮像装置１１は、２台以上設けられてもよく、それぞれが異なる位置、視線方向、視野、解像度を有していてもよい。

センサ１２は、撮像装置１１によりオブジェクトの画像が撮像されるときのオブジェクト、対象者、又は対象者の周囲の環境の状態を示す状態量を検知する。状態量は、対象者の行動を撮像している間に時間変化するものであってもよいし、時間変化しない、又は時間変化しないとみなせる程度に時間変化の小さいものであってもよい。センサ１２は、例えば、対象者の脳波、心拍数、筋負荷、表情、血圧、体温、オブジェクトの温度、対象者の周囲の温度、湿度、明るさ、キッチン８０に設けられた加熱機器、吐水機器、換気機器、照明機器などのオンオフ、使用量などを検知するものであってもよい。

入力装置１３は、分析装置１０の使用者による指示入力を制御装置２０に伝達する。入力装置１３は、マウス、キーボード、タッチパッドなどであってもよい。表示装置１４は、制御装置２０により生成される画面を表示する。表示装置１４は、液晶表示装置、有機ＥＬ表示装置などであってもよい。入力装置１３及び表示装置１４は、タッチパネルとして実装されてもよい。

記憶装置６０は、制御装置２０により使用されるプログラム、データなどを記憶する。記憶装置６０は、半導体メモリ、ハードディスクなどであってもよい。記憶装置６０は、検出アルゴリズム６１及びデータ保持部６２を備える。

検出アルゴリズム６１は、撮像装置１１により撮像された画像に含まれるオブジェクトの種類、状態、位置、及び数を検出するために使用される。検出アルゴリズム６１は、機械学習により学習される。検出アルゴリズム６１が深層学習により学習される場合、検出アルゴリズム６１はニューラルネットワークにより構成されてもよい。

データ保持部６２は、撮像装置１１により撮像された画像のデータや、センサ１２により検知された情報や、入力装置１３から入力された情報などを格納する。

制御装置２０は、取得部２１、入力受付部２２、表示部２３、学習ユニット３０、検出ユニット４０、及び分析ユニット５０を備える。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩなどにより実現され、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、またはハードウエアとソフトウエアの組合せなど、いろいろな形で実現できることは、当業者には理解されるところである。

取得部２１は、撮像装置１１により時系列的に撮像された複数の画像を一連の画像群として取得する。取得部２１が撮像装置１１から取得するデータは、各画素の座標及び色情報からなる画素データを含む。取得部２１は、更に、赤外線カメラなどにより取得される温度データ、測距可能なカメラにより取得される距離又は深度データ、マイクロフォンにより取得される音圧データ、力センサにより取得される力の強度データなどを取得してもよい。取得部２１が取得するこれらのデータを総称して「動画」と呼ぶ。

取得部２１は、センサ１２により検知された情報をセンサ１２から取得する。取得部２１は、更に、対象者の性別、年齢、職業などの属性情報、対象者の価値観、経済的状況などの個人特性などの情報を、入力装置１３や図示しない通信装置などを介して取得する。

入力受付部２２は、入力装置１３により入力される情報を受け付けて、制御装置２０の各構成に伝達する。表示部２３は、制御装置２０の各構成により生成された表示画面を表示装置１４に表示する。

学習ユニット３０は、撮像装置１１により撮像された画像に含まれるオブジェクトの種類、状態、位置、及び数を検出するための検出アルゴリズム６１を学習する。学習ユニット３０は、学習データ作成部３１、ラベル取得部３２、及び学習部３３を含む。本実施の形態では、学習ユニット３０は、撮像装置１１により撮像されたオブジェクトの画像を使用して、画像中に含まれるオブジェクトの画像を抽出し、抽出したオブジェクトの画像にそのオブジェクトの種類及び状態を示すラベルを付与した教師データを作成し、教師あり深層学習により検出アルゴリズム６１を学習する。別の例では、他の任意の機械学習技術を利用して検出アルゴリズム６１を学習してもよい。例えば、学習ユニット３０は、教師なし深層学習により検出アルゴリズム６１を学習してもよい。

学習データ作成部３１は、検出アルゴリズム６１の学習に使用される学習データを作成する。学習データ作成部３１は、撮像装置１１により撮像された画像に含まれるオブジェクトの画像を抽出し、抽出されたオブジェクトの画像をオブジェクトの種類ごとに分類するとともに、それぞれの種類のオブジェクトの画像をオブジェクトの状態ごとに再分類する。

学習データ作成部３１は、予め撮像装置１１により撮像されてデータ保持部６２に格納されていた、食材や調理器具などを置いていない状態のキッチンの画像をデータ保持部６２から読み出して、取得部２１により取得された画像と比較し、それぞれの画像においてオブジェクトが撮像されている領域を背景差分法により抽出する。学習データ作成部３１は、再帰型ニューラルネットワーク（ＲＮＮ）を用いた深層学習や、境界検出技術など、既知の任意の技術を利用してオブジェクトの領域を抽出してもよい。

学習データ作成部３１は、抽出されたオブジェクトの画像データ群を、教師なし深層学習によりクラスタリングする。また、学習データ作成部３１は、撮像装置１１により撮像された時系列的な一連の画像群におけるオブジェクトの領域の中心位置を追跡し、抽出されたオブジェクトごとに一意の軌跡（トラックレット）を抽出する。

学習データ作成部３１は、抽出されたオブジェクトの画像データ群のクラスタリングと、抽出されたオブジェクトのトラックレットによる分類とのアンサンブル学習により、同一のオブジェクトのトラックレットをオブジェクトのクラスタごとに分離する。あるトラックレットに対応するオブジェクトの画像データ群が、２以上のクラスタにクラスタリングされている場合、それぞれのクラスタは、そのトラックレットに対応する同一のオブジェクトの異なる状態に対応するものであると推定される。

オブジェクトが食材である場合は、そのオブジェクトに対応するトラックレットの途中で、加工されたり調理されたりして形状が変化した場合などに、その前後の画像データ群が異なるクラスタにクラスタリングされうる。オブジェクトが調理器具である場合は、調理器具の方向が変化した場合などに、その前後の画像データ群が異なるクラスタにクラスタリングされうる。

ラベル取得部３２は、学習データ作成部３１によりクラスタリングされたオブジェクトの画像に対して付与すべきラベルの指定を入力装置１３から受け付ける。ラベル取得部３２は、オブジェクトの種類及び状態ごとにクラスタリングされたオブジェクトの画像を表示装置１４に表示し、オブジェクトの画像に対応するオブジェクトの種類及び状態の指定を入力装置１３から取得し、オブジェクトの画像にラベルとして付与する。これにより、複数の画像に含まれる同一の種類及び状態のオブジェクトの画像が集約されて、同一の種類及び状態のオブジェクトの画像の教師データとされる。誤ったオブジェクトの画像が抽出されていた場合は、誤ったオブジェクトの画像の指定を入力装置１３から受け付け、指定されたオブジェクトの画像を学習データから削除する。

学習部３３は、学習データ作成部３１により作成された学習データに、ラベル取得部３２により取得されたラベルが付与された教師データを使用して、教師あり深層学習により検出アルゴリズム６１を学習する。検出アルゴリズム６１は、撮像装置１１により撮像された画像を入力とし、その画像に含まれるオブジェクトの種類、状態、及び位置を出力とするニューラルネットワークにより構成される。学習部３３は、教師データとして入力された画像に類似する画像が検出アルゴリズム６１に入力されたときに、教師データに含まれるラベルにより示されるオブジェクトの種類及び状態が検出アルゴリズム６１から出力されるように、検出アルゴリズム６１を構成するニューラルネットワークの重みを調整する。

このように、対象者の行動中に、形状や色などが異なる状態に変化しうるオブジェクトであっても、状態ごとに異なる画像を教師データとして検出アルゴリズム６１を学習させるので、形状や色などが異なっていても同一のオブジェクトとして精度良く検出することができる。

本実施の形態の技術によれば、分析対象となる画像と同様にして撮像装置１１により撮像された画像から学習データを作成するので、検出精度を向上させることができる。検出精度を更に向上させるために、実際に分析する画像に含まれうる様々な状態のオブジェクトの画像の教師データを作成して検出アルゴリズム６１を学習させるのが望ましい。例えば、鍋やフライパンなどの器具は、通常、調理中に裏返しにされることはないが、器具を洗っている間や、水切りかごに入れている間などには裏返しにされることもあるので、裏返しにした状態の画像の教師データも使用して検出アルゴリズム６１を学習させる。また、食材についても、様々な切り方で切った状態の画像の教師データも使用して検出アルゴリズム６１を学習させる。

上記の例では、オブジェクトの画像をオブジェクトの種類及び状態ごとにクラスタリングしてからラベルを付与したが、別の例では、オブジェクトが含まれる画像を表示装置１４に表示し、その画像に含まれるオブジェクトの種類、状態、及び範囲の指定を入力装置１３から受け付けてもよい。例えば、画像に含まれるオブジェクトの範囲の指定を入力装置１３から受け付けるとともに、そのオブジェクトの種類及び状態を示すラベルの指定を入力装置１３から受け付けると、学習データ作成部３１は、指定された範囲の画像を切り出してオブジェクトの画像を作成し、ラベル取得部３２は、指定されたラベルをオブジェクトの画像に付与することにより教師データを作成してもよい。

検出ユニット４０は、撮像装置１１により撮像された画像に含まれるオブジェクトを検出する。検出ユニット４０は、オブジェクト検出部４１、集約・分離時処理部４２、及び非検出化時処理部４３を含む。

オブジェクト検出部４１は、学習ユニット３０により学習された検出アルゴリズム６１を使用して、分析対象の動画に含まれるオブジェクトの種類、状態、位置、及び数を検出する。オブジェクト検出部４１は、検出したオブジェクトの種類、状態、位置、及び数を示すデータを、データ保持部６２に格納する。

集約・分離時処理部４２は、１つのオブジェクトが複数に分離したこと、又は、複数のオブジェクトが１つに集約されたことが検出された場合、オブジェクトの種類に応じて、オブジェクトの分離又は集約の前後におけるオブジェクトの検出数を決定する。例えば、食材が切断されるなどして複数の部分に分離された場合、いずれかの部分を主オブジェクトとし、その他の部分を派生オブジェクトとしてラベルを付与し、検出された部分の数をオブジェクトの数とする。また、分離していた複数の部分が集約された場合、主オブジェクトの名称で統合し、オブジェクトの数を１とする。これにより、食材が加工される過程も的確に把握することができる。調理器具や食器などの器材が複数の部分に分離された場合、複数の部分をそれぞれ主オブジェクトとして扱い、分離される以前から複数のオブジェクトが存在していたものとして、分離された後の部分の数をオブジェクトの数とする。分離される前は、オクルージョン（隠れ）が発生していたものとして扱う。また、複数の部分がその後集約されたとしても、オクルージョンが発生したものとして、オブジェクトの数は検出された部分の数によらず不変であるものとする。リアルタイムに分析を行う場合、分離される以前は、検出されたオブジェクトの数をそのままオブジェクトの数とするが、分離された後は、検出された部分の数をオブジェクトの数とし、以降は不変であるものとする。これにより、器材の数を状態の変化によらず不変であるように扱うことができるので、器材の数の変化を的確に把握することができる。

非検出化時処理部４３は、複数の画像のうちいずれかにおいて検出されたオブジェクトが、その画像よりも後に撮像装置１１により撮像された別の画像において検出されなかった場合、オブジェクトの種類に応じて、そのオブジェクトが別のオブジェクトに付合した、又は、そのオブジェクトが別のオブジェクトに隠れて検出されなかったと判定する。例えば、食材においては、非検出時に料理に用いられていた場合、食材オブジェクトは料理オブジェクトに包含されるものとして扱う。非検出時に料理に用いられておらず、別のオブジェクトにより被覆され、被覆が除去されて再出現した場合、被覆していたオブジェクトと共に移動を行ったものとして、被覆していたオブジェクトの軌跡で補間する。調理器具においては、非検出時は被覆が行われたものとして、被覆していたオブジェクトと共に移動を行ったものとして補間する。検出されなかったオブジェクトを被覆するオブジェクトを選択する際には、検出されなかったオブジェクトが最後に検出された消失点と、再度検出された出現点に近接する位置に検出された別のオブジェクトの中から、尤もらしいオブジェクトを選択する。尤もらしいオブジェクトは、例えば、検出されなかったオブジェクトよりもサイズの大きいオブジェクト、他のオブジェクトを内包しうる鍋や容器などのオブジェクトなどであってもよい。

分析ユニット５０は、検出ユニット４０により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する。分析ユニット５０は、移動軌跡生成部５１、パターン分類部５２、及び分析結果出力部５３を含む。分析ユニット５０は、異なる複数の条件のそれぞれにおいて撮像装置１１により時系列的に撮像された複数の動画の間で、それぞれの動画におけるオブジェクトの種類、状態、位置、又は数の変化の異同を分析する。

移動軌跡生成部５１は、検出ユニット４０により検出されたオブジェクトの移動軌跡を生成する。移動軌跡生成部５１は、動画中に検出されたオブジェクトの中心位置の座標を時系列的につなぐことにより、オブジェクトの移動軌跡を生成する。オブジェクトの状態によらない統合的なオブジェクトの移動軌跡を生成してもよいし、オブジェクトの状態ごとに異なる移動軌跡を生成してもよい。また、動画の途中で分離又は集約したオブジェクトの統合的な移動軌跡を生成してもよいし、分離した部分ごとに異なる移動軌跡を生成してもよい。

パターン分類部５２は、複数の動画のそれぞれにおけるオブジェクトの種類、状態、位置、又は数の変化、オブジェクトの出現又は消失のタイミング、オブジェクトの移動又は滞留のタイミング、オブジェクトの検出時間、検出頻度、移動距離などのパターンを、複数の動画の間で分類又はクラスタリングする。パターン分類部５２は、パターンを機械学習により分類又はクラスタリングしてもよい。例えば、教師あり深層学習により分類してもよいし、教師なし深層学習によりクラスタリングしてもよい。パターン分類部５２は、撮像装置１１により複数の動画が撮像されたときのオブジェクト、対象者、又は対象者の周囲の環境の状態を示す状態量に更に基づいて、オブジェクトの種類、状態、位置、又は数の変化のパターンを分類又はクラスタリングすることにより、対象者の行動を分析してもよい。

分析結果出力部５３は、移動軌跡生成部５１により生成されたオブジェクトの移動軌跡や、パターン分類部５２により分類されたパターンなど、分析ユニット５０による分析結果を出力する。出力された分析結果は、制御装置１００、情報提供サーバ２００、商品販売サーバ３００、使用者端末４００、及び開発者端末５００などにおいて利用される。

例えば、分析結果出力部５３は、調理に関する情報を提供する情報提供サーバ２００に分析結果を出力してもよい。情報提供サーバ２００は、調理者の調理行動を分析した結果を取得し、調理行動パターンに合わせたリアルタイムな情報提示により調理者の動作を誘導したり、調理後に分析結果をフィードバックしたりすることができる。情報提供サーバ２００は、プロジェクター、組み込みディスプレイ、タブレット端末、照明装置、音声出力装置などを用いて、文章、画像、動画、照度差などにより情報を提供してもよい。

分析結果出力部５３は、キッチンに設けられた各種の機器や設備などを制御する制御装置１００に分析結果を出力してもよい。制御装置１００は、調理者の調理行動を分析した結果を取得し、調理行動パターンに合わせて機器や設備を制御することができる。制御装置１００は、例えば、吐水装置からの吐水の流量・水圧・吐水口形状などを制御したり、換気扇のオンオフなどを制御したり、照明装置のオンオフ又は照度を制御したり、加熱機器のオンオフ又は温度を制御したりしてもよい。

分析結果出力部５３は、キッチンなどの商品の設計や開発などの担当者が使用する開発者端末５００に分析結果を出力してもよい。これにより、調理者の調理行動のパターンに合わせたキッチンの構成などを設計又は開発するために有用な情報を開発者に提供することができる。分析結果出力部５３は、使用者端末４００に分析結果を出力してもよい。これにより、使用者が自身の行動を決定又は改善するために有用な情報を提供することができる。分析結果出力部５３は、商品販売サーバ３００に分析結果を出力してもよい。これにより、購入者が購入する商品を決定するために有用な情報を提供することができる。

検出ユニット４０により誤ったオブジェクトが検出された場合や、検出されたオブジェクトの種類又は状態が誤っていた場合には、学習ユニット３０にその情報を供給して、検出アルゴリズム６１を再学習させてもよい。例えば、ラベル取得部３２は、誤って検出されたオブジェクトの画像に付与すべき正しいラベルの指定を入力装置１３から受け付け、正しいラベルを付与したオブジェクトの画像を教師データとして生成する。学習部３３は、生成された教師データを使用して検出アルゴリズム６１を学習させる。これにより、誤検出を低減させ、検出精度を更に向上させることができる。

検出アルゴリズム６１を学習するための構成は、分析装置１０とは別に設けられてもよい。この場合、分析装置１０は、検出アルゴリズム６１を学習する学習装置から、学習済みの検出アルゴリズム６１を取得して記憶装置６０に格納する。学習装置により検出アルゴリズム６１が再学習される場合は、分析装置１０は、更新された検出アルゴリズム６１を学習装置から再取得してもよい。

図３は、撮像装置により撮像された画像の例を示す。図３（ａ）は、キッチン８０の上面に食材や器具などが置かれていない状態のキッチン８０の画像を示す。図３（ｂ）は、キッチン８０の上面に食材や器具などが置かれた状態のキッチン８０の画像を示す。学習データ作成部３１は、図３（ａ）に示した画像と図３（ｂ）に示した画像の差分から、食材８１や器具８２などのオブジェクトを抽出し、学習データを作成する。

図４は、学習データに付与されるラベルの例を示す。ラベルは、大分類、中分類、小分類に階層化されており、それぞれの分類は、オブジェクトの種類又は状態を表す。図４の例では、オブジェクトは、まず、大分類として、「食材」、「調味料」などの種類に分類される。大分類が「食材」であるオブジェクトは、更に中分類として、「白米」、「大根」などの種類に分類される。中分類が「白米」であるオブジェクトは、更に小分類として、米びつなどの容器に入った状態を表す「容器」、ざるなどに入れてといでいる状態を表す「とぎ中」、炊飯器により炊き上がった後の状態を表す「炊き上がり」などの状態に分類される。また、中分類が「計量スプーン」であるオブジェクトは、更に小分類として、５ｍｌを計量する青色のスプーンであることを表す「５＿青」、２．５ｍｌを計量する赤色のスプーンであることを表す「２．５＿赤」などの種類に分類される。このように、必要に応じて、大分類、中分類、小分類が更に複数の階層に分類されてもよい。本実施の形態では、階層化された分類を表すラベルを付与した教師データを使用して検出アルゴリズム６１を学習するので、検出アルゴリズム６１を使用して画像からオブジェクトを検出することにより、自動的にオブジェクトを階層的に分類することができる。

図５は、複数の対象者が同じ料理を調理する様子を撮像した動画における調理器具の検出数の時間変化を示す。図５（ａ）〜（ｆ）は、それぞれ、対象者Ａ〜Ｆが調理したときの調理器具の検出数の時間変化を示す。対象者Ａ及びＢでは、調理中に調理器具の検出数が増加と減少を繰り返す波形のパターンを示した。対象者Ｃ及びＤでは、調理中に調理器具の検出数が単調増加するパターンを示した。対象者Ｅ及びＦでは、調理の終盤において調理器具の検出数が急激に減少するパターンを示した。

図６は、図５と同じ動画における調理器具の移動軌跡を示す。図６（ａ）〜（ｆ）は、それぞれ、対象者Ａ〜Ｆが調理したときのフライパンの移動軌跡を示す。調理器具の検出数が増加と減少を繰り返すパターンを示した対象者Ａ及びＢでは、フライパンが加熱機器とシンクの間を何度も行き来しているが、調理器具の検出数が単調増加するパターンを示した対象者Ｃ及びＤでは、フライパンをあまり移動させていないことが分かる。

このように、本実施の形態の分析装置１０は、複数の対象者の行動を撮像した複数の動画を効率良く分析することができるので、商品などの使用者の行動パターンをより精確に把握し、商品開発や商品の使用態様の提案などに役立てることができる。

以上、実施の形態に基づき本発明を説明したが、実施の形態は、本発明の原理、応用を示すにすぎない。また、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能である。

実施の形態においては、検出ユニット４０は、撮像装置１１により撮像された静止画像に含まれるオブジェクトを検出したが、別の例では、検出ユニット４０は、撮像装置１１により撮像された動画像に含まれるオブジェクトの動きや人などの動作を検出してもよい。この場合、検出アルゴリズム６１は、動画像を直接入力し、動画像に含まれるオブジェクトの種類、状態、位置、数、オブジェクトの出現又は消失のタイミング、オブジェクトの移動又は滞留のタイミング、オブジェクトの検出時間、オブジェクトの検出頻度、又はオブジェクトの移動距離や、人などの動作又は状態などを含むメタデータを推定し、推定されたメタデータを動画像に付与するものであってもよく、分析ユニット５０は、動画像に付与されたメタデータに基づいて、対象者の行動を分析してもよい。検出アルゴリズム６１は、動画像と、動画像に含まれるオブジェクトの種類、状態、位置、数、オブジェクトの出現又は消失のタイミング、オブジェクトの移動又は滞留のタイミング、オブジェクトの検出時間、オブジェクトの検出頻度、又はオブジェクトの移動距離や、人などの動作又は状態などを含むメタデータとを学習データとして、機械学習により学習されてもよい。検出アルゴリズム６１は、更に、撮像装置１１以外の周辺機器からのセンサー情報をマルチモーダルに用いて学習されてもよい。この場合、検出ユニット４０は、撮像装置１１により撮像された動画像に加えて、撮像装置１１以外の周辺機器からのセンサー情報をマルチモーダルに用いて動画像に付与すべきメタデータを推定してもよい。

実施の形態においては、キッチンで調理する様子を撮像した動画を分析する例について説明したが、本実施の形態の技術は、商品を使用する使用者の行動を撮像した動画や、商品を製造する工場などにおける製造ラインの動画や、建材を施工する施工現場において建材が施工される様子を撮像した動画など、任意の動画を分析するために利用可能である。

以上の実施形態、変形例により具体化される発明を一般化すると、以下の技術的思想が導かれる。

本発明のある態様の分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、を備える。この態様によると、撮像された画像に含まれるオブジェクトの種類、状態、位置、及び数を高精度に検出することができるので、オブジェクトの種類、状態、位置、又は数の変化を的確に分析することができる。

分析装置は、検出アルゴリズムを機械学習により学習する学習部を更に備えてもよい。この態様によると、オブジェクトの種類、状態、位置、及び数を検出する精度を更に向上させることができる。

学習部は、撮像装置により撮像されたオブジェクトの画像を使用した機械学習により検出アルゴリズムを学習してもよい。この態様によると、オブジェクトの種類、状態、位置、及び数を検出する精度を更に向上させることができる。

学習部は、撮像装置により撮像されたオブジェクトの画像と、画像に含まれるオブジェクトの種類及び状態を示すラベルとを含む学習データを使用した機械学習により検出アルゴリズムを学習してもよい。この態様によると、オブジェクトの種類、状態、位置、及び数を検出する精度を更に向上させることができる。

学習部は、撮像装置により撮像されたオブジェクトの画像をクラスタリングし、クラスタリングされたオブジェクトの画像ごとに、そのオブジェクトの種類及び状態を示すラベルを付与することにより、前記学習データを作成してもよい。この態様によると、オブジェクトの種類、状態、位置、及び数を検出する精度を更に向上させることができる。

検出部は、１つのオブジェクトが複数に分離したこと、又は、複数のオブジェクトが１つに集約されたことが検出された場合、オブジェクトの種類に応じて、オブジェクトの分離又は集約の前後におけるオブジェクトの検出数を決定してもよい。この態様によると、オブジェクトの種類に応じて、的確な分析を行うことができる。

検出部は、複数の画像のうちいずれかにおいて検出されたオブジェクトが、その画像よりも後に撮像装置により撮像された別の画像において検出されなかった場合、オブジェクトの種類に応じて、そのオブジェクトが別のオブジェクトに付合した、又は、そのオブジェクトが別のオブジェクトに隠れて検出されなかったと判定してもよい。この態様によると、オブジェクトの種類に応じて、的確な分析を行うことができる。

分析部は、異なる複数の条件のそれぞれにおいて撮像装置により時系列的に撮像された複数の画像群の間で、それぞれの画像群におけるオブジェクトの種類、状態、位置、又は数の変化の異同を分析してもよい。この態様によると、様々な条件下でのオブジェクトの種類、状態、位置、又は数の変化を的確に分析することができる。

分析部は、それぞれの画像群におけるオブジェクトの種類、状態、位置、又は数の変化、オブジェクトの出現又は消失のタイミング、オブジェクトの移動又は滞留のタイミング、オブジェクトの検出時間、オブジェクトの検出頻度、又はオブジェクトの移動距離のパターンを、複数の画像群の間で分類又はクラスタリングしてもよい。この態様によると、様々な条件下でのオブジェクトの種類、状態、位置、又は数の変化のパターンを的確に分析することができる。

分析部は、パターンを機械学習により分類又はクラスタリングしてもよい。この態様によると、様々な条件下でのオブジェクトの種類、状態、位置、又は数の変化のパターンをより精度良く分析することができる。

オブジェクトは、対象者の体の部位、又は、対象者により移動可能な物体であり、分析部は、オブジェクトの種類、状態、位置、又は数の変化、オブジェクトの出現又は消失のタイミング、オブジェクトの移動又は滞留のタイミング、オブジェクトの検出時間、オブジェクトの検出頻度、又はオブジェクトの移動距離から、対象者の行動を分析してもよい。この態様によると、対象者の行動を的確に分析することができる。

検出部は、撮像装置により撮像された動画像に対して付与すべきメタデータを推定し、推定されたメタデータを動画像に付与し、分析部は、動画像に付与されたメタデータに基づいて、対象者の行動を分析してもよい。この態様によっても、対象者の行動を的確に分析することができる。

分析部は、撮像装置により複数の画像が撮像されたときのオブジェクト、対象者、又は対象者の周囲の環境の状態を示す状態量に更に基づいて、オブジェクトの種類、状態、位置、又は数の変化、又は対象者の行動を分析してもよい。この態様によると、オブジェクトの種類、状態、位置、又は数の変化、又は対象者の行動をより的確に分析することができる。

本発明の別の態様の分析システムは、対象者の行動を分析するための分析装置と、対象者の周囲の機器又は環境を制御する制御装置と、を備え、分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、分析部による分析結果を制御装置へ出力する出力部と、を備え、制御装置は、分析装置から取得した分析結果に応じて機器又は環境を制御する。この態様によると、対象者の行動に応じて、対象者の周囲の機器又は環境を制御することができるので、対象者の行動を適切に支援することができる。

制御装置は、分析結果に応じて選択された情報を対象者に提示してもよい。この態様によると、対象者の行動に応じて、的確な情報を提示することができるので、対象者の行動を適切に支援することができる。

制御装置は、分析結果に応じて選択された、対象者に推奨される行動に関する情報を対象者に提示してもよい。この態様によると、対象者の行動に応じて、推奨される行動を的確に提示することができるので、対象者の行動を適切に支援することができる。

本発明の更に別の態様の分析システムは、対象者の行動を分析するための分析装置と、対象者、対象者が購入する商品の販売者、又は商品の開発者に情報を提供する情報提供装置と、を備え、分析装置は、撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、一連の画像群の間で、検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、分析部による分析結果を情報提供装置へ出力する出力部と、を備え、情報提供装置は、分析装置から取得した分析結果を対象者、販売者、又は開発者に提供する。この態様によると、対象者の行動に応じて、的確な情報を提示することができるので、対象者、販売者、開発者などを適切に支援することができる。

１ 分析システム、３ 対象者、１０ 分析装置、１１ 撮像装置、１２ センサ、１３ 入力装置、１４ 表示装置、２０ 制御装置、２１ 取得部、２２ 入力受付部、２３ 表示部、３０ 学習ユニット、３１ 学習データ作成部、３２ ラベル取得部、３３ 学習部、４０ 検出ユニット、４１ オブジェクト検出部、４２ 集約・分離時処理部、４３ 非検出化時処理部、５０ 分析ユニット、５１ 移動軌跡生成部、５２ パターン分類部、５３ 分析結果出力部、６０ 記憶装置、６１ 検出アルゴリズム、６２ データ保持部、８０ キッチン、８１ 食材、８２ 器具、８３ 表示装置、１００ 制御装置、２００ 情報提供サーバ、３００ 商品販売サーバ、４００ 使用者端末、５００ 開発者端末。

Claims (18)

1. 撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、
   機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、前記取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、
   前記一連の画像群の間で、前記検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、
   を備えることを特徴とする分析装置。
2. 前記検出アルゴリズムを機械学習により学習する学習部を更に備えることを特徴とする請求項１に記載の分析装置。
3. 前記学習部は、前記撮像装置により撮像されたオブジェクトの画像を使用した機械学習により前記検出アルゴリズムを学習することを特徴とする請求項２に記載の分析装置。
4. 前記学習部は、前記撮像装置により撮像されたオブジェクトの画像と、前記画像に含まれるオブジェクトの種類及び状態を示すラベルとを含む学習データを使用した機械学習により前記検出アルゴリズムを学習することを特徴とする請求項３に記載の分析装置。
5. 前記学習部は、前記撮像装置により撮像されたオブジェクトの画像をクラスタリングし、クラスタリングされたオブジェクトの画像ごとに、そのオブジェクトの種類及び状態を示すラベルを付与することにより、前記学習データを作成することを特徴とする請求項４に記載の分析装置。
6. 前記検出部は、１つのオブジェクトが複数に分離したこと、又は、複数のオブジェクトが１つに集約されたことが検出された場合、オブジェクトの種類に応じて、オブジェクトの分離又は集約の前後におけるオブジェクトの検出数を決定することを特徴とする請求項１から５のいずれかに記載の分析装置。
7. 前記検出部は、前記複数の画像のうちいずれかにおいて検出されたオブジェクトが、その画像よりも後に前記撮像装置により撮像された別の画像において検出されなかった場合、オブジェクトの種類に応じて、そのオブジェクトが別のオブジェクトに付合した、又は、そのオブジェクトが別のオブジェクトに隠れて検出されなかったと判定することを特徴とする請求項１から６のいずれかに記載の分析装置。
8. 前記分析部は、異なる複数の条件のそれぞれにおいて前記撮像装置により時系列的に撮像された複数の画像群の間で、それぞれの画像群における前記オブジェクトの種類、状態、位置、又は数の変化の異同を分析することを特徴とする請求項１から７のいずれかに記載の分析装置。
9. 前記分析部は、それぞれの画像群における前記オブジェクトの種類、状態、位置、又は数の変化、前記オブジェクトの出現又は消失のタイミング、前記オブジェクトの移動又は滞留のタイミング、前記オブジェクトの検出時間、前記オブジェクトの検出頻度、又は前記オブジェクトの移動距離のパターンを、前記複数の画像群の間で分類又はクラスタリングすることを特徴とする請求項８に記載の分析装置。
10. 前記分析部は、前記パターンを機械学習により分類又はクラスタリングすることを特徴とする請求項９に記載の分析装置。
11. 前記オブジェクトは、対象者の体の部位、又は、前記対象者により移動可能な物体であり、
    前記分析部は、前記オブジェクトの種類、状態、位置、又は数の変化から、前記対象者の行動を分析することを特徴とする請求項１から１０のいずれかに記載の分析装置。
12. 前記検出部は、前記撮像装置により撮像された動画像に対して付与すべきメタデータを推定し、推定されたメタデータを前記動画像に付与し、
    前記分析部は、前記動画像に付与されたメタデータに基づいて、対象者の行動を分析することを特徴とする請求項１から１１のいずれかに記載の分析装置。
13. 前記分析部は、前記撮像装置により前記複数の画像が撮像されたときの前記オブジェクト、前記対象者、又は前記対象者の周囲の環境の状態を示す状態量に更に基づいて、前記オブジェクトの種類、状態、位置、又は数の変化、前記オブジェクトの出現又は消失のタイミング、前記オブジェクトの移動又は滞留のタイミング、前記オブジェクトの検出時間、前記オブジェクトの検出頻度、又は前記オブジェクトの移動距離、又は前記対象者の行動を分析することを特徴とする請求項１１又は１２に記載の分析装置。
14. コンピュータを、
    撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部、
    機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、前記取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部、
    前記一連の画像群の間で、前記検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部、
    として機能させるための分析プログラム。
15. 対象者の行動を分析するための分析装置と、
    前記対象者の周囲の機器又は環境を制御する制御装置と、
    を備え、
    前記分析装置は、
    撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、
    機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、前記取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、
    前記一連の画像群の間で、前記検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、
    前記分析部による分析結果を前記制御装置へ出力する出力部と、
    を備え、
    前記制御装置は、
    前記分析装置から取得した分析結果に応じて前記機器又は環境を制御する
    ことを特徴とする分析システム。
16. 前記制御装置は、前記分析結果に応じて選択された情報を前記対象者に提示することを特徴とする請求項１５に記載の分析システム。
17. 前記制御装置は、前記分析結果に応じて選択された、前記対象者に推奨される行動に関する情報を前記対象者に提示することを特徴とする請求項１６に記載の分析システム。
18. 対象者の行動を分析するための分析装置と、
    前記対象者、前記対象者が購入する商品の販売者、又は前記商品の開発者に情報を提供する情報提供装置と、
    を備え、
    前記分析装置は、
    撮像装置により時系列的に撮像された複数の画像を一連の画像群として取得する取得部と、
    機械学習により学習された、画像に含まれるオブジェクトを検出するための検出アルゴリズムを使用して、前記取得部により取得された複数の画像のそれぞれに含まれるオブジェクトの種類、状態、位置、及び数を検出する検出部と、
    前記一連の画像群の間で、前記検出部により検出されたオブジェクトの種類、状態、位置、又は数の変化を分析する分析部と、
    前記分析部による分析結果を前記情報提供装置へ出力する出力部と、
    を備え、
    前記情報提供装置は、
    前記分析装置から取得した分析結果を前記対象者、前記販売者、又は前記開発者に提供する
    ことを特徴とする分析システム。