JP2022143047A - 行動予測モデル生成装置、行動予測装置、行動予測モデル生成システム、行動予測モデル生成方法及びプログラム - Google Patents

Abstract

【課題】システムの構築コストを増大させることなく、ハイクオリティな生物の行動予測モデルを生成する。【解決手段】生物用センサ１０にて、観察対象生物の移動に伴う加速度の変化を示すセンサデータを取得するとともに、観察者が入力装置２０に入力した観察対象生物の行動分類を示す第１動作識別子と、入力装置２０により当該観察対象生物を撮影した動画像データを取得し、センサデータと第１動作識別子を対応付けて第１学習用データを生成する。そして、動画像データに含まれる動きベクトルに基づき、観察対象生物の行動を推定しつつ、第１学習用データに含まれる第１動作識別子を補正して、補正後の学習用データに基づき機械学習及びデータマイニングの少なくとも一方を実施して、行動予測モデルを生成する。【選択図】図１

Description

本発明は、人間を含む観察対象生物の行動を予測する際に利用する行動予測モデルを生成する行動予測モデル生成装置及び当該行動予測モデル生成装置により生成された行動予測モデルを搭載した行動予測装置などに関する。

近年、ディープラーニング等の機械学習手法の飛躍的な発展とＡＩ（人工知能）の急速な性能向上に伴い、動物行動学の分野にＡＩを導入して、各種生物の行動を予測する研究が進められている。この種の行動予測を行うためのシステムにおいては、学習用データ（「教師データ」、「トレーニングデータ」とも呼ばれる。）を入力することにより行動予測モデルを機械学習して、生物の行動予測が行われる（例えば、非特許文献１）。

従来、この種の行動予測用モデルは、観察者による生物の行動観察に基づき作成した学習用データを用いつつ機械学習を行って生成することが一般的となっている（非特許文献１）。また、入力されたデータを予め定められた幾つかの分類に自動分類するデータ分類装置も提案されており（例えば、特許文献１）、将来的にはこのデータ分類装置を生物の行動予測モデルの生成に応用することにより、自動的に学習用データを作成して、行動予測モデル生成時の労力を削減することも考えられる。

特開２０１０－０７２７７９号公報

東京工業大学、中臺研究室、"動物行動学 検索［令和３年２月２４日検索］、インターネット＜ＵＲＬ:ｈｔｔｐｓ：／／ｗｗｗ．ｎａｋａｄａｉ．ｏｒｇ／ｒｅｓｅａｒｃｈ／ｅｔｈｏｌｏｇｙ／

しかしながら、上記特許文献１に記載の装置は、データ収集自体を自動化する構成を採用しているため、システム構成が非常に複雑であり、システム構築時のイニシャルコストを削減することが難しい。

本発明は、上記課題を解決するためになされたものであり、その目的は、システム構築時のイニシャルコストを増大させることなく、クオリティの高い生物の行動予測モデルを生成可能な行動予測モデル生成装置等を提供することにある。

（１）上述した課題を解決するため、本発明の行動予測モデル生成装置は、観察対象生物の行動を予測するために用いる行動予測モデルを生成する行動予測モデル生成装置であって、前記観察対象生物に装着され、（Ａ）当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータと、（Ｂ）当該センサデータの取得タイミングを示す取得日時情報と、を対応付けて生成するセンサから前記センサデータ及び前記取得日時情報を取得する第１取得手段と、（ａ）当該観察対象生物を観察するユーザの入力操作によって決定される情報であって、当該観察対象生物の行動を複数の行動分類の何れかに割り当てることにより定義付ける第１行動分類情報と、（ｂ）当該第１行動分類情報の入力タイミングを示す入力日時情報と、を対応付けて生成する入力装置から前記第１行動分類情報及び前記入力日時情報を取得する第２取得手段と、前記取得された取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された前記センサデータと前記第１行動分類情報を対応付けつつ、第１学習用データを生成する第１生成手段と、当該観察対象生物が被写体として写り込んだ複数のフレーム画像からなる動画像データであって、前記フレーム画像おいて当該観察対象生物の写り込んだ画素領域の動きを示す動きベクトルを含む動画像データを取得する第３取得手段と、前記取得した動画像データに含まれる動きベクトルに基づき、当該観察対象生物の行動が前記行動分類の何れに該当するのかを推定するための第１知識が予め記録される第１記録手段と、前記第１知識と前記動きベクトルに基づき、当該観察対象生物の行動が、前記行動分類の何れに該当するのかを推定する推定手段と、（１）前記第１行動分類情報によって示される行動分類と、（２）当該第１行動分類情報の入力タイミングと略同一のタイミングで撮影された前記フレーム画像に対応する動きベクトルから推定された行動分類と、が異なる場合に、前記第１学習用データに含まれる第１行動分類情報を当該推定された行動分類を示す第２行動分類情報によって置換しつつ、第２学習用データを生成する第２生成手段と、前記第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより前記観察対象生物の行動予測モデルを生成する学習手段と、を具備する構成を有する。

この構成により、本発明の行動予測モデル生成装置は、観察対象生物に装着されたセンサから当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を含むセンサデータと取得日時情報を取得するとともに、観察者が観察対象生物を観察しつつ、当該生物の行動を複数の行動分類（例えば、歩行、走行、停止、採食、睡眠等の行動分類）の何れかに割り当てる入力操作を行うことにより入力装置にて生成された第１行動分類情報と入力日時情報を入力装置から取得する。

そして、本発明の行動予測モデル生成装置は、当該取得した入力日時情報と取得日時情報に基づき、略同一のタイミングにて生成されたセンサデータと第１行動分類情報を紐付けることにより第１学習用データを生成する。この第１学習用データは、観察者が手入力した観察対象生物の行動分類と、センサデータを紐付けたものであり、この第１学習用データに基づき機械学習及びデータマイニングの少なくとも一方を実行することにより、センサデータのみに基づいて、観察対象生物の行動が何れの行動分類に属するのかを推定するために利用可能な行動予測モデルを生成することができる。なお、行動予測モデル生成装置において行動予測モデルを生成する際の具体的な学習方法は任意であり、例えば、第２学習用データを教師データとしてコンボリューショナルニューラルネットワーク（畳み込みニューラルネットワークともいう）に入力し、教師あり学習を行う構成としてもよい。また、教師なし学習や半教師あり学習、トランスダクティブ学習、強化学習、マルチタスク学習など、各種の方法を用いるようにしてもよい。

ここで、第１行動分類情報は、観察者となるユーザが観察対象生物を観察しつつ、その行動状態（すなわち、行動分類）を手入力した情報であるため、（１）観察者が行動の変化を見逃した場合や（２）実際の行動変化タイミングに対して入力タイミングがずれてしまった場合（すなわち、入力タイミングが実際の行動変化よりも早い場合又は遅れた場合）等が発生すると、観察対象生物における実際の行動と第１行動分類情報の示す行動分類が不一致となり、学習用データの精度が低下する可能性がある。学習用データを用いて生成される行動予測モデルは、利用する学習用データの精度に応じてクオリティが大きく変化するので、第１学習用データのみに基づいて、行動予測モデルを生成した場合には、行動予測モデルのクオリティが低下する可能性を排除できない。

一方、本発明の行動予測モデル生成装置は、観察対象生物を被写体とした動画像を撮影し、当該動画像に対してフレーム間予測符号化（例えば、Ｈ．２６４やＨ．２６５等）を施す際に得られる動きベクトルを含む動画像データを取得して、当該動画像データに含まれる動きベクトルと第１知識に基づき、当該観察対象生物の行動が何れの行動分類に属するのかを推定しつつ、当該推定された行動分類と第１行動分類情報の示す行動分類が不一致の場合に、当該推定された行動分類を示す第２行動分類情報によって第１学習用データに含まれる第１行動分類情報を第２行動分類情報により置換しつつ第２学習用データを生成し、当該第２学習用データに基づき行動予測モデルを生成する構成となっている。

この構成により、本発明の行動予測モデル生成装置は、観察者の入力ミス等によって観察対象生物の実際の行動とは異なる第１行動分類情報が入力された場合であっても、精度の高い第２学習用データを生成しつつ、当該第２学習用データを用いて行動予測モデルを生成することができる。従って、本発明の行動予測モデル生成装置によれば、非常にクオリティの高い行動予測モデルを生成することができる。また、本発明の行動予測モデル生成装置は、観察対象生物に装着されたセンサと、入力装置と、を有線又は無線にて接続することによって通常のＰＣ（パーソナルコンピュータ）を用いて実現できるので、非常に低コストに行動予測モデルを生成することができる。なお、第１知識の具体的な取得方法に関しては後に詳述する。

（２）また、請求項１に記載の構成において、前記センサが、前記観察対象生物に装着された加速度センサであり、前記第１取得手段が、当該観察対象生物の行動に伴う加速度の変化状態を示す信号を前記センサデータとして取得する、構成を採用してもよい。

この構成により本発明の行動予測モデル生成装置は、観察対象生物に装着されたセンサから当該観察対象生物の移動に伴う加速度の変化状況を示すセンサデータを取得して、加速度の情報から行動予測モデルを生成することができる。加速度センサは、小型、軽量であり、且つ、低コストに製造して利用可能なものであるため、観察対象生物に肉体的、精神的な苦痛を与えることなく、犬猫等のペットや牛、豚鶏等の家畜、野生動物、人間等の多種多様な生物の行動予測モデルを低コストに生成することができる。

（３）また、請求項１又は２に記載の構成において、前記第１取得手段が、前記センサの現在地を示す第１位置情報を前記センサデータ及び前記取得日時情報と対応付けつつ取得するとともに、前記第２取得手段が、前記入力装置の現在地を示す第２位置情報を、前記第１行動分類情報及び前記入力日時情報と対応付けつつ取得し、前記第２生成手段が、前記第１位置情報及び第２位置情報により示される両装置の位置が所定距離以上離れている場合に、前記第１学習用データに含まれる第１行動分類情報により示される行動分類と、前記動きベクトルから推定された行動分類を比較することなく、当該第１行動分類情報を、当該推定結果を示す前記第２行動分類情報によって置換しつつ、第２学習用データを生成する構成としてもよい。

入力装置は、観察者が手に持って第１行動分類情報を入力するものであるため、入力装置と観察対象生物に装着されたセンサが所定距離以上（例えば、４０ｍ以上）離れている場合、観察者から観察対象生物の詳細な行動が確認できない状態になっている可能性がある。一方、動画像は、例えば、カメラの望遠機能又は画像の拡大によって、観察対象生物の行動を確実に識別可能な状態で撮影できるため、動画像データに含まれる動きベクトルから推定される第２行動分類情報の方が観察者の入力した第１行動分類情報よりも高い正確性を担保できる。従って、本構成によれば、行動分類の比較のための処理負担を軽減しつつ精度の高い第２学習用データを生成し、ハイクオリティな行動予測モデルを生成することができる

（４）また、請求項１～３の何れか１項に記載の構成において、前記第３取得手段が、前記入力装置に設けられた撮影手段によって撮影された前記動画像に対応する動画像データを取得する構成としてもよい。

この構成により、本発明の行動予測モデル生成装置は、観察者が手にしている入力装置によって観察対象生物を撮影すれば、当該撮影された動画像データに含まれる動きベクトルに基づいて第２学習用データを生成できるので、簡単に且つ確実に観察対象生物の写り込んだ動画像を撮影できるとともに、動画像を撮影するための特別な装置も必要とならない。従って、本構成によれば非常に低コストにハイクオリティな行動予測モデルを生成することができる。なお、本発明において撮影手段となるカメラモジュールは、入力装置の他、例えば、ラジコンのヘリコプターや飛行機、自動車、ドローン等に搭載する構成とすることができる。この構成を採用した場合には、例えば、人間や野生動物等、行動範囲の広い生物を観察対象とした場合にも、当該生物を確実に撮影しつつ、ハイクオリティな行動予測モデルを生成できる。

（５）また、請求項４に記載の構成において、前記第３取得手段が、前記動画像データとともに前記入力装置の加速度を示す加速度情報を取得し、当該加速度情報によって示される前記入力装置の加速度値が所定の閾値を超えた場合に、当該閾値を超えた第１タイミングから所定の第２タイミングまでの期間中、前記動画像データの取得を停止し、前記第２生成手段が、当該期間中に関しては、前記第１学習用データに含まれる第１行動分類情報の置換を停止し、前記学習手段が、当該期間中に関しては、前記第２学習用データに換えて、前記第１学習用データをそのままの状態で利用しつつ、機械学習及びデータマイニングの少なくとも一方を実行することにより、前記行動予測モデルを生成する構成を採用してもよい。

入力装置に動画像撮影用のカメラモジュールを搭載した場合には、第１行動分類情報の入力中に観察者が突然入力装置の向きを急に変化させたり、或いは、急に電話の着信が入って、入力装置を地面や床に置く可能性がある。このような場合には、観察対象生物の写り込んでいないフレーム画像やピントの合っていないフレーム画像が撮影されてしまうため、動画像データに含まれる動きベクトルに基づいて、推定される観察対象生物の行動分類は、信頼性を欠くことになる。従って、本構成により、入力装置に加速度センサ等のセンサを設け、入力装置の急な動きが検知された場合には、当該検知タイミングから所定の第２タイミングまでの期間中に関しては、高い信頼性を確保可能な観察者の入力情報（すなわち、第１行動分類情報）に基づいて生成される第１学習用データを第２学習用データに換えて利用することによって、よりハイクオリティな行動予測モデルを生成することができる。なお、第２タイミングの規定方法に関しては、任意であり、観察者が、入力装置に対して、所定の入力操作（例えば、撮影再開の入力操作）を行ったタイミングを第２タイミングとしてもよく、急な動きの検知タイミングから所定期間（例えば、数十秒間～数分間）を第１行動分類情報の置換禁止期間として予め設定しておき、当該期間の終了タイミングを第２タイミングとしてもよい。要は、入力装置の急な動きが検知された後の所定期間に関しては、第１行動分類情報を第２行動分類情報に置換することを停止して、第１学習用データをそのまま利用しつつ、行動予測モデルを生成する構成とすればよい。

（６）また、請求項４に記載の構成において、前記動きベクトルが所定の閾値を超えたか否かを判定する判定手段をさらに有し、前記第３取得手段が、前記動きベクトルが前記閾値を超えた場合に、当該超えた第１タイミングから、所定の第２タイミングまでの期間中、前記動画像データの取得を停止し、前記第２生成手段が、当該期間中に関しては、前記第１学習用データに含まれる第１行動分類情報の置換を停止し、前記学習手段が、当該期間中に関しては、前記第２学習用データに換えて、前記第１学習用データをそのままの状態で利用しつつ、機械学習及びデータマイニングの少なくとも一方を実行することにより、前記行動予測モデルを生成する構成としてもよい。

上記のように観察者が急に入力装置を動かした場合、動画像データに含まれる動きベクトルは、非常に大きな変化を示すものとなるとともに、当該動画像データに含まれる動きベクトルから推定される観察対象生物の行動分類は、信頼性に欠けることになる。従って、本構成により、動きベクトルの値が閾値を超えて大きくなった際に、当該超えたタイミングから所定の第２タイミングまでの期間中、高い信頼性を確保可能な観察者の入力情報（すなわち、第１行動分類情報）に基づいて生成される第１学習用データを利用することによって、よりハイクオリティな行動予測モデルを生成することができる。また、本構成によれば、入力装置に加速度センサ等のセンサを設ける必要がないので入力装置の製造コストを低減することができる。なお、この場合においても第２タイミングの規定方法は上記と同様に任意である。

（７）また、請求項１～６の何れか１項に記載の構成において、前記センサには、装着対象となる前記観察対象生物を一意に識別するための個体識別情報が記録されるとともに、前記第１取得手段が、前記センサデータ及び前記取得日時情報とともに、当該観察対象生物に対応する前記個体識別情報を取得する一方、前記第２取得手段が、前記センサから前記入力装置が読み出した当該観察対象生物に対応する前記個体識別情報を、前記第１行動分類情報及び前記入力日時情報と対応付けつつ取得し、前記第３取得手段が、撮影対象となっている前記観察対象生物に対応する前記個体識別情報を前記動画像データとともに取得し、前記第１生成手段が、同一の前記個体識別情報により対応付けられた前記取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された同一の生物個体に関する前記センサデータと前記第１行動分類情報を対応付けて第１学習用データを生成するとともに、前記推定手段が、前記個体識別情報に基づき、当該第１学習用データの生成対象となった観察対象生物と同一の生物個体に関する前記動画像データから当該観察対象生物の行動が何れの行動分類に属するのか推定し、前記第２生成手段が、前記推定手段によって推定された同一の生物個体に関する前記第２行動分類情報によって、当該第１学習用データに含まれる前記第１行動分類情報を置換しつつ、前記第２学習用データを生成する構成としてもよい。

この構成により、本発明の行動予測モデル生成装置は、同一の生物個体に関するセンサデータと第１行動分類情報を紐付けつつ、第１学習用データを生成できるので、確実に同じ生物個体に関するセンサデータと第１動作識別子を紐付けた第１学習用データを生成できるとともに、同一の生物個体を撮影した動画像データに基づき、第１行動分類情報を第２行動分類情報によって置換しつつ、第２学習用データを生成することができる。この結果、本構成によれば、同一の生物個体に関するハイクオリティな行動予測モデルを生成することができる。

（８）また、本発明の行動予測装置は、請求項１～７に記載の行動予測モデル生成装置によって生成された行動予測モデルを記録した第２記録手段と、自機の装着された生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータを生成する生成手段と、前記生成されたセンサデータと、前記行動予測モデルに基づき、自機の装着された生物の行動を複数の行動分類の何れかに割り当てつつ予測する予測手段と、を具備する構成を有する。

この構成により、本発明の行動予測装置は、例えば、加速度センサやライフロガー等の観察対象生物に装着可能なセンサとして製造することにより、センサ単独でセンサデータから観察対象生物の行動を予測することができる。特に、行動予測モデル生成装置において生成された行動予測モデルをＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のチップに組み込むことにより、１チップで本発明の「第２記録手段」及び「予測手段」を実現できるので、小型軽量に行動予測装置を作成することができ、装置の装着対象となる観察対象生物に肉体的、精神的な苦痛を与えることなく、低コストに当該観察対象生物の行動を予測するセンサを製造することができる。また、近年、エスノグラフィー等の行動観察が非常に重要なテーマとなっているが、本発明行動予測装置によれば、行動予測モデルとセンサデータに基づき生物の置かれた状況（例えば、放牧中の家畜が産気づいた等の状況）を予測することができるので、観察対象生物に何らかの異常が発生した場合に、当該異常を行動予測装置単独で検知し、外部機器に報知する等の利用形態を実現することも可能となる。

本発明によれば、システムの構築コストを増大させることなく、クオリティの高い生物の行動予測モデルを生成して、利用することができる。

本発明の一実施形態における行動予測モデル生成システムの構成例を示すシステム構成図である。 一実施形態における生物用センサの構成例を示すブロック図である。 一実施形態の生物用センサにおいて得られるセンサデータの一例を示す図であり、（Ａ）及び（Ｂ）は、各々、観察対象生物としての牛が静止状態及び歩行状態の各状態にある場合におけるセンサデータの一例を示している。 一実施形態における入力装置の構成例を示すブロック図である。 一実施形態における行動予測モデル生成装置の構成例を示すブロック図である。 一実施形態の行動予測モデル生成システムにおいて、補正学習モデルを生成する際に生物用センサにて実行される処理を示すフローチャートである。 一実施形態の行動予測モデル生成システムにおいて、補正学習モデルを生成する際に入力装置にて実行される処理を示すフローチャートである。 一実施形態の行動予測モデル生成装置において実行される補正学習モデル生成処理を示すフローチャートである。 一実施形態の行動予測モデル生成装置において実行される行動予測モデル生成処理を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、牧場Ｒにて放牧中の牛（乳牛又は肉牛）を観察対象生物としつつ、その行動を予測するための行動予測モデルを生成するシステムに対し、本発明に係る行動予測モデル生成装置、行動予測モデル生成システム、行動予測モデル生成方法、行動予測装置を適用した場合の実施形態である。但し、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

［１］行動予測モデル生成システム１の構成及び概要
まず、図１を用いて、本発明の行動予測モデル生成装置を利用した行動予測モデル生成システム１の構成及び概要について説明する。なお、図１は、一実施形態の行動予測モデル生成システム１の構成例を示すシステム構成図である。また、図１においては、図面が煩雑になることを防止するため、牧場Ｒにて飼育されている一部の牛、観察者（例えば、牧場Ｒの運営スタッフ等）と、生物用センサ１０及び入力装置２０のみを表示している。すなわち、行動予測モデル生成システム１には、図示するよりも多くの牛、観察者、生物用センサ１０及び入力装置２０が存在している。なお、入力装置２０の数は、観察者の人数分用意しても良く、一台を複数人で使い回すようにしてもよい。

図１に示すように本実施形態の行動予測モデル生成システム１は、観察対象生物としての牛に装着され、該当する牛の行動に伴う加速度の変化状態を検知する複数の生物用センサ１０－１～ｎ（以下、特に区別する必要がない場合には、「生物用センサ１０」という。）と、観察者によって所持され、観察者が牛の行動を入力するために用いられる複数の入力装置２０－１～ｎ（以下、特に区別する必要がない場合には、「入力装置２０」という。）と、生物用センサ１０及び入力装置２０と有線又は無線により接続されたＰＣ等の装置によって実現され、両装置１０及び２０において生成されたデータを取得しつつ、当該取得したデータに基づき牛の行動予測モデルを生成する行動予測モデル生成装置３０と、を有し、概略以下の方法にて行動予測モデルを生成する。

（１）まず、生物用センサ１０によって牛の行動に伴う加速度の変化状態を検知して、検知結果に対応するセンサデータを生成するとともに、当該センサデータの取得タイミングを示す取得日情報を生成して、該当するセンサデータと対応付けつつ後述するメモリデータＭ１として生物用センサ１０のメモリ１２０（後述）上に順次蓄積する。なお、生物用センサ１０において取得日時情報を生成する方法については、後に詳述する。

（２）一方、観察者は、観察対象となる放牧中の牛の行動を観察しつつ当該観察された牛の行動を所定の行動分類に割り当てる入力操作を入力装置２０に対して行う。一般に、放牧中の牛は、首を振って餌となる草を探しながら歩行し、草の場所まで辿り着くと停止した後、採食して静止し、休息、反芻するという行動を繰り返すこととなる。このため、本実施形態において観察者は、観察対象となる牛の行動を、（ａ）「首振り」、（ｂ）「歩行」、（ｃ）「静止」、（ｄ）「採食」、（ｅ）「休息」、（ｆ）「反芻」、という６つの行動分類の何れかに割り当てつつ、対象となる牛の行動を入力装置２０に入力する。なお、行動分類はこれらに限らず、例えば、「睡眠中」、「喧嘩」、「舐める」、「鳴く」、「走行する（走る）」、「ジャンプする」、「泳ぐ」、「出産する」、「産気づく」、「発情する」等の行動分類を含ませるようにしてもよい。この場合には、入力装置２０の後述する操作部２３０に各行動分類に対応する入力ボタンを設け、牛の行動に合わせて、該当するボタン入力を行わせるようにすればよい。

（３）入力装置２０は、観察者によって入力された行動分類を示す第１動作識別子を生成するとともに、当該入力タイミングを示す入力日時情報を生成し、当該生成した入力日情報と第１動作識別子を対応付けつつ両データを含むメモリデータＭ２を生成し、入力装置２０のメモリ２７０（後述）上に順次蓄積していく。なお、本実施形態の第１動作識別子は、例えば、本発明の「第１行動分類情報」に相当する。また、第１動作識別子の具体的なデータ構造に関しては任意であり、例えば、「首振り」、「歩行」、「静止」、「採食」、「休息」、「睡眠中」、「反芻」の各行動分類に対して、予め１～６の番号を割り当て、観察者の入力した行動分類に対応する番号により牛の行動を定義付ける構成としてもよい。

（４）行動予測モデル生成装置３０は、所定のタイミングにて、生物用センサ１０からセンサデータ及び取得日時情報を含むメモリデータＭ１を取得するとともに、入力装置２０から第１動作識別子及び入力日時情報を含むメモリデータＭ２を取得する。なお、行動予測モデル生成装置３０が生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得する際の具体的な手法に関しては任意であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線インターフェースにより、生物用センサ１０及び入力装置２０を行動予測モデル生成装置３０に接続し、有線にて取得するようにしても良く、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ａ、ｇ、ｎ、ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースにより、取得するようにしてもよい。但し、生物用センサ１０は、太陽電池等の電源を利用することが望ましく、少ない電力で駆動可能とすることが望ましいので、両装置１０及び２０を行動予測モデル生成装置３０と有線接続し、行動予測モデル生成装置３０から電源を供給しながらセンサデータ等を取得する構成を採用することが望ましい。また、行動予測モデル生成装置３０が、生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得するタイミングに関しては、任意であり、無線で取得する構成とする場合には、例えば、５分毎に取得する等、所定の時間間隔（例えば、５～１０分間隔）でデータを取得する構成としてもよく、例えば、１日に１～数回程度、生物用センサ１０及び入力装置２０を行動予測モデル生成装置３０に有線接続して、取得する構成としてもよい。

（５）以上の方法により生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得すると、行動予測モデル生成装置３０は、取得したメモリデータＭ１及びＭ２に基づき、該当する牛の行動予測モデルを生成する。このとき、行動予測モデル生成装置３０は、両装置１０及び２０から取得したメモリデータＭ１及びＭ２に含まれるセンサデータと第１動作識別子を対応付けつつ、第１学習用データを生成する。

ここで、特定の牛に関する行動予測モデルを生成しようとする場合には、生物用センサ１０にて生成されたセンサデータと入力装置２０にて生成された第１動作識別子が同一の生物個体（すなわち、同じ牛）に関するものであることが必要となる。そこで、本実施形態においては、牧場Ｒにて飼育されている各牛に対して予め各個体を一意に識別するための個体ＩＤを割り当てるとともに、装着対象となる牛の個体ＩＤを生物用センサ１０に予め記録させておく方法を採用することとした。なお、例えば本実施形態の個体ＩＤは、本発明の「個体識別情報」に相当する。また、生物用センサ１０に個体ＩＤを記録させる具体的な方法に関しては任意であり、例えば、生物用センサ１０に個体ＩＤを記録したＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を内蔵する構成としてもよいが、本実施形態においては、装置構成を簡略化するため、生物用センサ１０の表面に個体ＩＤを示す二次元バーコードを印刷する方式を採用するものとして説明を行う。

そして、牛の行動観察に先立ち、観察者は、入力装置２０を用いて観察対象となる牛に装着された生物用センサ１０の表面に印刷された二次元バーコードから対応する牛の個体ＩＤを読み出し、当該入力装置２０にて生成される第１動作識別子が生物用センサ１０の装着された牛と同一個体に関するものであることを紐付ける。

また、本実施形態において、行動予測モデル生成装置３０は、生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得する際に、当該取得するメモリデータＭ１及びＭ２と対応付けて個体ＩＤを取得し、両装置１０及び２０から取得したメモリデータＭ１及びＭ２を個体ＩＤにより紐付けることで、同一個体に対応するセンサデータと第１動作識別子を特定しつつ、同一個体に関するデータ同士を紐付けて第１学習用データを生成する。

ここで、センサデータと第１動作識別子は、各々、異なる装置において別個に生成されるのであるため、データの生成タイミングが一致するデータを紐付けて、第１学習用データを作成しなければ、クオリティの高い行動予測モデルを生成することができない。そこで、本実施形態の行動予測モデル生成装置３０は、両装置１０及び２０から取得したメモリデータＭ１及びＭ２に含まれる入力日時情報と取得日時情報に基づき、センサデータの取得タイミングと略同一のタイミングにて入力されたと第１動作識別子を特定するとともに、当該特定した第１動作識別子を対応するセンサデータと紐付けることにより第１学習用データを生成する構成となっている。この構成により、本実施形態の行動予測モデル生成装置３０は、確実に略同一のタイミングにて生成された同一個体に関するセンサデータと第１動作識別子に基づき、第１学習用データを生成して、行動予測モデルの生成に利用することができる。

しかしながら、第１学習用データに含まれる第１動作識別子は、観察者の手入力に基づいて牛の行動を何れかの行動分類に割り当てて決定されるものであるため、上述のように観察者が牛の行動の変化を見逃したり、或いは、実際の牛の行動変化タイミングに対して入力タイミングがずれてしまうと、実際の行動を示していないものになってしまう。そして、係る事態が発生すると、ハイクオリティな行動予測モデルを生成することが難しくなる。

そこで、本実施形態の行動予測モデル生成システム１においては、概略以下の方法により第１学習用データを補正して得られる第２学習用データを用いて行動予測モデルを生成する方法を採用することとした。（ａ）まず、入力装置２０に設けられた後述する撮影処理部２５０によって牛が被写体として写り込んだフレーム画像からなる動画像を撮影する。このとき、入力装置２０は、撮影された動画像を、例えばＨ．２６４等のフレーム間予測符号化によって圧縮するとともに、撮影の開始タイミングを示す撮影開始日時情報を取得して、当該撮影開始日時情報を含む動画像データを生成する。（ｂ）行動予測モデル生成装置３０は、入力装置２０にて生成された動画像データをメモリデータＭ２の一部として個体ＩＤとともに入力装置２０から取得する。（ｃ）行動予測モデル生成装置３０は、当該動画像データに含まれる動きベクトルと、行動予測モデル生成装置３０の後述する記録装置３４０に予め記録された行動分類補正用の補正学習モデルに基づき、観察対象となる牛の行動が何れの行動分類に属するのかを推定する。なお、補正学習モデルの生成方法に関しては後に詳述する。また、例えば、本実施形態の補正学習モデルは、本発明の「第１知識」に対応する。

このとき、行動予測モデル生成装置３０は、撮影開始日時情報により示される撮影開始タイミングと当該タイミングからの経過時間数（又はフレーム数）に基づき、第１動作識別子の入力タイミングと略同一のタイミングで撮影されたフレーム画像を特定する。そして、行動予測モデル生成装置３０は、第１動作識別子の入力タイミングと略同一のタイミングにて撮影されたフレーム画像に対応する動きベクトルと補正学習モデルに基づき、観察対象となる牛の行動分類を推定して、当該推定結果を示す第２動作識別子を生成する。（ｄ）行動予測モデル生成装置３０は、このようにして生成された第２動作識別子により示される行動分類と、入力装置２０にて生成された第１動作識別子により示される行動分類を比較し、両者が異なる場合に、第１学習用データにおいてセンサデータに紐付けられた第１動作識別子が牛の実際の行動を反映していないものとして、第１動作識別子を第２動作識別子に置換しつつ、第２学習用データを生成する。なお、本実施形態の第２動作識別子は、例えば、本発明の「第２行動分類情報」に対応する。また、本実施形態において第１動作識別子と第２動作識別子の各々に対応する行動分類を比較する際の具体的な手法に関しては任意であり、第１動作識別子と第２動作識別子の値を比較して、両者が一致するか否かに応じて判定するようにしてもよい。

また、入力装置２０は、観察者が手に持って行動分類（すなわち、第１動作識別子により示される行動分類）を入力するものであるため、入力装置２０と観察対象となる牛に装着された生物用センサ１０が所定距離以上（例えば、４０ｍ以上）離れている場合、観察者から観察対象生物の詳細な行動が確認できない状態になっている可能性がある。一方、動画像は、例えば、カメラの望遠機能又は画像の拡大等によって、観察対象となる牛を確実に識別可能な状態で撮影できるため、動画像データに含まれる動きベクトルから推定される第２動作識別子の方が観察者の入力した第１動作識別子よりも高い正確性を担保できる。

そこで、本実施形態の行動予測モデル生成システム１においては、生物用センサ１０及び入力装置２０にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星４０によって送信されるＧＰＳ信号を受信して、自機の現在地を示す位置情報を生成する機能を設け、（１）生物用センサ１０においては、（１ａ）当該機能により生成されたセンサ位置情報と、（１ｂ）当該センサ位置情報の生成タイミングと略同一のタイミングにて取得されたセンサデータと、（１ｃ）当該センサデータ取得日時情報と、を対応付けつつメモリデータＭ１として蓄積する一方、（２）入力装置２０においては、（２ｂ）当該機能により第１動作識別子の入力タイミングと略同一のタイミングにて生成された入力装置位置情報と、（２ｂ）第１動作識別子と、（２ｃ）第１動作識別子の入力日時情報と、（２ｄ）撮影処理部２５０によって生成された動画像データと、を対応付けつつメモリデータＭ２を生成して、蓄積する構成を採用することとした。

そして、行動予測モデル生成装置３０は、両装置１０及び２０からセンサ位置情報及び入力装置位置情報を含むメモリデータＭ１及びＭ２を取得する。また、行動予測モデル生成装置３０は、両装置１０及び２０から取得したメモリデータＭ１及びＭ２に含まれるセンサ位置情報及び入力装置位置情報によって示される両装置１０及び２０の現在地が所定の閾値以上（例えば、４０ｍ以上）離れている期間中に入力された第１動作識別子に関しては、信頼性が担保できないものとして第２動作識別子との比較を行うことなく、動きベクトル及び補正学習モデルに基づき推定された第２動作識別子に置換して第２学習用データを生成する。なお、位置情報の生成に際しては、ＧＰＳ信号を用いて日時の特定が行われるので、本実施形態において生物用センサ１０及び入力装置２０は、ＧＰＳ信号に基づいて入力日時情報、取得日時情報及び撮影開始日を取得する構成を採用している。また、本実施形態において生物用センサ１０及び入力装置２０にて取得されるセンサ位置情報及び入力装置位置情報は、各々、本発明の「第１位置情報」及び「第２位置情報」に相当する。

ここで、第２学習用データは、第１学習用データと同一の個体に関するものである必要性があるとともに、第２動作識別子の推定に用いた動きベクトルに対応するフレーム画像と、略同一のタイミングにて取得されたセンサデータを含むものである必要がある。そこで、本実施形態においては、第２学習用データの生成に際して、行動予測モデル生成装置３０が、個体ＩＤに基づいて観察対象としての牛を特定するとともに、取得日時情報及び動画像データに含まれる撮影開始日時に基づき、動きベクトルに対応するフレーム画像の撮影タイミングと略同一のタイミングにて取得されたセンサデータを含む第１学習用データを特定する方法を採用する。そして、行動予測モデル生成装置３０は、同じ個体に関して、フレーム画像の撮影タイミングと略同一のタイミングにて取得されたセンサデータを含む第１学習用データを特定しつつ、当該第１学習用データの第１動作識別子を、生成した第２動作識別子によって置換して第２学習用データを生成する。そして、行動予測モデル生成装置３０は、このようにして生成した第２学習用データに基づき機械学習及びデータマイニングの少なくとも一方を実行して行動予測モデルを生成する。

この構成により、本実施形態の行動予測モデル生成装置３０は、補正学習モデルと動きベクトルに基づいて観察対象となる牛の行動を高精度に推定しつつ、自動的に第２学習用データを生成し、当該生成した第２学習用データに基づき、行動予測モデルを生成することができる。この結果、本実施形態の行動予測モデル生成装置３０は、観察者が観察対象となる牛の行動を見逃した場合や第１動作識別子の入力タイミングが実際の牛の行動の変化に対してずれた場合であっても、高精度な学習用データを自動的に生成しつつ、ハイクオリティな行動予測モデルを生成することができる。また、本実施形態の行動予測モデル生成システム１は、生物用センサ１０と、入力装置２０と、一般的なＰＣやタブレットＰＣ、スマートフォン等で実現される行動予測モデル生成装置３０により実現可能なため、システム構築時のイニシャルコストを削減しつつ、ハイクオリティな行動予測モデルを生成することができる。さらに、本実施形態の行動予測モデル生成システム１において生成される行動予測モデルは、動きベクトルに基づいて第１動作識別子を補正した第２動作識別子によってセンサデータにタグ付けして得られた第２学習用データに基づくものである。このため、本行動予測モデルを利用することにより、生物用センサ１０にて得られるセンサデータのみから牛の行動分類を高精度に推定することが可能となる。従って、本実施形態の方法にて生成された行動予測モデルを例えば、生物用センサ１０に搭載することによって、生物用センサ１０単体にて本発明の行動予測装置としての機能を実現し、センサデータから牛の行動を予測する応用を実現することが可能となる。なお、この場合には、生物用センサ１０に搭載された後述するメモリ１２０上に行動予測モデルを記録して、ＭＰＵ（Ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置を用いたコンボリューショナルニューラルネットワークによってセンサデータから牛の行動を推定する構成としてもよい。この場合、メモリ１２０が、例えば、本発明の「第２記録手段」を構成するとともに、後述するＭＰＵ１５０が、「予測手段」を構成する。但し、生物用センサ１０は観察対象生物に負担をかけることなく装着できるように小型軽量且つ低コストに実現することが望ましいので、例えば、ＦＰＧＡやＡＳＩＣ等のチップに行動予測モデルを学習したニューラルネットワークを組み込む構成を採用することが望ましい。なお、この場合、ＦＰＧＡ等のチップが例えば、本発明の「第２記録手段」及び「予測手段」を構成する。

［３］生物用センサ１０の構成
次いで、図２及び３を用いつつ、本実施形態の生物用センサ１０の構成について説明する。なお、図２は、本実施形態の生物用センサ１０の構成例を示すブロック図、図３は、生物用センサ１０によって検知される牛の行動に伴う加速度の検知信号例を示す図であり、（Ａ）及び（Ｂ）には、各々、生物用センサ１０の装着対象となる牛が静止状態及び歩行状態にある場合に生物用センサ１０によって得られる検知信号波形の一例を示している。

図２に示すように本実施形態の生物用センサ１０は、行動予測モデル生成装置３０に通信接続され、センサデータ等を行動予測モデル生成装置３０に供給するＩ／Ｏインターフェース部１１０と、メモリ１２０と、センサ位置情報を生成する位置情報生成部１３０と、加速度センサ１４０と、各種の処理を実行するＭＰＵ１５０と、現在日時を特定するタイマ１６０と、を有し、各部はバスによって相互接続されるとともに、バスを介して、図示せぬ電源から電力が供給される構成になっている。なお、生物用センサ１０は野生動物や人間を含む観察対象生物に装着されて利用されるものであるため、小型軽量化して生物への肉体的、精神的苦痛を軽減するとともに低消費電力且つ電池の交換を不要とすることが望ましい。従って、生物用センサ１０の電源は、太陽電池によって実現することが望ましい。

Ｉ／Ｏインターフェース部１１０は、行動予測モデル生成装置３０との間においてデータの送受信を行うためのものであり、例えばＵＳＢ等の有線インターフェースやＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースにより構成される。本実施形態においては、このＩ／Ｏインターフェース部１１０の機能によって、生物用センサ１０において生成されたメモリデータＭ１が自機の装着された牛の個体ＩＤとともに、行動予測モデル生成装置３０に供給される構成になっている。

メモリ１２０は、ＮＡＮＤ型やＮＯＲ型のフラッシュメモリと、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を組み合わせて構成され、自機の装着された牛に対応する個体ＩＤ及び生物用センサ１０の駆動に必要な各種プログラムが予め記録される。また、メモリ１２０には、ＭＰＵ１５０によってセンサデータ及び取得日時情報を含むメモリデータＭ１が順次蓄積される。なお、メモリ１２０は、ＭＰＵ１５０のワークエリアとしても利用される。また、メモリ１２０に記録される個体ＩＤは、生物用センサ１０の表面に図示せぬ二次元バーコードとして印刷され、牛の行動観察に先立って、入力装置２０によって読み出されることにより、生物用センサ１０の装着された牛の個体と、入力装置２０にて入力される第１動作識別子との紐付けがなされることとなる。

位置情報生成部１３０は、ＧＰＳ信号の受信用アンテナと受信回路を有し、ＧＰＳ衛星４０から受信したＧＰＳ信号に基づき、生物用センサ１０の現在地を示すセンサ位置情報を生成する。このとき、位置情報生成部１３０は、図示せぬ他のＧＰＳ衛星によって送信されるＧＰＳ信号に基づいてタイマ１６０によって特定された現在日時を補正しつつ、当該補正後の日時情報と、ＧＰＳ衛星４０から受信したＧＰＳ信号に基づき、自機の現在地を示すセンサ位置情報を生成する。また、位置情報生成部１３０は、補正した日時情報をセンサ位置情報とともにＭＰＵ１５０に供給する。

加速度センサ１４０は、自機の装着された牛の移動に伴うＸＹＺの各軸方向の加速度の変化を検知しつつ、例えば、１００Ｈｚ程度のサンプリング周波数にて当該検知した加速度の変化を示す検知信号（図３参照）を生成し、ＭＰＵ１５０に供給する。なお、図３においては、加速度を縦軸、時間を横軸に示すとともに、ＸＹＺの各軸方向に対する加速度の時間変化を各々、青、オレンジ及び緑の線にて表示し、所定の単位時間（例えば、５～１０秒）に検知される加速度の検知信号例を示している。また、図３においては、発明の理解を容易化するため、静止状態及び歩行状態の検知信号波形のみを例示しているが、実際には、上記行動分類の各々に対応する加速度の検知信号波形が牛の行動に応じて得られることとなる。

ＭＰＵ１５０は、生物用センサ１０の各部を統合制御するとともに、加速度センサ１４０から供給される検知信号を所定の単位時間（例えば、５～１０秒間）毎に区切りつつ、Ａ／Ｄ（アナログ／デジタル）変換を施して各単位時間に対応するセンサデータを生成し、当該生成したセンサデータをメモリ１２０に蓄積する。このとき、ＭＰＵ１５０は、位置情報生成部１３０により得られた補正後の現在日時を取得日情報として取得し、該当する単位時間のセンサデータ及び当該単位時間における生物用センサ１０の位置を示すセンサ位置情報と対応付けることにより、メモリデータＭ１を生成して、順次メモリ１２０に記録させる。この結果、メモリ１２０には、各単位時間に対応するセンサデータと、センサ位置情報と、取得日情報と、センサ位置情報と、が対応付けられたメモリデータＭ１が順次蓄積されることとなる。なお、このとき、ＭＰＵ１５０は、得られたセンサデータに対して、例えばＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｅｒ）を施したデータをセンサデータとしつつ、取得日時情報及びセンサ位置情報と対応付けてメモリデータＭ１を生成して、メモリ１２０に蓄積させる構成としてもよい。そして、ＭＰＵ１５０は、所定のタイミングにてメモリ１２０上に蓄積されたメモリデータＭ１と、自機の装着された牛の個体ＩＤを、Ｉ／Ｏインターフェース部１１０を介して行動予測モデル生成装置３０に供給する。

［４］入力装置２０の構成
次いで、図４を用いて、本実施形態の入力装置２０の構成について説明する。なお、図４は、本実施形態の入力装置２０の構成例を示すブロック図である。

図４に示すように本実施形態の入力装置２０は、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示パネル及び表示パネルの駆動回路からなる表示部２１０と、行動予測モデル生成装置３０に通信接続され、観察者の入力操作に対応する第１動作識別子、入力日情報、入力装置位置情報、動画像データを含むメモリデータＭ２を生物用センサ１０から読み出した個体ＩＤとともに行動予測モデル生成装置３０に供給するＩ／Ｏインターフェース部２２０と、操作部２３０と、位置情報生成部２４０と、撮影処理部２５０と、生物用センサ１０の表面に印刷された二次元バーコードを読み取るためのバーコードリーダ２６０と、メモリ２７０と、ＭＰＵ２８０と、を有し、各部はバスによって相互接続されるとともに、バスを介して、図示せぬ電源から電力が供給される構成になっている。なお、入力装置２０は生物用センサ１０と異なり、観察対象生物に装着するものではないので、リチウムイオンバッテリー等の電源を搭載する構成とすることが望ましい。また、本実施形態の撮影処理部２５０は、例えば、本発明の「撮影手段」を構成する。

操作部２３０は、（ａ）「首振り」、（ｂ）「歩行」、（ｃ）「静止」、（ｄ）「採食」、（ｅ）「休息」、（ｆ）「反芻」という６つの行動分類の各々に対応する物理的な入力ボタンや電源スイッチ等を備え、観察者が操作したボタンに対応する入力信号をＭＰＵ２８０に供給する。なお、本実施形態においては、屋外にて入力操作を行うことが前提となるため、各行動分類に対応する物理的なボタンを操作部２３０に設け、観察者がボタンを正確に視認できない事態の発生を未然に防止する構成を採用するが、屋内で利用する場合には、表示部２１０上に各行動分類を入力するためのボタンを表示させ、表示部２１０上に設けられたタッチパネルにて観察者の入力した行動分類を検知する構成を採用してもよい。この場合には、入力装置２０の機能をスマートフォンやタブレットＰＣ等によって実現することもできる。また、操作部２３０に設ける各行動分類に対応するボタンには、各ボタン上に対応する行動分類名を印刷するようにしてもよく、例えば、「歩行」が赤、「静止」が青、「首振り」が緑等というように、行動分類に応じて色分けする構成としてもよい。

位置情報生成部２４０は、タイマ２９０と連動して、入力装置位置情報及び補正された日時情報を生成してＭＰＵ２８０に供給する。なお、入力装置位置情報の生成手法に関しては、生物用センサ１０において位置情報生成部１３０が実行する処理と同様である。

撮影処理部２５０は、（ｉ）ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサによって構成されるイメージセンサと、（ｉｉ）当該イメージセンサにて生成された画像信号に基づき、動画像をＨ．２６４等のフレーム間予測符号化方式によって圧縮しつつ複数のフレーム画像及び動きベクトルを含む動画像データを生成する画像処理部と、を有し、生成した動画像データをＭＰＵ２８０に供給する。

ＭＰＵ２８０は、操作部２３０から観察者が行った入力操作に対応する入力信号を受け取ると観察者の入力した行動分類を表示部２１０に表示させつつ、当該入力信号に基づき第１動作識別子を生成する。このとき、ＭＰＵ２８０は、位置情報生成部２４０から供給される補正済の現在日時に基づいて入力日時情報を生成し、当該生成した第１動作識別子と入力日時情報を対応付けつつメモリデータＭ２を生成する。またこのとき、ＭＰＵ２８０は、位置情報生成部２４０によって生成された入力装置位置情報及び動画像データを第１動作識別子及び入力日時情報と対応付けてメモリデータＭ２を生成することにより、第１動作識別子の入力タイミングにおける入力装置２０の位置を特定可能な状態でメモリデータＭ２を生成してメモリ２７０上に蓄積させる。そして、ＭＰＵ２８０は、所定のタイミングにてメモリ２７０上に蓄積されたメモリデータＭ２を、Ｉ／Ｏインターフェース部２２０を介して行動予測モデル生成装置３０に供給する。

［５］行動予測モデル生成装置３０の構成
次いで、図５を用いて、本実施形態の行動予測モデル生成装置３０の構成について説明する。なお、図５は、本実施形態の行動予測モデル生成装置３０の構成例を示すブロック図である。

本実施形態の行動予測モデル生成装置３０は、図５に示すように、（１）Ｉ／Ｏインターフェース部３１０と、（２）液晶ディスプレイや有機ＥＬディスプレイ等で構成される表示部３２０と、（３）キーボード、テンキー、マウス等の入力デバイスにより構成される操作部３３０と、（４）記録装置３４０と、（５）各種のメモリとして機能するＲＯＭ／ＲＡＭ３５０と、（６）装置全体を統合制御する装置管理制御部３６０と、（７）データ処理部３７０と、を有する。なお、上記の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。

Ｉ／Ｏインターフェース部３１０は、通信接続された生物用センサ１０及び入力装置２０とバスＢの間のデータの授受を仲介する。このＩ／Ｏインターフェース部３１０は、生物用センサ１０及び入力装置２０との通信接続を実現するため、Ｉ／Ｏインターフェース部１１０及びＩ／Ｏインターフェース部２２０と同一の通信プロトコルに従って通信を行う方式のインターフェースにより構成される。

記録装置３４０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）によって構成される。そして、記録装置３４０には、（ａ１）プログラム記録部３４１と、（ａ２）補正学習モデル記録部３４２と、（ａ３）学習用データ記録部３４３と、（ａ４）行動予測モデル記録部３４４と、が設けられている。なお、本実施形態の補正学習モデル記録部３４２は、例えば本発明の「第１記録手段」を構成する。

プログラム記録部３４１には、例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等のプログラムとともに、（ｂ１）生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得して、当該取得したデータに基づき補正学習モデルを生成する補正学習モデル生成処理を実行するための補正学習モデル生成プログラムと、（ｂ２）メモリデータＭ１及びＭ２に基づき行動予測モデルを生成する行動予測モデル生成処理を実行するための行動予測モデル生成プログラムと、が記録される。

補正学習モデル記録部３４２には、補正学習モデル生成部３７２が補正学習モデル生成処理を実行することにより予め生成された補正学習モデルが記録される。なお、本実施形態における補正学習モデルの具体的なデータ形式に関しては任意であり、例えば、補正学習モデル生成処理により得られる重みとバイアスのパラメーターを補正学習モデルとして獲得し、補正学習モデル記録部３４２に記録させる構成としてもよい。

学習用データ記録部３４３には、メモリデータＭ１及びＭ２に含まれる第１動作識別子及びセンサデータに基づいて生成された第１学習用データが記録されるとともに、補正学習モデル及び動きベクトルに基づき推定された第２動作識別子によって第１動作識別子を置換した第２学習用データが記録され、補正学習モデル及び行動予測モデルの生成に利用される。なお、学習用データ記録部３４３には、これらのデータの他、補正学習モデル生成処理において生成された第１タグデータＩ及び第２タグデータＩ’も記録されることとなるが、この点に関しては、動作の項にて詳述する。

行動予測モデル記録部３４４には、行動予測モデル生成装置３０において生成された行動予測モデルが記録され、後に生物用センサ１０等の装置に行動予測モデルを搭載する際に利用可能とされる。なお、本実施形態において行動予測モデル記録部３４４に記録させる行動予測モデルの具体的な構成については、補正学習モデルと同様に任意であり、例えば、後述する行動予測モデル生成部３７５を構成するコンボリューショナルニューラルネットワークに対して第２学習用データを入力して得られる重みとバイアスのパラメーターを補正学習モデルとして、行動予測モデル記録部３４４に記録させる構成としてもよい。

装置管理制御部３６０は、主にＣＰＵによって構成され、ＯＳやＢＩＯＳ等のプログラムを実行することによって、行動予測モデル生成装置３０の各部を統合制御する。

データ処理部３７０は、装置管理制御部３６０を実現するＣＰＵと同一のＣＰＵを用いて構成され、又は、装置管理制御部３６０と独立したＣＰＵによって構成される。そして、データ処理部３７０は、装置管理制御部３６０による制御の下、プログラム記録部３４１に記録されたプログラムを実行することにより、（ｃ１）データ取得部３７１と、（ｃ２）補正学習モデル生成部３７２と、（ｃ３）学習用データ生成部３７３と、（ｃ４）行動分類推定部３７４と、（ｃ５）行動予測モデル生成部３７５と、を実現する。なお、例えば本実施形態のデータ取得部３７１は、Ｉ／Ｏインターフェース部３１０や生物用センサ１０及び入力装置２０と連動して、本発明の「第１～第３取得手段」を構成するとともに、学習用データ生成部３７３は、「第１生成手段」及び「第２生成手段」を構成し、行動分類推定部３７４及び行動予測モデル生成部３７５は、各々、本発明の「推定手段」及び「学習手段」を構成する。

（データ取得部３７１）
データ取得部３７１は、Ｉ／Ｏインターフェース部３１０と連動して、生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を取得して、ＲＯＭ／ＲＡＭ３５０に一時記録させる。

（補正学習モデル生成部３７２）
補正学習モデル生成部３７２は、例えば、ＣＰＵを用いたコンボリューショナルニューラルネットワークとして構築され、補正学習モデル生成プログラムに基づき補正学習モデル生成処理を実行することにより、補正学習モデルを生成して、補正学習モデル記録部３４２に記録させる。

（学習用データ生成部３７３）
学習用データ生成部３７３は、ＲＯＭ／ＲＡＭ３５０に一時記録されたメモリデータＭ１及びＭ２に含まれるセンサデータと、第１動作識別子に基づき第１学習用データを生成する。このとき、学習用データ生成部３７３は、入力日情報と取得日時情報及び個体ＩＤに基づき、略同一のタイミングにて得られた同一の生物個体に関するセンサデータと第１動作識別子に基づき、第１学習用データを生成する。また、学習用データ生成部３７３は、生成した第１学習用データを学習用データ記録部３４３に記録させる。

（行動分類推定部３７４）
行動分類推定部３７４は、例えば、ＣＰＵを用いたコンボリューショナルニューラルネットワークとして構築され、ＲＯＭ／ＲＡＭ３５０に一時記録されたメモリデータＭ２に含まれる動画像データの動きベクトルと補正学習モデルに基づき、観察対象となる牛の行動を推定して、第２動作識別子を生成する。

そして、学習用データ生成部３７３は、行動分類推定部３７４によって生成された第２動作識別子と学習用データ記録部３４３に記録済みの第１学習用データに含まれる第１動作識別子を比較して、両者が異なる場合に、当該第１学習用データに含まれる第１動作識別子を行動分類推定部３７４によって生成された第２動作識別子によって置換しつつ、第２学習用データを生成する。このとき、学習用データ生成部３７３は、第１学習用データに含まれるセンサデータの取得タイミングと略同一のタイミングにて同一の生物個体を撮影したフレーム画像に対応する動きベクトル及び補正学習モデルから行動分類推定部３７４が推定し、生成した第２動作識別子により、当該第１学習用データに含まれる第１動作識別子を置換して、第２学習用データを生成する。

また、このとき、学習用データ生成部３７３は、該当する第１学習用データに含まれるセンサデータ及び第１動作識別子の取得元となる生物用センサ１０及び入力装置２０のセンサ位置情報と入力装置位置情報を比較して、両者が所定の閾値以上離れている場合には、第１動作識別子と第２動作識別子の比較を行うことなく、当該第１学習用データに含まれる第１動作識別子を第２動作識別子により置換しつつ第２学習用データを生成して、学習用データ記録部３４３に記録させる。

（行動予測モデル生成部３７５）
行動予測モデル生成部３７５は、例えば、ＣＰＵを用いたコンボリューショナルニューラルネットワークとして構築され、学習用データ記録部３４３に記録された第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより、行動予測モデルを生成して、当該生成した行動予測モデルを行動予測モデル記録部３４４に記録させる。

［６］行動予測モデル生成システム１の動作
［６．１］補正学習モデル生成処理
次いで、図６～８を用いて、本実施形態の行動予測モデル生成システム１において実行される補正学習モデル生成処理について説明する。なお、図６及び７は、補正学習モデル生成処理に際して、生物用センサ１０及び入力装置２０において実行される処理を示すフローチャートであり、図８は、本実施形態の行動予測モデル生成装置３０のデータ処理部３７０が補正学習モデル生成プログラムに従って実行する補正学習モデル生成処理を示すフローチャートである。

（１）生物用センサ１０における処理
まず、図６を用いて、補正学習モデル生成時の生物用センサ１０の処理について説明する。

本処理において、生物用センサ１０のＭＰＵ１５０は、まず、センサデータの記録をＯＮにし（ステップＳａ１）、加速度センサ１４０において検知された加速度の変化状態に基づき、センサデータを取得する（ステップＳａ２）。

次いで、ＭＰＵ１５０は、位置情報生成部１３０及びタイマ１６０と連動して、センサ位置情報を取得するとともに、現在日時を特定して、当該特定した現在日時を示す取得日情報を生成する（ステップＳａ３）。そして、ＭＰＵ１５０は、センサデータの記録を終了するか否かを判定し（ステップＳａ４）、終了しない場合には（ステップＳａ４「Ｎｏ」）、処理をステップＳａ２にリターンして、センサデータ、取得日時情報及びセンサ位置情報の生成を継続する。

一方、記録を終了するものと判定すると（ステップＳａ４「Ｙｅｓ」）、ＭＰＵ１５０は、記録をＯＦＦにした後（ステップＳａ５）、ステップＳａ２において生成したセンサデータと、取得日時情報と、センサ位置情報と、を対応付けてメモリデータＭ１を生成し、メモリ１２０に記録させ（ステップＳａ６）、処理を終了する。

（２）入力装置２０における処理
次いで、図７を用いて、補正学習モデル生成時に入力装置２０にて実行される処理について説明する。

本処理において、入力装置２０のＭＰＵ２８０は、まず、牛の行動記録をＯＮにして（ステップＳｂ１）、撮影処理部２５０による動画像の撮影を開始するとともに、操作部２３０に対する観察者の入力操作の監視を開始する。次いで、ＭＰＵ２８０は、バーコードリーダ２６０を制御して、生物用センサ１０の表面に印刷された二次元バーコードから当該生物用センサ１０の装着された牛の個体ＩＤを読み取り、メモリ２７０に一時記録させる（ステップＳｂ２）。この結果、入力装置２０においては、後に入力された行動分類が当該個体ＩＤによって示される牛に関するものであることが紐付けられる。そして、ＭＰＵ２８０は、操作部２３０に対する観察者のボタン入力に応じて、順次入力されたボタンに対応する第１動作識別子を生成する（ステップＳｂ３及びＳｂ４）。このとき、ＭＰＵ２８０は、操作部２３０において、観察者が入力中のボタンに対応する行動分類を表示部２１０に表示させ、入力中のボタン（すなわち、行動分類）を観察者に提示する。

次いで、ＭＰＵ２８０は、位置情報生成部２４０及びタイマ２９０と連動しつつ、現在日時を特定するとともに、入力装置２０の現在地を特定して、入力日情報と入力装置位置情報位置を取得する（ステップＳｂ５）。このようにして入力日情報と入力装置位置情報を生成すると、ＭＰＵ２８０は行動分類の入力を終了するか否かを判定する（ステップＳｂ６）。

そして、ステップＳｂ６において入力を終了しないものと判定すると（ステップＳｂ６「Ｎｏ」）、処理をステップＳｂ３にリターンさせて、行動分類の入力と、第１動作識別子、入力日時情報、入力装置位置情報の生成を継続する（ステップＳｂ３～６）。

一方、入力を終了するものと判定すると（ステップＳｂ６「Ｙｅｓ」）、ＭＰＵ２８０は、行動記録をＯＦＦにして、動画像の撮影を停止した後（ステップＳｂ７）、撮影処理部２５０によって撮影された動画像をＨ．２６４等の方式にて圧縮しつつ、動画像データを生成し（ステップＳｂ８）、第１動作識別子と、入力日情報と、入力装置位置情報と、を対応付けることにより、メモリデータＭ２を生成して、メモリ２７０に記録させて（ステップＳｂ９）、処理を終了する。このとき、ＭＰＵ２８０は、生成した動画像データをメモリデータＭ２の一部としつつ、メモリデータＭ２をメモリ２７０上に記録させる。

（３）行動予測モデル生成装置３０における補正学習モデル生成処理
次いで、図８を用いて、行動予測モデル生成装置３０のデータ処理部３７０において実行される補正学習モデル生成処理について説明する。なお、本処理に先立ち、生物用センサ１０のメモリ１２０及び入力装置２０のメモリ２７０には、上記処理によってメモリデータＭ１及びＭ２が既に蓄積済の状態になっているものとする。

この状態において、Ｉ／Ｏインターフェース部３１０に有線又は無線により生物用センサ１０及び入力装置２０が通信接続されると、行動予測モデル生成装置３０においては、処理がスタートし、データ取得部３７１が、まず、生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２を個体ＩＤとともに取得して、ＲＯＭ／ＲＡＭ３５０に一時記録させる（ステップＳｃ１）。

このようにして、メモリデータＭ１及びＭ２がＲＯＭ／ＲＡＭ３５０に一時記録された状態になると、学習用データ生成部３７３は、当該取得したメモリデータＭ２に含まれる動画像データから動きベクトルを抽出するための動きベクトル抽出処理を実行する（ステップＳｃ２）。このとき、学習用データ生成部３７３は、メモリデータＭ１及びＭ２に含まれる入力日時情報と撮影開始日時に基づき、第１動作識別子の入力タイミングと略同一のタイミングにて撮影されたフレーム画像を抽出するとともに、当該フレーム画像に対応する動きベクトルを抽出して、フレーム画像とともにＲＯＭ／ＲＡＭ３５０に一時記録させる。

次いで、学習用データ生成部３７３は、ＲＯＭ／ＲＡＭ３５０に一時記録されたメモリデータＭ１及びＭ２と、フレーム画像と動きベクトル及び個体ＩＤに基づき、Ｉ＝＜入力日時、入力装置位置情報、第１動作識別子、画像フレーム、動きベクトル、個体ＩＤ＞からなる第１タグデータＩを生成して学習用データ記録部３４３に記録させる（ステップＳｃ３）。

次いで、学習用データ生成部３７３は、データクレンジングのため、生成した第１タグデータＩを表示部３２０に表示させ（ステップＳｃ４）、アノテータとなるユーザに第１タグデータＩの内容を確認させる。アノテータは、表示された第１タグデータＩに含まれる動きベクトルの値を参照しながら、第１タグデータＩに含まれるフレーム画像を視認し、第１動作識別子によって示される行動分類と、フレーム画像に写り込んだ牛の行動が一致しているか否かを判断する。

そして、アノテータが、フレーム画像及び動きベクトルの値から確認した行動分類を操作部３３０に入力すると（ステップＳｃ５）、補正学習モデル生成部３７２は、アノテータの入力した行動分類を示す動作識別子を補正学習用モデル生成用の補正学習用第２動作識別子として生成する（ステップＳｃ６）。なお、補正学習用第２動作識別子の具体的なデータ構造に関しては、第１動作識別子及び第２動作識別子と同様であるが、補正学習用第２動作識別子は、アノテータがフレーム画像等を視認して決定した行動分類を示すものである点において、他の動作識別子とは異なっている。

このようにして、補正学習用第２動作識別子が生成されると、補正学習モデル生成部３７２は、当該補正学習用第２動作識別子を第１タグデータＩに追加しつつ、Ｉ’＝＜入力日時、入力装置位置情報、第１動作識別子、補正学習用第２動作識別子、画像フレーム、動きベクトル、個体ＩＤ＞なる構成の第２タグデータＩ’を生成し、学習用データ記録部３４３に記録する（ステップＳｃ７）。

そして、補正学習モデル生成部３７２は、補正を終了するか否かを判定する状態となり（ステップＳｃ８）、補正を終了しないものと判定すると（ステップＳｃ８「Ｎｏ」）、処理をステップＳｃ５にリターンさせ、第２タグデータＩ’の生成を継続する。なお、第２タグデータＩ’を生成する際、アノテータに第１タグデータＩを提示しつつ、牛の行動分類の補正入力を行わせる具体的な手法に関しては、任意であり、（１）例えば、複数の第１タグデータＩに含まれるフレーム画像と動きベクトルを対応する第１動作識別子とともに数個～数十個程度時系列に一覧表示させ、各第１タグデータＩに関するアノテータの補正入力を受け付けつつ、複数の第１タグデータＩに関する補正学習用第２動作識別子を一度に生成する構成としてもよく、（２）各第１学習用データに連番を付して、各第１タグデータＩを順番に表示させつつ、当該第１タグデータＩに関する補正学習用第２動作識別子を順番に生成しながら各第１タグデータＩに対応する第２タグデータＩ’を生成する構成としてもよい。

一方、補正を終了するものと判定すると（ステップＳｃ８「Ｙｅｓ」）、補正学習モデル生成部３７２は、学習用データ記録部３４３に記録された第２タグデータＩ’に基づいて、機械学習及びデータマイニングの少なくとも一方を実行して、補正学習モデルを生成する（ステップＳｃ９）。このとき、補正学習モデル生成部３７２は、上記処理によって生成され、学習用データ記録部３４３に蓄積された第２タグデータＩ’のサンプル数が所定数（例えば、数千～数万サンプル程度）に達した時点で補正学習モデル生成部３７２を構成するニューラルネットワークに当該蓄積された第２タグデータＩ’を入力して、第２タグデータＩ’に基づき機械学習及びデータマイニングの少なくとも一方を実行することにより補正学習モデルを生成する。

またこのとき、補正学習モデル生成部３７２は、第２タグデータＩ’に含まれる第１動作識別子及び補正学習用第２動作識別子のペアをひとつの動作識別子として考え、それをフラグとした学習を行うことにより補正学習モデルを生成する。そして、補正学習モデル生成部３７２は、当該生成した補正学習モデルを補正学習モデル記録部３４２に記録させて（ステップＳｃ１０）、処理を終了する。

ここで、第２タグデータＩ’は、観察者が入力した第１動作識別子と、フレーム画像及び動きベクトルからアノテータが判断した牛の行動分類を示す補正学習用第２動作識別子の双方を含むとともに、アノテータの判断材料となった動きベクトル及びフレーム画像が含まれているので、この第２タグデータＩ’に基づいて機械学習及びデータマイニングの少なくとも一方を実行することにより、動きベクトルの値に応じて、牛の行動をアノテータがどのように判断し、補正学習用第２動作識別子を決定したのかを学習することができる。従って、本方法によって得られた補正学習モデルを用いることにより、動きベクトルに基づいて観察対象となる牛の行動を何れかの行動分類に割り当てつつ、牛の行動を高精度に推定することが可能となる。

［６．２］行動予測モデル生成処理
次いで、図９を用いて、本実施形態の行動予測モデル生成装置３０において、牛の行動予測モデルを生成する際の処理について説明する。なお、図９は、本実施形態の行動予測モデル生成装置３０のデータ処理部３７０が行動予測モデル生成プログラムに従って実行する行動予測モデル生成処理を示すフローチャートである。また、本処理に先立ち、補正学習モデル記録部３４２には、上記処理によって生成された補正学習モデルが記録済みの状態になっているものとする。さらに、本実施形態の行動予測モデル生成システム１において行動予測モデル生成する際に生物用センサ１０及び入力装置２０において実行される処理は、図６及び７と同様であり、本処理に先立って生物用センサ１０及び入力装置２０においては、上記と同様の処理によってメモリデータＭ１及びＭ２が生成され、メモリ１２０及びメモリ２７０に蓄積済の状態になっているものとする。

この状態において、Ｉ／Ｏインターフェース部３１０に有線又は無線により生物用センサ１０及び入力装置２０が通信接続されると、行動予測モデル生成装置３０においては、本処理がスタートし、データ取得部３７１が、まず、生物用センサ１０及び入力装置２０からメモリデータＭ１及びＭ２と、個体ＩＤと、を取得してメモリデータＭ１及びＭ２と個体ＩＤを対応付けつつＲＯＭ／ＲＡＭ３５０に一時記録させる（ステップＳｄ１）。

このようにしてメモリデータＭ１及びＭ２と個体ＩＤが一時録された状態になると、学習用データ生成部３７３は、第１学習用データ生成処理を実行する（ステップＳｄ２）。このとき、学習用データ生成部３７３は、個体ＩＤに基づき、同一の生物個体に関するメモリデータＭ１及びＭ２を特定するとともに、当該特定したメモリデータＭ１及びＭ２に含まれる取得日時情報と入力日時情報に基づき、センサデータと略同一のタイミングにて入力された第１動作識別子を特定する。そして、学習用データ生成部３７３は、当該特定したセンサデータに対して、特定した第１動作識別子によるタグ付けを行って、第１学習用データを生成し、学習用データ記録部３４３に記録させる（ステップＳｄ２）。

このようにして、同一固体に関して略同一のタイミングにて生成されたセンサデータと、第１動作識別子を含む第１学習用データが生成され、学習用データ記録部３４３に記録された状態になると、行動分類推定部３７４は、一時記録されたメモリデータＭ２に含まれる動画像データから動きベクトルを抽出するための動きベクトル抽出処理を実行する（ステップＳｄ３）。このとき、行動分類推定部３７４は、メモリデータＭ１及びＭ２に含まれる取得日時情報と撮影開始日時に基づき、第１学習用データに含まれるセンサデータ及び第１動作識別子の取得タイミングと略同一のタイミングにて撮影されたフレーム画像を抽出するとともに、当該フレーム画像に対応する動きベクトルを抽出する。

次いで、行動分類推定部３７４は、補正学習モデル記録部３４２に記録済みの補正学習モデルを読み出し、ステップＳｄ３において抽出した動きベクトルと補正学習モデルに基づき、観察対象となる牛の行動を推定する（ステップＳｄ４）。このようにして牛の行動が推定されると、学習用データ生成部３７３は、当該推定された行動分類を示す第２動作識別子を生成した後（ステップＳｄ５）、第２学習用データ生成処理を実行して第２学習用データを生成し（ステップＳｄ６）、学習用データ記録部３４３に記録させる（ステップＳｄ７）。

このとき、学習用データ生成部３７３は、第１学習用データに含まれる第１動作識別子を生成された第２動作識別子と比較して、両者が異なる場合に、第１学習用データに含まれる第１動作識別子を、生成した第２動作識別子によって置換しつつ、第２学習用データを生成する。またこのとき、学習用データ生成部３７３は、該当するメモリデータＭ１及びＭ２に含まれるセンサ位置情報と入力装置位置情報に基づき、両装置１０及び２０の間の距離を算出して、当該算出された距離が所定の閾値（例えば４０ｍ）以上となっている場合には、第１動作識別子と第２動作識別子の比較を行うことなく、第１学習用データに含まれる第１動作識別子を第２動作識別子により置換して第２学習用データを生成する。

次いで、行動予測モデル生成部３７５は、学習用データ記録部３４３に記録された第２学習用データの数が所定数（例えば、数千～数万サンプル程度）蓄積された状態になると、当該蓄積された第２学習用データを、行動予測モデル生成部３７５を構成するニューラルネットワークに入力して、機械学習及びデータマイニングの少なくとも一方を実行して、該当する生物個体に関する行動予測モデルを生成した後（ステップＳｄ８）、生成した行動予測モデルを行動予測モデル記録部３４４に記録させて（ステップＳｄ９）、処理を終了する。

以上説明したように、本実施形態の行動予測モデル生成システム１は、行動予測モデル生成装置３０が、観察対象生物としての牛に装着された生物用センサ１０から当該牛の行動に伴う加速度の変化状態を示すセンサデータ及び取得日時情報を含むメモリデータＭ１を個体ＩＤと対応付けて取得するとともに、観察者が観察対象となる牛を観察しつつ、対象となる牛の行動を、複数の行動分類の何れかに割り当てる入力操作を行って生成された第１動作識別子、入力日時情報及び動画像データを含むメモリデータＭ２を個体ＩＤとともに入力装置２０から取得する構成となっている。そして、行動予測モデル生成装置３０は、当該取得したメモリデータＭ１及びＭ２に含まれる入力日時情報と取得日時情報に基づき、略同一のタイミングにて生成された同一の生物個体に関するセンサデータと第１動作識別子を紐付けて、第１学習用データを生成する構成になっている。また、本実施形態において行動予測モデル生成装置３０は、ＰＣ等の一般的な情報処理装置によって実現できるとともに、生物用センサ１０及び入力装置２０も簡易な構成で実現できるので、システム構築時のイニシャルコストを低減しつつ、観察対象生物の行動予測モデルを生成することができる。また、本実施形態の行動予測モデル生成装置３０は、対象となる牛を撮影した動画像データに含まれる動きベクトルと、補正学習モデルに基づき、牛の行動を推定しつつ、当該推定結果に基づき第１学習用データを補正して得た第２学習用データを用いて、行動予測モデルを生成する構成になっているので、観察者が牛の行動の変化を見逃した場合や、入力タイミングと実際の牛の行動変化がずれた場合であっても精度の高い第２学習用データを生成しつつ、当該第２学習用データを用いて行動予測モデルを生成することができる。従って、本実施形態の行動予測モデル生成装置３０は、非常にクオリティの高い行動予測モデルを低コストに生成することができる。

特に、本実施形態の行動予測モデル生成装置３０は、補正学習モデルの生成及び記録後は、生物用センサ１０及び入力装置２０から取得したメモリデータＭ１及びＭ２に基づき、低コストに且つ自動的に牛の行動を推定しつつ、第２動作識別子を生成して、第１学習用データを補正し、行動予測モデルを生成できるので、例えば、補正学習モデルが生成されるまでの期間（例えば、観察開始後の最初の１年間等）は、アノテータが手作業でアノテーションを付ければ、その後は、自動的に第２動作識別子を生成して補正した第２学習用データを用いて、行動予測モデルを生成できるので、行動予測モデル生成におけるアノテータの作業負担を軽減することができる。

［７］変形例
［７．１］変形例１
上記実施形態においては、入力装置２０と行動予測モデル生成装置３０を別個の装置として構成する場合を例に説明を行ったが、入力装置２０をスマートフォンやタブレットＰＣ等の情報処理装置によって実現する場合には、行動予測モデル生成装置３０の全機能を入力装置２０としての情報処理装置に搭載して、情報処理装置単独で入力装置２０及び行動予測モデル生成装置３０の機能を実現する構成としてもよい。なお、この場合には、撮影処理部２５０の機能をスマートフォン等に搭載されたカメラモジュールによって実現する構成にすればよい。

また、生物用センサ１０の機能をスマートフォン等の情報処理装置によって実現し、情報処理装置自体を生物用センサ１０として利用することも可能である。この場合には、情報処理装置に搭載されたメモリに行動予測モデルを記録して、情報処理装置のＣＰＵにより実現されるニューラルネットワークによって、牛の行動を予測する構成としてもよい。特に、近年、スマートフォン等の情報処理装置は、加速度センサやジャイロスコープ等の各種センサを内蔵しているとともに、非常に低コスト化され、さらには小型軽量化もなされているため、情報処理装置を生物用センサ１０として利用することによって、特別な装置を用いることなく非常に低コストに行動予測装置を構成することができる。また、近年、エスノグラフィー等の行動観察が非常に重要なテーマとなっているが、生物用センサ１０をスマートフォン等の情報処理装置により実現した場合には、行動予測モデルとセンサデータに基づき生物の置かれた状況（例えば、放牧中の家畜が産気づいた等の状況）を予測して、観察対象生物に発生した何らかの異常を生物用センサ１０単独で検知し、外部機器に報知する等の利用形態を低コストに実現することが可能となる。

［７．２］変形例２
上記実施形態においては、観察対象生物を放牧中の牛とする構成を採用したが、観察対象生物は、犬猫等のペットや野生動物、魚類、貝類、甲殻類、頭足類、昆虫、さらには人間であってもよい。この場合、上記の「静止」、「睡眠」等の行動分類以外に行動分類を設け、生物に応じて適切に行動を分類可能とするようにすればよい。但し、この場合、観察対象生物の種類に応じて、防水機能等を有する専用の生物用センサ１０を用いることが必要となる。

［７．４］変形例４
上記実施形態においては、個体ＩＤを示す二次元バーコードを生物用センサ１０の表面に印刷し、入力装置２０がこの二次元バーコードから個体ＩＤを読み出すことによって、生物用センサ１０と入力装置２０の間で観察対象となる牛を紐付けて、特定の牛に関する行動予測モデルを生成する例について説明したが、個体ＩＤによる紐付けを行わずに学習用データを生成する構成としてもよい。この構成により得られる学習用データを用いて機械学習及びデータマイニングの少なくとも一方を実行することで、放牧作業に汎用的に利用可能な学習モデルを構築できる。また、上記実施形態の方法と、本変形例の方法は、目的に応じて使い分けることも可能である。

［７．５］変形例５
上記実施形態においては、フレーム画像を含む第２タグデータＩ’を用いて補正学習モデルを生成する構成としたが、補正学習モデルの生成時にフレーム画像は必ずしも必要とはならない。従って、図８のステップＳｃ７において第２タグデータＩ’からフレーム画像を削除したデータを第２タグデータＩ’として利用するようにしてもよい。この構成により、本変形例は、記録装置３４０の記録容量を低減して、低コストに行動予測モデル生成装置３０を構成することができる。

［７．６］変形例６
上記実施形態においては、生物用センサ１０として加速度センサ１４０を搭載したものを利用して、観察対象生物の移動を検出しつつ移動状態に基づく行動予測モデルを生成する構成としたが、生物用センサ１０は、ライフロガー等の生理学的なセンサデータを取得するものであってもよい。

この場合には、生物用センサ１０において得られた生理学なセンサデータに基づき、観察対象生物の行動を予測する行動予測モデルを生成することができる。また、観察対象生物の移動を検出するセンサとして、ジャイロスコープやＧＰＳ、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）方式のセンサやレーダー、マイク（可聴音）、超音波センサ、傾斜計等のセンサを用いるようにしてもよい。

［７．７］変形例７
上記実施形態においては、入力装置２０において観察対象となる牛を被写体とする動画像を撮影する構成を採用したが、実際に観察者が入力装置２０で当該牛の動画像を撮影する場合には、突然、電話の着信が入ってしまい、入力装置２０を地面や床に置いて、電話に応答してしまう可能性がある。また、観察者が、当該牛の撮影中に気を取られて、入力装置２０の向きを変化させてしまうと、当該牛の写り込んでいないフレーム画像や当該牛にピントの合っていないフレーム画像を含む動画像が撮影されてしまう可能性がある。このケースは、観察者が急に入力装置２０をパン又は逆パンさせ、あるいは、チルトを急に大きく変化させたような場合に、発生し得る。このような場合に、入力装置２０にて撮影された動画像から牛の行動分類を推定しようとしても、正確に牛の行動を推定することが困難となる。

そこで、本変形例においては、入力装置２０におけるこの種の変化を検知して、当該検知タイミングから所定の第２タイミングまでの期間を第１動作識別子の置換禁止期間と定めて、当該期間中に撮影された動画像に関しては、行動予測モデルの生成に利用しない方法を採用することとした。具体的には、本変形例において行動分類推定部３７４は、当該期間中に関しては、動きベクトルに基づく行動分類の推定を行わず、学習用データ生成部３７３は、第２動作識別子による第１動作識別子の置換を行わず、行動予測モデル生成部３７５は、当該期間に関しては、第２学習用データではなく、第１学習用データをそのまま利用して、行動予測モデルを生成する方法を採用する。なお、本変形例における検知タイミングは、例えば、本発明の「第１タイミング」に相当する。また、本変形例においては、データ取得部３７１が当該期間中に撮影された動画像データを取得するか否かは任意であり、後述のように入力装置２０における撮影自体を停止する構成とする場合には、動画像データを含まないメモリデータＭ２が入力装置２０にて生成、蓄積されるので、当該動画像データを含まないメモリデータＭ２を取得することにより、動画像データの取得自体を停止する構成とすることもできる。さらに、本変形例において第２タイミングの決定方法に関しては任意であり、検知タイミングから所定期間（例えば、数十秒間～数分間）を置換禁止期間として予め設定し、当該期間の終了タイミングを第２タイミングに設定するようにしてもよく、入力装置２０の操作部２３０に所定の入力操作（例えば、撮影再開等）が行われたタイミングを第２タイミングに設定して、検知タイミングから第２タイミングまでの期間に撮影された動画像に関しては、行動予測モデルの生成に利用しない構成とすることも可能である。

ここで、入力装置２０における急な動きの変化を検知する方法に関しては任意であり、例えば、以下の２通りの検知方法から何れか一方を選択して、採用するようにしてもよく、これらを組み合わせて入力装置２０の急な動きを検知するようにしてもよい。

（１）検知方法１
本検知方法は、入力装置２０に加速度センサを搭載し、入力装置２０の動きに伴う加速度の変化状態を検知する方法である。そして、本方法においては、当該加速度センサにおいて検知された加速度のデータと、第１動作識別子と、取得日時情報と、動画像データと、を含むメモリデータＭ２をメモリ２７０に蓄積していく方法を採用する。なお、本変形例における入力装置２０に関する加速度のデータは、本発明の「加速度情報」に相当する。

一方、行動予測モデル生成装置３０においては、行動分類推定部３７４が、メモリデータＭ２に含まれる加速度のデータに基づき、入力装置２０における急な動きを検知する。具体的には、当該データにより示される加速度の値を所定の閾値と比較して、加速度値が閾値を超えたタイミングを入力装置２０が急に動かされたタイミングとして検知し、当該検知タイミングから第２タイミングまでの期間に撮影されたフレーム画像及びその動きベクトルに関しては、行動予測モデル生成の利用対象から除外する。本検知方法を採用することにより、入力装置２０の急な動きを行動予測モデル生成装置３０側において確実に検知し、当該検知したタイミングから第２タイミングまでの期間中に撮影されたフレーム画像及び動きベクトルに関しては行動予測モデル生成の利用対象から確実に除外して、ハイクオリティな行動予測モデルを生成することができる。

（２）検知方法２
本検知方法は、動画像データに含まれる動きベクトルに基づき、入力装置２０における急な動きを検知する方法である。そして、本方法においては、行動分類推定部３７４が、動画像データに含まれる動きベクトルの値を所定の閾値と比較して、動きベクトルの値が当該閾値を超えたタイミングを、入力装置２０が急に動かされたタイミングとして検知する。そして、当該検知タイミングから第２タイミングまでの期間に撮影されたフレーム画像及びその動きベクトルに関しては、行動予測モデル生成の利用対象から除外する。なお、本変形例の行動分類推定部３７４は、例えば、本発明の「判定手段」を構成する。また、本変形例においては、入力装置２０が急に動かされたタイミングを行動予測モデル生成装置３０側において検知し、当該検知したタイミングから第２タイミングまでの期間中に撮影されたフレーム画像及び動きベクトルを行動予測モデル生成の利用対象から除外する方法を採用したが、入力装置２０側において、加速度や動きベクトルの値を所定の閾値と比較して、閾値を超えたタイミングにて、撮影処理部２５０における動画像の撮影自体を第２タイミングまで停止する構成としてもよい。

この構成により、本変形例によれば、入力装置２０が急に動かされ、観察対象となる牛の行動を推定するために利用する事ができないフレーム画像を含む動画像が撮影された場合であっても、ハイクオリティな行動予測モデルを生成することができる。

［７．８］変形例８
上記実施形態においては、動画像データに含まれるフレーム画像の品質に関しては、言及しなかったが、動きベクトルと補正学習モデルに基づいて牛の行動分類を高精度に推定するためには、被写体となる観察対象生物（すなわち牛）がフレーム内の中心近くに写り込んでおり、且つ、牛にピントの合っているフレーム画像を用いることがさらに望ましい。

そこで、本変形例においては、行動分類の推定に利用する際の利用適合性に応じて各フレーム画像に重み付けを行いつつ、動きベクトルに基づく行動分類の推定を行う方法を採用する。具体的には、動画像データに含まれるフレーム画像において高い精度で行動分類を推定可能なフレーム画像（すなわち、中心近傍に牛が写り込んでおり、且つ、ピントのあっているフレーム画像）を抽出して、各フレーム画像に点数付けを行うための画像抽出用モデルを予め機械学習によって取得しておき、当該抽出用モデルに基づいて、動画像データに含まれる各フレーム画像に点数付けを行う。

そして、当該点数が、所定値以下となっているフレーム画像に対応する動きベクトルに基づいて推定された行動分類に関しては、推定精度が担保できないものとして対応する第１学習用データに含まれる第１動作識別子に関しては第２動作識別子に置換することなく、第１学習用データをそのまま用いて行動予測モデル生成部３７５が行動予測モデルを生成する。なお、動画像データに含まれるフレーム画像において中心近辺に被写体が写り込んでおり、且つ、ピントの合っているフレーム画像を抽出して、点数付けする画像抽出用モデルの生成方法は任意であり、例えば、適正な画像をアノテータに選択させつつ、点数付けを行わせて、画像抽出用モデル生成用の学習用データを生成し、当該学習用データに基づいて機械学習及びデータマイニングの少なくとも一方を実行して、画像抽出用モデルを生成する構成としてもよい。本構成により、推定精度を担保できないフレーム画像に関しては、観察者の入力を優先することができるので、よりハイクオリティな行動予測モデルを生成することができる。

［７．９］変形例９
上記実施形態においては、ＣＰＵを用いたコンボリューショナルニューラルネットワークによって補正学習モデル生成部３７２、行動分類推定部３７４及び行動予測モデル生成部３７５を、実現する構成について例示したが、各部を実現する具体的な手法は、これに限定されず、例えば、ＣＰＵやＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＮＰＵ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いたリカレントニューラルネットワークやＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）等によって実現してもよく、各部と同様の機能を組み込んだＦＰＧＡやＡＳＩＣによって実現する構成とすることも可能である。要は、上記各部と同様の機能を実現可能な構成であれば、上記実施形態に例示した構成には限定されない。また、生物用センサ１０に行動予測モデルを搭載して、生物用センサ１０単独で、行動予測装置としての機能を実現し、センサデータから牛の行動を予測する応用を行う場合も、コンボリューショナルニューラルネットワークに限定されず、これらを用いてもよい。この場合に、生物用センサ１０のＭＰＵ１５０は、ＣＰＵ、ＧＰＧＰＵ、ＮＰＵの何れを用いて構成してもよく、これらを組み合わせて構成してもよい。要は、生成済の行動予測モデルとセンサデータに基づき、牛の行動を予測可能な構成であれば、利用するハードウェア的な制限は受けない。

１…行動予測モデル生成システム、１０…生物用センサ、１１０…Ｉ／Ｏインターフェース部、１２０…メモリ、１３０…位置情報生成部、１４０…加速度センサ、１５０…ＭＰＵ、１６０…タイマ、２０…入力装置、２１０…表示部、２２０…Ｉ／Ｏインターフェース部、２３０…操作部、２４０…位置情報生成部、２５０…撮影処理部、２６０…バーコードリーダ、２７０…メモリ、２８０…ＭＰＵ、２９０…タイマ、３０…行動予測モデル生成装置、３１０…Ｉ／Ｏインターフェース部、３２０…表示部、３３０…操作部、３４０…記録装置、３４１…プログラム記録部、３４２…補正学習モデル記録部、３４３…学習用データ記録部、３４４…行動予測モデル記録部、３５０…ＲＯＭ／ＲＡＭ、３６０…装置管理制御部、３７０…データ処理部、３７１…データ取得部、３７２…補正学習モデル生成部、３７３…学習用データ生成部、３７４…行動分類推定部、３７５…行動予測モデル生成部、４０…ＧＰＳ衛星

Claims (11)

1. 観察対象生物の行動を予測するために用いる行動予測モデルを生成する行動予測モデル生成装置であって、
   前記観察対象生物に装着され、（Ａ）当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータと、（Ｂ）当該センサデータの取得タイミングを示す取得日時情報と、を対応付けて生成するセンサから前記センサデータ及び前記取得日時情報を取得する第１取得手段と、
   （ａ）当該観察対象生物を観察するユーザの入力操作によって決定される情報であって、当該観察対象生物の行動を複数の行動分類の何れかに割り当てることにより定義付ける第１行動分類情報と、（ｂ）当該第１行動分類情報の入力タイミングを示す入力日時情報と、を対応付けて生成する入力装置から前記第１行動分類情報及び前記入力日時情報を取得する第２取得手段と、
   前記取得された取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された前記センサデータと前記第１行動分類情報を対応付けつつ、第１学習用データを生成する第１生成手段と、
   当該観察対象生物が被写体として写り込んだ複数のフレーム画像からなる動画像データであって、前記フレーム画像おいて当該観察対象生物の写り込んだ画素領域の動きを示す動きベクトルを含む動画像データを取得する第３取得手段と、
   前記取得した動画像データに含まれる動きベクトルに基づき、当該観察対象生物の行動が前記行動分類の何れに該当するのかを推定するための第１知識が予め記録される第１記録手段と、
   前記第１知識と前記動きベクトルに基づき、当該観察対象生物の行動が、前記行動分類の何れに該当するのかを推定する推定手段と、
   （１）前記第１行動分類情報によって示される行動分類と、（２）当該第１行動分類情報の入力タイミングと略同一のタイミングで撮影された前記フレーム画像に対応する動きベクトルから推定された行動分類と、が異なる場合に、前記第１学習用データに含まれる第１行動分類情報を当該推定された行動分類を示す第２行動分類情報によって置換しつつ、第２学習用データを生成する第２生成手段と、
   前記第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより前記観察対象生物の行動予測モデルを生成する学習手段と、
   を具備することを特徴とする行動予測モデル生成装置。
2. 前記センサが、
   前記観察対象生物に装着された加速度センサであり、
   前記第１取得手段が、
   当該観察対象生物の行動に伴う加速度の変化状態を示す信号を前記センサデータとして取得する、請求項１に記載の行動予測モデル生成装置。
3. 前記第１取得手段が、
   前記センサの現在地を示す第１位置情報を前記センサデータ及び前記取得日時情報と対応付けつつ取得するとともに、
   前記第２取得手段が、
   前記入力装置の現在地を示す第２位置情報を、前記第１行動分類情報及び前記入力日時情報と対応付けつつ取得し、
   前記第２生成手段が、
   前記第１位置情報及び第２位置情報により示される両装置の位置が所定距離以上離れている場合に、前記第１学習用データに含まれる第１行動分類情報により示される行動分類と、前記動きベクトルから推定された行動分類を比較することなく、当該第１行動分類情報を、当該推定結果を示す前記第２行動分類情報によって置換しつつ、第２学習用データを生成する、請求項１又は２に記載の行動予測モデル生成装置。
4. 前記第３取得手段が、
   前記入力装置に設けられた撮影手段によって撮影された前記動画像に対応する動画像データを取得する、請求項１～３の何れか１項に記載の行動予測モデル生成装置。
5. 前記第３取得手段が、
   前記動画像データとともに前記入力装置の加速度を示す加速度情報を取得し、
   当該加速度情報によって示される前記入力装置の加速度値が所定の閾値を超えた場合に、当該閾値を超えた第１タイミングから所定の第２タイミングまでの期間中、前記動画像データの取得を停止し、
   前記第２生成手段が、
   当該期間中に関しては、前記第１学習用データに含まれる第１行動分類情報の置換を停止し、
   前記学習手段が、
   当該期間中に関しては、前記第２学習用データに換えて、前記第１学習用データをそのままの状態で利用しつつ、機械学習及びデータマイニングの少なくとも一方を実行することにより、前記行動予測モデルを生成する、請求項４に記載の行動予測モデル生成装置。
6. 前記動きベクトルが所定の閾値を超えたか否かを判定する判定手段をさらに有し、
   前記第３取得手段が、
   前記動きベクトルが前記閾値を超えた場合に、当該超えた第１タイミングから、所定の第２タイミングまでの期間中、前記動画像データの取得を停止し、
   前記第２生成手段が、
   当該期間中に関しては、前記第１学習用データに含まれる第１行動分類情報の置換を停止し、
   前記学習手段が、
   当該期間中に関しては、前記第２学習用データに換えて、前記第１学習用データをそのままの状態で利用しつつ、機械学習及びデータマイニングの少なくとも一方を実行することにより、前記行動予測モデルを生成する、請求項４に記載の行動予測モデル生成装置。
7. 前記センサには、装着対象となる前記観察対象生物を一意に識別するための個体識別情報が記録されるとともに、
   前記第１取得手段が、
   前記センサデータ及び前記取得日時情報とともに、当該観察対象生物に対応する前記個体識別情報を取得する一方、
   前記第２取得手段が、
   前記センサから前記入力装置が読み出した当該観察対象生物に対応する前記個体識別情報を、前記第１行動分類情報及び前記入力日時情報と対応付けつつ取得し、
   前記第３取得手段が、
   撮影対象となっている前記観察対象生物に対応する前記個体識別情報を前記動画像データとともに取得し、
   前記第１生成手段が、
   同一の前記個体識別情報により対応付けられた前記取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された同一の生物個体に関する前記センサデータと前記第１行動分類情報を対応付けて第１学習用データを生成するとともに、
   前記推定手段が、
   前記個体識別情報に基づき、当該第１学習用データの生成対象となった観察対象生物と同一の生物個体に関する前記動画像データから当該観察対象生物の行動が何れの行動分類に属するのか推定し、
   前記第２生成手段が、
   前記推定手段によって推定された同一の生物個体に関する前記第２行動分類情報によって、当該第１学習用データに含まれる前記第１行動分類情報を置換しつつ、前記第２学習用データを生成する、請求項１～６の何れか１項に記載の行動予測モデル生成装置。
8. 請求項１～７に記載の行動予測モデル生成装置によって生成された行動予測モデルを記録した第２記録手段と、
   自機の装着された生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータを生成する生成手段と、
   前記生成されたセンサデータと、前記行動予測モデルに基づき、自機の装着された生物の行動を複数の行動分類の何れかに割り当てつつ予測する予測手段と、
   を具備することを特徴とする行動予測装置。
9. 観察対象生物の行動を予測するために用いる行動予測モデルを生成する行動予測モデル生成方法であって、
   前記観察対象生物に装着され、（Ａ）当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータと、（Ｂ）当該センサデータの取得タイミングを示す取得日時情報と、を対応付けて生成するセンサから前記センサデータ及び前記取得日時情報を取得する第１ステップと、
   （ａ）当該観察対象生物を観察するユーザの入力操作によって決定される情報であって、当該観察対象生物の行動を複数の行動分類の何れかに割り当てることにより定義付ける第１行動分類情報と、（ｂ）当該第１行動分類情報の入力タイミングを示す入力日時情報と、を対応付けて生成する入力装置から前記第１行動分類情報及び前記入力日時情報を取得する第２ステップと、
   前記取得された取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された前記センサデータと前記第１行動分類情報を対応付けて第１学習用データを生成する第３ステップと、
   当該観察対象生物が被写体として写り込んだ複数のフレーム画像からなる動画像データであって、前記フレーム画像おいて当該観察対象生物の写り込んだ画素領域の動きを示す動きベクトルを含む動画像データを取得する第４ステップと、
   当該観察対象生物の行動が前記行動分類の何れに該当するのかを推定するために予め記録された第１知識と前記動きベクトルに基づき当該観察対象生物の行動が、前記行動分類の何れに該当するのかを推定する第５ステップと、
   （１）前記第１行動分類情報によって示される行動分類と、（２）当該第１行動分類情報の入力タイミングと略同一のタイミングで撮影された前記フレーム画像に対応する動きベクトルから推定された行動分類と、が異なる場合に、前記第１学習用データに含まれる第１行動分類情報を当該推定された行動分類を示す第２行動分類情報によって置換しつつ、第２学習用データを生成する第６ステップと、
   前記第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより前記観察対象生物の行動予測モデルを生成する第７ステップと、
   を具備することを特徴とする行動予測モデル生成方法。
10. 観察対象生物の行動を予測するために用いる行動予測モデルを生成する行動予測モデル生成装置として機能するコンピュータを、
    前記観察対象生物に装着され、（Ａ）当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータと、（Ｂ）当該センサデータの取得タイミングを示す取得日時情報と、を対応付けて生成するセンサから前記センサデータ及び前記取得日時情報を取得する第１取得手段、
    （ａ）当該観察対象生物を観察するユーザの入力操作によって決定される情報であって、当該観察対象生物の行動を複数の行動分類の何れかに割り当てることにより定義付ける第１行動分類情報と、（ｂ）当該第１行動分類情報の入力タイミングを示す入力日時情報と、を対応付けて生成する入力装置から前記第１行動分類情報及び前記入力日時情報を取得する第２取得手段、
    前記取得された取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された前記センサデータと前記第１行動分類情報を対応付けて第１学習用データを生成する第１生成手段、
    当該観察対象生物が被写体として写り込んだ複数のフレーム画像からなる動画像データであって、前記フレーム画像おいて当該観察対象生物の写り込んだ画素領域の動きを示す動きベクトルを含む動画像データを取得する第３取得手段、
    記録手段に予め記録され、前記取得した動画像データに含まれる動きベクトルに基づき、当該観察対象生物の行動が前記行動分類の何れに該当するのかを推定するための第１知識と前記動きベクトルに基づき、当該観察対象生物の行動が、前記行動分類の何れに該当するのかを推定する推定手段、
    （１）前記第１行動分類情報によって示される行動分類と、（２）当該第１行動分類情報の入力タイミングと略同一のタイミングで撮影された前記フレーム画像に対応する動きベクトルから推定された行動分類と、が異なる場合に、前記第１学習用データに含まれる第１行動分類情報を当該推定された行動分類を示す第２行動分類情報によって置換しつつ、第２学習用データを生成する第２生成手段、
    前記第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより前記観察対象生物の行動予測モデルを生成する学習手段、
    として機能させるプログラム。
11. 観察対象生物の行動を予測するために用いる行動予測モデルを生成する行動予測モデル生成システムであって、
    前記観察対象生物に装着され、（Ａ）当該観察対象生物の移動状態及び生理学的な状態の少なくとも一方を示すセンサデータと、（Ｂ）当該センサデータの取得タイミングを示す取得日時情報と、を対応付けて生成するセンサと、
    （ａ）当該観察対象生物を観察するユーザの入力操作によって決定される情報であって、当該観察対象生物の行動を複数の行動分類の何れかに割り当てることにより定義付ける第１行動分類情報と、（ｂ）当該第１行動分類情報の入力タイミングを示す入力日時情報と、を対応付けて生成する入力装置と、
    前記センサ及び前記入力装置によって生成されたデータを取得して、当該取得したデータに基づき、前記行動予測モデルを生成する行動予測モデル生成装置と、
    を備え、
    前記行動予測モデル生成装置が、
    前記センサから前記センサデータ及び前記取得日時情報を取得する第１取得手段と、
    前記入力装置から前記第１行動分類情報及び前記入力日時情報を取得する第２取得手段と、
    前記取得された取得日時情報と前記入力日時情報に基づき、略同一のタイミングにて取得された前記センサデータと前記第１行動分類情報を対応付けて第１学習用データを生成する第１生成手段と、
    当該観察対象生物が被写体として写り込んだ複数のフレーム画像からなる動画像データであって、前記フレーム画像おいて当該観察対象生物の写り込んだ画素領域の動きを示す動きベクトルを含む動画像データを取得する第３取得手段と、
    前記取得した動画像データに含まれる動きベクトルに基づき、当該観察対象生物の行動が前記行動分類の何れに該当するのかを推定するための第１知識が予め記録される第１記録手段と、
    前記第１知識と前記動きベクトルに基づき、当該観察対象生物の行動が、前記行動分類の何れに該当するのかを推定する推定手段と、
    （１）前記第１行動分類情報によって示される行動分類と、（２）当該行動分類情報の入力タイミングと略同一のタイミングで撮影された前記フレーム画像に対応する動きベクトルから推定された行動分類と、が異なる場合に、前記第１学習用データに含まれる第１行動分類情報を当該推定された行動分類を示す第２行動分類情報によって置換しつつ、第２学習用データを生成する第２生成手段と、
    前記第２学習用データに基づき、機械学習及びデータマイニングの少なくとも一方を実行することにより前記観察対象生物の行動予測モデルを生成する学習手段と、
    を具備することを特徴とする行動予測モデル生成システム。
    

Images