JP2023150555A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】特定領域における動物の撮像画像に基づいて、撮像画像に係る当該動物の個体識別を可能とすること。【解決手段】動物容姿判定装置１００は、牛房内で飼育されているウシを含む撮像画像を取得し、前記撮像画像内のウシの画像に基づいて算出したウシの牛房内における位置を、第１の位置情報として取得する画像データ解析部１１２と、ウシに設けたセンサ装置２００からの識別情報と、ウシの牛房内での位置を示す第２の位置情報とを取得する位置データ解析部１１４と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部１１５とを備えている。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

安定的な酪農経営を継続する上で、飼育している動物の健康管理を効率的に行うことが重要になってきている。例えば、特許文献１には、家畜を撮像した画像情報を含む飼養状況情報を取得する飼養状況取得部と、前記飼養状況取得部により取得した前記画像情報に映る家畜を抽出して前記家畜の状況を解析し、当該家畜の状況に応じた疾病リスクを推定する疾病リスク推定部とを備える家畜疾病管理システムが記載されている。特許文献２には、複数の動物を含む複数の撮像画像を取得し、前記複数の撮像画像に基づいて、前記複数の動物のそれぞれに装着された装着物の動きを検出し、検出された前記装着物の動きに応じて、前記複数の動物のそれぞれの行動量を算出する処理をコンピュータに実行させることを特徴とする行動量算出プログラムが記載されている。

特開２０２１－１３５９５６号公報 特開２０１８－１４８８４３号公報

しかし、特許文献１の技術では、群としての疾病リスク推定はできるが、個体ごとの疾病リスク推定、体調管理はできないという問題があった。特許文献２の技術では、観察対象家畜の頭数が増えた場合や画像上で装着物が確認できない場合などに個体識別の精度が低下する場合があるという問題があった。

本発明の目的の一つは、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を精度よく特定し、もって撮像画像に係る当該動物の個体識別を可能とする情報処理装置、情報処理方法及びプログラムを提供することである。

本発明の一つの態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する第１の位置情報取得部と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する第２の位置情報取得部と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部とを備えている情報処理装置である。

前記情報処理装置は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部を備えているとしてもよい。

前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定するとしてもよい。

前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定するとしてもよい。

前記第２の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出されるものとすることができる。

前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。

本発明の他の態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理、
を実行する情報処理方法である。

本発明のさらに他の態様は、情報処理装置に、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理とを実行させるプログラムである。

本発明によれば、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を特定することが可能となるとともに、撮像画像に係る当該動物の個体識別が可能となる。

本発明の一実施形態における動物容姿判定システムの全体構成を例示する模式図である。 本発明の一実施形態における動物容姿判定システムの機能の概要を示すブロック図である。 本発明の一実施形態における動物容姿判定装置のハードウェア及び機能ブロックの構成を例示するブロック図である。 本発明の一実施形態におけるセンサ装置、位置検出器のハードウェア及び機能ブロックの構成を例示するブロック図である。 動物を撮像した画像の処理例を示す説明図である。 画像から特定した動物の位置とセンサ装置からの識別情報から特定した動物の位置とを対比して示す模式図である。 容姿判定項目の例を示す説明図である。 容姿判定用データ記憶部の構成例を示す図である。 位置情報記憶部の構成例を示す図である。 容姿情報記憶部の構成例を示す図である。 処理対象データ記憶部の構成例を示す図である。 本発明の一実施形態における動物容姿判定装置が実行する位置情報算出処理の一例を示すフローチャートである。 本発明の一実施形態における動物容姿判定装置が実行する容姿判定処理の一例を示すフローチャートである。

以下、本発明について、その実施形態に即して添付図面を参照しながら説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものでない。

（実施形態）
＜動物容姿判定システム１＞
図１は、本発明の一実施形態における動物容姿判定システム１の全体構成を例示する模式図である。図１に示すように、本実施形態の動物容姿判定システム１は、例えば酪農家が飼育しているウシＣの容姿を撮像した画像に基づいて、あらかじめ規定した容姿の判定項目に関しての判定結果である容姿情報を、動物の個体ごとに時系列に記録する機能を備えている。記録対象となる動物には、ウシＣに限らず、ブタ、ヒツジ、ウマ、ヤギ等の、いわゆる産業動物のカテゴリーに入る動物、動物園等で飼育される動物、いわゆる愛玩動物を含む、容姿情報の取得、利用に利益のあるすべての動物が含まれうる。本実施形態では、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の４項目を設定している。容姿判定項目は、このような項目に限定されることなく、対象の動物、容姿情報の利用目的等に応じて適宜設定することができる。

図１は、牛舎内に配置されている一つの矩形状の牛房ＣＢを取り出して模式的に示している平面図である。簡単のために、図１では、牛房ＣＢ内に２頭のウシＣ１，Ｃ２が飼育されている状況を示している。

牛房ＣＢ内には、その適宜の場所に餌場Ｆ、哺乳場Ｍ、水飲み場Ｗが設けられ、それぞれの場所で、ウシＣ１，Ｃ２が餌を食べ、乳を飲み、水を飲むことができるように構成されている。なお、これらの餌場Ｆ、哺乳場Ｍ、水飲み場Ｗの牛房ＣＢ内での配置は、図１の例に限られず適宜定めることができる。

ウシＣ１，Ｃ２には、それぞれのウシの挙動、心拍数等の生体情報をモニタするためのセンサデバイスを備えるセンサ装置２００が装着されている。各センサ装置２００には固有の識別情報が割り当てられており、各ウシの識別情報として利用される。センサ装置２００にはデータ伝送機能が設けられており、センサデバイスから取得されたデータが、前記の識別情報とともに、例えば近距離無線通信（ＮＦＣ）によって送信される。

牛房ＣＢを含む牛舎の近傍、例えば酪農家の管理棟等に、本実施形態における動物容姿判定のための主要な機能が実装されている情報処理装置である、動物容姿判定装置１００が設置される。動物容姿判定装置１００は、ウシＣに装着されているセンサ装置２００からの各種データ及び識別情報を受信して、各ウシＣの牛房ＣＢ内における位置の特定等に利用する。

牛房ＣＢ内には、センサ装置２００から送信される電波を受信して送信元であるセンサ装置２００の位置、すなわち、牛房ＣＢ内でのウシＣ１，Ｃ２の位置を前記動物容姿判定装置１００によって解析するためのデータを生成するデバイスである位置検出器３００が設けられる。図１の例では、２台の位置検出器３００が、牛房ＣＢ内の適宜の場所に設置され、センサ装置２００から到来する電波の角度を検出し、動物容姿判定装置１００へ送信している。動物容姿判定装置１００は、各位置検出器３００からの角度データを利用して、牛房ＣＢ内におけるウシＣの位置を解析して取得する。図１に例示するように、牛房ＣＢ内には、便宜的に、平面座標系を規定するＸ軸、Ｙ軸と、それらに直交するＺ軸を設定しておくことができる。動物容姿判定装置１００は、インターネット、ＷＡＮ、ＬＡＮ等の、外部の通信ネットワークＮと通信可能に構成してもよい。動物容姿判定装置１００、センサ装置２００、位置検出器３００の構成と機能については、関連図面を参照して後述する。

牛房ＣＢ内には、ウシＣの画像を撮像するための、一又は複数のカメラ４００が設置される。牛房ＣＢ内で飼育されているウシＣについては、定期的にその画像が撮像されることが望ましい。そのため、カメラ４００を、牛房ＣＢ内においてウシＣが定期的に（例えば一日一回）現れるような場所、例えば餌場や水飲み場付近が撮像されるように設置すれば、牛房ＣＢ内のウシＣそれぞれについて定期的に画像を取得することができ好適である。カメラ４００は、例えばＣＣＤ等の撮像素子を有するデジタルカメラであり、牛房ＣＢ内の動画像の撮像、又は所定時間間隔での静止画像の撮像を行い、画像データを動物容姿判定装置１００に送信する。

図２に、図１の動物容姿判定システム１の概略構成、機能を示している。本実施形態の動物容姿判定システム１は、動物容姿判定装置１００を備える。動物容姿判定装置１００には、牛房ＣＢ内に設置された位置検出器３００からの電波受信角度データが、当該センサ装置２００の識別情報とともに入力される。センサ装置２００の識別情報は、センサ装置２００から位置センサ３００が受信するデータに含まれている。動物容姿判定装置１００は、位置データ解析機能Ｆ１により、入力された電波受信角度データと位置検出器３００の設置位置との解析を行い、位置情報算出機能Ｆ２により、牛房ＣＢ内におけるセンサ装置２００の位置情報を算出する。センサ装置２００の識別情報は各ウシＣと紐付けられているため、センサ装置２００の位置情報は、牛房ＣＢ内での当該センサ装置２００が取り付けられたウシＣの位置を表すこととなる。

一方、動物容姿判定装置１００は、カメラ４００が撮像した牛房ＣＢ内の画像データを取得する。取得された画像データは、画像解析機能Ｆ３によって解析され、動物抽出機能Ｆ４によって各画像に含まれているウシＣの画像が抽出される。このとき、画像内における各ウシＣの位置が算出される。画像内におけるウシＣの位置は、当該画像を撮像したカメラ４００の設置位置、撮像方向、及び画角に基づいて、実際の牛房ＣＢ内における位置に変換される。

センサ装置２００から受信した信号に基づく位置情報（第２の位置情報）と、画像内のウシＣの位置から変換して得られた牛房ＣＢ内における位置の情報（第１の位置情報）は、個体識別機能Ｆ５によって対照される。画像に基づく位置情報とセンサ装置２００からの信号に基づく位置情報とに対応関係があると判定された場合、当該画像は対応関係があると認められたセンサ装置２００が取り付けられたウシＣの画像であると特定される。前記のように、センサ装置２００の識別情報は各ウシＣの個体情報と対応づけられているので、前記画像とウシＣの個体情報とが対応づけられることとなる。画像に基づく位置情報とセンサ装置２００からの信号に基づく位置情報とに対応関係があるとは、各位置情報によって特定される牛房ＣＢ内の位置の差分（距離）が、所定の閾値以下であることを意味する。さらに換言すると、画像に基づく位置情報が示す牛房ＣＢ内の位置とセンサ装置２００からの信号に基づく位置情報が示す牛房ＣＢ内の位置とが一定の範囲内に含まれる場合、前記の対応関係が存在すると判断される。前記の閾値は対象の動物等に応じて適宜定めればよいが、本実施形態のウシの場合、例えば数１０ｃｍのオーダーで規定することができる。

動物抽出機能Ｆ４によって各画像において抽出されたウシＣの画像は容姿判定機能Ｆ６により、その容姿の観点から判定処理が実施される。前記のように、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の４項目が設定されており、容姿判定機能Ｆ６では、ウシＣの画像に基づいて、各容姿判定項目について定量的な判定が実行される。個体識別機能Ｆ５によって対応づけられたウシＣの画像と個体情報、及び容姿判定機能Ｆ６によって得られた各ウシＣの画像に基づく判定結果とが関連付けられて、容姿情報記録機能Ｆ７によって時系列に記録されていく。

＜動物容姿判定装置１００，センサ装置２００，位置検出器３００＞
次に、本実施形態における動物容姿判定装置１００、センサ装置２００、位置検出器３００の構成と機能について、具体的に説明する。図３、図４は、それぞれ、本実施形態における動物容姿判定装置１００、センサ装置２００及び位置検出器３００のハードウェア及び機能ブロックの構成を例示するブロック図である。

＜＜センサ装置２００、位置検出器３００＞＞
まず、図４を参照して、本実施形態におけるセンサ装置２００、位置検出器３００について説明する。センサ装置２００は、ウシＣの身体の適宜部位に装着され、ウシＣの行動に含まれる、ウシＣの移動を物理量に変換して出力するデバイスを備える。本実施形態では、センサ装置２００は例えば首輪に固定されてウシＣの首に装着されるが、耳に装着するなど、他の部位に取り付けるように構成してもよい。

センサ装置２００は、本実施形態においては当該センサ装置２００の位置を動物容姿判定装置１００にて取得可能とするための端末装置として機能する。したがって、本実施形態においては、センサ装置２００は、自身の識別情報を送信する端末装置の機能を有すれば足りる。ここではそのような端末装置としてのセンサ装置２００の構成について説明する。図４に例示しているように、センサ装置２００は、ＣＰＵ等のプロセッサによって構成される処理部２１０と、通信部２２０とを備える。処理部２１０はセンサ装置２００の識別情報であるデータを記憶している識別情報記憶部２１１と、その識別情報のデータを外部へ送出するための識別情報送出部２１２を備える。識別情報としては、センサ装置２００を構成するデバイス固有のシリアル番号等を利用してもよい。

通信部２２０は、処理部２１０の識別情報送出部２１２から識別情報データを受け取って、所定の通信方式によって無線送信する機能を有する。本実施形態では、通信部２２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）に準拠した通信機能を備えた通信モジュールとして構成されている。通信部２２０から送信される識別情報送出部２１２からのデジタルデータは、Ｂｌｕｅｔｏｏｔｈのデータとして送信され、動物容姿判定装置１００によって受信される。Ｂｌｕｅｔｏｏｔｈのデータはまた、牛房ＣＢ内に設置された位置検出器３００においても受信される。なお上記の通信方式は一例であり、これに制約されるものではない。

位置検出器３００は、例えばＢｌｕｅｔｏｏｔｈ５．１に含まれている方向検知機能を利用するためのロケータとして機能する。図４に示すように、位置検出器３００は、プロセッサ等で構成される処理部３１０、アンテナアレイ３２０、及び通信部３３０を備えて構成することができる。処理部３１０は、機能ブロックとしての電波受信部３１１と、受信角度算出部３１２とを備えるものとすることができる。Ｂｌｕｅｔｏｏｔｈ５．１においては、電波の受信角度（Ａｎｇｌｅ ｏｆ Ａｒｒｉｖａｌ，ＡｏＡ）によりＢｌｕｅｔｏｏｔｈ信号の到来角度を取得することができる。Ｂｌｕｅｔｏｏｔｈ５．１のデジタル信号には、通常のデータ通信の後にＣｏｎｓｔａｎｔ Ｔｏｎｅ Ｅｘｔｅｎｓｉｏｎ（ＣＴＥ）と呼ばれる一定期間の単調な正弦波が含まれる。位置検出器３００は、このＣＴＥを複数のアンテナを含むアンテナアレイ３２０を通じて電波受信部３１１で受信し、受信角度算出部３１２において、各アンテナでの受信波の位相角の差に基づいて、Ｂｌｕｅｔｏｏｔｈ信号の入射角を算出する機能を備えている。後述するように、位置検出器３００の受信角度算出部３１２で算出された受信角度データは、通信部３３０によって動物容姿判定装置１００へ伝送される。なお、センサ装置２００の位置を検出する位置検出方式は、Ｂｌｕｅｔｏｏｔｈの機能を利用する方式に限られず、ＧＰＳ等の衛星測位システムを利用した位置検出方式、Ｗｉ－Ｆｉ基地局からの電波を利用した位置特定方式等、他の利用可能な方式を採用することができる。

＜＜動物容姿判定装置１００＞＞
次に、本発明に係る情報処理装置の一実施形態である動物容姿判定装置１００について説明する。図３に示すように、動物容姿判定装置１００は、サーバコンピュータ又はパーソナルコンピュータなどの情報処理装置であり、処理部１１０、記憶部１２０、入出力部１３０、データインタフェース（データＩＦ）部１４０、及び通信部１５０を備えている。処理部１１０、記憶部１２０、入出力部１３０、データＩＦ部１４０、及び通信部１５０の間は、図示を省略する内部通信線としてのバスによって接続されている。

処理部１１０は、ＣＰＵ等のプロセッサによって構成される演算装置であり、後述の記憶部１２０から各種プログラム、データを読み込んで実行し、動物容姿判定装置１００の機能を実現する。本実施形態では、処理部１１０は、画像データ受信部１１１、画像データ解析部１１２、位置データ受信部１１３、位置データ解析部１１４、個体識別部１１５、容姿判定部１１６、容姿情報記録部１１７、及び容姿情報出力部１１８の各機能部のデータ処理を実行する。各機能部の動作については後述する。

記憶部１２０は、ハードウェア群を動物容姿判定装置１００として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスク（ＨＤＤ）などで構成することができる。具体的には、記憶部１２０は、本実施形態の各機能を処理部１１０に実行させるためのプログラム（動物容姿判定装置１００の制御プログラム）、各種パラメータ、個体識別、容姿判定に利用されるデータ、処理対象であるウシＣに関するデータ、外部から入力される操作入力データ、及び生成された容姿情報データ等が記憶される。

入出力部１３０は、外部から動物容姿判定装置１００へのデータ入力を可能とするキーボード、マウス、タッチパネル、マイク等の各種入力デバイスと、容姿情報データ等を出力表示するためのモニタディスプレイ、スピーカ等の出力デバイスから構成されている。

データＩＦ部１４０は、処理部１１０、記憶部１２０、入出力部１３０、通信部１５０の間でのデータ通信を制御する機能を有する。

通信部１５０は、センサ装置２００、位置検出器３００との間で各種データの送受信を行う通信モジュールであり、例えばネットワークインタフェースカード（ＮＩＣ）等のハードウェアとして構成される。通信部１５０は、動物容姿判定装置１００が図１に例示した外部の通信ネットワークＮとの間で通信を実行するのにも使用することができる。本実施形態では省略しているが、動物容姿判定装置１００には、牛房ＣＢ内に設置したカメラ４００の各種制御機能を設けてもよい。

次に、処理部１１０が実行する各プログラムによって実現される動物容姿判定装置１００の機能について説明する。

画像データ受信部１１１は、牛房ＣＢ内に設置されたカメラ４００によって撮像された画像データを受信する機能を有する。カメラ４００は、典型的にはＣＣＤ等の撮像素子を備え、所要の解像度を備えたデジタルビデオカメラであるが、それに制約されるものではなく、所定時間間隔で静止画像を撮像するようにしてもよい。

画像データ解析部１１２は、画像データ受信部１１１が受信した牛房ＣＢ内の撮像画像データを、画像解析用データを用いて解析し、画像内にウシＣが含まれているか、含まれているウシＣについては、その画像内での位置に基づいて算出される牛房ＣＢ内での位置を求める機能を有する。図５に、カメラ４００によって撮像された牛房ＣＢ内の画像例を示している。図５に例示する画像には、３頭のウシＣ１～Ｃ３が撮像されている。画像データ解析部１１２は、記憶部１２０の画像解析用データ記憶部１２１に格納されている、多様なウシが撮像されている画像データを用いてあらかじめ学習させた学習モデルを用いて、各画像内にウシが撮像されているかを調べ、画像内でウシと判別された領域を、例えば図５に例示されているように矩形（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）、（ｘ_３，ｙ_３）、（ｘ_４，ｙ_４）で枠付けする。（ｘ_１，ｙ_１）、…は、画像内のスクリーン座標系における矩形頂点の座標を示す。学習に用いられる教師データは、多様なウシの画像を含む画像データについてウシが撮像されている領域を特定してなるアノテーションデータである。ウシＣが含まれていると判定された画像データは、後述する容姿判定のためのデータとして利用される。一方、画像内にウシＣが含まれていると判定された画像については、画像データ解析部１１２によって、画像内におけるウシＣの領域に基づいて、牛房ＣＢ内におけるウシＣの位置が算出される。画像内におけるウシＣが占める領域、すなわち前記の矩形頂点のスクリーン座標系における位置座標は、カメラ４００の設置位置座標、撮像方向を示す角度、例えばカメラ４００の撮影方向が水平面となす角度（俯角）及び牛房ＣＢ内の座標軸に対する角度、並びにカメラ４００の画角に基づいて、牛房ＣＢ内における現実空間の座標系（ワールド座標系）に射影変換され、当該画像内のウシＣが現実空間である牛房ＣＢ内において占める位置を求めることができる。具体的には、スクリーン座標系におけるウシＣの位置を示す矩形を平行移動、及び回転させてワールド座標系における位置に変換するための変換行列をあらかじめ各カメラ４００について用意しておく。この画像データに基づいて算出されたウシＣの位置は、後述する各ウシＣの個体識別処理に利用される。

位置データ受信部１１３は、位置検出器３００からの位置データを受信する機能を有する。前記のように、位置データは、例えば各位置検出器３００の牛房ＣＢ内における位置座標、各位置検出器３００の受信角度算出部３１２において算出された、センサ装置２００からの電波受信角度データである。位置検出器３００の位置座標データは、あらかじめパラメータとして記憶部１２０に格納しておいてもよい。

位置データ解析部１１４は、位置データ受信部１１３にて受信、取得した位置検出器３００の位置座標データ及び電波受信角度を用いて、牛房ＣＢ内におけるセンサ装置２００の位置を算出する。図１のように２セットの位置検出器３００を用いると、電波の発信元であるセンサ装置２００の位置は、各位置検出器３００の位置から電波受信角度に従って引いた直線の交点として求めることができる。センサ装置２００の位置測定精度の必要に応じて、位置検出器３００を増設することも可能である。求められたセンサ装置２００の位置を、あらかじめ牛房ＣＢ内に設定した平面座標とマッチングすることで、センサ装置２００が装着されたウシＣが、牛房ＣＢ内のどの場所にいるかを判定することができる。位置データ解析部１１４によって算出された各センサ装置２００の牛房ＣＢ内における位置は、後述する各ウシＣの個体識別処理に利用される。なお、上記のセンサ装置２００の位置検出方式は一例であり、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の測位衛星信号に基づいて位置座標を算出する、Ｗｉ－Ｆｉ基地局からの電波を利用する等、他の方式を利用するとしてもよい。

個体識別部１１５は、画像データ解析部１１２によって、画像データに含まれているウシＣの画像内位置に基づいて算出されたウシＣの牛房ＣＢ内における推定位置と、位置データ解析部１１４によって、位置検出器３００からのデータに基づいて算出された各センサ装置２００の牛房ＣＢ内における位置とを対照することにより、画像内に撮像されている各ウシＣの個体識別を行う機能を有する。前記のように、各ウシＣに取り付けられているセンサ装置２００には、固有の識別情報であるセンサ装置ＩＤが付与されており、位置検出器３００を経由して容姿判定装置１００で受信される。センサ装置ＩＤは各ウシＣの個体識別符号である個体ＩＤと紐づけられているので、画像データから推定されたウシＣの位置とセンサ装置２００の位置とを対照することにより、画像データから推定されたウシＣの位置とセンサ装置２００の位置との差分が所定の閾値以下であるか（両位置が牛房ＣＢ内の一定の範囲内に含まれる程度に十分近接しているか）を判定し、画像内のウシＣと個体ＩＤとを関連付けることができる（この関連付けは、処理対象データ記憶部の構成に関して後述する）。図６に、画像データから推定した牛房ＣＢ内のウシＣの位置と、センサ装置２００からの受信電波に基づいて算出されたウシＣの位置とを対照して模式的に示している。図６において、星印は画像データから推定されたウシＣの位置を、丸印はセンサ装置２００からの受信電波に基づいて算出されたウシＣの位置を示している。画像データに基づくウシＣの数がセンサ装置２００の数より少ないのは、牛房ＣＢ内にいるウシＣのうち、カメラ４００の撮像画像からは検出できなかったものが存在することを示している。図６においては、画像データから推定されたウシＣの位置（星印）に、斜線を付した丸印の３頭のウシ（個体ＩＤ＝００１～００３）が対応付けられることが示されている。このように、個体識別部１１５は、画像内に撮像されているウシＣがいずれの個体であるかを特定することを可能としている。各ウシＣについて特定された位置情報は、記録年月日及び時刻、ウシＣの個体ＩＤ、及び牛房ＣＢ内における位置が関連付けられたレコードとして、図９に例示する位置情報記憶部１２３に記録される。

容姿判定部１１６は、カメラ４００によって撮像された画像データ内に含まれているウシＣの画像に基づいて、そのウシＣの容姿を定量的に判定する機能を有する。ウシＣの容姿を定量的に判定することにより、各ウシＣの健康管理、疾病予防等に利用することができる。図７に、本実施形態における容姿判定で判定される容姿判定項目を例示している。本実施形態では、一例として子牛の容姿判定項目を示しており、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の４項目について、それぞれ最良判定である容姿スコア０から容姿スコア２までの３段階で判定している。各項目では、耳の位置は高く上がっているほどよく、目は大きく見開いているほどよく、頭の位置は高いほどよく、背中は曲がりがなく真っすぐなほどよいという観点で判定される。乳牛の経産牛など、容姿判定の対象に応じて判定項目は適宜に変更してよい。容姿判定部１１６は、画像データ解析部１１２が画像内において枠付けしたウシＣを含む画像データについて、容姿判定用データ記憶部１２２に格納されている容姿判定用データを利用して判定処理を実行する。図８に、容姿判定用データ記憶部１２２の構成例を示している。図８に例示する容姿判定用データは、ウシＣを含む画像データ、顔、体側等の画像に含まれているウシＣの容姿種別、目の開き等の判定項目、及び対応付けられている画像データの判定項目について付与された容姿スコアが格納されている。容姿判定部１１６は、例えば判定対象のウシＣの画像と容姿判定用データとを対照し、その画像における判定項目の類似度に基づいて判定対象画像についての容姿スコアを決定することができる。容姿判定の手法としては、これに制約されることなく、
・多数のウシＣについて蓄積された画像から、「耳の位置」、「目の開き」などの各判定項目に基づいてあらかじめ定量化指標を導出しておき、その定量化指標に基づいて容姿判定を行う。例えば、「耳の位置」であれば、水平線からの耳のたれ具合（耳の下がり角度）に基づいて容姿スコアを付与できるように判定基準を定量化しておく。
・容姿判定用データにより、ウシＣの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにのより、あらたなウシＣの画像について容姿判定を実行させる。
等を採用することが可能である。

容姿情報記録部１１７は、容姿判定部１１６によって生成されたウシＣごとの容姿判定結果を容姿情報として時系列で記録する機能を有する。容姿情報は、記憶部１２０の容姿情報記憶部１２４に記録される。図１０に、容姿情報記憶部１２４の構成例を示している。図１０に例示する容姿情報記憶部１２４は、容姿情報が記録された年月日及び時刻、ウシＣの個体ＩＤ、容姿判定項目及び容姿スコアが関連付けられて記録されている。

容姿情報出力部１１８は、容姿情報記憶部１２４から入出力部１３０等からの入力操作によって、所定の条件の下で容姿情報データを抽出して出力する機能を有する。例えば特定の個体ＩＤを有するウシＣの特定の容姿判定項目と対応する容姿スコアを抽出して時系列データとして出力させることにより、当該のウシＣの健康状態の変化、疾病や特定イベント（離乳、分娩等）の兆候を捉えるために利用することが可能である。

処理対象データ記憶部１２５は、容姿判定の対象となる個々のウシＣに関する個別の情報を格納している。図１１に、処理対象データ記憶部１２５の構成例を示している。図１１に例示する処理対象データ記憶部１２５は、容姿判定の対象である各ウシＣに識別符号として付与されている個体ＩＤに対応付けて、センサ装置２００の固有の識別情報であるセンサ装置ＩＤ、ウシとしての種類を示す牛種、性別、年齢、健康状態、及び病歴の各項目が記録されている。センサ装置ＩＤは、ウシＣに取り付けられている各センサ装置２００から動物容姿判定装置１００に送信されるセンサデータに付帯され、受信したセンサデータがどのセンサ装置２００で取得されたかを識別可能としている。センサ装置ＩＤは位置検出器３００においても受信されるので、特定のセンサ装置２００の位置とセンサ装置ＩＤとを紐づけることができる。健康状態は、図示のように判定数値で記録するほか、具体的にテキストで記録してもよい。病歴についても適宜の記載様式を採用してよい。処理対象データ記憶部１２５の記録項目は、図１１の例に制約されることなく、適宜決定することができる。

＜動物容姿判定装置１００によるデータ処理＞
次に、本実施形態における動物容姿判定装置１００が実行するデータ処理について説明する。動物容姿判定装置１００は、主として、画像に撮像されている動物（本実施形態ではウシ）の位置を検出するための位置情報算出処理と、画像に基づいて動物の容姿を判定する容姿判定処理とを実行する。

＜＜位置情報算出処理＞＞
図１２に、本実施形態における動物容姿判定装置１００が実行する位置情報算出処理の処理フロー例をフローチャートで示している。位置情報算出処理は、例えば動物容姿判定装置１００の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。

動物容姿判定装置１００の画像データ受信部１１１は、カメラ４００から、カメラ４００が撮像した撮像画像データを受信する（ステップＳ１１）。

画像データ解析部１１２は、カメラ４００から受信した画像データを、画像解析用データ記憶部１２１に記憶されている画像解析用データを利用して解析し（ステップＳ１２）、画像内におけるウシＣの画像領域を抽出する（ステップＳ１３）。

画像データ解析部１１２は、画像内におけるウシＣの占める領域を、スクリーン座標系、カメラ４００の位置、撮像方向に基づくカメラ座標系、及び現実世界の空間座標系との関係を用いて空間座標系内の位置に変換し、牛房ＣＢ内におけるウシＣの位置を算出する（ステップＳ１４）。

一方、位置データ解析部１１４は、位置データ受信部１１３が位置検出器３００から受信した電波の到来角度から各センサ装置２００の位置をウシＣの位置として算出し、ステップＳ１４において画像データに基づき推定したウシＣの位置と対照する（ステップＳ１５）。これにより、画像データから推定されたウシＣの位置が、対照されるセンサ装置２００の位置、すなわちセンサ装置２００が装着されたウシＣの位置によって検証され、画像に撮像されている各ウシＣの個体識別が達成される。なお、ウシＣの位置の検証は、まず画像データに基づき推定したウシＣの位置を示す第１の位置情報をウシＣの牛房ＣＢ内における位置と仮定して、対応するセンサ装置２００の位置があるか、言い換えれば画像データに基づき推定したウシＣの位置座標から一定の範囲内にいずれかのセンサ装置２００の位置座標が検出されているかに基づいて実施することができる。あるいは、まずセンサ装置２００の位置を牛房ＣＢ内でのウシＣの位置とし、これらに対応する画像データに基づき推定したウシＣの位置を示す第１の位置情報があるか、言い換えればセンサ装置２００の位置座標から一定の範囲内にいずれかの画像データに基づき推定したウシＣの位置座標が存在するかに基づいてウシＣの位置を検証することもできる。

位置データ解析部１１４は、ステップＳ１５において特定されたウシＣの位置を、位置情報記憶部１２３に記録する（ステップＳ１６）。

処理部１１０は、入出力部１３０あるいは通信部１５０を通じてデータ処理の終了命令を受けているかを判定する（ステップＳ１７）。終了命令を受けていないと判定した場合（ステップＳ１７：ＮＯ）、処理部１１０はステップＳ１１に戻って位置情報算出処理の実行を継続する。終了命令を受けていると判定した場合（ステップＳ１７：ＹＥＳ）、処理部１１０は位置情報算出処理を終了する。

＜＜容姿判定処理＞＞
図１３に、本実施形態における動物容姿判定装置１００が実行する容姿判定処理の処理フロー例をフローチャートで示している。容姿判定処理は、例えば動物容姿判定装置１００の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。

動物容姿判定装置１００による容姿判定処理は、動物容姿判定装置１００の動作中、ウシＣに装着されているセンサ装置２００ごとに反復して実行される（ステップＳ２１のループ）。容姿判定部１１６は、画像データ解析部１１２が画像データから抽出したウシＣの画像を取得する（ステップＳ２２）。容姿判定部１１６は、取得したウシＣの画像から、容姿判定項目に係る画像を抽出する（ステップＳ２３）。具体的には、容姿判定部１１６は、取得した画像にウシＣの頭部、顔、体側が含まれており、容姿判定項目に関わる「頭」、「耳」、「目」、及び「背部」が識別可能か調べる。この判定は、例えばウシＣの「頭」、「耳」、「目」、及び「背部」を含む多数の教師データによって学習させた学習モデルを用いることができる。なお、ウシＣの画像取得に関しては、各ウシＣについて、容姿判定項目に関わる身体の部位がまんべんなく撮像されるようにすることが好ましい。このような観点からは、例えば、ウシＣが飼育されている牛房ＣＢ内に複数のカメラ４００を設置し、牛房ＣＢ内を複数の異なる方向から撮像することが好ましい。あるいは、例えばカメラ４００において撮像中に、ウシＣがカメラ４００に注意を向けるような音響、光等を発するように構成することも考えられる。

容姿判定部１１６は、抽出した容姿判定項目に関わる画像を、容姿判定用データ記憶部１２２から読み出した容姿判定用データと対照する（ステップＳ２４）。具体的には、上記したように、容姿判定部１１６は、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の４項目について、容姿判定用データとの類似度を調べる。あるいは、各判定項目に基づいてあらかじめ導出された定量化指標と比較する、容姿判定用データにより、ウシＣの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにより、あらたなウシＣの画像について判定させるといった処理を実行する。

容姿判定部１１６は、ステップＳ２４の対照結果に基づいて各判定項目についての容姿スコアを決定し（ステップＳ２５）、容姿情報として、容姿情報記録部１１７により容姿情報記憶部１２４に記録される（ステップＳ２６）。

以上の位置情報算出処理及び容姿判定処理が実行されることによって、各ウシＣについての容姿判定項目である「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアが、時系列に蓄積される。

＜動物容姿判定装置１００による容姿判定結果の利用＞
上記したように、本実施形態における動物容姿判定装置１００によれば、各ウシＣについて、容姿判定項目として選定されている「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する判定指標、容姿スコアが時系列に蓄積される。したがって、例えば、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアの時間的な変化と、ウシＣの健康状態、疾病罹患、発情、分娩、離乳等のイベントとの間の相関関係を分析して動物容姿判定装置１００に学習させることにより、本実施形態の動物容姿判定装置１００を、ウシＣの健康状態の変化、疾病罹患、発情、分娩、離乳等のイベントの予兆検出の目的に利用することができる。なお、本実施形態では、牛房ＣＢ内のウシＣを定期的に撮像しているが、各ウシＣは基本的に自然な状態にある。そのような状態で撮像を継続した場合、例えばあるウシＣの体調が悪く、動きが少ない、あるいはあまり姿勢が変わらないといった場合には、その特定のウシＣについて、容姿判定項目として使用可能な画像の撮像数が少ない、あるいは特定の容姿判定項目についての画像数が少ないといった傾向が認められるものと推測することができる。すなわち、ウシＣについて容姿スコアの時系列的な変化だけでなく、容姿判定項目に関する画像数の時間的変化によっても健康状態の変化等を予測することができると考えられる。

以上説明した実施形態によれば、以下のような効果を奏する。

本発明の一実施形態における動物容姿判定装置１００は、牛房ＣＢ内で飼育されているウシＣを含む撮像画像を取得し、前記撮像画像内のウシＣの画像に基づいて算出したウシ当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する画像データ解析部１１２と、ウシＣに設けたセンサ装置２００から識別情報と、ウシＣの牛房ＣＢ内での位置を示す第２の位置情報とを取得する位置データ解析部１１４と、第１の位置情報と第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部１１５とを備えている。

このようにすれば、牛房ＣＢ内でのウシＣの撮像画像に基づいて、ウシＣの牛房ＣＢ内での位置が精度よく特定され、もって撮像画像に係るウシＣの個体識別が可能となる。

動物容姿判定装置１００は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記第２の位置情報に対応する前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部１１６を備えるとしてもよい。

このようにすれば、個体識別された各ウシＣの容姿の変化を時系列で記録することができる。

容姿判定部１１６が、ウシＣについて取得された画像情報と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用してウシＣの容姿を判定するとしてもよい。

このようにすれば、各ウシＣの容姿についての判定を自動的に実行させることができる。

容姿判定部１１６が、ウシＣについて取得された画像と、容姿判定項目についてあらかじめ設定されたウシＣの画像における特徴の判断基準とに基づいてウシＣの容姿を判定するとしてもよい。

このようにすれば、各ウシＣの容姿についての判定を自動的に実行させることができる。

ウシＣの画像に基づいて推定した位置と対照される位置情報は、ウシＣに設けたセンサ装置２００から送信される電波の到来方向に基づいて算出されるものとすることができる。

このようにすれば、センサ装置２００からのデータ送信に利用される電波によって、センサ装置２００、すなわちウシＣの位置検出を実現することができる。

前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。

このようにすれば、動物の疾病、発情、分娩、成長、及び離乳といった事象を動物の容姿判定に基づいて適時に見逃すことなく知得することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図２、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が、動物容姿判定装置１００に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２、図３の例に限定されない。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるＵＳＢメモリ等のリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭや、記憶部１２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組み合わせることも可能である。更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 動物容姿判定システム
１００ 動物容姿判定装置
１１０ 処理部
１１５ 個体識別部
１１６ 容姿判定部
１２０ 記憶部
１２２ 容姿判定用データ記憶部
１２４ 容姿情報記憶部
２００ センサ装置
３００ 位置検出器
４００ カメラ

Claims (8)

1. 予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する第１の位置情報取得部と、
   前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する第２の位置情報取得部と、
   前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する個体識別部と、
   を備えている情報処理装置。
2. 撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第１の位置情報を取得し、当該第１の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部
   を備えている、請求項１に記載の情報処理装置。
3. 前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定する、請求項２に記載の情報処理装置。
4. 前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定する、請求項２に記載の情報処理装置。
5. 前記第２の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出される、請求項１から４までのいずれか一項に記載の情報処理装置。
6. 前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用される、請求項２から５までのいずれか一項に記載の情報処理装置。
7. 情報処理装置が、
   予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、
   前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、
   前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理と、
   を実行する情報処理方法。
8. 情報処理装置に、
   予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第１の位置情報として取得する処理と、
   前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第２の位置情報とを取得する処理と、
   前記第１の位置情報と前記第２の位置情報との差分が所定の閾値以下であると判定した場合、前記第１の位置情報と前記第２の位置情報に係る前記識別情報とを関連付けて記録する処理と、
   を実行させるプログラム。

Images