JP2021135619A - 状況識別装置、状況学習装置及びプログラム - Google Patents

Abstract

【課題】識別対象に含まれる移動物体の位置情報を用いることで、識別対象の状況を精度高く判定する。【解決手段】状況識別装置１のマップ生成部１１は、識別対象に含まれる移動物体ｉの位置情報Ｘiに基づいて、識別対象における移動物体ｉの分布を画像化したマップＭを生成する。ニューラルネットワーク部１２は、マップＭを入力データとして、所定の結合重み係数に応じたニューラルネットワークの演算を行い、状況毎の生起の度合いｐjを出力データとして生成する。判定部１３は、状況毎の生起の度合いｐjに基づいて、識別結果ｐ^を判定して出力する。【選択図】図１

Description

本発明は、移動物体の位置関係に基づいて、移動物体を含む識別対象の状況を判定する装置及びプログラムに関する。

複数人数の選手からなるチーム同士で競うサッカー等の球技においては、得点または攻守の移り変わり、特別な競技状態（例えば、サッカーにおけるセットプレイ等）、負傷者の発生等のように、時々刻々と試合の状況が変化する。

このような状況は選手またはボールの配置に反映されることがあるため、逆に選手またはボールの配置から試合の状況を推定する手法が提案されている（例えば非特許文献１を参照）。

非特許文献１の手法は、まず、サッカーコートを２５の領域に分割して各領域に含まれる選手人数をチーム別に数え、各チームの選手の平均の速さ（速度の絶対値）を求めて、これらを５２次元の特徴ベクトルとしてまとめる。

学習時において、学習装置は、各種プレイ（コーナーキック、フリーキック等の計１２クラス）のそれぞれに対して、前記特徴ベクトルの平均ベクトル及び共分散行列を求め、クラス間共分散行列にクラス内共分散行列の逆行列を乗じた行列の固有値及び固有ベクトルを算出する。そして、学習装置は、固有値の大きい順に、対応する固有ベクトルを整順した第１〜５２のFisher（フィッシャー）重みマップを得る。

学習装置は、第ｎ（ｎは１以上５２以下の整数）のフィッシャー重みマップを前記各特徴ベクトルに乗じることで、各正準変量を求める。そして、学習装置は、正準空間における各正準変量の分布を、それぞれ混合ガウス分布による確率密度関数として近似し、学習済みモデル（条件付き確率）を生成する。また、学習装置は、学習データにおける各プレイの発生頻度を数え、その結果である各プレイの生起確率を学習済みモデル（事前確率）として生成する。

実行時において、実行装置は、観測された選手の配置情報に基づいて、５２次元の特徴ベクトルを算出し、これに各フィッシャー重みマップを乗算することで、各正準変量を求める。そして、実行装置は、各正準変量を前記学習済みモデル（条件付き確率）であるプレイ毎の混合ガウス分布に代入することで、当該状況が各プレイである尤度を算出する。

実行装置は、この尤度に当該プレイの前記学習モデル（事前確率）を乗じた評価値（事後確率に定数たる周辺尤度を乗じた値）を求めることで、現在の状況がいずれのプレイとして確からしいかを推定する。

また、試合の状況を定量化する手法として、選手の配置情報から得点の可能性を算出する技術が提案されている（例えば特許文献１，２を参照）。

特許第５１５５８４１号公報 特許第５１５５８３０号公報

T. Misu, et al.，"Soccer Formation Classification Based on Fisher Weight Map and Gaussian Mixture Models"，Lecture Notes in Artificial Intelligence，vol.4938［The 3rd International Conference on Large-scale Knowledge Resources (LKR 2008)］，Tokunaga,T. and Ortega, A. ed.，Berlin，Springer，pp.194-209，2008

従来、検索用のインデックス付与（アノテーション）を自動化する目的等において、前述の非特許文献１の手法のように、選手及びボールの配置情報から試合の状況を判定する技術が必要とされている。

しかしながら、非特許文献１の手法は、フィッシャー判別分析という線形変換、及び混合ガウスモデルを用いた有限のガウス分布の加重合成による確率密度関数のモデリングで構成される。このため、例えば異なるクラス（状況）の特徴ベクトルの分布が線形分離不可能な場合には、特徴ベクトルから正準変量への変換も適切に行われず、功奏しない。

また、非特許文献１の手法では、サッカーコートを２５分割した各領域においてサッカー選手を数えるため、特徴ベクトルにおいて分割後の各部分領域より細かな選手位置の差異は区別不能となり、試合の状況の識別精度が低下するおそれがある。

特許文献１，２の手法は、得点の可能性の定量化に特化したものであり、例えば、スポーツにおけるルール上の意味的な状況（例えば、サッカーにおけるキックオフ、コーナーキック等のセットプレイの種別）を識別することはできない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、識別対象に含まれる移動物体の位置情報を用いることで、識別対象の状況を精度高く判定可能な状況識別装置、状況学習装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の状況識別装置は、１以上の所定数の移動物体を含む識別対象の状況を判定する状況識別装置において、前記識別対象内の前記移動物体の位置に関する情報を位置情報として、前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて、前記識別対象内の前記所定数の移動物体の分布を画像化したマップを生成するマップ生成部と、前記マップ生成部により生成された前記マップを入力し、所定の結合重み係数に応じたニューラルネットワークの演算を行い、前記状況の発生の有無を出力するニューラルネットワーク部と、を備えたことを特徴とする。

請求項１の発明によれば、例えばスポーツ選手の位置情報のように、状況によって選手人数が変動する場合、またはセンシングの誤差等により選手の検出漏れまたは過検出が生じる場合においても、選手人数の変動を考慮することなくニューラルネットワーク部を動作させることができる。また、一般に、各選手（の背番号等を）を識別することなく、位置（例えばｘ座標及びｙ座標）をそのままベクトルとしてまとめた場合には、ある選手の位置情報の成分と別の選手の位置情報の成分とを入れ替えたものも同一の分布として表してしまうため、ニューラルネットワーク部への入力の表現が冗長となり、動作が首尾一貫しなくなる恐れがある。請求項１の発明では、各選手の分布を画像化したマップを生成し、ニューラルネットワーク部がマップである画像データを入力するようにしたから、当該入力の表現が冗長となることはなく、ニューラルネットワーク部を一貫して動作させることができるため、このような問題は生じることがない。

また、請求項２の状況識別装置は、請求項１に記載の状況識別装置において、前記状況を複数種類の状況とし、前記ニューラルネットワーク部により前記状況の発生の有無が出力される出力層のノード数を、前記状況の種類と同じ数とする、ことを特徴とする。

請求項２の発明によれば、ニューラルネットワーク部により出力されるデータ、すなわち複数種類の状況のデータを用いて状況を判定することができる。このため、ニューラルネットワーク部により出力されるデータから複数種類の状況を生成する処理が不要となり、処理負荷が小さくなる。

また、請求項３の状況識別装置は、請求項２に記載の状況識別装置において、さらに、判定部を備え、前記ニューラルネットワーク部が、前記複数種類の状況のそれぞれについての生起の度合いを出力し、前記判定部が、前記ニューラルネットワーク部により出力された前記複数種類の状況のそれぞれについての前記生起の度合いから、最も高い前記生起の度合いの前記状況を判定して出力する、ことを特徴とする。

請求項３の発明によれば、判定部が、ニューラルネットワーク部により出力された複数種類の状況の生起の度合いを用いて状況を判定することができるから、処理負荷が小さくなる。

また、請求項４の状況識別装置は、請求項３に記載の状況識別装置において、前記判定部が、判定した前記状況に対し時間方向のフィルタ処理を施すことで平滑化し、平滑化した前記状況を出力する、ことを特徴とする。

請求項４の発明によれば、識別対象の位置の誤差、過検出または未検出に起因するニューラルネットワーク部の出力の瞬間的な変動を抑制することができ、識別結果を安定化することができる。

また、請求項５の状況識別装置は、請求項１から４までのいずれか一項に記載の状況識別装置において、前記ニューラルネットワーク部が、畳み込み層を含んで構成される、ことを特徴とする。

請求項５の発明によれば、ニューラルネットワーク部は、マップとして表現された入力を、位置関係を考慮しながら効率的に処理することができ、処理負荷及びメモリ帯域を減ずることができる。

また、請求項６の状況識別装置は、請求項１から５までのいずれか一項に記載の状況識別装置において、前記位置情報には、前記移動物体の位置がどの程度信頼できるかを定量化した信頼度が含まれており、前記マップ生成部が、前記信頼度を含む前記位置情報に基づいて、前記信頼度が反映された前記マップを生成する、ことを特徴とする。

請求項６の発明によれば、位置情報の信頼度を反映した識別対象の状況の判定が可能となり、識別結果の信頼性を向上することができる。

さらに、請求項７の状況学習装置は、１以上の所定数の移動物体を含む識別対象内の前記移動物体の位置に関する情報を位置情報として、前記識別対象内の前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて生成したマップと、前記識別対象の状況を表すアノテーションデータとの対からなる学習データに基づいて、ニューラルネットワークを学習し、前記ニューラルネットワークに用いる結合重み係数を出力する状況学習装置であって、前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて、前記識別対象内の前記所定数の移動物体の分布を画像化した前記マップを生成するマップ生成部と、前記マップ生成部により生成された前記マップを入力し、前記結合重み係数に応じた前記ニューラルネットワークの演算を行い、前記識別対象の状況の発生の有無を表す推定ベクトルを出力するニューラルネットワーク部と、前記アノテーションデータに基づいて、前記ニューラルネットワーク部により出力される前記推定ベクトルと同じ次元を有し、各成分が前記アノテーションデータの前記状況に対応するか否かを示す値により構成される正解ベクトルを生成し、当該正解ベクトルを出力する正解ベクトル生成部と、前記ニューラルネットワーク部により出力された前記推定ベクトルと、前記正解ベクトル生成部により出力された前記正解ベクトルとを比較し、比較結果を評価値として生成する評価部と、前記評価部により生成された前記評価値に基づいて、前記ニューラルネットワーク部が用いる前記結合重み係数を更新する結合重み係数更新部と、を備えたことを特徴とする。

請求項７の発明によれば、状況識別装置が使用する結合重み係数を、機械学習により数学的規範に基づいて自動的に決定することができる。

また、請求項８の状況学習装置は、請求項７に記載の状況学習装置において、さらに、前記位置情報に対して摂動を与えるか、または鏡像変換若しくは回転変換を施すことで、水増し位置情報を生成すると共に、前記位置情報に対応する前記アノテーションデータに基づいて、水増しアノテーションデータを生成するデータ拡張部を備え、前記マップ生成部が、さらに、前記データ拡張部により生成された前記水増し位置情報に基づいて、前記マップを生成し、前記正解ベクトル生成部が、さらに、前記データ拡張部により生成された前記水増しアノテーションデータに基づいて、前記正解ベクトルを生成して出力する、ことを特徴とする。

請求項８の発明によれば、学習データを仮想的に増加することができ、より高精度な識別を可能とする結合重み係数を得ることができる。

さらに、請求項９のプログラムは、コンピュータを、請求項１から６までのいずれか一項に記載の状況識別装置として機能させることを特徴とする。

また、請求項１０のプログラムは、コンピュータを、請求項７または８に記載の状況学習装置として機能させることを特徴とする。

以上のように、本発明によれば、識別対象に含まれる移動物体の位置情報を用いることで、識別対象の状況を精度高く判定することができる。

本発明の実施形態による状況識別装置の構成の一例を示すブロック図である。 状況識別装置の処理の一例を示すフローチャートである。 選手及びボールの位置並びにマップＭの一例を示す図である。 選手及びボールの速度並びにマップＭの一例を示す図である。 ニューラルネットワーク部の構成の一例を示す図である。 本発明の実施形態による状況学習装置の構成の一例を示すブロック図である。 状況学習装置の処理の一例を示すフローチャートである。 学習処理（ステップＳ７０４）の詳細を示すフローチャートである。 アノテーションデータｑが式（２０）に示した形式のスカラーの場合における水増しアノテーションデータＱ^(H)，Ｑ^(V)，Ｑ^(R)の一例を示す図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔状況識別装置〕
まず、本発明の実施形態による状況識別装置について説明する。図１は、本発明の実施形態による状況識別装置の構成の一例を示すブロック図であり、図２は、状況識別装置の処理の一例を示すフローチャートである。

この状況識別装置１は、状況を識別すべき対象（以下、「識別対象」という。）に含まれる移動物体の位置情報を入力し、予め設定された結合重み係数に応じたニューラルネットワークの演算等により識別対象の状況を判定し、識別結果を出力する装置である。

識別対象に含まれる移動物体は、単一のものであっても複数のものであってもよいし、その数が変化するものであってもよい。具体的には、人物、動物、その他の物体であって、その位置が変化する可能性のあるものとする。

識別対象に含まれる移動物体は、例えば、サッカー、ラグビー、アメリカンフットボール、ホッケー、アイスホッケー、バレーボール、バスケットボール、野球、カーリング、カーレースに代表されるスポーツにおける選手、審判、遊具（ボール、パック、ストーン、バット、スティック、ブラシ、ネット、フラッグ、自動車等）等である。

識別結果は、識別対象における１以上の種類の状況（例えば、スポーツのプレイの種類：サッカーのセットプレイ（キックオフ、コーナーキック、間接フリーキック、直接フリーキック、ペナルティキック、ゴールキック、スローイン）等）に対する生起の有無、または度合いである。また、識別結果は、識別対象の最も確からしい（または最も尤もらしい）状況であってもよい。

図１の例では、状況識別装置１は対象位置計測部２に接続される。対象位置計測部２は、識別対象に含まれる移動物体の位置情報を計測するものであればいかなるものでも構わない。

対象位置計測部２は、例えば移動物体に装着したＲＦＩＤ（Radio Frequency IDentification）タグまたはビーコンの情報を受信機で受信する方法、ＧＮＳＳ（Global Navigation Satellite System）等による測位情報を蓄積または送受信する方法、カメラ映像の画像解析により位置情報を得る方法、距離センサ（ＬＩＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）またはレーザーレンジファインダ等）またはレーダーにより位置情報を得る方法、デッドレコニングまたは内界センサ（ジャイロスコープ、加速度センサ等）による位置推定手法、これらを組み合わせたフィルタ処理（例えばKalman（カルマン）フィルタ処理）により位置情報を推定する手法等を用いることで、物体の位置情報を計測する。

尚、状況識別装置１は、時々刻々得られる位置情報に基づいて実時間処理するものであってもよいし、一旦蓄積媒体に位置情報を記録してからオフライン処理するものであっても構わない。

状況識別装置１は、マップ生成部１１、ニューラルネットワーク部１２及び判定部１３を備えている。

（マップ生成部１１）
マップ生成部１１は、対象位置計測部２から、識別対象に含まれる移動物体ｉの位置情報Ｘ_i（ｉ＝１〜Ｎ）、すなわち位置情報（Ｘ_i）_{i∈{1,2,...,N}}（Ｎは自然数）を入力する（ステップＳ２０１）。ｉは移動物体の番号を示す。

マップ生成部１１は、位置情報Ｘ_iに基づいて、識別対象における移動物体ｉの分布を画像化したマップＭを生成する（ステップＳ２０２）。マップ生成部１１は、マップＭをニューラルネットワーク部１２に出力する。

マップＭは、水平、垂直及び種別からなる３次元の数値列（３階テンソル）として例示するが、３階以外のテンソル（例えば水平及び垂直方向からなる２階テンソル、水平、垂直、時間及び種別からなる４階テンソル）であっても構わない。

以下、マップＭの成分をｘ，ｙ，ｃとし、Ｍ（ｘ，ｙ，ｃ）と記述する。（ｘ，ｙ）は、２次元的な位置情報（例えば、サッカー場のセンターマーク中心を原点とし、タッチラインと平行にｘ軸、ハーフウェイライン上にｙ軸、鉛直上向きにｚ軸をそれぞれとって右手系を構成し、そのうちｘ成分及びｙ成分を採用したもの）とする。また、種別ｃは例えばｃ∈｛０，１，２｝とし、各種別ｃには、異なる種類の位置情報（例えば左側チームの選手、右側チームの選手及びボール）を対応させる。

マップＭは、例えば、識別対象における移動物体の２次元的な配置を可視化した画像、または当該可視化した画像に画像処理を施した画像とすることができる。

位置情報Ｘ_iは、以下の式のとおり、例えば移動物体ｉのｘ座標ｘ_i、ｙ座標ｙ_i及び種別ｃ_iから構成される。種別ｃは、例えばｃ_i＝０が左チームの選手を示し、ｃ_i＝１が右チームの選手を示し、ｃ_i＝２がボールを示す。

このときのマップＭは、例えば以下の式のとおり、種別ｃ毎に各位置に存在する選手数をカウントすることで生成される。

また、マップＭは、例えば以下の式のとおり、種別ｃ毎に各選手の位置を中心として設定したガウシアン状の分布を重畳することで生成される。

ここで、σはガウシアンの広がりを指定するための距離の次元を有する数値であり、正の実数とする。例えば、σは、０．１〜１０メートルの値とする。

これにより、前記式（３）に示した選手の位置を中心としたガウシアン状の分布を用いることで、マップＭにおける選手の位置が点ではなく、選手の位置を中心とした面（後述する図３に示すように、円の中心が最も大きい値をとり、周縁ほど小さい値をとる）で与えられる。この場合、当該マップＭを入力するニューラルネットワーク部１２に用いる結合重み係数は、後述する状況学習装置３にて少ない学習データを用いて求められる。つまり、後述する状況学習装置３は、選手の位置が少しでも違っている場合であっても、その位置に応じた異なる学習データを複数用意することはなく、同一の学習データを用いることで、精度の高い結合重み係数を得ることができる。

また、マップＭは、例えば以下の式のとおり、種別ｃ毎に各選手の位置を中心として所定の半径ρ以内（ρは非負の実数）に限って設定したガウシアン状の分布を重畳することで生成される。

例えば、ρは、σの１〜１０倍の値とする。

これにより、前記式（４）に示した選手の位置を中心とした半径ρ以内のガウシアン状の分布を用いることで、マップＭにおける選手の位置が点ではなく所定範囲内の面で与えられる。このため、後述する状況学習装置３は、前述と同様に、少ない学習データを用いて学習処理を行うことができる。また、マップ生成部１１の計算量を減らすことができ、処理負荷を低減することができる。

図３は、選手及びボールの位置並びにマップＭの一例を示す図である。（ａ）は、識別対象に含まれる移動物体ｉの位置を示す図であり、白塗りの丸印は左チームの選手を示し、バツ印は右チームの選手を示し、黒塗りの丸印はボールを示す。（ｂ）〜（ｄ）は、種別ｃ毎に分けた位置のマップＭを示す。

（ｂ）は、種別ｃ＝０である左チームの選手のマップＭ（ｘ，ｙ，０）を示す図であり、前記式（３）に示した選手の位置を中心としたガウシアン状の分布を用いて生成されたものである。（ｃ）は、種別ｃ＝１である右チームの選手のマップＭ（ｘ，ｙ，１）を示す図であり、（ｂ）と同様に前記式（３）を用いて生成されたものである。（ｄ）は、種別ｃ＝２であるボールのマップＭ（ｘ，ｙ，２）を示す図であり、（ｂ）及び（ｃ）と同様に前記式（３）を用いて生成されたものである。

尚、前述のとおり、マップ生成部１１は、例えば前記式（１）に示したｘ座標ｘ_i、ｙ座標ｙ_i及び種別ｃ_iから構成される位置情報Ｘ_iを入力し、前記式（２）〜（４）に示したマップＭを生成する。

これに対し、マップ生成部１１は、以下の式のとおり、ｘ座標ｘ_i、ｙ座標ｙ_i及び種別ｃ_iに加え、当該ｘ座標ｘ_i及びｙ座標ｙ_i（または種別ｃ_i）がどの程度信頼できるかを定量化した信頼度ｒ_iを含んで構成される位置情報Ｘ_iを入力し、信頼度ｒ_iに応じて重み付けしたマップＭを生成するようにしてもよい。信頼度ｒ_iは、例えばその値が大きいほど信頼できるものとする。信頼度ｒ_iの範囲は、所定の実数の範囲（例えば０以上１以下の実数の範囲）として定義してもよい。

このときのマップＭは、前記式（２）〜（４）の代わりに、それぞれ以下の式（６）〜（８）を用いて生成される。

これにより、位置情報Ｘ_iの信頼度ｒ_iを反映した識別対象の状況の判定が可能となり、識別結果の信頼性を向上することができる。

また、マップ生成部１１は、以下の式のとおり、移動物体ｉの速度のｘ成分ｕ_i、ｙ成分ｖ_i及び種別ｃ_iを含む位置情報Ｘ_iを入力し、マップＭを生成するようにしてもよい。速度のｘ成分ｕ_i及びｙ成分ｖ_iは、例えば対象位置計測部２によって直接的に計測されるものであってもよいし、異なる時刻の位置情報の差分から求めるようにしてもよい。

このときのマップＭは、前記式（２）〜（４）及び前記式（６）〜（８）の代わりに、それぞれ以下の式（１０）〜（１２）を用いて生成される。

図４は、選手及びボールの速度並びにマップＭの一例を示す図である。（ａ）は、識別対象に含まれる移動物体ｉの速度を示す図である。白塗りの丸印は左チームの選手を示し、バツ印は右チームの選手を示し、黒塗りの丸印はボールを示す。（ｕ，ｖ）は、各選手またはボールが当該印の位置にあるときの速度ベクトルを示し、ｕは速度のｘ成分、ｖは速度のｙ成分を示す。（ｂ）〜（ｄ）は、種別ｃ毎に分けた速度のマップＭを示す。

（ｂ）は、種別ｃ＝０である左チームの選手のマップＭ（ｘ，ｙ，０）を示す図であり、左チームの選手が（ｘ，ｙ）にあるときの速度（ｕ，ｖ）＝（１，１），（１，０．５）を示している。（ｃ）は、種別ｃ＝１である右チームの選手のマップＭ（ｘ，ｙ，１）を示す図であり、右チームの選手が（ｘ，ｙ）にあるときの速度（ｕ，ｖ）＝（２，０），（０，１）を示している。

（ｄ）は、種別ｃ＝２であるボールのマップＭ（ｘ，ｙ，２）を示す図であり、ボールが（ｘ，ｙ）にあるときの速度（ｕ，ｖ）＝（２，０）を示している。

また、マップ生成部１１は、移動物体ｉの位置のｘ座標ｘ_i、ｙ座標ｙ_i及び種別ｃ_iに加え、移動物体ｉの速度のｘ成分ｕ_i及びｙ成分ｖ_iを含む位置情報Ｘ_iを入力し、マップＭ（ｘ，ｙ，ｃ）を生成するようにしてもよい。

例えば種別ｃ＝０の場合、左チームの選手の位置を表すマップＭ（ｘ，ｙ，０）を示し、種別ｃ＝１の場合、右チームの選手の位置を表すマップＭ（ｘ，ｙ，１）を示し、種別ｃ＝２の場合、ボールの位置を表すマップＭ（ｘ，ｙ，２）を示す。また、種別ｃ＝３の場合、左チームの選手の速度を表すマップＭ（ｘ，ｙ，３）を示し、種別ｃ＝４の場合、右チームの選手の速度を表すマップＭ（ｘ，ｙ，４）を示し、種別ｃ＝５の場合、ボールの速度を表すマップＭ（ｘ，ｙ，５）を示す。

また、マップ生成部１１は、移動物体ｉの位置のｘ座標ｘ_i、ｙ座標ｙ_i及び種別ｃ_i（並びに速度の各成分）に加え、移動物体ｉの加速度の各成分を含む位置情報Ｘ_iを入力し、マップＭ（ｘ，ｙ，ｃ）を生成するようにしてもよい。また、マップ生成部１１は、移動物体ｉの見ている方向（例えば顔または目の方向）も含む位置情報Ｘ_iを入力し、マップＭ（ｘ，ｙ，ｃ）を生成するようにしてもよい。

また、マップ生成部１１は、移動物体ｉの位置に基づいた前記式（２）〜（４）、位置及び信頼度に基づいた前記式（６）〜（８）、または速度に基づいた前記式（１０）〜（１２）により生成したマップＭに対し、適宜、大きさを拡大若しくは縮小したり、または水平方向、垂直方向若しくは両方向に平行移動したり、回転したり、振幅を変換（コントラスト変換、トーンカーブ適用等）したりしてもよい。

また、マップ生成部１１は、生成したそれぞれのマップＭを水平、垂直または種別方向にタイル化（多重）するようにしてもよい。また、マップ生成部１１は、移動物体ｉの速度に基づいた前記式（１０）〜（１２）により生成したマップＭに対し、さらに信頼度ｒ_iに応じて重み付けしたマップＭを生成するようにしてもよい。

このように、マップ生成部１１により、識別対象における移動物体ｉの分布を画像化したマップＭが生成される。このマップＭは、移動物体ｉの数の変動の影響を受けることのない固定サイズの画像データである。このため、マップＭを入力してニューラルネットワークの演算を行う後段のニューラルネットワーク部１２において、処理負荷の低い効率的な演算を行うことができる。

（ニューラルネットワーク部１２）
図１及び図２に戻って、ニューラルネットワーク部１２は、マップ生成部１１からマップＭを入力し、マップＭを入力データとして、所定の結合重み係数に応じたニューラルネットワークの演算を行う。そして、ニューラルネットワーク部１２は、状況毎の発生の有無、例えば状況毎の生起の度合い（生起しているか否かを定量化した値）ｐ_j（ｊ＝１〜Ｍ）からなるベクトルｐを出力データとして生成する（ステップＳ２０３）。ｊは状況の種類を示す番号であり、状況は１または複数種類ある。ニューラルネットワーク部１２は、ベクトルｐを判定部１３に出力する。

具体的には、ニューラルネットワーク部１２は、種別ｃ毎のマップＭ（ｘ，ｙ，ｃ）をニューラルネットワークの入力層のノードに入力する。そして、ニューラルネットワーク部１２は、所定の結合重み係数に応じたニューラルネットワークの演算を行うことで状況毎の生起の度合いｐ_j（ｊ＝１〜Ｍ）を求め、ベクトルｐを出力層のノードから出力する。

ニューラルネットワーク部１２は、例えば畳み込み層を有するネットワーク（畳み込みニューラルネットワーク）により構成されるようにしてもよいし、全結合層のみからなるネットワーク（多層パーセプトロン）により構成されるようにしてもよい。好ましくは、ニューラルネットワーク部１２は、畳み込み層（及び必要に応じてプーリング層）の連鎖の後に、全結合層を１以上有する畳み込みニューラルネットワークにより構成される。

これにより、ニューラルネットワーク部１２が畳み込み層を有することで、画像化したマップＭとして表現された入力を、位置関係を考慮しながら効率的に処理することができ、処理負荷及びメモリ帯域を減ずることができる。

特に、マップ生成部１１が、前記式（３）または（４）等を用いてガウシアン状の分布が反映されたマップＭを生成し、ニューラルネットワーク部１２が当該マップＭを入力する場合に効果的である。つまり、ニューラルネットワーク部１２は、マップ生成部１１によりガウシアン状の分布が反映されたマップＭを入力データとして、畳み込み層を有するニューラルネットワークの演算を行う場合、一層効率的な処理が行われる。

また、ニューラルネットワーク部１２の各層には活性化関数を適用するものがあってもよいし、活性化関数を適用しないものがあっても構わない。活性化関数は、全て同一の種類（ReLU（Rectified Linear Unit）、シグモイド関数、ソフトマックス関数等）であってもよいし、複数の異なる種類の活性化関数を混在させても構わない。例えば、ニューラルネットワーク部１２は、最終の層のみ活性化関数としてソフトマックス関数を用い、他の層にはReLUを用いる。ニューラルネットワーク部１２の層数は任意である。

図５は、ニューラルネットワーク部１２の構成の一例を示す図である。このニューラルネットワーク部１２は、種別ｃ毎のマップＭ（ｘ，ｙ，ｃ）をニューラルネットワークの入力層のノードに入力し、状況毎の生起の度合いｐ_j（ｊ＝１〜Ｍ）からなるベクトルｐを出力層のノードから出力する。

図５に示すニューラルネットワーク部１２は、畳み込み層を７層とし、全結合層を２層として構成される。各層におけるパディング、カーネル、ストライド及び活性化関数は、図５に示すとおりである。

ニューラルネットワーク部１２には、例えばｊ番目の出力値であるｐ_jが、ｊ番目の種類の状況が発生しているときほど大きな値をとり、発生していないときほど小さな値をとるように、学習済みの結合重み係数が予め設定されているものとする。

このように、ニューラルネットワーク部１２により出力される出力データの数（出力層のノード数）を、状況毎の生起の度合いｐ_jの数（状況の種類と同じ数）とした。これにより、ニューラルネットワーク部１２により出力されるベクトルｐを構成する状況毎の生起の度合いｐ_jをそのまま用いて判定部１３にて状況が判定できるから、処理負荷は小さくなる。

（判定部１３）
図１及び図２に戻って、判定部１３は、ニューラルネットワーク部１２から状況毎の生起の度合いｐ_jから構成されるベクトルｐを入力し、状況毎の生起の度合いｐ_jに基づいて識別結果ｐ^を判定する（ステップＳ２０４）。そして、判定部１３は、識別結果ｐ^を出力する（ステップＳ２０５）。

判定部１３は、例えば以下の式のとおり、状況毎の生起の度合いｐ₁〜ｐ_Mのうち最も値が大きい度合いｐ_Jを判定し、識別結果ｐ^としてその状況の種類（添え字の値Ｊ）を出力する。

また、判定部１３は、例えば、状況毎の生起の度合いｐ₁〜ｐ_Mのうち最も値が大きい度合いｐ_Jを判定する。そして、判定部１３は、以下の式のとおり、度合いｐ_Jが閾値θ以上（θは実数）であると判定した場合、識別結果ｐ^としてその状況の種類（添え字の値Ｊ）を出力する。一方、判定部１３は、度合いｐ_Jが閾値θ未満であると判定した場合、いずれの状況も生起していないものと判断し、識別結果ｐ^として特定の値（例えば０）を出力する。

また、判定部１３は、例えば、複数の状況の同時生起があり得る場合には、状況毎の生起の度合いｐ₁，ｐ₂，...，ｐ_Mと閾値列θ₁，θ₂，...，θ_Mとを項毎に比較する。そして、判定部１３は、ｊ番目の種類の状況が生起している場合には、ベクトルの識別結果ｐ^の第ｊ成分に１を設定し、生起していない場合には第ｊ成分に０を設定し、ベクトルの識別結果ｐ^を出力する。

また、判定部１３が時々刻々と識別結果ｐ^を出力する場合、判定部１３は、判定した識別結果ｐ^に対し、時間方向のフィルタ処理（例えばＩＩＲ（Infinite Impulse Response）フィルタ処理、ＦＩＲ（Finite Impulse Response）フィルタ処理（平均平滑化を含む）、またはローパスフィルタ処理）を施すことで平滑化し、平滑化した識別結果ｐ^を出力するようにしてもよい。

このフィルタ処理により、識別対象の位置の誤差、過検出または未検出に起因して、ニューラルネットワーク部１２から出力されるベクトルｐを構成する状況毎の生起の度合いｐ_jの瞬間的な変動を抑制することができ、識別結果ｐ^を安定化することができる。

このように、判定部１３により、ニューラルネットワーク部１２にて出力されたベクトルｐを構成する状況毎の生起の度合いｐ_jを用いて識別対象の状況が判定されるため、処理負荷が小さくなる。

以上のように、本発明の実施形態の状況識別装置１によれば、マップ生成部１１は、識別対象に含まれる移動物体ｉの位置情報Ｘ_iに基づいて、識別対象における移動物体ｉの分布を画像化したマップＭを生成する。

ニューラルネットワーク部１２は、マップＭを入力データとして、所定の結合重み係数に応じたニューラルネットワークの演算を行い、状況毎の生起の度合いｐ_jを出力データとして生成する。そして、判定部１３は、状況毎の生起の度合いｐ_jに基づいて、識別結果ｐ^を判定して出力する。

これにより、識別対象における移動物体ｉの分布を画像化したマップＭをニューラルネットワーク部１２に入力するようにしたから、識別対象の状況によって移動物体ｉの数が変動する場合、またはセンシングの誤差等により移動物体の検出漏れまたは過検出が生じる場合においても、移動物体ｉの数の変動を考慮することなく、ニューラルネットワーク部１２を動作させることができる。

例えば、状況識別装置１がサッカーの試合の状況を判定する場合、サッカーの試合においては、ボールがサッカーコートから出てしまうことで識別対象から消えたり、選手が重なったりすることがある。この場合、ニューラルネットワーク部１２の入力データを、画像化したマップＭではなく選手及びボールの位置（ｘ座標及びｙ座標）とすると、ニューラルネットワーク部１２の入力データの数が変動し、データを入力する順番の判断が困難となり、ニューラルネットワーク部１２の処理負荷が増大してしまう。また、選手を識別する処理、選手が交代したときの処理等も必要となるため、全体として処理負荷が増大し、演算精度が低下する。

また、ニューラルネットワーク部１２の入力データを、画像化したマップＭではなく試合の画像そのものとすると、ニューラルネットワーク部１２の学習のために、多くの学習データが必要となる。なぜならば、最適な学習を行うために、試合が行われる時間帯の違い（昼または夜）、試合会場の違い、サッカーコートに使用されている芝生の色の違い等に応じて、それぞれの学習データが必要となるからである。十分な学習データを用いることができない場合には、ニューラルネットワーク部１２の演算精度が低下してしまう。

本発明の実施形態では、識別対象における移動物体ｉの分布を画像化したマップＭをニューラルネットワーク部１２に入力するようにしたから、入力データの数が変動することがなく、データを入力する順番の判断も不要となるため、処理負荷は増大しない。また、試合が行われる時間帯の違い等を考慮する必要がないため、学習データが少なくて済む。

したがって、識別対象に含まれる移動物体ｉの位置情報Ｘ_iを用いることで、識別対象の状況を精度高く判定することができる。

〔状況学習装置〕
次に、本発明の実施形態による状況学習装置について説明する。図６は、本発明の実施形態による状況学習装置の構成の一例を示すブロック図であり、図７は、状況学習装置の処理の一例を示すフローチャートである。

この状況学習装置３は、対象位置計測部２及びアノテーション入力部４からの入力に対し、ニューラルネットワークに与えるべき最適な結合重み係数を演算して、当該結合重み係数を出力する装置である。状況学習装置３により出力された結合重み係数は、図１に示した状況識別装置１のニューラルネットワーク部１２に設定される。

対象位置計測部２は、図１に示した同名の構成部と同様であるため、ここでは説明を省略する。

（アノテーション入力部４）
アノテーション入力部４は、対象位置計測部２により位置情報Ｘが計測された時点において、識別対象の状況を教示するための手段である。アノテーション入力部４は、キーボードまたはタッチパネルの押下（タッチ）操作、マウスまたはトラックボールのクリック操作、ホイール等の回転操作等の任意のヒューマンマシンインターフェースを用いることができる。

アノテーション入力部４は、各種状況の生起の有無を状況の種類毎に指定する（例えば、発生している状況にチェックを入れる）方式、または複数の状況の選択肢の中から生起している状況の識別子を指定する方式にて、アノテーションデータｑを生成する。尚、アノテーション入力部４は、当該状況の生起の他、その信頼度に関する情報を付属的に入力する方式を用いるようにしてもよい。

アノテーション入力部４は、対象位置計測部２により計測された識別対象に含まれる移動物体の位置情報Ｘと同じ時点における、位置情報Ｘに対応する、識別対象の状況を表すアノテーションデータｑを状況学習装置３へ出力する。

アノテーション入力部４は、例えば、各種状況の生起の有無を状況の種類毎に指定する方式を用いる場合、以下の式のとおり、ｊ番目の状況が生起している場合にはｑ_j＝１を設定し、生起していない場合にはｑ_j＝０を設定することで、アノテーションデータｑを生成する。

また、アノテーション入力部４は、例えば、状況の生起の他、その信頼度（ｊ番目の状況が生起している信頼度（または度合い））ｒ_iに関する情報を付属的に入力する方式を用いる場合、以下の式のとおり、ｊ番目の状況についてｑ_j＝ｆ（ｒ_i）を設定することで、アノテーションデータｑを生成する。

関数ｆは、好ましくは広義単調増加関数（または広義単調減少関数）とする。例えば関数ｆとして、恒等関数を用いることができる。

また、アノテーション入力部４は、例えば、複数の状況の選択肢の中から生起している状況の識別子Ｑ（Ｑは１以上Ｍ以下の整数）を指定する方式を用いる場合、以下の式のとおり、ｊ＝Ｑの場合にはｑ_j＝１を設定し、ｊ≠Ｑの場合にはｑ_j＝０を設定することで、アノテーションデータｑを生成する。

また、アノテーション入力部４は、例えば、複数の状況の選択肢の中から生起している状況の識別子Ｑを指定し、かつ状況の生起の他、その信頼度ｒ_iに関する情報を付属的に入力する方式を用いる場合、以下の式のとおり、ｊ＝Ｑの場合にはｑ_j＝ｒ_iを設定し、ｊ≠Ｑの場合にはｑ_j＝０を設定することで、アノテーションデータｑを生成する。

また、アノテーション入力部４は、複数の状況の選択肢の中から生起している状況の識別子Ｑを指定する方式を用いる場合、以下の式のとおり、生起している状況の識別子Ｑをアノテーションデータｑに直接設定することで、アノテーションデータｑを生成するようにしてもよい。

図６を参照して、状況学習装置３は、データ拡張部２１、学習データ蓄積部２２、マップ生成部１１、ニューラルネットワーク部１２、結合重み係数記憶部２３、正解ベクトル生成部２４、評価部２５及び結合重み係数更新部２６を備えている。

（データ拡張部２１）
データ拡張部２１は、対象位置計測部２から、識別対象に含まれる移動物体の位置情報Ｘを入力すると共に、当該位置情報Ｘの時点における識別対象の状況を表すアノテーションデータｑを入力する（ステップＳ７０１）。

データ拡張部２１は、位置情報Ｘ及びアノテーションデータｑの対に基づいてデータ拡張し、水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)の対を生成する（ステップＳ７０２）。

データ拡張部２１は、位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）、並びに水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)の対（Ｘ^(A)，ｑ^(A)）を、学習データとして学習データ蓄積部２２に格納する（ステップＳ７０３）。これにより、学習データを見かけ上増やすことができる。

データ拡張部２１は、以下の式のとおり、例えば位置情報Ｘのみに予め設定された摂動ΔＸを加えることで、水増し位置情報Ｘ^(A)を求める。また、データ拡張部２１は、アノテーションデータｑをそのまま水増しアノテーションデータｑ^(A)に設定する。

位置情報Ｘが、例えば以下の式で表される場合、

摂動ΔＸは、例えば以下の式のとおり、移動物体のｘ座標及びｙ座標のみに与えられる摂動である。右上付きのＴは、ベクトルまたは行列の転置を示す。

ただし、ｘは移動物体のｘ座標、ｙは移動物体のｙ座標、ｃは移動物体の種別である。

Δｘ及びΔｙは、例えば以下の式のとおり、平均が０、分散がσ_x及びσ_yのガウス雑音とすることができる。

演算子「〜」は、確率密度関数からの標本化を示す。

また、データ拡張部２１は、前述の水増し法の他、識別対象独自の方法によってデータ拡張を行うようにしてもよい。

例えば、前記式（２２）の位置情報Ｘにおいて、各成分をサッカーにおける選手またはボールの位置（ｘ，ｙ）及び種別ｃ（左チームの選手をｃ＝０、右チームの選手をｃ＝１、ボールをｃ＝２）とし、アノテーションデータｑである状況の種類を以下の８つとする。

この場合、データ拡張部２１は、位置情報Ｘに対し、左右（ｘ座標）を入れ替えることで（左右の鏡像変換を行うことで）水増し位置情報Ｘ^(H)を生成し、奥手前（ｙ座標）を入れ替えることで（奥手前の鏡像変換を行うことで）水増し位置情報Ｘ^(V)を生成する。また、データ拡張部２１は、位置情報Ｘに対し、ｘｙ平面内において１８０度回転させることで（回転変換を行うことで）水増し位置情報Ｘ^(R)を生成する。

このときの位置情報Ｘ及び水増し位置情報Ｘ^(H)，Ｘ^(V)，Ｘ^(R)は、以下の式で表される。

データ拡張部２１は、位置情報Ｘに基づいた水増し位置情報Ｘ^(H)，Ｘ^(V)，Ｘ^(R)の生成に伴い、アノテーションデータｑに基づいて水増しアノテーションデータｑ^(H)，ｑ^(V)，ｑ^(R)を生成する。

アノテーションデータｑが前記式（１６）に示した形式のベクトルの場合、水増しアノテーションデータｑ^(H)，ｑ^(V)，ｑ^(R)は、以下の式で表される。

具体的には、アノテーションデータｑが前記式（２５）で表される場合、水増しアノテーションデータｑ^(H)，ｑ^(V)，ｑ^(R)は、以下の式で表される。

図９は、アノテーションデータｑが前記式（２０）に示した形式のスカラーの場合における水増しアノテーションデータＱ^(H)，Ｑ^(V)，Ｑ^(R)の一例を示す図である。

前記式（２５）と同様に、アノテーションデータＱ＝１の場合、左チームの選手が右奥コーナーでコーナーキックの状況を示し、アノテーションデータＱ＝２の場合、左チームの選手が右手前コーナーでコーナーキックの状況を示すものとする。また、アノテーションデータＱ＝３〜８の場合、前記式（２５）の状況を示すものとする。

この場合、データ拡張部２１は、位置情報Ｘに基づいた水増し位置情報Ｘ^(H)，Ｘ^(V)，Ｘ^(R)の生成に伴い、アノテーションデータＱに基づいて水増しアノテーションデータＱ^(H)，Ｑ^(V)，Ｑ^(R)を生成する。具体的には、図９に示す水増しアノテーションデータＱ^(H)，Ｑ^(V)，Ｑ^(R)が生成される。

例えば、元の位置情報Ｘから左右反転データである水増し位置情報Ｘ^(H)が生成される際に、元のアノテーションデータＱ＝１の場合、水増しアノテーションデータＱ^(H)＝３が生成される。同様に、元のアノテーションデータＱ＝２の場合、水増しアノテーションデータＱ^(H)＝４が生成される。

また、元の位置情報Ｘから１８０度回転データである水増し位置情報Ｘ^(R)が生成される際に、元のアノテーションデータＱ＝１の場合、水増しアノテーションデータＱ^(R)＝４が生成される。同様に、元のアノテーションデータＱ＝２の場合、水増しアノテーションデータＱ^(R)＝３が生成される。

前述したサッカーの例においては、データ拡張部２１は、元の位置情報Ｘ及び元のアノテーションデータｑの対（Ｘ，ｑ）を、学習データとして学習データ蓄積部２２に格納する。また、データ拡張部２１は、水増し位置情報Ｘ^(H)，Ｘ^(V)，Ｘ^(R)及び水増しアノテーションデータｑ^(H)，ｑ^(V)，ｑ^(R)の対（Ｘ^(H)，ｑ^(H)），（Ｘ^(V)，ｑ^(V)），（Ｘ^(R)，ｑ^(R)）も、学習データとして学習データ蓄積部２２に格納する。

このように、データ拡張部２１により、学習データを仮想的に増加することができ、より高精度な識別対象の判定を可能とする結合重み係数を得ることができる。

（学習データ蓄積部２２）
図６及び図７に戻って、学習データ蓄積部２２は、位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）、並びに水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)の対（Ｘ^(A)，ｑ^(A)）を学習データとして蓄積する。

前述したサッカーの例においては、学習データ蓄積部２２は、位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）、並びに水増し位置情報Ｘ^(H)，Ｘ^(V)，Ｘ^(R)及び水増しアノテーションデータｑ^(H)，ｑ^(V)，ｑ^(R)の対（Ｘ^(H)，ｑ^(H)），（Ｘ^(V)，ｑ^(V)），（Ｘ^(R)，ｑ^(R)）を学習データとして蓄積する。

学習データ蓄積部２２に蓄積された位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）、並びに水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)の対（Ｘ^(A)，ｑ^(A)）は、ランダムに読み出される。位置情報Ｘ及び水増し位置情報Ｘ^(A)は、マップ生成部１１により読み出され、対応するアノテーションデータｑ及び水増しアノテーションデータｑ^(A)は、正解ベクトル生成部２４により読み出される。前述したサッカーの例についても同様である。

以下、学習データ蓄積部２２から読み出された位置情報Ｘ及び水増し位置情報Ｘ^(A)を位置情報Ｘ”とし、アノテーションデータｑ及び水増しアノテーションデータｑ^(A)をアノテーションデータｑ”とする。前述したサッカーの例についても同様である。

（学習処理）
状況学習装置３は、学習データ蓄積部２２に蓄積された学習データを対毎に読み出し、ニューラルネットワーク部１２を学習することで、結合重み係数を求めて出力する（ステップＳ７０４）。

図８は、学習処理（ステップＳ７０４）の詳細を示すフローチャートである。図７のステップＳ７０４の学習処理は、学習データ蓄積部２２の後段に設けられたマップ生成部１１、ニューラルネットワーク部１２、結合重み係数記憶部２３、正解ベクトル生成部２４、評価部２５及び結合重み係数更新部２６により行われる。

（マップ生成部１１）
マップ生成部１１は、学習データ蓄積部２２から学習データである位置情報Ｘ”を読み出す（ステップＳ８０１）。そして、マップ生成部１１は、位置情報Ｘ”に基づいて、識別対象における移動物体の分布を画像化したマップＭ”を生成する（ステップＳ８０２）。マップ生成部１１は、マップＭ”をニューラルネットワーク部１２に出力する。尚、マップ生成部１１は、図１に示した同名の構成部と同様であるため、ここでは詳細な説明を省略する。

（結合重み係数記憶部２３）
結合重み係数記憶部２３は、ニューラルネットワーク部１２に設定する結合重み係数を一時的に記憶する手段である。結合重み係数記憶部２３は、初期値として乱数系列（または疑似乱数系列）に基づく値を記憶しているか、または予め設定された定数値の系列を記憶しているものとする。

結合重み係数記憶部２３に記憶される結合重み係数は、結合重み係数更新部２６により更新される。結合重み係数記憶部２３は、結合重み係数の初期値または予め設定された結合重み係数をニューラルネットワーク部１２に設定し、その後、更新された結合重み係数をニューラルネットワーク部１２に設定する。

（ニューラルネットワーク部１２）
ニューラルネットワーク部１２は、図１に示したニューラルネットワーク部１２と同じ構成をなす。ニューラルネットワーク部１２は、マップ生成部１１からマップＭ”を入力する。

ニューラルネットワーク部１２は、マップＭ”を入力データとして、結合重み係数の初期値等、または結合重み係数更新部２６により更新され結合重み係数記憶部２３により設定された結合重み係数に応じたニューラルネットワークの演算を行い、以下の式のとおり、状況毎の生起の度合いｐ_j”（ｊ＝１〜Ｍ）からなる推定ベクトルｐ”を出力データとして生成する（ステップＳ８０３）。そして、 ニューラルネットワーク部１２は、推定ベクトルｐ”を評価部２５に出力する。

推定ベクトルｐ”は、Ｍ種類の状況について順にまとめたベクトルを示し、ｐ_j”は、ｊ番目の状況に関する成分を示す。

尚、ニューラルネットワーク部１２は、図１に示した同名の構成部と同様であるため、ここでは詳細な説明を省略する。

（正解ベクトル生成部２４）
正解ベクトル生成部２４は、学習データ蓄積部２２から、ステップＳ８０１にて読み出された位置情報Ｘ”に対応するアノテーションデータｑ”を読み出す（ステップＳ８０４）。そして、正解ベクトル生成部２４は、アノテーションデータｑ”に基づいて、ニューラルネットワーク部１２から出力されることが期待される状況毎の生起の度合いｐ_j ^(truth)（ｊ＝１〜Ｍ）からなる正解ベクトルｐ^(truth)を生成し（ステップＳ８０５）、正解ベクトルｐ^(truth)を評価部２５に出力する。

正解ベクトル生成部２４は、例えばアノテーションデータｑ”が前記式（１６）に示した形式のベクトルの場合、アノテーションデータｑ”をそのまま正解ベクトルｐ^(truth)に設定する（ｐ^(truth)＝ｑ”）。

また、正解ベクトル生成部２４は、例えばアノテーションデータｑ”が前記式（２０）に示した形式のスカラーの場合、以下の式のとおり、ｊ＝Ｑ”の場合にはｐ_j ^(truth)＝１を設定し、ｊ≠Ｑ”の場合にはｐ_j ^(truth)＝０を設定することで、アノテーションデータｑ”であるスカラーＱ”を正解ベクトルｐ^(truth)に変換する。

このように、正解ベクトルｐ^(truth)は、ニューラルネットワーク部１２から出力される推定ベクトルｐ”と同じ次元を有し、その各成分は、アノテーションデータｑ”の状況に対応するか否かを示す値により構成される。

（評価部２５）
評価部２５は、ニューラルネットワーク部１２から推定ベクトルｐ”を入力すると共に、正解ベクトル生成部２４から正解ベクトルｐ^(truth)を入力する。そして、評価部２５は、推定ベクトルｐ”と正解ベクトルｐ^(truth)とを比較し、比較結果を評価し、比較結果の評価値を誤差ベクトルΔｐとして生成する（ステップＳ８０６）。評価部２５は、誤差ベクトルΔｐを結合重み係数更新部２６に出力する。

評価部２５は、例えば以下の式のとおり、正解ベクトルｐ^(truth)から推定ベクトルｐ”を減算し、減算結果のベクトル値を誤差ベクトルΔｐとして生成する。

（結合重み係数更新部２６）
結合重み係数更新部２６は、評価部２５から誤差ベクトルΔｐを入力し、例えば誤差ベクトルΔｐのノルムを評価し、誤差ベクトルΔｐのノルムが予め設定された閾値よりも小さいか否かを判定する（ステップＳ８０７）。

結合重み係数更新部２６は、ステップＳ８０７において、誤差ベクトルΔｐのノルムが閾値よりも小さくないと判定した場合（ステップＳ８０７：Ｎ）、誤差ベクトルΔｐに基づいて、例えば誤差逆伝播法により、結合重み係数を更新し（ステップＳ８０８）、ステップＳ８０１へ移行し、次の学習データの処理を行う。

結合重み係数更新部２６は、更新した結合重み係数を結合重み係数記憶部２３に格納し、更新された結合重み係数は、結合重み係数記憶部２３によりニューラルネットワーク部１２に設定される。

一方、結合重み係数更新部２６は、ステップＳ８０７において、誤差ベクトルΔｐのノルムが閾値よりも小さいと判定した場合（ステップＳ８０７：Ｙ）、最適な結合重み係数を既に更新済みであると判断する。そして、結合重み係数更新部２６は、繰り返し行われる学習処理を停止し、結合重み係数の更新を行うことなく、このときの結合重み係数を最適な結合重み係数として出力する（ステップＳ８０９）。結合重み係数更新部２６により出力された結合重み係数は、図１に示した状況識別装置１のニューラルネットワーク部１２に設定される。

尚、結合重み係数更新部２６は、ステップＳ８０７において、学習データ蓄積部２２から読み出された学習データに基づく結合重み係数の更新回数を評価し、更新回数が予め設定された回数に達しているか否かを判定するようにしてもよい。

この場合、結合重み係数更新部２６は、ステップＳ８０７において、更新回数が予め設定された回数に達していないと判定した場合（ステップＳ８０７：Ｎ）、ステップＳ８０８へ移行し、誤差ベクトルΔｐに基づいて結合重み係数を更新する。

一方、結合重み係数更新部２６は、ステップＳ８０７において、更新回数が予め設定された回数に達していると判定した場合（ステップＳ８０７：Ｙ）、ステップＳ８０９へ移行し、繰り返し行われる学習処理を停止して結合重み係数を出力する。

また、学習データ蓄積部２２に蓄積されている位置情報Ｘ”及びアノテーションデータｑ”の対（Ｘ”，ｑ”）である学習データを、学習用データ及び検証用データの２群に分けるようにしてもよい。この場合、学習用データは、結合重み係数更新部２６による結合重み係数の更新処理に用いられ、検証用データは、結合重み係数更新部２６による学習処理の停止判定処理に用いられる。

具体的には、学習データ蓄積部２２に蓄積された学習用データを用いて、図８に示したステップＳ８０１〜Ｓ８０６の処理が行われ、学習用データから生成された誤差ベクトルΔｐが得られる。

一方、学習データ蓄積部２２に蓄積された検証用データを用いて、図８に示したステップＳ８０１〜Ｓ８０６の処理が行われ、検査用データから生成された誤差ベクトルΔｐが得られる。そして、ステップＳ８０７において、検査用データから生成された誤差ベクトルΔｐを用いて判定処理が行われる。

前述のステップＳ８０７の判定処理の結果を受けて、ステップＳ８０８において、学習用データから生成された誤差ベクトルΔｐに基づいて結合重み係数が更新され、ステップＳ８０９において、更新済みの結合重み係数が出力される。

また、結合重み係数更新部２６は、ステップＳ８０７において、学習用データに基づく誤差ベクトルΔｐのノルムの評価、学習用データに基づく更新回数の評価、及び検証用データに基づく誤差ベクトルΔｐのノルムの評価のうちの２つ以上の評価を組み合わせるようにしてもよい。

具体的には、結合重み係数更新部２６は、ステップＳ８０７において、前述の組み合わせの評価の条件のうち１つ以上の条件を満たしていない場合、ステップＳ８０８へ移行して結合重み係数を更新する。一方、結合重み係数更新部２６は、ステップＳ８０７において、前述の組み合わせた評価の条件を満たしている場合、ステップＳ８０９へ移行し、繰り返し行われる学習処理を停止して結合重み係数を出力する。

以上のように、本発明の実施形態の状況学習装置３によれば、データ拡張部２１は、位置情報Ｘ及びアノテーションデータｑの対をデータ拡張し、水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)を生成する。そして、データ拡張部２１は、位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）、並びに水増し位置情報Ｘ^(A)及び水増しアノテーションデータｑ^(A)の対（Ｘ^(A)，ｑ^(A)）を、学習データとして学習データ蓄積部２２に格納する。

マップ生成部１１は、学習データ蓄積部２２から学習データである位置情報Ｘ”を読み出し、位置情報Ｘ”に基づいて、識別対象における移動物体の分布を画像化したマップＭ”を生成する。

ニューラルネットワーク部１２は、マップＭ”を入力データとして結合重み係数に応じたニューラルネットワークの演算を行い、状況毎の生起の度合いｐ_j”からなる推定ベクトルｐ”を出力データとして生成する。

正解ベクトル生成部２４は、学習データ蓄積部２２から、位置情報Ｘ”に対応する学習データであるアノテーションデータｑ”を読み出し、アノテーションデータｑ”に基づいて、状況毎の生起の度合いｐ_j ^(truth)からなる正解ベクトルｐ^(truth)を生成する。

評価部２５は、正解ベクトルｐ^(truth)から推定ベクトルｐ”を減算し、減算結果のベクトル値を誤差ベクトルΔｐとして生成する。

結合重み係数更新部２６は、誤差ベクトルΔｐのノルムが予め設定された閾値よりも小さくないと判定した場合、誤差ベクトルΔｐに基づいて、例えば誤差逆伝播法により結合重み係数を更新する。一方、結合重み係数更新部２６は、誤差ベクトルΔｐのノルムが閾値よりも小さいと判定した場合、繰り返し行われる学習処理を停止し、結合重み係数を出力する。

これにより、学習用データに基づいて最適な結合重み係数が決定され、最適な結合重み係数が状況識別装置１のニューラルネットワーク部１２に設定される。つまり、状況識別装置１が使用する結合重み係数を、機械学習により数学的規範に基づいて自動的に決定することができる。

したがって、状況識別装置１のニューラルネットワーク部１２にて最適な結合重み係数が用いられるから、状況識別装置１は、識別対象に含まれる移動物体ｉの位置情報Ｘ_iを用いて、識別対象の状況を精度高く判定することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

前記実施形態では、状況識別装置１は判定部１３を備えるようにしたが、判定部１３を省略するようにしてもよい。この場合、状況識別装置１のニューラルネットワーク部１２は、ニューラルネットワークの演算により生成した状況毎の生起の度合いｐ_jを、そのまま識別結果ｐ^のベクトルとして出力する。

また、前記実施形態では、状況学習装置３はデータ拡張部２１を備えるようにしたが、データ拡張部２１を省略するようにしてもよい。この場合、学習データ蓄積部２２は、位置情報Ｘ及びアノテーションデータｑの対（Ｘ，ｑ）を学習データとして蓄積する。マップ生成部１１は、学習データ蓄積部２２から学習データである位置情報Ｘ”（＝Ｘ）を読み出し、位置情報Ｘ”に基づいてマップＭ”を生成する。また、正解ベクトル生成部２４は、学習データ蓄積部２２から、位置情報Ｘ”に対応する学習データであるアノテーションデータｑ”（＝ｑ）を読み出し、アノテーションデータｑ”に基づいて正解ベクトルｐ^(truth)を生成する。

また、前記実施形態では、状況学習装置３は、学習データ蓄積部２２の後段にマップ生成部１１を備えるようにしたが、学習データ蓄積部２２の前段（データ拡張部２１と学習データ蓄積部２２との間）にマップ生成部１１を備えるようにしてもよい。

この場合、マップ生成部１１は、データ拡張部２１から位置情報Ｘ及び水増し位置情報Ｘ^(A)等である位置情報Ｘ”を入力し、マップＭ”を生成して学習データ蓄積部２２に格納する。学習データ蓄積部２２は、位置情報Ｘ及び水増し位置情報Ｘ^(A)等の代わりに、マップＭ”を蓄積すると共に、マップＭ”と対をなすアノテーションデータｑ及び水増しアノテーションデータｑ^(A)を蓄積する。そして、ニューラルネットワーク部１２は、学習データ蓄積部２２からマップＭ”を読み出す。

尚、本発明の実施形態による状況識別装置１及び状況学習装置３のハードウェア構成としては、通常のコンピュータを使用することができる。状況識別装置１及び状況学習装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

状況識別装置１に備えたマップ生成部１１、ニューラルネットワーク部１２及び判定部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、状況学習装置３に備えたデータ拡張部２１、学習データ蓄積部２２、マップ生成部１１、ニューラルネットワーク部１２、結合重み係数記憶部２３、正解ベクトル生成部２４、評価部２５及び結合重み係数更新部２６の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 状況識別装置
２ 対象位置計測部
３ 状況学習装置
４ アノテーション入力部
１１ マップ生成部
１２ ニューラルネットワーク部
１３ 判定部
２１ データ拡張部
２２ 学習データ蓄積部
２３ 結合重み係数記憶部
２４ 正解ベクトル生成部
２５ 評価部
２６ 結合重み係数更新部
ｉ 移動物体の番号
Ｘ_i，Ｘ，Ｘ” 位置情報
Ｘ^(A)，Ｘ^(H)，Ｘ^(V)，Ｘ^(R) 水増し位置情報
Ｍ，Ｍ” マップ
ｃ 種別
ｊ 状況の種類を示す番号
ｐ_j 生起の度合い
ｐ ベクトル
ｒ_i 信頼度
ｐ^ 識別結果
ｑ，ｑ”，Ｑ アノテーションデータ
ｑ^(A)，ｑ^(H)，ｑ^(V)，ｑ^(R) ，Ｑ^(H)，Ｑ^(V)，Ｑ^(R) 水増しアノテーションデータ
ΔＸ 摂動
ｐ^” 推定ベクトル
ｐ^(truth) 正解ベクトル
Δｐ 誤差ベクトル

Claims (10)

1. １以上の所定数の移動物体を含む識別対象の状況を判定する状況識別装置において、
   前記識別対象内の前記移動物体の位置に関する情報を位置情報として、前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて、前記識別対象内の前記所定数の移動物体の分布を画像化したマップを生成するマップ生成部と、
   前記マップ生成部により生成された前記マップを入力し、所定の結合重み係数に応じたニューラルネットワークの演算を行い、前記状況の発生の有無を出力するニューラルネットワーク部と、
   を備えたことを特徴とする状況識別装置。
2. 請求項１に記載の状況識別装置において、
   前記状況を複数種類の状況とし、
   前記ニューラルネットワーク部により前記状況の発生の有無が出力される出力層のノード数を、前記状況の種類と同じ数とする、ことを特徴とする状況識別装置。
3. 請求項２に記載の状況識別装置において、
   さらに、判定部を備え、
   前記ニューラルネットワーク部は、
   前記複数種類の状況のそれぞれについての生起の度合いを出力し、
   前記判定部は、
   前記ニューラルネットワーク部により出力された前記複数種類の状況のそれぞれについての前記生起の度合いから、最も高い前記生起の度合いの前記状況を判定して出力する、ことを特徴とする状況識別装置。
4. 請求項３に記載の状況識別装置において、
   前記判定部は、
   判定した前記状況に対し時間方向のフィルタ処理を施すことで平滑化し、平滑化した前記状況を出力する、ことを特徴とする状況識別装置。
5. 請求項１から４までのいずれか一項に記載の状況識別装置において、
   前記ニューラルネットワーク部は、畳み込み層を含んで構成される、ことを特徴とする状況識別装置。
6. 請求項１から５までのいずれか一項に記載の状況識別装置において、
   前記位置情報には、前記移動物体の位置がどの程度信頼できるかを定量化した信頼度が含まれており、
   前記マップ生成部は、
   前記信頼度を含む前記位置情報に基づいて、前記信頼度が反映された前記マップを生成する、ことを特徴とする状況識別装置。
7. １以上の所定数の移動物体を含む識別対象内の前記移動物体の位置に関する情報を位置情報として、前記識別対象内の前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて生成したマップと、前記識別対象の状況を表すアノテーションデータとの対からなる学習データに基づいて、ニューラルネットワークを学習し、前記ニューラルネットワークに用いる結合重み係数を出力する状況学習装置であって、
   前記所定数の移動物体におけるそれぞれの前記位置情報に基づいて、前記識別対象内の前記所定数の移動物体の分布を画像化した前記マップを生成するマップ生成部と、
   前記マップ生成部により生成された前記マップを入力し、前記結合重み係数に応じた前記ニューラルネットワークの演算を行い、前記識別対象の状況の発生の有無を表す推定ベクトルを出力するニューラルネットワーク部と、
   前記アノテーションデータに基づいて、前記ニューラルネットワーク部により出力される前記推定ベクトルと同じ次元を有し、各成分が前記アノテーションデータの前記状況に対応するか否かを示す値により構成される正解ベクトルを生成し、当該正解ベクトルを出力する正解ベクトル生成部と、
   前記ニューラルネットワーク部により出力された前記推定ベクトルと、前記正解ベクトル生成部により出力された前記正解ベクトルとを比較し、比較結果を評価値として生成する評価部と、
   前記評価部により生成された前記評価値に基づいて、前記ニューラルネットワーク部が用いる前記結合重み係数を更新する結合重み係数更新部と、
   を備えたことを特徴とする状況学習装置。
8. 請求項７に記載の状況学習装置において、
   さらに、前記位置情報に対して摂動を与えるか、または鏡像変換若しくは回転変換を施すことで、水増し位置情報を生成すると共に、前記位置情報に対応する前記アノテーションデータに基づいて、水増しアノテーションデータを生成するデータ拡張部を備え、
   前記マップ生成部は、
   さらに、前記データ拡張部により生成された前記水増し位置情報に基づいて、前記マップを生成し、
   前記正解ベクトル生成部は、
   さらに、前記データ拡張部により生成された前記水増しアノテーションデータに基づいて、前記正解ベクトルを生成して出力する、ことを特徴とする状況学習装置。
9. コンピュータを、請求項１から６までのいずれか一項に記載の状況識別装置として機能させるためのプログラム。
10. コンピュータを、請求項７または８に記載の状況学習装置として機能させるためのプログラム。

Images