JP2020134971A - 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置 - Google Patents

Abstract

【課題】ドメイン適用前後のモデルの相対評価が容易に可能な現場学習評価プログラムを提供する。【解決手段】非現場で撮影された第１画像から、対象を含む第１部分画像と、第１部分画像に設定された関節点ＧＴとを用いて学習されたベースモデルを取得し、現場で撮影された第２画像から検出された、対象を含む第２部分画像を取得し、第１部分画像の第１画像上の位置と、ＧＴにおける所定の基準関節点と、の関係を利用して、第２部分画像の第２画像上の位置に対応する基準関節点を、第２部分画像の仮ＧＴとして決定し、第２部分画像を用いてドメイン適用することで、ベースモデルをニューモデルに更新し、第２部分画像から、ベースモデルおよびニューモデルを用いてそれぞれ推定された基準関節点と、仮ＧＴと、を比較することで、いずれのモデルを現場で採用するか判定する処理をコンピューターに実行させる。【選択図】図１３Ａ

Description

本発明は、現場学習評価プログラム、現場学習評価方法、および現場学習評価装置に関する。

我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。

要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、要介護者等がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするために、要介護者等の居室の天井等に備えられたカメラによる撮影画像から要介護者等の姿勢や行動を検出するためのシステムの開発が進められている。

機械学習により、撮影画像から対象物体を検出する場合、学習データとテストデータの統計的性質が異なることで検出精度が低下する可能性がある。このような検出精度の低下を抑制するための技術として、上述した統計的性質のずれを補正するドメイン適用という技術が知られている。

ドメイン適用に関連する先行技術として、下記特許文献１には、次の技術が開示されている。学習データに含まれる各要素に付される重みが所定の拘束条件を満たすか判定し、重み、または、学習データもしくはテストデータに含まれる各サンプルを変換する特徴変換パラメーターの少なくとも一方に関して正規化を行って目的関数の値を導出する。そして、重みおよび特徴変換パラメーターを導出して、重みおよび特徴変換パラメーターに関する目的関数に基づいて重みおよび特徴変換パラメーターの最適化を行い、特徴変換パラメーターに基づいて、学習データまたはテストデータの少なくとも一方に含まれる要素を変換する。これにより、ドメイン適用における特徴変換精度を向上できる。

国際公開第２０１６／１２５５００号

しかし、機械学習による非現場学習の後、ドメイン適用を用いた現場学習を行うことにより、現場の画像から対象物体の関節点を推定する場合等において、現場学習では正解データがないので、現場における推定精度を確認できない。従って、ドメイン適用により推定精度は向上し得るが、低下することもあるため、ドメイン適用後の推定精度を確認できないと、推定結果の信頼性を担保できない。上記先行技術は、このような問題に対応できない。

本発明は、上述の問題を解決するためになされたものである。すなわち、ドメイン適用後のモデルの、ドメイン適用前のモデルに対する推定精度の相対評価が容易に可能な現場学習評価プログラム、現場学習評価方法、および現場学習評価装置を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する手順（ａ）と、ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する手順（ｂ）と、前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の仮グランドトゥルースとして決定する手順（ｃ）と、前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する手順（ｄ）と、前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する手順（ｅ）と、を有する処理を、コンピューターに実行させるための現場学習評価プログラム。

（２）前記第１画像および前記第２画像には、直上から撮影された前記対象の画像が含まれ、前記基準関節点は、前記対象の頭部、肩、または腰の関節点である、上記（１）に記載の現場学習評価プログラム。

（３）前記手順（ｅ）は、直上から俯瞰された位置から撮影された前記対象が含まれる前記第２部分画像、および所定距離以上離れた位置から撮影された前記対象が含まれる前記第２部分画像を除く、オクルージョンが発生しにくい所定の区間で水平移動をする前記対象が含まれる時間的に連続する複数の前記第２部分画像のうち、前記水平移動の開始および終了の時点の前記対象が含まれる前記第２部分画像が除かれた前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する、上記（１）または（２）に記載の現場学習評価プログラム。

（４）ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する段階（ａ）と、ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する段階（ｂ）と、前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の、前記基準関節点に対応する部分の仮グランドトゥルースとして決定する段階（ｃ）と、前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する段階（ｄ）と、前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、推定された前記基準関節点に対応する、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する段階（ｅ）と、を有する現場学習評価方法。

（５）ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する第１取得部と、ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する第２取得部と、前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の、前記基準関節点に対応する部分の仮グランドトゥルースとして決定する決定部と、前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する更新部と、前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、推定された前記基準関節点に対応する、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する判定部と、を有する現場学習評価装置。

非現場で撮影された第１画像上の、対象を含む第１部分画像の位置と、第１画像に設定された基準関節点のグランドトゥルースと、の関係を利用して、現場で撮影された第２画像上の、対象を含む第２部分画像の位置に対応する基準関節点を決定し、第２部分画像の仮グランドトゥルースとする。そして、第２部分画像から、ドメイン適用前後のモデルでそれぞれ推定された基準関節点と仮グランドトゥルースとをそれぞれ比較することで、現場で採用するモデルを判定する。これにより、ドメイン適用前のモデルとドメイン適用後のモデルの現場における推定精度の相対評価を容易にできる。

画像処理システムの概略構成を示す図である。 検出部のハードウェア構成を示すブロック図である。 カメラと対象者との位置関係を示す説明図である。 撮影画像を示す図である。 制御部の機能ブロック図である。 人矩形を示す模式図である。 関節点を示す模式図である。 人矩形に基づいて検出された関節点を示す模式図である。 推定部の非現場学習について説明するためのブロック図である。 現場撮影画像を用いた、推定部の現場学習について説明するためのブロック図である。 非現場撮影画像を用いた、推定部の現場学習について説明するためのブロック図である。 評価部による、現場で採用する推定部のモデルの判定について説明するためのブロック図である。 検出部の動作を示すフローチャートである。 検出部の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る現場学習評価プログラム、現場学習評価方法、および現場学習評価装置について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、画像処理システム１０の概略構成を示す図である。

画像処理システム１０は、検出部１００、通信ネットワーク２００、および携帯端末３００を含む。検出部１００は、通信ネットワーク２００によりアクセスポイント２１０を介して携帯端末３００と相互に通信可能に接続される。検出部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。なお、通信ネットワーク２００を介して検出部１００および携帯端末３００と相互に通信可能なサーバー（図示せず）を設け、検出部１００の機能の一部を当該サーバーが実施するようにしてもよい。

検出部１００は、対象者５００の居室の天井等に配設される。対象者５００は、例えば、スタッフ等により介護または看護を必要とする者である。検出部１００は、所定の観察領域を撮影することで、画像（以下、単に「撮影画像５０５」（図４、図６参照）とも称する）を取得し、撮影画像に含まれる対象者５００を人物として検出する。後述するように、検出部１００は、撮影画像５０５上で物体（オブジェクト）が存在する領域を検出し、検出した領域に含まれる物体のカテゴリーを推定することで、対象者５００を検出する。物体が存在する領域は、撮影画像上で物体が含まれる候補矩形として検出される。検出された候補矩形のうち、物体のカテゴリーが人であると推定された候補矩形を、人矩形５１０（図６参照）として検出することで、対象者５００を検出する。検出部１００は、人矩形５１０に基づいて、対象者５００の関節点５２０を推定するとともに、関節点５２０に基づいて対象者５００の姿勢および／または行動を推定する。また、推定した姿勢および／または行動から、対象者５００に関するイベントを検出し得る。イベントとは、対象者５００に関する状態や状況の変化であって、例えば、起床、離床、転倒、転落、および微体動異常等のスタッフに発報（報知）を行うべき事象である。検出部１００は、イベントを検出した場合は、イベントの内容を通知するイベント通知を携帯端末３００へ送信する。

携帯端末３００は、対象者５００に対して介護および看護を含むケアを行うスタッフ等に携帯される。携帯端末３００は、検出部１００からイベント通知を受信し、イベント通知の内容を表示することで、イベントの発生およびその内容をスタッフ等に報知する。

図２は、検出部１００のハードウェア構成を示すブロック図である。図２の例に示すように、検出部１００は、制御部１１０、通信部１２０、カメラ１３０、および体動センサー１４０を備え、これらはバスによって、相互に接続されている。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検出部１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。

通信部１２０は、通信ネットワーク２００を介して、携帯端末３００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

カメラ１３０は、例えば、対象者５００の居室の天井、または壁の上部に配置され、所定の観察領域として対象者５００の居室のできるだけ広い範囲を、対象者５００を俯瞰可能な位置から撮影し、撮影画像５０５（画像データ）を出力する。撮影画像５０５には対象者５００を含む画像が含まれる。撮影画像５０５には、静止画および動画が含まれる。カメラ１３０は、広角カメラであり得る。広角カメラは、比較的広い画角の撮影画像５０５を撮影できるカメラであり、撮影画像５０５上の位置に対応して歪みの大きさが変化するカメラである。広角カメラには、例えば、魚眼レンズカメラが含まれる。カメラ１３０は、比較的広い範囲を撮影範囲とするために、カメラの設置高さ等を調整することで、画角を広くした広域撮影用カメラであってもよい。広域撮影用カメラは、カメラから撮影方向の物体までの距離に対応して、撮影画像５０５上の物体の大きさと、当該物体の実際の大きさとの比が変化した撮影画像５０５が撮影されるカメラである。広域撮影用カメラとして、撮影画像５０５上の位置に対応して歪みの大きさを変化させていない一般的なカメラを広域撮影用カメラとして利用できる。カメラ１３０は近赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。

図３は、カメラ１３０と対象者５００との位置関係を示す説明図である。図４は、撮影画像５０５を示す図である。図４においては、広角カメラによる撮影画像５０５が示されている。以下の説明においては、説明を簡単にするために、撮影画像５０５は広角カメラにより撮影された画像であるものとして説明する。

図３において、カメラ１３０の直下であるＡの位置にいる対象者５００は、図４の撮影画像５０５の位置ａおいて撮影されている。Ａの位置にいる対象者５００は、撮影画像５０５において、カメラ１３０に近いため、頭部と肩部が比較的大きく映り、腕や足は肩に隠れる。Ｂの位置にいる対象者５００は、カメラ１３０から遠いため小さく映るが、全身が映る。

図５は、制御部１１０の機能ブロック図である。制御部１１０は、取得部１１１、人検出部１１２、推定部１１３、ロス算出部１１４、評価部１１５、行動推定部１１６、およびイベント通知部１１７として機能する。取得部１１１は、第１取得部および第２取得部を構成する。推定部１１３は更新部を構成する。

取得部１１１は、カメラ１３０から撮影画像５０５を取得する。取得部１１１は、ＲＯＭ等に記憶された撮影画像５０５を読み出すことで取得してもよい。

人検出部１１２は、撮影画像５０５から、撮影画像５０５上で物体（オブジェクト）が存在する領域を候補矩形として検出し、検出した候補矩形に含まれる物体のカテゴリーごとの信頼度スコアを算出する。人検出部１１２は、人物のカテゴリーの信頼度スコアが最も高い候補領域を人矩形５１０として検出する。

人検出部１１２は、撮影画像５０５から人矩形５１０を検出するための辞書（パラメーター）が反映されたニューラルネットワーク（以下、「ＮＮ」と称する）のモデルにより、撮影画像５０５から人矩形を検出し得る。

人検出部１１２は、人矩形５１０を、撮影画像５０５と、当該人矩形５１０の対向する２つの頂点の座標との組み合わせとして出力する。

図６は、人矩形５１０を示す模式図である。

図６の例においては、撮影画像５０５上で検出された、椅子上で座位の姿勢の対象者５００を包含する人矩形５１０が太線の枠内の領域として示されている。人検出部１１２からは、撮影画像５０５と、人矩形５１０の対向する２つの頂点ｅ１、ｅ２の座標（ｘｙ座標）が出力される。

推定部１１３は、人矩形５１０に基づいて対象者５００の関節点５２０を推定する。推定部１１３は、人矩形５１０から関節点５２０を検出するための辞書が反映されたＮＮのモデルにより、人矩形５１０から対象者５００の関節点５２０を推定し得る。

図７は、関節点５２０を示す模式図である。

図７の例においては、関節点５２０には、頭部の関節点５２０ａ、肩部の関節点５２０ｂ、腰部の関節点５２０ｃ、および体幹を構成する関節点５２０ｄが含まれる。頭部の２つの関節点５２０ａの距離は、対象者５００の頭部の大きさを反映する。

図８は、人矩形５１０に基づいて検出された関節点５２０を示す模式図である。

図８の例においては、椅子上で座位の姿勢の対象者５００の関節点５２０が示されている。

推定部１１３は、非現場で撮影された撮影画像５０５（以下、「非現場撮影画像」と称する）と、当該非現場撮影画像から検出された人矩形５１０（以下、「非現場人矩形」とも称する）に対して関節点５２０の正解として設定されたグランドトゥルース（以下、「関節点ＧＴ」とも称する）との組み合わせを教師データとして、関節点５２０を推定するための学習をする。被現場撮影画像は第１画像を構成し、非現場人矩形は第１部分画像を構成する。ここで、非現場とは、推定部１１３の学習のためのみに用いられる撮影画像５０５が撮影され、ドメイン適用前の学習がされる、現場以外の場所である。非現場はソースドメインを構成する。現場とは、ドメイン適用を用いた学習がされた推定部１１３により関節点５２０を推定しようとする対象者５００が撮影され、撮影により撮影画像５０５が取得される場所である。現場はターゲットドメインを構成する。ドメイン適用とは、十分な教師データを持つソースドメイン（例えば、非現場）から得られた知識を、十分な情報がない目標のターゲットドメイン（例えば、現場）に適用することで、ターゲットドメインにおける推定精度を向上させるための学習技術である。以下、非現場における学習を「非現場学習」とも称し、非現場学習により学習された推定部１１３のＮＮを「ベースモデル」とも称する。

推定部１１３は、非現場撮影画像から推定した関節点５２０と関節点ＧＴとの間のロス（間接点ロス）が小さくなるように、バックプロパゲーションにより学習する。

ロス算出部１１４は、推定部１１３による推定された関節点５２０とＧＴとの間の関節点ロスを算出する。なお、ロス算出部１１４は、後述するドメインロスをさらに算出する。

図９は、推定部１１３の非現場学習について説明するためのブロック図である。図９においては、制御部１１０の機能のうち、推定部１１３の非現場学習に関連する、取得部１１１、人検出部１１２、推定部１１３、およびロス算出部１１４のみが示されている。

非現場学習において、推定部１１３は、取得部１１１により取得された非現場撮影画像から人検出部１１２により検出された非現場人矩形から、関節点５２０を推定する。ロス算出部１１４は、推定部１１３により推定された関節点５２０と関節点ＧＴとの間の関節点ロスを算出し、推定部１１３に出力する。推定部１１３は、関節点ロスが小さくなるように、バックプロパゲーションにより学習する。推定部１１３は、高精度に関節点５２０を推定するために、比較的大量の非現場撮影画像を用いて学習される。

推定部１１３は、ドメイン適用を用いて、次のように現場においてさらに学習する。以下、現場における学習を「現場学習」とも称し、現場学習により学習された推定部１１３のＮＮを「ニューモデル」とも称する。推定部１１３の現場学習は、例えば、公知の文献（Journal of Machine Learning Research 17 (2016) 1-35）に記載された、ＤＡＮＮ（Ｄｏｍａｉｎ−Ａｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇ ｏｆ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を利用したドメイン適用により行い得る。以下、例として、現場学習は、ＤＡＮＮを用いて行われるものとして説明する。

現場で撮影された撮影画像（以下、「現場撮影画像」と称する）と、当該現場撮影画像に対してドメインの正解として設定されたグランドトゥルース（以下、「ドメインＧＴ」とも称する）との組み合わせを用いて現場学習を行う。現場撮影画像は第２画像を構成する。現場のドメインＧＴは、例えば、数値である「１」とし得る。なお、後述する、非現場のドメインＧＴは、例えば、数値である「０」とし得る。

図１０は、現場撮影画像を用いた、推定部１１３の現場学習について説明するためのブロック図である。図１０においては、制御部１１０の機能のうち、推定部１１３の現場学習に関連する、取得部１１１、人検出部１１２、推定部１１３、およびロス算出部１１４のみが示されている。

ドメイン適用を用いた現場学習は、次のように行われる。

推定部１１３は、取得部１１１により取得された現場撮影画像から人検出部１１２により検出された人矩形５１０（以下、「現場人矩形」とも称する）から、ドメインを推定する。現場人矩形は第２部分画像を構成する。ロス算出部１１４は、推定部１１３により推定されたドメインとドメインＧＴ（すなわち、例えば、数値である「１」）との間のロス（ドメインロス）を算出し、推定部１１３に出力する。推定部１１３は、ドメインロスに基づくバックプロパゲーションによる学習において、ドメインロスに逆勾配を与えることでドメインの識別ができないようにして、ドメインに依存しない特徴を学習する。

推定部１１３は、さらに、非現場撮影画像を用いた現場学習を次のように行う。非現場撮影画像と、当該非現場画像に対してドメインの正解として設定された現場のドメインＧＴ（すなわち、例えば、数値である「０」）との組み合わせを用いて現場学習を行う。併せて、推定部１１３は、非現場撮影画像と、当該非現場画像に対して関節点の正解として設定された関節点ＧＴとの組み合わせを教師データとして、関節点５２０を推定するための現場学習を行う。推定部１１３は、これらの現場学習をマルチタスク学習で行う。

図１１は、非現場撮影画像を用いた、推定部１１３の現場学習について説明するためのブロック図である。図１１においては、制御部１１０の機能のうち、推定部１１３の現場学習に関連する、取得部１１１、人検出部１１２、推定部１１３、およびロス算出部１１４のみが示されている。

現場学習において、推定部１１３は、取得部１１１により取得された非現場撮影画像から人検出部１１２により検出された非現場人矩形から、関節点５２０およびドメインを推定する。ロス算出部１１４は、推定部１１３により推定された関節点５２０と関節点ＧＴとの間の関節点ロスを検出するとともに、推定部１１３により推定されたドメインとドメインＧＴとの間のドメインロスを算出し、これらのロスを推定部１１３に出力する。推定部１１３は、関節点ロスが小さくなるように、バックプロパゲーションにより学習するとともに、ドメインロスに逆勾配を与えることでドメインの識別ができないようにして、ドメインに依存しない共通の特徴を学習することにより、マルチタスク学習をする。

上述した、図１０および図１１に示す現場学習により、推定部１１３は、現場撮影画像および非現場撮影画像を用いて、ドメインに依存しない共通の特徴を学習する。これにより、推定部１１３は、例えば、非現場撮影画像と現場撮影画像とで背景画像が異なっても影響されずに、比較的共通する対象者５００の特徴等を識別できるように学習する。

評価部１１５は、ベースモデルおよびニューモデルの推定精度をそれぞれ算出することで両者を評価し、いずれのモデルを現場で採用するかを判定する。

図１２は、評価部１１５による、現場で採用する推定部１１３のモデルの判定について説明するためのブロック図である。

評価部１１５は、仮ＧＴ決定部１１５１、推定精度算出部１１５２、および判定部１１５３を有する。仮ＧＴ決定部１１５１は決定部を構成する。

仮ＧＴ決定部１１５１は、仮グランドトゥルース（以下、「仮ＧＴ」とも称する）を決定する。仮ＧＴは、非現場におけるデータを利用して算出される、現場人矩形に対応する所定の基準関節点のグランドトゥルースの近似値である。仮ＧＴを非現場におけるデータを利用して算出するのは、現場人矩形に対応するグランドトゥルースが存在しないためである。基準関節点は、非現場と現場とで特徴が共通する関節点であり、好適には、頭部の関節点５２０ａ（図７参照）である。頭部は、撮影画像５０５において他の物体に隠れることがあまりなく、撮影画像５０５上は、対象者５００の位置に関係なく円形であるため、カメラ１３０からの距離のみに影響されて、大きさが変化するに過ぎないためである。従って、頭部の関節点５２０ａは、撮影画像５０５上の人矩形５１０の座標（カメラ１３０からの距離に対応）の関数として表現できる。

ここで、評価部１１５による評価に用いる現場人矩形は、カメラ１３０により直上から撮影された現場人矩形でなく、かつ所定距離以上離れた位置からカメラ１３０により撮影された現場人矩形でもない現場人矩形とし得る。当該所定距離は、仮ＧＴの信頼性の観点から実験により設定され得る。評価部１１５による評価に用いる現場人矩形は、さらに、所定の観察領域においてオクルージョンが発生しにくい所定の区間で撮影された現場人矩形とし得る。当該所定の区間は、カメラ１３０により撮影される撮影画像５０５においてオクルージョンが発生しにくい区間として予め設定され得る。評価部１１５による評価に用いる現場人矩形は、さらに、当該所定の区間で水平移動（例えば、立位姿勢での歩行）する対象者５００が含まれる、時間的に連続する複数の現場人矩形のうち、当該水平移動の開始および終了の時点の対象者５００が含まれる現場人矩形を除く現場人矩形とし得る。評価部１１５による評価に用いる現場人矩形をこのように限定することで、仮ＧＴの信頼度を向上できる。

基準関節点は、肩部の関節点５２０ｂまたは腰部の関節点５２０ｃであってもよい。肩部および腰部は、頭部に次いで撮影画像５０５において他の物体に隠れることがなく、水平なので、撮影画像５０５上は、カメラ１３０からの距離およびカメラ１３０に対するこれらの向きのみに影響されて、長さが変化するに過ぎないためである。肩部のカメラ１３０に対する向きは、例えば、次のように検出され得る。評価部１１５による評価に用いる一の現場人矩形と、時間的に前後で連続する他の複数の現場人矩形とから、対象者５００の進行方向を算出する。そして、対象者５００の正面が当該進行方向に向いていると仮定し、当該進行方向と、カメラ１３０から見た当該一の現場人矩形の方向（例えば、現場撮影画像の中心に対する当該一の現場人矩形の方向）と、がなす角度を算出し、当該角度に基づいて、肩部の向きを検出する。

なお、所定の観察領域にいる対象者５００が直上から撮影されないようにカメラ１３０を配置する場合は、基準関節点を、体幹を構成する関節点５２０ｄとしてもよい。体幹は、撮影画像５０５において他の物体に隠れることが比較的少なく、垂直なので、カメラ１３０からの距離のみに影響されて、長さが変化するに過ぎないためである。

仮ＧＴ決定部１１５１は、非現場人矩形の座標（非現場撮影画像上の非現場人矩形の座標）と関節点ＧＴとの関係を利用して、現場人矩形の座標（現場撮影画像上の現場人矩形の座標）に対応する関節点ＧＴを、当該現場人矩形の仮ＧＴとして決定する。具体的には、仮ＧＴ決定部１１５１は、非現場人矩形の座標（ｘ，ｙ座標）と関節点ＧＴとを座標軸とする三次元グラフにおいて、関節点ＧＴに対する非現場人矩形の座標の近似式(関数)を求め、現場人矩形の座標に対応する当該近似式上の点を仮ＧＴとして決定し得る。

推定精度算出部１１５２は、推定部１１３により現場人矩形から推定された基準関節点の、仮ＧＴに対する精度を、推定部１１３の推定精度として算出する。推定精度は、例えば、推定部１１３により現場人矩形から推定された基準関節点の、仮ＧＴに対する誤差（％）の二乗平均として算出され得る。

判定部１１５３は、推定部１１３をベースモデルとしたときの推定精度と、ニューモデルとしたときの推定精度とを比較し、現場においてずれのモデルを採用するかを、判定結果として出力する。具体的には、判定部１１５３は、推定部１１３をニューモデルとしたときの推定精度が、推定部１１３をベースモデルとしたときの推定精度より低下しなければ、ニューモデルを採用する。これは、現場人矩形からの基準関節点の検出精度が同じであっても、ドメイン適用が成功していることから、現場人矩形からの基準関節点以外の関節点を含むすべての関節点の検出精度はニューモデルを用いた方が高いと考えられるからである。

図５に戻り、説明を継続する。

行動推定部１１６は、関節点５２０に基づいて、対象者５００の行動を推定する。例えば、行動推定部１１６は、関節点５２０から対象者５００の立位の姿勢が検出された状態から、短時間に臥位の姿勢が検出された場合、「転倒」の行動を推定し得る。

イベント通知部１１７は、行動推定部１１６により推定された行動等が、イベントに該当すると判断した場合は、イベントの発生および内容を報知するためのイベント通知を携帯端末３００へ送信する。

図１３Ａおよび図１３Ｂは、検出部１００の動作を示すフローチャートである。本フローチャートは、プログラムに従い、制御部１１０により実行される。

制御部１１０は、非現場人矩形と関節点ＧＴとを用いて推定部１１３を学習することで、推定部１１３のベースモデルを取得する（Ｓ１０１）。

制御部１１０は、カメラ１３０により撮影された現場撮影画像をカメラ１３０から取得する（Ｓ１０２）。

制御部１１０は、現場撮影画像から人物を現場人矩形として検出する（Ｓ１０３）。

制御部１１０は、非現場人矩形の座標と、頭部の関節点５２０ａとの関係を利用して、現場人矩形の座標から頭部の関節点の仮ＧＴを算出する（Ｓ１０４）。

制御部１１０は、ドメイン適用により、ベースモデルをニューモデルに更新する（Ｓ１０５）。

制御部１１０は、ベースモデルおよびニューモデルにより現場人矩形からそれぞれ推定された基準関節点の精度を、それぞれ仮ＧＴと比較することで算出する（Ｓ１０６）。

制御部１１０は、ニューモデルによる基準関節点の推定精度がベースモデルによる基準関節点の推定精度以上かどうか判断する（Ｓ１０７）。

制御部１１０は、ニューモデルによる基準関節点の推定精度がベースモデルによる基準関節点の推定精度以上と判断した場合は（Ｓ１０７：ＹＥＳ）、ニューモデルを現場で採用するモデルと判定する（Ｓ１０８）。制御部１１０は、ニューモデルによる基準関節点の推定精度がベースモデルによる基準関節点の推定精度以上でないと判断した場合は（Ｓ１０７：ＮＯ）、ベースモデルを現場で採用するモデルと判定する（Ｓ１０９）。

本発明に係る実施形態は、以下の効果を奏する。

非現場で撮影された第１画像上の、対象を含む第１部分画像の位置と、第１画像に設定された基準関節点のグランドトゥルースと、の関係を利用して、現場で撮影された第２画像上の、対象を含む第２部分画像の位置に対応する基準関節点を決定し、第２部分画像の仮グランドトゥルースとする。そして、第２部分画像から、ドメイン適用前後のモデルでそれぞれ推定された基準関節点と仮グランドトゥルースとをそれぞれ比較することで、現場で採用するモデルを判定する。これにより、ドメイン適用前のモデルとドメイン適用後のモデルの現場における推定精度の相対評価を容易にできる。

さらに、第１画像および第２画像には、直上から撮影された対象の画像が含まれ、基準関節点は、対象の頭部、肩、または腰の関節点とする。これにより、ドメイン適用前のモデルとドメイン適用後のモデルの現場における推定精度の相対評価を容易かつ正確にできる。

さらに、現場で採用するモデルの判定に用いる第２部分画像を、直上から俯瞰された位置から撮影された対象の第２部分画像でなく、所定距離以上離れた位置から撮影された対象者の第２部分画像でなく、オクルージョンが発生しにくい所定の区間で水平移動をする対象が含まれる時間的に連続する複数の第２部分画像のうち、水平移動の開始および終了の時点の対象者が含まれる第２部分画像を除く第２画像とする。これにより、仮グランドトゥルースの信頼度を向上できるため、ドメイン適用前のモデルとドメイン適用後のモデルの現場における推定精度の相対評価をより正確にできる。

以上に説明した現場学習評価プログラム、現場学習評価方法、および現場学習評価装置の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理システムが備える構成を排除するものではない。

例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した実施形態においては、人物の関節点を検出するものとして説明したが、動物の関節点を検出してもよい。

また、上述した画像処理システムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

１０ 画像処理システム、
１００ 検出部、
１１０ 制御部、
１２０ 通信部、
１３０ カメラ、
１４０ 体動センサー、
２００ 通信ネットワーク、
２１０ アクセスポイント、
３００ 携帯端末、
５００ 対象者、
５１０ 人矩形、
５２０ 関節点、
５２０ａ 頭部の関節点、
５２０ｂ 肩部の関節点、
５２０ｃ 腰部の関節点、
５２０ｄ 体幹を構成する関節点、
７００ ベッド。

Claims (5)

1. ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する手順（ａ）と、
   ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する手順（ｂ）と、
   前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の仮グランドトゥルースとして決定する手順（ｃ）と、
   前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する手順（ｄ）と、
   前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する手順（ｅ）と、
   を有する処理を、コンピューターに実行させるための現場学習評価プログラム。
2. 前記第１画像および前記第２画像には、直上から撮影された前記対象の画像が含まれ、
   前記基準関節点は、前記対象の頭部、肩、または腰の関節点である、請求項１に記載の現場学習評価プログラム。
3. 前記手順（ｅ）は、直上から俯瞰された位置から撮影された前記対象が含まれる前記第２部分画像、および所定距離以上離れた位置から撮影された前記対象が含まれる前記第２部分画像を除く、オクルージョンが発生しにくい所定の区間で水平移動をする前記対象が含まれる時間的に連続する複数の前記第２部分画像のうち、前記水平移動の開始および終了の時点の前記対象が含まれる前記第２部分画像が除かれた前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する、請求項１または２に記載の現場学習評価プログラム。
4. ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する段階（ａ）と、
   ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する段階（ｂ）と、
   前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の、前記基準関節点に対応する部分の仮グランドトゥルースとして決定する段階（ｃ）と、
   前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する段階（ｄ）と、
   前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、推定された前記基準関節点に対応する、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する段階（ｅ）と、
   を有する現場学習評価方法。
5. ソースドメインにおいて対象を俯瞰する位置から撮影された第１画像から、前記対象を含む部分として検出された第１部分画像と、前記第１部分画像に設定された、関節点のグランドトゥルースとを用いて学習されたベースモデルを取得する第１取得部と、
   ターゲットドメインにおいて前記対象を俯瞰する位置から撮影された第２画像から、前記対象を含む部分として検出された第２部分画像を取得する第２取得部と、
   前記第１部分画像の前記第１画像上の位置と、前記グランドトゥルースにおける所定の基準関節点と、の関係を利用して、前記第２部分画像の前記第２画像上の位置に対応する前記基準関節点を、前記第２部分画像の、前記基準関節点に対応する部分の仮グランドトゥルースとして決定する決定部と、
   前記第２部分画像を用いてドメイン適用することで、前記ベースモデルをニューモデルに更新する更新部と、
   前記第２部分画像から、前記ベースモデルおよび前記ニューモデルを用いてそれぞれ推定された前記基準関節点と、推定された前記基準関節点に対応する、前記仮グランドトゥルースと、をそれぞれ比較することにより、前記ベースモデルおよび前記ニューモデルのいずれかを、ターゲットドメインにおいて採用するモデルとして判定する判定部と、
   を有する現場学習評価装置。