JP2022012895A

JP2022012895A - 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置

Info

Publication number: JP2022012895A
Application number: JP2020115055A
Authority: JP
Inventors: 希武田中; Nozomu Tanaka
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2022-01-17
Anticipated expiration: 2040-07-02
Also published as: JP7419993B2

Abstract

【課題】尤度のヒートマップに基づいて推定された、物体の部分位置等の推定結果の信頼度を高精度に算出できる信頼度推定プログラムを提供する。【解決手段】画像における物体の位置または部分位置の尤度のヒートマップに基づいて、物体の位置または部分位置を推定する手順（ａ）と、ヒートマップの尤度の重心位置を算出する手順（ｂ）と、少なくとも、重心位置と、物体の位置または部分位置との差分を用いた特徴量を算出する手順（ｃ）と、物体の位置または部分位置の信頼度を、特徴量に基づいて算出する手順（ｄ）と、を有する処理をコンピューターに実行させるための信頼度推定プログラム。【選択図】図１０

Description

本発明は、信頼度推定プログラム、信頼度推定方法、および信頼度推定装置に関する。

入力された画像における、人の関節点等の物体の部分位置等を、ニューラルネットワークを用いたディープラーニングにより推定する技術が知られている。

ディープラーニングでは、大量の教師データを用いてニューラルネットワークの学習を行い、学習されたニューラルネットワークのモデルである学習済みモデルを用いて、物体の部分位置等を推定する。しかし、物体の部分位置等を推定する際、画像によっては推定精度が低下する場合がある。このような推定精度の低下を抑止するためには、推定精度が低下する画像を探索して、ニューラルネットワークを修正する等の対応をする必要がある。

しかし、推定精度が低下した理由が不明な場合や、推定精度が低下した画像のパターンが多岐に渡る場合等、ニューラルネットワークの修正が困難な場合がある。このような場合に、ディープラーニングによる物体の部分位置等の推定結果を一律に信頼してシステムを構築すると、システムの信頼性を低下させる可能性がある。

入力画像データに基づくクラスの推定結果の信頼性を判断する先行技術として、下記特許文献１に記載されたものがある。すなわち、入力画像データの特徴量を生成し、特徴量から入力画像データのクラスごとの尤度を算出して入力画像データのクラスを識別し、学習時のクラス間の尤度情報に基づき、クラス間の尤度の独立性の強さを算出する。そして、入力データが識別されたクラスが、尤度の独立性の強さが所定の閾値より低いクラスである場合は、入力画像データのクラスごとの尤度のうち最大の尤度と２番面に大きい尤度との差等を用いて識別結果の信頼度を算出する。

特開２０１７－１５１６７９号公報

しかし、画像における物体の部分位置等を、尤度のヒートマップを用いて検出する場合、ヒートマップの尤度情報のみから検出結果の信頼度を判断することが困難な場合がある。例えば、画像のコントラストが小さい場合は、正しい位置でも尤度が比較的低く算出される傾向がある。また、画像中に類似する物体が映り込んでいる場合は、両者の位置の尤度が比較的近い値に算出される可能性がある。このような場合、画像における物体の部分位置等の信頼度の算出精度が低下する可能性がある。上記先行技術は、このような問題に対応できない。

本発明は、このような問題を解決するためになされたものである。すなわち、尤度のヒートマップに基づいて推定された、物体の部分位置等の推定結果の信頼度を高精度に算出できる信頼度推定プログラム、信頼度推定方法、および信頼度推定装置を提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）画像における物体の位置または部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する手順（ａ）と、前記ヒートマップの尤度の重心位置を算出する手順（ｂ）と、少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量として算出する手順（ｃ）と、推定された、前記物体の位置または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する手順（ｄ）と、を有する処理をコンピューターに実行させるための信頼度推定プログラム。

（２）前記手順（ａ）は、前記物体の複数の前記部分位置のそれぞれの尤度マップに基づいて、複数の前記部分位置をそれぞれ推定し、前記手順（ｄ）は、推定された複数の前記部分位置の、正解に対する正解率を、前記部分位置の信頼度である目的変数とし、複数の前記部分位置を用いて算出された前記特徴量を説明変数に含む、重回帰分析により、複数の前記特徴量に基づいて前記部分位置の信頼度を推定する、上記（１）に記載の信頼度推定プログラム。

（３）前記手順（ａ）は、前記物体の複数の前記部分位置のそれぞれの尤度マップに基づいて、複数の前記部分位置をそれぞれ推定し、前記手順（ｄ）は、推定された複数の前記部分位置の、正解に対する正解率を、前記部分位置の信頼度である目的変数とし、複数の前記部分位置を用いて算出された前記特徴量を説明変数に含んで学習された、ニューラルネットワークの学習済みモデルを用いて、前記特徴量に基づいて前記部分位置の信頼度を推定する、上記（１）に記載の信頼度推定プログラム。

（４）前記手順（ｄ）は、推定された前記物体の位置または前記部分位置と正解との差分を、前記物体の位置または前記部分位置の信頼度である目的変数とし、前記物体の位置または前記部分位置について算出された前記特徴量を説明変数に含むモデルを用いて、前記特徴量に基づいて前記物体の位置または前記部分位置の信頼度を推定する、上記（１）に記載の信頼度推定プログラム。

（５）前記特徴量は、前記重心位置と推定された前記部分位置との差分、ならびに、複数の前記部分位置の一部または全部についてそれぞれ算出された複数の前記差分の合計、および前記部分位置ごとの前記ヒートマップにおける尤度の最大値の合計の少なくともいずれかを含み、前記手順（ｄ）は、前記重心位置と推定された前記部分位置との差分、ならびに、複数の前記部分位置の一部または全部についてそれぞれ算出された複数の前記差分の合計、および前記部分位置ごとの前記ヒートマップにおける尤度の最大値の合計の少なくともいずれかを説明変数とする、上記（２）～（３）のいずれかに記載の信頼度推定プログラム。

（６）前記特徴量は、前記重心位置と推定された前記物体の位置または前記部分位置との差分、ならびに、前記物体の位置または前記部分位置の前記ヒートマップにおける尤度の最大値、および前記ヒートマップにおけるすべての尤度の少なくともいずれかを含み、前記手順（ｄ）は、前記重心位置と推定された前記物体の位置または前記部分位置との差分、ならびに、前記物体の位置または前記部分位置の前記ヒートマップにおける尤度の最大値、および前記ヒートマップにおけるすべての尤度の少なくともいずれかを説明変数とする、上記（４）に記載の信頼度推定プログラム。

（７）信頼度推定装置により実行される方法であって、画像における物体の位置または前記物体の部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する段階（ａ）と、前記ヒートマップの尤度の重心位置を算出する段階（ｂ）と、少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量を算出する段階（ｃ）と、推定された、前記物体の位置、または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する段階（ｄ）と、を有する信頼度推定方法。

（８）画像における物体の位置または部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する推定部と、前記ヒートマップの尤度の重心位置を算出する重心算出部と、少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量を算出する特徴量算出部と、推定された、前記物体の位置または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する信頼度算出部と、を有する信頼度推定装置。

画像における物体の部分位置等の尤度のヒートマップに基づき推定された当該部分位置等と、ヒートマップの尤度の重心位置との差分を用いた特徴量を算出し、部分位置等の推定結果の信頼度を、特徴量に基づいて算出する。これにより、ヒートマップに基づいて推定された、物体の部分位置等の推定結果の信頼度を高精度に算出できる。

位置推定装置を含む位置推定システム１０の概略構成を示す図である。位置推定装置のハードウェア構成を示すブロック図である。位置推定装置の学習時における制御部の機能の例を示すブロック図である。撮影画像を示す説明図である。撮影画像とヒートマップとを示す説明図である。関節点を示す説明図である。関節点が誤検出された場合の、撮影画像とヒートマップとを示す説明図である。個別関節点が正しく検出されたヒートマップにおける、尤度が最大値の位置と、尤度の重心位置との例を示す図である。個別関節点が誤って検出されたヒートマップにおける、尤度が最大値および極大値の位置と、尤度の重心位置との例を示す図である。位置推定装置の学習時における制御部の機能の他の例を示すブロック図である。位置推定装置の推定時における制御部の機能を示すブロック図である。位置推定装置の学習時の動作を示すフローチャートである。位置推定装置の推定時の動作を示すフローチャートである。位置推定装置の学習時における制御部の機能の例を示すブロック図である。位置推定装置の学習時における制御部の機能の他の例を示すブロック図である。位置推定装置の推定時における制御部の機能を示すブロック図である。位置推定装置の学習時における制御部の機能の例を示すブロック図である。位置推定装置の学習時における制御部の機能の他の例を示すブロック図である。位置推定装置の推定時における制御部の機能を示すブロック図である。

以下、図面を参照して、本発明の実施形態に係る信頼度推定プログラム、信頼度推定方法、および信頼度推定装置について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、実施形態に係る位置推定装置１００を含む位置推定システム１０の概略構成を示す図である。位置推定装置１００は、信頼度推定装置を構成する。

位置推定システム１０は、位置推定装置１００、撮影装置２００、および通信ネットワーク３００を備える。位置推定装置１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。本明細書において、物体とは、位置推定装置１００による位置または部分位置が推定される対象の物体である。物体には複数のカテゴリーが含まれ得る。カテゴリーとは物体の種別であり、人、犬、猫等が含まれる。以下、説明を簡単にするために、物体は対象者５００（すなわち、「人」）であるものとして説明する。位置推定装置１００は、撮影装置２００により撮影された画像（以下、単に「撮影画像２５０」とも称する（図４参照））における物体の位置または部分位置を推定する。以下、説明を簡単にするために、位置推定装置１００は、物体の部分位置の例である、対象者５００の関節点２５１（図５参照）の位置を、撮影画像２５０上の座標として推定する場合を例に説明する。以下、関節点２５１等の位置を、単に関節点２５１等とも記載する。

位置推定装置１００は、撮影画像２５０を撮影装置２００から受信し、撮影画像２５０に含まれる対象者５００の関節点２５３の位置（具体的には、関節点２５１の撮影画像２５０における座標）を推定する。関節点２５３には、例えば、右足首、右膝、右腰、左腰、左膝、左足首、右手首、右肘、右肩、左手首、左肘、左肩、首、および頭部の１４個の関節点２５１が含まれる。以下、各関節点２５１を「個別関節点」とも称する。位置推定装置１００は、撮影装置２００と一体化されることで、撮影装置２００に包含され得る。一方、位置推定装置１００は、サーバーにより構成されてもよい。

撮影装置２００は、例えば、対象者５００の居室の天井もしくは壁の上部に配置され、または店舗等の天井もしくは壁の上部に配置される。撮影装置２００は、所定の撮影範囲を、対象者５００を俯瞰可能な位置から撮影し、撮影画像２５０（画像データ）を出力する。撮影画像２５０には対象者５００を含む画像が含まれる。撮影装置２００には、広角カメラが含まれる。撮影装置２００は、例えば１５ｆｐｓ～３０ｆｐｓのフレームレートの動画の撮影画像２５０として撮影領域を撮影し得る。撮影画像２５０は動画と静止画とを含む。撮影画像２５０は、例えば、白黒画像で、１２８ピクセル×１２８ピクセルの画像であり得る。撮影画像２５０は、カラー画像であってもよい。撮影装置２００は、撮影画像２５０を位置推定装置１００等へ送信する。

通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。

図２は、位置推定装置１００のハードウェア構成を示すブロック図である。位置推定装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を備える。これらの構成要素は、バス１６０を介して相互に接続される。位置推定装置１００は、コンピューターにより構成され得る。

制御部１１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）により構成され、プログラムに従って、位置推定装置１００の各部の制御および演算処理を行う。制御部１１０の作用の詳細については後述する。

記憶部１２０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、およびＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

表示部１３０は、例えば液晶ディスプレイであり、各種情報を表示する。

入力部１４０は、例えばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。

通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩＥｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。

制御部１１０の作用の詳細について説明する。

図３は、位置推定装置１００の学習時における制御部１１０の機能の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、および正解率算出部１１５として機能する。ヒートマップ生成部１１１は、ニューラルネットワーク（以下、「ＮＮ」と称する）を用いて構成され得る。検出部１１２は、重心算出部を構成する。推定部１１４は、信頼度算出部を構成する。

ヒートマップ生成部１１１は、撮影画像２５０に基づいて、上述した個別関節点の尤度のヒートマップ２５２（以下、単に「ヒートマップ２５２」と称する（図５、図７参照））を生成する。ヒートマップ２５２は、例えば、コンボルーショナルポーズマシーン（ＣｏｎｖｏｌｕｔｉｏｎａｌＰｏｓｅＭａｃｈｉｎｅｓ）を用いて生成され得る。ヒートマップ２５２は、すべての個別関節点について、それぞれ生成される。ヒートマップ２５２は、撮影画像２５０の画素ごとに、個別関節点の尤度の値を示すマップである。例えば、左手首２５１ｃ（図６参照）の尤度のヒートマップ２５２は、撮影画像２５０の画素ごとに、左手首２５１ｃの尤度を示す。

撮影画像２５０は、推定部１１４の学習に用いられる教師データとしての撮影画像２５０であり、あらかじめ関節点２５１の正解が対応付けられている。

図４は、撮影画像２５０を示す説明図である。図５は、撮影画像２５０とヒートマップ２５２とを示す説明図である。図６は、関節点２５１を示す説明図である。

図４の撮影画像２５０の例においては、撮影画像２５０に対象者５００の画像が含まれている。図５のＢは、図５のＡの撮影画像２５０に基づいて生成された、頭部の関節点２５１ａのヒートマップ２５２を示している。なお、図５のＢにおいては、説明を分かり易くするために、ヒートマップ２５２に、撮影画像２５０における対象者５００の画像も併せて示されている。

図５のＢに示すヒートマップ２５２では、分かり易くするために、尤度の値に代えて、尤度の大きさに応じて色を変化させており、ヒートマップ２５２において、尤度が最大および極大となる部分が特定できる（後述する、図７～９に示すヒートマップ２５２においても同様）。図５のＢに示すヒートマップ２５２において、尤度が最大となっている座標が、撮影画像２５０における頭部の関節点２５１ａとして検出される。

個別関節点ごとのヒートマップ２５２から、それぞれ尤度が最大となっている座標を特定することで、すべての関節点２５１が検出される。図６の例においては、全１４個の関節点が示されている。

検出部１１２は、個別関節点のヒートマップ２５２に基づいて、それぞれ個別関節点を検出することで、すべての関節点２５１を検出する。さらに、検出部１１２は、個別関節点のヒートマップ２５２ごとに、ヒートマップ２５２の尤度の重心（重心位置）を算出する。重心は、ヒートマップ２５２の画素ごとに、画素の座標と当該画素の尤度を乗算した乗算値の、すべての画素についての和として算出される。重心は、個別関節点ごとに算出される。

特徴量算出部１１３は、少なくとも、重心と個別関節点との差分を用いた特徴量を算出する。図３の例においては、重心と個別関節点との差分を特徴量としている。特徴量には、すべての個別関節点についての、重心と個別関節点との差分に加え、検出部１１２により検出された複数の個別関節点の一部または全部についてそれぞれ算出された複数の上記差分の合計が含まれ得る。特徴量は、上記差分の合計に代えて、または上記差分の合計に加えて個別関節点ごとのヒートマップ２５２における尤度の最大値の合計がさらに含まれ得る。この場合、ヒートマップ生成部１１１から特徴量算出部１１３へ、個別関節点ごとのヒートマップ２５２が入力される。

推定部１１４は、検出部１１２により検出された個別関節点の、正解に対する正解率を、関節点２５１の信頼度である目的変数とし、個別関節点を用いて算出された特徴量を説明変数に含む、重回帰モデルを生成する。推定部１１４は、すべての個別関節点の特徴量に基づいて、重回帰モデルを用いて、関節点２５１の信頼度を推定する。関節点２５１の信頼度は、検出部１１２により検出されたすべての関節点２５１に関する総合的な信頼度であり得る。

正解率算出部１１５は、検出部１１２により撮影画像２５０に基づいて検出された関節点２５１と、当該撮影画像２５０に対応付けされた、関節点２５１の正解とに基づいて、検出された関節点２５１の正解率を算出する。正解率算出部１１５は、検出部１１２により検出された関節点２５１のうち、正解との距離が所定の閾値以下の関節点２５１の、検出されたすべての関節点２５１に対する割合を、正解率として算出する。所定の閾値は、位置推定装置１００による関節点２５１の信頼度の精度の観点から実験により適当に設定され得る。

なお、推定部１１４は、特徴量として、すべての個別関節点についての、重心と個別関節点との差分に加え、検出部１１２により検出された複数の個別関節点の一部または全部についてそれぞれ算出された複数の上記差分の合計を説明変数とし、正解率算出部１１５により算出された正解率を目的変数として、関節点２５１の信頼度を推定するための重回帰モデルを生成してもよい。また、推定部１１４は、上記差分の合計に代えて、または上記差分の合計に加えて、個別関節点ごとのヒートマップ２５２における尤度の最大値の合計を説明変数とし、正解率算出部１１５により算出された正解率を目的変数として、関節点２５１の信頼度を推定するための重回帰モデルを生成してもよい。検出部１１２により検出された複数の個別関節点の一部は、例えば、上半身のみの関節点２５１であり得る。検出部１１２により検出された複数の個別関節点の一部は、下半身のみの関節点２５１であってもよい。

図７は、関節点２５１が誤検出された場合の、撮影画像２５０とヒートマップ２５２とを示す説明図である。図７のＢは、図７のＡの撮影画像２５０に基づいて生成された、左手首の関節点２５１ｂのヒートマップ２５２を示している。

図７のＢに示すように、左手首の関節点２５１ｂのヒートマップ２５２においては、何らかの理由により、尤度が極大値を示す位置が３箇所あり、その中で尤度の最大値を示しているのは、右足首の関節点２５１ｄ付近の画素となっている。この場合、左手首の関節点２５１ｂのヒートマップ２５２に基づいて、左手首の関節点２５１ｂを検出すると、右足首の関節点２５１ｄが左手首の関節点２５１ｂと誤検知される。図７のＢにおいては、尤度の極大値をとる画素が３箇所現れているため、ヒートマップ２５２における尤度の最大値が比較的小さくなっている可能性が高い。

図８は、個別関節点が正しく検出されたヒートマップ２５２における、尤度が最大値の位置と、尤度の重心位置との例を示す図である。図９は、個別関節点が誤って検出されたヒートマップ２５２における、尤度が最大値および極大値の位置と、尤度の重心位置との例を示す図である。

図８のＡにおいては、個別関節点が正しく検出されたヒートマップ２５２における、尤度が最大値の位置が白線の円で囲まれた位置として示されている。図８のＢにおいては、個別関節点が正しく検出されたヒートマップ２５２における、尤度の重心の位置が白線の円で囲まれた位置として示されている。

図８に示すように、個別関節点が正しく検出されたヒートマップ２５２においては、尤度が最大値の位置と、尤度の重心位置が略一致している。

図９のＡにおいては、個別関節点が誤って検出されたヒートマップ２５２における、尤度が最大値の位置が白線の円で囲まれた位置として示されている。図９のＡにおいては、尤度が極大値の位置が、尤度が最大値の位置を含め３箇所出現している。図９のＢにおいては、個別関節点が誤って検出されたヒートマップ２５２における、尤度の重心の位置が白線の円で囲まれた位置として示されている。

図９に示すように、個別関節点が誤って検出されたヒートマップ２５２においては、尤度が最大値の位置と、尤度の重心位置が一致していない。

このように、個別関節点が正しく検出されたヒートマップ２５２においては、尤度が最大値の位置と、尤度の重心位置が略一致する。一方、個別関節点が誤って検出されたヒートマップ２５２においては、尤度が最大値の位置と、尤度の重心位置が一致しない。

ヒートマップ２５２における尤度の重心と個別関節点との差分は、個別関節点の信頼度を示すと考えられる。従って、すべての個別関節点の特徴量に基づいて、関節点２５１の信頼度を推定できる。

図１０は、位置推定装置１００の学習時における制御部１１０の機能の他の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、正解率算出部１１５、およびロス算出部１１６として機能する。ヒートマップ生成部１１１および推定部１１４は、それぞれＮＮを用いて構成され得る。推定部１１４は、正解率算出部１１５、およびロス算出部１１６と結合されて１つのＮＮを用いて構成され得る。検出部１１２は、重心算出部を構成する。推定部１１４は、信頼度算出部を構成する。図１０の例において、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、および正解率算出部１１５は、図３の例と同様であるため、説明を省略する。

推定部１１４は、関節点２５１の特徴量に基づいて、ＮＮを用いて、関節点２５１の信頼度を推定する。すなわち、推定部１１４は、すべての個別関節点の特徴量に基づいて、ＮＮを用いて、関節点２５１の信頼度を推定する。関節点２５１の信頼度は、検出部１１２により検出されたすべての関節点２５１に関する総合的な信頼度であり得る。

ロス算出部１１６は、推定部１１４により推定された信頼度の、正解率算出部１１５により算出された正解率との差をロスとして算出する。

推定部１１４は、ロス算出部１１６により算出されたロスが小さくなるように、バックプロパゲーションによりＮＮのモデルを学習することで学習済みモデルを生成（または更新）する。すなわち、推定部１１４は、正解率算出部１１５により算出された正解率を目的変数とし、すべての個別関節点の特徴量を説明変数として、関節点２５１の信頼度を推定するためのＮＮを学習する。

なお、推定部１１４は、特徴量として、すべての個別関節点についての、重心と個別関節点との差分に加え、検出部１１２により検出された複数の個別関節点の一部または全部についてそれぞれ算出された複数の上記差分の合計を説明変数とし、正解率算出部１１５により算出された正解率を目的変数として、関節点２５１の信頼度を推定するためのＮＮを学習してもよい。また、推定部１１４は、上記差分の合計に代えて、または上記差分の合計に加えて、個別関節点ごとのヒートマップ２５２における尤度の最大値の合計を説明変数とし、正解率算出部１１５により算出された正解率を目的変数として、関節点２５１の信頼度を推定するためのＮＮを学習してもよい。検出部１１２により検出された複数の個別関節点の一部は、例えば、上半身のみの関節点２５１であり得る。検出部１１２により検出された複数の個別関節点の一部は、下半身のみの関節点２５１であってもよい。

図１１は、位置推定装置１００の推定時における制御部１１０の機能を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、および推定部１１４として機能する。ヒートマップ生成部１１１、検出部１１２、および特徴量算出部１１３については、図３において説明したので、説明を省略する。

推定部１１４は、位置推定装置１００の学習時（図３参照）に生成（更新）された重回帰モデルを用いて、関節点２５１の特徴量に基づいて、関節点２５１の信頼度を推定し得る。

推定部１１４は、位置推定装置１００の学習時（図１０参照）に生成（更新）されたＮＮの学習済みモデルを用いて、関節点２５１の特徴量に基づいて、関節点２５１の信頼度を推定してもよい。

すなわち、推定部１１４は、すべての個別関節点の特徴量に基づいて、関節点２５１の信頼度を推定する。

位置推定装置１００の動作について説明する。

図１２は、位置推定装置１００の学習時の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。

制御部１１０は、通信部１５０により、撮影装置２００から撮影画像２５０を受信することで取得する（Ｓ１０１）。

制御部１１０は、撮影画像２５０に基づいて、個別関節点ごとのヒートマップ２５２を生成する（Ｓ１０２）。

制御部１１０は、個別関節点ごとのヒートマップ２５２に基づいて、それぞれ、尤度の重心と、個別関節点を検出する（Ｓ１０３）。

制御部１１０は、尤度の重心と、個別関節点との差分を用いて、特徴量を算出する（Ｓ１０４）。

制御部１１０は、ステップＳ１０３で検出されたすべての個別関節点と、ステップＳ１０１で取得した撮影画像２５０に対応付けされた個別関節点の正解とをそれぞれ比較することで、検出された関節点２５１の正解率を算出する（Ｓ１０５）。

制御部１１０は、ステップＳ１０４で算出された特徴量を説明変数とし、ステップＳ１０５で算出された正解率を目的変数として、重回帰分析のための重回帰モデルを生成することで学習する。なお、上述したように、制御部１１０は、推定部１１４のＮＮのモデルを学習（または更新）することにより、学習済みモデルを生成することで学習してもよい。

図１３は、位置推定装置１００の推定時の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。

制御部１１０は、通信部１５０により、撮影装置２００から撮影画像２５０を受信することで取得する（Ｓ２０１）。

制御部１１０は、撮影画像２５０に基づいて、個別関節点ごとのヒートマップ２５２を生成する（Ｓ２０２）。

制御部１１０は、個別関節点ごとのヒートマップ２５２に基づいて、それぞれ、尤度の重心と、個別関節点を検出する（Ｓ２０３）。

制御部１１０は、少なくとも、尤度の重心と、個別関節点との差分を用いて、特徴量を算出する（Ｓ２０４）。

制御部１１０は、すべての個別関節点の特徴量に基づいて、重回帰モデルを用いた重回帰分析により関節点２５１の信頼度を推定する（Ｓ２０５）。なお、制御部１１０は、推定部１１４の学習済みモデルを用いて関節点２５１の信頼度を推定してもよい。

制御部１１０は、ステップＳ２０３で個別関節点ごとに検出された関節点２５１を、ステップＳ２０５で推定された信頼度とともに、通信部１５０から他の装置へ送信することにより、または表示部１３０に表示することにより出力する（Ｓ２０６）。

（第２実施形態）
第２実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。第１実施形態は、関節点２５１を検出し、検出した関節点２５１の位置の信頼度を、関節点２５１の位置とともに出力する。一方、本実施形態は、対象者５００を検出し、検出した対象者５００の信頼度を、対象者５００の位置とともに出力する。その他の点については、本実施形態は第１実施形態と同様であるため、重複する説明は省略する。

図１４は、位置推定装置１００の学習時における制御部１１０の機能の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、およびズレ量算出部１１７として機能する。

ヒートマップ生成部１１１は、撮影画像２５０に基づいて、対象者５００の位置の尤度のヒートマップ２５２を生成する。ヒートマップ２５２は、例えば、コンボルーショナルポーズマシーンを用いて生成され得る。ヒートマップ２５２は、撮影画像２５０の画素ごとに、対象者５００の尤度の値を示すマップである。なお、撮影画像２５０には複数の対象者５００が含まれてもよい。その場合、ヒートマップ２５２は、対象者５００ごとに生成され得る。

撮影画像２５０は、推定部１１４の学習に用いられる教師データとしての撮影画像２５０であり、あらかじめ対象者５００の位置の正解が対応付けられている。

検出部１１２は、対象者５００のヒートマップ２５２に基づいて、対象者５００（すなわち、人の位置）を検出する。さらに、検出部１１２は、ヒートマップ２５２の尤度の重心（重心位置）を算出する。

特徴量算出部１１３は、少なくとも、重心と対象者５００の位置との差分を用いた特徴量を算出する。図１４の例においては、重心と対象者５００の位置との差分を特徴量としている。特徴量には、上記差分に加え、対象者５００のヒートマップ２５２における尤度の最大値、および対象者５００のヒートマップ２５２におけるすべての尤度の少なくともいずれかが含まれ得る。

推定部１１４は、検出部１１２により検出された対象者５００（具体的には対象者５００の位置）の、正解に対するズレ量を、対象者５００の信頼度である目的変数とし、特徴量を説明変数として、モデルを生成する。モデルには、数式が含まれる。

ズレ量算出部１１７は、検出部１１２により撮影画像２５０に基づいて検出された対象者５００の位置と、当該撮影画像２５０に対応付けされた、対象者５００の位置の正解とのズレ量（差分）を算出する。ズレ量は、検出された対象者５００の位置と正解との撮影画像２５０上の距離として算出され得る。

図１５は、位置推定装置１００の学習時における制御部１１０の機能の他の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、ズレ量算出部１１７、およびロス算出部１１６として機能する。ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、およびズレ量算出部１１７については、図１４において説明したので、説明を省略する。

推定部１１４は、特徴量に基づいて、ＮＮを用いて、検出部１１２により検出された対象者５００の信頼度を推定する。

ロス算出部１１６は、推定部１１４により推定された信頼度の、ズレ量算出部１１７により算出されたズレ量との差をロスとして算出する。

推定部１１４は、ロス算出部１１６により算出されたロスが小さくなるように、バックプロパゲーションによりＮＮのモデルを学習することで学習済みモデルを生成（または更新）する。すなわち、推定部１１４は、ズレ量算出部１１７により算出されたズレ量を目的変数とし、特徴量を説明変数として、対象者５００の信頼度を推定するためのＮＮを学習する。学習済みモデルはモデルを構成する。

図１６は、位置推定装置１００の推定時における制御部１１０の機能を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、および推定部１１４として機能する。ヒートマップ生成部１１１、検出部１１２、および特徴量算出部１１３については、説明を省略する。

推定部１１４は、位置推定装置１００の学習時（図１４参照）に生成（更新）されたモデルを用いて、特徴量に基づいて、検出部１１２により検出された対象者５００の信頼度を推定する。

推定部１１４は、位置推定装置１００の学習時（図１５参照）に生成（更新）されたＮＮの学習済みモデルを用いて、特徴量に基づいて、検出部１１２により検出された対象者５００の信頼度を推定してもよい。

（第３実施形態）
第３実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。第１実施形態は、複数の関節点２５１の位置を検出し、検出した複数の関節点２５１の総合的な信頼度を推定する。一方、本実施形態は、検出した関節点２５１ごとに、当該関節点２５１の信頼度を推定する。その他の点については、本実施形態は第１実施形態と同様であるため、重複する説明は省略する。

図１７は、位置推定装置１００の学習時における制御部１１０の機能の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、およびズレ量算出部１１７として機能する。以下の説明においては、説明を分かり易くするために、１つの関節点２５１を検出し、検出した１つの関節点２５１の信頼度を推定する場合を例に説明する。複数の関節点２５１を検出し、検出した関節点２５１ごとの信頼度を推定してもよい。

ヒートマップ生成部１１１は、撮影画像２５０に基づいて、関節点２５１の尤度のヒートマップ２５２を生成する。ヒートマップ２５２は、例えば、コンボルーショナルポーズマシーンを用いて生成され得る。

検出部１１２は、関節点２５１のヒートマップ２５２に基づいて、関節点２５１を検出する。さらに、検出部１１２は、ヒートマップ２５２の尤度の重心を算出する。

特徴量算出部１１３は、少なくとも、重心と関節点２５１の位置との差分を用いた特徴量を算出する。図１７の例においては、重心と関節点２５１の位置との差分を特徴量としている。特徴量には、上記差分に加え、関節点２５１のヒートマップ２５２における尤度の最大値、および関節点２５１のヒートマップ２５２におけるすべての尤度の少なくともいずれかが含まれ得る。

推定部１１４は、検出部１１２により検出された関節点２５１の、正解に対するズレ量を、関節点２５１の信頼度である目的変数とし、特徴量を説明変数として、モデルを生成する。モデルには数式が含まれる。

ズレ量算出部１１７は、検出部１１２により撮影画像２５０に基づいて検出された関節点２５１の位置と、当該撮影画像２５０に対応付けされた、関節点２５１の位置の正解とのズレ量（差分）を算出する。ズレ量は、検出された関節点２５１の位置と正解との撮影画像２５０上の距離として算出され得る。

図１８は、位置推定装置１００の学習時における制御部１１０の機能の他の例を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、推定部１１４、ズレ量算出部１１７、およびロス算出部１１６として機能する。ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、およびズレ量算出部１１７については、図１７において説明したので、説明を省略する。

推定部１１４は、ロス算出部１１６により算出されたロスが小さくなるように、バックプロパゲーションによりＮＮのモデルを学習することで学習済みモデルを生成（または更新）する。すなわち、推定部１１４は、ズレ量算出部１１７により算出されたズレ量を目的変数とし、特徴量を説明変数として、関節点２５１の信頼度を推定するためのＮＮを学習する。

図１９は、位置推定装置１００の推定時における制御部１１０の機能を示すブロック図である。制御部１１０は、ヒートマップ生成部１１１、検出部１１２、特徴量算出部１１３、および推定部１１４として機能する。ヒートマップ生成部１１１、検出部１１２、および特徴量算出部１１３については、説明を省略する。

推定部１１４は、位置推定装置１００の学習時（図１７参照）に生成（更新）されたモデルを用いて、特徴量に基づいて、検出部１１２により検出された関節点２５１の信頼度を推定する。

推定部１１４は、位置推定装置１００の学習時（図１８参照）に生成（更新）されたＮＮの学習済みモデルを用いて、特徴量に基づいて、検出部１１２により検出された関節点２５１の信頼度を推定してもよい。

本実施形態は、以下の効果を奏する。

画像における物体の部分位置等の尤度のヒートマップに基づき推定された当該部分位置等と、尤度マップの尤度の重心位置との差分を用いた特徴量を算出し、部分位置等の推定結果の信頼度を、特徴量に基づいて算出する。これにより、尤度マップに基づいて推定された、物体の部分位置等の推定結果の信頼度を高精度に算出できる。これにより、物体の部分位置等の信頼度に応じて、物体の部分位置等を利用するアプリケーションの設計の自由度を向上できるとともに、システムの信頼度を向上できる。

さらに、物体の部分位置のそれぞれの尤度マップに基づいて、複数の部分位置をそれぞれ推定する。そして、推定された複数の部分位置の、正解に対する正解率を、部分位置の信頼度である目的変数とし、複数の部分位置を用いて算出された前記特徴量を説明変数に含む、重回帰分析により、複数の特徴量に基づいて部分位置の信頼度を推定する。これにより、複数の部分位置の推定結果の総合的な信頼度を簡単かつ高精度に算出できる。

物体の部分位置のそれぞれの尤度マップに基づいて、複数の部分位置をそれぞれ推定する。そして、推定された複数の部分位置の、正解に対する正解率を、部分位置の信頼度である目的変数とし、複数の部分位置を用いて算出された特徴量を説明変数に含んで学習された、ＮＮの学習済みモデルを用いて、複数の特徴量に基づいて部分位置の信頼度を推定する。これにより、複数の部分位置の推定結果の総合的な信頼度をより高精度に算出できる。

推定された物体の位置または部分位置と正解との差分を、物体の位置または部分位置の信頼度である目的変数とし、物体の位置または部分位置について算出された特徴量を説明変数に含むモデルを用いて、特徴量に基づいて物体の位置または部分位置の信頼度を推定する。これにより、物体の位置または部分位置ごとの推定結果の信頼度を高精度に算出できる。

さらに、特徴量に、重心位置と推定された部分位置との差分、ならびに、複数の部分位置の一部または全部についてそれぞれ算出された複数の上記差分の合計、および部分位置ごとのヒートマップにおける尤度の最大値の合計の少なくともいずれかを含める。そして、重心位置と推定された部分位置との差分、ならびに、複数の部分位置の一部または全部についてそれぞれ算出された複数の上記差分の合計、および部分位置ごとのヒートマップにおける尤度の最大値の合計の少なくともいずれかを説明関数とする。これにより、複数の部分位置の推定結果の総合的な信頼度の精度をさらに向上できる。

特徴量に、重心位置と推定された物体の位置または部分位置との差分、ならびに、物体の位置または部分位置のヒートマップにおける尤度の最大値、およびヒートマップにおけるすべての尤度の少なくともいずれかを含める。そして、重心位置と推定された物体の位置または部分位置との差分、ならびに、物体の位置または部分位置のヒートマップにおける尤度の最大値、およびヒートマップにおけるすべての尤度の少なくともいずれかを説明変数とする。これにより、物体の位置または部分位置ごとの推定結果の信頼度の精度をさらに向上できる。

以上に説明した、位置推定システム１０および位置推定装置１００の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な位置推定システムおよび位置推定装置が備える構成を排除するものではない。

例えば、位置推定装置１００が有する機能を、コンピューターを内蔵する撮影装置２００が備えるようにしてもよい。

また、位置推定装置１００、および撮影装置２００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した実施形態においてＮＮにより実現していた機能を、ＮＮ以外の機械学習手段や、近似関数を用いることにより実現してもよい。例えば、特徴量と推定度の関係の近似関数を予め求めておき、当該近似関数を用いて、特徴量から信頼度を推定してもよい。

また、上述した位置推定システム１０および位置推定装置１００における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

１０位置推定システム、
１００位置推定装置、
１１０制御部、
１１１ヒートマップ生成部、
１１２検出部、
１１３特徴点算出部、
１１４推定部、
１１５正解率算出部、
１１６ロス算出部、
１１７ズレ量算出部、
１２０記憶部、
１３０通信部、
１４０入力部、
１５０通信部、
２００撮影装置、
２５０撮影画像、
２５１関節点、
２５２ヒートマップ、
３００通信ネットワーク、
５００対象者。

Claims

画像における物体の位置または部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する手順（ａ）と、
前記ヒートマップの尤度の重心位置を算出する手順（ｂ）と、
少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量を算出する手順（ｃ）と、
推定された、前記物体の位置または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する手順（ｄ）と、
を有する処理をコンピューターに実行させるための信頼度推定プログラム。
前記手順（ａ）は、前記物体の複数の前記部分位置のそれぞれの尤度マップに基づいて、複数の前記部分位置をそれぞれ推定し、
前記手順（ｄ）は、推定された複数の前記部分位置の、正解に対する正解率を、前記部分位置の信頼度である目的変数とし、複数の前記部分位置を用いて算出された前記特徴量を説明変数に含む、重回帰分析により、複数の前記特徴量に基づいて前記部分位置の信頼度を推定する、請求項１に記載の信頼度推定プログラム。
前記手順（ａ）は、前記物体の複数の前記部分位置のそれぞれの尤度マップに基づいて、複数の前記部分位置をそれぞれ推定し、
前記手順（ｄ）は、推定された複数の前記部分位置の、正解に対する正解率を、前記部分位置の信頼度である目的変数とし、複数の前記部分位置を用いて算出された前記特徴量を説明変数に含んで学習された、ニューラルネットワークの学習済みモデルを用いて、前記特徴量に基づいて前記部分位置の信頼度を推定する、請求項１に記載の信頼度推定プログラム。
前記手順（ｄ）は、推定された前記物体の位置または前記部分位置と正解との差分を、前記物体の位置または前記部分位置の信頼度である目的変数とし、前記物体の位置または前記部分位置について算出された前記特徴量を説明変数に含むモデルを用いて、前記特徴量に基づいて前記物体の位置または前記部分位置の信頼度を推定する、請求項１に記載の信頼度推定プログラム。
前記特徴量は、前記重心位置と推定された前記部分位置との差分、ならびに、複数の前記部分位置の一部または全部についてそれぞれ算出された複数の前記差分の合計、および前記部分位置ごとの前記ヒートマップにおける尤度の最大値の合計の少なくともいずれかを含み、
前記手順（ｄ）は、前記重心位置と推定された前記部分位置との差分、ならびに、複数の前記部分位置の一部または全部についてそれぞれ算出された複数の前記差分の合計、および前記部分位置ごとの前記ヒートマップにおける尤度の最大値の合計の少なくともいずれかを説明変数とする、請求項２～３のいずれか一項に記載の信頼度推定プログラム。
前記特徴量は、前記重心位置と推定された前記物体の位置または前記部分位置との差分、ならびに、前記物体の位置または前記部分位置の前記ヒートマップにおける尤度の最大値、および前記ヒートマップにおけるすべての尤度の少なくともいずれかを含み、
前記手順（ｄ）は、前記重心位置と推定された前記物体の位置または前記部分位置との差分、ならびに、前記物体の位置または前記部分位置の前記ヒートマップにおける尤度の最大値、および前記ヒートマップにおけるすべての尤度の少なくともいずれかを説明変数とする、請求項４に記載の信頼度推定プログラム。
信頼度推定装置により実行される方法であって、
画像における物体の位置または前記物体の部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する段階（ａ）と、
前記ヒートマップの尤度の重心位置を算出する段階（ｂ）と、
少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量を算出する段階（ｃ）と、
推定された、前記物体の位置、または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する段階（ｄ）と、
を有する信頼度推定方法。
画像における物体の位置または部分位置の尤度のヒートマップに基づいて、前記物体の位置または前記部分位置を推定する推定部と、
前記ヒートマップの尤度の重心位置を算出する重心算出部と、
少なくとも、算出された前記重心位置と、推定された、前記物体の位置または前記部分位置との差分を用いた特徴量を算出する特徴量算出部と、
推定された、前記物体の位置または前記部分位置の信頼度を、算出された前記特徴量に基づいて算出する信頼度算出部と、
を有する信頼度推定装置。