JP2019133331A - 画像認識装置、画像認識方法、および、画像認識プログラム - Google Patents

Abstract

【課題】複数の物体が写された画像から検出された部位候補のマッチング精度を向上させる。【解決手段】画像認識装置１００は、第１部位候補３−１〜３−３と第２部位候補４−１〜４−３とを組み合わせて、第１部位候補と第２部位候補とのペアを複数生成する生成部と、複数のペアのそれぞれについて、第１部位候補と第２部位候補とが繋がっている推定を示す第１推定値を算出する第１算出部と、既にマッチングされており、繋がっている推定を示す第２推定値である部位候補どうしの一方であって、第１部位候補および第２部位候補のいずれとも異なる部位候補２−１が、第１部位候補または第２部位候補と繋がっている状態において、第２推定値を重み付けとして、第１推定値を修正する処理を、複数のペアのそれぞれについて実行する修正部と、修正した第１推定値を基にして、第１部位候補と第２部位候補とをマッチングするマッチング部と、を備える。【選択図】図１７

Description

本発明は、画像に写された複数の物体を認識する技術に関する。

深層学習を用いて、画像に写された複数の人物のそれぞれの姿勢を推定することが試みられている。姿勢推定の手法の１つとして、ボトムアップアプローチと称される手法がある（例えば、非特許文献１参照）。ボトムアップアプローチは、（１）複数の人物が写された画像から、姿勢推定に必要な複数種類の関節候補（例えば、首関節候補、左肩関節候補、右肩関節候補、左肘関節候補、右肘関節候補、左手首関節候補、右手首関節候補、左股関節候補、右股関節候補、左膝関節候補、右膝関節候補、左足首関節候補、右足首関節候補）を検出し、（２）検出した複数種類の関節候補を繋ぎ合わせて、人物の姿勢を推定する処理を、複数の人物のそれぞれについて実行する。

ヂゥー・ツァオ（Ｚｈｅ Ｃａｏ）、他３名、「パートアフィニティフィールドを用いたリアルタイム複数人２Ｄ姿勢推定（Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ）」、［ｏｎｌｉｎｅ ］、ｐ．２、［平成３０年１月１０日検索］、インターネット〈ＵＲＬ：https://arxiv.org/pdf/1611.08050〉

ボトムアップアプローチでは、関節候補が人物毎に区別されていないので、複数種類の関節候補を繋ぎ合わせるための前提として、関節候補のマッチングがされる。例えば、人物Ａの左肘関節を示す左肘関節候補、人物Ｂの左肘関節を示す左肘関節候補、人物Ａの左手首関節を示す左手首関節候補、人物Ｂの左手首関節を示す左手首関節候補が検出されたとする。関節候補のマッチングにより、人物Ａの左肘関節を示す左肘関節候補と人物Ａの左手首関節を示す左手首関節候補とが繋がれ、人物Ｂの左肘関節を示す左肘関節候補と人物Ｂの左手首関節を示す左手首関節候補とが繋がれる。

しかし、検出された関節候補には、人物の関節でない物が含まれていることがある。例えば、画像に、複数の人物と、机上に置かれた左手の手袋と、が含まれる場合、机の天板の１つの角部が左肘関節候補、左手の手袋の口部が左手首関節候補として検出される可能性がある。関節候補のマッチングにより、人物Ａの左肘関節を示す左肘関節候補と左手の手袋の口部を示す左手首関節候補とが繋がれ、机の天板の１つの角部を示す左肘関節候補と人物Ａの左手首関節を示す左手首関節候補とが繋がれてしまうと、姿勢推定の精度が低下する。

関節候補のマッチングを例にして説明したが、ボトムアップアプローチを例えば、複数の人物の顔認識に適用した場合、目候補と鼻候補、鼻候補と口候補、目候補と耳候補とがマッチングされることになる。本明細書において、マッチングの対象（例えば、関節候補、顔のパーツ候補）の総称を部位候補と記載する。

本発明の目的は、複数の物体が写された画像から検出された部位候補のマッチング精度を向上させることができる画像認識装置、画像認識方法、および、画像認識プログラムを提供することである。

本発明の第１局面に係る画像認識装置は、複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出部と、マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成部と、複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出部と、既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正部と、複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチング部と、を備える。

物体は、例えば、人物、人型ロボット、動物、顔である。部位は、姿勢認識の場合、関節であり、顔認識の場合、顔のパーツ（目、鼻、口、耳）である。

第１推定値、第２推定値は、例えば、尤度、確率である。

第２推定値は、既にマッチングされている部位候補どうしが繋がっている推定を示す値である。詳しく説明すると、左肘関節候補が第１部位候補であり、左手首関節候補が第２部位候補であり、左肩関節候補と左肘関節候補とが既にマッチングされている部位候補どうしであり、左肩関節候補が部位候補どうしの一方であるとする。この場合、左肩関節候補（部位候補どうしの一方）は、左肘関節候補（第１部位候補）および左手首関節候補（第２部位候補）のいずれとも異なり、かつ、左肘関節候補（第１部位候補）と繋がっている。この左肩関節候補と左肘関節候補とが繋がっている推定を示す値が第２推定値である。

修正部は、第２推定値を重み付けとして、第１推定値を修正する。例えば、修正部は、第１推定値と第２推定値とを乗算した値を、修正した第１推定値にしてもよいし、第１推定値と第２推定値とを加算した値を、修正した第１推定値にしてもよい。

検出された部位候補に、検出対象となる部位（例えば、関節）と無関係な部位（例えば、左手の手袋の口部、机の天板の１つの角部）が含まれることがある。無関係部位は検出対象部位との関連性が弱いので、無関係部位を示す部位候補と検出対象部位を示す部位候補とのペアの第１推定値は、通常、低い値となる。しかしながら、このペアの第１推定値が、偶然に、大きな値になることがある。例えば、机上に置かれた左手の手袋に対して、机の天板の１つの角部が左肘関節候補、その手袋の口部が左手首関節候補として検出され、かつ、机の近くに立っている人物の左肘関節が左肘関節候補、左手首関節が左手首関節候補として検出される。この場合、例えば、机の近くに立っている人物の左肘関節を示す左肘関節候補と左手の手袋の口部を示す左手首関節候補との第１推定値が、偶然、大きな値になることがある。このため、第１推定値を用いて部位候補のマッチングがされると、無関係部位を示す部位候補と関節を示す部位候補とが繋げられることがある。

無関係部位どうしは、関連性が弱いので、既にマッチングされた無関係部位どうしの繋がりの推定を示す第２推定値は、通常、低く、または、極端に低い。このため、仮に、検出対象部位と無関係部位とのペアの第１推定値が大きくても、第２推定値を重み付けとして、修正した第１推定値は、小さく、または、極端に小さくなる。従って、修正した第１推定値を用いて、部位候補のマッチングがされれば、無関係部位を示す部位候補と検出対象部位を示す部位候補とが繋げられることを防ぐことができる。以上説明したように、本発明の第１局面に係る画像認識装置によれば、複数の物体が写された画像から検出された部位候補のマッチング精度を向上させることができる。

上記構成において、複数の前記部位の繋がりの関係を示す繋がり情報を予め記憶する第１記憶部と、前記生成部は、前記第１記憶部に記憶されている前記繋がり情報を用いて、前記検出部によって検出された前記部位候補の中で、前記第１部位候補と前記第２部位候補との関係を有する２種類の前記部位候補を特定する。

繋がり情報は、部位が、首関節、左肩関節、左肘関節、左手首関を例にすると、首関節と左肩関節とが繋がっており、左肩関節と左肘関節とが繋がっており、左肘関節と左手首関節とが繋がっていることを示す情報である。首関節と左肩関節とが第１部位候補と第２部位候補との関係を有し、左肩関節候補と左肘関節候補とが第１部位候補と第２部位候補との関係を有し、左肘関節候補と左手首関節候補が第１部位候補と第２部位候補との関係を有する。

この構成によれば、検出部によって検出された部位候補のうち、第１部位候補および第２部位候補となる２種類の部位候補を特定することができる。

上記構成において、第２記憶部と、前記マッチングによって１つに繋げられた複数の前記部位候補を、１つの前記物体が有する複数の前記部位として、前記第２記憶部に記憶させる処理を、複数の前記物体のそれぞれについて実行する記憶処理部と、をさらに備える。

マッチングによって１つに繋げられた複数の部位候補（例えば、首関節候補、左肩関節候補、左肘関節候補、左手首関節候補）は、１つの物体が有する複数の部位を示し、例えば、この物体の姿勢推定に用いることができる。この構成によれば、画像に写された複数の物体のそれぞれについて、１つに繋げられた複数の部位候補を第２記憶部に記憶する。従って、これらを、例えば、画像に写された複数の物体のそれぞれの姿勢推定に用いることができる。

本発明の第２局面に係る画像認識方法は、複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成ステップと、複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出ステップと、既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチングステップと、を備える。

本発明の第２局面に係る画像認識方法は、本発明の第１局面に係る画像認識装置を方法の観点から規定しており、本発明の第１局面に係る画像認識装置と同様の作用効果を有する。

本発明の第３局面に係る画像認識プログラムは、複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成ステップと、複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出ステップと、既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチングステップと、をコンピュータに実行させる。

本発明の第３局面に係る画像認識プログラムは、本発明の第１局面に係る画像認識装置をプログラムの観点から規定しており、本発明の第１局面に係る画像認識装置と同様の作用効果を有する。

本発明によれば、複数の物体が写された画像から検出された部位候補のマッチング精度を向上させることができる。

実施形態に係る画像認識装置の機能ブロック図である。 左腕の姿勢推定の対象となる複数の人物が写された画像の一例の模式図である。 繋がり情報の一例を説明する説明図である。 合成画像の一例を示す模式図である。 ベクトル場の一部の一例を説明する説明図である。 首関節候補、左肩関節候補、左肘関節候補、左手首関節候補において、２種類の部位候補となる組み合わせを説明する説明図である。 第１推定値の具体例を説明する説明図である。 第１推定値の具体例を説明する説明図である。 第１推定値の具体例を説明する説明図である。 比較例において、左肘関節候補と左手首関節候補との組み合わせの１つ目を説明する説明図である。 同２つ目を説明する説明図である。 同３つ目を説明する説明図である。 同４つ目を説明する説明図である。 同５つ目を説明する説明図である。 同６つ目を説明する説明図である。 左肩関節候補と左肘関節候補とが既にマッチングされており、左肘関節候補と左手首関節候補とがまだマッチングされていない状態を説明する説明図である。 修正した第１推定値の具体例を説明する説明図である。 修正した第１推定値の具体例を説明する説明図である。 修正した第１推定値の具体例を説明する説明図である。 実施形態において、左肘関節候補と左手首関節候補との組み合わせの１つ目を説明する説明図である。 同２つ目を説明する説明図である。 同３つ目を説明する説明図である。 同４つ目を説明する説明図である。 同５つ目を説明する説明図である。 同６つ目を説明する説明図である。 実施形態に係る画像認識装置が関節候補をマッチングする処理について説明するフローチャートである。 首関節候補と左肩関節候補とのマッチングの結果を示す説明図である。 左肩関節候補と左肘関節候補とのマッチングの結果を示す説明図である。 左肘関節候補と左手首関節候補とのマッチングの結果を示す説明図である。 図１に示す画像認識装置のハードウェア構成を示すブロック図である。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、左手首関節候補４）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、左手首関節候補４−１）。

図１は、実施形態に係る画像認識装置１００の機能ブロック図である。画像認識装置１００は、機能ブロックとして、本体部３０と、入力部４０と、出力部５０と、を備える。

本体部３０は、深層学習を実行できるコンピューターである。本体部３０は、深層学習を用いて、画像に写された複数の人物のそれぞれの姿勢を推定する。実施形態では、左腕の姿勢推定を例にして説明するが、これに限定されず、例えば、全身の姿勢推定でもよいし、上半身の姿勢推定でもよいし、下半身の姿勢推定でもよい。

本体部３０は、機能ブロックとして、制御処理部３１と、記憶部３２と、部位候補検出部３３と、部位関連度算出部３４と、ペア生成部３５と、第１推定値算出部３６と、第１推定値修正部３７と、マッチング部３８と、を備える。

制御処理部３１は、本体部３０の各部（記憶部３２、部位候補検出部３３、部位関連度算出部３４、ペア生成部３５、第１推定値算出部３６、第１推定値修正部３７、マッチング部３８）を当該各部の機能に応じてそれぞれ制御するための装置である。

記憶部３２は、画像認識装置１００が実行する処理および制御に必要な各種の画像、データ、情報等を記憶する。記憶部３２は、機能ブロックとして、画像記憶部３２１と、繋がり情報記憶部３２２と、マッチング結果記憶部３２３と、を備える。

画像記憶部３２１は、左腕の姿勢推定の対象となる複数の人物が写された画像１０が予め記憶されている。図２は、画像１０の一例の模式図である。図２に示す画像１０には、人物５、人物６、机７、椅子８、および、机７の上に置かれた左手の手袋９が写されている。

画像１０は、複数の部位を有する物体が複数写された画像である。物体は、例えば、人物、人型ロボット、動物、顔である。部位は、姿勢認識の場合、関節であり、顔認識の場合、顔のパーツ（目、鼻、口、耳）である。

図１を参照して、繋がり情報記憶部３２２（第１記憶部）は、繋がり情報６０を予め記憶する。繋がり情報６０は、左腕の姿勢推定に必要な複数の関節について、これらの関節の繋がりの関係を示す情報である。左腕の姿勢推定に必要な複数の関節は、首関節、左肩関節、左肘関節、左手首関節である。繋がり情報６０は、首関節と左肩関節とが繋がっており、左肩関節と左肘関節とが繋がっており、左肘関節と左手首関節とが繋がっていることを示す情報である。図３は、繋がり情報６０の一例を説明する説明図である。図３に示す繋がり情報６０は、ノードとなる４つの関節（首関節、左肩関節、左肘関節、左手首関節）と、首関節と左肩関節とを繋ぐエッジと、左肩関節と左肘関節とを繋ぐエッジと、左肘関節と左手首関節とを繋ぐエッジと、により構成される。

図１を参照して、マッチング結果記憶部３２３（第２記憶部）は、関節候補どうしがマッチングされた結果を、画像に写された複数の人物毎に記憶する。これについては、後でさらに詳しく説明する。

部位候補検出部３３（検出部）は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、画像１０から、首関節の候補となる首関節候補、左肩関節の候補となる左肩関節候補、左肘関節の候補となる左肘関節候補、左手首関節の候補となる左手首関節候補を、それぞれ、複数検出し、検出したこれらの関節候補（部位候補）を、画像１０に合成した合成画像１１（Ｐａｒｔ Ｃｏｎｆｉｄｅｎｃｅ Ｍａｐ）を生成する。部位候補検出部３３は、例えば、非特許文献１に開示されたＰａｒｔ Ｃｏｎｆｉｄｅｎｃｅ Ｍａｐｓの生成と同様の方法を用いて、合成画像１１を生成する。

図４は、合成画像１１の一例を示す模式図である。図４に示す合成画像１１において、各関節候補が示す部位は、以下の通りである。
首関節候補１−１は、人物５の首関節を示す。
首関節候補１−２は、人物６の首関節を示す。
首関節候補１−３は、椅子８の１つ脚の下端部を示す。
左肩関節候補２−１は、人物５の左肩関節を示す。
左肩関節候補２−２は、人物６の左肩関節を示す。
左肩関節候補２−３は、机７の１つの脚の下端部を示す。
左肘関節候補３−１は、人物５の左肘関節を示す。
左肘関節候補３−２は、人物６の左肘関節を示す。
左肘関節候補３−３は、机７の天板の１つの角部を示す。
左手首関節候補４−１は、人物５の左手首関節を示す。
左手首関節候補４−２は、人物６の左手首関節を示す。
左手首関節候補４−３は、左手の手袋９の口部を示す。

以上説明したように、部位候補検出部３３は、複数の部位を有する物体が複数写された画像１０から、部位の候補となる部位候補を複数検出する処理を、複数の部位のそれぞれについて実行する。実施形態において、部位は関節であり、物体は人物であり、部位候補は関節候補である。

図１を参照して、部位関連度算出部３４は、ＣＮＮを用いて、画像１０から、関節候補（部位候補）どうしの繋がりを示すベクトル場（Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ）を算出する。図５は、ベクトル場の一部７０の一例を説明する説明図である。図５に示すベクトル場の一部７０は、図４に示す左肩関節候補２−２と左肘関節候補３−２との繋がりを示す。部位関連度算出部３４は、例えば、非特許文献１に開示されたＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓの算出と同様の方法を用いて、ベクトル場を算出する。

図１を参照して、ペア生成部３５（生成部）は、繋がり情報記憶部３２２に記憶されている繋がり情報６０を用いて、部位候補検出部３３によって検出された部位候補（関節候補）の中で、第１部位候補と第２部位候補との関係を有する２種類の部位候補を特定する。第１部位候補は、マッチングの対象となる部位候補（関節候補）の一方であり、第２部位候補（関節候補）は、その他方である。

図３、図４および図６を用いて、ペア生成部３５の機能について、詳しく説明する。図６は、首関節候補１、左肩関節候補２、左肘関節候補３、左手首関節候補４において、２種類の部位候補（関節候補）となる組み合わせを説明する説明図である。２種類の部位候補は、首関節候補１（第１部位候補）および左肩関節候補２（第２部位候補）であり、左肩関節候補２（第１部位候補）および左肘関節候補３（第２部位候補）であり、左肘関節候補３（第１部位候補）および左手首関節候補４（第２部位候補）である。

ペア生成部３５は、首関節候補１−１〜１−３（複数の第１部位候補）と左肩関節候補２−１〜２−３（複数の第２部位候補）とを組み合わせて、首関節候補１と左肩関節候補２とのペアを複数生成する。生成されるペアは、以下の９個である。
首関節候補１−１と左肩関節候補２−１とのペア
首関節候補１−１と左肩関節候補２−２とのペア
首関節候補１−１と左肩関節候補２−３とのペア
首関節候補１−２と左肩関節候補２−１とのペア
首関節候補１−２と左肩関節候補２−２とのペア
首関節候補１−２と左肩関節候補２−３とのペア
首関節候補１−３と左肩関節候補２−１とのペア
首関節候補１−３と左肩関節候補２−２とのペア
首関節候補１−３と左肩関節候補２−３とのペア

ペア生成部３５は、左肩関節候補２−１〜２−３（複数の第１部位候補）と左肘関節候補３−１〜３−３（複数の第２部位候補）とを組み合わせて、左肩関節候補２と左肘関節候補３とのペアを複数生成する。生成されるペアは、以下の９個である。
左肩関節候補２−１と左肘関節候補３−１とのペア
左肩関節候補２−１と左肘関節候補３−２とのペア
左肩関節候補２−１と左肘関節候補３−３とのペア
左肩関節候補２−２と左肘関節候補３−１とのペア
左肩関節候補２−２と左肘関節候補３−２とのペア
左肩関節候補２−２と左肘関節候補３−３とのペア
左肩関節候補２−３と左肘関節候補３−１とのペア
左肩関節候補２−３と左肘関節候補３−２とのペア
左肩関節候補２−３と左肘関節候補３−３とのペア

ペア生成部３５は、左肘関節候補３−１〜３−３（複数の第１部位候補）と左手首関節候補４−１〜４−３（複数の第２部位候補）とを組み合わせて、左肘関節候補３と左手首関節候補４とのペアを複数生成する。生成されるペアは、以下の９個である。
左肘関節候補３−１と左手首関節候補４−１とのペア
左肘関節候補３−１と左手首関節候補４−２とのペア
左肘関節候補３−１と左手首関節候補４−３とのペア
左肘関節候補３−２と左手首関節候補４−１とのペア
左肘関節候補３−２と左手首関節候補４−２とのペア
左肘関節候補３−２と左手首関節候補４−３とのペア
左肘関節候補３−３と左手首関節候補４−１とのペア
左肘関節候補３−３と左手首関節候補４−２とのペア
左肘関節候補３−３と左手首関節候補４−３とのペア

図１を参照して、第１推定値算出部３６（第１算出部）は、部位候補検出部３３が生成した合成画像１１と部位関連度算出部３４が算出した上述したベクトル場とを用いて、図６に示す複数のペアのそれぞれについて、第１部位候補と第２部位候補とが繋がっている推定を示す値である第１推定値を算出する。非特許文献１には、この算出方法の一例が開示されている。ここでは第１推定値を尤度とする。左肘関節候補３と左手首関節候補４とのペアを例にして、第１推定値の具体例を図７〜図９に示す。

図７を参照して、左肘関節候補３−１と左手首関節候補４−１とのペアの第１推定値は、０．６であり、左肘関節候補３−１と左手首関節候補４−２とのペアの第１推定値は、０．５であり、左肘関節候補３−１と左手首関節候補４−３とのペアの第１推定値は、０．０３である。

図８を参照して、左肘関節候補３−２と左手首関節候補４−１とのペアの第１推定値は、０．５であり、左肘関節候補３−２と左手首関節候補４−２とのペアの第１推定値は、０．５５であり、左肘関節候補３−２と左手首関節候補４−３とのペアの第１推定値は、０．２５である。

図９を参照して、左肘関節候補３−３と左手首関節候補４−１とのペアの第１推定値は、０．０５であり、左肘関節候補３−３と左手首関節候補４−２とのペアの第１推定値は、０．６であり、左肘関節候補３−３と左手首関節候補４−３とのペアの第１推定値は、０．２である。

第１推定値を用いて、複数の第１部位候補と複数の第２部位候補とのマッチングがされると、検出対象となる部位（例えば、左肘関節、左手首関節）と無関係な部位（例えば、図４に示す左手の手袋９の口部、机７の天板の１つの角部）が、検出対象となる部位と繋がれることがある。これを比較例を用いて詳しく説明する。比較例は、第１推定値を用いて、左肘関節候補３−１〜３−３（複数の第１部位候補）と左手首関節候補４−１〜４−３（複数の第２部位候補）とをマッチングする。比較例において、左肘関節候補３−１〜３−３と左手首関節候補４−１〜４−３との組み合わせは、図１０〜図１５に示す６通りがある。

図１０は、比較例において、左肘関節候補３−１〜３−３と左手首関節候補４−１〜４−３との組み合わせの１つ目を説明する説明図である。図１１は、同２つ目を説明する説明図である。図１２は、同３つ目を説明する説明図である。図１３は、同４つ目を説明する説明図である。図１４は、同５つ目を説明する説明図である。図１５は、同６つ目を説明する説明図である。これらの図中の数字は、第１推定値（左肘関節候補３と左手首関節候補４とが繋がっている推定を示す値）を示している。

図１０は、左肘関節候補３−１と左手首関節候補４−１とが繋がれ、左肘関節候補３−２と左手首関節候補４−２とが繋がれ、左肘関節候補３−３と左手首関節候補４−３とが繋がれる場合である。図１１は、左肘関節候補３−１と左手首関節候補４−２とが繋がれ、左肘関節候補３−２と左手首関節候補４−１とが繋がれ、左肘関節候補３−３と左手首関節候補４−３とが繋がれる場合である。図１２は、左肘関節候補３−１と左手首関節候補４−３とが繋がれ、左肘関節候補３−２と左手首関節候補４−２とが繋がれ、左肘関節候補３−３と左手首関節候補４−１とが繋がれる場合である。

図１３は、左肘関節候補３−１と左手首関節候補４−１とが繋がれ、左肘関節候補３−２と左手首関節候補４−３とが繋がれ、左肘関節候補３−３と左手首関節候補４−２とが繋がれる場合である。図１４は、左肘関節候補３−１と左手首関節候補４−２とが繋がれ、左肘関節候補３−２と左手首関節候補４−３とが繋がれ、左肘関節候補３−３と左手首関節候補４−１とが繋がれる場合である。図１５は、左肘関節候補３−１と左手首関節候補４−３とが繋がれ、左肘関節候補３−２と左手首関節候補４−１とが繋がれ、左肘関節候補３−３と左手首関節候補４−２とが繋がれる場合である。

図１０〜図１５で示される第１推定値は、図７〜図９で示される第１推定値から選択されている。図１０を例にして説明する。図１０を参照して、左肘関節候補３−１と左手首関節候補４−１とのペアの第１推定値０．６は、図７に示す第１推定値０．６である。左肘関節候補３−２と左手首関節候補４−２とのペアの第１推定値０．５５は、図８に示す第１推定値０．５５である。左肘関節候補３−３と左手首関節候補４−３とのペアの第１推定値０．２は、図９に示す第１推定値０．２である。

図１０に示す組み合わせの場合、第１推定値の合計が、１．３５である。図１１に示す組み合わせの場合、第１推定値の合計が、１．２である。図１２に示す組み合わせの場合、第１推定値の合計が、０．６３である。図１３に示す組み合わせの場合、第１推定値の合計が、１．４５である。図１４に示す組み合わせの場合、第１推定値の合計が、０．８である。図１５に示す組み合わせの場合、第１推定値の合計が、１．１３である。

第１推定値の合計が１番大きい組み合わせが、マッチングとして採用される。ここでは、図１３に示す組み合わせが、マッチングとして採用される。図４および図１３を参照して、左肘関節候補３−２（人物６の左肘関節）と左手首関節候補４−３（左手の手袋９の口部）とが繋がれ、左肘関節候補３−３（机７の天板の１つの角部）と左手首関節候補４−２（人物６の左手首関節）とが繋がれている。これは、図９に示すように、左肘関節候補３−３と左手首関節候補４−２とのペアの第１推定値が比較的大きいからである。

そこで、実施形態は、修正した第１推定値を用いてマッチングをする。図１を参照して、第１推定値修正部３７（修正部）は、既にマッチングされており、繋がっている推定を示す値が第２推定値である部位候補どうしの一方であって、第１部位候補および第２部位候補のいずれとも異なる部位候補が、第１部位候補または第２部位候補と繋がっている場合、第２推定値を重み付けとして、第１推定値を修正する処理を、複数のペアのそれぞれについて実行する。以下、詳しく説明する。

第２推定値は、既にマッチングされている部位候補どうしが繋がっている推定を示す値である。比較例を用いて第２推定値について説明すると、上述したように、比較例では、図１３に示す組み合わせが、マッチングとして採用される。左肘関節候補３−１と左手首関節候補４−１とのペアの第１推定値０．６、左肘関節候補３−２と左手首関節候補４−３とのペアの第１推定値０．２５、左肘関節候補３−３と左手首関節候補４−２とのペアの第１推定値０．６が、それぞれ、第２推定値となる。すなわち、マッチングされた部位候補どうしが繋がっている推定を示す値は、マッチング前が第１推定値であり、マッチング後が第２推定値となる。

第２推定値について、図１６を用いてさらに説明する。図１６は、左肩関節候補２と左肘関節候補３とが既にマッチングされており、左肘関節候補３と左手首関節候補４とがまだマッチングされていない状態を説明する説明図である。左肘関節候補３が第１部位候補であり、左手首関節候補４が第２部位候補であり、左肩関節候補２と左肘関節候補３とが既にマッチングされている部位候補どうしであり、左肩関節候補２が部位候補どうしの一方である。この場合、左肩関節候補２（部位候補どうしの一方）は、左肘関節候補３（第１部位候補）および左手首関節候補４（第２部位候補）のいずれとも異なり、かつ、左肘関節候補３（第１部位候補）と繋がっている。この左肩関節候補２と左肘関節候補３とが繋がっている推定を示す値が第２推定値である。すなわち、左肩関節候補２−１と左肘関節候補３−１とのペアの第１推定値０．７、左肩関節候補２−２と左肘関節候補３−２とのペアの第１推定値０．９、左肩関節候補２−３と左肘関節候補３−３とのペアの第１推定値０．０１が、それぞれ第２推定値である。

なお、既にマッチングされている部位候補どうしが２以上ある場合、いずれの部位候補どうしでもよい。例えば、首関節候補１（図６）と左肩関節候補２とが既にマッチングされている部位候補どうしであり、かつ、左肩関節候補２と左肘関節候補３とが既にマッチングされている部位候補どうしとする。この場合、首関節候補１と左肩関節候補２とが繋がっている推定を示す値を第２推定値にしてもよいし、左肩関節候補２と左肘関節候補３とが繋がっている推定を示す値を第２推定値にしてもよい。

部位候補どうしの一方が、第１部位候補または第２部位候補と繋がっているのは、直接的でもよいし、間接的でもよい。例えば、既にマッチングによって、右肩関節候補（不図示）と首関節候補１とが繋がっており、首関節候補１と左肩関節候補２とが繋がっており、左肩関節候補２と左肘関節候補３とが繋がっているとする。この場合、左肩関節候補２（部位候補どうしの一方）は、左肘関節候補３（第１部位候補）と直接的に繋がっており、首関節候補１（部位候補どうしの一方）は、左肘間接候補３（第１部位候補）と間接的に繋がっており、右肩関節候補（部位候補どうしの一方）は、左肘間接候補３（第１部位候補）と間接的に繋がっている。

部位候補どうしの一方（左肩関節候補２）が、第１部位候補（左肘関節候補３）と繋がっている場合で説明したが、左手首関節候補４が第１部位候補とし、左肘関節候補３が第２部位候補とした場合、部位候補どうしの一方（左肩関節候補２）は、左肘関節候補３（第２部位候補）と繋がっていることになる。

図１を参照して、第１推定値修正部３７は、第２推定値を重み付けとして、第１推定値を修正する処理を、ペア生成部３５が生成した複数のペアのそれぞれについて実行する。実施形態では、第１推定値と第２推定値とを乗算した値を、修正した第１推定値にするが、これに限定されず、例えば、第１推定値と第２推定値とを加算した値を、修正した第１推定値にしてもよい。

図１７〜図１９を用いて、修正した第１推定値の具体例を説明する。首関節候補１と左肩関節候補２とは、既にマッチングされており、左肩関節候補２と左肘関節候補３とは、既にマッチングされている。左肘関節候補３と左手首関節候補４とは、まだマッチングされていない。首関節候補１と左肩関節候補２との繋がりを示す値、左肩関節候補２と左肘関節候補３との繋がりを示す値は、それぞれ、第２推定値である。第１推定値修正部３７は、後者の第２推定値と第１推定値とを乗算して、第１推定値を修正する。

図１７を参照して、左肘関節候補３−１と左手首関節候補４−１とのペアの第１推定値は、０．６であり、修正した第１推定値は、０．４２である。左肘関節候補３−１と左手首関節候補４−２とのペアの第１推定値は、０．５であり、修正した第１推定値は、０．３５である。左肘関節候補３−１と左手首関節候補４−３とのペアの第１推定値は、０．０３であり、修正した第１推定値は、０．０２１である。

図１８を参照して、左肘関節候補３−２と左手首関節候補４−１とのペアの第１推定値は、０．５であり、修正した第１推定値は、０．４５である。左肘関節候補３−２と左手首関節候補４−２とのペアの第１推定値は、０．５５であり、修正した第１推定値は、０．４９５である。左肘関節候補３−２と左手首関節候補４−３とのペアの第１推定値は、０．２５であり、修正した第１推定値は、０．２２５である。

図１９を参照して、左肘関節候補３−３と左手首関節候補４−１とのペアの第１推定値は、０．０５であり、修正した第１推定値は、０．０００５である。左肘関節候補３−３と左手首関節候補４−２とのペアの第１推定値は、０．６であり、修正した第１推定値は、０．００６である。左肘関節候補３−３と左手首関節候補４−３とのペアの第１推定値は、０．２であり、修正した第１推定値は、０．００２である。

図１を参照して、マッチング部３８は、上記複数のペアのそれぞれの修正した第１推定値を基にして、複数の第１部位候補との前記第２部位候補とをマッチングする。図２０〜図２５を用いて、マッチングについて詳しく説明する。

図２０は、実施形態において、左肘関節候補３−１〜３−３と左手首関節候補４−１〜４−３との組み合わせの１つ目を説明する説明図である。図２１は、同２つ目を説明する説明図である。図２２は、同３つ目を説明する説明図である。図２３は、同４つ目を説明する説明図である。図２４は、同５つ目を説明する説明図である。図２５は、同６つ目を説明する説明図である。これらの図中の数字は、修正した第１推定値を示している。

図２０は、図１０と同じく、左肘関節候補３−１と左手首関節候補４−１とが繋がれ、左肘関節候補３−２と左手首関節候補４−２とが繋がれ、左肘関節候補３−３と左手首関節候補４−３とが繋がれる場合である。図２１は、図１１と同じく、左肘関節候補３−１と左手首関節候補４−２とが繋がれ、左肘関節候補３−２と左手首関節候補４−１とが繋がれ、左肘関節候補３−３と左手首関節候補４−３とが繋がれる場合である。図２２は、図１２と同じく、左肘関節候補３−１と左手首関節候補４−３とが繋がれ、左肘関節候補３−２と左手首関節候補４−２とが繋がれ、左肘関節候補３−３と左手首関節候補４−１とが繋がれる場合である。

図２３は、図１３と同じく、左肘関節候補３−１と左手首関節候補４−１とが繋がれ、左肘関節候補３−２と左手首関節候補４−３とが繋がれ、左肘関節候補３−３と左手首関節候補４−２とが繋がれる場合である。図２４は、図１４と同じく、左肘関節候補３−１と左手首関節候補４−２とが繋がれ、左肘関節候補３−２と左手首関節候補４−３とが繋がれ、左肘関節候補３−３と左手首関節候補４−１とが繋がれる場合である。図２５は、図１５と同じく、左肘関節候補３−１と左手首関節候補４−３とが繋がれ、左肘関節候補３−２と左手首関節候補４−１とが繋がれ、左肘関節候補３−３と左手首関節候補４−２とが繋がれる場合である。

図２０〜図２５で示される第１推定値は、図１７〜図１９で示される推定値から選択されている。図２０を例にして説明する。図２０を参照して、左肘関節候補３−１と左手首関節候補４−１とのペアの修正した第１推定値０．４２は、図１７に示す修正した第１推定値０．４２である。左肘関節候補３−２と左手首関節候補４−２とのペアの修正した第１推定値０．４９５は、図１８に示す修正した第１推定値０．４９５である。左肘関節候補３−３と左手首関節候補４−３とのペアの修正した第１推定値０．００２は、図１９に示す修正した第１推定値０．００２である。

図２０に示す組み合わせの場合、修正した第１推定値の合計が、０．９１７である。図２１に示す組み合わせの場合、修正した第１推定値の合計が、０．８０２である。図２２に示す組み合わせの場合、修正した第１推定値の合計が、０．５１６５である。図２３に示す組み合わせの場合、修正した第１推定値の合計が、０．６５１である。図２４に示す組み合わせの場合、修正した第１推定値の合計が、０．５７５５ある。図２５に示す組み合わせの場合、修正した第１推定値の合計が、０．４７７である。

修正した第１推定値の合計が１番大きい組み合わせが、マッチングとして採用される。ここでは、図２０に示す組み合わせが、マッチングとして採用される。図４および図２０を参照して、左肘関節候補３−１（人物５の左肘関節）と左手首関節候補４−１（人物５の左手首関節）とが繋がれ、左肘関節候補３−２（人物６の左肘関節）と左手首関節候補４−２（人物６の左手首関節）とが繋がれ、左肘関節候補３−３（机７の天板の１つの角部）と左手首関節候補４−３（左手の手袋９の口部）とが繋がれている。図１３に示す比較例と異なり、実施形態では、関節と無関係な部位（机７の上に置かれた左手の手袋９、机７の天板の角部の１つ）を示す関節候補（左肘関節候補３−３、左手首関節候補４−３）が、関節（人物６の左肘関節、左手首関節）を示す関節候補（左肘関節候補３−２、左手首関節候補４−２）と繋げられることを防ぐことができている。

この理由について説明する。無関係部位は、関節との関連性が弱いので、無関係部位を示す関節候補と関節を示す関節候補とのペアの第１推定値は、通常、低い値となる。しかしながら、このペアの第１推定値が、偶然に、大きな値になることがある。例えば、図４および図９を参照して、左肘関節候補３−３（机７の天板の１つの角部）と左手首関節候補４−２（人物６の左手首関節）とのペアの第１推定値は、０．６である。このため、第１推定値を用いて関節候補のマッチングがされると、図１３に示すように、無関係部位を示す関節候補と関節を示す関節候補とが繋げられることがある。

無関係部位どうしは、関連性が弱いので、既にマッチングされた無関係部位どうしの繋がりの推定を示す第２推定値は、通常、低く、または、極端に低い。例えば、図１７〜図１９に示すように、首関節候補１−３（椅子８の１つの脚の下端部）と左肩関節候補２−３（机７の１つの脚の下端部）との繋がりの推定を示す第２推定値は、０．００６であり、左肩関節候補２−３と左肘関節候補３−３（机７の天板の１つの角部）との繋がりの推定を示す第２推定値は、０．０１である。このため、仮に、関節と無関係部位とのペアの第１推定値が大きくても、第２推定値と第１推定値とを乗算した値（修正した第１推定値）は、小さく、または、極端に小さくなる。従って、修正した第１推定値を用いて、関節候補のマッチングがされれば、無関係部位を示す関節候補（左肘関節候補３−３、左手首関節候補４−３）と、関節を示す関節候補（左肘関節候補３−２、左手首関節候補４−２）とが繋げられることを防ぐことができる。以上説明したように、実施形態によれば、複数の人物が写された画像１０から検出された関節候補のマッチング精度を向上させることができる。

実施形態に係る画像認識装置１００が関節候補をマッチングする処理について説明する。図２６は、この処理を説明するフローチャートである。図１および図２６を参照して、ユーザが入力部４０を操作して、図２に示す画像１０を選択し、関節候補のマッチングをする命令を入力する。これにより、制御処理部３１は、画像記憶部３２１に記憶されている画像１０を読み出し、部位候補検出部３３および部位関連度算出部３４へ送る（ステップＳ１）。

送られてきた画像１０は、部位候補検出部３３と部位関連度算出部３４とでパラレルに処理される。部位候補検出部３３は、送られてきた画像１０を基にして、合成画像１１（図４）を生成し、部位関連度算出部３４は、送られてきた画像１０を基にして、ベクトル場を算出する（ステップＳ２）。ベクトル場の一部７０の具体例が図５に示されている。

部位候補検出部３３は、合成画像１１を生成する前提として、画像１０から、図４に示す首関節候補１、左肩関節候補２、左肘関節候補３、左手首節候補４をそれぞれ複数検出する。

ペア生成部３５は、これらの検出された関節候補と、繋がり情報記憶部３２２に記憶されている繋がり情報６０と、を用いて、関節候補（部位候補）のペアを生成する（ステップＳ３）。上述したように、ペア生成部３５は、首関節候補１と左肩関節候補２とのペアを９個、左肩関節候補２と左肘関節候補３とのペアを９個、左肘関節候補３と左手首関節候補４とのペアを９個生成する（図６）。

第１推定値算出部３６は、これらのペアのそれぞれについて、第１推定値を算出する（ステップＳ４）。

最初にマッチングされる組み合わせが、首関節候補１と左肩関節候補２とであり、次にマッチングされる組み合わせが、左肩関節候補２と左肘関節候補３とであり、最後にマッチングされる組み合わせが、左肘関節候補３と左手首関節候補４とであるとする。マッチング部３８は、首関節候補１と左肩関節候補２とをマッチングする前に、既にマッチングされている部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ５）。この時点では、既にマッチングされている部位候補どうしがないので（ステップＳ５でＮｏ）、マッチング部３８は、首関節候補１と左肩関節候補２とのペア９個のそれぞれの第１推定値を用いて、首関節候補１（部位候補）と左肩関節候補２（部位候補）とをマッチングする（ステップＳ６）。図２７は、このマッチングの結果を示す説明図である。首関節候補１−１と左肩関節候補２−１とが繋げられ、首関節候補１−２と左肩関節候補２−２とが繋げられ、首関節候補１−３と左肩関節候補２−３とが繋げられている。図中の数値（０．８，０．７，０．００６）は、第２推定値である。

マッチング部３８は、マッチングされていない部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ７）。左肩関節候補２と左肘関節候補３とがマッチングされておらず、左肘関節候補３と左手首関節候補４とがマッチングされていない。よって、マッチング部３８は、マッチングされていない部位候補どうしがあると判断し（ステップＳ７でＹｅｓ）、ステップＳ５に戻る。

マッチング部３８は、左肩関節候補２と左肘関節候補３とをマッチングする前に、既にマッチングされている部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ５）。首関節候補１と左肩関節候補２とが既にマッチングされている。そこで、マッチング部３８は、既にマッチングされている部位候補（関節候補）どうしがあると判断し（ステップＳ５でＹｅｓ）、第１推定値修正部３７に、第１推定値を修正する命令をする。

これにより、第１推定値修正部３７は、左肩関節候補２と左肘関節候補３とのペア９個のそれぞれの第１推定値を修正する（ステップＳ８）。修正に用いる第２推定値は、図２７に示す首関節候補１と左肩関節候補２とが繋がっている推定を示す３つの第２推定値０．８，０．７，０．００６である。

マッチング部３８は、左肩関節候補２と左肘関節候補３とのペア９個のそれぞれの修正した第１推定値を用いて、左肩関節候補２（第１部位候補）と左肘関節候補３（第２部位候補）とをマッチングする（ステップＳ９）。図２８は、このマッチングの結果を示す説明図である。左肩関節候補２−１と左肘関節候補３−１とが繋げられ、左肩関節候補２−２と左肘関節候補３−２とが繋げられ、左肩関節候補２−３と左肘関節候補３−３とが繋げられている。図中の数値（０．８，０．７，０．００６，０．７，０．９，０．０１）は、第２推定値である。

マッチング部３８は、マッチングされていない部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ７）。左肘関節候補３と左手首関節候補４とがマッチングされていない。よって、マッチング部３８は、マッチングされていない部位候補どうしがあると判断し（ステップＳ７でＹｅｓ）、ステップＳ５に戻る。

マッチング部３８は、左肘関節候補３と左手首関節候補４とをマッチングする前に、既にマッチングされている部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ５）。首関節候補１と左肩関節候補２とが既にマッチングされており、左肩関節候補２と左肘関節候補３とが既にマッチングされている（図２８）。そこで、マッチング部３８は、既にマッチングされている部位候補（関節候補）どうしがあると判断し（ステップＳ５でＹｅｓ）、第１推定値修正部３７に、第１推定値を修正する命令をする。

これにより、第１推定値修正部３７は、左肘関節候補３と左手首関節候補４とのペア９個のそれぞれの第１推定値を修正する（ステップＳ８）。修正に用いる第２推定値は、図２８に示す左肩関節候補２と左肘関節候補３とが繋がっている推定を示す３つの第２推定値０．７，０．９，０．０１である。なお、首関節候補１と左肩関節候補２とが繋がっている推定を示す３つの第２推定値０．８，０．７，０．００６でもよい。

マッチング部３８は、左肘関節候補３と左手首関節候補４とのペア９個のそれぞれの修正した第１推定値を用いて、左肘関節候補３（第１部位候補）と左手首関節候補４（第２部位候補）とをマッチングする（ステップＳ９）。図２９は、このマッチングの結果を示す説明図である。左肘関節候補３−１と左手首関節候補４−１とが繋げられ、左肘関節候補３−２と左手首関節候補４−２とが繋げられ、左肘関節候補３−３と左手首関節候補４−３とが繋げられている。図中の数値（０．８，０．７，０．００６，０．７，０．９，０．０１，０．４２，０．４９５，０．００２）は、第２推定値である。

マッチング部３８は、マッチングされていない部位候補（関節候補）どうしがあるか否かを判断する（ステップＳ７）。マッチングされていない部位候補どうしはない。よって、マッチング部３８は、マッチングされていない部位候補どうしがないと判断し（ステップＳ７でＮｏ）、マッチングを完了する（ステップＳ１０）。図２９を参照して、マッチングによって、首関節候補１−１と左肩関節候補２−１と左肘関節候補３−１と左手首関節候補４−１とが１つに繋がれ（１つに繋げられた４つの関節候補）、首関節候補１−２と左肩関節候補２−２と左肘関節候補３−２と左手首関節候補４−２とが１つに繋がれ（１つに繋げられた４つの関節候補）、首関節候補１−３と左肩関節候補２−３と左肘関節候補３−３と左手首関節候補４−３とが１つに繋がれている（１つに繋げられた４つの関節候補）。１つに繋げられた４つの関節候補が３つできている。

制御処理部３１（記憶処理部）は、これらの１つに繋げられた４つの関節候補を分類する（ステップＳ１１）。詳しく説明すると、制御処理部３１は、１つに繋げられた４つの関節候補（首関節候補１−１、左肩関節候補２−１、左肘関節候補３−１、左手首関節候補４−１）を１つの人物が有する４つの関節候補、１つに繋げられた４つの関節候補（首関節候補１−２、左肩関節候補２−２、左肘関節候補３−２、左手首関節候補４−２）を１つの人物が有する４つの関節候補、１つに繋げられた４つの関節候補（首関節候補１−３、左肩関節候補２−３、左肘関節候補３−３、左手首関節候補４−３）を１つの人物が有する４つの関節候補に、それぞれ分類し、マッチング結果記憶部３２３に記憶させる。なお、制御処理部３１（記憶処理部）は、１つに繋げられた４つの関節候補において、第２推定値を合計し、合計した値が所定のしきい値以下の場合、人物と関連性がないと見なし、分類の対象から除外してもよい。図２９の場合、１つに繋げられた４つの関節候補（首関節候補１−３、左肩関節候補２−３、左肘関節候補３−３、左手首関節候補４−３）が分類の対象から除外される。

このように、制御処理部３１（記憶処理部）は、マッチングによって１つに繋げられた複数の部位候補を、１つの物体が有する複数の部位として、マッチング結果記憶部３２３（第２記憶部）に記憶させる処理を、複数の物体のそれぞれについて実行する。

マッチングによって１つに繋げられた４つの関節候補は、１人の人物が有する４つの関節（首関節、左肩関節、左肘関節、左手首関節）を示し、この人物の左腕の姿勢推定に用いることができる。実施形態によれば、画像１０に写された複数の人物のそれぞれについて、１つに繋げられた４つの関節候補をマッチング結果記憶部３２３に記憶する。従って、これらを、画像１０に写された複数の人物のそれぞれの左腕の姿勢推定に用いることができる。

図３０は、図１に示す画像認識装置１００のハードウェア構成を示すブロック図である。画像認識装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００ｃ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００ｄ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１００ｅ、液晶ディスプレイ１００ｆ、キーボード等１００ｇ、および、これらを接続するバス１００ｈを備える。

図１および図３０を参照して、液晶ディスプレイ１００ｆは、出力部５０を実現するハードウェアである。液晶ディスプレイ１００ｆの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。キーボード等１００ｇは、入力部４０を実現するハードウェアである。キーボードの替わりに、タッチパネルでもよい。

ＨＤＤ１００ｅは、記憶部３２を実現するハードウェアである。また、ＨＤＤ１００ｅには、制御処理部３１、部位候補検出部３３、部位関連度算出部３４、ペア生成部３５、第１推定値算出部３６、第１推定値修正部３７、マッチング部３８について、これらの機能ブロックをそれぞれ実現するためのプログラムが格納されている。これらのプログラムは、機能ブロックの定義を用いて表現される。部位候補検出部３３および部位候補検出プログラムを例にして説明する。部位候補検出部３３は、複数の部位（例えば、関節）を有する物体（例えば、人物）が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する。部位候補検出プログラムは、複数の部位（例えば、関節）を有する物体（例えば、人物）が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行するプログラムである。

これらのプログラムは、ＨＤＤ１００ｅに予め記憶されているが、これに限定されない。例えば、これらのプログラムを記録している記録媒体（例えば、磁気ディスク、光学ディスクのような外部記録媒体）が用意されており、この記録媒体に記憶されているプログラムがＨＤＤ１００ｅに記憶されてもよい。また、これらのプログラムは、画像認識装置１００とネットワーク接続されたサーバに格納されており、ネットワークを介して、これらのプログラムがＨＤＤ１００ｅに送られ、ＨＤＤ１００ｅに記憶されてもよい。これらのプログラムは、ＨＤＤ１００ｅの替わりにＲＯＭ１００ｄに記憶してもよい。画像認識装置１００は、ＨＤＤ１００ｅの替わりに、フラッシュメモリを備え、これらのプログラムはフラッシュメモリに記憶してもよい。

ＣＰＵ１００ａは、これらのプログラムを、ＨＤＤ１００ｅから読み出してＲＡＭ１００ｃに展開させ、展開されたプログラムを実行することによって、制御処理部３１、部位候補検出部３３、部位関連度算出部３４、ペア生成部３５、第１推定値算出部３６、第１推定値修正部３７、マッチング部３８が実現される。但し、これらの機能について、各機能の一部又は全部は、ＣＰＵ１００ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

ＣＰＵ１００ａによって実行されるこれらのプログラム（部位候補検出プログラム等）のフローチャートが、図２６のフローチャートである。

ＧＰＵ１００ｂは、例えば、ＣＰＵ１００ａの制御の下で、深層学習（例えば、ＣＮＮ）に必要な各種処理（例えば、画像処理）を実行する。

実施形態は、複数の人物のそれぞれの関節候補のマッチングを例にして説明したが、本発明は、これに限定されず、複数の人型ロボットのそれぞれの関節候補のマッチング、複数の動物のそれぞれの関節候補のマッチングに適用できる。また、関節候補のマッチングに限らず、複数の顔のそれぞれの認識において、顔のパーツ（目、鼻、口、耳）のマッチングにも適用することが可能である。

１，１−１〜１−３ 首関節候補
２，２−１〜２−３ 左肩関節候補
３，３−１〜３−３ 左肘関節候補
４，４−１〜４−３ 左手首関節候補
５，６ 人物
７ 机
８ 椅子
９ 左手の手袋
１０ 画像
１１ 合成画像
７０ ベクトル場の一部
１００ 画像認識装置

Claims (6)

1. 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出部と、
   マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成部と、
   複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出部と、
   既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正部と、
   複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチング部と、を備える画像認識装置。
2. 前記修正部は、前記第１推定値と前記第２推定値とを乗算した値を、修正した前記第１推定値にする、請求項１に記載の画像認識装置。
3. 複数の前記部位の繋がりの関係を示す繋がり情報を予め記憶する第１記憶部と、
   前記生成部は、前記第１記憶部に記憶されている前記繋がり情報を用いて、前記検出部によって検出された前記部位候補の中で、前記第１部位候補と前記第２部位候補との関係を有する２種類の前記部位候補を特定する、請求項１または２に記載の画像認識装置。
4. 第２記憶部と、
   前記マッチングによって１つに繋げられた複数の前記部位候補を、１つの前記物体が有する複数の前記部位として、前記第２記憶部に記憶させる処理を、複数の前記物体のそれぞれについて実行する記憶処理部と、をさらに備える請求項１〜３のいずれか一項に記載の画像認識装置。
5. 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、
   マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成ステップと、
   複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出ステップと、
   既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、
   複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチングステップと、を備える画像認識方法。
6. 複数の部位を有する物体が複数写された画像から、前記部位の候補となる部位候補を複数検出する処理を、複数の前記部位のそれぞれについて実行する検出ステップと、
   マッチングの対象となる前記部位候補の一方である第１部位候補と他方である第２部位候補とにおいて、複数の前記第１部位候補と複数の前記第２部位候補とを組み合わせて、前記第１部位候補と前記第２部位候補とのペアを複数生成する生成ステップと、
   複数の前記ペアのそれぞれについて、前記第１部位候補と前記第２部位候補とが繋がっている推定を示す値である第１推定値を算出する第１算出ステップと、
   既にマッチングされており、繋がっている推定を示す値が第２推定値である前記部位候補どうしの一方であって、前記第１部位候補および前記第２部位候補のいずれとも異なる前記部位候補が、前記第１部位候補または前記第２部位候補と繋がっている場合、前記第２推定値を重み付けとして、前記第１推定値を修正する処理を、複数の前記ペアのそれぞれについて実行する修正ステップと、
   複数の前記ペアのそれぞれの修正した前記第１推定値を基にして、複数の前記第１部位候補と複数の前記第２部位候補とをマッチングするマッチングステップと、をコンピュータに実行させる画像認識プログラム。

Images