JP2018147431A - 画像認識装置及び画像認識方法 - Google Patents

Abstract

【課題】畳み込みニューラルネットワークを用いる画像認識を改善する。
【解決手段】取得部（ＲＰＮ層５４）は、複数段のうち第１の所定の段（５段目）で生成された特徴マップＭである第１特徴マップを用いて、画像Ｉｍに写っている物体ＯＢを検出し、物体ＯＢの第１特徴マップ上での位置情報ＰＩを取得する。補正部５８は、第１の所定の段（５段目）よりも前にある第２の所定の段（３段目）で生成された特徴マップＭである第２特徴マップの解像度と対応するように、位置情報ＰＩを補正する。抽出部（ＲｏＩプーリング層５５）は、補正された位置情報ＰＩで示される位置にある関心領域Ｒを第２特徴マップに設定し、物体ＯＢに関する特徴を示す特徴情報ＦＩを関心領域Ｒから抽出する。推定部（全結合層５６）は、特徴情報ＦＩを用いて、物体ＯＢの予め定められた部位の位置を推定する。
【選択図】図２

Description

本発明は、深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）を用いて、画像認識をする技術に関する。

深層学習の一種として、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）がある。ＣＮＮは、主に画像認識（例えば、コンピュータービジョン）で利用されることが期待されている。

ＣＮＮを用いる画像認識の一例として、例えば、非特許文献１に開示された物体検出がある。これは、画像を背景と背景以外とに分け、背景以外の領域を物体候補領域として検出し、検出した物体候補領域を切り出し、切り出した物体候補領域が何であるかを識別している（例えば、人間、馬）。非特許文献１は、これら一連の処理に、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ）が用いられる場合、Ｆａｓｔ Ｒ−ＣＮＮが用いられる場合、Ｆａｓｔｅｒ Ｒ−ＣＮＮが用いられる場合について説明をし、Ｆａｓｔ Ｒ−ＣＮＮが、Ｒ−ＣＮＮよりも上記一連の処理を速くすることができ、Ｆａｓｔｅｒ Ｒ−ＣＮＮが、Ｆａｓｔ Ｒ−ＣＮＮよりも上記一連の処理を速くすることができることを説明している。

ＣＮＮを用いる画像認識の他の例として、例えば、非特許文献２に開示された人物の姿勢推定がある。これは、画像から切り出された人物領域に対して、ＣＮＮを適用することにより、その人物の関節の位置を推定し、関節の位置からその人物の姿勢を推定している。

福井宏、他３名、 ″Ｄｅｅｐ Ｌｅａｒｎｉｎｇ を用いた歩行者検出の研究動向″、［ｏｎｌｉｎｅ ］、電子情報通信学会、ｐ．７、［平成２９年１月３０日検索］、インターネット〈ＵＲＬ：http://www.vision.cs.chubu.ac.jp/MPRG/F_group/F182_fukui2016.pdf〉 ″ＤｅｅｐＰｏｓｅ：Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｖｉａ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ″、［ｏｎｌｉｎｅ ］、［平成２９年１月３０日検索］、インターネット〈ＵＲＬ：http://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Toshev_DeepPose_Human_Pose_2014_CVPR_paper.pdf〉

本発明者は、ＣＮＮを用いる画像認識で人物の姿勢推定をする場合に、Ｆａｓｔｅｒ Ｒ−ＣＮＮをそのまま適用すると、人物の姿勢推定の精度が低くなることを見出した。従って、ＣＮＮを用いる画像認識の更なる改善が求められる。

本発明の目的は、畳み込みニューラルネットワークを用いる画像認識を改善することができる画像認識装置及び画像認識方法を提供することである。

本発明の第１の局面に係る画像認識装置は、畳み込みニューラルネットワークを用いる画像認識装置であって、画像を複数段で処理し、最初の段から最後の段へ向かうに従って解像度が低くなる特徴マップを生成する生成部と、前記複数段のうち第１の所定の段で生成された前記特徴マップである第１特徴マップを用いて、前記画像に写っている物体を検出し、前記物体の前記第１特徴マップ上での位置情報を取得する取得部と、前記第１の所定の段よりも前にある第２の所定の段で生成された前記特徴マップである第２特徴マップの解像度と対応するように、前記位置情報を補正する補正部と、補正された前記位置情報で示される位置にある関心領域を前記第２特徴マップに設定し、前記物体に関する特徴を示す特徴情報を前記関心領域から抽出する抽出部と、前記特徴情報を用いて、前記物体の予め定められた部位の位置を推定する推定部と、を備える。

関心領域は、画像に写っている物体の範囲に相当するので、物体の特徴に関する特徴情報を含む。関心領域が設定される特徴マップは、位置情報の取得に用いられた第１特徴マップではなく、第１特徴マップよりも解像度が高い第２特徴マップである。取得部が取得した位置情報は、物体の第１特徴マップ上での位置情報なので、補正部は、第２特徴マップの解像度と対応するように、位置情報を補正する。

特徴マップは、解像度が低くなるに従って、位置に関する情報を失う。第２特徴マップは、第１特徴マップよりも、解像度が高いので、第２特徴マップは、第１特徴マップよりも、位置に関する情報を多く含む。従って、第２特徴マップに設定された関心領域から抽出された特徴情報は、第１特徴マップに設定された関心領域から抽出された特徴情報と比べて、位置に関する情報を多く含む。よって、第２特徴マップに設定された関心領域から抽出された特徴情報を用いれば、物体（例えば、人物）の予め定められた部位（例えば、関節）の位置を推定することができる。この推定は、いわゆる回帰分析である。

以上より、本発明の第１局面に係る画像認識装置によれば、畳み込みニューラルネットワークを用いて、物体の予め定められた部位の位置を推定することができるので、畳み込みニューラルネットワークを用いる画像認識を改善することができる。

上記構成において、前記取得部は、前記画像に写っている前記物体の範囲のサイズが予め定められた下限値よりも大きいとき、前記物体を検出し、前記画像認識装置は、前記関心領域のサイズの下限値を予め記憶しており、前記物体の範囲のサイズの下限値を、前記第２特徴マップの解像度に対応させた値が、前記関心領域のサイズの下限値よりも大きくなる解像度を有する前記特徴マップを、前記第２特徴マップとして選択する選択部を、さらに備える。

関心領域のサイズが小さすぎると、特徴情報には位置に関する情報が含まれなくなるので、位置に関する情報が特徴情報に含まれるように、関心領域のサイズの下限値が予め定められている。

最初の段から最後の段へ向かうに従って、特徴マップの解像度が低くなるので、画像に写っている物体の範囲（検出対象となる範囲）も、最初の段から最後の段へ向かうに従って小さくなる。上述したように、画像に写っている物体の範囲は、関心領域に相当する。よって、この範囲が関心領域のサイズの下限値より小さくなると、特徴情報には位置に関する情報が含まれなくなる。

そこで、選択部は、画像に写っている物体の範囲のサイズの下限値（例えば、６４画素×６４画素）を、第２特徴マップの解像度に対応させた値（例えば、８画素×８画素）が、関心領域のサイズの下限値（例えば、７画素×７画素）よりも大きくなる解像度を有する特徴マップを、第２特徴マップとして選択する。

上記構成において、前記選択部は、前記物体の範囲のサイズの下限値を、前記第２特徴マップの解像度に対応させた値が、前記関心領域のサイズの下限値よりも大きくなる解像度を有する前記特徴マップのうち、解像度が最も低い前記特徴マップを前記第２特徴マップとして選択する。

畳み込みニューラルネットワークでは、解像度が低い特徴マップを用いるほうが、物体の識別の精度を高めることができる。そこで、この構成によれば、選択可能な特徴マップ（例えば、１１２画素×１１２画素の特徴マップ、５６画素×５６画素の特徴マップ、２８画素×２８画素の特徴マップ）のうち、解像度が最も低い特徴マップ（２８画素×２８画素の特徴マップ）を第２特徴マップとして選択する。

上記構成において、前記第１の所定の段は、前記最後の段である。

複数段のうち、第１特徴マップが生成される段は、一般的には、最後の段である。

上記構成において、前記取得部は、前記画像に写っている人物と前記人物以外とにおいて、前記人物を前記物体として検出し、前記推定部は、前記人物の関節の位置を前記部位の位置として推定する。

この構成は、画像から検出された人物の関節の位置を推定するので、この人物の姿勢を推定することが可能となる。

本発明の第２の局面に係る画像認識方法は、畳み込みニューラルネットワークを用いる画像認識方法であって、画像を複数段で処理し、最初の段から最後の段へ向かうに従って解像度が低くなる特徴マップを生成する生成ステップと、前記複数段のうち第１の所定の段で生成された前記特徴マップである第１特徴マップを用いて、前記画像に写っている物体を検出し、前記物体の前記第１特徴マップ上での位置情報を取得する取得ステップと、前記第１の所定の段よりも前にある第２の所定の段で生成された前記特徴マップである第２特徴マップの解像度と対応するように、前記位置情報を補正する補正ステップと、補正された前記位置情報で示される位置にある関心領域を前記第２特徴マップに設定し、前記物体に関する特徴を示す特徴情報を前記関心領域から抽出する抽出ステップと、前記特徴情報を用いて、前記物体の予め定められた部位の位置を推定する推定ステップと、を備える。

本発明の第２の局面に係る画像認識方法は、本発明の第１の局面に係る画像認識装置を方法の観点から規定しており、本発明の第１の局面に係る画像認識装置と同様の作用効果を有する。

本発明によれば、畳み込みニューラルネットワークを用いる画像認識を改善することができる。

実施形態に係る画像認識システムを示す機能ブロック図である。 ＣＮＮ部の機能ブロック図である。 ＣＮＮ部に備えられる入力層に入力される画像の一例を説明する説明図である。 ＣＮＮ部において、畳み込み層とプーリング層とで処理された特徴マップを説明する説明図である。 物体の範囲を示す点線が付加された画像を説明する説明図である。 実施形態において、ＲＰＮ層での処理を説明する説明図である。 位置情報の補正を説明する説明図である。 実施形態において、ＲｏＩプーリング層での処理を説明する説明図である。 ＲｏＩプーリングにおいて、固定サイズの特徴マップを生成する処理を説明する説明図である。 Ｆａｓｔｅｒ Ｒ−ＣＮＮの一例を示す機能ブロック図である。 Ｆａｓｔｅｒ Ｒ−ＣＮＮに備えられる入力層に入力される画像の一例を説明する説明図である。 図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮにおいて、畳み込み層とプーリング層とで処理された特徴マップを説明する説明図である。 図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮにおいて、ＲＰＮ層での処理を説明する説明図である。 図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮにおいて、ＲｏＩプーリング層での処理を説明する説明図である。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、畳み込み層５２）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、畳み込み層５２−１）。

実施形態は、Ｆａｓｔｅｒ Ｒ−ＣＮＮの改良である。まず、Ｆａｓｔｅｒ Ｒ−ＣＮＮについて説明する。図１０は、Ｆａｓｔｅｒ Ｒ−ＣＮＮの一例を示す機能ブロック図である。Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００は、入力層５１と、畳み込み層５２と、プーリング層５３と、ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）層５４と、ＲｏＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）プーリング層５５と、全結合層５６と、出力層５７と、を備える。

入力層５１は、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００の外部から送られてきた画像Ｉｍを受け付け、画像Ｉｍを畳み込み層５２−１へ送る。図１１は、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００に備えられる入力層５１に入力される画像Ｉｍの一例を説明する説明図である。この画像Ｉｍには、２つの物体ＯＢ−１，ＯＢ−２が写っている。物体ＯＢ−１は、人物であり、物体ＯＢ−２は、犬とする。画像Ｉｍのサイズは、例えば、２２４画素×２２４画素とする。

図１０を参照して、畳み込み層５２とプーリング層５３との組は、５つとする。これらの組の数は、複数であれよく、５に限定されない。畳み込み層５２−１とプーリング層５３−１とで１段目の処理をする。畳み込み層５２−２とプーリング層５３−２とで２段目の処理をする。畳み込み層５２−３とプーリング層５３−３とで３段目の処理をする。畳み込み層５２−４とプーリング層５３−４とで４段目の処理をする。畳み込み層５２−５とプーリング層５３−５とで５段目の処理をする。

畳み込み層５２が用いるフィルタの数は、１０とする。畳み込み層５２が実行する畳み込みは、画像Ｉｍ及び特徴マップＭのサイズを変えないとする。フィルタの数は、複数であればよく、１０に限定されない。画像Ｉｍ及び特徴マップＭのサイズを小さくする畳み込みでもよい。畳み込み層５２−１は、画像Ｉｍに対して畳み込みをすることにより、特徴マップＭを生成する。畳み込み層５２−２〜５２−５は、プーリング処理がされた特徴マップＭに対して畳み込み処理をすることにより新たな特徴マップＭを生成する。

プーリングは、特徴マップＭの位置に対する感度を低くする処理であり、言い換えれば、特徴マップＭの解像度を低くする処理である。プーリング層５３が実行するプーリングは、最大プーリングとする。フィルタのサイズは、２×２とする。フィルタのストライドは、２とする。このプーリングにより、特徴マップＭの縦サイズ及び横サイズがそれぞれ半分になる。プーリングは、最大プーリングに限定されず、例えば、平均プーリングでもよい。フィルタのサイズ、及び、フィルタのストライドは、上記数に限定されない。

図１２は、図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮ１００において、畳み込み層５２とプーリング層５３とで処理された特徴マップＭを説明する説明図である。Ｃ層は、畳み込み層５２を意味し、Ｐ層は、プーリング層５３を意味する。図１０及び図１２を参照して、畳み込み層５２−１は、入力層５１から送られてきた画像Ｉｍに対して、畳み込み処理をする。これにより、１０個の特徴マップＭ−１〜Ｍ−１０が生成される。これらの特徴マップＭのサイズは、画像Ｉｍのサイズと同じであり、２２４画素×２２４画素である。プーリング層５３−１は、１０個の特徴マップＭ−１〜Ｍ−１０のそれぞれに対して、プーリングをする。これにより、１０個の特徴マップＭ−１１〜Ｍ−２０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−１〜Ｍ−１０のサイズより小さくなり、１１２画素×１１２画素である。

畳み込み層５２−２は、１０個の特徴マップＭ−１１〜Ｍ−２０のそれぞれに対して、畳み込み処理をする。これにより、１０個の特徴マップＭ−２１〜Ｍ−３０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−１１〜Ｍ−２０のサイズと同じであり、１１２画素×１１２画素である。プーリング層５３−２は、１０個の特徴マップＭ−２１〜Ｍ−３０のそれぞれに対して、プーリングをする。これにより、１０個の特徴マップＭ−３１〜Ｍ−４０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−２１〜Ｍ−３０のサイズより小さくなり、５６画素×５６画素である。

畳み込み層５２−３は、１０個の特徴マップＭ−３１〜Ｍ−４０のそれぞれに対して、畳み込み処理をする。これにより、１０個の特徴マップＭ−４１〜Ｍ−５０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−３１〜Ｍ−４０のサイズと同じであり、５６画素×５６画素である。プーリング層５３−３は、１０個の特徴マップＭ−４１〜Ｍ−５０のそれぞれに対して、プーリングをする。これにより、１０個の特徴マップＭ−５１〜Ｍ−６０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−４１〜Ｍ−５０のサイズより小さくなり、２８画素×２８画素である。

畳み込み層５２−４は、１０個の特徴マップＭ−５１〜Ｍ−６０のそれぞれに対して、畳み込み処理をする。これにより、１０個の特徴マップＭ−６１〜Ｍ−７０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−５１〜Ｍ−６０のサイズと同じであり、２８画素×２８画素である。プーリング層５３−４は、１０個の特徴マップＭ−６１〜Ｍ−７０のそれぞれに対して、プーリングをする。これにより、１０個の特徴マップＭ−７１〜Ｍ−８０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−６１〜Ｍ−７０のサイズより小さくなり、１４画素×１４画素である。

畳み込み層５２−５は、１０個の特徴マップＭ−７１〜Ｍ−８０のそれぞれに対して、畳み込み処理をする。これにより、１０個の特徴マップＭ−８１〜Ｍ−９０が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−７１〜Ｍ−８０のサイズと同じであり、１４画素×１４画素である。プーリング層５３−５は、１０個の特徴マップＭ−８１〜Ｍ−９０のそれぞれに対して、プーリングをする。これにより、１０個の特徴マップＭ−９１〜Ｍ−１００が生成される。これらの特徴マップＭのサイズは、特徴マップＭ−８１〜Ｍ−９０のサイズより小さくなり、７画素×７画素である。

図１０を参照して、プーリング層５３−５は、特徴マップＭ−９１〜Ｍ−１００を、ＲＰＮ層５４及びＲｏＩプーリング層５５へ送る。

図１３は、図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮ１００において、ＲＰＮ層５４での処理を説明する説明図である。ＲＰＮ層５４は、特徴マップＭ−９１〜Ｍ−１００の特徴をもとに、図１１に示す物体ＯＢ−１，ＯＢ−２を検出し、物体ＯＢ−１の位置情報ＰＩ−１、及び、物体ＯＢ−２の位置情報ＰＩ−２を取得する。

位置情報ＰＩ−１は、特徴マップＭ−９１〜Ｍ−１００のそれぞれに設定される関心領域Ｒ−１（図１４）の位置を示す情報である。関心領域Ｒ−１は、図１１に示す画像Ｉｍに写された物体ＯＢ−１を囲む範囲に相当する。位置情報ＰＩ−１は、例えば、座標Ｃ１＝（ｘ１、ｙ１）、座標Ｃ２＝（ｘ２、ｙ２）とする。関心領域Ｒ−１は、座標（ｘ１、ｙ１）、座標（ｘ１、ｙ２）、座標（ｘ２、ｙ１）、及び、座標（ｘ２、ｙ２）により規定される矩形の領域となる。

位置情報ＰＩ−２は、特徴マップＭ−９１〜Ｍ−１００のそれぞれに設定される関心領域Ｒ−２（図１４）の位置を示す情報である。関心領域Ｒ−２は、図１１に示す画像Ｉｍに写された物体ＯＢ−２を囲む範囲に相当する。位置情報ＰＩ−２は、例えば、座標Ｃ３＝（ｘ３、ｙ３）、座標Ｃ４＝（ｘ４、ｙ４）とする。関心領域Ｒ−２は、座標（ｘ３、ｙ３）、座標（ｘ３、ｙ４）、座標（ｘ４、ｙ３）、及び、座標（ｘ４、ｙ４）により規定される矩形の領域となる。

図１０を参照して、ＲＰＮ層５４は、位置情報ＰＩ−１，ＰＩ−２をＲｏＩプーリング層５５へ送る。図１４は、図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮ１００において、ＲｏＩプーリング層５５での処理を説明する説明図である。ＲｏＩプーリングは、関心領域Ｒを抽出し、これを固定サイズ（例えば、７画素×７画素）の特徴マップにする処理である。詳しくは、ＲｏＩプーリング層５５は、特徴マップＭ−９１〜Ｍ−１００のそれぞれに対して、位置情報ＰＩ−１（座標Ｃ１、座標Ｃ２）で示される位置にある関心領域Ｒ−１を設定し、位置情報ＰＩ−２（座標Ｃ３、座標Ｃ４）で示される位置にある関心領域Ｒ−２を設定する。ＲｏＩプーリング層５５は、関心領域Ｒ−１、関心領域Ｒ−２のそれぞれに対して、プーリングをすることにより、物体ＯＢ−１に関する特徴を示す特徴情報ＦＩ−１〜ＦＩ−１０、及び、物体ＯＢ−２に関する特徴を示す特徴情報ＦＩ−１１〜ＦＩ−２０を、特徴マップＭ−９１〜Ｍ−１００のそれぞれから抽出する。抽出されたこれらの特徴情報ＦＩは、特徴マップであり、プーリング処理により、全て同じサイズに整形される（ここでは、７画素×７画素）。

図１０を参照して、ＲｏＩプーリング層５５は、特徴情報ＦＩ−１〜ＦＩ−２０を全結合層５６へ送る。全結合層５６は、これらの特徴情報ＦＩを用いて、物体ＯＢが何であるかを識別する。ここでは、全結合層５６は、特徴情報ＦＩ−１〜ＦＩ−１０を用いて、物体ＯＢ−１を人物と識別し、特徴情報ＦＩ−１１〜ＦＩ−２０を用いて、物体ＯＢ−２を犬と識別する。全結合層５６は、物体ＯＢ−１が人物であることを示す識別結果ＣＲ−１、及び、物体ＯＢ−２が犬であることを示す識別結果ＣＲ−２を、出力層５７へ送る。出力層５７は、これらの識別結果ＣＲを、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００の外部へ出力し、ディスプレイ（不図示）に識別結果ＣＲが表示される。

以上がＦａｓｔｅｒ Ｒ−ＣＮＮ１００の説明である。

プーリングは、画像Ｉｍに写っている物体ＯＢの位置不変性を獲得するための処理である。これにより、物体ＯＢが移動しても同じ物体ＯＢとして認識することができる。プーリングが繰り返されることにより、位置に関する情報が徐々に失われる。従って、図１２を参照して、プーリングされた特徴マップＭのうち、位置に関する情報量が最も多いのは、特徴マップＭ−１１〜Ｍ−２０であり、次に多いのは、特徴マップＭ−３１〜Ｍ−４０であり、その次に多いのは、特徴マップＭ−５１〜Ｍ−６０であり、その次に多いのは、特徴マップＭ−７１〜Ｍ−８０であり、最も少ないのは、特徴マップＭ−９１〜Ｍ−１００である。

上述したように、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００は、識別問題を解決するＣＮＮである。図１０及び図１４を参照して、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００は、最後の段（５段目）で生成された特徴マップＭ−９１〜Ｍ−１００を用いて、ＲｏＩプーリングをする。特徴マップＭ−９１〜Ｍ−１００は、位置に関する情報が最も少ない。これは、識別問題の解決にとって好都合であるが、画像中の位置を回帰する位置回帰問題にとって不都合である。

位置回帰問題とは、画像Ｉｍから物体ＯＢを検出し、検出した物体ＯＢから物体ＯＢの一部の位置を推定する問題である。物体ＯＢの一部の位置とは、人物の姿勢推定の場合、その人物の関節の位置である。手の姿勢推定の場合、指関節の位置である。ロボットの姿勢推定の場合、ロボットを構成する関節の位置である。

このように、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００は、位置回帰問題の解決には向かないＣＮＮである。これに対して、実施形態は、位置回帰問題の解決に適用できるＣＮＮである。

図１は、実施形態に係る画像認識システム１を示す機能ブロック図である。画像認識システム１は、撮像部２と、画像認識装置３と、表示部４と、を備える。

撮像部２は、画像認識の対象となる人物の動画Ｖを撮像し、動画Ｖを画像認識装置３へ送信する。撮像部２は、例えば、デジタル式の可視光カメラ、デジタル式の赤外線カメラである。

画像認識装置３は、機能ブロックとして、ＣＮＮ部５と、画像生成部６と、を備える。画像認識装置３は、ハードウェア（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等）、及び、ソフトウェア等によって実現される。

ＣＮＮ部５は、動画Ｖのフレームを画像Ｉｍとし、画像Ｉｍに写された人物を検出し、検出した人物の各関節の位置を推定する。画像生成部６は、ＣＮＮ部５が推定した各関節の位置を示す画像（例えば、各関節の位置をもとにした棒人形の画像）を、動画Ｖに加える処理をし、その画像が加えられた動画Ｖを表示部４へ出力する。

表示部４は、文字画像が加えられた動画Ｖを表示する。表示部４は、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイである。

図２は、ＣＮＮ部５の機能ブロック図である。ＣＮＮ部５は、図１０に示すＦａｓｔｅｒ Ｒ−ＣＮＮ１０と同じく、入力層５１と、畳み込み層５２と、プーリング層５３と、ＲＰＮ層５４と、ＲｏＩプーリング層５５と、全結合層５６と、出力層５７と、を備える。ＣＮＮ部５は、さらに、補正部５８と、選択部５９と、を備える。

入力層５１には、図１に示す撮像部２が撮像した動画Ｖを構成するフレームが画像Ｉｍとして入力される。入力層５１は、画像Ｉｍを畳み込み層５２−１へ送る。図３は、ＣＮＮ部５に備えられる入力層５１に入力される画像Ｉｍの一例を説明する説明図である。この画像Ｉｍには、２つの物体ＯＢ−３，ＯＢ−４が写っている。物体ＯＢ−３は、走っている人物であり、物体ＯＢ−４は、歩いている人物とする。画像Ｉｍのサイズは、２２４画素×２２４画素とする。

図２を参照して、畳み込み層５２−１及びプーリング層５３−１の組と、畳み込み層５２−２及びプーリング層５３−２の組と、畳み込み層５２−３及びプーリング層５３−３の組と、畳み込み層５２−４及びプーリング層５３−４の組と、畳み込み層５２−５及びプーリング層５３−５の組とにより、生成部が構成される。生成部は、画像Ｉｍを複数段で処理し、最初の段から最後の段へ向かうに従って解像度が低くなる特徴マップＭを生成する。実施形態において、複数段は、１段目〜５段目であり、最初の段は、畳み込み層５２−１及びプーリング層５３−１の組により構成される１段目であり、最後の段は、畳み込み層５２−５及びプーリング層５３−５の組により構成される５段目である。なお、全ての段において、プーリング層５３が備えられていなくてもよい。例えば、１段目及び２段目において、プーリング層５３が備えられていなくてもよい。

図４は、ＣＮＮ部５において、畳み込み層５２とプーリング層５３とで処理された特徴マップＭを説明する説明図である。図４が図１２と相違する点は、画像Ｉｍに写っている物体ＯＢの範囲Ｓのサイズが示されていることである。図５は、範囲Ｓを示す点線が付加された画像Ｉｍを説明する説明図である。範囲Ｓは、物体ＯＢを囲む矩形形状を有する。範囲Ｓの形状は、矩形に限定されない。範囲Ｓ−１は、物体ＯＢ−３を囲んでいる。範囲Ｓ−１のサイズは、例えば、９６画素×９６画素とする。範囲Ｓ−２は、物体ＯＢ−４を囲んでいる。範囲Ｓ−２のサイズは、例えば、６４画素×６４画素とする。

図４を参照して、１段目（最初の段）から５段目（最後の段）へ向かうに従って、特徴マップＭの解像度が低くなるので、画像Ｉｍに写っている物体Ｏｂ−３の範囲Ｓ−１及び物体ＯＢ−４の範囲Ｓ−２も、１段目から５段目へ向かうに従って小さくなる。特徴マップＭの縦サイズと横サイズとが半分になれば、範囲Ｓの縦サイズと横サイズとが半分になる。

図６は、実施形態において、ＲＰＮ層５４での処理を説明する説明図である。ＲＰＮ層５４は、Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００で説明したように、特徴マップＭ−９１〜Ｍ−１００の特徴をもとに、物体ＯＢを検出し、検出した物体ＯＢの位置情報ＰＩを取得する。ここでは、ＲＰＮ層５４は、物体ＯＢ−３，ＯＢ−４を検出し、物体ＯＢ−３の位置情報ＰＩ−３、及び、物体ＯＢ−４の位置情報ＰＩ−４を取得する。

このように、ＲＰＮ層５４は、取得部の機能を有する。取得部は、複数段のうち第１の所定の段で生成された特徴マップＭである第１特徴マップを用いて、画像Ｉｍに写っている物体ＯＢを検出し、物体ＯＢの第１特徴マップ上での位置情報ＰＩを取得する。実施形態において、第１の所定の段は、５段目（最後の段）であり、第１特徴マップは、特徴マップＭ９１〜Ｍ１００である。

ＲＰＮ層５４は、画像Ｉｍに写っている物体ＯＢの範囲Ｓのサイズが予め定められた下限値よりも大きいとき、物体ＯＢを検出する。範囲Ｓの下限値は、例えば、６４画素×６４画素である。範囲Ｓの下限値は、ユーザによって画像認識装置３に入力される。

図２を参照して、選択部５９は、最終の段で得られた特徴マップＭ以外の段で得られた特徴マップＭの中から、任意の段で得られた特徴マップＭを第２特徴マップとして選択し、第２特徴マップをＲｏＩプーリング層５５へ送る。詳しく説明すると、第２特徴マップは、第１の所定の段（例えば、５段目）よりも前にある第２の所定の段（例えば、３段目）で生成された特徴マップＭである。選択部５９は、スイッチを切り替えることにより、１段目のプーリング層５３−１で得られた特徴マップＭ−１１〜Ｍ−２０、２段目のプーリング層５３−２で得られた特徴マップＭ−３１〜Ｍ−４０、３段目のプーリング層５３−３で得られた特徴マップＭ−５１〜Ｍ−６０、及び、４段目のプーリング層５３−４で得られた特徴マップＭ−７１〜Ｍ−８０の中から、ＲｏＩプーリング層５５へ送る特徴マップＭ（第２特徴マップ）を選択する。

ここでは、３段目のプーリング層５３−３で得られた特徴マップＭ−５１〜Ｍ−６０が第２特徴マップとして選択されている。この理由を、図４を参照して説明する。関心領域Ｒのサイズが小さすぎると、特徴情報ＦＩには位置に関する情報が含まれなくなるので、位置に関する情報が特徴情報ＦＩに含まれるように、関心領域Ｒのサイズの下限値が予め定められている（例えば、７画素×７画素）。１段目から５段目へ向かうに従って、特徴マップＭの解像度が低くなるので、画像Ｉｍに写っている物体ＯＢの範囲Ｓ（検出対象となる範囲）も、１段目から５段目へ向かうに従って小さくなる。画像Ｉｍに写っている物体ＯＢの範囲Ｓは、関心領域Ｒに相当する。よって、範囲Ｓが関心領域Ｒのサイズの下限値より小さくなると、特徴情報ＦＩには位置に関する情報が含まれなくなる。

そこで、選択部５９は、範囲Ｓのサイズの下限値（例えば、６４画素×６４画素）を予め記憶しており、画像Ｉｍに写っている物体ＯＢの範囲Ｓのサイズの下限値を、第２特徴マップの解像度に対応させた値（例えば、８画素×８画素）が、関心領域Ｒのサイズの下限値（例えば、７画素×７画素）よりも大きくなる解像度を有する特徴マップＭを、第２特徴マップとして選択する。ここでは、選択部５９が選択可能な特徴マップＭは、１１２画素×１１２画素の特徴マップＭ１１〜Ｍ２０、５６画素×５６画素の特徴マップＭ３１〜Ｍ４０、２８画素×２８画素の特徴マップＭ５１〜Ｍ６０である。

実施形態において、選択部５９は、範囲Ｓのサイズの下限値を、第２特徴マップの解像度に対応させた値が、関心領域Ｒのサイズの下限値よりも大きくなる解像度を有する特徴マップＭのうち、解像度が最も低い特徴マップＭ（２８画素×２８画素の特徴マップＭ５１〜Ｍ６０）を第２特徴マップとして選択する。畳み込みニューラルネットワークでは、解像度が低い特徴マップＭを用いるほうが、物体の認識の汎化性能を高めることができるからである。

図２を参照して、補正部５８は、ＲＰＮ層５４が生成した位置情報ＰＩ−３，ＰＩ−４を補正する。理由は、以下の通りである。図６を参照して、位置情報ＰＩ−３は、特徴マップＭ−９１〜Ｍ−１００のそれぞれに設定される関心領域Ｒ−３（図７）の位置を示す情報である。関心領域Ｒ−３は、画像Ｉｍに写っている物体ＯＢ−３を囲む範囲（すなわち、図５に示す範囲Ｓ−１）に相当する。位置情報ＰＩ−３は、例えば、座標Ｃ５＝（ｘ５、ｙ５）、及び、座標Ｃ６＝（ｘ６、ｙ６）とする。関心領域Ｒ−３は、座標（ｘ５、ｙ５）、座標（ｘ５、ｙ６）、座標（ｘ６、ｙ５）、及び、座標（ｘ６、ｙ６）により規定される矩形の領域となる。

位置情報ＰＩ−４は、特徴マップＭ−９１〜Ｍ−１００のそれぞれに設定される関心領域Ｒ−４（図７）の位置を示す情報である。関心領域Ｒ−４は、画像Ｉｍに写っている物体ＯＢ−４を囲む範囲（すなわち、図５に示す範囲Ｓ−２）に相当する。位置情報ＰＩ−４は、例えば、座標Ｃ７＝（ｘ７、ｙ７）、座標Ｃ８＝（ｘ８、ｙ８）とする。関心領域Ｒ−４は、座標（ｘ７、ｙ７）、座標（ｘ７、ｙ８）、座標（ｘ８、ｙ７）、及び、座標（ｘ８、ｙ８）により規定される矩形の領域となる。

Ｆａｓｔｅｒ Ｒ−ＣＮＮ１００では、特徴マップＭ−９１〜Ｍ−１００のそれぞれに関心領域Ｒを設定する。これに対して、実施形態では、特徴マップＭ−５１〜Ｍ−６０のそれぞれに関心領域Ｒを設定する。特徴マップＭ−５１〜Ｍ−６０は、特徴マップＭ−９１〜Ｍ−１００よりも解像度が高い（言い換えれば、サイズが大きい）。

そこで、図２に示す補正部５８は、特徴マップＭ−５１〜Ｍ−６０（第２特徴マップ）の解像度と対応するように、位置情報ＰＩを補正する。図７は、位置情報ＰＩの補正を説明する説明図である。図４で説明したように、特徴マップＭ−９１〜Ｍ−１００の解像度は、７画素×７画素である。特徴マップＭ−５１〜Ｍ−６０の解像度は、２８画素×２８画素である。補正部５８は、位置情報ＰＩで示される関心領域Ｒのサイズ（寸法）が４倍に拡大するように、位置情報ＰＩを補正する。

具体的に説明すると、図７を参照して、位置情報ＰＩ−３の場合、補正部５８は、座標Ｃ５を座標Ｃ９に補正し、座標Ｃ６を座標Ｃ１０に補正する。座標Ｃ９と座標Ｃ１０とで位置が特定される関心領域Ｒ−３は、座標Ｃ５と座標Ｃ６とで位置が特定される関心領域Ｒ−３を、この領域を中心にして、サイズ（寸法）が４倍拡大した領域である。

位置情報ＰＩ−４の場合、補正部５８は、座標Ｃ７を座標Ｃ１１に補正し、座標Ｃ８を座標Ｃ１２に補正する。座標Ｃ１１と座標Ｃ１２とで位置が特定される関心領域Ｒ−４は、座標Ｃ７と座標Ｃ８とで位置が特定される関心領域Ｒ−４を、この領域を中心にして、サイズ（寸法）が４倍拡大した領域である。

以上説明したように、補正部５８は、第１の所定の段（５段目）よりも前にある第２の所定の段（３段目）で生成された特徴マップＭである第２特徴マップの解像度と対応するように、位置情報ＰＩを補正する。

図２を参照して、補正部５８は、補正した位置情報ＰＩ−３，ＰＩ−４をＲｏＩプーリング層５５へ送る。ＲｏＩプーリング層５５は、抽出部として機能する。抽出部は、補正された位置情報ＰＩで示される位置にある関心領域Ｒを第２特徴マップに設定し、物体ＯＢに関する特徴を示す特徴情報ＦＩを関心領域Ｒから抽出する。

図８は、実施形態において、ＲｏＩプーリング層５５での処理を説明する説明図である。ＲｏＩプーリング層５５は、特徴マップＭ−５１〜Ｍ−６０のそれぞれに対して、補正された位置情報ＰＩ−３（座標Ｃ９、座標Ｃ１０）で示される位置にある関心領域Ｒ−３を設定し、補正された位置情報ＰＩ−４（座標Ｃ１１、座標Ｃ１２）で示される位置にある関心領域Ｒ−４を設定する。ＲｏＩプーリング層５５は、関心領域Ｒ−３、関心領域Ｒ−４のそれぞれに対して、プーリングをすることにより、物体ＯＢ−３に関する特徴を示す特徴情報ＦＩ−２１〜ＦＩ−３０、及び、物体ＯＢ−４に関する特徴を示す特徴情報ＦＩ−３１〜ＦＩ−４０を、特徴マップＭ−５１〜Ｍ−６０のそれぞれから抽出する。抽出されたこれらの特徴情報ＦＩは、特徴マップであり、プーリング処理により、全て同じサイズに整形される（ここでは、７画素×７画素）。

以上説明したＲｏＩプーリングについて、さらに詳しく説明する。上述したように、ＲｏＩプーリングは、関心領域Ｒを抽出し、これを固定サイズ（例えば、７画素×７画素）の特徴マップにする処理である。この特徴マップＭが特徴情報ＦＩとなる。関心領域Ｒのサイズに関わりなく、固定サイズにされる。例えば、関心領域Ｒのサイズが１２画素×１２画素でも、３画素×３画素でも、７画素×７画素の特徴マップにされる。例えば、関心領域Ｒのサイズが２１画素×２１画素であり、これを７画素×７画素の特徴マップ（特徴情報ＦＩ）にする場合、ＲｏＩプーリング層５５は、２１画素×２１画素の関心領域Ｒを７×７のグリッドに分割し、グリッドと重なる画素（９個の画素）が有する値の中で最大の値をそのグリッドの値とする処理を、各グリッドにおいて実行する。関心領域Ｒのサイズがグリッドのサイズで割り切れない場合も、同様の処理をする。これについて説明すると、図９は、ＲｏＩプーリングにおいて、固定サイズの特徴マップＭ（特徴情報ＦＩ）を生成する処理を説明する説明図である。固定サイズが、４画素×４画素とする。ＲｏＩプーリング層５５が抽出した関心領域Ｒのサイズが、５画素×５画素の場合と３画素×３画素の場合とを例にする。いずれの場合も、ＲｏＩプーリング層５５は、この関心領域Ｒを４×４のグリッドに分割し、グリッドと重なる画素が有する値の中で最大の値をそのグリッドの値とする処理を、各グリッドにおいて実行する。これにより、４画素×４画素の特徴マップＭが生成される。

図２を参照して、ＲｏＩプーリング層５５は、特徴情報ＦＩ−２１〜ＦＩ−４０を全結合層５６へ送る。全結合層５６は、特徴情報ＦＩ−２１〜ＦＩ−４０を回帰分析して、回帰結果ＲＲを生成する。詳しく説明すると、全結合層５６は、推定部として機能する。推定部は、特徴情報ＦＩを用いて、物体ＯＢの予め定められた部位の位置を推定する。ここでは、全結合層５６は、特徴情報ＦＩ−２１〜ＦＩ−３０を回帰分析して、物体ＯＢ−３の所定の関節の位置を推定し、特徴情報ＦＩ−３１〜ＦＩ−４０を回帰分析して、物体ＯＢ−４の所定の関節の位置を推定する。所定の関節は、例えば、左肩関節、左肘関節、左手首関節、左股関節、左膝関節、左足首関節、右肩関節、右肘関節、右手首関節、右股関節、右膝関節、右足首関節である。回帰分析には、一般的な回帰分析のアルゴリズム（例えば、線形モデル）を用いることもできる。

全結合層５６は、推定した関節の位置を示す回帰結果ＲＲ−１，ＲＲ−２を、出力層５７へ送る。出力層５７は、回帰結果ＲＲ−１，ＲＲ−２を、図１に示す画像生成部６へ送る。

画像生成部６は、画像Ｉｍ（図３）、及び、回帰結果ＲＲ−１，ＲＲ−２を用いて、出力画像（不図示）を生成する。出力画像は、例えば、物体ＯＢ−３の所定の関節の位置を示す画像、及び、物体ＯＢ−４の所定の関節の位置を示す画像を、画像Ｉｍに付加した画像である。所定の関節の位置を示す画像は、例えば、所定の関節の位置をもとにした棒人形の画像である。画像生成部６で生成された出力画像は、表示部４（図１）に表示される。

実施形態の主な効果を説明する。図２及び図４を参照して、特徴マップＭは、解像度が低くなるに従って、位置に関する情報を失う。第２特徴マップ（特徴マップＭ−５１〜Ｍ−６０）は、第１特徴マップ（特徴マップＭ−９１〜Ｍ−１００）よりも、解像度が高いので、第２特徴マップは、第１特徴マップよりも、位置に関する情報を多く含む。従って、第２特徴マップに設定された関心領域Ｒから抽出された特徴情報ＦＩは、第１特徴マップに設定された関心領域Ｒから抽出された特徴情報ＦＩと比べて、位置に関する情報を多く含む。よって、第２特徴マップに設定された関心領域Ｒから抽出された特徴情報ＦＩを用いれば、人物の姿勢推定に必要な所定の関節の位置を推定することができる。

以上より、実施形態によれば、畳み込みニューラルネットワークを用いて、人物の姿勢を推定することができるので、畳み込みニューラルネットワークを用いる画像認識を改善することができる。

実施形態では、図３に示す画像Ｉｍに、二人の人物（物体ＯＢ−３，ＯＢ−４）が写っているので、二人の人物が検出され、それぞれの姿勢が推定されている。画像Ｉｍに、一人の人物が写っている場合、その人物が検出され、その人物の姿勢が推定され、画像Ｉｍに、複数の人物が写っている場合、それらの人物が検出され、それぞれの姿勢が推定される。

実施形態は、人物の所定の関節の位置を推定し、関節の位置から人物の姿勢を推定している。実施形態は、これに限らず、例えば、手の姿勢推定、ロボットの姿勢推定、ドアミラーの姿勢推定に適用することができる。手の姿勢推定の場合、指関節の位置が推定され、これを基にして、手の姿勢が推定される。ロボットの姿勢推定の場合、ロボットを構成する関節の位置が推定され、これを基にして、ロボットの姿勢が推定される。

１ 画像認識システム
１００ Ｆａｓｔｅｒ Ｒ−ＣＮＮ
ＣＲ，ＣＲ−１，ＣＲ−２ 識別結果
ＦＩ，ＦＩ−１〜ＦＩ−２０ 特徴情報
Ｍ，Ｍ１〜Ｍ１００ 特徴マップ
ＯＢ，ＯＢ−１〜ＯＢ−４ 物体
ＰＩ，ＰＩ−１〜ＰＩ−４ 位置情報
Ｒ，Ｒ−１〜Ｒ−４ 関心領域
ＲＲ，ＲＲ−１，ＲＲ−２ 回帰結果
Ｓ，Ｓ−１，Ｓ−２ 範囲
Ｖ 動画

Claims (6)

1. 畳み込みニューラルネットワークを用いる画像認識装置であって、
   画像を複数段で処理し、最初の段から最後の段へ向かうに従って解像度が低くなる特徴マップを生成する生成部と、
   前記複数段のうち第１の所定の段で生成された前記特徴マップである第１特徴マップを用いて、前記画像に写っている物体を検出し、前記物体の前記第１特徴マップ上での位置情報を取得する取得部と、
   前記第１の所定の段よりも前にある第２の所定の段で生成された前記特徴マップである第２特徴マップの解像度と対応するように、前記位置情報を補正する補正部と、
   補正された前記位置情報で示される位置にある関心領域を前記第２特徴マップに設定し、前記物体に関する特徴を示す特徴情報を前記関心領域から抽出する抽出部と、
   前記特徴情報を用いて、前記物体の予め定められた部位の位置を推定する推定部と、を備える画像認識装置。
2. 前記取得部は、前記画像に写っている前記物体の範囲のサイズが予め定められた下限値よりも大きいとき、前記物体を検出し、
   前記画像認識装置は、前記関心領域のサイズの下限値を予め記憶しており、前記物体の範囲のサイズの下限値を、前記第２特徴マップの解像度に対応させた値が、前記関心領域のサイズの下限値よりも大きくなる解像度を有する前記特徴マップを、前記第２特徴マップとして選択する選択部を、さらに備える、請求項１に記載の画像認識装置。
3. 前記選択部は、前記物体の範囲のサイズの下限値を、前記第２特徴マップの解像度に対応させた値が、前記関心領域のサイズの下限値よりも大きくなる解像度を有する前記特徴マップのうち、解像度が最も低い前記特徴マップを前記第２特徴マップとして選択する、請求項２に記載の画像認識装置。
4. 前記第１の所定の段は、前記最後の段である、請求項１〜３のいずれか一項に記載の画像認識装置。
5. 前記取得部は、前記画像に写っている人物と前記人物以外とにおいて、前記人物を前記物体として検出し、
   前記推定部は、前記人物の関節の位置を前記部位の位置として推定する、請求項１〜４のいずれか一項に記載の画像認識装置。
6. 畳み込みニューラルネットワークを用いる画像認識方法であって、
   画像を複数段で処理し、最初の段から最後の段へ向かうに従って解像度が低くなる特徴マップを生成する生成ステップと、
   前記複数段のうち第１の所定の段で生成された前記特徴マップである第１特徴マップを用いて、前記画像に写っている物体を検出し、前記物体の前記第１特徴マップ上での位置情報を取得する取得ステップと、
   前記第１の所定の段よりも前にある第２の所定の段で生成された前記特徴マップである第２特徴マップの解像度と対応するように、前記位置情報を補正する補正ステップと、
   補正された前記位置情報で示される位置にある関心領域を前記第２特徴マップに設定し、前記物体に関する特徴を示す特徴情報を前記関心領域から抽出する抽出ステップと、
   前記特徴情報を用いて、前記物体の予め定められた部位の位置を推定する推定ステップと、を備える画像認識方法。

Images