JP2019159787A - 人物検出方法および人物検出プログラム - Google Patents

Abstract

【課題】検出感度を維持しつつ誤検出の抑制が可能な人物検出方法を提供する。【解決手段】人物検出方法は、全方位画像から候補領域を検出しＳ２０２、候補領域の、全方位画像における極座標の角度を算出しＳ２０３、候補領域から、尤度を算出するとともに、全方位画像における候補領域の極座標の角度を推定しＳ２０４、算出された極座標の角度と、推定された極座標の角度と、に基づいて尤度の信頼度を算出しＳ２０５、信頼度に基づいて尤度を修正し、修正された尤度に基づいて、候補領域の画像が人物かどうかを判定しＳ２０６〜Ｓ２０９、判定された判定結果を出力するＳ２１０。【選択図】図１６

Description

本発明は、人物検出方法および人物検出プログラムに関する。

近年、ディープラーニング（深層学習）による画像認識の技術開発が精力的に進められている。ディープラーニングは、ニューラルネットワークと称される人間の脳の神経細胞のつながりをモデル化したアルゴリズムにより実現される。

魚眼レンズカメラのような広角レンズのカメラで撮影された全方位画像においては、レンズの歪み特性により、同じ人物であっても、画像上の位置（画像の中心からの距離および角度）に応じて、画像内の人物の見え方が変化するという特徴をもつ。

全方位画像等の撮影画像から人物を検出する技術としては、下記特許文献１および非特許文献１に開示されたものがある。

下記特許文献１では、魚眼レンズカメラによる全方位画像において動き領域を検出し、動き領域の画像を透視投影変換し、変換後の画像を、全方位画像の中心からの距離に応じた大きさの人物パターンを用いてスキャンすることで人物を検出する技術が開示されている。

下記非特許文献１では、撮影画像から、ニューラルネットワークの第１ネットワークで候補オブジェクトを特定し、第２ネットワークで候補オブジェクトのカテゴリおよび信頼度スコアを算出して画像上に表示する技術が開示されている。

特開２０１０−１９９７１３号公報 Ｓｈａｏｑｉｎｇ Ｒｅｎ， Ｋａｉｍｉｎｇ Ｈｅ， Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ， Ｊｉａｎ Ｓｕｎ、 "Ｆａｓｔｅｒ Ｒ−ＣＮＮ： Ｔｏｗａｒｄｓ Ｒｅａｌ−Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ"、 ａｒＸｉｖ：１５０６． ０１４９７ｖ３、 ２０１６

しかし、特許文献１の技術は、全方位画像上の人物の位置に応じた人物の見え方の変化に対応した人物検出をしていない。このため、ノイズ等による人物の誤検出は起こりにくいが、検出漏れが発生する可能性がある。

また、非特許文献１の技術は、特徴量を用いた高感度の人物検出が可能であるが、画像上の人物の位置に依存しない検出を行う。このため、全方位画像上に人物と類似する特徴を備えたノイズがあれば、そのノイズを人物として誤検出する可能性がある。

本発明は、このような問題を解決するためになされたものである。すなわち、全方位画像からの人物検出において、検出感度を維持しつつ誤検出の抑制が可能な、人物検出方法および人物検出プログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）コンピューターに、全方位画像から人物を検出する処理を実行させる方法であって、前記全方位画像から人物の候補の画像を含む候補領域を検出する段階（ａ）と、検出された前記候補領域の、前記全方位画像における極座標の角度を算出する段階（ｂ）と、検出された前記候補領域から、人らしさを示す尤度を算出するとともに、前記全方位画像における前記候補領域の極座標の角度を推定する段階（ｃ）と、算出された前記極座標の角度と、推定された前記極座標の角度と、に基づいて、前記尤度の信頼度を算出する段階（ｄ）と、算出された前記信頼度に基づいて前記尤度を修正し、修正された前記尤度に基づいて、前記候補領域の画像が人物かどうかを判定する段階（ｅ）と、判定された判定結果を出力する段階（ｆ）と、をコンピューターに実行させる人物検出方法。

（２）前記段階（ａ）および（ｃ）は、深層学習により学習されたニューラルネットワークにより実行される、上記（１）に記載の人物検出方法。

（３）前記段階（ｃ）は、人物の画像を入力データとし、尤度および前記全方位画像における前記人物の画像の極座標の角度を出力データとする教師データを用いて深層学習されたニューラルネットワークにより、前記候補領域に基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、上記（２）に記載の人物検出方法。

（４）前記全方位画像は、前記候補領域の極座標に応じて、前記全方位画像における前記候補領域の人物の見え方が異なる、上記（１）〜（３）のいずれかに記載の人物検出方法。

（５）前記候補領域は矩形の領域である、上記（１）〜（４）のいずれかに記載の人物検出方法。

（６）前記段階（ｃ）は、前記候補領域のみに基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、上記（１）〜（５）のいずれかに記載の人物検出方法。

（７）前記段階（ｂ）は、前記候補領域の、前記全方位画像における極座標の距離をさらに算出し、前記段階（ｃ）は、前記候補領域から、前記全方位画像における前記候補領域の極座標の距離をさらに推定し、前記段階（ｄ）は、算出された前記極座標の角度および距離と、推定された前記極座標の角度および距離と、に基づいて、前記尤度の信頼度を算出する、上記（１）〜（６）のいずれかに記載の人物検出方法。

（８）前記段階（ｆ）は、前記判定結果を、前記コンピューターに接続された表示装置または処理装置へ出力する、上記（１）〜（７）のいずれかに記載の人物推定方法。

（９）コンピューターに、全方位画像から人物を検出する処理を実行させるプログラムであって、前記全方位画像から人物の候補の画像を含む候補領域を検出する手順（ａ）と、検出された前記候補領域の、前記全方位画像における極座標の角度を算出する手順（ｂ）と、検出された前記候補領域から、人らしさを示す尤度を算出するとともに、前記全方位画像における前記候補領域の極座標の角度を推定する手順（ｃ）と、算出された前記極座標の角度と、推定された前記極座標の角度と、に基づいて、前記尤度の信頼度を算出する手順（ｄ）と、算出された前記信頼度に基づいて前記尤度を修正し、修正された前記尤度に基づいて、前記候補領域の画像が人物かどうかを判定する手順（ｅ）と、判定された判定結果を出力する手順（ｆ）と、をコンピューターに実行させるための人物検出プログラム。

（１０）前記手順（ａ）および（ｃ）は、深層学習により学習されたニューラルネットワークにより実行される、上記（９）に記載の人物検出プログラム。

（１１）前記手順（ｃ）は、人物の画像を入力データとし、尤度および前記全方位画像における前記人物の画像の極座標の角度を出力データとする教師データを用いて深層学習されたニューラルネットワークにより、前記候補領域に基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、上記（１０）に記載の人物検出プログラム。

（１２）前記全方位画像は、前記候補領域の極座標に応じて、前記全方位画像における前記候補領域の人物の見え方が異なる、上記（９）〜（１１）のいずれかに記載の人物検出プログラム。

（１３）前記候補領域は矩形の領域である、上記（９）〜（１２）のいずれかに記載の人物検出プログラム。

（１４）前記手順（ｃ）は、前記候補領域のみに基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、上記（９）〜（１３）のいずれかに記載の人物検出プログラム。

（１５）前記手順（ｂ）は、前記候補領域の、前記全方位画像における極座標の距離をさらに算出し、前記手順（ｃ）は、前記候補領域から、前記全方位画像における前記候補領域の極座標の距離をさらに推定し、前記手順（ｄ）は、算出された前記極座標の角度および距離と、推定された前記極座標の角度および距離と、に基づいて、前記尤度の信頼度を算出する、上記（９）〜（１４）のいずれかに記載の人物検出プログラム。

（１６）前記手順（ｆ）は、前記判定結果を、前記コンピューターに接続された表示装置または処理装置へ出力する、上記（９）〜（１５）のいずれかに記載の人物推定プログラム。

人物検出システムの構成を示すブロック図である。 魚眼レンズカメラにより撮影された全方位画像の模式図である。 魚眼レンズカメラにより撮影された人物の画像を、魚眼レンズカメラから立位の姿勢の人物の位置までの距離ごとに示す模式図である。 人物検出システムの制御部の機能について説明するためのブロック図である。 全方位画像における候補矩形の極座標について説明するための説明図である。 全方位画像上の候補矩形の極座標と、候補矩形の見え方に基づき推定される極座標とを比較して示す説明図である。 特徴計算部の深層学習について説明するための説明図である。 全方位画像に基づく人物検出の際の、深層学習された特徴計算部による尤度の算出および極座標の推定、信頼度計算部による信頼度の算出、ならびに判定部による尤度の修正について説明するための説明図である。 比較例として、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮにおける深層学習について説明するための説明図である。 比較例として、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮによる人物検出について説明するための説明図である。 代表的な人物検出システムの用途の例を示す図である。 人物検出システムの、店舗内の領域ごとに客数を計測する用途の例を示す図である。 人物検出システムの、店舗内の領域ごとに客数を計測する用途の他の例を示す図である。 人物検出システムの、道路の通行人の情報を得る用途の例を示す図である。 人物検出システムの人物検出のための深層学習の動作を示すフローチャートである。 人物検出システムの人物検出の動作を示すフローチャートである。 人物の判定結果として表示された画像を示す説明図である。

以下、図面を参照して、本発明の実施形態に係る、人物検出方法および人物検出プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、人物検出システムの構成を示すブロック図である。人物検出システム１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有し、これらは信号をやりとりするためのバス１６０を介して相互に接続される。人物検出システム１００は、コンピューターにより構成され得る。

人物検出システム１００は、上記構成要素以外の構成要素を含んでもよく、上記構成要素のうちの一部が含まれなくてもよい。たとえば、人物検出システム１００に全方位画像を撮影するための、広角レンズを備える全方位カメラが含まれてもよい。

人物検出システム１００は、全方位画像から人物を検出するシステムである。全方位画像とは、たとえば魚眼レンズカメラのような、周囲３６０度の撮影が可能な、広角レンズを備える全方位カメラで撮影された画像である。なお、全方位画像には、比較的広い視野角のカメラで撮影された画像が広く含まれ、１８０度程度の視野角のカメラから３６０度に近い視野角のカメラにより撮影された画像であってもよい。全方位画像には、動画および静止画が含まれる。

図２は、魚眼レンズカメラにより撮影された全方位画像の模式図である。図３は、魚眼レンズカメラにより撮影された人物の画像を、魚眼レンズカメラから立位の姿勢の人物の位置までの距離ごとに示す模式図である。

図２に示す全方位画像２００には、魚眼レンズカメラの直下の立位の姿勢の人物２０１、および魚眼レンズカメラから遠い位置の立位の姿勢の人物２０２が含まれている。

図３に示すように、全方位画像２００においては、魚眼レンズカメラから人物までの距離によって人物の見え方が異なる。すなわち、魚眼レンズカメラの直下にいる人物は、図３の右図に示すように、頭部および頭部の両端からはみ出した肩のみの画像となる。この場合、図２に示す人物２０１のように、魚眼レンズカメラに最も近い位置にこの人物がいるため、人物の画像の大きさが比較的大きくなる。魚眼レンズカメラから遠い位置にいる人物は、図３の左図および図２に示す人物２０２のように、下半身が伸びる方向が全方位画像２００の中央に向いた全身の画像となる。この場合、魚眼レンズカメラから遠い位置にこの人物がいるため、人物の画像の大きさが比較的小さくなる。人物の、魚眼レンズカメラからの距離が、図２における人物２０１と人物２０２の中間である場合、その人物は、図３の中央の図に示すように、頭部に対する胴体の割合が人物２０１の画像より大きくなる一方で、頭部から下半身に向かうにしたがい縮小されたような画像となる。

このように、全方位画像２００では、レンズの歪み特性のために、同じ人物であってもカメラからの距離（すなわち、全方位画像２００の画像中心からの距離）および角度によって見え方が異なる。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含み、プログラムにしたがって、上記各部の制御および各種の演算処理を行う。

記憶部１２０は、あらかじめ各種プログラムや各種データを格納しておくＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、作業領域として一時的にプログラムやデータを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、各種プログラムや各種データを記憶するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等からなる。

表示部１３０は、たとえば液晶ディスプレイであり、各種の情報を表示する。

入力部１４０は、マウス等のポインティングデバイスやキーボードを含み、各種の入力を受け付ける。

通信部１５０は、他の機器と通信するためのインターフェースであり、イーサネット（登録商標）、ＳＡＴＡ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられる。また、通信部１０３として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどが用いられ得る。

制御部１１０の機能についてさらに説明する。

図４は、制御部の機能について説明するためのブロック図である。制御部１１０は、画像取得部１１１、検出部１１２、特徴計算部１１３、信頼度計算部１１４、判定部１１５、および出力部１１６を構成する。検出部１１２および特徴計算部１１３は、深層学習により学習されるニューラルネットワークにより構成され得る。

画像取得部１１１は、入力画像である全方位画像を、たとえば通信部１５０により全方位カメラから受信することで取得する。

検出部１１２は、全方位画像から、人物検出システム１００による検出対象である人物の候補の画像が含まれる候補領域を検出する。候補領域は、たとえば矩形の領域であり得る。なお、１つの全方位画像において検出される候補領域の形状は矩形に限らず、また大きさも物体の大きさに応じて変更され得る。以下、候補領域を候補矩形とも称する。検出部１１２は、前景と背景を区別可能な技術により候補矩形を検出し得る。たとえば、検出部１１２はＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）により候補矩形を検出し得る。すなわち、ニューラルネットワークによる畳み込み処理により特徴マップを生成し、特徴マップ上に設定されたグリッドポイントのうち、物体としての特徴を有するポイントを特定し、特定されたポイントに対応する全方位画像上の領域を候補矩形として検出し得る。なお、候補矩形は、ニューラルネットワークによらず、背景差分法や時間差分法により検出されてもよい。

特徴計算部１１３は、候補矩形のそれぞれから、人らしさを示す尤度（以下、単に「尤度」と称する）を算出するとともに、全方位画像における候補矩形の極座標を推定する。候補矩形の極座標は、全方位画像の中心からの距離ｒと、全方位画像における所定の方向に対する角度θとにより定義される。所定の方向は全方位画像における任意の方向とし得る。候補矩形の極座標は、候補矩形の重心の極座標とし得る。

図５は、全方位画像における候補矩形の極座標について説明するための説明図である。なお、図５においては、候補矩形の境界線である矩形は省略している。

図５において、黒丸の点は全方位画像の中心（全方位レンズカメラのレンズの中心に対応する）である。白丸の点は候補矩形の重心である。図５の例においては、全方位画像上の候補矩形の座標は、候補矩形の重心の座標（ｒ，θ）として定義されている。

特徴計算部１１３は、後述するように、候補矩形を入力データとし、候補矩形の尤度、および全方位画像上の候補矩形の極座標を出力データとする教師データにより深層学習されたニューラルネットワークにより構成される。これにより、特徴計算部１１３は、候補矩形に基づいて、尤度を算出するとともに、全方位画像上の当該候補矩形の極座標を推定する。

図６は、全方位画像上の候補矩形の極座標と、候補矩形の見え方に基づき推定される極座標とを比較して示す説明図である。なお、図６においては、説明を簡単にするために、全方位画像中の人物は同じ人物として図示している。候補矩形の境界線である矩形は省略している。

図６に示す全方位画像においては、魚眼レンズカメラに最も近い位置にいる人物２００ａの候補矩形、および魚眼レンズカメラに最も遠い位置にいる人物２００ｂの候補矩形が含まれている。人物２００ａの候補矩形の極座標は（ｒ_ａ，θ_ａ）であり、人物２００ｂの候補矩形の極座標は（ｒ_ｂ，θ_ｂ）である。図６においては、人物２００ａの候補矩形、および人物２００ｂの候補矩形について、それぞれの全方位画像上の極座標に対応する位置にこれらの人物がいた場合に、魚眼レンズカメラにより撮影される見え方（頭部と胴体との大きさの比、候補矩形の大きさ、下半身が伸びる方向等の特徴）が正しく図示されている。

一方、画像２００ｃは人物の特徴をもっているように見えるが、極座標の距離ｒが人物２００ｂの極座標の距離ｒ_ｂと同じｒ_ｂであるにもかかわらず大きさが大きく異なっている。また、極座標の角度θが人物２００ａの極座標の角度θ_ａと異なるにもかかわらず、見え方が同じである。すなわち、画像２００ｃは、全方位画像上の候補矩形の極座標が（ｒ_ｂ，θ_ｃ）である一方、候補矩形の見え方に基づき推定される極座標は（ｒ_ａ，θ_ａ）であり、両者は矛盾する。このことから、画像２００ｃは、全方位画像上の極座標に対応する位置にいる人物が、全方位画像において当然に有するであろう見え方と異なる見え方をしているため、画像２００ｃは人物ではない可能性が高い。よって、全方位画像上の候補矩形の極座標と、候補矩形の見え方に基づき推定される極座標とで矛盾があるかどうかにより、候補矩形が人物かどうかを判断できる。

候補矩形の見え方に基づき推定される極座標は次のように生成される。すなわち、特徴計算部１１３をニューラルネットワークにより構成し、入力データである候補矩形と、正解ラベル（出力データ）である、全方位画像上の当該候補矩形の極座標と、を教師データとして深層学習させる。学習後の特徴計算部１１３に候補矩形が入力させることで、候補矩形から、全方位画像上の当該候補矩形の極座標が推定され、出力される。推定された、全方位画像上の候補矩形の極座標は、候補矩形のみから推定されるため、候補矩形の見え方を反映する。

なお、特徴計算部１１３は、Ｆａｓｔｅｒ Ｒ−ＣＮＮと同様に、入力データである候補矩形と、正解ラベルである尤度と、を教師データとする深層学習も併せて実行する。すなわち、特徴計算部１１３は、入力データである候補矩形と、正解ラベルである、当該候補矩形の尤度、および全方位画像上の当該候補矩形の極座標と、を教師データとして深層学習されたニューラルネットワークにより構成される。そして、特徴計算部１１３は、候補矩形に基づいて、尤度を算出するとともに、全方位画像上の当該候補矩形の極座標を推定し、出力する。

信頼度計算部１１４は、特徴計算部１１３により出力された、候補矩形に基づいて推定された極座標（以下、単に「推定された極座標」と称する）と、全方位画像における当該候補矩形の極座標と、に基づいて、尤度に対する信頼度を算出する。信頼度を算出するために、信頼度計算部１１４は、全方位画像から、当該全方位画像に含まれる候補矩形の極座標を算出する。以下、信頼度計算部１１４により算出された極座標を、単に「算出された極座標」と称する。

信頼度は、下記式（１）により算出される。
Ｒ＝１／（１＋ａ・Δｒ＋ｂ・Δθ） ・・・（１）
ここで、Ｒは信頼度であり、０以上１以下の値をもつ。Δｒは、算出された極座標の距離ｒ_１と、推定された極座標の距離ｒ_２との差の絶対値［ｍ］である。Δθは、算出された極座標の角度θ_１、と推定された極座標の角度θ_２との差の絶対値［ｒａｄ］である。ａ，ｂは重み付け定数であり、Ｒが０以上１以下となるように、かつ人物検出システム１００による人物検出における誤検出が適切に抑制されるように、実験等により適切な値に設定される。

判定部１１５は、信頼度計算部１１４により算出された信頼度に基づいて尤度を修正する。尤度は、尤度に信頼度を乗じることで修正される。判定部１１５は、修正された尤度に基づいて、検出部１１２により検出された候補領域の画像が人物かどうかを判定する。具体的には、判定部１１５は、修正された尤度が所定の閾値以上の場合は、候補矩形の画像が人物であると判定し、所定の閾値未満の場合は、候補矩形の画像が人物ではないと判定する。所定の閾値は、人物検出システム１００による人物検出における誤検出の抑制の観点から実験等により適切な値に設定され得る。

出力部１１６は、判定部１１５による判定結果を出力する。出力部１１６は、人物と判定された候補矩形が太線の矩形で囲まれることなどにより、検出された人物が特定された全方位画像を表示部１３０に表示することにより、判定結果として出力し得る。判定結果は、通信部１５０により接続された、図示しない表示装置へ送信されて表示されてもよい。判定結果は、通信部１５０により接続された、図示しない処理装置へ送信されて、処理または利用されてもよい。

図７は、特徴計算部の深層学習について説明するための説明図である。

特徴計算部１１３は、入力データである候補矩形と、正解ラベルである、尤度、および全方位画像上の候補矩形の極座標と、を教師データとして深層学習される。深層学習のために特徴計算部１１３に入力される候補矩形は、画像取得部１１１および検出部１１２により生成し得る。この際、画像取得部１１１には、教師データとして用いる候補矩形が含まれる全方位画像が入力画像として入力される。検出部１１２により、全方位画像から検出された候補矩形が、教師データの入力データとして、深層学習のために特徴計算部１１３に入力される。

なお、教師データの入力データとして用いる候補矩形は、全方位画像から人物の画像を背景差分法や時間差分法により抽出することで生成してもよい。

図７に示すように、画像取得部１１１に入力画像として入力される全方位画像には、２つの人物の画像２０３、２０４と、人物の特徴に比較的近い特徴をもつノイズ画像Ｎが含まれている。

深層学習にあたっては、上述したように、検出部１１２により、全方位画像から候補矩形が検出され得る。候補矩形の境界線は、破線により示されている。なお、図７においては、説明を簡単にするために、検出部１１２を構成するＲＰＮにおいて、特徴マップ上のグリットポイントに対応する領域のすべてが候補矩形として検出されたものとして候補矩形を記載している。

正解ラベルは、候補矩形とともに教師データをなし、各候補矩形と対応づけて、教師データの出力データとして特徴計算部１１３に入力される。人物の画像２０３が含まれる候補矩形は、尤度、極座標の距離、および極座標の角度が、それぞれ、１、２０ｍ、９０°、の正解ラベルが対応づけられる。人物の画像２０４が含まれる候補矩形は、尤度、極座標の距離、および極座標の角度が、それぞれ、１、６０ｍ、４０°、の正解ラベルが対応づけられる。教師データとして用いる人物の画像２０３、２０４に対応づけられる正解ラベルの尤度は当然に１とされる。

正解ラベルは、ユーザーにより各候補矩形に対し入力部１４０から入力され得る。なお、正解ラベルの極座標は、画像取得部１１１に入力される全方位画像から検出部１１２により算出されてもよい。

ノイズ画像Ｎが含まれる候補矩形は、尤度が０の正解ラベルが対応づけられる。ノイズ画像Ｎが含まれる候補矩形については、極座標の正解ラベルの対応づけは行わない。すなわち、ノイズ画像Ｎが含まれる候補矩形に対しては、極座標については深層学習させないようにする。なお、ノイズ画像Ｎが含まれる候補矩形以外の、人物の画像が含まれない候補矩形についても、尤度が０の正解ラベルを対応づけ、極座標の正解ラベルは対応づけない。

特徴計算部１１３は、教師データである候補矩形が入力されたときに、当該候補矩形に対応づけられた正解ラベルが出力されるように深層学習される。すなわち、たとえば教師データである候補矩形が入力されたときに出力される尤度、極座標の距離、および極座標の角度と、正解ラベルの尤度、極座標の距離、および極座標の角度と、のそれぞれの差に基づいて損失関数を算出する。そして損失関数の値が最小化するように、誤差逆伝搬法によりニューラルネットワークの重み係数を更新することで特徴計算部１１３の深層学習を行う。

図８は、全方位画像に基づく人物検出の際の、深層学習された特徴計算部による尤度の算出および極座標の推定、信頼度計算部による信頼度の算出、ならびに判定部による尤度の修正について説明するための説明図である。

図８に示すように、画像取得部１１１に、入力画像として入力される全方位画像には、２つの人物の画像２０３、２０４と、人物の特徴に比較的近い特徴をもつノイズ画像Ｎが含まれている。検出部１１２により、全方位画像から候補矩形が検出される。候補矩形の境界線は、破線により示されている。なお、図８においては、説明を簡単にするために、検出部１１２を構成するＲＰＮにおいて、特徴マップ上のグリットポイントに対応する領域のすべてが候補矩形として検出されるものとして候補矩形を記載している。また、入力画像として入力される全方位画像は、図７において深層学習に用いられる入力画像と同じものとしている。

深層学習された特徴計算部１１３は、入力された候補矩形に基づいて、尤度を算出するとともに、全方位画像における候補矩形の極座標を推定する。人物の画像２０３が含まれる候補矩形については、当該候補矩形に基づいて、尤度が０．９と算出され、極座標の距離および角度については、それぞれ、２０ｍおよび９０°と推定されている。全方位画像に基づいて信頼度計算部１１４により算出された極座標の距離および角度は、それぞれ、２０ｍおよび９０°である。信頼度計算部１１４は、推定された極座標と、算出された極座標との差がないため、上記式（１）により信頼度を１と算出する。判定部１１５は、特徴計算部１１３により算出された尤度に、算出した信頼度を乗じる修正を行う。修正後の尤度は０．９である。信頼度が１の場合は、修正前の尤度と修正後の尤度は同じ値となる。

人物の画像２０４が含まれる候補矩形については、当該候補矩形に基づいて、尤度が０．９と算出され、極座標の距離および角度については、それぞれ、６０ｍおよび４０°と推定されている。全方位画像に基づいて信頼度計算部１１４により算出された極座標の距離および角度は、それぞれ、６０ｍおよび４０°である。信頼度計算部１１４は、推定された極座標と、算出された極座標との差がないため、上記式（１）により信頼度を１と算出する。判定部１１５は、特徴計算部１１３により算出された尤度に、算出した信頼度を乗じる修正を行う。修正後の尤度は０．９である。

ノイズ画像Ｎが含まれる候補矩形については、当該候補矩形に基づいて、尤度が０．８と算出され、極座標の距離および角度は、それぞれ、６０ｍおよび４０°と推定されている。全方位画像に基づき信頼度計算部１１４により算出された極座標の距離および角度は、それぞれ、２０ｍおよび２７０°である。信頼度計算部１１４は、推定された極座標と、算出された極座標との差に基づいて、上記式（１）により信頼度を０．１と算出する。判定部１１５は、特徴計算部１１３により算出された尤度に、算出した信頼度を乗じる修正を行う。修正後の尤度は０．０８となる。ノイズ画像Ｎに対し尤度を低下させる修正がなされることにより、ノイズ画像Ｎが人物として検出されるという誤検出が抑制される。

なお、特徴計算部１１３により算出された尤度が所定の閾値未満の場合は、極座標の推定等はされなくてもよい。所定の閾値は、人物検出システム１００による人物検出における誤検出の抑制の観点、および人物検出の効率性の観点から、実験等により適切な値に設定され得る。ノイズ画像Ｎが含まれる候補矩形以外の、人物の画像が含まれない候補矩形については、特徴計算部１１３により算出された尤度が０であるため、極座標の推定はされていない。

図９は、比較例として、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮにおける深層学習について説明するための説明図である。図１０は、比較例として、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮによる人物検出について説明するための説明図である。なお、説明を簡単にするために、入力画像として入力される全方位画像は、図７、８に示す実施形態において例示した全方位画像と同じものとしている。

図９に示すように、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮにおける深層学習においては、入力データである候補矩形と、正解ラベルである尤度を教師データとして用いる。

入力画像として入力される全方位画像には、２つの人物の画像２０３、２０４と、人物の特徴に比較的近い特徴をもつノイズ画像Ｎが含まれている。深層学習にあたっては、全方位画像から候補矩形が検出される。候補矩形の境界線は、破線により示されている。なお、図９においては、説明を簡単にするために、全方位画像から特徴マップを生成するＲＰＮにおいて、特徴マップ上のグリットポイントに対応する領域のすべてが候補矩形として検出されたものとして候補矩形を記載している。

正解ラベルは、候補矩形とともに教師データをなし、各候補矩形と対応づけて、教師データとして入力される。正解ラベルとしては、実施形態と異なり、尤度のみが用いられる。人物の画像２０３が含まれる候補矩形、および人物の画像２０４が含まれる候補矩形は、それぞれ、尤度が１の正解ラベルが対応づけられる。

ノイズ画像Ｎが含まれる候補矩形は、尤度が０の正解ラベルが対応づけられる。ノイズ画像Ｎが含まれる候補矩形以外の、人物の画像が含まれない候補矩形についても、尤度が０の正解ラベルが対応づけられる。

深層学習においては、教師データである候補矩形が入力されたときに、当該候補矩形に対応づけられた正解ラベルが出力されるように学習される。

図１０に示すように、一般的なＦａｓｔｅｒ Ｒ−ＣＮＮによる人物検出においては、入力画像である全方位画像から候補矩形が検出される。候補矩形の境界線は、破線により示されている。なお、説明を簡単にするために、特徴マップを生成するＲＰＮにおいて、特徴マップ上のグリットポイントに対応する領域のすべてが候補矩形として検出されたものとして候補矩形を記載している。

候補矩形に基づいて、尤度が算出される。人物の画像２０３が含まれる候補矩形については、尤度が０．９と算出されている。人物の画像２０４が含まれる候補矩形についても、尤度が０．９と算出されている。ノイズ画像Ｎが含まれる候補矩形については、尤度が０．８と算出されている。

一般的なＦａｓｔｅｒ Ｒ−ＣＮＮにおいては、候補矩形から算出される尤度が所定の閾値以上であれば、当該候補矩形が人物であると判断される。すなわち、候補矩形における画像の見え方が、当該候補矩形の全方位画像における位置であれば当然に有するであろう見え方をしていなくても、当該候補矩形が人らしければ（すなわち尤度が所定の閾値以上であれば）、当該候補矩形を人物であると判断される。このため、人物と類似する特徴を備えたノイズを人物と誤検出可能性が比較的高くなる。

実施形態に係る人物検出システム１００の用途の例について説明する。なお、以下説明する図１１〜１４の例においては、人物検出システム１００には全方位カメラが構成要素として含まれている。

図１１は、代表的な人物検出システムの用途の例を示す図である。

図１１の例においては、人物検出システム１００は、壁側に商品棚３００が配置された店舗の天井に設置されている。これにより、人物検出システム１００の全方位カメラから近い位置の客２０５と、遠い位置の客２０６を含む、店舗全体を俯瞰した全方位画像を撮影できるとともに、全方位画像に含まれる客２０５、２０６を人物として検出できる。

図１２は、人物検出システムの、店舗内の領域ごとに客数を計測する用途の例を示す図である。図１３は、人物検出システムの、店舗内の領域ごとに客数を計測する用途の他の例を示す図である。

図１２の例においては、人物検出システム１００は、店舗の任意の場所に配置された商品棚３００の上方の天井に設置されている。また、図１３の例においては、人物検出システム１００は、全方位カメラが、店舗の壁側に配置された商品棚３００の上方から斜め方向に店舗全体を俯瞰した撮影ができるように設置されている。このような例によれば、客２０５、２０６が人物として検出されることで、客２０５、２０６がどのような店舗に多く集まるかだけでなく、どの商品棚３００に多く集まるか等を計測できる。また、客２０５、２０６が立ち止まった、あるいは通り過ぎた商品棚３００や、店舗内のスペースの情報を計測できる。これらの計測結果は、マーケティング情報として活用できる。

図１４は、人物検出システムの、道路の通行人の情報を得る用途の例を示す図である。

図１４の例においては、人物検出システム１００は、道路の脇に設置された柱４００の上端に設置されることで、道路の広い範囲で通行人２０７を検出できる。

一般に、監視カメラを用いた監視映像は、長時間の録画によりデータサイズが増大するため、保持できるデータサイズの制限から、保存されたデータのうち古い映像のデータから消去される。人物検出システム１００によれば、防犯等を目的とした監視の観点から有用な、人物の特徴を抽出して保存できる。たとえば、判定部１１５により人物と判定された候補矩形のみを保存できる。これにより、保存されるデータサイズの増大を抑制できる。なお、人物と判定された候補矩形から人物の顔や服装等のみを抽出して保存するようにしてもよい。

実施形態に係る人物検出システム１００の動作について説明する。

図１５は、人物検出システムの人物検出のための深層学習の動作を示すフローチャートである。本フローチャートは、人物検出システム１００の制御部１１０により、プログラムにしたがい実行され得る。

制御部１１０は、深層学習に用いるデータとして全方位画像を取得する（Ｓ１０１）。深層学習に用いるデータである全方位画像は、たとえばあらかじめ記憶部１２０に記憶されており、記憶部１２０から読みだされることで取得され得る。

制御部１１０は、全方位画像から候補矩形を検出する（Ｓ１０２）。検出された候補矩形は表示部１３０に表示され得る。候補矩形は、たとえば図７に示すような、全方位画像に候補矩形が破線の境界線で区切られた画像により表示され得る。

制御部１１０は、候補矩形ごとに、ユーザーにより表示部１３０に表示された候補矩形を参照して入力された正解ラベルを入力部１４０から受付け、候補矩形ごとに正解ラベルを対応づけて設定する（Ｓ１０３）。

制御部１１０は、各候補矩形に対し、正解ラベルが出力されるように深層学習を行う（Ｓ１０４）。

図１６は、人物検出システムの人物検出の動作を示すフローチャートである。本フローチャートは、人物検出システム１００の制御部１１０により、プログラムにしたがい実行され得る。

制御部１１０は、通信部１５０を介して全方位カメラから全方位画像を取得する（Ｓ２０１）。

制御部１１０は、全方位画像から候補矩形を検出し（Ｓ２０２）、検出した候補矩形の全方位画像における極座標（ｒ_１，θ_１）を算出する（Ｓ２０３）。

制御部１１０は、検出した候補矩形のみに基づいて、尤度Ｌを算出するとともに、候補矩形の全方位画像における極座標（ｒ_２，θ_２）を推定する（Ｓ２０４）。

制御部１１０は、算出された極座標の角度θ_１と、推定された極座標の角度θ_２との差Δθ、ならびに、算出された極座標の距離ｒ_１と、推定された極座標の距離ｒ_２との差Δｒを算出する。制御部１１０は、ΔθおよびΔｒから信頼度Ｒを算出する（Ｓ２０５）。

制御部１１０は、尤度Ｌに信頼度Ｒを乗じて尤度Ｌを修正することで、修正後の尤度Ｌｃを算出する（Ｓ２０６）。

制御部１１０は、修正後の尤度Ｌｃが所定の閾値以上かどうか判断する（Ｓ２０７）。制御部１１０は、修正後の尤度Ｌｃが所定の閾値以上であると判断したときは（Ｓ２０７：ＹＥＳ）、候補矩形を人物と判断する（Ｓ２０８）。制御部１１０は、修正後の尤度Ｌｃが所定の閾値以上でないと判断したときは（Ｓ２０７：ＮＯ）、候補矩形を人物ではないと判断する（Ｓ２０９）。

制御部１１０は、人物の判定結果を表示する（Ｓ２１０）。

図１７は、人物の判定結果として表示された画像を示す説明図である。なお、図１７においては、信頼度による修正を行わなかった場合の判定結果も全方位画像上に破線の矩形として併せて示されている。図１７においては、撮影された対象物等を判りやすく示すために、簡単な線図によるイラストにより全方位画像を表している。

実施形態により人物であると判定された候補矩形が黒い実線の境界線により全方位画像上に示されており、全方位画像における左側の人物が人物として検出されている。一方、全方位画像の右側に存在する機具については人物として検出されていない。すなわち、実施形態によれば、検出感度を維持しつつ誤検出を抑制されている。

信頼度による修正を行わなかった場合は、破線の矩形で示すように、全方位画像における左側の人物が人物として検出されているが、右側に存在する自転車も人物として誤検出されている。

本実施形態は以下の効果を奏する。

全方位画像から検出された候補領域の尤度を、当該全方位画像における当該候補領域の極座標の角度と、当該検出された候補領域から推定された極座標の角度と、に基づいて算出した信頼度で修正し、修正後の尤度により当該候補領域の画像が人物かどうか判定し表示する。これにより、全方位画像からの人物検出において、検出感度を維持しつつ誤検出を抑制できる。

さらに、候補領域の検出、ならびに、候補領域からの尤度の算出および極座標の推定をニューラルネットワークにより行う。これにより、より効果的に人物の誤検出を抑制できるとともに検出感度を向上できる。

さらに、候補領域からの尤度の算出および極座標の推定を、人物の画像を入力データとし、尤度および全方位画像における当該人物の画像の極座標の角度を出力データとする教師データを用いて深層学習されたニューラルネットワークにより行う。これにより、より効果的に人物の誤検出を抑制できるとともに検出感度を向上できる。

さらに、全方位画像は、候補領域の極座標に応じて、全方位画像における候補領域の人物の見え方が異なる。これにより、候補領域の極座標に応じて、全方位画像における候補領域の人物の見え方が比較的大きく異なる場合であっても、人物検出の検出感度を維持しつつ誤検出を抑制できる。

さらに、候補領域を矩形の領域とする。これにより、全方位画像からの候補領域の検出を、一般的な候補領域検出方法を利用して容易に実現できる。

さらに、候補領域のみに基づいて極座標の推定を行う。これにより、簡単かつ効果的に人物の誤検出を抑制できる。

さらに、候補領域に基づいて全方位画像における候補領域の極座標の角度とともに距離を推定し、算出された極座標の角度および距離と、指定された極座標の角度および距離と、に基づいて信頼度を算出する。これにより、さらに効果的に人物の誤検出を抑制できる。

さらに、候補領域の画像が人物かどうかの判定結果を人物検出システムに接続された表示装置または処理装置へ出力する。これにより、全方位画像による人物検出結果を多面的かつ広範囲で利用できる。

本発明は上述した実施形態に限定されない。

たとえば、算出された極座標の距離と、推定された極座標の距離とに基づいて信頼度を算出してもよい。また、算出された極座標の角度と、推定された極座標の角度とに基づいて信頼度を算出してもよい。

また、候補矩形の極座標は、候補矩形の重心以外の極座標であってもよい。たとえば、候補矩形のいずれかの頂点の極座標であってもよい。

また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実施してもよい。

Ｎ ノイズ画像、
１００ 人物検出システム、
１１０ 制御部、
１１１ 画像取得部、
１１２ 検出部、
１１３ 特徴計算部、
１１４ 信頼度計算部、
１１５ 判定部、
１１６ 出力部、
２００ 全方位画像、
２００ａ、２００ｂ 人物、
２００ｃ 画像、
２０１〜２０７ 人物、
３００ 商品棚。

Claims (16)

1. コンピューターに、全方位画像から人物を検出する処理を実行させる方法であって、
   前記全方位画像から人物の候補の画像を含む候補領域を検出する段階（ａ）と、
   検出された前記候補領域の、前記全方位画像における極座標の角度を算出する段階（ｂ）と、
   検出された前記候補領域から、人らしさを示す尤度を算出するとともに、前記全方位画像における前記候補領域の極座標の角度を推定する段階（ｃ）と、
   算出された前記極座標の角度と、推定された前記極座標の角度と、に基づいて、前記尤度の信頼度を算出する段階（ｄ）と、
   算出された前記信頼度に基づいて前記尤度を修正し、修正された前記尤度に基づいて、前記候補領域の画像が人物かどうかを判定する段階（ｅ）と、
   判定された判定結果を出力する段階（ｆ）と、
   をコンピューターに実行させる人物検出方法。
2. 前記段階（ａ）および（ｃ）は、深層学習により学習されたニューラルネットワークにより実行される、請求項１に記載の人物検出方法。
3. 前記段階（ｃ）は、人物の画像を入力データとし、尤度および前記全方位画像における前記人物の画像の極座標の角度を出力データとする教師データを用いて深層学習されたニューラルネットワークにより、前記候補領域に基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、請求項２に記載の人物検出方法。
4. 前記全方位画像は、前記候補領域の極座標に応じて、前記全方位画像における前記候補領域の人物の見え方が異なる、請求項１〜３のいずれか一項に記載の人物検出方法。
5. 前記候補領域は矩形の領域である、請求項１〜４のいずれか一項に記載の人物検出方法。
6. 前記段階（ｃ）は、前記候補領域のみに基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、請求項１〜５のいずれか一項に記載の人物検出方法。
7. 前記段階（ｂ）は、前記候補領域の、前記全方位画像における極座標の距離をさらに算出し、
   前記段階（ｃ）は、前記候補領域から、前記全方位画像における前記候補領域の極座標の距離をさらに推定し、
   前記段階（ｄ）は、算出された前記極座標の角度および距離と、推定された前記極座標の角度および距離と、に基づいて、前記尤度の信頼度を算出する、請求項１〜６のいずれか一項に記載の人物検出方法。
8. 前記段階（ｆ）は、前記判定結果を、前記コンピューターに接続された表示装置または処理装置へ出力する、請求項１〜７のいずれか一項に記載の人物推定方法。
9. コンピューターに、全方位画像から人物を検出する処理を実行させるプログラムであって、
   前記全方位画像から人物の候補の画像を含む候補領域を検出する手順（ａ）と、
   検出された前記候補領域の、前記全方位画像における極座標の角度を算出する手順（ｂ）と、
   検出された前記候補領域から、人らしさを示す尤度を算出するとともに、前記全方位画像における前記候補領域の極座標の角度を推定する手順（ｃ）と、
   算出された前記極座標の角度と、推定された前記極座標の角度と、に基づいて、前記尤度の信頼度を算出する手順（ｄ）と、
   算出された前記信頼度に基づいて前記尤度を修正し、修正された前記尤度に基づいて、前記候補領域の画像が人物かどうかを判定する手順（ｅ）と、
   判定された判定結果を出力する手順（ｆ）と、
   をコンピューターに実行させるための人物検出プログラム。
10. 前記手順（ａ）および（ｃ）は、深層学習により学習されたニューラルネットワークにより実行される、請求項９に記載の人物検出プログラム。
11. 前記手順（ｃ）は、人物の画像を入力データとし、尤度および前記全方位画像における前記人物の画像の極座標の角度を出力データとする教師データを用いて深層学習されたニューラルネットワークにより、前記候補領域に基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、請求項１０に記載の人物検出プログラム。
12. 前記全方位画像は、前記候補領域の極座標に応じて、前記全方位画像における前記候補領域の人物の見え方が異なる、請求項９〜１１のいずれか一項に記載の人物検出プログラム。
13. 前記候補領域は矩形の領域である、請求項９〜１２のいずれか一項に記載の人物検出プログラム。
14. 前記手順（ｃ）は、前記候補領域のみに基づいて、前記全方位画像における前記候補領域の極座標の角度を推定する、請求項９〜１３のいずれか一項に記載の人物検出プログラム。
15. 前記手順（ｂ）は、前記候補領域の、前記全方位画像における極座標の距離をさらに算出し、
    前記手順（ｃ）は、前記候補領域から、前記全方位画像における前記候補領域の極座標の距離をさらに推定し、
    前記手順（ｄ）は、算出された前記極座標の角度および距離と、推定された前記極座標の角度および距離と、に基づいて、前記尤度の信頼度を算出する、請求項９〜１４のいずれか一項に記載の人物検出プログラム。
16. 前記手順（ｆ）は、前記判定結果を、前記コンピューターに接続された表示装置または処理装置へ出力する、請求項９〜１５のいずれか一項に記載の人物推定プログラム。