JP2019087130A - 人属性認識システムおよびプログラム - Google Patents

Abstract

【課題】 距離画像から人と人の属性を正確に認識するシステムを提供する。【解決手段】 所定の通過領域を通る人を上方から撮影する距離画像センサ（１２）を設け、コンピュータ（１４）は、その距離画像センサからの距離画像から人の形状に類似した形状の塊り距離画像を抽出し（ステップＳ９、Ｓ２１‐Ｓ２７）、塊り距離画像の縦断面画像を生成し（ステップＳ１２、ステップＳ３１）、その縦断面画像に基づいて、当該塊り距離画像に含まれる人の属性を検出する（ステップＳ１２、Ｓ３３‐Ｓ３７）。【選択図】 図４

Description

この発明は人属性認識システムおよびプログラムに関し、特にたとえば、通路やゲートなどの通過領域に設けた距離画像センサからの距離画像に基づいて人とその人の属性を認識する、人属性認識システムおよびプログラムに関する。

この種の技術は、たとえば、部屋や建物の入り口やゲートを通過する人数計測等のために利用され得る。

この発明の背景となる人数カウント装置の一例が特許文献１に開示されている。特許文献１では、人物存在領域として矩形情報を出力し、その矩形情報の縦横比または縦と横の長さに応じて人物存在状況を推定するが、その矩形比が異なる場合には、オクルージョンが発生していると判定し、部分的な検出 (上半身、下半身、右半身、左半身のような部分を検出することによって、人物が重なっている場合でも人数カウントができるとしている。

特開2017-108785号公報［G06T 1/00, 7/00, G06M 11/00］

特許文献１の人数カウント装置では、矩形比で人だけを検出するので、認識した人の属性を特定するのは困難である。

それゆえに、この発明の主たる目的は、新規な、人属性認識システムおよびプログラムを提供することである。

この発明の他の目的は、距離画像を処理することによって人とその人の属性を認識することができる、人属性認識システムおよびプログラムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、通過領域を通る人を上方から撮影して距離画像を出力する距離画像センサ、距離画像から人の形状に類似した塊り距離画像を抽出する塊り距離画像抽出部、塊り距離画像の、１つまたはそれ以上の縦断面画像を生成する縦断面画像生成部、および縦断面画像に基づいて塊り距離画像に含まれる人の属性を検出する属性検出部を備える、人属性認識システムである。

第１の発明では、距離画像センサ（１２）は、通過領域を通る人を上方から撮影した距離画像を出力する。塊り距離画像抽出部（１４、Ｓ９、Ｓ２１‐Ｓ２７）はその距離画像から、人と推定できる塊り距離画像を抽出する。縦断面画像生成部（１４、Ｓ３１）は、たとえば塊り距離画像の重心を通る１つまたはそれ以上の切断線で縦断面画像を生成し、属性検出部（１４、Ｓ３３‐Ｓ３７）は、縦断面画像に基づいてその塊り距離画像に含まれる人の属性、たとえば人の数を検出する。

第１の発明によれば、塊り距離画像の縦断面画像に基づいてその塊り距離画像に含まれる人の属性を検出するので、正確に任属性を検出することができる。

第２の発明は、第１の発明に従属し、縦断面画像生成部は塊り距離画像の重心を通る切断線で塊り距離画像を切断した縦断面画像を生成する、人属性認識システムである。

第３の発明は、第１または第２の発明に従属し、属性検出部は、縦断面画像の輪郭線におけるピークを検出するピーク検出部を含み、ピーク検出部が検出したピークの数が塊り距離画像に含まれる人の数を示す属性とされる、人属性認識システムである。

第３の発明によれば、ピークの数をカウントするだけで、通過領域を通る人の正確な人数が計測可能となる。

第４の発明は、第１ないし第３の発明のいずれかに従属し、さらに、塊り距離画像の１つまたは複数の横断面画像を生成する横断面画像生成部を備え、属性検出部は、横断面画像に基づいて属性を検出する、人属性認識システムである。

第４の発明によれば、横断面画像も用いるので、属性検出が一層正確に行える。

第５の発明は、第４の発明に従属し、属性検出部は、横断面画像の輪郭線から得られる大きさおよび形状から頭部を検出して人の数を示す属性を検出する、人属性認識システムである。

第６の発明は、第４の発明に従属し、属性検出部は、横断面画像の輪郭線から得られる大きさおよび形状から持っている荷物を検出して人属性とする、人属性認識システムである。

第７の発明は、通過領域を通る人を上方から撮影して距離画像を出力する距離画像センサを備える人属性認識システムのコンピュータを、距離画像から人の形状に類似した塊りの距離画像を抽出する塊り距離画像抽出部、塊り距離画像の、１つまたはそれ以上の縦断面画像を生成する縦断面画像生成部、および縦断面画像に基づいて塊り距離画像に含まれる人の属性を検出する属性検出部として機能させる、人属性認識プログラムである。

第７発明においても、第１の発明と同様の効果が期待できる。

この発明によれば、距離画像を処理することによって人とその人の属性を正確に認識することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の人属性認識システムを示す図解図である。 図２は図１実施例を示すブロック図である。 図３は図２に示すメモリのメモリマップの一例を示す図解図である。 図４は図２に示すコンピュータが実行する人属性認識動作の一例を示すフロー図である。 図５は図４実施例において取得した距離画像の一例を示す図解図である。 図６は図４実施例において前処理を施した距離画像の一例を示す図解図である。 図７は図４実施例において取得した距離画像の他の例を示す図解図である。 図８は図４実施例において前処理を施した距離画像の他の例を示す図解図である。 図９は図４実施例における人認識ステップを詳細に示すフロー図である。 図１０は人認識ステップで抽出された塊り距離画像の一例を示す図解図である。 図１１は人認識ステップで抽出された塊り距離画像の他の例を示す図解図である。 図１２は図４実施例における属性認識ステップを詳細に示すフロー図である。 図１３は属性認識ステップにおける認識結果の一例を示す図解図である。 図１４は属性認識ステップにおける認識結果の他の例を示す図解図である。 図１５は属性認識ステップにおける認識結果のその他の例を示す図解図である。

図１を参照して、この実施例の人属性認識システム１０は、人ＰＳＮが追加する通過領域を規定するゲートＧＴの上方に設けられる距離画像センサ１２を含む。距離画像センサ１２は、一例として、前後左右にそれぞれ４０°の視野角または画角を有する。

なお、この実施例はゲートＧＴで規定された通過領域を通過する人およびその属性を認識する実施例であるが、この発明はさらにオープンスペースの一定の領域を通過する人や人属性を認識するシステムとしても利用可能である。つまり、この発明の人属性認識システムは、オープンスペースにおける人の動きや属性を認識するためのシステムとしても利用できる、ということを予め指摘しておく。

距離画像センサ１２は、赤外光またはレーザなどの光を照射し、対象物から反射した光（反射光）をＣＣＤ（Charge Coupled Device）センサなどの光学センサによって捉える。距離画像センサ１２は、光が戻るまでの時間を画素毎に計測することで、対象物までの実際の距離を測定する。実施例の距離画像センサ１２には、ASUS（登録商標）製のXtion（登録商標）と言われる製品が採用されている。なお、他の実施例では、距離画像センサ１２は、Microsoft（登録商標）製のKinect（登録商標）センサ、パナソニック（登録商標）製の３次元距離画像センサD-IMager（登録商標）などを使用することも可能である。この種のセンサは、３次元距離計測センサ、３Ｄスキャナなどと言われる場合もある。

なお、距離画像センサとしては、たとえばＬｉＤＡＲ（たとえば、Ｖｅｌｏｄｉｎｅ社製のイメージングユニットＬｉＤＡＲ（ＨＤＬ‐３２ｅ）（商品名））のような全方位レーザ距離計や、ステレオカメラなども利用可能である。

距離画像センサ１２からの距離画像信号は、図２に示すように、コンピュータ１４に入力され、コンピュータ１４では、その距離画像信号をディジタルデータとして、たとえばＲＡＭのようなメモリ１６に記憶する。このメモリ１６に記憶した距離画像データを処理した結果得られた人とその人の属性、たとえば1人、２人づれ（乳幼児を抱いている、子供の手を引いている、など）、リュックを背負っている（抱いている）などの属性を認識し、その結果をディスプレイ１８に表示しおよび／またはプリンタ（図示せず）に出力する。

メモリ１６は、図３に示すように、プログラム記憶領域２０およびデータ記憶領域２２を含む。

プログラム記憶領域２０には、データ取得プログラム２０ａ、前処理プログラム２０ｂ、人認識プログラム２０ｃおよび付加属性認識プログラム２０ｄが予め設定されている。

データ取得プログラム２０ａは、距離画像センサ１２からの距離画像信号を、距離画像データとして取り込んで、データ記憶領域２２の取得距離画像データ領域２２ａに記憶するプログラムである。

前処理プログラム２０ｂは、取得距離画像データ領域２２ａに記憶した距離画像データのノイズ除去などの前処理をして、人やその人の付加属性を認識するステップに送るためのプログラムである。

人認識プログラム２０ｃは、前処理を終えた距離画像データから人に類似した形状の塊り距離画像（３次元距離画像データ）を抽出して、データ記憶領域２２の塊り距離画像データ領域２２ｃに記憶するプログラムである。

付加属性認識プログラム２０ｄは、上述の塊り距離画像データから人と人の属性を識別ないし認識して、塊り距離画像データと紐付けて、付加属性データ領域２２ｄに記憶するプログラムである。

データ記憶領域２２は、上述の取得距離画像データ領域２０ａ、塊り距離画像データ領域２０ｃおよび付加属性データ領域２２ｄの他に、背景距離画像データ領域２２ｂを含む。この背景距離画像データ領域２２ｂには、図１に示すゲートＧに人Ｐが存在しない背景だけの、距離画像センサ１２からの距離画像（背景距離画像）を記憶するための領域であり、この背景距離画像データは後述のように前処理プログラム２０ｂによる前処理に利用される。

図４はこの実施例の属性認識装置１０におけるコンピュータ１４の動作を示すフロー図である。

最初のステップＳ１では、コンピュータ１４は、データ取得プログラム２０ａに従って、距離画像センサ１２からの距離画像信号を取得して取得データ領域２２ａに記憶する。この取得データが示す距離画像（３次元距離画像）２４の一例が、図５または図７に示される。これらの図面は、以降の同様の図面と同じく、発明者等が実験で実際に取得したり処理したりした距離画像をグレースケールで示している。

ただし、図５や図７において濃い灰色の部分と薄い灰色の部分とが見えるが、濃い部分が薄い部分に比べて、距離画像センサ１２に近い部分である。図５は単独人の場合の距離画像を示しており、図７は複数人の場合の距離画像を示す。

次にステップＳ３、Ｓ５およびＳ７において、コンピュータ１４は前処理プログラム２０ｂに従って、図５または図７のような距離画像のノイズ除去（ステップＳ３）、歪み補正（ステップＳ５）および背景情報除去（ステップＳ７）のような前処理を実行する。

距離画像センサ１２の計測値には様々なノイズが混入しているので、必要に応じて、この種のノイズを、ステップＳ３で、平滑化やメディアンフィルタ等のフィルタを使用して除去する。具体的には、計測値の外れ値を除去し、平滑化（粗い量子化）し、小さすぎる物体、細すぎる物体を除去し、その結果を取得距離画像データ領域２２ａ（図３）または別の領域（図示せず）に記憶する。

次のステップＳ５では、前処理の一環として、歪み補正を行う。赤外線レーザなどの光軸をレンズ等で曲げて広範囲の計測を行う距離画像センサの場合、歪曲収差等が発生するので、必要に応じて、ステップＳ５でこの補正を行い、その結果を取得距離画像データ領域２２ａ（図３）または別の領域（図示せず）に記憶する。

ステップＳ７では背景情報除去処理を実行する。人や動きのあるもののみを検出するため、静的に存在するものの反射を学習し、計測値から除去する。予め記憶している背景距離画像データをデータ記憶領域２２（図３）の背景距離画像データ領域２２ｂを読み出し、処理中の距離画像データからこの背景距離画像データを減算する。併せて、予め設定している検出範囲の外側のデータを消去し、その結果を取得距離画像データ領域２２ａ（図３）に記憶する。

このような前処理が終わった距離画像２４の一例が、図６（単独人の場合）に示される。この図６で濃い灰色の部分２６が前処理の結果残った距離画像であり、薄い灰色の部分２８は範囲外などの理由で除去される。なお、複数人の場合の前処理済の距離画像は図８に示すようになる。

ステップＳ９では、図９に示すサブルーチンに従って、人認識処理を実行する。

図９の最初のステップＳ２１でコンピュータ１４は、前処理を終えた距離画像データ（図６または図８）を塊り毎に分離する。これは、それぞれの人毎に分離することを意味する。ついで、ステップＳ２３で、コンピュータ１４は、ステップＳ２１で分離した塊り距離画像を、高さ（Ｚ軸方向）においてたとえば６００‐１８００ｍｍの範囲の１つ、もしくは複数の任意の高さで切断した横断面画像を生成する。

そして、ステップＳ２５で、コンピュータ１４は、その横断面画像の大きさ（サイズ）や形状、特徴、複数横断面を使用した変化傾向を判別する。たとえば、２次元の大きさで考えると、Ｘ軸Ｙ軸がそれぞれ所定以上の長さおよびそれぞれ所定の長さ以下を有するサイズの塊り距離画像であって、その塊り距離画像に外接する長方形の面積とその塊り距離画像の面積の比率が一定以上であり、縦横比が所定の比率以下であるなどその塊り距離画像の輪郭が人の形状に類似した塊り距離画像を選別する。このステップＳ２５で選別された塊り距離画像３０の一例が図１０または図１１に示される。

ステップＳ２７において、この図１０または図１１において点線丸印で示した塊り距離画像３０の位置および３次元形状データが、互いに関連付けられて（紐付けられて）、塊りデータ領域２２ｃ（図３）に記憶される。

このようにして、ステップＳ２７で、人と認識した塊り距離画像３０がコンピュータ１４のメモリ１６の塊り画像データ領域２２ｃに記憶される。

次に図４のステップＳ１１で、図１２に示すサブルーチンを実行して、先に人と認識した塊り距離画像３０の付加属性を識別する。

図１２の最初のステップＳ３１でコンピュータ１４は、図１３に示すように、塊り距離画像３０の縦断面画像３２ｖおよび３２ｈを生成する。縦断面画像３２ｖは、この塊り距離画像３０の重心を通ってＹ軸（縦）方向に延びる切断線で切断した画像であり、縦断面画像３２ｈは、同じ塊り距離画像３０の重心を通ってＸ軸（横）方向に延びる切断線で切断した画像である。

ただし、図１３（図１４、図１５でも同様）では２つの縦断面画像３２ｖおよび３２ｈだけを示したが、必要に応じて、より多くの縦断面画像３２を生成する。たとえば、実際には、対象が回旋している場合や、横向きになっている場合等もあるため、切断位置や方向あるいは切断位置の間隔は想定される向きに応じて動的に設定し、生成する縦断面画像の数も結果に応じて増減させることができる。

その場合でも、これらの全ての縦断面画像もすべて重心を通る切断線で切断する。これらの縦断面画像は、各塊り距離画像と関連付けて、メモリ１６の塊り距離画像データ領域２２ｃまたは別の領域（図示せず）に記憶する。

次のステップＳ３３で、先に生成した１つ以上の縦断面画像３２の中に存在するピーク３４（図１３）を検出する。縦断面画像３２の輪郭線において、一定方向に上昇し、上昇が止まって或る幅でその高さを維持し、その後降下する場合、その幅の部分をピーク３４として検出する。つまり、幅を持たない、ひげのようなピークはここで対象とするピークではない。

図１３（Ａ）には距離画像センサ１２からの距離画像がそのまま図示されているが、この生距離画像は単なる参考のために載せているだけで、実際にはプライバシー保護のために、この属性認識装置１０は記録しない。

図１３（Ｂ）に２つの縦断面画像３２ｖおよび３２ｈを示すが、１つの縦断面画像３２ｖに示すように、谷３６が検出できるので、この谷３６を挟む高い部分（図１３（Ｂ）でＸ軸方向において）がそれぞれピーク３４であると判断することができる。

次のステップＳ３５でコンピュータ１４は、ステップＳ３３で検出したピーク３４の位置に基づいて、塊り距離画像３０から人の頭に相当する形状の部位があるかどうか検出する。たとえば、ピークがある程度以上の大きさ（幅）を持っているとき、そのピークを人の頭と判断することができる。

あるいは、図１３（Ｃ）に示すように、塊り距離画像３０の高さ方向（Ｚ軸方向）において所定の高さにおいて、１または２以上の横断面画像（スライス画像）を生成する。そして、このスライス画像の輪郭線すなわち等高線の形状に人の頭を推定できる略丸い領域が存在するかどうか検出する。つまり、一定の高さ範囲において略丸い閉じた領域は人の頭であると推定できる。

このステップＳ３５での頭検出の結果が、ステップＳ２５（図９）で人であると推定した塊り距離画像に付加すべき属性、その塊り距離画像３０には２人の人間が存在するという属性を、該当の塊り距離画像と関連付けられて、メモリ１６の付加属性データ領域２２ｄに格納される。

なお、上述の実施例では、ステップＳ３１で縦断面画像を生成し、その縦断面画像の輪郭においてピークが幾つあるか判定するようにした。したがって、ピークを正確に検出することができる。そして、そのピークは、塊り距離画像に含まれる人の数を示す属性となる。

また、縦断面画像だけでなく、横断面画像も利用するので、より正確に属性（人の数）を検出することができる。

ただし、他の実施例としては、ステップＳ２５で切り出した塊り距離画像３０の輪郭、たとえば高さの分布や落差のデータから直接、頭と推定できる部位の存在を判定するようにしてもよい。

図１４に示した例でも、図１３に示す実施例と同様に、所要数の縦断面画像を生成し、その縦断面画像のうちのいずれかに基づいて、人の頭と思える部位の存在を検出する。特に、図１４の実施例では。塊り距離画像３０だけを見ると２人の人間がその中に存在するようには見えないが、縦断面画像における谷３６すなわちピーク３４を検出することによって、その塊り距離画像３０には２人の人間が存在することがわかる。

図１５に示した例では、ピーク３４は１つしかなく、横断面からは他に人間の頭部と疑われる形状の物体が認識できないため、その塊り距離画像には１人の人間しか含まれていないことがわかる。この場合、１つのピークについて頭部の形状を認識した後に、両肩の位置を予測し、縦断面画像の輪郭線をトレースすることによってボディ（胴体）の形状を推定する。そして、胴体形状からはみ出した部分、もしくは１点以上の鋭角な頂点のある飛び出し部分があり、その部分が図１３や図１４に示したようなしがみつきや抱き合いと異なる場合は、その部分は荷物であるとして認識する。この場合も、図１５（Ｃ）に示すように、塊り距離画像３０の高さ方向（Ｚ軸方向）において所定の高さにおいて、１または２以上の横断面画像（スライス画像）を生成する。そして、このスライス画像に基づいて、その部分が荷物かどうか判定（推定）することができる。

ただし、荷物として認識した場合は、塊り距離画像３０、縦断面画像の輪郭線や横断面画像（スライス画像）の輪郭線（等高線）に基づいて、その荷物の形状や大きさの概算を算出することができる。

このようにして、ステップＳ３７において、人であると認識した塊り距離画像３０の属性（人属性）は、必要に応じてディスプレイ１８（図２）に表示される。

また、ステップＳ３７で人と認識した塊り距離画像３０に何人の人間が含まれていたのかがわかるので、それに基づいて人数をカウントするようにすれば、通過領域を通る人の正確な人数が計測可能となる。この場合、メモリ２６のデータ記憶領域２２に人数カウンタ（図示せず）を設け、そのカウンタで人数をカウントすればよい。そして、その人数カウンタのカウント値を刻々ディスプレイ１８に表示するようにすれば、人属性認識システム１０のオペレータは、通過人数をリアルタイムに知ることができる。

上述の実施例では、図４（図９、図１２）のすべてのステップを１つのコンピュータ１４が実行するものとして説明したが、複数のコンピュータを用いてもよく、あるいは特定の処理をコンピュータではなくＤＳＰのような専用処理回路で処理するようにしてもよい。

なお、上で挙げた角度や時間の長さなどの具体的数値はいずれも単なる一例であり、必要に応じて適宜変更可能である。

１０ …人属性認識システム
１２ …距離画像センサ
１４ …コンピュータ
１６ …メモリ
１８ …ディスプレイ

Claims (7)

1. 通過領域を通る人を上方から撮影して距離画像を出力する距離画像センサ、
   前記距離画像から人の形状に類似した塊り距離画像を抽出する塊り距離画像抽出部、
   前記塊り距離画像の、１つまたはそれ以上の縦断面画像を生成する縦断面画像生成部、および
   前記縦断面画像に基づいて前記塊り距離画像に含まれる人の属性を検出する属性検出部を備える、人属性認識システム。
2. 前記縦断面画像生成部は前記塊り距離画像の重心を通る切断線で前記塊り距離画像を切断した縦断面画像を生成する、請求項１記載の人属性認識システム。
3. 前記属性検出部は、前記縦断面画像の輪郭線におけるピークを検出するピーク検出部を含み、
   前記ピーク検出部が検出したピークの数が前記塊り距離画像に含まれる人の数を示す属性とされる、請求項１または２記載の人属性認識システム。
4. さらに、前記塊り距離画像の１つまたは複数の横断面画像を生成する横断面画像生成部を備え、
   前記属性検出部は、前記横断面画像に基づいて前記属性を検出する、請求項１ないし３のいずれかに記載の人属性認識システム。
5. 前記属性検出部は、前記横断面画像の輪郭線から得られる大きさおよび形状から頭部を検出して人の数を示す属性を検出する、請求項４記載の人属性認識システム。
6. 前記属性検出部は、横断面画像の輪郭線から得られる大きさおよび形状から持っている荷物を検出して人属性とする、請求項４記載の人属性認識システム。
7. 通過領域を通る人を上方から撮影して距離画像を出力する距離画像センサを備える人属性認識システムのコンピュータを、
   前記距離画像から人の形状に類似した塊りの距離画像を抽出する塊り距離画像抽出部、
   前記塊り距離画像の、１つまたはそれ以上の縦断面画像を生成する縦断面画像生成部、および
   前記縦断面画像に基づいて前記塊り距離画像に含まれる人の属性を検出する属性検出部として機能させる、人属性認識プログラム。