JP2010233737A - 体型判定方法及び体型判定システム並びにそれを用いた監視システム - Google Patents

Abstract

【課題】本発明は、人物の体型を判別するための体型判定方法及び体型判定システム並びにそれを用いた監視システムに関し、人物の画像から体型の特徴量を算出して、体型を判別する体型判定方法及び体型判定システム並びにそれを用いた監視システムを適用することを目的とする。
【解決手段】本発明は、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、体型特徴量算出手順で算出された体型の特徴量に基づいて人物の体型を判別する。
【選択図】図１

Description

本発明は、体型判定方法及び体型判定システム並びにそれを用いた監視システムに係り、特に、人物の体型を判別するための体型判定方法及び体型判定システム並びにそれを用いた監視システムに関する。

近年、画像処理技術の発達に伴って、顔認証などの技術を用いた監視システムが開発されている。

大型店舗や多くの人が訪れる施設において、監視カメラにより撮像された画像から人物の顔画像を抽出し、抽出された顔画像を不審者や犯罪者の顔画像が予め登録されたデータベースの顔画像と比較して、不審者や犯罪者を検知しようとする場合、入退出システムとは異なり、監視カメラにより撮影される人物の顔の画像は、必ずしも正面から撮影されたものではない。むしろ、上下左右にずれた方向から撮影されることが多くなる。また、人物の顔の画像も非常に小さくなる。

このため、単純に従来からの顔認証システムにより不審者や犯罪者を検知しようとすると、誤検知などが発生しやすくなる。また、正確な検知を行うために、設定を厳しくすると、ほとんど検知が行えず、また、検知の精度を低くすると、検知される候補者の数が多くなる。

このため、大型店舗や多くの人が訪れる施設などにおいて顔認証システムのみを用いて不審者や犯罪者の検知を行うことは困難を有する。このため、その人物を特定するための補助的な手法として、体型を用いることが考えられている。

なお、健康管理の面から、人の正面及び側面のシルエットを撮影し、性別、身長、体重などの情報とともに、体型のデータとして表示装置に表示させる体型分析装置が提案されている（例えば、特許文献１参照）。

特開平６−２１７９６２号公報

しかし、監視システムなどの分野においては、これまで体型を画像上から自動で判別する手法については取り組まれていないのが現状である。

本発明は、上記の点に鑑みてなされたもので、人物の画像から体型の特徴量を算出して、体型を判別できる体型判定方法及び体型判定システム並びにそれを用いた監視システムを提供することを目的とする。

本発明は、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、体型特徴量算出手順で算出された体型の特徴量に基づいて人物の体型を判別する。

本発明の画像取得手順は、連続する複数の画像から横を向いている人物の矩形画像を抽出し、矩形画像抽出手段で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する。

本発明の画像取得手段は、矩形画像から人物のエッジを抽出する。また、本発明の画像取得手段は、矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する。

本発明の体型特徴量算出手順は、特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出する。

肥満度は、

により算出される。

また、縦横比は、

により算出される。

２次モーメント、慣性主軸は、

により算出される。

また、本発明は、人物の体型を判別する体型判定システムであって、人物の全体画像を取得する画像取得部と、人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出部と、体型特徴量算出部で算出された体型の特徴量に基づいて人物の体型を判別する体型判定部とを含む。

さらに、本発明は、監視システムにおいて、体型の特徴量を含む人物の情報が登録された人物データベースと、体型特徴量算出部で算出された前記特徴量に基づいて人物データベースを参照して、特徴量に対応する候補者を抽出する候補者抽出部とを含み、候補者抽出部で抽出された候補者の情報を表示装置に表示させ、監視を行う。

本発明によれば、人物の体型を判別する体型判定方法であって、人物の全体画像を取得する画像取得手順と、人物の全体画像に基づいて体型の特徴量を算出し、算出された体型の特徴量に基づいて人物の体型を判別することにより、人物の体型から人物を判定することが可能となり、例えば、顔がはっきりしない画像から人物を特定することが可能となる。また、顔認証などと組み合わせて用いることにより、人物を正確に特定することが可能となる。

本発明の一実施例のシステム構成図である。 矩形画像抽出部１３１の動作を説明するための図である。 エッジ抽出部１３２の動作を説明するための図である。 体型判定データベース１３０のデータ構成図である。 体型判定の具体例を説明するための図である。 体型判定の具体例に用いられたサンプル画像を示す図である。 監視装置１４０のブロック構成図である。 人物データベース１５０のデータ構成図である。

図１は本発明の一実施例のシステム構成図を示す。

本実施例の監視システム１００は、監視カメラ１００、体型判定装置１２０、体型判定データベース１３０、監視装置１４０、人物情報データベース１５０を含む構成とされている。

監視カメラ１００は、周囲の画像を撮影して、体型判定装置１２０及び監視装置１４０に供給する。

体型判定装置１２０は、コンピュータシステムなどを含む構成とされており、画像処理部１２１、特徴量算出部１２２、体型判定部１２３を含む構成とされている。なお、画像処理部１２１、特徴量算出部１２２、体型判定部１２３は、例えば、コンピュータプログラムによって実現される。

画像処理部１２１は、矩形画像抽出部１３１、エッジ抽出部１３２を含む構成とされている。

図２は矩形画像抽出部１３１の動作を説明するための図を示す。

矩形画像抽出部１３１は、最初に監視カメラ１００から供給される画像から図２に示すような特定の人物の矩形画像を時刻ｔ１−ｔ１２まで連続的に抽出する。なお、矩形画像は、図２に示すように画像から人物の最外形の画像を矩形状に切り取ったものである。矩形画像抽出部１３１は、次に時刻ｔ１−ｔ１２の矩形画像のうち、腕の振りの影響と、歩行時の体の沈みこみによる影響の少ない画像を抽出する。

矩形画像抽出部１３１は、時刻ｔ１−ｔ１２までの連続する矩形画像のうち、人物領域の幅「ｄｘ」が小さく、かつ、矩形画像の高さ「ｄｙ」が大きい矩形画像、例えば、（矩形高）÷（人物幅）が大きい３枚の画像を抽出する。このとき、「ｄｘ」が小さい画像は、人物が横向きかつ腕の振りの影響が少ない画像であることが期待でき、「ｄｙ」が大きい画像は、歩行時の体の沈みこみによる影響が少ない画像であることが期待できる。なお、人物幅は、エッジ抽出部１３２で人物のエッジを抽出し、抽出したエッジの幅を検知することにより求めることができる。

なお、人物幅は、胸から背中までの厚みを、真の人物幅として用いる。矩形高により、歩行などによる体の沈みこみが少ない画像を抽出している。

矩形画像抽出部１３１で抽出された矩形画像は、特徴量算出部１２２及びエッジ抽出部１３２に供給される。

図３はエッジ抽出部１３２の動作を説明するための図を示す。図３（Ａ）は矩形画像抽出部１３１から供給された矩形画像、図３（Ｂ）はエッジ画像、図３（Ｃ）は前面のエッジ画像を示す。

エッジ抽出部１３２は、矩形画像抽出部１３１で抽出された矩形画像に、エッジ抽出フィルタ、例えば、キルシュ（Kirsch）フィルタを適用することにより、人物のエッジ及びそのエッジの方向成分を算出する。キルシュフィルタは、例えば、８方向のエッジの強さを検出可能なフィルタである。キルシュフィルタを用いて０、１８０度方向、９０、２７０度方向、４５、２２５度方向、１３５、３１５度方向のエッジの方向成分を検出する。なお、エッジ等の抽出に用いるエッジ抽出フィルタは、キルシュフィルタに限らず、ガボール（Gabor）フィルタなど、公知のフィルタの中から任意のフィルタを選択して利用してもよい。

エッジ抽出部１３２で抽出された人物のエッジ及びそのエッジの方向成分は、特徴量算出部１２２に供給される。

通常、人が体型判定の際には、胸部、腹部、臀部、体の厚み、体の丸み、足の細さに注目していることがわかっている。よって、特徴量算出部１２２では、胸部・腹部のエッジ情報に着目した特徴量「肥満度」を算出する。また、体型判定の特徴量として、「肥満度」、「縦横比」、物体の伸びている方向を表す「慣性主軸」を用いることとした。また、性別の判定については男女で最も差異があると思われる胸部の影響を考慮し、「縦横比」「慣性主軸」と、「２次モーメント」を特徴量として算出する。

よって、特徴量算出部１２２は、肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３を含む構成とされている。

肥満度算出部１４１は、エッジ抽出部１３２で抽出されたエッジをその方向成分に基づいて、例えば、０度、４５度、９０度、１３５度の４種類に分類して、分類された方向成分毎のエッジ数に基づいて肥満度を算出する。

例えば、やせ形の人は、人体前面のエッジの方向が略垂直に近く、４５度、１３５度の角度成分のエッジの数は少なく、肥満の人は、人体前面のエッジの方向に角度を持つので４５度、１３５度の角度成分のエッジの数は多くなる。よって、４５度、１３５度の角度成分のエッジの数の全体のエッジの数に対する割合を求めることにより肥満度を算出することができる。

肥満度は、例えば、下記の式（１）により算出される。

縦横比算出部１４２には、エッジ抽出部１３２からエッジ画像が提供される。縦横比算出部１４２は、人物の上半身側のエッジ画像から人物の上半身の側の幅ｗの平均値を求め
、人物の高さｈの１／２を二乗した値で割ることにより上半身についての縦に対する横の比率を算出する。なお、縦横比は、例えば、下記の式（２）により算出される。

２次モーメント・慣性主軸算出部１４３は、人物の画像I(x,y)についての２次の慣性モーメント及び慣性主軸を求める。２次の慣性モーメント及び慣性主軸により、縦横比とは、異なる特徴量を求めることができる。なお、慣性モーメントにより、回転しやすさ、慣性主軸により人体の延びている方向を検知できる。

なお、２次の慣性モーメント及び慣性主軸は、一般に、下記の式（３）、（４）により算出することができる。

上記特徴量算出部１２２の肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３で算出された肥満度、縦横比、２次モーメント、慣性主軸などの特徴量は、体型判定部１２６に供給される。

体型判定部１２６は、特徴量算出部１２２から供給された特徴量に基づいて体型判定データベース１３０を参照する。

図４は、体型判定データベース１３０のデータ構成図を示す。

体型判定データベース１３０は、体型毎に、肥満度、縦横比、２次モーメント、慣性主軸などの体型を判別するための特徴量が登録された構成とされている。

例えば、体型判定部１２３は、肥満度がＡ11、縦横比がＢ11、２次モーメントがＣ11、慣性主軸がＤ11である場合には、肥満型の体型であると判定し、肥満度がＡ21、縦横比がＢ21、２次モーメントがＣ21、慣性主軸がＤ21である場合には、標準型の体型であると判定し、肥満度がＡ31、縦横比がＢ31、２次モーメントがＣ31、慣性主軸がＤ31である場合には、痩せ形の体型であると判定する。

なお、体型判定データベース１３０は、予め、判定しようとする体型毎、例えば、男／女、痩せ／標準／肥満のサンプル画像データに対して上記式（１）〜（４）を適用して、求められる肥満度、縦横比率、２次モーメント、慣性主軸を、体型毎の特徴量として、登録しておく。

図５に体型判定の具体例を説明するための図、図６は体型判定の具体例に用いられたサンプル画像を示す図である。なお、図６（Ａ）は男性痩せ形のサンプル画像、図６（Ｂ）は男性標準体型のサンプル画像、図６（Ｃ）は男性肥満体型のサンプル画像、図６（Ｄ）は女性痩せ形のサンプル画像、図６（Ｅ）は女性標準体型のサンプル画像、図６（Ｆ）は女性肥満体型のサンプル画像を示す。なお、図５において、男性の身長は１８０ｃｍ、女性の身長は１６０ｃｍとして肥満度、縦横比、２次モーメント、慣性主軸を算出した。

図６（Ａ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＡに示すように肥満度は「０．１１７７１」、縦横比は「０．１０１３１３」、２次モーメントは「９．０５７０９８」、慣性主軸は「―０．７２５６３」となった。

また、図６（Ｂ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＢに示すように肥満度は「０．１１９９８２」、縦横比は「０．１４１１７５」、２次モーメントは「１０．１１５５９２」、慣性主軸は「―３．０６５３０３」となった。

さらに、図６（Ｃ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＣに示すように肥満度は「０．１４４９６４」、縦横比は「０．１４３６９８」、２次モーメントは「１１．１８２７４７」、慣性主軸は「―３．２５９９７８」となった。

図６（Ｄ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＤに示すように肥満度は「０．１４０３３２」、縦横比は「０．１１１４４３」、２次モーメントは「―４．２１６９９」、慣性主軸は「７．１１３０８４」となった。

また、図６（Ｅ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＥに示すように肥満度は「０．１０４６８５」、縦横比は「０．１１５６５９」、２次モーメントは「―２．７６３０９４」、慣性主軸は「７．１６３４３２」となった。

さらに、図６（Ｆ）について上記式（１）〜（４）を用いて肥満度、縦横比、２次モーメント、慣性主軸を算出すると、図５のＦに示すように肥満度は「０．１５８９３２」、縦横比は「０．１３７６４１」、２次モーメントは「１．６８２３８８」、慣性主軸は「７．６９８０８５」となった。

このように、男性は女性に比べて、肥満度、縦横比が小さい。また、２次モーメント、慣性主軸が全く異なる値となることがわかる。

さらに、男性、女性とも肥満体型になるに従って肥満度、縦横比、２次モーメント、慣性主軸が大きくなることがわかる。

図５に示すような肥満度、縦横比、２次モーメント、慣性主軸の値に基づいて閾値を設定し、性別、痩せ形、普通体型、肥満体型の判定を行うことができる。

このように上記式（１）〜（４）を用いて算出される肥満度、縦横比、２次モーメント、慣性主軸を用いることにより体型及び性別を判定することが可能となる。

なお、体型判定部１２３の判定結果及び特徴量算出部１２２の肥満度算出部１４１、縦横比算出部１４２、２次モーメント・慣性主軸算出部１４３で算出された肥満度、縦横比、２次モーメント、慣性主軸などの特徴量は、監視装置１４０に供給される。

図７は監視装置１４０のブロック構成図を示す。

監視装置１４０は、インタフェース１６１、処理部１６２、表示装置１６３、入力装置１６４、記憶部１６５を含む構成とされている。

インタフェース１６１は、ＵＳＢなど各種インタフェースから構成されており、監視カメラ１１０、画像処理装置１２０、人物情報データベース１５０とのインタフェースをとる。

処理部１６２は、ＣＰＵなどから構成されており、記憶部１６５に記憶されている。監視プログラムに基づいて処理を実行する。表示装置１６３は、ＬＣＤ、ＣＲＴなどを含む構成とされており、監視カメラ１１０により撮影された画像を表示したり、人物情報データベース１５０から読み出された候補者の画像及び情報などを表示するのに用いられる。

入力装置１６４は、マウス、キーボード、キースイッチなどを含む構成とされており、画像の切換指示や人物情報データベース１５０の検索などの命令を指示するのに用いられる。

記憶部１６５は、メモリ、ハードディスクドライブなどを含む構成とされており、監視プログラム、検索プログラムなどの各種プログラムがインストールされているとともに、処理部１６２の作業用記憶領域として用いられる。

図８は人物情報データベース１５０のデータ構成図を示す。

人物情報データベース１５０は、例えば、人物毎に、ＩＤ、名称、経歴、顔画像情報、体型情報、備考などが登録された構成とされている。

ここで、監視装置１４０は、監視カメラ１１０からの画像から人物の顔画像を抽出して、人物情報データベース１５０を参照することにより顔認証を行い、監視カメラ１１０に撮影されている人物の候補者を抽出し、さらに、体型判定装置１２０からの監視カメラ１１０からの画像から顔画像が抽出された人物の体型判定結果に基づいて人物情報データベース１５０を参照し、候補者から、更に、体型判定結果が一致する人物を抽出する。

このように、顔認証だけでなく、体型によって候補者を絞り込むことができ、精度よく人物の特定を行うことができるようになる。

また、人物情報データベース１５０に体型分類だけでなく、体型の特徴量を登録することにより、さらに、精細に体型を特定でき、人物の特定を高精度に行えるようになる。

なお、性別により、本実施例で算出される特徴量も変化することが予測できるため、本実施例で算出される特徴量を用いて性別の判定も可能となる。

よって、本実施例の体型判定システム１００を用いることにより、膨大な記録映像の中から「太っている人物の画像を検索する」といった検索技術への応用や、指名手配情報の自動作成などといった応用も期待出来る。

本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形例が考えられることは言うまでもない。

１００ 監視システム
１１０ 監視カメラ
１２０ 体型判定装置
１２１ 画像処理部、１２２ 特徴量算出部、１２３ 体型判定部
１３０ 体型判定データベース
１３１ 矩形画像抽出部、１３２ エッジ抽出部
１４０ 監視装置
１４１ 肥満度算出部、１４２ 縦横比算出
１４３ ２次モーメント・慣性主軸算出部
１５０ 人物情報データベース
１６１ インタフェース、１６２ 処理部、１６３ 表示装置、１６４ 入力装置
１６５ 記憶部

Claims (17)

1. 人物の体型を判別する体型判定方法であって、
   前記人物の全体画像を取得する画像取得手順と、
   前記人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出手順とを含み、
   前記体型特徴量算出手順で算出された前記体型の特徴量に基づいて前記人物の体型を判別する体型判定方法。
2. 前記画像取得手順は、連続する複数の画像から前記人物の矩形画像を抽出し、前記矩形画像抽出手順で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する請求項１記載の体型判定方法。
3. 前記画像取得手順は、前記矩形画像から人物のエッジを抽出する請求項２記載の体型判定方法。
4. 前記画像取得手段は、前記矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する請求項３記載の体型判定方法。
5. 前記体型特徴量算出手順は、前記特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出する請求項１乃至４のいずれか一項記載の体型判定方法。
6. 前記肥満度は、
   により算出される請求項５記載の体型判定方法。
7. 前記縦横比は、
   により算出される請求項５又は６記載の体型判定方法。
8. 前記２次モーメント、慣性主軸は、
   により算出される請求項５乃至７のいずれか一項記載の体型判定方法。
9. 人物の体型を判別する体型判定システムであって、
   前記人物の全体画像を取得する画像取得部と、
   前記人物の全体画像に基づいて体型の特徴量を算出する体型特徴量算出部と、
   前記体型特徴量算出部で算出された前記体型の特徴量に基づいて前記人物の体型を判別する体型判定部とを含む体型判定システム。
10. 前記画像取得部は、連続する複数の画像から前記人物の矩形画像を抽出し、前記矩形画像抽出手順で抽出された複数の矩形画像のうち（高さ／幅）が大きい所定数の矩形画像を抽出する矩形画像抽出部を含む請求項９記載の体型判定システム。
11. 前記画像取得部は、前記矩形画像から人物のエッジを抽出するエッジ抽出部を含む請求項１０記載の体型判定システム。
12. 前記エッジ抽出部は、前記矩形画像にエッジ抽出フィルタを適用することにより、エッジ及びエッジの方向成分を抽出する請求項１１記載の体型判定方法。
13. 前記体型特徴量算出部は、前記特徴量として肥満度、縦横比、２次モーメント、慣性主軸を算出するする請求項９乃至１２のいずれか一項記載の体型判定システム。
14. 前記肥満度は、
    により算出される請求項１３記載の体型判定システム。
15. 前記縦横比は、
    により算出される請求項１３又は１４記載の体型判定システム。
16. 前記２次モーメント、慣性主軸は、
    により算出される請求項１３乃至１５のいずれか一項記載の体型判定システム。
17. 前記体型の特徴量を含む人物の情報が登録された人物データベースと、
    前記体型特徴量算出部で算出された前記特徴量に基づいて前記人物データベースを参照して、前記特徴量に対応する候補者を抽出する候補者抽出部とを含み、
    前記候補者抽出部で抽出された前記候補者の情報を表示装置に表示させ、監視を行う請求項９乃至１６のいずれか一項記載の体型判定システムを用いた監視システム。