JP2004164480A

JP2004164480A - Device, method, and program for estimating character's posture

Info

Publication number: JP2004164480A
Application number: JP2002331880A
Authority: JP
Inventors: Masahide Naemura; 昌秀苗村; Toshihiko Misu; 俊彦三須; Trihan Yogendra; ヨゲンドラトリハン
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2004-06-10
Anticipated expiration: 2022-11-15
Also published as: JP4133247B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a character's posture estimation device, method, and program capable of accurately detecting character's posture or respective portions of the character from a character's silhouette picture. <P>SOLUTION: The character's posture estimation device 1 for estimating the posture of a character concerned from a character's silhouette picture by which the outline of the character can be identified is provided with an outline analyzing processing means 3 for detecting and analyzing the outline of the character from the character's silhouette picture, a minimum circumscribed rectangle detection mans 5 for detecting a minimum rectangle circumscribed with the outline and a segment connecting the middle points of minor sides on the basis of the analytical result, a skeletonizing processing means 7 for generating a skeletonized image by performing skeletonizing processing in the minimum rectangle, a Hough transform processing means 9 for generating Hough parameters by applying Hough transform to the skeletonized image and the segment connecting the middle points of minor sides, and a character center line detection means 11 for detecting a segment based on a compared result of the Hough parameters as a bone axis. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理に用いられる装置に係り、特に、人物シルエット画像から人物の姿勢を推定する人物姿勢推定装置、人物姿勢推定方法および人物姿勢推定プログラムに関する。
【０００２】
【従来の技術】
従来、人物を被写体とした人物画像、とりわけ、当該人物の輪郭線が正確に識別できる人物シルエット画像から、人物の頭部や脚部等の部位を検出する部位検出方法では、輪郭形状解析処理（非特許文献１参照）、或いは、スケルトン処理（非特許文献２参照）のいずれかの処理が施されて、頭部や脚部等の部位が検出されていた。
なお、輪郭形状解析処理は、人物シルエット画像に描かれている人物の輪郭線の凹凸を解析して、人物の輪郭線で囲まれる領域を確定する処理のことである。また、スケルトン処理は、人物シルエット画像に描かれている人物から、レントゲン写真のように、あたかも当該人物の骨格だけを抽出した複数の直線として、当該人物を描画する処理のことである。
【０００３】
また、画像処理した画像を蓄積したり、遠方に送信したりするために、画像を圧縮する画像圧縮手法については、従来、圧縮した圧縮画像を、元々の画像である原画像に復号する際に、当該原画像の画素レベルまで再現可能にすることを目的としたＭＰＥＧ−２等の画像圧縮手法（非特許文献３参照）が広く用いられている。
【０００４】
【非特許文献１】
Ｉ．Ｈａｒｉｔａｏｇｌｕ，Ｄ．Ｈａｒｗｏｏｄ，Ｌ．Ｓ．Ｄａｖｉｓ，“Ｗ４：Ｒｅａｌ−ＴｉｍｅｓｕｒｖｅｉｌｌａｎｃｅｏｆＰｅｏｐｌｅａｎｄＴｈｅｉｒａｃｔｉｖｉｔｉｅｓ”，ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．２２，Ｎｏ．８，Ａｕｇｕｓｔ２０００．
【非特許文献２】
Ｊ．Ｒ．Ｐａｒｋｅｒ，“Ａｌｇｏｒｉｔｈｍｆｏｒｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ”，ＪｏｈｎＷｉｌｅｙ＆Ｓｏｎｓ，Ｉｎｃ．１９９７
【非特許文献３】
藤原洋編 “マルチメディア情報圧縮”，共立出版，２０００
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の部位検出方法における輪郭形状解析処理およびスケルトン処理を、人物の姿勢を推定する手法として用いると、輪郭形状解析処理では、人物が様々な姿勢を取った場合、この様々な姿勢に対して、人物の輪郭形状だけでは、背骨や関節等の曲がり具合まで正確に検出することができないので、当該人物の姿勢を正確に検出することが困難になると共に、検出される頭部や脚部等の部位が不正確になるという問題がある。また、スケルトン処理では、人物が様々な姿勢を取った場合であっても、人物の姿勢への追従性は良好であり、当該人物の姿勢を正確に検出することができ、頭部や脚部等の部位が正確に検出できるが、当該スケルトン処理に伴うノイズの影響が大きく、スケルトン処理が施された処理結果画像から有効領域を抽出する抽出処理を施さなければならないという問題がある。
【０００６】
さらに、画像圧縮手法についても、一般的に利用されているＭＰＥＧ−２では、圧縮した圧縮画像を、元々の画像である原画像に復号する際に、当該原画像の画素レベルまで再現可能にすることを目的としたものであり、画素レベルを問わずに圧縮画像の主要特徴量から原画像を再現可能にする方法は未だに実用化されていない。つまり、原画像を復号する際に、圧縮画像の全ての情報を復号側に伝送しなければならず、伝送コスト（遠隔地の場合、通信コスト）がかかるという問題がある。
【０００７】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、人物の姿勢を検出する際に用いられるスケルトン処理から発生する本来不必要な付随処理（スケルトン処理画像から有効領域を抽出する抽出処理）を施すことなく、人物シルエット画像から人物の姿勢や各部位を正確に検出することができ、また、伝送コスト（遠隔地の場合、通信コスト）をかけることなく、人物シルエット画像の圧縮画像の主要特徴量から原画像を再現することができる人物姿勢推定装置、人物姿勢推定方法および人物姿勢推定プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の人物姿勢推定装置は、人物の輪郭線が識別できる人物シルエット画像から当該人物の姿勢を推定する人物姿勢推定装置であって、前記人物シルエット画像から人物の輪郭線を検出し、検出した人物の輪郭線を解析する輪郭解析処理手段と、この輪郭解析処理手段で解析した解析結果に基づき、前記人物の輪郭線に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段と、この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段と、このスケルトン化処理手段で生成されたスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段と、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、まず、輪郭解析処理手段で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段で、輪郭解析処理手段にて解析された人物の輪郭線に外接する四角形が検出される。この輪郭解析処理手段および最小外接四角形検出手段は、輪郭形状処理（ＣｏｎｖｅｘＨｕｌｌ＆Ｃｏｎｃａｖｅ−ｃｏｎｖｅｘＡｎａｌｙｓｉｓ）に相当するもので、人物を囲む最小の四角形領域を設定するものである。また、最小外接四角形検出手段で、四角形を検出すると共に、当該四角形（四角形領域）の対角線を通り、短辺の中点を結ぶ線分（メディアン軸）が検出される。
【００１０】
そして、スケルトン化処理手段で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。このスケルトン化処理手段では、人物シルエット画像の最小四角形領域における人物のシルエットが、複数の直線からなる線画像とされる。そしてまた、ハフ変換処理手段で、スケルトン処理画像および最小四角形の短辺の中点を結ぶ線分（メディアン軸）にハフ変換が施され、ハフパラメータ（線画像中の複数の直線を複数の点に変換した際のパラメータ）が生成される。なお、このハフ変換処理手段で、最小外接四角形検出手段にて検出されたメディアン軸にハフ変換が施されたものをメディアン軸ハフパラメータとする。
【００１１】
その後、人物中心線検出手段で、メディアン軸ハフパラメータと、スケルトン処理画像のハフパラメータとが比較され、比較された結果に基づいた線分が人物の中心線であるボーン軸（背骨に該当する）として検出される。つまり、この人物中心線検出手段では、ハフ変換処理手段にて生成した複数のハフパラメータと、最小外接四角形検出手段にて検出されたメディアン軸がハフ変換処理手段で処理されたメディアン軸ハフパラメータとをハフ空間にて比較し、メディアン軸ハフパラメータの近傍にあるものを抽出し、抽出したハフパラメータと一致した（一定範囲内にある）スケルトン処理画像の部分をボーン軸（メイン軸）として検出するものである。
【００１２】
請求項２記載の人物姿勢推定装置は、請求項１に記載の人物姿勢推定装置において、前記人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段を備えることを特徴とする。
【００１３】
かかる構成によれば、人物各部位検出処理手段で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段によって変換されたハフパラメータによって検出される。なお、予め、ボーン軸（背骨に該当する）の近傍には、人物の頭部、脚部、腕部が存在することが記録されており、すなわち、ボーン軸の延長上（上方）に位置するハフパラメータで示される頭部、ボーン軸の延長上（下方）に位置する纏まりのある２つのハフパラメータで示される脚部、ボーン軸にほぼ直交するハフパラメータで示される腕部があることが記録されている。
【００１４】
請求項３記載の人物姿勢推定装置は、請求項１または請求項２に記載の人物姿勢推定装置において、前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段を備えることを特徴とする。
【００１５】
かかる構成によれば、パラメトリック表現手段で、ハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が表現される。例えば、このハフパラメータによる直線群を、通信回線網（ネットワーク）を介して、伝送して、この伝送されたハフパラメータによる直線群を受信した側で、人物シルエット画像に描かれている人物の各部位のモデルデータを記録していれば、このハフパラメータによる直線群のみを受信することで、人物シルエット画像に描かれている人物をハフパラメータによる直線群およびモデルデータによって、再現することができる。
【００１６】
請求項４記載の人物姿勢推定装置は、請求項３に記載の人物姿勢推定装置において、前記ハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段を備えることを特徴とする。
【００１７】
かかる構成によれば、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。なお、この近似画像再現手段およびモデルデータを、当該装置にネットワークを介して接続される端末が備えていれば、ハフパラメータを送信するだけで、当該端末にて人物シルエット近似画像を再現させることができる。
【００１８】
請求項５記載の人物姿勢推定方法は、人物のシルエットを含む人物シルエット画像によって描画されている人物の姿勢を推定する人物姿勢推定方法であって、前記シルエットの輪郭形状に基づいて、当該輪郭形状に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を算出するステップと、前記最小四角形で囲まれた領域の人物シルエット画像にスケルトン処理を施すステップと、前記スケルトン処理により取得したスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分にハフ変換を施してハフパラメータを取得するステップと、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を人物の中心線とするステップと、前記人物の中心線に基づいて人物の姿勢を推定することを特徴とする。
【００１９】
この方法によれば、人物シルエット画像のシルエットの輪郭形状が解析され、この輪郭に外接する最小四角形およびこの最小四角形の短辺の中点を結ぶ線分が算出される。そして、この四角形で囲まれた人物シルエット画像からスケルトン画像が取得され、このスケルトン画像および最小四角形の短辺の中点を結ぶ線分にハフ変換が施され、ハフパラメータが取得される。その後、最小四角形の短辺の中点を結ぶ線分のパラメータとスケルトン処理画像のハフパラメータとを比較した結果に基づいた線分が人物の中心線として検出され、この人物の中心線に基づいて人物の姿勢が推定される。
【００２０】
請求項６記載の人物姿勢推定プログラムは、人物を被写体とした人物シルエット画像を入力画像として画像処理を施す装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記人物シルエット画像から人物シルエットを検出し、検出した人物シルエットの輪郭を解析する輪郭解析処理手段、この輪郭解析処理手段で解析した解析結果に基づき、前記人物シルエットに外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段、この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段、このスケルトン化処理手段で生成されたスケルトン処理画像および当該最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段、この人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段、前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段、このパラメトリック表現手段で表現されたハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段、である。
【００２１】
かかる構成によれば、輪郭解析処理手段で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段で、輪郭解析処理手段にて解析された人物の輪郭線に外接する最小四角形およびこの最小四角形の短辺の中点を結ぶ線分が検出される。さらに、この最小外接四角形検出手段で、最小四角形の対角線を通り、短辺の中点を結ぶメディアン軸が検出される。スケルトン化処理手段で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。そしてまた、ハフ変換処理手段で、スケルトン処理画像および最小四角形の短辺の中点を結ぶ線分にハフ変換が施され、ハフパラメータが生成される。その後、人物中心線検出手段で、最小四角形の短辺の中点を結ぶ線分ハフパラメータと、スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分が人物の中心線であるボーン軸（背骨に該当する）として検出される。さらに、人物各部位検出処理手段で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段によって変換されたハフパラメータによって検出される。さらにまた、パラメトリック表現手段で、ハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が表現される。そしてまた、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。
【００２２】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（人物姿勢推定装置の構成）
図１は人物姿勢推定装置のブロック図である。この図１に示すように、人物姿勢推定装置１は、入力された人物シルエット画像から人物の姿勢を推定するもので、輪郭解析処理手段３と、最小外接四角形検出手段５と、スケルトン化処理手段７と、ハフ変換処理手段９と、人物中心線検出手段１１と、人物各部位検出処理手段１３と、パラメトリック表現手段１５と、送信手段１７と、近似画像再現手段１９と、記録手段２１とを備えている。なお、人物シルエット画像は、クロマキー手法等のオブジェクト抽出手法で人物の画像が抽出されたもので、当該人物の輪郭線が正確に識別できるものである。
【００２３】
輪郭解析処理手段３は、入力された人物シルエット画像に描かれている人物の輪郭線について、凹凸部の凸部分のみを辿る処理を施して、この凸部分のみを辿った結果、凸部分によって囲まれた箇所を当該人物の画像とし、人物の輪郭線を識別（解析）するものである。
【００２４】
最小外接四角形検出手段５は、輪郭解析処理手段３によって識別された人物の輪郭線に外接する四角形の中で最小となるものを検出するものである。この四角形で囲まれた所を四角形領域とし、これら輪郭解析処理手段３および最小外接四角形検出手段５によって、人物シルエット画像に描かれている人物の人物形状を構成する各部位は、必ず、この四角形領域に含まれることになる。また、この最小外接四角形検出手段５は、四角形領域の対角線の交点を通り、短辺の中点を結ぶ線分（メディアン軸）を検出するものである。
【００２５】
スケルトン化処理手段７は、人物シルエット画像に描かれている人物の人物形状の骨格部分を、当該人物シルエット画像の四角形領域から忠実に抽出したスケルトン処理画像を生成するものである。通常、スケルトン処理では、人物シルエット画像から抽出された人物の骨格部分は、人物形状の輪郭部分でノイズを多く含んでいると共に、人物シルエット画像から抽出された人物の骨格部分が、背骨部分、頭部、脚部または腕部を表現しているのか特定できない。このため、このスケルトン化処理手段７は、輪郭解析処理手段３および最小外接四角形検出手段５で得られた四角形領域内のみにスケルトン処理を施して、スケルトン処理画像を生成している。
【００２６】
スケルトン化処理は、人物や動物の動きを分析するための処理であり、画像中の人物や動物を、当該人物や動物の主要な骨格に相当する直線群によって表現するものである。
【００２７】
スケルトン処理画像は、人物の骨格部分を示す複数の直線からなるものである。通常、人物の骨格において、最長のものが背骨であるので、スケルトン処理画像では、複数の直線の中で最長の直線を背骨部ととらえることができる。また、この最長の直線（背骨部）に直交する直線を腕部ととらえ、最長の直線の上方にあるものを頭部（顔面部）ととらえ、最長の直線の下方にあるものを脚部ととらえることができる。
【００２８】
ハフ変換処理手段９は、スケルトン化処理手段７で生成されたスケルトン処理画像および最小外接四角形検出手段５で検出されたメディアン軸にハフ変換を施すものである。このハフ変換は、ＸＹ平面（ＸＹＺ空間）上の直線をハフ平面（ハフ空間）上の点に変換するものであり、ハフ平面（ハフ空間）は原点からの距離と、当該直線がＸ軸（１つの軸）となす角度とによって表されるものである。これら原点からの距離およびＸ軸（１つの軸）となす角度がハフパラメータである。つまり、このハフ変換処理手段９では、四角形領域に存在する複数の直線が複数の点に変換され、これらの複数の点がハフパラメータとして表される。なお、メディアン軸を表すハフパラメータをメディアン軸ハフパラメータと表記する。
【００２９】
すなわち、ハフ変換は、直線を検出するための処理であり、ＸＹ平面上の直線を、当該ＸＹ平面の原点から直線に下ろした垂線の長さρと、この垂線がＸ軸となす角θとを用いて表現可能なように、当該直線を変換するものである。この場合の垂線の長さおよび垂線がＸ軸となす角がハフパラメータである。また、ハフ変換とは、厳密には異なるが、例えば、ＸＹ平面上の直線ｙ＝ａｘ＋ｂを、傾きａ、ｙ切片ｂからなる「傾きａ、ｙ切片ｂ」平面（空間）で表現することも可能である。
【００３０】
人物中心線検出手段１１は、ハフ変換処理手段９で処理されたメディアン軸ハフパラメータと、スケルトン処理画像のハフパラメータとを比較して、人物シルエット画像に描かれている人物の中心線を検出するものである。つまり、この人物中心検出手段１１は、ハフ平面（ハフ空間）において、メディアン軸ハフパラメータの近くに位置するハフパラメータを検出し、このハフパラメータによって構成された線分部分をボーン軸（人物中心線、背骨）とするものである。なお、この人物中心線検出手段１１におけるボーン軸の検出の詳細については後記することとする（図５の説明にて行う）。
【００３１】
なお、このハフ平面（ハフ空間）の場合において、メディアン軸ハフパラメータと「近く」に位置するとは、メディアン軸ハフパラメータから、スケルトン処理画像をハフ変換して取得されたハフパラメータまでの距離が予め決められた値の範囲に入ることを指している。そして、この人物中心線検出手段１１は、メディアン軸ハフパラメータからハフパラメータまでの距離が予め決められた値の範囲に入るものだけを選択して処理するものである。
【００３２】
人物各部位検出処理手段１３は、ハフ変換処理手段９で処理されたハフパラメータと、人物中心線検出手段１１で検出されたボーン軸と、記録手段２１に記録されている人物骨格仮定情報とに基づいて、人物の各部位である頭部、脚部、腕部を検出処理するものである。
【００３３】
人物骨格仮定情報は、例えば、ボーン軸（背骨）の上方への延長線上には頭部、或いは、ボーン軸（背骨）の下方への延長線上には脚部が存在するという人物の骨格に関する仮定に基づいた情報である。
【００３４】
また、この人物骨格情報には、頭部（頭）と腕部（手）との部分の切り分けについて、当該頭部または腕部が一方よりも長い方を腕部とすることが含まれている。また、人物各部位検出処理手段１３は、記録手段２１に前回の各部位検出結果を記録しておき、この結果を参照して、人物の各部位を検出することも可能に構成されている。さらに、人物骨格情報には、ボーン軸に接続していて、どの部位にも所属していない部分を腕部とすることが含まれている。
【００３５】
この人物各部位検出処理手段１３の各部位の検出においても、それぞれの部位（頭部、脚部、腕部）の表現は、ボーン軸と同様にハフパラメータでなされる。
【００３６】
パラメトリック表現手段１５は、人物中心線検出手段１１で検出されたメディアン軸ハフパラメータと、人物各部位検出処理手段１３で検出された各部位（頭部、腕部、脚部）のハフパラメータとに基づいて、これらのハフパラメータを直線に再変換し、再変換した直線に置き換えて、人物シルエット画像に描かれている人物を表現するもの（線画によって模擬的に人物を描くこと）である。
【００３７】
送信手段１７は、パラメトリック表現手段１５に供されたメディアン軸ハフパラメータおよび各部位のハフパラメータ、或いは、パラメトリック表現手段１５で表現された線画を、ネットワークを介して外部に送信するものである。
【００３８】
近似画像再現手段１９は、パラメトリック表現手段１５で表現された線画（ハフパラメータが再変換された直線の集まり）と、記録手段２１に記録されている人物のモデルデータとに基づいて、ハフパラメータを人物のモデルデータにマッチングさせて、当該装置１に入力された人物シルエット画像に近似した画像である人物シルエット近似画像を再現するものである。この近似画像再現手段１９で再現された近似画像は、当該装置１から外部に出力可能である。人物のモデルデータは、人物の各部位である頭部、脚部、腕部がＣＧによって、複数パターン描画されたものからなるものである。
【００３９】
記録手段２１は、人物各部位検出処理手段１３で利用される人物骨格情報と、近似画像再現手段１９で利用される人物のモデルデータと、人物各部位検出処理手段１３で検出された前回の各部位検出結果とを記録しているものである。
【００４０】
この人物姿勢推定装置１によれば、輪郭解析処理手段３で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段５で、輪郭解析処理手段３にて解析された人物の輪郭線に外接する四角形が検出される。また、最小外接四角形検出手段５で、最小四角形の対角線を通り短辺の中点を結ぶメディアン軸が検出され、このメディアン軸ハフパラメータが算出される。そして、スケルトン化処理手段７で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。また、ハフ変換処理手段９で、スケルトン処理画像にハフ変換が施され、ハフパラメータが生成される。
【００４１】
その後、人物中心線検出手段１１で、ハフ変換処理手段９にて生成されたハフパラメータによって構成される線分部分が人物の中心線であるボーン軸（背骨に該当する）として検出される。このボーン軸が人物の背骨に相当しており、このボーン軸によって、人物シルエット画像に描かれている人物のおおよその姿勢を推定することができる。例えば、人物シルエット画像に描かれている人物は、直立しているとか（ボーン軸が地表面に対して垂直である）、お辞儀をしている（上半身を前方に傾斜させている；ボーン軸が前方に傾斜している）とかを推定することが可能である。
【００４２】
また、この人物姿勢推定装置１は、人物各部位検出処理手段１３で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段９によって変換されたハフパラメータによって検出される。これによって、人物シルエット画像から人物の姿勢や各部位を正確に検出することができる。
【００４３】
さらに、パラメトリック表現手段１５でハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が線画で表現される。ハフパラメータは、人物シルエット画像の圧縮画像の主要特徴量ということができ、このハフパラメータまたはハフパラメータによる直線群によって、人物シルエット画像を再現することができる。
【００４４】
さらにまた、近似画像再現手段１９で、ハフパラメータと人物のモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像を再現することができる。つまり、ハフパラメータは人物シルエット画像の圧縮画像の主要特徴量ということができるためである。
【００４５】
（人物姿勢推定装置の動作）
次に、図２に示すフローチャートを参照して、人物姿勢推定装置１の動作を説明する（適宜、図１参照）。
まず、人物姿勢推定装置１の輪郭解析手段３に人物シルエット画像が入力され、この輪郭解析手段３で、人物シルエット画像に描かれている人物の輪郭が解析される（Ｓ１）。この輪郭解析手段３にて解析された結果に基づいて、最小外接四角形検出手段５で人物の輪郭に外接する四角形が検出される（Ｓ２）。
【００４６】
続いて、最小外接四角形検出手段５で検出された四角形に囲まれた領域である四角形領域内（最小四角形内）について、スケルトン化処理手段７で、スケルトン処理が施され、スケルトン処理画像が生成される（Ｓ３）。そして、ハフ変換処理手段９で、スケルトン処理画像にハフ変換処理が施され、ハフパラメータが生成される（Ｓ４）。
【００４７】
そして、人物中心線検出手段１１で、ハフ変換処理手段９にて生成されたハフパラメータに基づいて、人物の背骨部に該当する人物中心線（ボーン軸）が検出される（Ｓ５）。なお、当然のことながら、人物中心線の一定範囲（人物中心線を中心軸とみなした略円筒部）が人物の胴体部であるといえる。また、人物各部位検出処理手段１３で、人物中心線検出手段１１にて検出された人物中心線（ボーン軸）を基準として、記録手段２１に記録されている人物骨格情報に基づいて、人物の各部位（頭部、脚部、腕部）のハフパラメータが検出される（Ｓ６）。ただし、例えば、人物中心線検出手段１１で検出された人物中心線（ボーン軸）が地表面に対して、水平（略水平）である場合には、人物骨格情報が適用できない可能性があるため（正確に人物の各部位が検出できない恐れがあるので）、記録手段２１に記録されている人物各部位検出処理手段１３にて検出された前回の各部位検出結果が参照されて、人物の各部位（頭部、脚部、腕部）のハフパラメータが検出される。
【００４８】
そしてまた、パラメトリック表現手段１５で、人物中心線検出手段１１および人物各部位検出処理手段１３にて検出された人物中心線および人物の各部位（頭部、脚部、腕部）のハフパラメータに基づいて、これらのハフパラメータが直線に再変換され、当該人物が線画で表現される（Ｓ７）。さらに、送信手段１７で、パラメトリック表現手段１５にてハフパラメータによって描画した人物またはハフパラメータ自体がネットワークを介して外部機器（図示せず）に送信される（Ｓ８）。
【００４９】
その後、近似画像再現表現手段１９で、パラメトリック表現手段１５にてハフパラメータによって描画した人物と、記録手段２１に記録されている人物のモデルデータとがマッチングされ、人物シルエット近似画像が生成され、外部に出力される（Ｓ９）。
【００５０】
（人物姿勢推定装置によりハフパラメータ（ビット数削減）を伝送する応用例）次に、図３を参照して、人物姿勢推定装置１によりハフパラメータを伝送する応用例について説明する。図３は、人物姿勢推定装置１を含む人物姿勢推定システムの説明図である。
【００５１】
この図３に示すように、人物姿勢推定システムには、人物姿勢推定装置１とネットワークを介して接続される人物姿勢推定端末３１が備えられている。この人物姿勢推定端末３１は、人物姿勢推定装置１から送信（伝送）されたハフパラメータに基づいて、人物シルエット近似画像を出力するもので、ハフパラメータ受信手段３３と、近似画像再現手段３５と、モデル図形データベース３７とを備えている。
【００５２】
ハフパラメータ受信手段３３は、人物姿勢推定装置１から送信（伝送）されたハフパラメータを受信するものである。
【００５３】
近似画像再現手段３５は、ハフパラメータ受信手段３３で、受信されたハフパラメータと、モデル図形データベース３７に蓄積されているモデル図形（人物のモデルデータ）に基づいて、人物シルエット近似画像を生成するものである。
【００５４】
なお、この近似画像再現手段３５は、人物姿勢推定装置１の近似画像再現手段１９（図１参照）とは異なっている。つまり、近似画像再現手段１９（図１参照）がパラメトリック表現手段１５（図１参照）で表現された線画、記録手段２１（図１参照）に記録されている人物のモデルデータとに基づいて、ハフパラメータを人物のモデルデータにマッチングさせて、当該装置１に入力された人物シルエット画像に近似した画像である人物シルエット近似画像を生成するのに対し、この近似画像再現手段３５は、ハフパラメータとモデル図形とによって人物シルエット近似画像を生成するものである。
【００５５】
この図３に示したように、人物姿勢推定端末３１から出力される人物シルエット近似画像は、ボーン軸を中心線にした長方形の胴体部と、この胴体部から下方に位置して２つに分かれている長方形の脚部と、胴体部の上方に位置する円形の頭部と、胴体部の側方の中間地点から延出している２つの長方形の腕部とから構成されている。
【００５６】
モデル図形データベース３７は、モデル図形（人物のモデルデータ）を蓄積するもので、この図３に示したように、このモデル図形は、人物シルエット近似画像の一部分になる、ＣＧ等で生成された“四角形”や“円形”等である。
【００５７】
この人物姿勢推定システム（人物姿勢推定装置１および人物姿勢推定端末３１）によれば、人物姿勢推定装置１の輪郭解析処理手段３（図１参照）の解析結果に対して、最小外接四角形検出手段５（図１参照）で外接する最小四角形が検出され、スケルトン化処理手段７（図１参照）でスケルトン処理が施され、ハフ変換処理手段９（図１参照）でハフ変換が施されたハフパラメータが生成され、人物中心線検出手段１１（図１参照）でボーン軸が抽出される。その後、ハフパラメータが人物姿勢推定端末３１に送信される。
【００５８】
このハフパラメータを受信した人物姿勢推定端末３１では、各部位（頭部、脚部、腕部）に相当するハフパラメータが得られ、このハフパラメータを、モデル図形データベース３７に記録されている人物の各部位（頭部、脚部、腕部）のモデル図形とマッチングさせることで、元々の人物シルエット画像に近似した人物シルエット近似画像を再現することができる。また、人物シルエット画像を送信側からそのまま送信する場合と比較して、ハフパラメータのみを送信（伝送）するだけなので、大幅な伝送量を圧縮することができる。すなわち、ハフパラメータ送信（伝送）によって、圧縮符号化を実現することができる。
【００５９】
（人物シルエット画像の移り変わりについて）
次に、図４を参照して、人物姿勢推定装置１における人物シルエット画像の移り変わりについて説明する。図４（ａ）は、人物シルエット画像を示したものであり、図４（ｂ）は、人物シルエット画像を輪郭解析処理手段３によって輪郭解析した結果、最も外側にある凸部を包含するように人物のシルエットを枠で囲んだ図を示しており、図（ｃ）は、最小外接四角形検出手段５によって、最小外接四角形で人物のシルエットを囲んだ図を示しており、図４（ｄ）は、最小外接四角形で囲まれた四角形領域にスケルトン化処理手段７でスケルトン処理を施して、人物のシルエットの骨格部を表現した図を示している。また、図４（ｄ）に示したＴｈ１，Ｒ１がハフパラメータである。
【００６０】
これら図４（ａ）〜図４（ｄ）における人物シルエット画像に描かれている人物は、当該人物が歩行している状態を当該人物の後方から撮影したものである。これらの図４（ａ）〜図４（ｄ）から人物シルエット画像に描かれている人物の背骨部が前方に傾斜しており、右脚部が胴体部の前に踏み出しており、右腕部が胴体部の前に軽く振り上げられていることが視認できる。そして、図４（ｄ）に示したスケルトン処理の後で、ハフパラメータに変換される。
【００６１】
すなわち、これら図４（ａ）〜図４（ｄ）に示したように、人物姿勢推定装置１では、入力された人物シルエット画像が、輪郭解析処理手段３、最小外接四角形検出手段５およびスケルトン化処理手段７で処理されて、人物シルエット画像に描かれている人物の姿勢を推定することができる。
【００６２】
（人物中心線検出手段におけるボーン軸の検出について）
次に、図５を参照して、人物姿勢推定装置１の人物中心線検出手段１１におけるボーン軸の検出の詳細（仕方）について説明する。
この図５は、ハフ空間を示したものであり、ハフ空間は、縦軸にＸＹ平面における原点から直線までの距離ρ、横軸にＸＹ平面におけるＸ軸と直線とのなす角度θを取ったものである。図５中、“×”がメディアン軸ハフパラメータであり、“・”がハフ変換処理手段９で変換されたハフパラメータである。この図５に示したように、ハフ変換処理手段９で変換されたハフパラメータの中で、メディアン軸ハフパラメータの近傍（一定範囲内）にあるものがボーン軸として、人物中心線検出手段１１で検出される。
【００６３】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、人物姿勢推定装置１の各構成の処理を一つずつの過程ととらえた人物姿勢推定方法とみなすことや、人物姿勢推定装置１の各構成の処理を汎用的なコンピュータ言語で記述した人物姿勢推定プログラムとみなすことも可能である。これらの場合、人物姿勢推定装置１と同様の効果を得ることができる。
【００６４】
【発明の効果】
請求項１、５、６記載の発明によれば、最小四角形の領域内だけでスケルトン処理が施されるので、スケルトン処理を施した後で、ノイズを除去するための抽出処理を施す必要がなくなり、さらに、従来の方法のように輪郭解析処理を単独で施した場合に比べて、最小四角形の短辺を結ぶ線分およびスケルトン処理画像から算出したハフパラメータの比較によって人物の中心線であるボーン軸を検出しているので、人物シルエット画像に描かれている人物の姿勢を正確に検出することができる。
【００６５】
請求項２記載の発明によれば、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフパラメータによって検出される。このハフパラメータの検出によって、人物シルエット画像から人物の姿勢や各部位を正確に検出することができる。
【００６６】
請求項３記載の発明によれば、パラメトリック表現手段でハフパラメータによる直線群によって、人物シルエット画像に描画されている人物を線画として表現することができる。ハフパラメータによる直線群、または、ハフパラメータは、人物シルエット画像の圧縮画像の主要特徴量であるということができる。例えば、このハフパラメータによる直線群、または、ハフパラメータを、ネットワークを介して伝送して、これらハフパラメータによる直線群、または、ハフパラメータを受信した側で、人物シルエット画像のモデルデータを備えていれば、伝送コスト（遠隔地の場合、通信コスト）をかけることなく、人物シルエット画像の圧縮画像の主要特徴量から原画像を再現することができる。
【００６７】
請求項４記載の発明によれば、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。つまり、ハフパラメータは人物シルエット画像の圧縮画像の主要特徴量に相当し、このハフパラメータから原画像（人物シルエット画像）を再現することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である人物姿勢推定装置のブロック図である。
【図２】図１に示した人物姿勢推定装置の動作を説明したフローチャートである。
【図３】人物姿勢推定装置の応用例を説明した図である。
【図４】人物姿勢推定装置における人物シルエット画像の移り変わりを説明した図である。
【図５】ハフ空間を説明した図である。
【符号の説明】
１人物姿勢推定装置
３輪郭解析処理手段
５最小外接四角形検出手段
７スケルトン化処理手段
９ハフ変換処理手段
１１人物中心線検出手段
１３人物各部位検出処理手段
１５パラメトリック表現手段
１７送信手段
１９近似画像再現手段
２１記録手段
３１人物姿勢推定端末
３３ハフパラメータ受信手段
３５近似画像再現手段
３７モデル図形データベース[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a device used for image processing, and more particularly to a person posture estimation device, a person posture estimation method, and a person posture estimation program for estimating the posture of a person from a person silhouette image.
[0002]
[Prior art]
Conventionally, in a part detection method for detecting a part such as a head or a leg of a person from a person image in which a person is a subject, in particular, a person silhouette image in which a contour of the person can be accurately identified, a contour shape analysis process ( Non-patent document 1) or skeleton processing (see non-patent document 2) has been performed, and a site such as a head or a leg has been detected.
Note that the contour shape analysis process is a process of analyzing the unevenness of the contour of a person drawn in the person silhouette image and determining an area surrounded by the contour of the person. The skeleton process is a process of drawing a person from a person drawn in a person silhouette image as a plurality of straight lines obtained by extracting only the skeleton of the person, as in an X-ray photograph.
[0003]
In addition, image compression techniques for compressing an image in order to store the image-processed image or to transmit the image to a distant place have been conventionally used when decoding a compressed image into an original image which is an original image. An image compression technique such as MPEG-2 (see Non-Patent Document 3) for the purpose of enabling reproduction to the pixel level of the original image has been widely used.
[0004]
[Non-patent document 1]
I. Haritaoglu, D .; Harwood, L .; S. Davis, "W4: Real-Time Survey of People and Their activities", IEEE Trans. PAMI, Vol. 22, No. 8, August 2000.
[Non-patent document 2]
J. R. Parker, "Algorithm for image processing and computer vision", John Wiley & Sons, Inc. 1997
[Non-Patent Document 3]
Hiroshi Fujiwara "Multimedia Information Compression", Kyoritsu Shuppan, 2000
[0005]
[Problems to be solved by the invention]
However, when the contour shape analysis process and the skeleton process in the conventional part detection method are used as a method for estimating the posture of a person, in the contour shape analysis process, when the person takes various postures, Therefore, it is difficult to accurately detect the degree of bending of a spine, a joint, or the like by using only the contour shape of a person. There is a problem that parts such as are inaccurate. Also, in the skeleton processing, even when the person takes various postures, the followability to the posture of the person is good, and the posture of the person can be accurately detected, and the head and the legs can be detected. And the like can be detected accurately, but there is a problem that the influence of noise accompanying the skeleton processing is large and an extraction processing for extracting an effective area from the processing result image subjected to the skeleton processing must be performed.
[0006]
Further, as for the image compression method, in MPEG-2 which is generally used, when a compressed image is decoded into an original image which is an original image, the compressed image can be reproduced to the pixel level of the original image. Therefore, a method for reproducing an original image from a main feature amount of a compressed image irrespective of a pixel level has not yet been put to practical use. That is, when decoding the original image, all the information of the compressed image must be transmitted to the decoding side, and there is a problem that transmission cost (communication cost in the case of a remote place) is required.
[0007]
In view of the above, an object of the present invention is to solve the above-described problem of the related art, and to extract an effective area from a skeleton processing image that is originally unnecessary and is unnecessary from a skeleton processing used in detecting a posture of a person. Extraction processing), the posture and various parts of the person can be accurately detected from the person silhouette image, and the compression of the person silhouette image can be performed without imposing transmission costs (communication costs in the case of remote locations). An object of the present invention is to provide a person posture estimating device, a person posture estimating method, and a person posture estimating program capable of reproducing an original image from main feature amounts of an image.
[0008]
[Means for Solving the Problems]
The present invention has the following configuration to achieve the above object.
A person posture estimating device according to claim 1, wherein the person posture estimating device estimates a posture of the person from a person silhouette image in which a contour line of the person can be identified, and detects a contour line of the person from the person silhouette image, Contour analysis processing means for analyzing the contour of the detected person, and, based on the analysis result analyzed by the contour analysis processing means, connects a minimum rectangle circumscribing the contour of the person and a midpoint of a short side of the minimum rectangle. A minimum circumscribed rectangle detecting means for detecting a line segment, a skeletonization processing means for performing skeletonization processing to generate a skeleton processing image within the minimum rectangle detected by the minimum circumscribed rectangle detection means, and the skeletonization processing A Hough transformation is performed on a line segment connecting the skeleton processing image generated by the means and the midpoint of the short side of the minimum rectangle to generate a Hough parameter. Transform processing means, a line segment based on the result of comparing the Hough parameter of the line connecting the midpoints of the short sides of the minimum rectangle and the Huff parameter of the skeleton processed image to a bone axis which is the center line of the person And a person center line detecting means for detecting as.
[0009]
According to this configuration, first, the contour analysis processing means detects the contour of the person from the silhouette image of the person, and analyzes the detected contour of the person. Subsequently, a rectangle circumscribing the contour of the person analyzed by the contour analysis processing means is detected by the minimum circumscribed rectangle detection means. The contour analysis processing means and the minimum circumscribed rectangle detection means correspond to contour shape processing (Convex Hull & Concave-Convex Analysis), and set a minimum rectangular area surrounding a person. The minimum circumscribed quadrangle detecting means detects the quadrangle and detects a line segment (median axis) passing through the diagonal of the quadrangle (quadrilateral region) and connecting the midpoints of the short sides.
[0010]
Then, skeleton processing is performed only on the area defined by the minimum rectangle by the skeletonization processing means, and a skeleton processed image is generated. In this skeletonization processing means, the silhouette of the person in the minimum square area of the person silhouette image is converted into a line image composed of a plurality of straight lines. Further, the Hough transform processing means performs Hough transform on a line segment (median axis) connecting the skeleton-processed image and the midpoint of the short side of the minimum rectangle, and converts the Hough parameters (a plurality of straight lines in the line image into a plurality of points). ) Is generated. The Hough transform processing means which performs a Hough transform on the median axis detected by the minimum circumscribed quadrangle detection means is defined as a median axis Hough parameter.
[0011]
Thereafter, the median axis Huff parameter and the Huff parameter of the skeleton processed image are compared by the person center line detecting means, and a line segment based on the comparison result is a bone axis (corresponding to the spine) which is the center line of the person. Is detected as That is, in this person center line detecting means, a plurality of Hough parameters generated by the Hough transform processing means, and a median axis detected by the minimum circumscribed quadrangle detecting means, and a median axis Hough parameter processed by the Hough transform processing means. Are compared in the Huff space, the one near the median axis Huff parameter is extracted, and the part of the skeleton processing image (within a certain range) that matches the extracted Huff parameter is detected as the bone axis (main axis). Things.
[0012]
The person posture estimating device according to claim 2 is the person posture estimating device according to claim 1, wherein the head, the leg, and the arm of the person are based on the bone axis detected by the person center line detecting unit. Characterized in that it is provided with means for detecting each part of a person, which detects at least a part of the part by the Hough parameter.
[0013]
According to this configuration, at least a part of the head, the leg, and the arm of the person is detected based on the bone axis by the Hough parameter converted by the Hough conversion unit in the individual part detection processing unit. It is recorded in advance that the head, legs, and arms of the person exist near the bone axis (corresponding to the spine), that is, the person is located on the extension (upper side) of the bone axis. It is recorded that there is a head indicated by the Hough parameter, a leg indicated by two grouped Huff parameters located above (below) the extension of the bone axis, and an arm indicated by a Huff parameter substantially orthogonal to the bone axis. Have been.
[0014]
According to a third aspect of the present invention, in the human posture estimating apparatus according to the first or second aspect, the human posture estimating apparatus further includes a parametric expression unit that expresses the human in the human silhouette image using the Huff parameter. And
[0015]
According to this configuration, the person drawn on the person silhouette image is represented by the group of straight lines based on the Hough parameter by the parametric expression means. For example, a group of straight lines based on the Hough parameters is transmitted via a communication line network, and the line group based on the transmitted Hough parameters is received. If the model data of the part is recorded, the person drawn in the person silhouette image can be reproduced by the line group and the model data based on the Hough parameter by receiving only the group of lines based on the Hough parameter.
[0016]
According to a fourth aspect of the present invention, in the person posture estimating apparatus according to the third aspect, the person silhouette approximated to the person silhouette image based on the Huff parameter and preset model data of the person. It is characterized by comprising an approximate image reproducing means for reproducing an approximate image.
[0017]
According to such a configuration, the approximate image reproducing means reproduces a person silhouette approximate image approximate to the human silhouette image based on the Huff parameter and the model data. If the terminal connected to the device via the network has the approximate image reproducing means and the model data, the terminal can reproduce the human silhouette approximate image only by transmitting the Huff parameter. it can.
[0018]
6. The person posture estimating method according to claim 5, wherein the person posture estimating method estimates a posture of a person drawn by a person silhouette image including a silhouette of the person. Calculating a line segment connecting the minimum rectangle circumscribing the middle point and the midpoint of the short side of the minimum rectangle; performing a skeleton process on the person silhouette image of the area surrounded by the minimum rectangle; and obtaining the skeleton process. Obtaining a Huff parameter by performing a Hough transform on a line segment connecting the midpoints of the short sides of the skeleton processed image and the minimum rectangle, and a Huff parameter of a line connecting the midpoints of the short sides of the minimum rectangle, and Setting a line segment based on the result of comparing the Huff parameter of the skeleton processed image with the center line of the person; And estimating the posture of a person based on the core wire.
[0019]
According to this method, the contour shape of the silhouette of the person silhouette image is analyzed, and a line segment connecting the minimum rectangle circumscribing the contour and the midpoint of the short side of the minimum rectangle is calculated. Then, a skeleton image is obtained from the person silhouette image surrounded by the rectangle, a Hough transform is performed on a line connecting the skeleton image and the midpoint of the short side of the minimum rectangle, and a Hough parameter is obtained. Thereafter, a line segment based on the result of comparing the parameter of the line segment connecting the midpoints of the short sides of the minimum rectangle and the Huff parameter of the skeleton processed image is detected as the center line of the person, and based on the center line of this person. The posture of the person is estimated.
[0020]
According to a sixth aspect of the present invention, the human posture estimating program causes an apparatus that performs image processing using a person silhouette image of a person as a subject as an input image to function as the following means. Means for causing the device to function is a contour analysis processing means for detecting a person silhouette from the person silhouette image and analyzing the contour of the detected person silhouette, based on the analysis result analyzed by the contour analysis processing means, A circumscribing rectangle and a minimum circumscribing rectangle detecting means for detecting a line segment connecting the midpoints of the short sides of the minimum rectangle; a skeletonizing process performed in the minimum rectangle detected by the minimum circumscribing rectangle detecting means; A skeletonization processing unit for generating a processed image, and a Hough transformation for generating a Hough parameter by performing a Hough transform on a line segment connecting the skeletonized image generated by the skeletonization processing unit and a midpoint of the short side of the minimum rectangle. Conversion processing means, a Hough parameter of a line connecting midpoints of short sides of the minimum rectangle, and a Huff parameter of the skeleton processing image. A person center line detecting means for detecting a line segment based on the result of comparison with the parameter as a bone axis which is the center line of the person, based on the bone axis detected by the person center line detecting means, Means for detecting at least a part of a head, a leg, and an arm by using the Hough parameter; a parametric expression means for expressing the person in the human silhouette image by the Huff parameter; and a parametric expression means. And an approximate image reproducing unit that reproduces a human silhouette approximate image similar to the human silhouette image based on the Huff parameters represented by (1) and model data of the human set in advance.
[0021]
According to this configuration, the contour analysis processing means detects the contour of the person from the silhouette image of the person, and analyzes the detected contour of the person. Subsequently, the minimum circumscribed rectangle detection means detects the minimum rectangle circumscribing the contour of the person analyzed by the contour analysis processing means and a line segment connecting the midpoints of the short sides of the minimum rectangle. Further, the minimum circumscribed rectangle detecting means detects a median axis which passes through the diagonal line of the minimum rectangle and connects the midpoint of the short side. Skeletonization processing means performs skeleton processing only on the area defined by the minimum rectangle, and generates a skeleton processing image. Further, the Hough transform processing means performs a Hough transform on a line segment connecting the skeleton processed image and the midpoint of the short side of the minimum rectangle to generate a Hough parameter. Thereafter, the person center line detecting unit compares the line segment Huff parameter connecting the midpoints of the short sides of the minimum rectangle with the Huff parameter of the skeleton processing image, and the line segment based on the result of the comparison is the bone axis which is the center line of the person. (Corresponding to the spine). Further, the individual part detection processing means detects, based on the bone axis, at least some positions of the head, the legs, and the arms of the person using the Hough parameters converted by the Hough conversion means. Furthermore, the person drawn on the person silhouette image is represented by a group of straight lines based on the Hough parameter by the parametric expression means. The approximate image reproducing means reproduces a person silhouette approximate image that approximates the person silhouette image based on the Huff parameters and the model data.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(Configuration of person posture estimation device)
FIG. 1 is a block diagram of the person posture estimating device. As shown in FIG. 1, a person posture estimating device 1 estimates a person's posture from an input person silhouette image, and includes a contour analysis processing unit 3, a minimum circumscribed quadrangle detection unit 5, a skeletonization processing unit 7, the Hough transform processing means 9, the person center line detecting means 11, the individual part detection processing means 13, the parametric expression means 15, the transmitting means 17, the approximate image reproducing means 19, and the recording means 21. Have. The person silhouette image is obtained by extracting an image of a person by an object extraction method such as a chroma key method, and is capable of accurately identifying the outline of the person.
[0023]
The contour analysis processing means 3 performs a process of tracing only the convex portion of the uneven portion on the contour line of the person drawn in the input person silhouette image, and tracing only the convex portion. The identified portion is used as an image of the person, and the outline of the person is identified (analyzed).
[0024]
The minimum circumscribing quadrangle detecting means 5 detects the smallest one of the quadrangles circumscribing the contour of the person identified by the contour analysis processing means 3. A region surrounded by the rectangle is defined as a rectangular region, and each of the parts constituting the person shape of the person drawn in the person silhouette image by the contour analysis processing means 3 and the minimum circumscribed rectangle detection means 5 must be a rectangle. It will be included in the area. The minimum circumscribed quadrangle detection means 5 detects a line segment (median axis) passing through the intersection of the diagonal lines of the quadrangular region and connecting the midpoints of the short sides.
[0025]
The skeletonization processing means 7 generates a skeleton processing image in which a skeleton portion of a human figure drawn in the human silhouette image is faithfully extracted from a rectangular region of the human silhouette image. Normally, in the skeleton processing, the skeleton portion of the person extracted from the person silhouette image contains a lot of noise in the outline portion of the person shape, and the skeleton portion of the person extracted from the person silhouette image includes the spine portion and the head. It cannot be specified whether the part, leg or arm is expressed. Therefore, the skeletonization processing means 7 performs skeleton processing only on the quadrangular area obtained by the contour analysis processing means 3 and the minimum circumscribed quadrangle detection means 5 to generate a skeleton processed image.
[0026]
The skeletonization process is a process for analyzing the movement of a person or an animal, and expresses a person or an animal in an image by a group of straight lines corresponding to a main skeleton of the person or the animal.
[0027]
The skeleton processing image is composed of a plurality of straight lines indicating a skeleton of a person. Normally, the longest one in the human skeleton is the spine, so the longest straight line among a plurality of straight lines can be regarded as the spine portion in the skeleton processing image. Also, a straight line perpendicular to the longest straight line (spine) is regarded as an arm, the one above the longest straight line as a head (face), and the one below the longest straight line as a leg. Can be caught.
[0028]
The Hough transform processing means 9 performs a Hough transform on the skeleton processed image generated by the skeletonization processing means 7 and the median axis detected by the minimum circumscribed rectangle detection means 5. In this Hough transform, a straight line on an XY plane (XYZ space) is converted into a point on a Hough plane (Hough space). The Hough plane (Hough space) has a distance from the origin and the X-axis ( (One axis) and the angle between the two axes. The distance from the origin and the angle formed with the X axis (one axis) are Hough parameters. That is, the Hough transform processing means 9 converts a plurality of straight lines existing in the quadrangular region into a plurality of points, and the plurality of points are represented as Hough parameters. The Huff parameter representing the median axis is referred to as a median axis Huff parameter.
[0029]
In other words, the Hough transform is a process for detecting a straight line, and a length ρ of a perpendicular that is a straight line drawn from the origin of the XY plane to a straight line on the XY plane, an angle θ formed by the perpendicular and the X axis, and The straight line is converted so that the straight line can be expressed using. In this case, the length of the perpendicular and the angle between the perpendicular and the X axis are the Hough parameters. Although it is strictly different from the Hough transform, for example, a straight line y = ax + b on the XY plane may be expressed by a “slope a, y intercept b” plane (space) composed of the slope a and the y intercept b. It is possible.
[0030]
The person center line detecting means 11 compares the median axis Hough parameter processed by the Hough transform processing means 9 with the Huff parameter of the skeleton processed image to detect the center line of the person drawn in the person silhouette image. Things. That is, the person center detecting means 11 detects a Huff parameter located near the median axis Hough parameter in the Hough plane (Hough space), and determines a line segment formed by the Hough parameter as a bone axis (person center line). , Spine). The details of the detection of the bone axis by the person center line detecting means 11 will be described later (described in FIG. 5).
[0031]
In the case of this Hough plane (Hough space), the term “located close to” the median axis Hough parameter means that the distance from the median axis Hough parameter to the Hough parameter obtained by Hough transforming the skeleton processed image is determined in advance. Refers to entering a certain range of values. Then, the person center line detecting means 11 selects and processes only those whose distance from the median axis Hough parameter to the Huff parameter falls within a range of a predetermined value.
[0032]
The individual part detection processing means 13 converts the Hough parameters processed by the Hough transformation processing means 9, the bone axes detected by the human center line detection means 11, and the human skeleton assumption information recorded in the recording means 21. Based on this, the head, the legs, and the arms, which are the parts of the person, are detected and processed.
[0033]
The human skeleton assumption information is, for example, an assumption regarding a human skeleton that a head exists on an extension line above the bone axis (spine) or a leg portion exists on an extension line below the bone axis (spine). Based on the information.
[0034]
In addition, the person skeleton information includes information on the division of the head (head) and the arm (hand), in which the head or the arm longer than one is set as the arm. . Further, the individual part detection processing means 13 is configured to record the previous part detection results in the recording means 21 and to detect each part of the person with reference to the result. Further, the human skeleton information includes that a part connected to the bone axis and not belonging to any part is set as an arm part.
[0035]
Also in the detection of each part by the individual part detection processing means 13, the expression of each part (head, leg, arm) is made by the Hough parameter, similarly to the bone axis.
[0036]
The parametric expression unit 15 converts the median axis Hough parameter detected by the person center line detection unit 11 and the Hough parameter of each part (head, arm, leg) detected by each person part detection processing unit 13. Based on these, the Huff parameters are re-converted to straight lines and replaced with the re-converted straight lines to represent the person depicted in the person silhouette image (simulating the person with a line drawing).
[0037]
The transmission unit 17 transmits the median axis Hough parameter and the Huff parameter of each part provided to the parametric expression unit 15 or the line drawing expressed by the parametric expression unit 15 to the outside via a network.
[0038]
The approximate image reproducing means 19 converts the Hough parameters based on the line drawing (a collection of straight lines in which the Hough parameters are re-converted) expressed by the parametric expressing means 15 and the model data of the person recorded in the recording means 21. By matching with the model data of a person, a person silhouette approximate image which is an image similar to the person silhouette image input to the device 1 is reproduced. The approximate image reproduced by the approximate image reproducing means 19 can be output from the device 1 to the outside. The model data of a person is obtained by drawing a plurality of patterns of the head, legs, and arms of each part of the person by CG.
[0039]
The recording unit 21 stores the human skeleton information used by the individual part detection processing unit 13, the model data of the person used by the approximate image reproduction unit 19, and the previous individual data detected by the individual part detection processing unit 13. The part detection result is recorded.
[0040]
According to the person posture estimating apparatus 1, the contour analysis processing means 3 detects the contour of the person from the silhouette image of the person, and analyzes the detected contour of the person. Subsequently, the minimum circumscribed rectangle detecting means 5 detects a rectangle circumscribing the contour of the person analyzed by the contour analysis processing means 3. Further, the minimum circumscribed rectangle detecting means 5 detects a median axis connecting the midpoints of the short sides through the diagonal line of the minimum rectangle, and calculates the median axis Hough parameter. Then, the skeletonization processing means 7 performs skeleton processing only on the area defined by the minimum rectangle, and generates a skeleton processed image. Further, the Hough transform processing means 9 performs a Hough transform on the skeleton-processed image to generate Hough parameters.
[0041]
Thereafter, the person center line detecting means 11 detects a line segment constituted by the Hough parameters generated by the Hough transform processing means 9 as a bone axis (corresponding to the spine) which is the center line of the person. The bone axis corresponds to the backbone of the person, and the approximate posture of the person depicted in the person silhouette image can be estimated from the bone axis. For example, a person depicted in a person silhouette image may be upright (bone axis perpendicular to the ground surface) or bowed (upper body tilted forward; bone axis (Inclined forward).
[0042]
In the person posture estimating apparatus 1, at least a part of the head, legs, and arms of the person is converted by the Hough converting means 9 based on the bone axis in the individual part detection processing means 13. Detected by parameter. This makes it possible to accurately detect the posture and each part of the person from the person silhouette image.
[0043]
Furthermore, the person drawn in the person silhouette image is represented by a line drawing by the group of straight lines based on the Hough parameter in the parametric expression means 15. The Huff parameter can be said to be a main feature amount of the compressed image of the person silhouette image, and the person silhouette image can be reproduced by the Huff parameter or a straight line group based on the Huff parameter.
[0044]
Furthermore, the approximate image reproducing means 19 can reproduce a human silhouette approximate image that approximates the human silhouette image based on the Huff parameters and the model data of the human. That is, the Huff parameter can be said to be a main feature amount of the compressed image of the person silhouette image.
[0045]
(Operation of the human posture estimation device)
Next, the operation of the person posture estimation device 1 will be described with reference to the flowchart shown in FIG. 2 (see FIG. 1 as appropriate).
First, a person silhouette image is input to the contour analysis means 3 of the person posture estimating apparatus 1, and the contour analysis means 3 analyzes the contour of a person drawn in the person silhouette image (S1). Based on the result analyzed by the contour analysis means 3, the minimum circumscribed rectangle detection means 5 detects a rectangle circumscribing the contour of the person (S2).
[0046]
Subsequently, skeleton processing is performed by a skeletonization processing unit 7 in a rectangular area (in the minimum square), which is an area surrounded by the quadrangle detected by the minimum circumscribed quadrangle detection unit 5, and a skeleton processed image is generated. (S3). Then, the Hough transform processing means 9 performs a Hough transform process on the skeleton-processed image to generate Hough parameters (S4).
[0047]
Then, the person center line detection means 11 detects a person center line (bone axis) corresponding to the spine of the person based on the Hough parameters generated by the Hough transformation processing means 9 (S5). Naturally, a certain range of the person center line (substantially cylindrical portion where the person center line is regarded as the center axis) can be said to be the body of the person. Further, based on the person center line (bone axis) detected by the person center line detecting means 11 by the individual part detection processing means 13, based on the person skeleton information recorded in the recording means 21, The Huff parameter of each part (head, leg, arm) is detected (S6). However, for example, when the person center line (bone axis) detected by the person center line detecting unit 11 is horizontal (substantially horizontal) with respect to the ground surface, the person skeleton information may not be applicable. (Because there is a possibility that each part of the person may not be detected accurately), the previous part detection results detected by the person part detection processing means 13 recorded in the recording means 21 are referred to, and each person is referred to. Hough parameters of a part (head, leg, arm) are detected.
[0048]
In addition, the parametric expression means 15 uses the Hough parameters of the person center line and the parts (head, legs, arms) of the person detected by the person center line detection means 11 and the individual part detection processing means 13. Based on these, these Huff parameters are re-converted to straight lines, and the person is represented by a line drawing (S7). Further, the transmitting means 17 transmits the person drawn by the Hough parameter by the parametric expression means 15 or the Huff parameter itself to an external device (not shown) via the network (S8).
[0049]
Thereafter, the approximate image reproduction and expression means 19 matches the person drawn by the Huff parameter with the parametric expression means 15 with the model data of the person recorded in the recording means 21 to generate a person silhouette approximate image. (S9).
[0050]
(Application Example of Transmitting Hough Parameter (Reduced Number of Bits) by Human Posture Estimating Apparatus) Next, an application example of transmitting the Hough parameter by the human attitude estimating apparatus 1 will be described with reference to FIG. FIG. 3 is an explanatory diagram of a person posture estimation system including the person posture estimation device 1.
[0051]
As shown in FIG. 3, the person posture estimation system includes a person posture estimation terminal 31 connected to the person posture estimation device 1 via a network. The person posture estimating terminal 31 outputs a person silhouette approximate image based on the Hough parameter transmitted (transmitted) from the person posture estimating device 1. The Hough parameter receiving unit 33, the approximate image reproducing unit 35, And a model figure database 37.
[0052]
The Huff parameter receiving means 33 receives Huff parameters transmitted (transmitted) from the person posture estimation device 1.
[0053]
The approximate image reproducing means 35 generates a person silhouette approximate image based on the Huff parameters received by the Huff parameter receiving means 33 and the model figure (model data of a person) stored in the model figure database 37. It is.
[0054]
The approximate image reproducing means 35 is different from the approximate image reproducing means 19 (see FIG. 1) of the person posture estimating apparatus 1. That is, the approximate image reproducing means 19 (see FIG. 1) uses the line drawing expressed by the parametric expressing means 15 (see FIG. 1) and the model data of the person recorded in the recording means 21 (see FIG. 1). While the Hough parameter is matched with the model data of the person to generate a person silhouette approximate image which is an image approximating the person silhouette image input to the device 1, the approximate image reproducing means 35 uses An approximate image of a person silhouette is generated using the model figure.
[0055]
As shown in FIG. 3, the approximate image of the person silhouette output from the person posture estimating terminal 31 is divided into a rectangular body having the bone axis as the center line and a body located below the body and divided into two parts. A rectangular head, a circular head located above the torso, and two rectangular arms extending from an intermediate point on the side of the torso.
[0056]
The model figure database 37 stores model figures (model data of a person). As shown in FIG. 3, this model figure becomes a part of a person silhouette approximate image and is generated by CG or the like. For example, "square" or "circle".
[0057]
According to this person posture estimation system (person posture estimation device 1 and person posture estimation terminal 31), the minimum circumscribed quadrangle detection unit is used for the analysis result of the contour analysis processing unit 3 (see FIG. 1) of the person posture estimation device 1. 5 (see FIG. 1), a circumscribed minimum rectangle is detected, skeletonized by skeletonization processing means 7 (see FIG. 1), and subjected to Hough transformation by Hough transformation processing means 9 (see FIG. 1). The parameters are generated, and the bone axis is extracted by the person center line detecting means 11 (see FIG. 1). Thereafter, the Huff parameter is transmitted to the person posture estimation terminal 31.
[0058]
The person posture estimating terminal 31 that has received the Hough parameters obtains Huff parameters corresponding to each part (head, leg, arm), and stores the Huff parameters of the person recorded in the model graphic database 37. By matching with the model figure of each part (head, leg, arm), it is possible to reproduce a person silhouette approximate image similar to the original person silhouette image. Further, compared to the case where the person silhouette image is transmitted from the transmitting side as it is, only the Hough parameter is transmitted (transmitted), so that a large transmission amount can be compressed. That is, compression coding can be realized by Huff parameter transmission (transmission).
[0059]
(About the change of the person silhouette image)
Next, transition of a person silhouette image in the person posture estimation device 1 will be described with reference to FIG. FIG. 4 (a) shows a person silhouette image, and FIG. 4 (b) shows that the result of contour analysis of the person silhouette image by the contour analysis processing means 3 includes the outermost convex portion. FIG. 4C is a diagram in which the silhouette of the person is surrounded by a frame, and FIG. 4C is a diagram in which the silhouette of the person is surrounded by the minimum circumscribed rectangle by the minimum circumscribed rectangle detection means 5. A skeleton process is performed by a skeletonization processing unit 7 on a quadrangular region surrounded by a minimum circumscribed quadrangle to represent a skeleton of a silhouette of a person. Th1 and R1 shown in FIG. 4D are Hough parameters.
[0060]
The persons depicted in the person silhouette images in FIGS. 4A to 4D are images of the person walking from behind the person. 4 (a) to 4 (d), the spine of the person depicted in the person silhouette image is inclined forward, the right leg is stepped in front of the body, and the right arm is It can be seen that it is slightly swung up in front of the body. Then, after the skeleton processing shown in FIG.
[0061]
That is, as shown in FIGS. 4A to 4D, in the person posture estimating apparatus 1, the input person silhouette image is converted into a contour analysis processing unit 3, a minimum circumscribing rectangle detection unit 5, and a skeletonized image. The posture of the person, which is processed by the processing means 7 and is drawn in the person silhouette image, can be estimated.
[0062]
(About bone axis detection by person center line detection means)
Next, with reference to FIG. 5, the details (how) of the bone axis detection performed by the person center line detecting means 11 of the person posture estimating apparatus 1 will be described.
FIG. 5 shows a Hough space, in which the vertical axis represents the distance ρ from the origin on the XY plane to the straight line, and the horizontal axis represents the angle θ between the X axis and the straight line on the XY plane. Things. In FIG. 5, “x” is a median axis Hough parameter, and “•” is a Hough parameter converted by the Hough conversion processing means 9. As shown in FIG. 5, among the Hough parameters converted by the Hough conversion processing means 9, those which are in the vicinity (within a certain range) of the median axis Hough parameter are regarded as bone axes by the human center line detecting means 11. Is detected.
[0063]
As described above, the present invention has been described based on one embodiment, but the present invention is not limited to this.
For example, the processing of each component of the person posture estimating apparatus 1 may be regarded as a person posture estimating method that is regarded as one process, or the processing of each component of the person posture estimating apparatus 1 may be described in a general-purpose computer language. It can also be regarded as a posture estimation program. In these cases, the same effects as those of the person posture estimation device 1 can be obtained.
[0064]
【The invention's effect】
According to the first, fifth, and sixth aspects of the present invention, since the skeleton processing is performed only in the minimum rectangular area, there is no need to perform the extraction processing for removing noise after performing the skeleton processing. Further, compared to the case where the contour analysis processing is performed alone as in the conventional method, the bone which is the center line of the person is obtained by comparing the line segment connecting the short sides of the minimum rectangle and the Hough parameter calculated from the skeleton processing image. Since the axis is detected, the posture of the person depicted in the person silhouette image can be accurately detected.
[0065]
According to the second aspect of the present invention, based on the bone axis, at least a part of the head, the leg, and the arm of the person is detected by the Huff parameter. By detecting the Hough parameter, the posture and each part of the person can be accurately detected from the person silhouette image.
[0066]
According to the third aspect of the present invention, the person drawn on the person silhouette image can be represented as a line drawing by the group of straight lines based on the Hough parameter by the parametric expression means. It can be said that the line group based on the Hough parameter or the Huff parameter is a main feature amount of the compressed image of the person silhouette image. For example, the line group based on the Hough parameter or the Hough parameter is transmitted through a network, and the line group based on the Huff parameter or the side on which the Huff parameter is received may include model data of a person silhouette image. For example, the original image can be reproduced from the main characteristic amount of the compressed image of the person silhouette image without adding transmission cost (communication cost in the case of a remote place).
[0067]
According to the fourth aspect of the present invention, the approximate image reproducing means reproduces a human silhouette approximate image approximate to the human silhouette image based on the Huff parameter and the model data. That is, the Huff parameter corresponds to the main feature amount of the compressed image of the person silhouette image, and the original image (person silhouette image) can be reproduced from the Huff parameter.
[Brief description of the drawings]
FIG. 1 is a block diagram of a person posture estimating apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of the person posture estimating device illustrated in FIG. 1;
FIG. 3 is a diagram illustrating an application example of the person posture estimation device.
FIG. 4 is a diagram illustrating a transition of a person silhouette image in the person posture estimation device.
FIG. 5 is a diagram illustrating a Huff space.
[Explanation of symbols]
1 Human posture estimation device
3 Contour analysis processing means
5 Minimum circumscribed square detection means
7 Skeletonization processing means
9 Hough transformation processing means
11 Person center line detection means
13 Individual part detection processing means
15 Parametric expression means
17 Transmission means
19 Approximate image reproduction means
21 Recording means
31 Human posture estimation terminal
33 Huff parameter receiving means
35 Approximate image reproduction means
37 Model figure database

Claims

A person posture estimating device that estimates the posture of the person from a person silhouette image in which a contour of the person can be identified,
Contour analysis processing means for detecting a contour of a person from the silhouette image of the person and analyzing the contour of the detected person,
Based on the analysis result analyzed by the contour analysis processing means, a minimum circumscribed rectangle detecting means for detecting a minimum rectangle circumscribing the contour of the person and a line segment connecting midpoints of short sides of the minimum rectangle,
Skeletonization processing means for performing skeletonization processing to generate a skeleton processing image within the minimum rectangle detected by the minimum circumscribed rectangle detection means,
Hough transform processing means for performing Hough transformation on a line connecting the skeleton processing image generated by the skeletonization processing means and the midpoint of the short side of the minimum rectangle to generate Hough parameters,
A person center that detects a line segment based on the result of comparing the Huff parameter of the line connecting the midpoints of the short sides of the minimum rectangle and the Huff parameter of the skeleton processed image as a bone axis that is the center line of the person Line detection means;
A person posture estimating device comprising:

It is characterized by comprising a part detection processing means for each person detecting at least a part of a head, a leg, and an arm of the person based on the bone axis detected by the person center line detecting means by the Huff parameter. The person posture estimating apparatus according to claim 1.

The apparatus according to claim 1, further comprising a parametric expression unit that expresses the person in the person silhouette image using the Huff parameter.

4. The person according to claim 3, further comprising: an approximate image reproducing unit that reproduces a human silhouette approximate image that is similar to the human silhouette image based on the Huff parameter and preset human model data. Attitude estimation device.

A person posture estimating method for estimating a posture of a person drawn by a person silhouette image including a silhouette of a person, the method comprising the steps of: Calculating a line segment connecting the midpoints of the sides; applying skeleton processing to the person silhouette image in the area surrounded by the minimum rectangle; and a skeleton processing image obtained by the skeleton processing and a short side of the minimum rectangle. Obtaining a Hough parameter by performing a Hough transformation on a line segment connecting the midpoints, and a result of comparing the Huff parameter of the line connecting the midpoints of the short sides of the minimum rectangle with the Huff parameter of the skeleton processing image Setting a line segment based on the center line of the person as a center line, and estimating a posture of the person based on the center line of the person. Human pose estimation method, characterized in that.

A device that performs image processing using a person silhouette image with a person as an object as an input image,
Contour analysis processing means for detecting a person silhouette from the person silhouette image and analyzing a contour of the detected person silhouette,
Based on the analysis result analyzed by the contour analysis processing means, a minimum circumscribed rectangle detection means for detecting a minimum rectangle circumscribing the person silhouette and a line segment connecting midpoints of short sides of the minimum rectangle,
Skeletonization processing means for performing skeletonization processing to generate a skeleton processing image within the minimum rectangle detected by the minimum circumscribed rectangle detection means,
Hough transform processing means for performing Hough transformation on a line connecting the skeleton processing image generated by the skeletonization processing means and the midpoint of the short side of the minimum rectangle to generate Hough parameters,
A person center that detects a line segment based on the result of comparing the Huff parameter of the line connecting the midpoints of the short sides of the minimum rectangle and the Huff parameter of the skeleton processed image as a bone axis that is the center line of the person Line detection means,
Based on the bone axis detected by the person center line detecting means, at least a part of the head, legs, and arms of the person, each person part detection processing means for detecting by the Huff parameter,
With the Huff parameter, parametric expression means for expressing the person in the person silhouette image,
Approximate image reproducing means for reproducing a human silhouette approximate image similar to the human silhouette image based on the Huff parameters expressed by the parametric expressing means and the preset model data of the human,
A person posture estimation program characterized by functioning as