JP2967086B1 - Estimation of 3D pose of a person by multi-view image processing - Google Patents
Estimation of 3D pose of a person by multi-view image processingInfo
- Publication number
- JP2967086B1 JP2967086B1 JP10288896A JP28889698A JP2967086B1 JP 2967086 B1 JP2967086 B1 JP 2967086B1 JP 10288896 A JP10288896 A JP 10288896A JP 28889698 A JP28889698 A JP 28889698A JP 2967086 B1 JP2967086 B1 JP 2967086B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- gravity
- posture
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
【要約】
【課題】 頭頂，手先，足先の各特徴部位を実時間で検
出し、それらより三次元復元を行なうことのできるよう
な多眼画像処理による人物の三次元姿勢推定方法を提供
する。
【解決手段】 ＣＣＤカメラ１〜３により人物の正面像
と側面像と立面像とを撮像し、クロマキー背景分離装置
４によって背景を分離し、画像処理装置５によって各視
点の画像に対してシルエット抽出と重心検出と主軸検出
と特徴点検出の各処理を行ない、特徴点の三次元位置を
もって姿勢と推定する。Abstract: PROBLEM TO BE SOLVED: To provide a method for estimating a three-dimensional posture of a person by multi-view image processing capable of detecting in real time each characteristic portion of a top, a hand, and a toe and performing three-dimensional reconstruction from them. . SOLUTION: A front view image, a side view image, and an elevation image of a person are captured by CCD cameras 1 to 3, a background is separated by a chroma key background separation device 4, and a silhouette is obtained for an image of each viewpoint by an image processing device 5. The extraction, the center of gravity detection, the main axis detection, and the feature point detection are performed, and the posture is estimated based on the three-dimensional position of the feature point.
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】この発明は多眼画像処理によ
る人物の三次元姿勢推定方法に関し、特に、複数のカメ
ラで撮像した人物の多眼シルエット画像に対し、人体形
状の先見的知識を用いた特徴部位の検出を行ない、画像
間でのステレオ視により三次元的な姿勢を推定する多眼
画像処理による人物の三次元姿勢推定方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for estimating a three-dimensional posture of a person by multi-view image processing, and more particularly, to using a priori knowledge of a human body shape for a multi-view silhouette image of a person captured by a plurality of cameras. The present invention relates to a method for estimating a three-dimensional posture of a person by multi-view image processing for detecting a characteristic part and estimating a three-dimensional posture by stereoscopic vision between images.
【０００２】[0002]
【従来の技術】１枚のシルエット画像からその画像中に
映された観察物体の姿勢をモデルマッチングによって推
定する方法が、亀田能成らが発表した「シルエット画像
からの関節物体の姿勢推定法」，電子情報通信学会論文
誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．１，ｐ
ｐ．２６−３５（１９９６年１月）によって提案されて
いる。2. Description of the Related Art A method of estimating the posture of an observation object reflected in an image from a single silhouette image by model matching is disclosed in Kameda Yoshinari et al. IEICE Transactions D-II, Vol. J79-D-II, No. 1, p
p. 26-35 (January 1996).
【０００３】また、本願発明者らは特願平９−８６１３
２号において人体姿勢の推定方法を提案した。The inventors of the present invention have also disclosed Japanese Patent Application No. 9-8613.
In No.2, a method of estimating human body posture was proposed.
【０００４】[0004]
【発明が解決しようとする課題】上述の論文で発表され
た方法は、対象人物の正確な形状モデルが必要なため任
意の人物への適用は難しく、モデル当てはめの際の計算
コストが比較的高く、実時間処理に不適切である。The method disclosed in the above-mentioned paper is difficult to apply to an arbitrary person because an accurate shape model of the target person is required, and the calculation cost for fitting the model is relatively high. Unsuitable for real-time processing.
【０００５】また、特願平９−８６１３２号では、単眼
画像を用いて非接触な人物の姿勢を推定するものである
が、単眼像であるために身体パーツ同士の自己遮蔽によ
る特定誤りや、三次元的な姿勢情報が得られないという
課題が未解決であった。In Japanese Patent Application No. 9-86132, the posture of a non-contact person is estimated using a single-eye image. However, since the single-eye image is used, a specific error due to self-shielding between body parts, The problem that three-dimensional attitude information cannot be obtained has not been solved.
【０００６】それゆえに、この発明の主たる目的は、頭
頂，手先，足先の各特徴部位を実時間で検出し、それら
より三次元復元を行なうことができるような多眼画像処
理による人物の三次元姿勢推定方法を提供することであ
る。[0006] Therefore, a main object of the present invention is to provide a tertiary tertiary image of a person by multi-view image processing that can detect in real time each characteristic portion such as the top of the head, the tip of the hand, and the tip of the foot. An object of the present invention is to provide an original posture estimation method.
【０００７】[0007]
【課題を解決するための手段】請求項１に係る発明は、
少なくとも２台のカメラで異なる方向から撮像された各
画像から人物の三次元姿勢を推定する多眼画像処理によ
る人物の三次元姿勢推定方法であって、少なくとも２台
のカメラで撮像された各画像をしきい値処理して得られ
た人物領域に距離変換を施すことによって身体重心を求
める第１のステップと、第１のステップで求めた各身体
重心の水平位置よりも上方の画像から腕領域を除去し、
上半身距離画像の主軸を計算して上半身傾き角および回
転角を求める第２のステップと、距離変換を施した距離
変換画像の極大値を求めて骨格画像を作成し、その骨格
画像のうちの身体重心の垂直位置より下方の下半身骨格
画像の端点から所定の条件を満たす端点を足先点として
選ぶ第３のステップと、人物領域の輪郭形状によって手
先点と首位置を求め、頭頂点を決定する第４のステップ
と、遺伝的アルゴリズムを用いて頭頂点と手先点と足先
点の特徴部位から肘と膝の位置を特定する第５のステッ
プと、第５のステップで求められた各特徴部位の二次元
位置を用いて、人物の三次元姿勢を判別する第６のステ
ップを含む。The invention according to claim 1 is
A method for estimating a three-dimensional posture of a person by multi-view image processing for estimating a three-dimensional posture of a person from images captured from different directions by at least two cameras, wherein each image captured by at least two cameras Step of obtaining a body center of gravity by performing distance conversion on a person area obtained by performing threshold processing on the arm area, and an arm area from an image above the horizontal position of each body center of gravity obtained in the first step To remove
A second step of calculating a main axis of the upper body distance image to obtain an upper body tilt angle and a rotation angle, and obtaining a maximum value of the distance conversion image subjected to the distance conversion to form a skeleton image, and generating a skeleton image of the skeleton image; A third step of selecting an end point that satisfies a predetermined condition from the end point of the lower body skeleton image below the vertical position of the center of gravity as a toe point; A fourth step, a fifth step of specifying the positions of the elbow and the knee from the characteristic parts of the head vertex, the toe point, and the toe point by using a genetic algorithm, and each characteristic part obtained in the fifth step A sixth step of determining the three-dimensional posture of the person by using the two-dimensional position of.
【０００８】請求項２に係る発明では、請求項１のカメ
ラは人物の正面，側面，立面を撮像し、正面，側面，立
面のいずれか１つの画像が遮蔽されたとき、残りの２つ
の画像を用いて三次元姿勢を推定する。According to the second aspect of the present invention, the camera of the first aspect captures an image of the front, side, or elevation of a person, and when any one of the images of the front, side, or elevation is blocked, the remaining two images are taken. Three-dimensional pose is estimated using two images.
【０００９】[0009]
【発明の実施の形態】図１はこの発明の一実施形態の概
略ブロック図である。図１において、３台のＣＣＤカメ
ラ１，２，３はそれぞれ人物の正面像と、側面像と、立
面像を撮像する。なお、図１では３台のＣＣＤカメラ１
〜３を用いているが、三次元画像を復元するためには、
多少精度が悪くなるが、カメラは少なくとも２台あれば
よい。FIG. 1 is a schematic block diagram of an embodiment of the present invention. In FIG. 1, three CCD cameras 1, 2, and 3 capture a front image, a side image, and an elevation image of a person, respectively. In FIG. 1, three CCD cameras 1 are shown.
However, in order to restore a three-dimensional image,
Although the accuracy is somewhat poor, at least two cameras are required.
【００１０】ＣＣＤカメラ１〜３の画像出力はクロマキ
ー背景分離装置４に与えられ、クロマキー処理により背
景画像が分離された画像処理装置５に与えられる。画像
処理装置５は与えられた人物の正面像と側面像と立面像
とに基づいて、シルエット抽出，重心検出，主軸検出，
特徴点検出の各処理を行ない、三次元復元を行なう。The image outputs of the CCD cameras 1 to 3 are supplied to a chroma key background separating device 4 and to an image processing device 5 from which a background image is separated by chroma key processing. The image processing device 5 extracts a silhouette, detects a center of gravity, detects a principal axis,
Each process of feature point detection is performed, and three-dimensional restoration is performed.
【００１１】図２はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図３は取込んだ画像
から重心検出までの処理を示す図であり、図４は主軸検
出から特徴点検出までの処理を示し、図５は復元された
三次元画像の一例を示す図である。FIG. 2 is a flowchart for explaining the operation of one embodiment of the present invention. FIG. 3 is a diagram showing processing from the captured image to the center of gravity detection. FIG. FIG. 5 is a diagram showing an example of a restored three-dimensional image.
【００１２】次に、図１〜図５を参照して、この発明の
実施形態の具体的な動作について説明する。図２に示す
ステップ（図示ではＳＰと略称する）ＳＰ１において、
３台のＣＣＤカメラ１〜３によってたとえば図３（ａ）
に示すような人物画像が撮像され、図３（ｂ１），（ｂ
２），（ｂ３）に示すような正面像と側面像と立面像と
が撮像される。各カメラ１〜３の画像出力はクロマキー
背景分離装置４に与えられて背景画像が分離される。画
像処理装置５はステップＳＰ２において背景画像が分離
された正面像と側面像と立面像とからしきい値処理によ
り、図３（ｃ１），（ｃ２），（ｃ３）に示すようなシ
ルエット画像を抽出する。Next, a specific operation of the embodiment of the present invention will be described with reference to FIGS. In step SP1 shown in FIG. 2 (abbreviated as SP in the figure),
For example, FIG.
3 (b1) and (b).
2), a front image, a side image, and an elevation image as shown in (b3) are captured. The image output of each of the cameras 1 to 3 is provided to a chroma key background separation device 4 to separate a background image. The image processing device 5 performs a threshold process on the front image, the side image, and the elevation image from which the background image is separated in step SP2, and generates a silhouette image as shown in FIGS. 3 (c1), (c2), and (c3). Extract.
【００１３】なお、これらの処理に関して、先に述べた
特願平９−８６１３２号で用いたように赤外線カメラを
用い、得られた熱画像をしきい値処理して人物に対応す
る領域を抽出してシルエット画像を得るようにしてもよ
い。Regarding these processes, an infrared camera is used as described in Japanese Patent Application No. 9-86132, and the obtained thermal image is subjected to threshold processing to extract a region corresponding to a person. To obtain a silhouette image.
【００１４】次に、ステップＳＰ３において、図３（ｃ
１），（ｃ２），（ｃ３）に示すようなシルエット画像
から図３（ｄ１），（ｄ２），（ｄ３）に示す重心を検
出する。すなわち、シルエット画像ｆijから身体重心を
求めるために距離変換が施される。距離変換画像ｄijの
重心（Ｉc ，Ｊc ）は次式を用いて求められる。Next, in step SP3, FIG.
1) From the silhouette images as shown in (c2) and (c3), the barycenters shown in FIGS. 3 (d1), (d2) and (d3) are detected. That is, distance conversion is performed to obtain the center of gravity of the body from the silhouette image f ij . The center of gravity (I c , J c ) of the distance conversion image dij is obtained using the following equation.
【００１５】[0015]
【数１】 ここで、Ｉc とＪc は距離値で重み付けされた領域の重
心である。二値であるシルエット画像より重心を直接求
める場合、腕や足の姿勢によって重心位置が著しく移動
してしまい安定でない。しかし、距離変換画像を用いる
ことで手足の姿勢の重心位置への影響を極力抑えること
が可能となる。(Equation 1) Here, I c and J c are the center of gravity of the area weighted by the distance value. When the center of gravity is directly obtained from the binary silhouette image, the position of the center of gravity remarkably shifts depending on the posture of the arm or the foot, which is not stable. However, by using the distance conversion image, it is possible to minimize the influence of the posture of the limb on the position of the center of gravity.
【００１６】ステップＳＰ４において、図４（ａ１），
（ａ２），（ａ３）に示す上半身主軸の抽出を行なう。
距離変換画像のうち、身体重心の水平位置よりも上方の
画像に対し、腕領域の除去処理のため前フレームの上半
身主軸を対称軸としたガウス分布を距離位置に乗じる。
得られた画像（上半身距離画像）の領域は、胴体部と頭
部にほぼ集中しているので、上半身距離画像ｇijの重心
を求める。重心を通るｇijの慣性主軸の角度θは次式に
示すように表わされ、上半身の傾きと見なすことができ
る。In step SP4, FIG.
The main body main axis shown in (a2) and (a3) is extracted.
For the image above the horizontal position of the center of gravity of the body in the distance-converted image, the Gaussian distribution having the upper body main axis of the previous frame as the axis of symmetry is multiplied by the distance position in order to remove the arm region.
Since the region of the obtained image (upper body distance image) is almost concentrated on the torso and the head, the center of gravity of the upper body distance image g ij is obtained. The angle θ of the principal axis of inertia of g ij passing through the center of gravity is expressed by the following equation, and can be regarded as the inclination of the upper body.
【００１７】[0017]
【数２】 水平方向に手を延ばした場合などは脊髄に沿う方向に主
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。(Equation 2) It is conceivable that the main axis is not determined in the direction along the spinal cord when the hand is extended in the horizontal direction, but this problem can be solved by the processing for removing the arm region.
【００１８】次に、正面，側面，立面の特徴点の検出が
行なわれる。すなわち、ステップＳＰ５において、図４
（ｂ１），（ｂ２），（ｂ３）に示すような輪郭形状が
獲得される。シルエット画像において身体重心からラス
タ走査し、最初に発見された輪郭（境界）画素を開始点
として反時計回りに境界線の追跡が行なわれる。境界
（輪郭）線上で「１」画素、それ以外で「０」画素とな
る二値画像を輪郭画像と呼ぶことにする。ここで、仮頭
頂点として上半身主軸から最短距離の輪郭点（上半身重
心よりも上方に位置するもの）を選ぶ。Next, front, side, and elevation feature points are detected. That is, in step SP5, FIG.
Contour shapes as shown in (b1), (b2), and (b3) are obtained. The silhouette image is raster-scanned from the center of gravity of the body, and the boundary line is traced in a counterclockwise direction with the contour (boundary) pixel found first as a starting point. A binary image having "1" pixels on the boundary (contour) line and "0" pixels on other boundaries is referred to as a contour image. Here, a contour point (the one located above the center of gravity of the upper body) that is the shortest distance from the main axis of the upper body is selected as the temporary head vertex.
【００１９】ステップＳＰ６において、足先点の検出が
行なわれる。身体重心の算出に用いた距離変換画像の極
大値を求めることで骨格画像を作成する。下半身（身体
重心の垂直位置より下方）かつ左（右）半身（身体重心
の水平位置を中心として左あるいは右側）に存在する骨
格の端点の中から「身体重心からの水平偏差が最大」の
条件を満たす端点を足先点として選ぶ。In step SP6, a toe point is detected. A skeleton image is created by obtaining the maximum value of the distance conversion image used for calculating the center of gravity of the body. The condition of “the maximum horizontal deviation from the body center of gravity” is selected from the end points of the skeleton that exists in the lower body (below the vertical position of the body center of gravity) and the left (right) half body (left or right centering on the horizontal position of the body center of gravity) Is selected as the toe point.
【００２０】ステップＳＰ７において手先点の検出が行
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。At step SP7, a hand point is detected. The number of pixels included in the contour corresponding to the to the toes from the temporary crown on the contour l h: m h: dividing the ratio of n h,
The contour point included in the central portion is set as a candidate section of the hand point.
Here, l h , m h , and n h are constants empirically obtained.
【００２１】候補中で垂直位置が最高（手先候補点Ａ）
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を加え、上記を満たす候補点
を手先点とする。The highest vertical position among the candidates (candidate point A)
And a point having the longest horizontal distance from the center of gravity of the body (hand candidate point B) and a point having the longest horizontal distance from the center of gravity of the body (hand candidate point C). Then, evaluation is sequentially performed in accordance with the following conditions, and candidate points satisfying the above are determined as hand points.
【００２２】 手先候補点Ａの垂直位置＞仮頭頂点の
垂直位置−Ｔ1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。Vertical position of hand candidate point A> Vertical position of temporary head vertex−T 1 Vertical position of hand candidate point B <Vertical position of body center of gravity + T
Horizontal position of one hand candidate point B <horizontal position of body center of gravity + T
Here the end point of the candidate section, T 1, T 2 are constants determined by the height of the circumscribed rectangle of each silhouette.
【００２３】ステップＳＰ８において頭頂点の検出が行
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。At step SP8, the head vertex is detected. The number of pixels of the contour corresponding to the hand from the temporary top to the hand on the contour is divided into the ratio of l p : m p : n p , and the contour point included in the central portion is set as a hand point candidate. The point at which the distance to the upper body main axis is the shortest is defined as the neck position, and the bisecting point of the contour sandwiched between the left and right neck positions is defined as the head vertex. As in the case of detecting the hand point, l p , m p , and n p are constants empirically obtained.
【００２４】ところで、全身の姿勢をコンピュータグラ
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。When trying to reproduce the posture of the whole body as a computer graphic model, the center of gravity,
Information on head, hand, and foot positions alone is not enough. For example, if the position of the elbow is not known, the posture of the arm can take many patterns, cannot be uniquely determined, and the position information of the elbow and the knee is important. However, these parts do not have clear features as contours, and it is difficult to detect them by a heuristic method based on contours such as a fingertip. Therefore, in this embodiment, the positions of the elbow and the knee are estimated by a genetic algorithm.
【００２５】遺伝的アルゴリズムでは対象問題の解候補
は遺伝子型として染色体で一次元的に表現される。そし
て、染色体の初期集団を発生させ、評価関数に応じた選
択淘汰，交差，突然変異という遺伝的操作を行ないなが
ら、解の集団を操作対象として並列的に探索を進めてい
く。この実施形態では、肘，膝の位置を前述の身体重
心，頭頂，手先，足先の特徴点の線形結合式で表現し、
その結合式の係数を遺伝子情報として見立て、遺伝的ア
ルゴリズムにより推定誤差が小さくなるような係数の組
合せを探索する。各フレーム毎の膝（肘）の位置を
ｘi ，推定される位置をｘ＾i とするときの適応度（評
価関数）ｆは、推定誤差ｘi −ｘ＾i の平均値／ｅと誤
差の分散の和の逆数として次式で定義される。In the genetic algorithm, the solution candidate of the target problem is one-dimensionally represented by a chromosome as a genotype. Then, an initial population of chromosomes is generated, and while performing genetic operations such as selection, crossover, and mutation according to the evaluation function, a search is advanced in parallel with the solution population as an operation target. In this embodiment, the positions of the elbows and knees are expressed by a linear combination of the feature points of the body center of gravity, the crown, the hands, and the feet.
The coefficients of the connection equation are regarded as genetic information, and a combination of coefficients that reduces the estimation error is searched for by a genetic algorithm. The fitness (evaluation function) f when the position of the knee (elbow) in each frame is x i and the estimated position is x ＾ i is the average value / e of the estimation error x i −x ＾ i and the error. Is defined as the reciprocal of the sum of the variances of
【００２６】[0026]
【数３】 ステップＳＰ９において肘位置を推定する。すなわち、
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の荷重線型和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（但し、〜は上付きの破線
を表わす）＝ｘ−ｘg のように身体重心からの相対位置
で表わしている。前述の如く、次式の係数Ｃi を遺伝的
アルゴリズムにより推定する。(Equation 3) In step SP9, the elbow position is estimated. That is,
Body center of gravity (x g , y g ), head (x p , y p ), hand (x
The elbow position (x e , y e ) is expressed as shown in the following equation using the load linear sum of each position of h , y h ) and toe (x f , y f ). In addition, each part is represented by a relative position from the center of gravity of the body, such as x ~ (where ~ represents a superscript broken line) = x- xg . As previously described, is estimated by the genetic algorithm the coefficients C i of the following equation.
【００２７】[0027]
【数４】 次に、ステップＳＰ１０において膝位置の推定を行な
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ1 ，ｙ1 ）を探索しておく。身体重心（ｘg ，ｙ
g ），頭（ｘp ，ｙp ），足先（ｘf ，ｙf ），輪郭点
（ｘ1 ，ｙ1 ）の各位置の荷重線型和を用いて次式に示
すように膝の位置（ｘk ，ｙk ）を表現し、遺伝的アル
ゴリズムにより係数Ｗi を推定する。図４（ｃ１），
（ｃ２），（ｃ３）に各特徴点の検出画像を示す。(Equation 4) Next, in step SP10, the knee position is estimated. In the contour from the hand to the toe, a contour point (x 1 , y 1 ) existing at a vertical position obtained by bisecting the difference between the body center of gravity and the vertical position of the toe is searched. Body center of gravity (x g , y
g ), the head position (x p , y p ), the foot tip (x f , y f ), and the knee position as shown in the following equation using the sum of the load linear values of the contour points (x 1 , y 1 ). (X k , y k ) is expressed, and the coefficient W i is estimated by a genetic algorithm. FIG. 4 (c1),
(C2) and (c3) show detected images of each feature point.
【００２８】[0028]
【数５】 このようにして正面特徴点と側面特徴点と立面特徴点と
が検出されると、それら特徴点群の三角測量を行なうス
テップＳＰ１１において特徴点群の三次元位置をもって
姿勢と推定する。(Equation 5) When the front feature point, the side feature point, and the elevation feature point are detected in this way, in step SP11 of performing triangulation of the feature point group, the posture is estimated based on the three-dimensional position of the feature point group.
【００２９】図５は、復元された三次元画像の一例を示
す図である。上述の如く推定された三次元姿勢に基づい
てコンピュータグラフィックス（ＣＧ）で発生された人
形のキャラクタで姿勢を再現したのが図５（ａ１），
（ａ２），（ａ３）である。これらは、図３（ｂ１），
（ｂ２），（ｂ３）に示した実際に撮像された正面像，
側面像，立面像に対応している。また、図５（ｂ１），
（ｂ２）は、別のキャラクタにより再現した正面像と側
面像である。FIG. 5 is a diagram showing an example of a restored three-dimensional image. FIG. 5 (a1) shows the reproduction of the posture of a doll character generated by computer graphics (CG) based on the three-dimensional posture estimated as described above.
(A2) and (a3). These are shown in FIG. 3 (b1),
(B2), an actually imaged front image shown in (b3),
It supports side and elevation images. FIG. 5 (b1),
(B2) is a front image and a side image reproduced by another character.
【００３０】上述の如く、この実施形態によれば、正
面，側面，立面の各画像を用いて所定のアルゴリズムを
適用して各特徴点を求めるようにしたので、いずれかの
視点からの画像にのみ自己遮蔽が発生しても、残りの２
つの視点の画像を用いて三次元の特徴点位置を求めるこ
とが容易となる。As described above, according to this embodiment, each feature point is obtained by applying a predetermined algorithm using each image of the front, side, and elevation. Even if self-shielding occurs only in
It is easy to obtain a three-dimensional feature point position using images from three viewpoints.
【００３１】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
【００３２】[0032]
【発明の効果】以上のように、この発明によれば、少な
くとも２台のカメラで異なる方向から撮像された人物の
シルエット画像に対して、人体形状の先見的知識を用い
た特徴部位の検出を行ない、画像間でのステレオ視によ
り三次点的な姿勢を推定することができる。しかも、非
接触方式のために人体に負担をかけることがなく、任意
の人物の姿勢に対して有効となる。しかも、専用のハー
ドウェアを用いることなく、パーソナルコンピュータの
ソフト処理によって容易に実現できる。さらに、ジェス
チュア認識などへ利用できる程度の精度を有することが
できるので、福祉やテレビゲームや通信などの分野への
応用が可能となる。As described above, according to the present invention, it is possible to detect a characteristic portion of a silhouette image of a person captured by at least two cameras from different directions by using a priori knowledge of a human body shape. By doing so, a tertiary point posture can be estimated by stereo vision between images. In addition, the non-contact method does not place a burden on the human body, and is effective for an arbitrary posture of a person. Moreover, it can be easily realized by software processing of a personal computer without using dedicated hardware. Furthermore, since it is possible to have an accuracy that can be used for gesture recognition and the like, application to fields such as welfare, video games, and communication becomes possible.
【図１】この発明の一実施形態の概略ブロック図であ
る。FIG. 1 is a schematic block diagram of an embodiment of the present invention.
【図２】この発明の一実施形態の動作を説明するための
フローチャートである。FIG. 2 is a flowchart for explaining the operation of the embodiment of the present invention;
【図３】取込んだ画像から重心検出までの処理を示す図
である。FIG. 3 is a diagram illustrating a process from a captured image to a center of gravity detection.
【図４】主軸検出から特徴点検出までの処理を示す図で
ある。FIG. 4 is a diagram showing processing from spindle detection to feature point detection.
【図５】復元された三次元画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of a restored three-dimensional image.
１〜３ ＣＣＤカメラ ４ クロマキー背景分離装置 ５ 画素処理装置 1-3 CCD camera 4 Chroma key background separation device 5 Pixel processing device
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−237348（ＪＰ，Ａ) 特開 平10−165394（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) A61B 5/107 A61B 5/11 G01B 11/24 G06T 7/00 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-9-237348 (JP, A) JP-A-10-165394 (JP, A) (58) Fields investigated (Int. Cl. 6 , DB name) A61B 5/107 A61B 5/11 G01B 11/24 G06T 7/00
Claims (2)
ら撮像された各画像から人物の三次元姿勢を推定する多
眼画像処理による人物の三次元姿勢推定方法であって、 前記少なくとも２台のカメラで撮像された各画像をしき
い値処理して得られた人物領域に、距離変換を施すこと
によって身体重心を求める第１のステップ、 前記第１のステップで求めた各身体重心の水平位置より
も上方の画像から腕領域を除去し、上半身距離画像の主
軸を計算して上半身傾き角および回転角を求める第２の
ステップ、 前記距離変換を施した距離変換画像の極大値を求めて骨
格画像を作成し、その骨格画像のうちの身体重心の垂直
位置より下方の下半身骨格画像の端点から所定の条件を
満たす端点を足先点として選ぶ第３のステップ、 前記人物領域の輪郭形状によって手先点と首位置を求
め、頭頂点を決定する第４のステップ、 遺伝的アルゴリズムを用いて前記頭頂点と手先点と足先
点の特徴部位から肘と膝の位置を推定する第５のステッ
プ、および前記第５のステップで求められた各特徴部位
の二次元位置によって前記人物の三次元姿勢を判別する
第６のステップを含むことを特徴とする、多眼画像処理
による人物の三次元姿勢推定方法。1. A method for estimating a three-dimensional posture of a person by multi-view image processing for estimating a three-dimensional posture of a person from images captured by different cameras at least in two directions, wherein the at least two cameras A first step of performing a distance conversion on a person region obtained by performing a threshold process on each image captured in step 1 to obtain a center of gravity of the body, from a horizontal position of the center of gravity of each body obtained in the first step A second step of calculating the main axis of the upper body distance image to obtain the upper body tilt angle and the rotation angle by removing the arm region from the upper image, and obtaining the local maximum value of the distance conversion image subjected to the distance conversion. A third step of selecting an end point satisfying a predetermined condition from an end point of the lower body skeleton image below the vertical position of the body center of gravity in the skeleton image as a toe point; A fourth step of determining a tip point and a neck position according to the above, and determining a head vertex; and a fifth step of estimating a position of an elbow and a knee from the characteristic portion of the head vertex, the tip point and the toe point using a genetic algorithm. And a sixth step of determining a three-dimensional posture of the person based on a two-dimensional position of each characteristic part obtained in the fifth step. Posture estimation method.
面を撮像し、 前記正面，側面，立面のいずれか１つの画像が遮蔽され
たとき、残りの２つの画像を用いて三次元姿勢を推定す
ることを特徴とする、請求項１に記載の多眼画像処理に
よる人物の三次元姿勢推定方法。2. The camera captures an image of the front, side, or elevation of the person, and when any one of the images of the front, side, or elevation is occluded, three-dimensionally uses the remaining two images. The three-dimensional posture estimation method for a person by multi-view image processing according to claim 1, wherein the posture is estimated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10288896A JP2967086B1 (en) | 1998-09-25 | 1998-09-25 | Estimation of 3D pose of a person by multi-view image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10288896A JP2967086B1 (en) | 1998-09-25 | 1998-09-25 | Estimation of 3D pose of a person by multi-view image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2967086B1 true JP2967086B1 (en) | 1999-10-25 |
| JP2000099741A JP2000099741A (en) | 2000-04-07 |
Family
ID=17736196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10288896A Expired - Lifetime JP2967086B1 (en) | 1998-09-25 | 1998-09-25 | Estimation of 3D pose of a person by multi-view image processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2967086B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018036898A (en) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | Image processing device and control method of the same |
| JP2020188914A (en) * | 2019-05-21 | 2020-11-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data processing device, image distribution system, image analysis method, and image analysis program |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003090714A (en) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | Image processor and image processing program |
| JP3996015B2 (en) | 2002-08-09 | 2007-10-24 | 本田技研工業株式会社 | Posture recognition device and autonomous robot |
| JP2005040556A (en) * | 2003-07-25 | 2005-02-17 | Yoshihito Ono | Analyzing athletic function and athletic ability using motion capture |
| US7508979B2 (en) * | 2003-11-21 | 2009-03-24 | Siemens Corporate Research, Inc. | System and method for detecting an occupant and head pose using stereo detectors |
| US7664571B2 (en) * | 2005-04-18 | 2010-02-16 | Honda Motor Co., Ltd. | Controlling a robot using pose |
| JP5073268B2 (en) * | 2006-11-01 | 2012-11-14 | 富士重工業株式会社 | Automatic adjustment device for control parameters |
| JP5174492B2 (en) * | 2008-03-05 | 2013-04-03 | 公立大学法人首都大学東京 | Image recognition apparatus, image recognition method, image recognition program, gesture motion recognition system, gesture motion recognition method, and gesture motion recognition program |
| JP2016140591A (en) * | 2015-02-03 | 2016-08-08 | 国立大学法人 鹿児島大学 | Motion analysis and evaluation device, motion analysis and evaluation method, and program |
| JP6547355B2 (en) * | 2015-03-20 | 2019-07-24 | 大日本印刷株式会社 | Printed product manufacturing device |
| KR102018950B1 (en) * | 2017-08-25 | 2019-09-05 | 숭실대학교산학협력단 | Kinematic calibration device for lower body and calibration method for posture of lower body using thereof |
| KR102018951B1 (en) * | 2017-08-25 | 2019-09-05 | 숭실대학교산학협력단 | Method for calibrating posture of lower body using wearable sensors, and computer readable medium for performing the method |
| JP7094702B2 (en) * | 2018-01-12 | 2022-07-04 | キヤノン株式会社 | Image processing device and its method, program |
| JP2019169069A (en) * | 2018-03-26 | 2019-10-03 | Kddi株式会社 | Object separation device, method and program |
-
1998
- 1998-09-25 JP JP10288896A patent/JP2967086B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018036898A (en) * | 2016-08-31 | 2018-03-08 | キヤノン株式会社 | Image processing device and control method of the same |
| JP2020188914A (en) * | 2019-05-21 | 2020-11-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data processing device, image distribution system, image analysis method, and image analysis program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000099741A (en) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103778635B (en) | For the method and apparatus processing data | |
| JP2967086B1 (en) | Estimation of 3D pose of a person by multi-view image processing | |
| US8355529B2 (en) | Motion capture apparatus and method, and motion capture program | |
| US9235753B2 (en) | Extraction of skeletons from 3D maps | |
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| JP5820366B2 (en) | Posture estimation apparatus and posture estimation method | |
| CN109427007B (en) | Virtual fitting method based on multiple visual angles | |
| JP6723061B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP2009536731A5 (en) | ||
| JP2000251078A (en) | Method and device for estimating three-dimensional posture of person, and method and device for estimating position of elbow of person | |
| JP2007310707A (en) | Apparatus and method for estimating posture | |
| WO2007102537A1 (en) | Posture estimating device and method | |
| JP2012123667A (en) | Attitude estimation device and attitude estimation method | |
| JP2014026429A (en) | Posture estimation device, posture estimation method and posture estimation program | |
| JP4938748B2 (en) | Image recognition apparatus and program | |
| Iwasawa et al. | Real-time, 3D estimation of human body postures from trinocular images | |
| CN107949851A (en) | The quick and robust control policy of the endpoint of object in scene | |
| JP2001005973A (en) | Method and device for estimating three-dimensional posture of person by color image | |
| JP3144400B2 (en) | Gesture recognition device and method | |
| JP2952208B2 (en) | Estimation method of human body posture | |
| Takahashi et al. | Real-time estimation of human body postures using Kalman filter | |
| JP2627483B2 (en) | Attitude detection apparatus and method | |
| JP2001141425A (en) | Three-dimensional shape measuring device | |
| Rosenhahn et al. | Automatic human model generation | |
| JP7024876B2 (en) | Detection device, processing device, detection method, and processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990803 |