JP2008198174A - 画像処理装置、画像処理方法、およびプログラム、並びに目標関数 - Google Patents

画像処理装置、画像処理方法、およびプログラム、並びに目標関数 Download PDF

Info

Publication number
JP2008198174A
JP2008198174A JP2007200477A JP2007200477A JP2008198174A JP 2008198174 A JP2008198174 A JP 2008198174A JP 2007200477 A JP2007200477 A JP 2007200477A JP 2007200477 A JP2007200477 A JP 2007200477A JP 2008198174 A JP2008198174 A JP 2008198174A
Authority
JP
Japan
Prior art keywords
dimensional body
motion vector
frame image
motion
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007200477A
Other languages
English (en)
Other versions
JP4304639B2 (ja
Inventor
Gyokuu Ryu
玉宇 劉
Ikoku Go
偉国 呉
Takayuki Ashigahara
隆之 芦ヶ原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007200477A priority Critical patent/JP4304639B2/ja
Priority to US12/008,815 priority patent/US7999811B2/en
Priority to CN200810002739.0A priority patent/CN101226647B/zh
Publication of JP2008198174A publication Critical patent/JP2008198174A/ja
Application granted granted Critical
Publication of JP4304639B2 publication Critical patent/JP4304639B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

【課題】ICPレジスタ手法に比較して、より少ない演算量、より高い精度で安定的に３次元ボディトラッキングを行う。
【解決手段】画像処理装置１０は、撮影されたフレーム画像を取得するフレーム画像取得部１１、前フレーム画像に対応する３次元ボディ画像と現フレーム画像とに基づいて関節拘束のない運動ベクトルΔを予測する予測部１２、予測結果に基づいて最適な関節拘束のある運動ベクトルΔ*を決定する運動ベクトル決定部１３、決定された最適な関節拘束のある運動ベクトルΔ*を適用して現フレームに対応する３次元ボディ画像を生成する３次元ボディ画像生成部１４から構成される。目標関数は、動きベクトルΔによる変換後の３次元ボディの姿勢と、動きベクトルΔ*による変換後の３次元ボディの姿勢の差を最小化するべく導出されたものである。本発明は、３次元ボディトラッキングに適用できる。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、およびプログラム、並びに目標関数に関し、特に、例えば、動きのある人物などの被写体を撮影した連続画像に基づき、当該被写体の動きを複数のパートから構成された３次元ボディによりモデル化する３次元ボディトラッキングに用いて好適な画像処理装置、画像処理方法、およびプログラム、並びに目標関数に関する。
３次元ボディトラッキングにおいては、例えば図１に示すように、時間的に連続して撮影されたフレーム画像Ｆ0，Ｆ1のうち、基準とするフレーム画像Ｆ0内の被写体を、例えば頭部、胴体部、腕の肩から肘までの部分、腕の肘から指先までの部分、足の腰から膝までの部分、膝から足先までの部分などに分割し、それぞれを３次元のパートとする３次元ボディ画像Ｂ0を生成する。そして、３次元ボディ画像Ｂ0の各パートの動きを、フレーム画像Ｆ1に基づいて追跡（トラッキング）することにより、フレーム画像Ｆ1に対応する３次元ボディ画像Ｂ1を生成するようになされている。
ところで、各パートの動きをトラッキングする際、各パートの動きを独立的に追跡すると、本来関節によって接続されていなければならないパート同士が離れてしまうことが発生し得る（図１Ｄの３次元ボディ画像Ｂ'1）。このような不具合の発生を防ぐため、「各パートは所定の関節点において他のパートと連続している」という条件（以下、関節拘束と称する）に従ってトラッキングする必要がある。
このような必要に応じ、従来、関節拘束のあるトラッキング方法が数多く提案されている（例えば、非特許文献１乃至４）。
D. Demirdjian, T. Ko and T. Darrell. "Constraining Human Body Tracking". Proceedings of ICCV, vol.2, pp.1071, 2003. Christoph Bregler, Jitendra Malik and Katherine Pullen. "Twist Based Acquisition and Tracking of Animal and Human Kinematics". IJCV, vol.56, no.3, pp.179-194, 2004. Steffen Knoop, Stefan Vacek, and Rudiger Dillmann. "Modeling Joint Constraints for an Articulated 3D Human Body Model with Artificial Correspondences in ICP". Proceedings of Humanoids, pp.74-79, 2005. Ivana Mikic, Mohan Trivedi, Edward Hunter and Pamela Cosman. "Human Body Model Acquisition and Tracking Using Voxel Data". IJCV, vol.53, no.3, pp.199-223, 2003.
非引用文献１では、ICP(Iterative Closest Point)レジスタ手法によって独立的に求めた各パートの動きを、線形運動空間において関節拘束を満たす運動に射影する手法が提案されている。当該射影の方向はICPの相関行列Σ-1によって決定される。
ICPの相関行列Σ-1を使って射影方向を決定することの利点は、射影した運動で３次元ボディの各パートを動かした姿勢が、被写体の実際の姿勢に最も近くなることである。
反対に、ICPの相関行列Σ-1を使って射影方向を決定することの欠点としては、ICPレジスタ手法では２台のカメラによって同時に撮影された２枚の画像の視差に基づいて３次元復元を行っているので、１台のカメラによって撮影された画像を用いる手法に適用できない点が挙げられる。また、３次元復元の精度とエラーが射影方向の決定精度に大きく依存しているので、射影方向の決定が不安定であるという問題がある。さらに、ICPレジスタ手法は、演算量が多く処理に時間がかかるという問題もある。
本発明はこのような状況に鑑みてなされたものであり、ICPレジスタ手法に比較して、より少ない演算量、より高い精度で安定的に３次元ボディトラッキングを行うようにするものである。
本発明の第１の側面である画像処理装置は、動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する画像処理装置において、撮影された前記フレーム画像を取得する取得手段と、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算するとともに、前記３次元ボディの各パートの座標に関する第２の行列を演算し、さらに前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成する予測手段と、前記予測手段によって演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算する演算手段と、前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定する決定手段とを含み、前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
前記予測手段は、撮影された基準とする基準フレーム画像に対応する３次元ボディのボディ姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算するとともに、前記３次元ボディの各パートについて、前記パートに含まれる複数点であって、且つ、同一直線上に存在しない前記複数点の座標に関する第２の行列を演算し、さらに前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成するようにすることができる。
前記所定の目標関数では、前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きが少ないとの仮定に基づき、螺旋運動によって表記された前記被写体の動きが線形化されているようにすることができる。
前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きは、絶対座標系を用いて表記されているようにすることができる。
前記所定の目標関数では、前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きが少ないとの仮定に基づき、互いに直交する３軸をそれぞれ中心とする回転運動によって表記された前記被写体の動きが線形化されているようにすることができる。
前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きは、相対座標系を用いて表記されているようにすることができる。
前記所定の目標関数は、
（Δ*−Δ）tＣ（Δ*−Δ）
であり、
前記演算手段は、前記所定の目標関数を最小化する第２の運動ベクトルを、
Δ*＝Ｖ（ＶtＣＶ）-1ＶtＣΔ
により演算するようにすることができる。
ただし、
Δ*は前記第２の運動ベクトル
Ｖは前記第１の行列
Ｃは前記第２の行列
Δは前記第１の運動ベクトル
である。
本発明の第１の側面である画像処理方法は、動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する画像処理装置の画像処理方法において、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算し、前記３次元ボディの各パートの座標に関する第２の行列を演算し、前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成し、演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算し、前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定するステップを含み、前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
本発明の第１の側面であるプログラムは、動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化するコンピュータの制御用のプログラムであって、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算し、前記３次元ボディの各パートの座標に関する第２の行列を演算し、前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成し、演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算し、前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定するステップを含む処理をコンピュータに実行させ、前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
本発明の第２の側面である目標関数は、動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する３次元ボディトラッキング処理に用いる目標関数であって、前記３次元ボディの各パートの動きを関節拘束なしで予測した第１の運動ベクトルを入力、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを出力とし、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化する。
本発明の第１の側面においては、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、３次元ボディの各パートを接続する関節の座標に関する第１の行列が演算され、３次元ボディの各パートの座標に関する第２の行列が演算され、基準フレーム画像の次のフレーム画像に基づいて各パートの動きを関節拘束なしで予測した第１の運動ベクトルが生成される。そして、演算された第１および第２の行列、並びに第１の運動ベクトルが用いられ、所定の目標関数が所定の条件を満たすように、各パートの動きを関節拘束ありで予測した第２の運動ベクトルが演算され、基準フレーム画像に対応する３次元ボディが、演算された第２の運動ベクトルに従って変換させることにより、次のフレーム画像に対応する３次元ボディが決定される。なお、所定の目標関数に対する所定の条件は、第１の運動ベクトルによる変換後の３次元ボディの姿勢と、第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
本発明の第２の側面においては、３次元ボディの各パートの動きを関節拘束なしで予測した第１の運動ベクトルが入力、各パートの動きを関節拘束ありで予測した第２の運動ベクトルが出力であり、第１の運動ベクトルによる変換後の３次元ボディの姿勢と、第２の運動ベクトルによる変換後の３次元ボディの姿勢の差が最小となる第２の運動ベクトルが出力される。
本発明の第１の側面によれば、ICPレジスタ手法に比較して、より少ない演算量、より高い精度で安定的に３次元ボディトラッキングを行うことができる。
本発明の第２の側面によれば、関節拘束のない第１の運動ベクトルに基づき、第１の運動ベクトルによる変換後の３次元ボディの姿勢と、関節拘束のある第２の運動ベクトルによる変換後の３次元ボディの姿勢の差が最小となる第２の運動ベクトルを決定することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第１の側面である画像処理装置（例えば、図３の画像処理装置１０）は、動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する画像処理装置において、撮影された前記フレーム画像を取得する取得手段（例えば、図３のフレーム画像取得部１１）と、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列（例えば、行列Ｖ）を演算するとともに、前記３次元ボディの各パートの座標に関する第２の行列（例えば、行列Ｃ）を演算し、さらに前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトル（例えば、運動ベクトルΔ）を生成する予測手段（例えば、図３の予測部１２）と、前記予測手段によって演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトル（例えば、運動ベクトルΔ*）を演算する演算手段（例えば、図３の運動ベクトル決定部１３）と、前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定する決定手段（例えば、図３の３次元ボディ画像生成部１４）とを含み、前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
本発明の第１の側面である画像処理方法およびプログラムは、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算し（例えば、図４のステップＳ２）、前記３次元ボディの各パートの座標に関する第２の行列を演算し（例えば、図４のステップＳ３）、前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成し（例えば、図４のステップＳ４）、演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算し（例えば、図４のステップＳ５）、前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定するステップ（例えば、図４のステップＳ６）を含み、前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
本発明は、図１を用いて説明した３次元ボディトラッキングを実現するため、各パートを独立的にトラッキングして求めた関節拘束のない運動ベクトルΔに基づき、各パートの動きが統合された関節拘束のある運動ベクトルΔ*を算出する方法を提案するとともに、１フレーム前の３次元ボディ画像Ｂ0に運動ベクトルΔ*を適用して、現フレームの３次元ボディ画像Ｂ1を生成できるようにするものである。
本発明では、３次元ボディの各パートの動き（位置と姿勢の変化）を２種類の表記方法によって表現し、それぞれの表記方法を用いて最適な目標関数を導出する。
まず、第１の表記方法について説明する。３次元空間における剛体（各パートに相当）の運動を表す場合、従来から４×４の変換行列による線形変換が用いられる。第１の表記方法では、全ての剛体運動を、所定の軸に対する回転運動と、当該軸に平行に移動する並進運動との組み合わせによって表記する。この回転運動と並進運動の組み合わせは螺旋運動と称される。
例えば図２に示すように、剛体が点p(0)から螺旋運動の回転角θによって点p(θ)に移動した場合、この運動は次式（１）に示すように指数を用いて表記される。
Figure 2008198174
 ・・・（１）
式（１）のｅξθ（ξの上の＾は表記の都合により明細書においては省略する。以降においても同様とする）は、剛体の運動（変換）Ｇを示しており、テイラー展開によって次式（２）に示すとおりとなる。
Figure 2008198174
 ・・・（２）
なお、Ｉは単位行列を示している。また、指数部分におけるξは、螺旋運動を示しており、次式（３）に示される４×４の行列、または６次元のベクトルで表記される。
Figure 2008198174
 ・・・（３）
ただし、
Figure 2008198174
 ・・・（４）
である。
したがって、ξθは次式（５）に示されるとおりとなる。
Figure 2008198174
 ・・・（５）
なお、ξθの６個の独立変数ξ1θ，ξ2θ，ξ3θ，ξ4θ，ξ5θ，ξ6θのうち、前半のξ1θ乃至ξ3θは螺旋運動の回転運動に関わり、後半のξ4θ乃至ξ6θは螺旋運動の並進運動に関わる。
ここで、「連続するフレーム画像Ｆ0,Ｆ1間における剛体の移動量が小さい」ということを仮定すれば、式（２）の第３項以降は省略でき、剛体の運動（変換）Ｇは次式（６）に示すように線形化することができる。
Figure 2008198174
 ・・・（６）
なお、連続するフレーム画像Ｆ0,Ｆ1間における剛体の移動量が大きい場合には、撮影時のフレームレートを上げることによって、フレーム間の移動量を小さくすることができる。したがって、「連続するフレーム画像Ｆ0,Ｆ1間における剛体の移動量が小さい」との仮定を常に成立させることができるので、以降においては、剛体の運動（変換）Ｇとして式（６）を採用する。
次に、Ｎ個のパート（剛体）からなる３次元ボディの運動について考察する。上述したように、各パートの運動は、ξθのベクトルによって表記されるので、関節拘束のない３次元ボディの運動ベクトルΔは、次式（７）に示されるように、Ｎ個のξθのベクトルによって表示される。
Figure 2008198174
 ・・・（７）
なお、Ｎ個の各ξθのベクトルは、それぞれ６個の独立変数ξ1θ乃至ξ6θを有しているので、３次元ボディの運動ベクトルΔは、６Ｎ次元となる。
ここで、式（７）を簡略化するため、次式（８）のように、６個の独立変数ξ1θ乃至ξ6θのうち、螺旋運動の回転運動に関わる前半のξ1θ乃至ξ3θを３次元ベクトルｒiで表記し、螺旋運動の並進運動に関わる後半のξ4θ乃至ξ6θを３次元ベクトルｔiで表記する。
Figure 2008198174
 ・・・（８）
この結果、式（７）は次式（９）に示すとおり簡略化できる。
Figure 2008198174
 ・・・（９）
ところで、３次元ボディを構成するＮ個のパートには、実際には関節拘束を適用する必要がある。そこで次に、関節拘束のない３次元ボディの動きベクトルΔから、関節拘束のある３次元ボディの動きベクトルΔ*を求める方法について説明する。
なお、以下の説明は、動きベクトルΔによる変換後の３次元ボディの姿勢と、動きベクトルΔ*による変換後の３次元ボディの姿勢の差は最小となるとの考えに基づくものである。
具体的には、３次元ボディを構成する各パートの任意の３点（ただし、３点は同一直線上に存在しない）を決定し、動きベクトルΔによる変換後の３次元ボディの姿勢の当該３点と、動きベクトルΔ*による変換後の３次元ボディの姿勢の当該３点との距離を最小化する動きベクトルΔ*を求めている。
関節拘束のある３次元ボディの動きベクトルΔ*は、３次元ボディが有する関節の数をＭ個とした場合、上述した非特許文献１にも記載されているように、関節座標で構築した3M×6Nの関節拘束行列Φの零空間null space｛Φ｝に属するものとする。
ここで、関節拘束行列Φについて説明する。Ｍ個の各関節をＪi（ｉ＝１，２，…，Ｍ）、関節Ｊiが連結するパートの索引をｍi，ｎiで示し、各関節Ｊiに対して次式（１０）に示される3×6Nの部分行列を生成する。
Figure 2008198174
 ・・・（１０）
なお、式（１０）において、０3は３×３の零行列であり、Ｉ3は３×３の単位行列である。
このようにして得られたＭ個の3×6Nの部分行列を列に沿って並べることにより、次式（１１）に示す3M×6Nの行列を生成する。この行列を関節拘束行列Φとする。
Figure 2008198174
 ・・・（１１）
３次元ボディを構成するＮ個のパートのうちのパートｉ（ｉ＝１，２，・・・，Ｎ）における同一直線上に存在しない任意の３点を｛ｐi1，ｐi2，ｐi3｝と表記すれば、目標関数は次式（１２）に示すとおりとなる。
Figure 2008198174
 ・・・（１２）
式（１２）の目標関数を展開すると、次式（１３）となる。
Figure 2008198174
 ・・・（１３）
なお、式（１３）において演算子（・）×は、３次元座標ｐを
Figure 2008198174
 とした場合、
Figure 2008198174
 となる３×３の行列の生成を意味する。
ここで、６×６の行列Ｃijを次式（１４）に示すように定義する。
Figure 2008198174
 ・・・（１４）
式（１４）の定義により、目標関数は次式（１５）に示すとおりに整理される。
Figure 2008198174
 ・・・（１５）
ただし、式（１５）におけるＣは次式（１６）に示される6N×6Nの行列である。
Figure 2008198174
 ・・・（１６）
式（１５）に示された目標関数は、非特許文献１に開示されている方法と同様に解くことができる。すなわち、SVDアルゴリズムにより、関節拘束行列Φの零空間の（6N-3M）個の６Ｎ次元の基底ベクトル｛ｖ1，ｖ2，・・・，ｖK｝（Ｋ＝１，・・・，6N-3M）を抽出する。運動ベクトルΔ*は、関節拘束行列Φの零空間に属するので、次式（１７）に示すとおり表記される。
Δ*＝λ1ｖ1＋λ2ｖ2＋…＋λKｖK
・・・（１７）
さらに、ベクトルδ＝（λ1，λ2，…，λK）tと、抽出された６Ｎ次元分の関節拘束行列Φの零空間の基底ベクトルを行に沿って並べることにより生成した6N×(6N−3M)の行列Ｖ＝［ｖ1 ｖ2 … ｖK］を定義すれば、式（１７）は、次式（１８）に示すとおりとなる。
Δ*＝Ｖδ
・・・（１８）
式（１５）に示された目標関数のうちの（Δ*−Δ）tＣ（Δ*−Δ）に、式（１８）に示されたΔ*＝Ｖδを代入すれば、次式（１９）に示すとおりとなる。
（Ｖδ−Δ）tＣ（Ｖδ−Δ）
・・・（１９）
式（１９）の差分を０とする場合、ベクトルδは次式（２０）に示すとおりとなる。
δ＝（ＶtＣＶ）-1ＶtＣΔ
・・・（２０）
したがって、式（１８）に基づき、目標関数を最小化する最適な運動ベクトルΔ*は、次式（２１）に示すとおりであり、この式（２１）を用いることにより、関節拘束のない運動ベクトルΔから、最適な関節拘束のある運動ベクトルΔ*を演算することが可能となる。
Δ*＝Ｖ（ＶtＣＶ）-1ＶtＣΔ
・・・（２１）
ところで、上述した非特許文献１によれば、関節拘束のない運動ベクトルΔから、関節拘束のある最適な運動ベクトルΔ*を演算する式として次式（２２）が開示されている。
Δ*＝Ｖ（ＶtΣ-1Ｖ）-1ＶtΣ-1Δ
・・・（２２）
ただし、Σ-1はICPの相関行列である。
本発明に対応する式（２１）と非特許文献１に記載の式（２２）を比較した場合、その差異は見かけ上、Σ-1がＣに置換されている点のみである。しかしながら、本発明に対応する式（２１）と、非特許文献１に記載の式（２２）とは、それぞれを導き出す過程における考えが全く異なるものである。
非特許文献１の場合、関節拘束行列Φの零空間に属する運動ベクトルΔ*と、運動ベクトルΔのMahalanobis距離を最小化する目標関数を導出しており、運動ベクトルΔの各分量の相関関係に基づき、ICPの相関行列Σ-1を計算している。
これに対して、本願発明の場合、動きベクトルΔによる変換後の３次元ボディの姿勢と、動きベクトルΔ*による変換後の３次元ボディの姿勢の差を最小化する目標関数を導出している。したがって、本発明に対応する式（２１）では、ICPレジスタ手法を用いていないので、３次元復元精度に依存することなく、安定的に射影方向を決定することができる。また、フレーム画像の撮影方法を限定することがない。また、ICPレジスタ手法を用いる非特許文献１の場合に比較して、演算量を削減することができる。
次に、３次元ボディの各パートの動きを表記する第２の表記方法について説明する。
第２の表記方法では、３次元ボディの各パートの姿勢を、世界座標系における始点（相対座標系における原点）と、世界座標系のx,y,z軸をそれぞれ中心とする回転角度で表す。一般に、世界座標系におけるｘ軸を中心とする回転はRollと称され、ｙ軸を中心とする回転はPitchと称され、ｚ軸を中心とする回転はYawと称される。
以下、３次元ボディのパートｉの世界座標系における始点を（ｘi，ｙi，ｚi）、Roll、Pitch，Yawの回転角度を、それぞれαi，βi，γiとする。この場合、パートｉの姿勢は、以下に示す１つの６次元ベクトルによって表現される。
［αi，βi，γi，ｘi，ｙi，ｚi］t
一般に、剛体の姿勢は、４×４の行列であるHomogeneous transformation matrix（以下、H-行列または変換行列と称する）によって表される。パートｉに対応するH-行列は、世界座標系における始点（ｘi，ｙi，ｚi）、Roll、Pitch，Yawの回転角度αi，βi，γi（rad）を次式（２３）に適用することによって演算することができる。
Figure 2008198174
 ・・・（２３）
そして、剛体運動の場合、フレーム画像Ｆnにおけるパートｉに属する任意の点Ｘの３次元位置は、H-行列を用いた次式（２４）によって計算することができる。
Ｘn＝Ｐi＋Ｇ（ｄαi，ｄβi，ｄγi，ｄｘi，ｄｙi，ｄｚi）・（Ｘn-1−Ｐi）
・・・（２４）
ここで、Ｇ（ｄαi，ｄβi，ｄγi，ｄｘi，ｄｙi，ｄｚi）は、連続するフレーム画像Ｆn-1,Ｆn間のパートｉの運動変化量ｄαi，ｄβi，ｄγi，ｄｘi，ｄｙi，ｄｚiをパーティクルフィルタなどを用いたトラッキング手法によって演算し、この演算結果を式（２３）に代入して演算した４×４の行列である。Ｐi＝（ｘi，ｙi，ｚi）tは、パートｉのフレーム画像Ｆn-1における始点である。
式（２４）に対し、「連続するフレーム画像Ｆn-1,Ｆn間における剛体の移動量が小さい」ということを仮定すれば、各回転角度の変化量は微小となるので、sin ｘ≒ｘ，cos ｘ≒１の近似が成立する。また、多項式の２次項以降も０となり省略できる。よって、式（２４）における変換行列Ｇ（ｄαi，ｄβi，ｄγi，ｄｘi，ｄｙi，ｄｚi）は、次式（２５）に示すとおりに近似される。
Figure 2008198174
 ・・・（２５）
式（２５）から明らかなように、変換行列Ｇの回転部分（左上３×３）は、単位行列＋外積行列の形となっていることに着目し、この形を利用して式（２４）を次式（２６）に変形する。
Figure 2008198174
 ・・・（２６）
さらに、式（２６）における
Figure 2008198174
 をｒiに置換し、
Figure 2008198174
 をｔiに置換すれば、式（２６）は次式（２７）に示すように整理される。
Ｘn＝Ｘn-1＋ｒi×（Ｘn-1−Ｐi）＋ｔi
・・・（２７）
ところで、３次元ボディを構成する各パートは他のパートと関節によって連結されている。例えば、パートｉとパートｊが関節Ｊijで連結されているとすれば、フレーム画像Ｆnにおいてパートｉとパートｊが連結される条件（関節拘束条件）は、次式（２８）のとおりである。
ｒi×（Ｊij−Ｐi）＋ｔi＝ｔj
−（Ｊij−Ｐi）×ｒi＋ｔi−ｔj＝０
［Ｊij−Ｐi］×・ｒi−ｔi＋ｔj＝０
・・・（２８）
なお、式（２８）における演算子［・］×は、式（１３）の場合と同様である。
さらに、Ｎ個のパートとＭ個の関節からなる３次元ボディの全体の関節拘束条件は以下の通りとなる。すなわち、Ｍ個の各関節をＪk（ｋ＝１，２，…，Ｍ）、関節Ｊkが連結する２つのパートの索引をｉk，ｊkで示し、各関節Ｊkに対して次式（２９）に示される3×6Nの部分行列を生成する。
Figure 2008198174
 ・・・（２９）
なお、式（２９）において、０3は３×３の零行列であり、Ｉ3は３×３の単位行列である。
このようにして得られたＭ個の3×6Nの部分行列を列に沿って並べることにより、次式（３０）に示す3M×6Nの行列を生成する。この行列を関節拘束行列Φとする。
Figure 2008198174
 ・・・（３０）
そして、上述した式（９）と同様、３次元ボディのフレーム画像Ｆn-1,Ｆn間の変化量を示すｒiとｔiを順番に並べて６Ｎ次元の運動ベクトルΔを生成すれば、次式（３１）に示すとおりとなる。
Figure 2008198174
 ・・・（３１）
したがって、３次元ボディの関節拘束条件式は、次式（３２）となる。
ΦΔ＝０
・・・（３２）
なお、式（３２）は数学的に、運動ベクトルΔが関節拘束行列Φの零空間null space｛Φ｝に含まれることを意味する。すなわち、次式（３３）のとおりに記述される。
Δ ∈ null space｛Φ｝
・・・（３３）
以上のようにして求めた運動ベクトルΔと関節拘束条件式（３２）に基づき、３次元ボディを構成するＮ個のパートのうちのパートｉ（ｉ＝１，２，・・・，Ｎ）における同一直線上に存在しない任意の３点を｛ｐi1，ｐi2，ｐi3｝と表記すれば、目標関数は式（１２）と同様の式がえられる。
ただし、第１の表記方法では、３次元ボディの動きが螺旋運動で表記され、パートｉにおける同一直線上に存在しない任意の３点の座標を絶対座標系で表していたことに対し、第２の表記方法では、３次元ボディの動きが絶対座標の原点とx,y,z軸に対する回転運動で表記され、パートｉにおける同一直線上に存在しない任意の３点の座標を、パートｉの始点Ｐiを原点とする相対座標系で表している点が異なるので、第２の表記方法の対応する目標関数は次式（３４）に示すとおりとなる。
Figure 2008198174
 ・・・（３４）
式（３４）に示された目標関数を展開、整理し、最適な運動ベクトルΔ*を求める過程は、上述した第１の表記方法に対応する目標関数を展開、整理し、最適な運動ベクトルΔ*を求める過程（すなわち、式（１２）から式（２１）を導出した過程）と同様である。ただし、第２の表記方法に対応する過程においては、第１の表記方法に対応する過程で定義された６×６の行列Ｃij（式（１４））の代わりに、次式（３５）に示す６×６の行列Ｃijを定義して用いる。
Figure 2008198174
 ・・・（３５）
そして最終的に求められる第２の表記方法に対応する最適な運動ベクトルΔ*は、
Δ*＝［ｄα0 *，ｄβ0 *，ｄγ0 *，ｄｘ0 *，ｄｙ0 *，ｄｚ0 *，・・・］t
となり運動パラメータそのものであるので、次のフレーム画像における３次元ボディの生成にそのまま直接用いることができる。
次に、本発明に対応する式（２１）を３次元ボディトラッキングに用い、図１に示されたように、時間的に連続して撮影されたフレーム画像Ｆ0，Ｆ1から３次元ボディ画像Ｂ1を生成する画像処理装置について説明する。
図３は、当該画像処理装置の構成例を示している。この画像処理装置１０は、カメラなどによって撮影されたフレーム画像を取得するフレーム画像取得部１１、前フレーム画像に対応する３次元ボディ画像と現フレーム画像とに基づいて３次元ボディを構成する各パートの動き（関節拘束のない運動ベクトルΔに相当）を予測する予測部１２、予測結果を式（２１）に適用して関節拘束のある運動ベクトルΔ*を決定する運動ベクトル決定部１３、および、前フレーム画像に対応する生成済みの３次元ボディ画像を、決定された関節拘束のある運動ベクトルΔ*を用いて変換することにより現フレームに対応する３次元ボディ画像を生成する３次元ボディ画像生成部１４から構成される。
次に、画像処理装置１０による３次元ボディ画像生成処理について、現フレーム画像Ｆ1に対応する３次元ボディ画像Ｂ1を生成する場合を例に、図４のフローチャートを参照して説明する。なお、前フレーム画像Ｆ0に対応する３次元ボディ画像Ｂ0は既に生成されているものとする。
ステップＳ１において、フレーム画像取得部１１は、撮影された現フレーム画像Ｆ1を取得して予測部１２に供給する。予測部１２は、３次元ボディ画像生成部１４からフィードバックされた、前フレーム画像Ｆ0に対応する３次元ボディ画像Ｂ0を取得する。
ステップＳ２において、予測部１２は、フィードバックされた３次元ボディ画像Ｂ0におけるボディ姿勢に基づき、関節座標を要素とする3M×6Nの関節拘束行列Φを構築し、さらに関節拘束行列Φの零空間の基底ベクトルを要素とする6N×(6N−3M)の行列Ｖを構築する。
ステップＳ３において、予測部１２は、フィードバックされた３次元ボディ画像Ｂ0の各パートについて、同一直線上に存在しない任意の３点を選択し、6N×6Nの行列Ｃを演算する。
ステップＳ４において、予測部１２は、３次元ボディ画像Ｂ0と現フレーム画像Ｆ1に基づき、３次元ボディの関節拘束のない運動ベクトルΔを演算する。すなわち、３次元ボディを構成する各パートの動きを予測する。この予測には、従来存在するKalmanフィルタ、Particleフィルタ、またはInteractive Closest Point法などの代表的な手法を用いることができる。
そして、ステップＳ２乃至Ｓ４の処理で得られた行列Ｖ、行列Ｃ、および運動ベクトルΔは、予測部１２から運動ベクトル決定部１３に供給される。
ステップＳ５において、運動ベクトル決定部１３は、予測部１２から供給された行列Ｖ、行列Ｃ、および運動ベクトルΔを式（２１）に代入することにより、最適な関節拘束のある運動ベクトルΔ*を演算して３次元ボディ画像生成部１４に出力する。
ステップＳ６において、３次元ボディ画像生成部１４は、前フレーム画像Ｆ0に対応する生成済みの３次元ボディ画像Ｂ0を、運動ベクトル決定部１３から入力された最適な関節拘束のある運動ベクトルΔ*を用いて変換することにより、現フレーム画像Ｆ1に対応する３次元ボディ画像Ｂ1を生成する。なお、生成された３次元ボディ画像Ｂ1は、後段に出力されるとともに予測部１２にフィードバックされる。
以上で、画像処理装置１０による３次元ボディ画像生成処理の説明を終了する。
ところで、上述した一連の処理は、図３のように構成されたハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM(Read Only Memory)１０２，RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性メモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの記録媒体１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
CPU１０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである記録媒体１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
３次元ボディトラッキングの概要を説明するための図である。 剛体の螺旋運動を説明するための図である。 本発明を適用した画像処理装置の構成例を示すブロック図である。 ３次元ボディ画像生成処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
符号の説明
１０ 画像処理装置， １１ フレーム画像取得部， １２ 予測部， １３ 運動ベクトル決定部， １４ ３次元ボディ画像生成部， １００ コンピュータ， １０１ CPU， １１１ 記録媒体

Claims (10)

  1. 動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する画像処理装置において、
    撮影された前記フレーム画像を取得する取得手段と、
    撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算するとともに、前記３次元ボディの各パートの座標に関する第２の行列を演算し、さらに前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成する予測手段と、
    前記予測手段によって演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算する演算手段と、
    前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定する決定手段とを含み、
    前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである
    画像処理装置。
  2. 前記予測手段は、撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算するとともに、前記３次元ボディの各パートについて、前記パートに含まれる複数点であって、且つ、同一直線上に存在しない前記複数点の座標に関する第２の行列を演算し、さらに前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成する
    請求項１に記載の画像処理装置。
  3. 前記所定の目標関数では、前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きが少ないとの仮定に基づき、螺旋運動によって表記された前記被写体の動きが線形化されている
    請求項１に記載の画像処理装置。
  4. 前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きは、絶対座標系を用いて表記されている
    請求項３に記載の画像処理装置。
  5. 前記所定の目標関数では、前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きが少ないとの仮定に基づき、互いに直交する３軸をそれぞれ中心とする回転運動によって表記された前記被写体の動きが線形化されている
    請求項１に記載の画像処理装置。
  6. 前記基準フレーム画像と前記次のフレーム画像との間の被写体の動きは、相対座標系を用いて表記されている
    請求項５に記載の画像処理装置。
  7. 前記所定の目標関数は、
    （Δ*−Δ）tＣ（Δ*−Δ）
    であり、
    前記演算手段は、前記所定の目標関数を最小化する第２の運動ベクトルを、
    Δ*＝Ｖ（ＶtＣＶ）-1ＶtＣΔ
    により演算する
    ただし、
    Δ*は前記第２の運動ベクトル
    Ｖは前記第１の行列
    Ｃは前記第２の行列
    Δは前記第１の運動ベクトル
    である
    請求項１に記載の画像処理装置。
  8. 動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する画像処理装置の画像処理方法において、
    撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算し、
    前記３次元ボディの各パートの座標に関する第２の行列を演算し、
    前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成し、
    演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算し、
    前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定するステップを含み、
    前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである
    画像処理方法。
  9. 動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化するコンピュータの制御用のプログラムであって、
    撮影された基準とする基準フレーム画像に対応する３次元ボディの姿勢に基づき、前記３次元ボディの各パートを接続する関節の座標に関する第１の行列を演算し、
    前記３次元ボディの各パートの座標に関する第２の行列を演算し、
    前記基準フレーム画像の次のフレーム画像に基づいて前記各パートの動きを関節拘束なしで予測した第１の運動ベクトルを生成し、
    演算された前記第１および第２の行列、並びに前記第１の運動ベクトルを用いて、所定の目標関数が所定の条件を満たすように、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを演算し、
    前記基準フレーム画像に対応する３次元ボディを、演算された前記第２の運動ベクトルに従って変換させることにより、前記次のフレーム画像に対応する３次元ボディを決定するステップを含む処理をコンピュータに実行させ、
    前記所定の目標関数に対する前記所定の条件は、前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化することである
    プログラム。
  10. 動きのある被写体を時間的に連続して撮影した複数のフレーム画像に基づき、前記被写体の動きを複数のパートから構成された３次元ボディによりモデル化する３次元ボディトラッキング処理に用いる目標関数であって、
    前記３次元ボディの各パートの動きを関節拘束なしで予測した第１の運動ベクトルを入力、前記各パートの動きを関節拘束ありで予測した第２の運動ベクトルを出力とし、
    前記第１の運動ベクトルによる変換後の３次元ボディの姿勢と、前記第２の運動ベクトルによる変換後の３次元ボディの姿勢の差を最小化する
    目標関数。
JP2007200477A 2007-01-16 2007-08-01 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4304639B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007200477A JP4304639B2 (ja) 2007-01-16 2007-08-01 画像処理装置、画像処理方法、およびプログラム
US12/008,815 US7999811B2 (en) 2007-01-16 2008-01-14 Image processing device, method, and program, and objective function
CN200810002739.0A CN101226647B (zh) 2007-01-16 2008-01-16 图像处理设备、方法和程序以及目标函数

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007006630 2007-01-16
JP2007200477A JP4304639B2 (ja) 2007-01-16 2007-08-01 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008198174A true JP2008198174A (ja) 2008-08-28
JP4304639B2 JP4304639B2 (ja) 2009-07-29

Family

ID=39757020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007200477A Expired - Fee Related JP4304639B2 (ja) 2007-01-16 2007-08-01 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US7999811B2 (ja)
JP (1) JP4304639B2 (ja)
CN (1) CN101226647B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
KR20100121420A (ko) * 2009-05-08 2010-11-17 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
CN111526359A (zh) * 2013-10-18 2020-08-11 Ge视频压缩有限责任公司 多分量图片或视频编码概念
EP4075785A4 (en) * 2019-12-09 2023-01-18 Sony Group Corporation IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM AND IMAGE PROCESSING METHOD

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727568B (zh) * 2008-10-10 2013-04-17 索尼（中国）有限公司 前景动作估计装置和前景动作估计方法
JP5553141B2 (ja) * 2009-11-11 2014-07-16 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
CN102385695A (zh) * 2010-09-01 2012-03-21 索尼公司 人体三维姿势识别方法和装置
TWI466062B (zh) 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
WO2017205983A1 (en) * 2016-06-02 2017-12-07 Bigmotion Technologies Inc. Systems and methods for walking speed estimation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169817B1 (en) * 1998-11-04 2001-01-02 University Of Rochester System and method for 4D reconstruction and visualization
JP2000259204A (ja) 1999-03-04 2000-09-22 Sony Corp 情報処理方法及び装置、並びにプログラム供給媒体
US6760488B1 (en) * 1999-07-12 2004-07-06 Carnegie Mellon University System and method for generating a three-dimensional model from a two-dimensional image sequence
JP4695275B2 (ja) 2001-03-07 2011-06-08 独立行政法人科学技術振興機構 動画像生成システム
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN1266655C (zh) * 2004-12-09 2006-07-26 上海交通大学 基于图像轮廓的人肢体三维建模方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100121420A (ko) * 2009-05-08 2010-11-17 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN111526359A (zh) * 2013-10-18 2020-08-11 Ge视频压缩有限责任公司 多分量图片或视频编码概念
CN111526359B (zh) * 2013-10-18 2023-01-06 Ge视频压缩有限责任公司 多分量图片或视频编码概念
US11765342B2 (en) 2013-10-18 2023-09-19 Ge Video Compression, Llc Multi-component picture or video coding concept
EP4075785A4 (en) * 2019-12-09 2023-01-18 Sony Group Corporation IMAGE PROCESSING APPARATUS, IMAGE PROCESSING SYSTEM AND IMAGE PROCESSING METHOD

Also Published As

Publication number Publication date
JP4304639B2 (ja) 2009-07-29
US7999811B2 (en) 2011-08-16
CN101226647A (zh) 2008-07-23
CN101226647B (zh) 2010-12-01
US20080284784A1 (en) 2008-11-20

Similar Documents

Publication Publication Date Title
JP4304639B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4582174B2 (ja) 追跡処理装置、追跡処理方法、プログラム
RU2713611C2 (ru) Способ моделирования трехмерного пространства
JP5525407B2 (ja) 動作モデル学習装置、３次元姿勢推定装置、動作モデル学習方法、３次元姿勢推定方法およびプログラム
JP2008544404A (ja) 薄板スプライン変換を用いて非剛体運動をモデル化するための直接的方法
KR101347840B1 (ko) 신체 제스처 인식 방법 및 장치
JP2021518622A (ja) 自己位置推定、マッピング、およびネットワークトレーニング
Wu et al. Real-time estimation of missing markers for reconstruction of human motion
US11874133B2 (en) Mapping an environment using a state of a robotic device
JP2013520327A (ja) 関節システムの制御方法、記憶媒体、制御システム
JP2015102913A (ja) 姿勢推定装置及び姿勢推定方法
JPH0887609A (ja) 画像処理装置
US7580546B2 (en) Marker-free motion capture apparatus and method for correcting tracking error
KR20120032681A (ko) 3차원 물체 추적 방법 및 장치
CN113012268A (zh) 静态行人图像的运动动态化方法、系统、装置及介质
Geng et al. Simulation data integration-based approach for motion synthesis in virtual maintenance
JP6315542B2 (ja) 画像生成装置及び画像生成方法
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
Hwang et al. Primitive object grasping for finger motion synthesis
CN117523206B (zh) 一种基于跨源点云与多模态信息的自动化装配方法
CN117103286B (zh) 一种机械手手眼标定方法、系统和可读存储介质
WO2020183962A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5991730B2 (ja) 計測装置、計測方法及びプログラム
JP2009104228A (ja) 画像位置合わせ方法及び画像位置合わせプログラム
JP2006172026A (ja) カメラ運動と３次元情報の復元装置、復元方法、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees