JP2010123070A - 三次元形状復元装置 - Google Patents
三次元形状復元装置 Download PDFInfo
- Publication number
- JP2010123070A JP2010123070A JP2008298478A JP2008298478A JP2010123070A JP 2010123070 A JP2010123070 A JP 2010123070A JP 2008298478 A JP2008298478 A JP 2008298478A JP 2008298478 A JP2008298478 A JP 2008298478A JP 2010123070 A JP2010123070 A JP 2010123070A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- test distribution
- feature point
- observation data
- data matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の物体に由来する特徴点の位置を表す観測データ行列xを因子分解するにあたり、物体の形状を表す形状行列をz、特徴点のそれぞれが属する物体を指定する指定行列をhとし、また、物体uの運動行列We|u ,物体uに由来する特徴点の測定の正確さτ|u,特徴点がそれぞれの物体u(u=1,2,…,U)に属している確率(混合比)gをまとめたものをモデルパラメータをθとして、変分ベイズ推定法を適用し、Eステップでは、第1試験分布q(θ)を固定して第2試験分布q(z,h)を求め、Mステップでは、第2試験分布q(z,h)を固定して第1試験分布q(θ)を求めることで、確率的に因子分解計算を実行する。
【選択図】図7
Description
図1は、本発明を適用した三次元形状復元装置としての画像処理装置1の全体構成を示すブロック図である。なお、画像処理装置1は、車両に搭載され、ドライバの頭部を撮影した画像から、ドライバのわき見や居眠り等を検出するための情報である頭部姿勢を時系列的に求める処理を実行する装置である。
図1に示すように、画像処理装置1は、ドライバシートの前面上部又は下部(例えば、メータ内)に設置され、ドライバの頭部を含む画像を取得するカメラ2と、カメラ2が取得した画像を取り込む画像取込装置3と、画像取込装置3を介して取り込んだ入力画像sf (fはフレームを識別する識別子)から、予め設定された特徴を有する複数の特徴点の位置(画像面上での二次元座標)x(p) (p=1,2,…P)を抽出すると共に、その抽出された特徴点を追跡して、その特徴点の位置の分布を規定するための特徴点推定分布パラメータ(平均値xf ,分散Vf )を求める特徴点追跡部4とを備えている。
特徴点追跡部4は、目尻,目頭,口元、鼻(鼻の穴,鼻の中心,鼻の左右端)等(図2(a)参照)、ドライバの顔の特徴を表す複数の特徴点(以下「固定特徴点」ともいう)の位置を抽出,追跡するする固定特徴点追跡部41と、画像中の追跡し易い特徴(例えば、撮像された物体のエッジやコーナ等)を有する部位(以下「任意特徴点」ともいう)の位置を抽出,追跡する任意特徴点追跡部43とからなる。
顔モデル供給部5から供給される顔モデルCa は、特徴点追跡部4にて追跡される特徴点のうち、ドライバの顔上に位置するものの位置を三次元的に規定するものであり、図4に示すように、画像面における水平方向の座標軸をu軸、垂直方向の座標軸をv軸、三次元空間における水平方向の座標軸をX軸、垂直方向の座標軸をY軸、光軸方向(奥行き方向)の座標軸をZ軸として(1)(2)式で表される。但し、z(p) は、特徴点追跡部4で抽出されたp番目の特徴点(特徴点位置x(p) =(u(p),v(p))の3次元空間内での座標である。
推定部6で推定されるアフィンパラメータAf は、実世界(三次元のXYZ空間)における座標変換を、射影面である画像面(二次元のuv平面)上での座標変換として表す際に用いる変換行列であり、(3)(4)式に示す関係を有する。
頭部姿勢算出部7では、頭部姿勢情報として、頭部の3軸角度θx,θy,θzを(5)〜(7)式を用いて算出する。
ここで、図5は、特徴点追跡部4及び推定部6が扱う状態空間モデルを表すグラフである。
次に、本発明の主要部である顔モデル供給部5について詳述する。
個人顔モデル学習部52では、以下に示す手法により学習を行う。
まず、学習に適用するモデルについて説明する。
変分推定法では、事後分布p(θ,h,z|x)の近似関数である試験分布q(θ,h,z)を計算する。但し、q(θ,h,z)=q(θ)q(h,z)と因子化されると仮定して、試験分布q(θ,h,z)と真の事後分布p(θ,h,z|x)との間のKL(Kullback-Leibler)疑似距離を最小化するように、試験分布q(θ)q(h,z)を調節する。
ここで、個人顔モデル学習部52が実行する処理を、図8に示すフローチャートに沿って説明する。なお、本処理は、外部からの起動指令の入力により起動される。
以上説明したように、画像処理装置1では、頭部姿勢θx,θy,θzを推定する処理を開始した直後は、固定特徴点に基づく平均顔モデルを用いてアフィンパラメータAf の算出(顔向き推定)を行い、これと並行して、任意特徴点も利用した個人顔モデルの学習を実行し、その個人顔モデルの精度が十分に向上した時点で、平均顔モデルから個人顔モデルへの切替を行うようにされている。
次に、第2実施形態について説明する。
オンライン推定法では、(31)式に示す自由エネルギーFE を、(57)式に示すように、オンライン推定に適した形式のオンライン自由エネルギーFEλに置き換えて使用する。
図9は、個人顔モデル学習部52が実行する処理の内容を示すフローチャートである。
以上説明したように、本実施形態では、1フレーム毎に、Eステップ,Mステップを1回ずつ実行して第1試験分布p(θ)及び第2試験分布p(h,z)を求める処理を繰り返し、その結果を過去のデータほど比率が低下するように減衰係数ηfcを乗じて足し合わせていく、いわゆるオンライン化した変分ベイズ推定法を用いて、因子分解を行っている。
図10に示すような二つの物体(四角柱,三角柱)を適当に動かして画像に投影したものを入力画像系列として、第2実施形態で説明した処理を実行する画像処理装置1に処理を行わせて形状行列zを求めた。なお、特徴点としては、各物体の頂点を用いた。
以上本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様での実施が可能である。
Claims (5)
- 画像系列を入力し、入力された各画像から予め設定された特徴を有する複数の特徴点を抽出すると共に、前記特徴点のそれぞれについて該特徴点の位置を画像面上で追跡する特徴点抽出追跡手段と、
該特徴点抽出追跡手段での抽出,追跡結果に従って、前記特徴点の位置を表す観測データ行列を生成する観測データ行列生成手段と、
該観測データ行列生成手段にて生成された観測データ行列を因子分解して、前記画像に写された物体の三次元形状を表す形状行列および該物体の運動を表す運動行列を生成する分解手段と、
を備えた三次元形状復元装置において、
前記分解手段は、
前記観測データ行列をx、前記形状行列をz、前記特徴点のそれぞれが属する物体を指定する指定行列をh、前記運動行列,前記特徴点の測定の正確さ,前記特徴点がそれぞれの物体に属している確率をまとめたモデルパラメータをθとして、前記観測データ行列xから事後確率P(θ,z,h|x)を計算することで、θ,z,hを求めることを特徴とする三次元形状復元装置。 - 前記分解手段は、
前記事後確率P(θ,z,h|x)の近似関数である試験分布q(θ,h,z)が、第1試験分布q(θ)と第2試験分布q(h,z)とに因子化されるものとして、前記事後確率P(θ,z,h|x)と前記試験分布q(θ,h,z)とのKL距離を最小にする前記第1試験分布q(θ)及び第2試験分布q(h,z)を求めることで、確率的に因子分解計算を実行することを特徴とする請求項1に記載の三次元形状復元装置。 - 前記観測データ行列生成手段は、予め設定されたフレーム数分の画像に基づいて前記観測データ行列xを生成し、
前記分解手段は、
前記第1試験分布q(θ)を固定して前記第2試験分布q(z,h)を推定する第1のステップ、及び、前記第2試験分布q(z,h)を固定して前記第1試験分布q(θ)を推定する第2のステップを、互いの推定結果を用いて交互に繰り返し実行する推定手段と、
予め設定された終了条件が満たされている場合に、前記推定手段を終了させる終了手段と、
からなり、最終的に得られた前記第2試験分布q(z,h)から形状行列z及び指定行列hを得ることを特徴とする請求項2に記載の三次元形状復元装置。 - 前記観測データ行列生成手段は、1フレーム分の画像毎に前記観測データ行列xを生成し、
前記分解手段は、
前記観測データ行列生成手段にて前記観測データ行列xが生成される毎に、前記第1試験分布q(θ)を固定して前記第2試験分布q(z,h)を推定する第1のステップ、及び、前記第2試験分布q(z,h)を固定して前記第1試験分布q(θ)を推定する第2のステップを、互いの推定結果を用いて実行する推定手段と、
予め設定された終了条件が満たされている場合に、前記推定手段及び更新手段を終了させる終了手段と、
からなり、前記推定手段によって逐次的に得られる前記第2試験分布q(z,h)から形状行列z及び指定行列hを得ることを特徴とする請求項2に記載の三次元形状復元装置。 - 自動車に搭載して使用することを特徴とする請求項1乃至請求項4のいずれかに記載の三次元形状復元装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298478A JP5231183B2 (ja) | 2008-11-21 | 2008-11-21 | 三次元形状復元装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008298478A JP5231183B2 (ja) | 2008-11-21 | 2008-11-21 | 三次元形状復元装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010123070A true JP2010123070A (ja) | 2010-06-03 |
JP5231183B2 JP5231183B2 (ja) | 2013-07-10 |
Family
ID=42324336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008298478A Expired - Fee Related JP5231183B2 (ja) | 2008-11-21 | 2008-11-21 | 三次元形状復元装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5231183B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023179291A1 (zh) * | 2022-03-21 | 2023-09-28 | 北京有竹居网络技术有限公司 | 图像修复方法、装置、设备、介质及产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10334238A (ja) * | 1997-05-29 | 1998-12-18 | Agency Of Ind Science & Technol | 複数物体を分割する画像処理方法および装置 |
JP2002251592A (ja) * | 2001-02-22 | 2002-09-06 | Toshiba Corp | パターン認識辞書学習方法 |
JP2005092639A (ja) * | 2003-09-18 | 2005-04-07 | Digital Fashion Ltd | 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体 |
JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
JP2008261662A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 三次元形状復元装置 |
JP2008262288A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 推定装置 |
-
2008
- 2008-11-21 JP JP2008298478A patent/JP5231183B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10334238A (ja) * | 1997-05-29 | 1998-12-18 | Agency Of Ind Science & Technol | 複数物体を分割する画像処理方法および装置 |
JP2002251592A (ja) * | 2001-02-22 | 2002-09-06 | Toshiba Corp | パターン認識辞書学習方法 |
JP2005092639A (ja) * | 2003-09-18 | 2005-04-07 | Digital Fashion Ltd | 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体 |
JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
JP2008261662A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 三次元形状復元装置 |
JP2008262288A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 推定装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023179291A1 (zh) * | 2022-03-21 | 2023-09-28 | 北京有竹居网络技术有限公司 | 图像修复方法、装置、设备、介质及产品 |
Also Published As
Publication number | Publication date |
---|---|
JP5231183B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10853970B1 (en) | System for estimating a three dimensional pose of one or more persons in a scene | |
Ionescu et al. | Latent structured models for human pose estimation | |
Choi et al. | A general framework for tracking multiple people from a moving camera | |
EP2132680B1 (en) | Efficient and accurate 3d object tracking | |
CN110998594A (zh) | 检测动作的方法和系统 | |
Li et al. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers | |
Makris et al. | Hierarchical particle filtering for 3d hand tracking | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
CN106875426B (zh) | 基于相关粒子滤波的视觉跟踪方法及装置 | |
Zhang et al. | A swarm intelligence based searching strategy for articulated 3D human body tracking | |
JP2022546643A (ja) | 不確実性を有するランドマーク位置推定のための画像処理システムおよび方法 | |
JP2013156680A (ja) | フェーストラッキング方法、フェーストラッカおよび車両 | |
CN110738650A (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
CN106250878B (zh) | 一种结合可见光和红外图像的多模态目标跟踪方法 | |
KR20200068709A (ko) | 인체 식별 방법, 장치 및 저장 매체 | |
JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
JP2010231350A (ja) | 人物識別装置、そのプログラム、及び、その方法 | |
JP7487224B2 (ja) | 手動作の対称性の認識方法及びシステム | |
JP5231183B2 (ja) | 三次元形状復元装置 | |
Kaliamoorthi et al. | Parametric annealing: A stochastic search method for human pose tracking | |
Sharifi et al. | Marker-based human pose tracking using adaptive annealed particle swarm optimization with search space partitioning | |
JP5048381B2 (ja) | 三次元形状復元装置 | |
JP7448006B2 (ja) | 物体位置推定装置 | |
JP4971015B2 (ja) | 推定装置 | |
McCall et al. | Pose invariant affect analysis using thin-plate splines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5231183 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |