JP2006227932A - 二次元画像からの三次元解析方法とそれを実行するシステム - Google Patents
二次元画像からの三次元解析方法とそれを実行するシステム Download PDFInfo
- Publication number
- JP2006227932A JP2006227932A JP2005041161A JP2005041161A JP2006227932A JP 2006227932 A JP2006227932 A JP 2006227932A JP 2005041161 A JP2005041161 A JP 2005041161A JP 2005041161 A JP2005041161 A JP 2005041161A JP 2006227932 A JP2006227932 A JP 2006227932A
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional
- line segment
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004141 dimensional analysis Methods 0.000 title claims description 3
- 230000033001 locomotion Effects 0.000 claims abstract description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 11
- 241001465754 Metazoa Species 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 210000003414 extremity Anatomy 0.000 claims description 3
- 210000001981 hip bone Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 本発明の二次元画像から三次元情報を算出する方法は、自由継ぎ手で結合された線分を撮像した二次元画像と前記線分の長さ情報とから、撮像時における前記線分の三次元情報を1つの連結部位置を基準として算出するようにし、動的に解析する方法は、時系列的に撮像された二次元画像を基に、上記の方法によって得られた各画像におけるの線分の三次元情報について、2つの画像から基準とした連結部の画像間上での位置ズレ情報から両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得るようにした。
【選択図】 図1
Description
特許文献1には、ステレオ視により三次元情報を抽出する際、同一センサで複数回の撮影を行わずに三次元情報を抽出することができ、また抽出に使用するパラメータ設定の自動化を容易に行えるようにすることを目的とした「ステレオ視による三次元情報抽出装置」が開示されている。図5に示されるように、パラメータ設定手段からは、SARセンサでの収集位置*1と観測エリアの距離、光学センサでの収集位置*2と観測エリアの距離、SARセンサでの収集位置*1と光学センサでの収集位置*2の距離等の各種観測パラメータと、収集位置*1からのSAR画像*3と収集位置*2からの光学センサ画像*4中に存在する複数の特徴点の対応情報をオペレータが手動入力する。画像処理手段では、2枚の画像*3,*4中の複数の特徴点について、パラメータ設定手段から与えられた情報を元にした三角関数演算を行い、2枚の二次元画像*3,*4中の特徴点の三次元情報を抽出するというものである。ステレオ視によるものであるから、二次元画像は2枚必要である。
本発明が解決しようとする課題は、人間や動物といった時によって肢体の位置を変える被写体、更に一般的にいえば自由継ぎ手で結合された線分からなる被写体を1枚の二次元画像から被写体の三次元情報を算出する方法、更には1台のカメラで撮像した一連の二次元画像から被写体の動きを解析する方法、及びこれらの方法を実施するシステムを提供することにある。
本発明に係る二次元画像から三次元情報を動的に解析する方法は、同じ光学系で時系列的に撮像された二次元画像を基に、上記の方法によって得られた各画像における線分の三次元情報について、2つの画像から基準とした連結部の画像間上での位置ズレ情報から両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得るようにした。
また、本発明に係る二次元画像から三次元情報を動的に解析する他の方法は、被写体の運動を三次元的に解析する方法同じ光学系で時系列的に撮像された二次元画像を基に、請求項1に記載の方法によって得られた各画像における線分の三次元情報を得るステップと、それぞれの画像における各線分の中心点位置を算出するステップと、該中心位置の2画像間のズレから両画像の光学軸方向のオフセット量を各線分毎に算出するステップと、前記線分の三次元情報について基準とした連結部から前記算出したオフセット量を順次補正して各線分の位置変化情報を得るステップとを踏むようにした。
本発明に係る二次元画像から三次元情報を動的に解析する更に異なる方法は、同じ光学系で時系列的に撮像された二次元画像を基に、請求項1に記載の方法によって得られた各画像における線分の三次元情報について、基準とする連結部に加速度計を装着し該加速度計の検出値からベクトルを計算し両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得るようにした。
本発明に係る記録媒体は、二次元画像上における自由継ぎ手で連結された線分位置情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれている。更に必要に応じ、時系列的に撮像された各二次元画像から各線分の位置変化情報を得ると共に、画像間の光学軸方向オフセット量を算出して位置補正を加え、被写体の運動を三次元的に解析するプログラムが付加されているものを提示する。
また、本発明に係る二次元画像から三次元情報を解析する方法は、時系列的に撮像された二次元画像について、上記の方法によって得られた各線分の三次元情報から各線分の位置変化情報を得、被写体の運動を三次元的に解析するようにしたものであるから、自由継ぎ手で結合された複数の線分群についての一連の動きを解析することが出来る。二次元画像情報からは正確に捉えにくい光学軸方向の位置については各線分毎のデータをとって補正したり、加速度計を複数備えるなどして位置を精度良く算出することが出来る。
そして、被写体を動物とし、継ぎ手は関節に、線分は肢体に相当するものとすれば、スポーツの世界や生物学的、医学的、薬学的な観点からの強いニーズに応えて、選手の身体的動きを簡単に得られる二次元画像から三次元的に捉える方法や、動物の動きを客観的に把握する手法を提供することが出来る。
本発明に係る記録媒体は、二次元画像上における自由継ぎ手で結合された線分情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれたものであるから、汎用のカメラと汎用のコンピュータを準備し該コンピュータにこれを読み込ませるだけで簡単に上記の本発明に係る二次元画像から被写体の三次元情報を解析するシステムを構築することが出来る。更に必要に応じ、時系列的に撮像された各二次元画像から各線分の位置変化情報を得て、被写体の運動を三次元的に解析するプログラムが付加されているものであれば解析結果を適宜加工した形態で表示させることが可能である上記の本発明に係る二次元画像から被写体の三次元情報を解析するシステムを構築することが出来る。
X=a(Y)U , Z=b(Y)V ‥‥‥‥‥‥(1)
ここで、a(Y)とb(Y)はY軸方向即ち奥行き方向の係数である。
今、図3に示すような両端部にマーカMmとMkがつけられた長さlk−mの線分の撮像画像が得られたとすると、そのカメラ座標(U軸,V軸)の二次元画像から対応する空間座標情報(X軸,Y軸,Z軸)を算出する。二次元情報はマーカMmとMkのカメラ座標値(Um,Vm)と(Uk,Vk)である。これらを用いて空間座標系のX値,Z値を上記の関係式から計算しようとするとき、一般には奥行き情報がないと計算は出来ないことになるが、線分の長さがlk−mであることは既知であるときには次ぎの関係が成立する。
lk−m 2=a(0)2( Uk−Um)2+b(0)2( Vk−Vm)2‥‥‥‥‥(2)
この式からa(0)とb(0)の係数を計算するが、二次元画像上に長さが既知である線分が複数存在すれば、最小二乗法でより正確な計数値を得ることが出来る。
被写体モデルが図1に示したような節で結合された線分の集合体であるときは1つの関節位置を基準としてそれぞれの線分端部の位置を順次算出することが出来る。
次ぎに、選手の前記特定点間の長さ、すなわち、線分にあたる体節情報を取得する。既知の線分情報を式(2)に入れて係数a(0)とb(0)を計算するがその際は体節情報を用いるより、ポールやバーなど寸法が正確に得られるものを用いるのが有利である。撮像系において結像位置を0とし、1コマ目の画像中の1番目のポイント(Ui,1,Vi,1)と2番目のポイント(U2,1,V2,1)を結ぶ対象線分の実空間での長さをl1とおくと前記(2)式は
l1 2=a(0)2(U1,1−U2,1)2+b(0)2(V1,1−V2,1)2‥‥‥(2)’
線分が複数個あれば、同様の計算をして最小二乗法を用いてa(0)とb(0)を計算する。
2コマ目以下の画像についても、同じ手法で基準点と選択した右肩位置を原点とした各画像毎の測定ポイントの三次元位置情報を得て、j枚の画像についての情報が得られる。
また、上記の説明では当初から解析を目的として撮像した二次元画像を基に解析を行うものとしたが、これに限らず、過去に撮影した画像からでも被写体の線分情報が得られるならば、本発明の手法で解析を行うことが可能である。名選手の記録フィルムなどからでも、体格データがあれば解析が可能である。その場合、位置情報については画像をデジタル化するなり、ディスプレイ上での画像測距技術等で得ることが可能である。また、体格データがない場合には一連の画像における線分の最長データをXZ平面に平行な方向とみなせば、身体の動きとしてはそれなりの解析が可能である。
解析結果はメモリに蓄積し、線分画像として表示したり、三次元座標データであることから、異なる角度からの画像をコンピュータグラフィクスの技術で簡単に加工することが可能である。また、前述した左右の肩位置と左右の腰骨位置の4点から体の重心位置を特定し、連続動作における重心移動などを観察することが出来る。
l1,l2‥‥,li 線分の長さ
Mk,Mm マークポイント
Claims (10)
- 自由継ぎ手で連結された線分を撮像した二次元画像と前記線分の長さ情報とから、撮像時における前記線分の三次元位置を、1つの連結部位置を基準として算出する方法。
- 同じ光学系で時系列的に撮像された二次元画像を基に、請求項1に記載の方法によって得られた各画像における線分の三次元情報について、2つの画像から基準とした連結部の画像間上での位置ズレ情報から両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得、被写体の運動を三次元的に解析する方法。
- 同じ光学系で時系列的に撮像された二次元画像を基に、請求項1に記載の方法によって得られた各画像における線分の三次元情報を得るステップと、それぞれの画像における各線分の中心点位置を算出するステップと、該中心位置の2画像間のズレから両画像の光学軸方向のオフセット量を各線分毎に算出するステップと、前記線分の三次元情報について基準とした連結部から前記算出したオフセット量を順次補正して各線分の位置変化情報を得るステップとを踏む、被写体の運動を三次元的に解析する方法。
- 同じ光学系で時系列的に撮像された二次元画像を基に、請求項1に記載の方法によって得られた各画像における線分の三次元情報について、基準とする連結部に加速度計を装着し該加速度計の検出値からベクトルを計算し両画像の光学軸方向のオフセット量を算出して前記線分の三次元情報の補正を施し、各線分の位置変化情報を得、被写体の運動を三次元的に解析する方法。
- 被写体は人間を含む動物であって、継ぎ手は関節であり、線分は肢体であることにより動物の姿勢や動きを解析することを特徴とする請求項1乃至4のいずれかに記載の三次元解析方法。
- 被写体は人間であって、左右の肩先端位置と左右の腰骨先端位置を特定ポイントとすることにより、人間の向きや身体のひねり具合を解析することを特徴とする請求項5に記載の三次元解析方法。
- 撮像した二次元画像を情報として出力するカメラと、被写体の線分情報と線分選択情報を入力する手段と、二次元画像上の線分情報と該線分の長さ情報とから該線分の三次元情報を算出する演算手段とを備えた二次元画像から被写体の三次元情報を解析するシステム。
- 時系列的に撮像された二次元画像を蓄積すると共に解析データを記憶するメモリと、二次元画像を表示する表示部と、解析結果を加工する手段とを備えた請求項7に記載の二次元画像から被写体の三次元情報を解析するシステム。
- 二次元画像上における自由継ぎ手で連結された線分位置情報と該線分の長さ情報とから撮像時における前記線分の三次元情報を算出するプログラムがコンピュータ読み取り可能な形態で書き込まれている記録媒体。
- 時系列的に撮像された各二次元画像から各線分の位置変化情報を得ると共に、画像間の光学軸方向オフセット量を算出して位置補正を加え、被写体の運動を三次元的に解析するプログラムが付加されている請求項9に記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005041161A JP4667900B2 (ja) | 2005-02-17 | 2005-02-17 | 二次元画像からの三次元解析方法とそれを実行するシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005041161A JP4667900B2 (ja) | 2005-02-17 | 2005-02-17 | 二次元画像からの三次元解析方法とそれを実行するシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006227932A true JP2006227932A (ja) | 2006-08-31 |
JP4667900B2 JP4667900B2 (ja) | 2011-04-13 |
Family
ID=36989267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005041161A Active JP4667900B2 (ja) | 2005-02-17 | 2005-02-17 | 二次元画像からの三次元解析方法とそれを実行するシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4667900B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178252A (ja) * | 2007-05-22 | 2013-09-09 | Metaio Gmbh | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
CN113271848A (zh) * | 2019-02-05 | 2021-08-17 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11004266B2 (en) | 2018-12-21 | 2021-05-11 | Alchera Inc. | Articulated model registration apparatus and method |
KR102315696B1 (ko) * | 2018-12-21 | 2021-10-21 | 주식회사 알체라 | 관절 모델 정합 장치 및 방법 |
KR102338491B1 (ko) * | 2019-12-11 | 2021-12-13 | 한국전자기술연구원 | 영상 기반 사람의 3차원 자세 및 형상 모델 복원 장치 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1176209A (ja) * | 1997-09-10 | 1999-03-23 | Anima Kk | 三次元動作分析装置 |
JP2004054886A (ja) * | 2002-05-28 | 2004-02-19 | Advanced Telecommunication Research Institute International | データベース作成装置 |
-
2005
- 2005-02-17 JP JP2005041161A patent/JP4667900B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1176209A (ja) * | 1997-09-10 | 1999-03-23 | Anima Kk | 三次元動作分析装置 |
JP2004054886A (ja) * | 2002-05-28 | 2004-02-19 | Advanced Telecommunication Research Institute International | データベース作成装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178252A (ja) * | 2007-05-22 | 2013-09-09 | Metaio Gmbh | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
US10033985B2 (en) | 2007-05-22 | 2018-07-24 | Apple Inc. | Camera pose estimation apparatus and method for augmented reality imaging |
CN113271848A (zh) * | 2019-02-05 | 2021-08-17 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
CN113271848B (zh) * | 2019-02-05 | 2024-01-02 | 株式会社日立制作所 | 身体健康状态影像分析装置、方法以及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4667900B2 (ja) | 2011-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209333B2 (ja) | 関節位置の取得方法及び装置、動作の取得方法及び装置 | |
JP7262937B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
JP4136859B2 (ja) | 位置姿勢計測方法 | |
US8565479B2 (en) | Extraction of skeletons from 3D maps | |
EP2973417B1 (en) | A method and system for three-dimensional imaging | |
JP6369811B2 (ja) | 歩行解析システムおよび歩行解析プログラム | |
JP7427188B2 (ja) | 3dポーズ取得方法及び装置 | |
Seo et al. | A comparative study of in-field motion capture approaches for body kinematics measurement in construction | |
JP2017129567A (ja) | 情報処理装置、情報処理方法、プログラム | |
TW201408041A (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4667900B2 (ja) | 二次元画像からの三次元解析方法とそれを実行するシステム | |
JP2015186531A (ja) | 動作情報処理装置、及びプログラム | |
JP2005256232A (ja) | 3dデータ表示方法、装置、およびプログラム | |
JP2022043264A (ja) | 運動評価システム | |
CN104732586B (zh) | 一种三维人体动态形体和三维运动光流快速重建方法 | |
JP4205004B2 (ja) | キャリブレーション方法 | |
JP7318814B2 (ja) | データ生成方法、データ生成プログラムおよび情報処理装置 | |
Alnowami et al. | Feasibility study of markerless gait tracking using kinect | |
JP2014117409A (ja) | 身体関節位置の計測方法および装置 | |
CN111860275B (zh) | 手势识别数据采集系统、方法 | |
WO2021039642A1 (ja) | 3次元再構成装置、方法及びプログラム | |
JP6205387B2 (ja) | 仮想マーカーの位置情報の取得方法及び装置、動作計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110112 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4667900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |