JP2021184540A - モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 - Google Patents
モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 Download PDFInfo
- Publication number
- JP2021184540A JP2021184540A JP2020089257A JP2020089257A JP2021184540A JP 2021184540 A JP2021184540 A JP 2021184540A JP 2020089257 A JP2020089257 A JP 2020089257A JP 2020089257 A JP2020089257 A JP 2020089257A JP 2021184540 A JP2021184540 A JP 2021184540A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- motion
- data
- motion capture
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims description 28
- 230000001360 synchronised effect Effects 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims description 31
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 17
- 239000003550 marker Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 14
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 18
- 210000000707 wrist Anatomy 0.000 description 16
- 239000002131 composite material Substances 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 241000950638 Symphysodon discus Species 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- HOQADATXFBOEGG-UHFFFAOYSA-N isofenphos Chemical compound CCOP(=S)(NC(C)C)OC1=CC=CC=C1C(=O)OC(C)C HOQADATXFBOEGG-UHFFFAOYSA-N 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- RZSCFTDHFNHMOR-UHFFFAOYSA-N n-(2,4-difluorophenyl)-2-[3-(trifluoromethyl)phenoxy]pyridine-3-carboxamide;1,1-dimethyl-3-(4-propan-2-ylphenyl)urea Chemical compound CC(C)C1=CC=C(NC(=O)N(C)C)C=C1.FC1=CC(F)=CC=C1NC(=O)C1=CC=CN=C1OC1=CC=CC(C(F)(F)F)=C1 RZSCFTDHFNHMOR-UHFFFAOYSA-N 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
Images
Abstract
【課題】フレームレートの異なる複数のカメラ系の計測データを補完的に用いること可能とするカメラシステムを提供する。【解決手段】複数の第ビデオカメラからなる第1カメラセットと、複数の高速度カメラからなる第2カメラセットと、を備えたモーションキャプチャ・カメラシステムであって、ビデオカメラと高速度カメラの撮影タイミングを同期させる同期制御部を備え、ビデオカメラは、対象の動作を撮影して動画データを取得し、高速度カメラは、対象の動作に関連して生起する事象を撮影して動画データを取得し、前記第2カメラにより取得された動画データは前記第1カメラにより取得された動画データと同期している。【選択図】図1
Description
本発明は、モーションキャプチャ・カメラシステムに係り、詳しくは、フレームレートの異なる複数のカメラからなる複合カメラシステムおよび当該複合カメラシステムを用いた動画データ取得方法に関するものである。
従来のモーションキャプチャシステムでは再帰性反射材のマーカを対象の身体に付けてカメラでマーカ位置を計測し、運動の3次元再構成を行っていた。最近、マーカを用いずにカメラ画像から深層学習によって2次元関節位置を推定しそれらを総合して、運動を3次元再構成するビデオモーションキャプチャが実現されている(特許文献1、非特許文献1)。
一方で、衝突現象を計測したり、野球やゴルフなどの打撃系スポーツでボールの運動を計測する際に、高速度カメラが使われてきた。
しかしながら、モーションキャプチャのカメラ系と高速度カメラのカメラ系は独立に扱われてきた。
高速度カメラは、高いフレームレートで撮影可能であるが、時間当たりのデータ量が大きくなるため、長時間の撮影データの記録が難しい。一方、ビデオカメラは、高速度カメラに比べてフレームレートは低いが、比較的長時間の撮影データの記録が可能である。特に、ビデオモーションキャプチャは、マーカにより対象の動きが制限されることがないため、対象の自然な動きのデータを取得することができる。モーションキャプチャのカメラ系と高速度カメラ系の計測データを補完的に用いることができれば、動作解析のバリエーションが広がると考えられる。
T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.
Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose.
本発明は、フレームレートの異なる複数のカメラ系の計測データを補完的に用いること可能とするカメラシステムないし動画データ取得方法を提供することを目的とするものである。
本発明が採用した技術手段は、
1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムであって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させる同期制御部を備え、
前記第1カメラは、対象の動作を撮影して第1動画データを取得し、
前記第2カメラは、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得し、
前記第1動画データと前記第2動画データは同期している、
モーションキャプチャ・カメラシステム、である。
1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムであって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させる同期制御部を備え、
前記第1カメラは、対象の動作を撮影して第1動画データを取得し、
前記第2カメラは、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得し、
前記第1動画データと前記第2動画データは同期している、
モーションキャプチャ・カメラシステム、である。
1つの態様では、前記同期制御部は、同期信号生成部を備え、前記同期信号生成器は、
前記第1カメラと前記第2カメラを同期させる第1同期信号、第2同期信号を生成し、第1同期信号を前記第1カメラに出力し、第2同期信号を第2カメラに出力することで、前記第1カメラと前記第2カメラを同期させる。
1つの態様では、前記同期制御部は、第2カメラ用の第2同期信号を間引いて前記第1カメラ用の第1同期信号を生成する。
また、同期信号生成器は、専用の外部装置である必要はなく、第1カメラ系、あるいは、第2カメラ系の機能として当該第1カメラ系、あるいは、当該第2カメラ系に組み込まれていてもよい。
前記第1カメラと前記第2カメラを同期させる第1同期信号、第2同期信号を生成し、第1同期信号を前記第1カメラに出力し、第2同期信号を第2カメラに出力することで、前記第1カメラと前記第2カメラを同期させる。
1つの態様では、前記同期制御部は、第2カメラ用の第2同期信号を間引いて前記第1カメラ用の第1同期信号を生成する。
また、同期信号生成器は、専用の外部装置である必要はなく、第1カメラ系、あるいは、第2カメラ系の機能として当該第1カメラ系、あるいは、当該第2カメラ系に組み込まれていてもよい。
1つの態様では、前記第2カメラは、前記第1カメラの撮影中に生成されるトリガー信号に基づいて、前記第2動画データを取得する。
トリガー信号は、前記第2カメラのデータ取得タイミングを決定する。
1つの態様では、前記第2カメラの撮影データはバッファに一時的に保存され、
前記トリガー信号に基づいて、前記保存された撮影データから所定の第2動画データを取得する。
1つの態様では、前記システムは、トリガー信号生成部を備え、前記トリガー信号生成部は、
前記第1カメラの同期信号に合わせて、前記トリガー信号を前記第2カメラに出力する。
トリガー信号は、前記第2カメラのデータ取得タイミングを決定する。
1つの態様では、前記第2カメラの撮影データはバッファに一時的に保存され、
前記トリガー信号に基づいて、前記保存された撮影データから所定の第2動画データを取得する。
1つの態様では、前記システムは、トリガー信号生成部を備え、前記トリガー信号生成部は、
前記第1カメラの同期信号に合わせて、前記トリガー信号を前記第2カメラに出力する。
1つの態様では、前記対象の動作は、器具、あるいは/および、物体の使用を伴うものであり、
前記動作に関連して生起する事象は、前記器具、あるいは/および、物体の動きないし挙動を含む。
1つの態様では、前記対象の動作は、器具を用いた物体のヒッティング動作を含み、
前記動作に関連して生起する事象は、前記物体の動きないし挙動を含む。
1つの態様では、前記対象の動作は、当該対象の動作に伴って、当該対象と物体との間で相互作用が生じるような動作であり、
前記動作に関連して生起する事象は、前記相互作用による前記物体の動きないし挙動を含む。
前記動作に関連して生起する事象は、前記器具、あるいは/および、物体の動きないし挙動を含む。
1つの態様では、前記対象の動作は、器具を用いた物体のヒッティング動作を含み、
前記動作に関連して生起する事象は、前記物体の動きないし挙動を含む。
1つの態様では、前記対象の動作は、当該対象の動作に伴って、当該対象と物体との間で相互作用が生じるような動作であり、
前記動作に関連して生起する事象は、前記相互作用による前記物体の動きないし挙動を含む。
本発明が採用した他の技術手段は、
上記カメラシステムと、
前記第1カメラで取得した画像情報、あるいは/および、前記第2カメラで取得した画像情報を3次元再構成することで、対象の動作データを取得する動作データ取得部と、
を備えたモーションキャプチャシステム、である。
1つの態様では、前記動作データ取得部は、各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する。
1つの態様では、対象の運動は、対象が器具を持って行う運動であり、動作データ取得部は、前記器具の運動データを取得する。
器具の運動データは、器具をマーカレスで取得してもよく、あるいは、器具に設けたマーカを用いて取得してもよい。
上記カメラシステムと、
前記第1カメラで取得した画像情報、あるいは/および、前記第2カメラで取得した画像情報を3次元再構成することで、対象の動作データを取得する動作データ取得部と、
を備えたモーションキャプチャシステム、である。
1つの態様では、前記動作データ取得部は、各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する。
1つの態様では、対象の運動は、対象が器具を持って行う運動であり、動作データ取得部は、前記器具の運動データを取得する。
器具の運動データは、器具をマーカレスで取得してもよく、あるいは、器具に設けたマーカを用いて取得してもよい。
1つの態様では、前記第2カメラで取得した画像情報に基づいて事象データを取得する事象データ取得部を備えている。
1つの態様では、前記事象データ取得部は、第2カメラで取得したが画像情報を3次元再構成して事象データを取得する。
1つの態様では、前記事象データ取得部は、第2カメラで取得したが画像情報を3次元再構成して事象データを取得する。
1つの態様では、前記動作データを用いて対象の動作を分析する動作分析部を備えている。
1つの態様では、前記事象データを用いて事象を分析する事象分析部を備えている。
1つの態様では、前記動作分析部における動作データの分析において、前記事象データないし前記事象分析部で得られた情報が用いられる。
1つの態様では、前記対象の動作は、器具、あるいは、身体の部分による物体のヒッティング動作を含み、
前記事象データは、ヒッティング時に前記物体に作用する撃力を含み、
前記動作分析部は、前記撃力を用いて、対象の身体に作用する力を分析する。
1つの態様では、前記事象データを用いて事象を分析する事象分析部を備えている。
1つの態様では、前記動作分析部における動作データの分析において、前記事象データないし前記事象分析部で得られた情報が用いられる。
1つの態様では、前記対象の動作は、器具、あるいは、身体の部分による物体のヒッティング動作を含み、
前記事象データは、ヒッティング時に前記物体に作用する撃力を含み、
前記動作分析部は、前記撃力を用いて、対象の身体に作用する力を分析する。
本発明が採用した他の技術手段は、
1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ取得方法であって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させること、
前記第1カメラにより、対象の動作を撮影して第1動画データを取得すること、
前記第2カメラにより、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得すること、
を含み、
前記第1動画データと前記第2動画データは同期している、
動画データ取得方法、である。
1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ取得方法であって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させること、
前記第1カメラにより、対象の動作を撮影して第1動画データを取得すること、
前記第2カメラにより、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得すること、
を含み、
前記第1動画データと前記第2動画データは同期している、
動画データ取得方法、である。
1つの態様では、前記第1カメラに第1同期信号を出力し、前記第2カメラに第2同期信号を出力することで、前記第1カメラと前記第2カメラの撮影タイミングを同期させる。
1つの態様では、前記第1同期信号は、前記第2同期信号を間引いて生成される。
1つの態様では、前記第2カメラは、前記第1カメラの撮影中に生成されるトリガー信号に基づいて、前記第2動画データを取得する。
1つの態様では、前記トリガー信号は、前記第1カメラの第1同期信号に合わせて、前記第2カメラに出力される。
本発明は、コンピュータに、上記方法を実行させるためのコンピュータプログラムとしても提供される。
1つの態様では、前記第1同期信号は、前記第2同期信号を間引いて生成される。
1つの態様では、前記第2カメラは、前記第1カメラの撮影中に生成されるトリガー信号に基づいて、前記第2動画データを取得する。
1つの態様では、前記トリガー信号は、前記第1カメラの第1同期信号に合わせて、前記第2カメラに出力される。
本発明は、コンピュータに、上記方法を実行させるためのコンピュータプログラムとしても提供される。
本発明は、フレームレートの異なる複数のカメラ系において、各カメラ系における撮影タイミングの同期を取ることによって、各カメラ系の計測データを補完的に用いること可能とするカメラシステムないし動画データ取得方法を提供する。
[A]モーションキャプチャ・カメラシステム
[A−1]複合カメラシステム
図1を参照しつつ、本実施形態に係るモーションキャプチャ・カメラシステムについて説明する。本実施形態に係るモーションキャプチャ・カメラシステムは、第1カメラセットと第2カメラセットからなる複合カメラシステムである。第1カメラセットは、第1のフレームレートを備えた1つあるいは複数の第1カメラからなり、第2カメラセットは、第1のフレームレートよりも高い第2のフレームレートを備えた1つあるいは複数の第2カメラからなる。本実施形態では、第1カメラセットは、複数のビデオカメラからなり、第2カメラセットは、複数の高速度カメラ(ハイスピードカメラ)からなる。後述する実験例では、ビデオカメラのフレームレートは125fpsであり、高速度カメラのフレームレートは1000fpsである。
[A−1]複合カメラシステム
図1を参照しつつ、本実施形態に係るモーションキャプチャ・カメラシステムについて説明する。本実施形態に係るモーションキャプチャ・カメラシステムは、第1カメラセットと第2カメラセットからなる複合カメラシステムである。第1カメラセットは、第1のフレームレートを備えた1つあるいは複数の第1カメラからなり、第2カメラセットは、第1のフレームレートよりも高い第2のフレームレートを備えた1つあるいは複数の第2カメラからなる。本実施形態では、第1カメラセットは、複数のビデオカメラからなり、第2カメラセットは、複数の高速度カメラ(ハイスピードカメラ)からなる。後述する実験例では、ビデオカメラのフレームレートは125fpsであり、高速度カメラのフレームレートは1000fpsである。
第1カメラの第1フレームレートは、第2カメラの第2フレームレートに比べて低いため、本明細書では、高速度カメラ(HS-cam)からなる第2カメラに対して、第1カメラを低速カメラないしロースピードカメラ(LS-cam)と称する場合がある点に留意されたい。本明細書では、便宜上、撮影可能なフレームレートにより、以下のようにカメラを区別する。HS-cam:ハイスピードカメラ(≧150fps);LS-cam:ロースピードカメラ(<150fps)。もっとも、上記区別は例示であって、本発明はこの区分には限定されず、フレームレートの異なる第1カメラと第2カメラにおいて、フレームレートが高いカメラをハイスピードカメラと称し、フレームレートが低いカメラをロースピードカメラと称する。
図1では、各カメラセットは、それぞれ4台のカメラから構成されているが、各カメラセットを構成するカメラの台数は限定されず、1台のカメラでもよく、あるいは、5台以上のカメラでもよい。また、複合カメラシステムは、第1フレームレート及び第2フレームレートと異なる第3のフレームレートを備えた1つあるいは複数の第3カメラからなる第3カメラセットを備えていてもよい。
カメラシステムは、高速度カメラとビデオカメラの撮影タイミングを同期させる同期制御部を備えており、高速度カメラにより取得された動画データはビデオカメラにより取得された動画データと同期している。具体的には、第1カメラセットの各第1カメラ(ビデオカメラ1〜4)の撮影タイミングは同期しており、第2カメラセットの各第2カメラ(高速度カメラ1〜4)の撮影タイミングは同期しており、さらに、第1カメラ(ビデオカメラ1〜4)の撮影タイミングと第2カメラ(高速度カメラ1〜4)の撮影タイミングは同期している。
第1カメラセットのビデオカメラ1〜4によって撮影された画像の時系列データは、動画データ1〜4として記憶部(メモリ)に格納される。動画データ1〜4は同期している。図4に示すように、本実施形態では、動画データ1〜4は、リアルタイムで、コンピュータに送信され、記憶部に格納される。
第2カメラセットの高速度カメラ1〜4によって撮影された画像の時系列データは、動画データ5〜8として記憶部(メモリ)に格納される。動画データ5〜8は同期している。1つの態様では、動画データは、リングバッファに格納され、リングバッファから取り出された動画データ5〜8が、非リアルタイムでデータ取得部に送信される。高速度カメラ(HS-cam)は、1秒間に大量の画像データを撮影するため、リアルタイムにデータをコンピュータに転送することが困難な場合が多い。図5に示すように、本実施形態では、高速度カメラにより撮影された画像データをカメラ内蔵のメモリ(例えば、リングバッファ)に一時的に記憶し、その後コンピュータの記憶部にダウンロードする方式が採られる。例えば、後述する実験で用いた高速度カメラのカメラ内蔵メモリ(8GB)には、フレームサイズ1920x1080、フレームレート1000fpsで約3秒間の画像データを格納できる。なお、高速度カメラの動画データをコンピュータの記憶部に直接格納するようにしてもよい。
動画データ1〜8は同期している。第2カメラ(高速度カメラ)の周期の整数倍(図3では8倍)が第1カメラ(ビデオカメラ)の周期となっており、また、第1カメラ(ビデオカメラ)のシャッター時刻が第2カメラ(高速度カメラ)のシャッター時刻と一致している。図3に、ハイスピードカメラ(1000fps)とビデオカメラ(125fps)の同期を示す。図3はシャッターを切るタイミングを表しており、シャッターを切り始める瞬間について同期制御部(同期信号生成器)を用いて同期を行う。また、所定のタイミングでトリガー信号を入力することで、同時刻に撮影されたハイスピードカメラのフレーム番号とビデオカメラのフレーム番号を自動的に抽出する。同期制御部の構成については、後述する。
ビデオカメラは対象の動作を撮影して動画データを取得するが、典型的には、ビデオカメラの視野には対象の全身が含まれている。すなわち、動画データ1〜4には、対象の全身が含まれており、動画データ1〜4から対象の全身のポーズの時系列データが取得される。なお、ビデオカメラが対象の身体の部分を撮影してもよい。
高速度カメラは、少なくとも、対象の動作の部分、あるいは/および、対象の動作に関連して生起する事象を撮影して動画データを取得する。「対象の動作の部分」には、2つの意味がある。1つは、高速度カメラにより撮影した画像に対象の身体の一部のみが含まれている場合である。例えば、対象のゴルフスイングを撮影する場合に、ビデオカメラが対象の全身を撮影するのに対して、高速度カメラが、対象の下半身のみを撮影する場合である。この場合、対象の下半身を含む画像には、少なくとも、対象の両手首、ゴルフクラブ、ボールが含まれるであろう。なお、高速度カメラが対象の全身を撮影してもよい。
もう1つは、ビデオカメラが対象のある纏まった動作を撮影するのに対して、高速度カメラが纏まった動作の部分を撮影するような場合である。この場合、ビデオカメラの動画データの長さに対して、高速度カメラの動画データの長さは短い。例えば、対象のゴルフスイングを撮影する場合に、ビデオカメラがアドレスからフィニッシュまでのスイング動作全体を撮影するのに対して、高速度カメラが、クラブヘッドとボールのインパクトの前後の所定時間のみを撮影する場合である。なお、高速度カメラとビデオカメラの録画時間が同じであってもよい。
対象の動作に関連して生起する事象について説明する。対象の動作が、器具、あるいは/および、物体の使用を伴うものである場合に、前記動作に関連して生起する事象は、前記器具、あるいは/および、物体の動きないし挙動を含む。器具の動きないし挙動には、器具の変形(例えば、シャフトのしなり)が含まれる。物体の動きないし挙動には、物体の変形(例えば、ボールの変形)が含まれる。対象の動作に関連して生起する事象について、幾つかの具体例を挙げて説明する。以下に3つの態様及び具体例を挙げるが、これらは例示であって、対象の動作に関連して生起する事象を限定するものではない点に留意されたい。また、対象の動作もスポーツに限定されるものではない。
第1の態様では、対象の動作は、器具を用いた物体のヒッティング動作を含み、前記動作に関連して生起する事象は、前記物体の動きないし挙動を含む。ヒッティング動作は、例えば、ゴルフや野球のスイングであり、対象の動作に関連して生起する事象には、器具(クラブやバット)と物体(ボール)のインパクト時のボールの運動ないし挙動が含まれる。ヒッティング動作はゴルフスイングや野球のバットスイングに限定されるものではなく、例えば、フィールドホッケーやアイスホッケーにおけるスティック操作、テニス、バドミントン、卓球におけるラケット操作が含まれる。これらの場合、対象の動作に関連して生起する事象には、ボール、パック、シャトルの運動ないし挙動(例えば、シャトルの変形を含む)が含まれる。
第2の態様では、対象の動作は、対象の動作に伴って当該対象と物体との間で相互作用が生じるような動作であり、前記動作に関連して生起する事象は、前記相互作用による前記物体の動きないし挙動を含む。典型的には、前記動作に関連して生起する事象は、対象の動作に伴って、物体が、当該対象との接触状態から非接触状態となる時の物体の動きないし挙動である。例えば、野球の投球動作におけるピッチャーの指の動作、ボールの動き・挙動が、それぞれ、対象の動作の部分、当該動作に関連して生起する事象となる。また、物体の動きないし挙動には、投擲競技(砲丸投げ、円盤投げ、槍投げ、ハンマー投げ)の投擲具、新体操競技における手具、球技における球の動きないし挙動が含まれ得る。
第3の態様では、前記対象の動作が器具を用いる場合に、前記動作に関連して生起する事象は、前記器具の動きないし挙動を含む。例えば、第1の態様における器具を用いた物体のヒッティング動作において、前記動作に関連して生起する事象には、器具(例えば、バット、クラブ、スティック、ラケット)の動きないし挙動が含まれ得る。また、器具の動きないし挙動には、器具を用いたスポーツ(例えば、フェンシング、剣道等)において、剣や竹刀の動きないし挙動が含まれ得る。
ビデオカメラと高速度カメラの同期撮影の配置について説明する。図8は、ビデオカメラでゴルフスウィング動作全体を撮影し、そのうちのインパクトの瞬間を高速度カメラで撮影する複合カメラシステムを示す。複数台のビデオカメラLは、対象の全身が写るように画角とフォーカスを調整して配置する。ボール解析用のカメラ配置では、高速度カメラHの画角とフォーカスをボールに合わせて調整する。この複合カメラシステムを用いて、ビデオカメラ及びハイスピードカメラを用いたゴルフスウィング動作の計測実験を行った。
図9に示す複合カメラシステムのカメラ配置において、複数台のビデオカメラLは、対象の全身が写るように画角とフォーカスを調整して配置されており、ビデオカメラHも、対象の全身が写るように画角とフォーカスを調整して配置されている。この態様では、高速度カメラで撮影した動画から、対象の全身のポーズの時系列データを取得することができる。
第1カメラセットにおいて、ビデオカメラ1〜4の各フレームのカメラ画像を3次元再構成するためのカメラパラメータ(内部パラメータ、外部パラメータ)が事前に取得されている。第2カメラセットにおいて、高速度カメラ1〜4の各フレームのカメラ画像を3次元再構成するためのカメラパラメータ(内部パラメータ、外部パラメータ)が事前に取得されている。カメラパラメータを取得するためのカメラキャリブレーションは、例えば、キャリブレーション器具(マーカを付けたワンドやパターンボード)を複数台のカメラで撮影することで行うことで実行される。1つの態様では、ビデオカメラ1〜4及び高速度カメラ1〜4のキャリブレーションが同時に行われる。キャリブレーション時には、例えば、両カメラ系に対して、同時にマーカを付けたワンドやパターンボードを見せ、各カメラ系で撮影タイミング(シャッターを切る制御信号の立ち上がり時刻)を一致させて撮影することによって行う。こうすることで、同時刻で撮影された第1カメラの画像と第2カメラの画像を用いて、動作の3次元再構成することが可能となる。
データ取得部は、第1カメラセットのビデオカメラ1〜4から取得した画像データの時系列データを用いて3次元再構成することで、対象の動作データ(典型的に全身運動)を取得する。データ取得部は、第2カメラセットのビデオカメラ5〜8から取得した画像データの時系列データを用いて3次元再構成することで、対象の動作データを取得するようにしてもよい。動作データは、3次元再構成によって得られるデータに限定されるものではなく、画像情報から3次元再構成を行わずに検出したデータを含んでいてもよい。
データ取得部は、第2カメラセットのビデオカメラ5〜8から取得した画像データの時系列データを用いて事象データを取得する。例えば、事象に物体の移動(運動)が含まれるような場合には、第2カメラセットのビデオカメラ5〜8から取得した画像データの時系列データを用いて3次元再構成することで、物体の移動運動データを取得するようにしてもよい。事象データは、3次元再構成によって得られるデータに限定されるものではなく、画像情報から3次元再構成を行わずに検出したデータを含んでいてもよい。
データ分析部には、動作データを用いて動作分析を行う動作分析部、事象データを用いて動作分析を行う事象分析部がある。動作分析部は、動作データに加えて、事象データを用いて動作分析を行ってもよい。データ取得部によって取得される動作データには、対象の3D姿勢(対象の関節角及び関節位置)の時系列データが取得される。動作分析部では、対象の3D姿勢の時系列データを用いて各種の動作分析を行う。動作分析としては、逆動力学計算による関節トルクの取得、関節トルクを用いた筋張力や筋活動度の取得を例示することができる。
データ取得部で取得される動作データ、事象データには、3次元再構成を行わずに画像情報から検出したデータを含んでいてもよく、動作分析部及び事象分析部は、この画像情報を用いて、動作分析や事象分析を行ってもよい。
データ分析部は、対象の動作データと対称の動作に関連して生起する事象のデータを統合して、対象の動作を分析してもよい。例えば、ヒッティング動作時、具体例では、野球においてバットでボールを打つ時、ゴルフにおいてクラブでボールを打つ時には、撃力が生じる。高速度カメラでボールのインパクト前後の動画データを取得することで、ボールの衝突前後の速度の変化、衝突での接触時間、クラブヘッド(バット)の回転速度の変化を計測することができる。ボールの初速度と質量から力積を計算し、接触時間で割ることで、撃力を求めることができ、この撃力をインパクト時にボールに作用する力、クラブヘッド(バット)に作用する力とみなすことができる。クラブヘッド(バット)に作用する力、クラブヘッド(インパクト地点)と対象の手首との距離、グラブヘッド(バット)の回転速度の変化から、対象の手首に作用する衝撃力を算出することができる。この衝撃力とビデオカメラで取得した対象のポーズ情報から逆動力学計算を実行することができる。
図1に示すように、モーションキャプチャ・カメラシステムとデータ取得部とからモーションキャプチャシステムが構成される。また、モーションキャプチャシステムは、データ分析部を含んでいてもよい。動画データを格納する記憶部(メモリ)、データ取得部、データ分析部は、1つあるいは複数のコンピュータから構成することができる。コンピュータは、入力部、出力部、処理部(演算部)、記憶部を備えた汎用コンピュータであってもよい。モーションキャプチャ・カメラシステムは、さらに、ディスプレイを備えていてもよい。ディスプレイには、複合カメラシステムによって撮影した動画や、モーションキャプチャによって取得された対象のポーズを表す時系列骨格画像などを表示することができる。
叙上のように、本実施形態に係るモーションキャプチャ・カメラシステムは、高速度カメラ系と低速カメラ系が混在する複合カメラ系において、同期計測を行うことによって、モーションキャプチャと高速運動の計測を複合した計測を可能にする。本実施形態は、ビデオカメラと高速度カメラを同期させた複合カメラシステムを採用することで、マーカーレスモーションキャプチャシステムにおいて、高速度カメラを活用した計測・解析システムを提供する。例えば、野球の投球動作におけるボールのリリースの瞬間やゴルフスウィング動作におけるクラブヘッドとボールのインパクトの瞬間を捉えるには、高いフレームレートの動画が要求される。そこで、高いフレームレートで撮影可能な高速度カメラを用いて動作を撮影する。フレームレートの異なるカメラ系を、同期させて計測することによって、打撃系スポーツ等における高速現象としてのボールの運動と、人間の運動とを同時計測する。ボールの打撃シーンにおいて、高速度カメラで、ヒッティング時のボール、クラブやバット、手首の動き等を計測し、モーションキャプチャカメラで全身を計測することができる。
[A−2]ビデオカメラと高速度カメラの撮影タイミングの同期
本実施形態では、ビデオカメラ(LS-cam)と高速度カメラ(HS-cam)からなる複合カメラシステムを採用することで、最も着目したい動作を高速度カメラで撮影し、それ以外のシーンをビデオカメラで撮影する。高速度カメラは、ビデオカメラによる対象の動作の撮影中における任意のタイミングで撮影を行う。例えば、ビデオカメラでゴルフスウィング動作全体を撮影して動画データを取得し、そのうちのインパクトの瞬間を高速度カメラで撮影して動画データを取得する。あるいは、ビデオカメラで投球動作全体を撮影して動画データを取得し、そのうちのボールリリースの瞬間を高速度カメラで撮影して動画データを取得する。
本実施形態では、ビデオカメラ(LS-cam)と高速度カメラ(HS-cam)からなる複合カメラシステムを採用することで、最も着目したい動作を高速度カメラで撮影し、それ以外のシーンをビデオカメラで撮影する。高速度カメラは、ビデオカメラによる対象の動作の撮影中における任意のタイミングで撮影を行う。例えば、ビデオカメラでゴルフスウィング動作全体を撮影して動画データを取得し、そのうちのインパクトの瞬間を高速度カメラで撮影して動画データを取得する。あるいは、ビデオカメラで投球動作全体を撮影して動画データを取得し、そのうちのボールリリースの瞬間を高速度カメラで撮影して動画データを取得する。
本実施形態に係るビデオカメラ及び高速度カメラはデジタルカメラである。デジタルカメラは、レンズを通った光でイメージセンサーが露光した後、センサーデータをデジタル信号としてメモリに転送する。イメージセンサーの露光タイミングは、イメージセンサーに組み込まれた電子シャッターを開けるタイミングにより決まり、本実施形態のカメラシステムで使用するビデオカメラ及び高速度カメラは、シャッターを開けるタイミングを外部のパルス信号により制御可能である。
録画データから対象の動作、対象の動作に関連して生起する事象を解析する際に、ビデオカメラ(LS-cam)と高速度カメラ(HS-cam)で露光タイミングが異なると、解析の際に両カメラのフレーム間の対応付けができないといった問題が生じる。そのため、LS-camとHS-camを同期して撮影する必要がある。本実施形態では、LS-camはPCの時刻、HS-camはHS-camシステムの時刻で画像データが記録されるため、時刻情報は両カメラシステムで一致せず、対応付けに使用できない。そのため、同期撮影した2つの画像データがどのフレームで対応するかを、トリガーフレームとして記録する必要がある。
ビデオカメラと高速度カメラの撮影タイミングの同期は、同期制御部(同期信号生成器)によって行われる。同期制御部は、同期撮影のための同期信号及び録画トリガー信号を生成する。ビデオカメラ用の同期信号は、高速度カメラの露光開始と一致するように生成され、録画トリガー信号は、ビデオカメラの露光開始と一致するように生成される。トリガー信号が同期制御部から高速度カメラに出力されると、高速度カメラは、トリガー信号の入力に応じて、トリガー信号前後のあらかじめ指定した時間の動画データを取得する(図6参照)。高速度カメラの動画データとビデオカメラの動画データを組み合わせるために、トリガー信号(高速度カメラの撮影の指示)が与えられると、トリガー信号の入力時のフレーム(トリガーフレーム)から一定時間遡った時刻から高速度カメラがある設定時間の計測を行う。このときビデオカメラは既に計測を開始しており、その後も継続して計測を続ける。また、同時計測時間帯においてビデオカメラと高速度カメラは完全に同期している。すなわち、高速度カメラの周期の整数倍がビデオカメラの周期となるように同期信号が生成され、また、ビデオカメラのシャッター時刻と高速度カメラのシャッター時刻が一致するようにトリガー信号が生成されて、カメラ群が制御される。トリガーフレームで、高速度カメラとビデオカメラの録画タイミングを合わせる。
図2を参照しつつ、本実施形態に係る同期制御部(同期信号生成器)について説明する。同期制御部は、マイクロコントローラユニット(MCU)と、同期信号生成部と、トリガー信号生成部と、を備えている。マイクロコントローラユニット(MCU)は、コンピュータとの間で通信可能であり、コンピュータからのコマンド応答や同期信号生成部へのコマンド送信(中継)を行う通信部として機能する。同期信号生成部は、ビデオカメラ用の第1同期信号、高速度カメラ用の第2同期信号を生成し、第1同期信号を各ビデオカメラに出力し、第2同期信号を各高速度カメラに出力する。トリガー信号生成部は、トリガー信号を生成し、各高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガー記録部として機能する。
同期信号生成部は、すべてのカメラで露光タイミングを一致させるための同期信号(パルス同期信号)を生成し、各カメラに出力する。同期信号生成部は、外部同期信号やクロックの入力に応じて、ビデオカメラ用の第1同期信号、高速度カメラ用の第2同期信号を生成し、第1同期信号を各ビデオカメラに出力し、第2同期信号を各高速度カメラに出力する。同期信号生成部は、高速度カメラ用の第2同期信号を間引いて、ビデオカメラ用の第1同期信号を生成する。例えば、高速度カメラが1000fps(1周期1msec)、ビデオカメラが50fps(1周期20msec)で録画するときは、高速度カメラ用の第2同期信号を1/20に間引いて、ビデオカメラ用の第1同期信号として出力する。高速度カメラの20フレームのパルスにつき、ビデオカメラの1フレームのパルスが生成される。
トリガー信号生成部は、ビデオカメラ用の同期信号に合わせて高速度カメラにトリガー信号(トリガーパルス)を出力する。トリガー信号生成部は、任意のタイミングで外部トリガー信号入力を検出すると、ビデオカメラ用の第1同期信号の立ち上がりないし立ち下りと一致するようにトリガー信号を生成し、トリガー信号を高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガーフレーム(トリガー信号が入ったフレーム)の記録を行う。トリガーフレームによる露光タイミングと一致するビデオカメラのフレーム番号を、ビデオカメラのトリガーフレームとして記録する。マイクロコントローラユニット(MCU)は、ビデオカメラの同期信号のフレームカウンタと一致するカウンタを備え、ビデオカメラの同期信号のパルス数をカウントし、これをビデオカメラのフレームカウンタ値として参照する。
本実施形態に係る同期制御部(同期信号生成器)は、3つの同期信号生成モードを備えている。第1モードは、内部クロックによる信号生成モードである。第2モードは、外部クロックによる信号生成モードである。第3モードは、パススルーモードであり、外部入力されたクロックをそのまま同期信号として出力する。
図2を参照しつつ、トリガー信号生成部を備えた同期制御部について説明した。本実施形態では、高速カメラの撮影データはリングバッファに記録され、バッファ容量に応じて、撮影データは逐次更新されるため、トリガー信号によってビデオカメラと高速度カメラの撮影時刻が一致するタイミングを記録している。しかしながら、ビデオカメラと高速度カメラの撮影タイミングを同期させる同期制御部は、図2に示すものに限定するものではない。例えば、高速度カメラの撮影データに対して、バッファの容量が十分大きい場合、あるいは、高速度カメラの撮影データを容量の大きい記憶装置に直接格納できる場合(例えば、高速度カメラの画像データの解像度を調整することで時間当たりのデータ通信量を削減する)には、録画開始時刻を一致させることで(例えば、ビデオカメラと高速度カメラの時刻を、タイマーで正確に一致させる)、トリガー信号を用いずに、同期した画像を得ることができる。
[B]ビデオモーションキャプチャ
モーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。光学式モーションキャプチャは、再帰性反射材が塗布された複数の光学式マーカを対象の身体に取り付け、赤外線カメラなどの複数のカメラで対象の動作を撮影することで、光学式マーカの移動軌跡から対象の動作を取得する。光学式モーションキャプチャでは、対象の身体に複数のマーカを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。本発明は、このようなモーションキャプチャの使用を排除するものではないが、上記欠点を解決するためには、いわゆるマーカレス・モーションキャプチャが有利である。なお、慣性センサを用いたモーションキャプチャにおいても、光学式モーションキャプチャと同様の欠点がある。
モーションキャプチャ技術としては、光学式モーションキャプチャや慣性センサを用いたモーションキャプチャが知られている。光学式モーションキャプチャは、再帰性反射材が塗布された複数の光学式マーカを対象の身体に取り付け、赤外線カメラなどの複数のカメラで対象の動作を撮影することで、光学式マーカの移動軌跡から対象の動作を取得する。光学式モーションキャプチャでは、対象の身体に複数のマーカを装着する必要があるため、動作計測の準備に時間や人手がかかる、対象の動きが制限されて、自然な動きを妨げるおそれがある、という欠点がある。本発明は、このようなモーションキャプチャの使用を排除するものではないが、上記欠点を解決するためには、いわゆるマーカレス・モーションキャプチャが有利である。なお、慣性センサを用いたモーションキャプチャにおいても、光学式モーションキャプチャと同様の欠点がある。
本実施形態では、ビデオモーションキャプチャ技術を採用する。ビデオモーションキャプチャとは複数台のカメラを用いて対象となる人間の運動を同期撮影し、その運動の3次元再構成を行う手法である(特許文献1、非特許文献1)。システムの概要を図10に示す。ビデオモーションキャプチャではまず複数台のカメラで同期撮影した連続静止画像をOpenPose(非特許文献2)に入力する。OpenPoseとは深層学習を用いて画像中に写った人間の身体の特徴点18箇所(両目、両耳、鼻、首、両肩、両肘、両手首、両股関節、両膝、両足) の時系列に沿った2次元位置を推定するアルゴリズムである。各カメラにおける2次元上での関節の推定位置から3次元空間上での関節推定位置を計算し、逆運動学計算によって骨格モデルの各関節角を時系列に沿って求めることで運動の3次元再構成を行う。以下にビデオモーションキャプチャについて詳細に説明するが、本発明に係るモーションキャプチャ・カメラシステムによって取得された動画データに基づく動作計測手法は、ビデオモーションキャプチャに限定されない点に留意されたい。
図11に示すように、本実施形態に係るモーションキャプチャは、対象の動作を取得する動画取得部(ビデオカメラ)と、動画取得部で取得された画像に基づいて、関節位置を含む特徴点(Keypoints)の位置の確からしさの程度を色強度で表示するヒートマップ情報を取得するヒートマップ取得部と、ヒートマップ取得部で取得されたヒートマップ情報を用いて対象の関節位置を取得する関節位置取得部と、関節位置取得部で取得された関節位置を平滑化する平滑化処理部と、対象の身体の骨格構造、動画取得部で取得された画像の時系列データ、関節位置取得部で取得された関節位置の時系列データ等を記憶する記憶部と、動画取得部で取得された対象の画像や対象の姿勢に対応する骨格構造等を表示するディスプレイと、を備えている。
動画取得部は、同期している複数のカメラからなり、同時刻で取得された各カメラ画像はヒートマップ取得部に送信され、ヒートマップ取得部によって各カメラ画像においてヒートマップが生成される。ヒートマップは、身体上の特徴点の位置の確からしさの尤度の空間分布を表す。生成されたヒートマップ情報は関節位置取得部に送信され、関節位置取得部によって関節位置が取得される。取得された関節位置データは、関節位置の時系列データとして記憶部に格納される。取得された関節位置データは、平滑化処理部に送信され、平滑化関節位置、関節角が取得される。平滑化された関節位置ないし関節角、及び、対象の身体の骨格構造によって対象の姿勢が決定され、姿勢の時系列データからなる対象の動作をディスプレイに表示する。
記憶部には、計測データや処理データが格納される。例えば、動画取得部によって取得された画像の時系列データ、関節位置取得部によって取得された関節位置データ、関節角度データが格納される。記憶部には、さらに、平滑化処理部によって取得された平滑化関節位置データ、平滑化関節角度データ、ヒートマップ取得部により生成されたヒートマップデータ、その他処理過程で生成されたデータを格納してもよい。記憶部には、さらに、対象の身体の骨格構造を決定するデータが格納されている。
ディスプレイには、動画取得部によって取得された対象の動画、モーションキャプチャによって取得された対象のポーズを表す時系列骨格画像などが表示される。例えば、コンピュータの処理部において、対象固有の骨格構造、算出された関節角及び関節位置の時系列データを用いて、フレーム毎に骨格画像(対象のポーズ)データが生成され、骨格画像データを所定のフレームレートで出力して動画としてディスプレイに表示する。
ヒートマップ取得部は、入力画像に基づいて、各関節位置を含む身体上の特徴点(keypoints)の位置の確からしさの尤度の2次元あるいは3次元の空間分布を生成し、前記尤度の空間分布をヒートマップ形式で表示する。本実施形態では、ヒートマップ取得部で取得された尤度は、2次元の画像上の各ピクセルに与えられており、複数視点からのヒートマップ情報を総合して特徴点の3次元的な存在位置の確からしさの情報を得ることができる。ヒートマップ取得部は、典型的には、畳み込みニューラルネットワーク(CNN)を用いて、入力された単一の画像から対象の身体上の特徴点の位置(典型的には関節位置)を、ヒートマップとして推定する。畳み込みニューラルネットワーク(CNN)は入力層、中間層(隠れ層)、出力層を備え、中間層は、特徴点の画像上への2次元写像の存在位置の教師データを用いた深層学習によって構築されている。ヒートマップ取得部として、オープンソフトウェアであるOpenPose(非特許文献2)を用いることができるOpenPoseは、訓練された畳み込みニューラルネットワーク(CNN)を用いることで、1枚のRGB 画像から18個の身体上の各特徴点(keypoints)のPart Confidence Maps(PCM)をオフラインあるいはリアルタイムで生成し、ヒートマップ形式で表示する。同期する複数のカメラから取得した各RGB画像に対し、OpenPoseによって18個の特徴点のPart Condence Maps(PCM)が生成される。ヒートマップ取得部には、OpenPose以外の他の手法を用いることができる。
関節位置取得部は、ヒートマップ取得部から取得されたヒートマップ情報を用いて関節位置候補を推定し、当該関節位置候補を用いて逆運動学に基づく最適化計算を実行することで骨格モデルの関節角、関節位置を更新する点に特徴を備えている。関節位置取得部は、ヒートマップデータに基づいて関節位置候補を推定する関節位置候補取得部と、関節位置候補を用いて逆運動学に基づく最適化計算を実行して関節角を算出する逆運動学計算部と、算出された関節角を用いて順運動学計算を実行して関節位置を算出する順運動学計算部と、を備えている。関節位置候補取得部の詳細については、特許文献1を参照することができる。
平滑化処理部の平滑化関節位置取得部では、関節の時系列情報を用いて、時間的な連続性を考慮した平滑化処理を行う。次いで、平滑化後の関節位置を用いて、再度、対象の骨格構造を使った逆運動学に基づく最適化計算を行って、前記対象の各関節角を取得することで、リンク長を保存した平滑化を行う。
図12を参照しつつ、本実施形態に係る入力画像から関節角度、特徴点の位置を取得するまでの工程を説明する。複数の同期したカメラによって対象の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。ヒートマップ取得部は、入力画像を受信すると、対象の身体上の全特徴点において、該入力画像に基づいてヒートマップ(関節位置の確からしさの尤度の空間分布)を生成する。
関節位置取得部では、各画像のヒートマップ情報を用いて、関節位置候補の探索が行われる。
全関節位置候補に対して逆運動学に基づく最適化計算を実行する。関節位置候補と骨格モデルの関節が対応付けられており、骨格モデルは、対象者固有の骨格モデルに適合されている。特徴点の位置候補と重みを基に、逆運動学に基づく最適化計算、順運動学計算を実行して関節角、関節位置を取得する。
取得された特徴点の位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。
[C]ゴルフスイングへの適用
[C−1]ゴルフスイングの運動データの取得及び解析
図8に示す複合カメラシステムを用いてゴルフスイングを撮影する。複合カメラシステムは、4台のビデオカメラLからなる第1カメラセットと、4台の高速度カメラHからなる第2カメラセット、とからなる。ビデオカメラ及び高速度カメラの仕様については、表1を参照することができる。マーカレス・モーションキャプチャであるビデオモーションキャプチャを使用する。まずOpenPose(非特許文献2)を用いて各ビデオカメラの時系列画像においてゴルフスイング時の対象の関節の2次元位置を推定し、推定された2次元位置から3次元位置を計算する。また、骨格情報を用いることで逆運動学計算を行い関節角の計算を行う。この手法を用いることによって対象に負担をかけることなくスイング中の身体情報を取得することができる。
[C−1]ゴルフスイングの運動データの取得及び解析
図8に示す複合カメラシステムを用いてゴルフスイングを撮影する。複合カメラシステムは、4台のビデオカメラLからなる第1カメラセットと、4台の高速度カメラHからなる第2カメラセット、とからなる。ビデオカメラ及び高速度カメラの仕様については、表1を参照することができる。マーカレス・モーションキャプチャであるビデオモーションキャプチャを使用する。まずOpenPose(非特許文献2)を用いて各ビデオカメラの時系列画像においてゴルフスイング時の対象の関節の2次元位置を推定し、推定された2次元位置から3次元位置を計算する。また、骨格情報を用いることで逆運動学計算を行い関節角の計算を行う。この手法を用いることによって対象に負担をかけることなくスイング中の身体情報を取得することができる。
ゴルフスイングの動作分析では、身体情報に加え、インパクトの瞬間におけるボール情報を用いてスイング評価を行うことも可能である。具体的には、ゴルフボールの軌道予測を行うことでスイングを評価したり、インパクトでの衝撃力を求めることで身体に与える影響を考察することができる。本実施形態では、ビデオカメラを用いてゴルフスイングの動作を取得すると共に、ビデオカメラと同期したハイスピードカメラを用いてインパクト前後でのゴルフボールおよびクラブヘッドのトラッキングを行う。ボール初速とクラブヘッドスピードからインパクトの際にクラブヘッドにかかる衝撃力を計算し、クラブヘッドにかかる衝撃力から手首関節にかかる衝撃力を計算する。
[C−2]高速度カメラによるゴルフボールトラッキング
衝撃力を計算するためにゴルフボールの初速度が必要となるため、高速度カメラでゴルフボールのトラッキングを行い、ボールの初速度や打ち出し角度を計算する。ボールの3次元位置を求めるために、以下のような流れで、各高速度カメラの同時刻におけるボールの画像中での2次元位置を取得する。
衝撃力を計算するためにゴルフボールの初速度が必要となるため、高速度カメラでゴルフボールのトラッキングを行い、ボールの初速度や打ち出し角度を計算する。ボールの3次元位置を求めるために、以下のような流れで、各高速度カメラの同時刻におけるボールの画像中での2次元位置を取得する。
1. 画像中に写るゴルフボールを円とみなし、初期時刻(インパクト直前) において検出すべき円の半径と中心位置を指定する。
2. 画像を2値化し、ガウシアンフィルタによってノイズを除去する。
3. Hough変換によって初期フレームにおける円を検出する。
4. 2フレーム目以降においては前フレームで検出された円から画像上で中心がもっとも近い円をそのフレームにおけるボール位置とする。
2. 画像を2値化し、ガウシアンフィルタによってノイズを除去する。
3. Hough変換によって初期フレームにおける円を検出する。
4. 2フレーム目以降においては前フレームで検出された円から画像上で中心がもっとも近い円をそのフレームにおけるボール位置とする。
取得した各カメラにおけるボールの2次元位置とカメラの内部パラメータおよび外部パラメータを用いて多視点三角測量(Multi-view triangulation) を行うことで、ボールの絶対座標系における3次元位置を求める。多視点三角測量とは図13のように物体の3次元位置[X Y Z]Tを複数台の位置、姿勢が既知のカメラにおける物体の画像中の2次元位置[u v]Tから最小二乗法によって求める手法であり、以下の式のように表せる。
ここでKi∈R3×3は内部パラメータ行列、Ri∈R3×3は回転行列、ti∈R3×1は並進ベクトルであり、si(= ZCi,物体のカメラ座標におけるカメラの面に垂直なz座標の値)はスケールを表す(1≦i≦n, nはカメラ台数)。
ここでKi∈R3×3は内部パラメータ行列、Ri∈R3×3は回転行列、ti∈R3×1は並進ベクトルであり、si(= ZCi,物体のカメラ座標におけるカメラの面に垂直なz座標の値)はスケールを表す(1≦i≦n, nはカメラ台数)。
以上の処理を行うことで、高速度カメラで取得した動画データの各フレームにおけるゴルフボールの3次元位置を得ることができる。インパクト直後の50フレーム程度(0.05秒)においてボールが等速直線運動をしていると仮定し、線形近似を行うことで初速vbおよび打ち出し角度θを求める。
[C−3]衝撃力計算
ゴルフボールとゴルフクラブの衝突をボールのばね定数およびクラブヘッドのばね定数を用いて図14のようにモデル化する。ここで、mはボールの質量であり、Mはクラブヘッドの質量であり、Vbはインパクト前のクラブのヘッドスピードであり、kbはボールのバネ定数、kcはクラブヘッドのバネ定数である。なおゴルフボールのばね定数はHamada & Takemura(USPatent 5,833,5526)によると15〜60Kgf/mmとなっており、本研究ではkb=60Kgf/mm≒5.9×105N/mをボールのばね定数の値として用いる。またYamaguchi & Kurahashi(US Patent 4,809,978)によるとクラブヘッドのばね定数がゴルフボールの約4.4 倍となることから、クラブヘッドのばね定数をkc=4.4kb=2.6×106N/mと定める。
ゴルフボールとゴルフクラブの衝突をボールのばね定数およびクラブヘッドのばね定数を用いて図14のようにモデル化する。ここで、mはボールの質量であり、Mはクラブヘッドの質量であり、Vbはインパクト前のクラブのヘッドスピードであり、kbはボールのバネ定数、kcはクラブヘッドのバネ定数である。なおゴルフボールのばね定数はHamada & Takemura(USPatent 5,833,5526)によると15〜60Kgf/mmとなっており、本研究ではkb=60Kgf/mm≒5.9×105N/mをボールのばね定数の値として用いる。またYamaguchi & Kurahashi(US Patent 4,809,978)によるとクラブヘッドのばね定数がゴルフボールの約4.4 倍となることから、クラブヘッドのばね定数をkc=4.4kb=2.6×106N/mと定める。
このモデルにおいてボールとクラブヘッドのばね定数は仮想的なばねが直列につながれていることから、
とまとめて1つのばね定数として表現することができる。インパクト開始から終了までのボールおよびクラブヘッドの運動方程式はそれぞれ、
となる。ボールの位置xとクラブヘッドの位置yの相対位置をX(≡x-y) として式3, 4 より、次のようになる。
ここで、インパクトの瞬間にはクラブは撓んでいないと仮定している。インパクトの間のその位置からの撓みをクラブヘッドの位置yとしている。
t=0においてX=0であることから、
と書ける。ただしω2≡k(1/m-1/M)である。またt=0において、
であることから、
となる。接触時間Δtはt=0の次にX=0となる時刻tを求めればよく、
と計算される。インパクト時にボールにかかる衝撃力Fbは力積を考えて、
と表される。ただしv0はインパクト後のボール初速である。クラブヘッドにかかる衝撃力Fcは作用反作用の法則から、
である。
とまとめて1つのばね定数として表現することができる。インパクト開始から終了までのボールおよびクラブヘッドの運動方程式はそれぞれ、
となる。ボールの位置xとクラブヘッドの位置yの相対位置をX(≡x-y) として式3, 4 より、次のようになる。
ここで、インパクトの瞬間にはクラブは撓んでいないと仮定している。インパクトの間のその位置からの撓みをクラブヘッドの位置yとしている。
t=0においてX=0であることから、
と書ける。ただしω2≡k(1/m-1/M)である。またt=0において、
であることから、
となる。接触時間Δtはt=0の次にX=0となる時刻tを求めればよく、
と計算される。インパクト時にボールにかかる衝撃力Fbは力積を考えて、
と表される。ただしv0はインパクト後のボール初速である。クラブヘッドにかかる衝撃力Fcは作用反作用の法則から、
である。
クラブヘッドが手首を軸として回転していること、およびクラブの質量中心がクラブヘッドに存在していることを仮定することでクラブヘッドにかかる衝撃力から手首にかかる衝撃力を計算する。インパクトの前後において、クラブヘッドの角速度はそれぞれ、
と表される。ここでωa, Vaはそれぞれインパクト直前でのクラブヘッドの角速度および速度あり、ωb, Vbはインパクト直後でのクラブヘッドの角速度および速度であり、vwrist, v′wristはそれぞれインパクト前後での手首関節の速度を表す。またlは手首とクラブヘッドとの距離である。クラブヘッドとゴルフボールの衝突について運動量が保存していることを仮定し、MVa=MVb+mv0が成り立つとする(なお、v0, Vaは、ハイスピードカメラ画像から求めることが可能である)。クラブヘッドの慣性モーメントをI(=Ml2)、手首のトルクをNとすると、
が成り立つ。ここで手首にかかる衝撃力をfとすると、
である。よって手首にかかる衝撃力は
と計算される。
と表される。ここでωa, Vaはそれぞれインパクト直前でのクラブヘッドの角速度および速度あり、ωb, Vbはインパクト直後でのクラブヘッドの角速度および速度であり、vwrist, v′wristはそれぞれインパクト前後での手首関節の速度を表す。またlは手首とクラブヘッドとの距離である。クラブヘッドとゴルフボールの衝突について運動量が保存していることを仮定し、MVa=MVb+mv0が成り立つとする(なお、v0, Vaは、ハイスピードカメラ画像から求めることが可能である)。クラブヘッドの慣性モーメントをI(=Ml2)、手首のトルクをNとすると、
が成り立つ。ここで手首にかかる衝撃力をfとすると、
である。よって手首にかかる衝撃力は
と計算される。
[C−4]同期計測によるゴルフモーキャップ実験
[C−4−1]実験条件
本実験では被験者1名を対象としてビデオカメラ4台によるドライバーショットの撮影及びハイスピードカメラ4台によるゴルフボールのトラッキングを行った。ビデオカメラおよびハイスピードカメラはすべて同期を取って撮影した。本実験で使用したカメラを表1に示す。
[C−4−1]実験条件
本実験では被験者1名を対象としてビデオカメラ4台によるドライバーショットの撮影及びハイスピードカメラ4台によるゴルフボールのトラッキングを行った。ビデオカメラおよびハイスピードカメラはすべて同期を取って撮影した。本実験で使用したカメラを表1に示す。
[C−4−2]実験結果
画像の暗かったHS03(図6 の左下) を除いた3 台についてインパクトから39 フレームにわたりボールトラッキングを行った。各ハイスピードカメラでトラッキングしたボール2次元位置について、目視で確認した2次元位置の真値との誤差は平均してボール0.08個分となった。多視点三角測量によりボールの3次元位置を計算し線形近似した結果が図15である。この結果からボール初速は32.9m/s, 打ち出し角度は22.7°となり進行方向に対して右に11.0°ずれていることが計算された。またクラブヘッドスピードは25.0m/sとなった。以上の結果を用いて接触時間とボールおよびクラブヘッドにかかる衝撃力を提案した手法で計算したところ、それぞれ1.1×10-3s, 1.2×103N となった。ただしゴルフボールの質量は0.046kg、クラブヘッドの質量は0.200kgとした。
画像の暗かったHS03(図6 の左下) を除いた3 台についてインパクトから39 フレームにわたりボールトラッキングを行った。各ハイスピードカメラでトラッキングしたボール2次元位置について、目視で確認した2次元位置の真値との誤差は平均してボール0.08個分となった。多視点三角測量によりボールの3次元位置を計算し線形近似した結果が図15である。この結果からボール初速は32.9m/s, 打ち出し角度は22.7°となり進行方向に対して右に11.0°ずれていることが計算された。またクラブヘッドスピードは25.0m/sとなった。以上の結果を用いて接触時間とボールおよびクラブヘッドにかかる衝撃力を提案した手法で計算したところ、それぞれ1.1×10-3s, 1.2×103N となった。ただしゴルフボールの質量は0.046kg、クラブヘッドの質量は0.200kgとした。
ビデオカメラによるモーションキャプチャにより手首関節の速度について時系列データを求めたものが図16(左手)および図17(右手)である。図の破線はそれぞれバックスイングの開始時刻、終了時刻、インパクト時刻およびスイングの終了時刻を表している。インパクトの前後では左手、右手の両方において関節の速度に変化がな4.5m/sとなった。この結果と先ほどのクラブヘッドにかかる衝撃力の結果から、手首にかかる衝撃力もクラブヘッドと同様に1.2×103Nと計算された。
ゴルフスイング動作の分析において、高速度カメラによるボールトラッキングは衝撃力を考慮するうえで有効である。衝撃力の計算については今回提案した手法では両手首にかかる衝撃力の合力が計算されており、左右の手首に対する配分を考慮することによって逆動力学計算を行うことが可能となる。逆動力学計算を解くことによって各関節の関節トルクを計算することができ、関節トルクからインパクトでの姿勢について定量的に評価することが可能となる。
Claims (21)
- 1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムであって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させる同期制御部を備え、
前記第1カメラは、対象の動作を撮影して第1動画データを取得し、
前記第2カメラは、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得し、
前記第1動画データと前記第2動画データは同期している、
モーションキャプチャ・カメラシステム。 - 前記同期制御部は、同期信号生成部を備え、前記同期信号生成器は、
前記第1カメラと前記第2カメラを同期させる第1同期信号、第2同期信号を生成し、第1同期信号を前記第1カメラに出力し、第2同期信号を第2カメラに出力することで、前記第1カメラと前記第2カメラを同期させる、
請求項1に記載のモーションキャプチャ・カメラシステム。 - 前記同期制御部は、第2同期信号を間引いて前記第1同期信号を生成する、
請求項2に記載のモーションキャプチャ・カメラシステム。 - 前記第2カメラは、前記第1カメラの撮影中に出力されるトリガー信号に基づいて、前記第2動画データを取得する、
請求項1〜3いずれか1項に記載のモーションキャプチャ・カメラシステム。 - 前記第2カメラの撮影データはバッファに一時的に保存され、
前記トリガー信号に基づいて、前記保存された撮影データから所定の第2動画データを取得する、
請求項4に記載のモーションキャプチャ・カメラシステム。 - 前記同期制御部は、トリガー信号生成部を備え、前記トリガー信号生成部は、前記第1カメラの第1同期信号に合わせて、前記トリガー信号を前記第2カメラに出力する、
請求項4、5いずれか1項に記載のモーションキャプチャ・カメラシステム。 - 前記対象の動作は、器具、あるいは/および、物体の使用を伴うものであり、
前記動作に関連して生起する事象は、前記器具、あるいは/および、物体の動きないし挙動を含む、
請求項1〜6いずれかに記載のモーションキャプチャ・カメラシステム。 - 請求項1〜7いずれか1項に記載のカメラシステムと、
前記第1カメラで取得した画像情報、あるいは/および、前記第2カメラで取得した画像情報を3次元再構成することで、対象の動作データを取得する動作データ取得部と、
を備えたモーションキャプチャシステム。 - 前記動作データを用いて対象の動作を分析する動作分析部を備えている、
請求項8に記載のモーションキャプチャシステム。 - 前記第2カメラで取得した画像情報に基づいて事象データを取得する事象データ取得部を備えている、
請求項8、9いずれか1項に記載のモーションキャプチャシステム。 - 前記事象データ取得部は、第2カメラで取得したが画像情報を3次元再構成して事象データを取得する、請求項10に記載のモーションキャプチャシステム。
- 前記事象データを用いて事象を分析する事象分析部と、
を備えている、請求項10、11いずれか1項に記載のモーションキャプチャシステム。 - 前記動作分析部における動作データの分析において、前記事象データないし前記事象分析部で得られた情報が用いられる、
請求項12(請求項9の従属項に限る)に記載のモーションキャプチャシステム。 - 前記対象の動作は、器具、あるいは、身体の部分による物体のヒッティング動作を含み、
前記事象データは、ヒッティング時に前記物体に作用する撃力を含み、
前記動作分析部は、前記撃力の反作用力を用いて、器具、あるいは身体の部分に作用する力を分析する、
請求項13に記載のモーションキャプチャシステム。 - 前記動作データ取得部は、各カメラ画像で取得した画像情報を用いてマーカレスで対象の動作データを取得する、
請求項8〜14いずれか1項に記載のモーションキャプチャシステム。 - 1つあるいは複数の第1カメラからなる第1カメラセットと、
1つあるいは複数の第2カメラからなる第2カメラセットと、
を備えたモーションキャプチャ・カメラシステムを用いた動画データ取得方法であって、
前記第2カメラのフレームレートは前記第1カメラのフレームレートよりも高く、
前記第1カメラと前記第2カメラの撮影タイミングを同期させること、
前記第1カメラにより、対象の動作を撮影して第1動画データを取得すること、
前記第2カメラにより、少なくとも、対象の動作の部分、あるいは/および、当該動作に関連して生起する事象を撮影して第2動画データを取得すること、
を含み、
前記第1動画データと前記第2動画データは同期している、
動画データ取得方法。 - 前記第1カメラに第1同期信号を出力し、前記第2カメラに第2同期信号を出力することで、前記第1カメラと前記第2カメラの撮影タイミングを同期させる、
請求項16に記載の動画データ取得方法。 - 前記第1同期信号は、前記第2同期信号を間引いて生成される、
請求項17に記載の動画データ取得方法。 - 前記第2カメラは、前記第1カメラの撮影中に生成されるトリガー信号に基づいて、前記第2動画データを取得する、
請求項17、18いずれか1項に記載の動画データ取得方法。 - 前記トリガー信号は、前記第1カメラの第1同期信号に合わせて、前記第2カメラに出力される、
請求項19に記載の動画データ取得方法。 - コンピュータに、請求項16〜20いずれか1項に記載の方法を実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020089257A JP2021184540A (ja) | 2020-05-22 | 2020-05-22 | モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020089257A JP2021184540A (ja) | 2020-05-22 | 2020-05-22 | モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021184540A true JP2021184540A (ja) | 2021-12-02 |
Family
ID=78767583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020089257A Pending JP2021184540A (ja) | 2020-05-22 | 2020-05-22 | モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021184540A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7239120B1 (ja) | 2022-06-16 | 2023-03-14 | 株式会社アジラ | 物品判別システム |
-
2020
- 2020-05-22 JP JP2020089257A patent/JP2021184540A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7239120B1 (ja) | 2022-06-16 | 2023-03-14 | 株式会社アジラ | 物品判別システム |
JP2023183533A (ja) * | 2022-06-16 | 2023-12-28 | 株式会社アジラ | 物品判別システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694347B2 (en) | Determining X,Y,Z,T biomechanics of moving actor with multiple cameras | |
US11967101B2 (en) | Method and system for obtaining joint positions, and method and system for motion capture | |
US20230008567A1 (en) | Real-time system for generating 4d spatio-temporal model of a real world environment | |
KR101078975B1 (ko) | 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법 | |
Theobalt et al. | Pitching a baseball: tracking high-speed motion with multi-exposure images | |
US20090220124A1 (en) | Automated scoring system for athletics | |
CN104699247A (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
CN102553232A (zh) | 人体姿态捕捉装置及其实现方法 | |
JP2008307640A (ja) | 運動制御システム、運動制御方法および運動制御プログラム | |
JP7427188B2 (ja) | 3dポーズ取得方法及び装置 | |
Chun et al. | A sensor-aided self coaching model for uncocking improvement in golf swing | |
KR102084252B1 (ko) | 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 | |
JP2021184540A (ja) | モーションキャプチャ・カメラシステム、及び、当該カメラシステムを用いた動画データ取得方法。 | |
US11461905B2 (en) | Determining a kinematic sequence | |
Liu et al. | An action recognition technology for badminton players using deep learning | |
US11837255B2 (en) | Display method, computer-readable recording medium recording display program, and information processing apparatus | |
JP6594254B2 (ja) | 仮想環境構築装置、仮想環境構築方法、プログラム | |
JP7274307B2 (ja) | 番組映像制作装置およびカメラモデル学習装置、ならびに、それらのプログラム | |
KR102534463B1 (ko) | Ai기반의 인체 관절 및 골프 클럽 추출을 이용한 골프 레슨 시스템 | |
JP7027745B2 (ja) | 打具の挙動の解析装置 | |
Javadiha et al. | PADELVIC: Multicamera videos and motion capture data in padel matches | |
CN117716388A (zh) | 用于感测移动的球的影像分析方法及利用其的传感装置 | |
Colombo | Goalkeeper’s Performances Assessed with Action Cameras Based Mocap System | |
WO2023031747A2 (en) | Deep learning method of determining golf club parameters from both radar signal and image data | |
EP4356354A2 (en) | Method and system for generating a training dataset for keypoint detection, and method and system for predicting 3d locations of virtual markers on a marker-less subject |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230411 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240417 |