JP2022037264A - カメラのキャリブレーション方法 - Google Patents

Abstract

【課題】屋内・屋外といった撮影環境に依存しない汎用的なカメラキャリブレーション手法を提供する。【解決手段】１つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを用いたカメラのキャリブレーション方法であって、各カメラで前記キャリブレーションデバイスを、予め設定した短い露光時間で同時に撮影することで、マーカ発光領域が強調された暗い背景の画像を取得し、各画像において、画像処理によってマーカ位置を検出し、検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する。【選択図】図２

Description

本発明は、カメラのキャリブレーションに関するものである。

モーションキャプチャ技術は、様々な運動計測に広く利用されている。従来の典型的なモーションキャプチャシステムでは再帰性反射材のマーカを対象の身体に付けてカメラでマーカ位置を計測し、運動の３次元再構成を行っていた。最近、マーカを用いずにカメラ画像から深層学習によって２次元関節位置を推定しそれらを総合して、運動を３次元再構成するビデオモーションキャプチャが実現されている（特許文献１、非特許文献１）。ビデオモーションキャプチャ技術は、複数台のRGBカメラの映像から完全非拘束でモーションキャプチャを行うもので、屋内の居住空間から、屋外でのスポーツフィールドの広い空間まで、原理的には映像が取得できれば、動作計測が可能となる技術である。

複数のカメラを用いた３次元シーンの再構成には、複数のカメラ画像を３次元再構成するためのカメラパラメータを取得する必要がある。カメラパラメータには、レンズの歪みなどの光学的パラメータ、焦点距離や光学的中心等の内部パラメータ、カメラが設置された空間におけるカメラの位置・姿勢を表す外部パラメータがある。カメラキャリブレーションにおいて、これら全てのパラメータのキャリブレーションを、既知の形状や寸法のキャリブレーションデバイスや個体識別できる球状体（中心位置が検出可能）を各カメラで撮影した画像に基づいて行うことができ、このような処理は、バンドル調整（Bundle adjustment）と呼ばれることがある。

キャリブレーションデバイスとしては、例えば、チェッカーボードないしチェスボードが良く知られている（非特許文献２）。上記ビデオモーションキャプチャは、映像が取得できる環境であれば、屋内外を問わないが、カメラキャリブレーション、特に、カメラの空間における位置姿勢に関する外部パラメータのキャリブレーションは、カメラが設置された現場で行う必要がある。例えば、屋外スポーツフィールドのような広い空間における日中の動作計測において、従来のチェスボードを用いてキャリブレーションを行うことは適切ではない。キャリブレーション精度を維持するためには大型のチェスボードを用意する必要があり、また、そのような大型のチェスボードをモーションキャプチャ空間で移動させることは現実的では無く、さらに、日照環境下はチェスボードの特徴点抽出に悪影響を与え得る。

光学式モーションキャプチャのキャリブレーションデバイスとして、再帰性反射マーカを備えたワンドが知られているが、従来の再帰性反射マーカを備えたワンドキャリブレーションの場合、カメラのイメージセンサー部に赤外線フィルタを備えた特殊なカメラが必要となることに加えて、赤外LED光源が必要になる。赤外線に依存する手法は、日照がある屋外では使用できない。これらの装備は、ビデオモーションキャプチャには不要なものであり、カメラキャリブレーションのためだけにこれらの装備を設けることは、カメラシステム全体をいたずらに複雑化し、コストアップを招くことになる。

ビデオモーションキャプチャに用いるカメラシステムに適した汎用的なカメラキャリブレーション手法が望まれる。

特開２０２０－０４２４７６

T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231. A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000 Zhengyou Zhang Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose.

本発明は、屋内・屋外といった撮影環境に依存しない汎用的なカメラキャリブレーション手法を提供することを目的とするものである。

本発明は、１つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを用いたカメラのキャリブレーション方法であって、
複数のカメラの各カメラの露光時間を、マーカ発光領域が強調された暗い背景の画像を取得するような露光時間に設定し、各カメラで前記キャリブレーションデバイスを、前記設定した露光時間で同時に撮影することで、マーカ発光領域が強調された暗い背景の画像を取得し、
各画像において、画像処理によってマーカ位置を検出し、
検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する。

１つの態様では、前記露光時間は、キャリブレーションに続いて、キャリブレーションされたカメラによって対象を撮影する時の露光時間よりも短い。

１つの態様では、キャリブレーション時の前記露光時間は5msec以下である。
１つの態様では、キャリブレーション時の前記露光時間は4msec以下である。
１つの態様では、キャリブレーション時の前記露光時間は3msec以下である。
１つの態様では、キャリブレーション時の前記露光時間は2msec以下である。
１つの態様では、キャリブレーション時の前記露光時間は1msec以下である。
１つの態様では、キャリブレーション時の前記露光時間は500μsec以下である。
１つの態様では、キャリブレーション時の前記露光時間は250μsec以下である。
１つの態様では、キャリブレーション時の前記露光時間は100μsec以下である。
１つの態様では、キャリブレーション時の前記露光時間は１μsec以上である。
１つの態様では、キャリブレーション時の前記露光時間は50～100μsecである。
上記キャリブレーション時の露光時間は例示であって、本発明で用いられる露光時間の範囲を限定するものではない。

１つの態様では、前記自発光マーカは、高輝度のハイパワーLEDを光源としている。
１つの態様では、前記自発光マーカは、前記ハイパワーLEDと、当該ハイパワーLEDを覆う拡散カバーと、からなる。
１つの態様では、拡散カバーの色は当該カバー内部のLEDの色と一致している。
１つの態様では、前記拡散カバーは略球形状である。
１つの態様では、前記キャリブレーションデバイスは、ヒートシンク（放熱手段）を備ええいる。
１つの態様では、前記キャリブレーションデバイスは、複数の自発光マーカを備えており、
画像処理によるマーカ位置検出時に、各自発光マーカが識別可能である。
１つの態様では、前記画像はカラー画像であり、
前記複数の自発光マーカは、画像処理で識別可能な異なる色を備えている。
１つの態様では、前記複数の自発光マーカの発光色は、赤色、青色、緑色、黄色から選択される。
１つの態様では、前記複数の自発光マーカは、少なくとも青色発光マーカ（青色LED＋青色拡散カバー）と赤色発光マーカ（赤色LED＋赤色拡散カバー）を含む。
１つの態様では、前記複数の自発光マーカは、さらに、緑色発光マーカ（緑色LED＋緑色拡散カバー、黄色発光マーカ（黄色LED＋黄色拡散カバー）の一方あるいは両方を含んでいてもよい。
１つの態様では、前記自発光マーカは、キャリブレーション用の撮影中は常時、発光状態（点灯ないし点滅）にある。
１つの態様では、前記自発光マーカは、撮影タイミング及び露光時間に合わせて発光する。撮影時以外にはLEDを消灯状態とすることで、LEDの発熱量を抑制することができる。

１つの態様では、前記複数のカメラは、フレームレートの異なるカメラを含み、
同じ撮影タイミング及び露光時間で前記キャリブレーションデバイスを撮影するようになっている。
キャリブレーション時には、フレームレートを一致させて撮影してもよい。

本発明において、キャリブレーションデバイスの撮影は、限定されないものの、屋外太陽光環境下、屋内太陽光環境下（窓からの日差しを利用）、屋内照明環境下、屋外照明環境下（典型的には、ナイトゲームにおける屋外夜間照明）から選択されたいずれか１つの環境下で行われる。
これらの環境下での照度は、限定されないものの、300[lx]から100000[lx]の範囲となるであろう。

本発明に係る撮影方法は、
１つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを撮影空間に用意すること、
所定位置に配置したカメラの露光時間を、マーカ発光領域が強調された暗い背景の画像を取得するような露光時間に設定すること、
前記カメラで、前記キャリブレーションデバイスを、前記設定した露光時間で撮影することで、マーカ発光領域が強調された暗い背景の画像を取得すること、
を含む。
１つの態様では、撮影時に前記キャリブレーションデバイスを撮影空間内で移動させる。
１つの態様では、前記キャリブレーションデバイスは人手で移動される。
１つの態様では、前記キャリブレーションデバイスは移動体によって移動される。
１つの態様では、前記キャリブレーションデバイスを撮影空間に用意することは、前記キャリブレーションデバイスを撮影空間内で空中移動可能に用意することを含む。
１つの態様では、前記キャリブレーションデバイスは、人による遠隔操作によって、または予め設定された空間軌道にしたがって自動的に空間を移動するドローンないし無人飛行体に装着されている。

本発明に係る撮影方法は、
１つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを撮影空間に用意し、
所定位置に配置したカメラで第１の露光時間で対象を撮影して第１の画像を取得する第１撮影と、
所定位置に配置した前記カメラで第１の露光時間よりも短い第２の露光時間で前記キャリブレーションデバイスを撮影することで、マーカ発光領域が強調された暗い背景の第２の画像を取得する第２撮影と、
を交互に繰り返して、第１画像セットと、カメラのキャリブレーション用の第２画像セットと、を取得する。

第２画像セットの各画像において、画像処理によってマーカ位置を検出し、
検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する。
第１画像ないし第１画像セットは、キャリブレーション以外の目的（例えば、モーションキャプチャ）で使用され、あるいは、キャリブレーションの補助を目的として使用され得る。
１つの態様では、第１撮影と第２撮影を組み合わせた撮影は、キャリブレーション時に実行される。
キャリブレーション時には、キャリブレーションワンドを、キャプチャボリューム全体をカバーするように振りながら撮影するが、その過程でワンドの振りが不十分な領域が生じる場合があり、この場合、ワンド操作が不十分な領域を操作者に伝える必要がある。この時、第２画像において、マーカ以外の要素は見えづらいため、第２画像に基づいてワンド操作が不十分な領域を指定して操作者に伝えることは困難である。本態様では、第１画像と第２画像をほぼ同時刻に撮影することで、第１画像に基づいて具体的な絶対位置でワンド操作が不十分な領域を操作者に伝えることができ、また、第２画像中にノイズ（マーカ以外の発光領域）があれば、第１画像に基づいてノイズの原因となった要素を排除することができる。
１つの態様では、第１画像セットを、他のキャリブレーション（従来のチェッカーボードやARマーカのような画像特徴量を使用するキャリブレーション）に用いてもよい。
１つの態様では、第１撮影と第２撮影を組み合わせた撮影は、対象のモーションキャプチャに適用され、第１画像セットを用いて対象のモーションキャプチャが実行される。この時、撮影時に、視野の端の方にキャリブレーションデバイスを配しておけば、撮影中にカメラを誤って動かしてしまったような場合に、撮影を中断せずに、第２画像セットを用いて再キャリブレーションを並行して実施することができる。
第１画像には、自発光マーカを備えたキャリブレーションデバイスが含まれ得るが、１つの態様では、自発光マーカは第２画像の取得時にのみ発光状態にあり、第１画像の取得時には消灯状態としてもよい。
第２画像には、第１撮影の対象が含まれ得るが、当該対象は暗い背景の一部となるであろう。

１つの態様では、１フレーム毎に、露光時間を前記第１の露光時間と前記第２の露光時間との間で切り替える。
なお、通常撮影画像に重きを置きたい場合（撮影フレーム数を多くした場合）には、通常撮影（第１撮影）を連続２フレーム以上にするなど、撮影比率を変えてもよい。
１つの態様では、第１のパルス幅を備えた第１露光信号と、第２のパルス幅を備えた第２露光信号を、交互にカメラに入力する。
１つの態様では、露光開始信号の入力に応じて、カメラ側において、露光信号の設定が第１の露光時間と第２の露光時間との間で切り替わる。

本発明に係るキャリブレーションデバイスは、
基体と、
基体に設けられた１つあるいは複数の自発光マーカと、
からなり、
前記自発光マーカは、光源としてのハイパワーLEDと、当該ハイパワーLEDを覆う略球形状の拡散カバーと、からなる。
本実施形態では自発光式のマーカを採用したことで、キャリブレーション用の画像において、マーカ発光領域を背景から目立たせることを可能とすると共に、略球状の拡散カバーと相俟って、球面全体を陰影なしに写すことができるため球の中心をより正確に見つけることができるという利点がある。
１つの態様では、前記複数の自発光マーカの発光色は、異なる色である。
１つの態様では、前記複数の自発光マーカの発光色は、赤色、青色、緑色、黄色から選択される。

１つの態様では、前記基体は、前記ハイパワーLEDから生成される熱を放熱するヒートシンクを備えている。
１つの態様では、前記自発光マーカは、前記基体の部分に対して軸部を介して設けてあり、
前記ヒートシンクは、前記軸部からなる。

１つの態様では、前記キャリブレーションデバイスは、１つあるいは複数の自発光マーカを備えたワンドである。
キャリブレーション時には、ワンドをモーションキャプチャ空間で移動させながら、ワンドを撮影する。
１つの態様では、キャリブレーションデバイスをドローンないし無人飛行体に装着して、当該デバイスをモーションキャプチャ空間で移動させながら、当該デバイスを撮影してもよい。

本発明は、屋内撮影、屋外撮影を含む様々な撮影環境に適用し得る汎用的なカメラキャリブレーションを提供する。
本発明に係るキャリブレーションはカラー画像を用いるものであり、カラー画像ベースのモーションキャプチャシステムのカメラのキャリブレーションに適している。

本実施形態に係るキャリブレーションが適用されるカメラシステムの概略図である。 本実施形態に係るカメラキャリブレーションを示すフローチャートである。 本実施形態に係るマーカ位置検出の画像処理の概要を示すフローチャートである。 本実施形態に係るマーカ位置検出の画像処理の詳細を示すフローチャートである。 本実施形態に係る自発光マーカを備えたキャリブレーションデバイスを示す図である。 本実施形態に係る他の自発光マーカを備えたキャリブレーションデバイスを示す図である。 図４に示すキャリブレーションデバイスを撮影したカラー画像（露光時間100μs、室内照明下）をグレースケール化した参考図である。 図５に示すキャリブレーションデバイスを撮影したカラー画像（露光時間50μs、室内照明下）をグレースケール化した参考図である。 自発光マーカを備えたキャリブレーションデバイスの屋外撮影実験に係る参考図である。 自発光マーカを備えたキャリブレーションデバイスの屋内撮影実験に係る参考図である。 本実施形態に係る撮影方法を示すフローチャートである。 露光時間の切り替えるための第１の手法を説明する図である。 露光時間の切り替えるための第２の手法を説明する図である。 図１０に係る撮影方法を説明する図である。 左図が第２の露光時間で撮影した画像をグレースケール化した参考画像であり、右図が第１の露光時間で撮影した画像をグレースケール化した参考画像である。 本実施形態に係るモーションキャプチャ用複合カメラシステムの概略図である。 本実施形態に係る同期制御部（同期信号生成器）の概念図である。 高速度カメラとビデオカメラの信号の同期を示す図である。 ビデオカメラと高速度カメラの画像データの記録のタイミングを例示する図である。 高速度カメララとビデオカメラの配置を示す図である。 ビデオモーションキャプチャの概略図である。 ビデオモーションキャプチャの動作データの取得工程を示すフローチャートである。

［Ａ］モーションキャプチャシステムの概要
［Ａ－１］カメラシステム
図１に示すように、カメラシステムは、撮影空間（典型的にはモーションキャプチャ空間）を囲むように配置した複数台（図示の態様では４台）のカメラを備えている。各カメラで取得される画像はカラー画像（RGB）である。カメラシステムは、典型的にはマーカレスモーションキャプチャ（特許文献１、非特許文献１）に用いるカメラシステムである。複数のカメラは、同じフレームレートで同期して対象を撮影可能となっている。各カメラは信号を送受信可能なように有線ないし無線でコンピュータと接続されている。コンピュータは、入力部、出力部、処理部（プロセッサ）、記憶部（メモリ）を備えており、汎用コンピュータであってもよい。コンピュータは、さらに、ディスプレイを備えていてもよい。各カメラはローカルのコンピュータ（プロセッサ、メモリ等を含む）を備えていてもよい。

［Ａ－２］キャリブレーション
実際の撮影に先立って、カメラのキャリブレーションが必要となる。キャリブレーションアルゴリズムは、カメラの外部パラメータと内部パラメータを推定して、画像座標系と世界座標系の対応関係を求めるアルゴリズムである。本実施形態に係るキャリブレーションは、ワンドを用いたキャリブレーションであり、キャリブレーションのためのカメラシステムは、さらに、キャリブレーションデバイスとしてのワンドを備えている。キャリブレーションの基本的な考え方は、従来のワンドキャリブレーションと同じである。すなわち、マーカを備えたワンドを撮影空間（モーションキャプチャ空間）の略全域に亘って移動させながら複数のカメラで同時に撮影し、各画像におけるマーカ位置を検出し、マーカ位置を用いて最適化計算でカメラの外部パラメータと内部パラメータを推定する。

本実施形態が従来のキャリブレーションと異なる点は、キャリブレーションワンドの構成と、カメラの撮影条件（露光時間ないしシャッタースピード）と、の組み合わせにある。従来の再帰性反射マーカによるワンドキャリブレーションの場合、カメラのイメージセンサー部に赤外フィルタを備えた特殊なカメラが必要となることに加えて、赤外LED光源が必要となっている。また、赤外線は日照時の屋外での使用には適さない。本実施形態に係るワンドキャリブレーションは、このような設備を必要としない。

本実施形態に係るワンドは１つあるいは複数の自発光マーカを備えている。本実施形態に係るワンドは、色の異なる４つの自発光マーカを備えており、当該ワンドの詳細な構成は後述する。撮影空間の略全域に亘って、自発光マーカを発光させた状態でワンドを移動させながら、複数のカメラでワンドを同時に撮影する。自発光マーカは、少なくとも撮影時には、点灯ないし点滅している。撮影時に、各カメラの露光時間（シャッタースピード）は、マーカの発光領域が強調された暗い背景の画像を取得するような露光時間に設定される。各カメラで、マーカ発光状態（少なくとも露光時間において発光状態にあればよい）にあるキャリブレーションデバイスを、上記設定した露光時間で同時に撮影することで、マーカの発光領域が強調された暗い背景の画像（キャリブレーション用画像）を取得する。この露光時間は、通常の撮影の際の露光時間に比べて短い時間となるであろう。

キャリブレーションワンドをモーションキャプチャ空間で移動させながら、複数のカメラでワンドを同時撮影することで、マーカ発光領域を含むキャリブーション用画像を取得し、キャリブレーション用画像はコンピュータに送信され、画像処理によって各画像中のマーカ位置が検出される。検出したマーカ位置を用いて、バンドル調整と呼ばれる最適化計算を行い、カメラパラメータ（内部・外部）を計算する。最適化計算自体については、従来の手法を用い得ることが当業者に理解される。

本実施形態に係る自発光マーカを備えたキャリブレーションワンドは、一般的なカラーカメラ（露光時間(=シャッター速度)を制御可能なカメラ）でキャリブレーション可能なため特殊なフィルタや赤外LED光源は不要であり、一般的な室内照明環境下や屋外の太陽光環境下でキャリブレーションを実行することができ、システム全体をより簡素化できる。また、すでにカラーカメラが使用されている現場（たとえば放送局や映画などの撮影スタジオ）では、本実施形態に係るキャリブレーションワンド（図４参照）と従来のＬ型デバイスに相当するデバイス（図５参照）を用意するだけでカメラキャリブレーションが可能となり、既存・既設のカメラ自体にフィルタ等を追加する必要が無い。

［Ａ－３］マーカレスモーションキャプチャ
キャリブレーションに続いて、キャリブレーションされたカメラによって対象を同時撮影してモーションキャプチャが実行される。本実施形態に係るキャリブレーションは、典型的には、マーカレスのビデオモーションキャプチャ（特許文献１、非特許文献１）のカメラキャリブレーションとして用いられる。なお、本実施形態に係るキャリブレーションの用途は、マーカレスのビデオモーションキャプチャに限定されるものではない点に留意されたい。

図２０に示すように、ビデオモーションキャプチャの１つの態様では、まず複数台のカメラで同期撮影したRGB画像をOpenPose（非特許文献３）に入力する。OpenPoseは深層学習を用いて画像中に写った人間の身体の特徴点１８箇所(両目、両耳、鼻、首、両肩、両肘、両手首、両股関節、両膝、両足) の時系列に沿った２次元位置を推定するアルゴリズムである。なお、OpenPoseは、このような特徴点の２次元位置推定アルゴリズムの例示である。各カメラにおける２次元上での関節の推定位置から３次元空間上での関節推定位置を計算し、逆運動学計算によって骨格モデルの各関節角を時系列に沿って求めることで運動の３次元再構成を行う。

図２１を参照しつつ、本実施形態に係る入力画像から関節角度、特徴点の位置を取得するまでの工程を説明する。複数の同期したカメラによって対象の動作が撮影され、各カメラから所定のフレームレートでRGB画像が出力される。モーションキャプチャの撮影時のカメラの露光時間は、キャリブレーション時のカメラの露光時間よりも長いものとなるであろう。ヒートマップ取得部は、入力画像を受信すると、対象の身体上の全特徴点において、該入力画像に基づいてヒートマップ（関節位置の確からしさの尤度の空間分布）を生成する。関節位置取得部では、各画像のヒートマップ情報を用いて、関節位置候補の探索が行われる。全関節位置候補に対して逆運動学に基づく最適化計算を実行する。関節位置候補と骨格モデルの関節が対応付けられており、骨格モデルは、対象者固有の骨格モデルに適合されている。特徴点の位置候補と重みを基に、逆運動学に基づく最適化計算、順運動学計算を実行して関節角、関節位置を取得する。取得された特徴点の位置に対して、過去のフレームにおける関節位置を用いて、平滑化処理を実行することで、関節位置の時間的な動きを滑らかにする。平滑化された特徴点の位置を用いて再度逆運動学に基づく最適化計算を実行して、対象の関節角を取得し、取得した関節角を用いて順運動学計算を実行して、対象の関節位置を取得する。

上記ビデオモーションキャプチャは、映像が取得できる環境であれば、屋内外を問わず、屋内照明環境や太陽光環境でも実行できる。カメラキャリブレーションもモーションキャプチャと同じ環境で実行する必要があるが、モーションキャプチャと同様の条件でキャリブレーション用の画像を取得した場合にはキャリブレーションデバイス以外の情報が写り込む可能性がある。本実施形態では、予め選択した露光時間で自発光マーカを備えたキャリブレーションデバイスを撮影することで、マーカの発光領域が強調された暗い背景の画像（キャリブレーション用画像）を取得し、マーカ位置のより正確な検出を可能としている。

本実施形態に係るキャリブレーションは、カメラで取得したカラー画像を用いるものであり、カラー画像ベースのモーションキャプチャシステムであるマーカレスのビデオモーションキャプチャと相性が良い。カメラの露光時間を変更することによって、キャリブレーション用の撮影と、モーションキャプチャ用の撮影を使い分けることができる。代表的なモーションキャプチャの１つである光学式モーションキャプチャでは、ワンドによるキャリブレーションが行われ、ワンドキャリブレーションは広く受け入れられている。本実施形態に係るキャリブレーション方法は、マーカレスのビデオモーキャプチャにおいて、ワンドキャリブレーションを実現可能とした。

［Ｂ］キャリブレーションデバイス
キャリブレーションデバイスは、基体と、基体の所定位置に設けられた１個以上の自発光マーカと、からなる。図４を参照しつつ、本実施形態に係るキャリブレーションデバイスについて説明する。図４に示すキャリブレーションデバイス１はいわゆるワンドであり、長尺状の取手２と取手２の上端に固定した取付ベース３とから略Ｔ形状の基体を備えており、取付ベース３には複数（４つ）の自発光マーカＭ_１、Ｍ_２、Ｍ_３、Ｍ_４が軸部４を介して設けてある。軸部４の下端は取付ベース３に固定されており、自発光マーカＭ_１、Ｍ_２、Ｍ_３、Ｍ_４は、取付ベースに立ち上がり状に設けた軸部４の上端に固定されている。

図６に、図４に示すキャリブレーションデバイスを撮影したカラー画像（露光時間100μs、室内照明下）をグレースケール化した参考図を示す。参考画像が意味するところは、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せたということである。したがって、実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。

各自発光マーカは、１つあるいは複数のLED素子と、このLED素子を覆う拡散カバーと、からなる。LED素子には有線ないし無線で電源から電力が供給可能となっており、LED素子に電力が供給されると当該LED素子が発光するようになっている。本実施形態では、各自発光マーカは、ハイパワーLEDと、ハイパワーLEDを覆う概ね球状の拡散カバーと、からなる。プロトタイプに係るキャリブレーションワンドでは、各自発光マーカの直径は40mmであるが、この寸法は例示であって、これには限定されない。

本実施形態では、自発光マーカの光源として高輝度LEDすなわちハイパワーLEDを用いる。高輝度のハイパワーLEDを光源として用いることで、照明環境下であっても、画像からマーカ発光領域を良好に検出することができる。ハイパワーLEDには明確な定義は無いが、本明細書では、消費電力が１Ｗ以上のものをハイパワーLEDと称し、典型的なハイパワーLEDの消費電力は３Ｗ以上である。

ハイパワーLEDは、下面に放熱基板を備えており、自発光マーカの下端には放熱部が設けてある。軸部はアルミニウム製であり、上端が放熱部に接触しており、ハイパワーLEDの放熱基板から熱を軸上に逃がすいわば放熱軸として働く。軸部からなる放熱手段（ヒートシンク）は、マーカ下端に位置しており、キャリブレーションワンド（マーカ）の撮影時にマーカを軸に隠れてしまうようなことがない。

本実施形態に係るキャリブレーションワンドは、赤色、緑色、青色、黄色に発光する４個の自発光マーカＭ_１、Ｍ_２、Ｍ_３、Ｍ_４からなる。赤色、緑色、青色、黄色の白色以外の自発光マーカを採用することで、主に白が使われる室内照明光との識別を容易にし、室内照明光の発光領域が誤検知されることを防止している。ハイパワーLEDの発光色と拡散カバーの色は一致させている。すなわち、赤色マーカは赤色LEDと赤色拡散カバーとからなり、緑色マーカは緑色LEDと緑色拡散カバーからなり、青色マーカは青色LEDと青色拡散カバーとからなり、黄色マーカは黄色LEDと黄色拡散カバーからなる。

各マーカ間の距離は既知である。プロトタイプに係るキャリブレーションワンドでは、赤色マーカの中心と緑色マーカの中心との間の距離は150mm、青色マーカの中心と黄色マーカの中心との間の距離は150mmであり、緑色マーカの中心と青色マーカの中心との距離は100mm、赤色マーカの中心と黄色マーカの中心との距離は400mmであるが、これらの寸法は例示であって、これには限定されない。

自発光マーカの個数や発光色の組み合わせは、上記実施形態に限定されない。自発光マーカの個数は、２個ないし３個でもよく、この場合、複数の自発光マーカは、赤色、緑色、青色、黄色から選択された２つないし３つのカラーマーカである。１つの態様では、複数の自発光マーカは少なくとも２つの青色マーカ、赤色マーカを含む。実験では、青色、赤色の明度が比較的高いことが判った。自発光マーカの発光色は、赤色、緑色、青色、黄色に限定されるものではなく、発光色が画像処理で識別可能であればよい。なお、マーカ発光領域の識別において、色情報に加えて、マーカの幾何学的情報（既知）を用いてもよい。

本実施形態に係るワンドでは、マーカ間の幾何学的情報（マーカ間の相対的な位置関係）を用いることなく（もちろん用いてもよい）、マーカ自体の色でマーカ位置が識別可能となっている。マーカ同士のオクルージョンがないと仮定し、１台のカメラでワンドを観測したとき、相対的な位置関係を用いたLEDワンドの場合、ワンドの観測方向によっては位置関係に差異が見られず、各マーカを特定できない場合がある。これに対して、色情報に依存したマーカ識別では、どの方向からワンドを観測しても、それぞれのマーカ位置を一意に特定可能である。

自発光マーカの数は１つでもよい。撮影空間（モーションキャプチャ空間）に亘って１つの自発光マーカを備えたワンドを移動させながら、複数のカメラで同時にワンドを撮影することで得られた画像を用いてキャリブレーションを行うことも可能である。

本実施形態に係るキャリブレーションデバイスは、基体と、基体の所定位置に設けられた１個以上の自発光マーカと、からなり、キャリブレーションデバイスの形状は限定されない。図４では略Ｔ形状の基体のワンドを示したが、Ｙ形状（例えば２個の自発光マーカ）やＩ形状（例えば１個の自発光マーカ）の基体のワンドであってもよい。あるいは、長尺状の取手の上端に方形プレートを設け、方形プレートの角部に４個ないし３個の自発光マーカを設けたものでもよい。

キャリブレーションワンドは、一般に、人間が持って振り易い形態であることを前提として設計されているが、特に、屋外フィールド、スタジアム、体育館等の大空間が撮影対象となる場合には、自発光マーカを備えたキャリブレーションデバイスを移動体で移動させることで、キャリブレーションを自動化するようにしてもよい。例えば、自発光マーカを備えたキャリブレーションデバイスを、ドローンなど遠隔操作可能な移動体に搭載して撮影空間を移動させるようにしてもよい。あるいは、自発光マーカを備えたキャリブレーションデバイスを保持した走行ロボットが撮影空間を移動するようにしてもよい。例えば、走行ロボットは予め設定した経路で自動走行させればよく、ロボットがキャリブレーションデバイスをスイングしながら走行するようにしてもよい。

図５は、従来いわゆるＬフレームと称されているキャリブレーションデバイスを自発光マーカで構成したデバイスを示す。ワンドキャリブレーションの実行に先立って、図５に示すキャリブレーションデバイスを用いて、カメラ座標系原点が規定される。図示のキャリブレーションデバイス１´は、プレート状の取付ベース３´と、取付ベース３´の上面の３つの角部にそれぞれ位置して設けた赤色自発光マーカＭ１、緑色マーカＭ２、黄色マーカＭ４と、赤色マーカＭ１と黄色マーカＭ４の間に位置して設けた青色マーカＭ３と、を備え、赤色マーカＭ１の中心と緑色Ｍ２マーカの中心を結ぶ線が短辺、赤色マーカＭ１の中心、青色マーカＭ３の中心、黄色マーカＭ４の中心を結ぶ線が長辺を形成し、短辺と長辺は赤色マーカＭ１の中心を交点として直角に交わっている。各自発光マーカＭ_１、Ｍ_２、Ｍ_３、Ｍ_４は、軸部４を介して取付ベース３´に固定されている。自発光マーカのより具体的な説明は、ワンドの説明を援用することができる。図示の態様では、略方形プレート上の基体を示したが、複数の自発光マーカがＬ状に配置されていればよく、基体の形状は限定されず、例えば、平面視Ｌ形や平面視三角形であってもよい。

図７に、図５に示すキャリブレーションデバイスを撮影したカラー画像（露光時間50μs、室内照明下）をグレースケール化した参考図を示す。参考画像が意味するところは、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せたということである。したがって、実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。

キャリブレーションデバイス上の自発光マーカの大きさは限定されず、キャプチャボリューム内でカメラ画像からマーカの球状が認識できるサイズである必要があるため、撮影環境によって適切な大きさは変わり得る。屋外グランドや体育館で撮影する場合には、より大きいマーカが望ましいことが当業者に理解される。

本実施形態では、撮影環境（屋外撮影、屋内撮影）を問わず、自発光マーカの光源としてハイパワーLEDを採用したが、周囲の環境とマーカとで明確に明るさに差があればハイパワーLED以外のLED光源を採用してもよい。

［Ｃ］露光時間（シャッタースピード）
キャリブレーションにおけるカメラの露光時間（シャッタースピード）について説明する。各カメラの露光時間（シャッタースピード）は、マーカの発光領域が強調された暗い背景の画像を取得するような露光時間に設定される。各カメラで、マーカ発光状態にあるキャリブレーションデバイスを、上記設定した露光時間で同時に撮影することで、マーカの発光領域が強調された暗い背景の画像（キャリブレーション用画像）を取得する。この露光時間は、マーカの輝度や周囲環境の明るさ等によっても変わり得るものであるが、通常の撮影時の露光時間に比べて十分に短い時間となるであろう。

一般的なカメラ(30～60fps)で移動体を撮影する場合における露光時間の設定は、概ね、2msec～20msec程度であると考えられる。キャリブレーション時の露光時間は、この露光時間よりも十分に短い時間となるであろう。但し、本実施形態に係るキャリブレーション時のカメラの露出時間の可能な範囲は、周囲の明るさや自発光マーカの輝度等によっても変わり得ることから、例えば、比較的暗い環境でキャリブレーションデバイスを撮影する場合には、露光時間が5msec程度でも適切なキャリブレーション画像を取得し得ると考えられる。5msecは、可能性のある周囲の明るさを広くとった場合の露光時間の上限の一例であり、周囲の明るさによって、露光時間は4msec以下、3msec以下、2msec以下、1msec以下、あるいは、500μsec以下である。屋外の太陽光環境下（晴天、曇天等）、屋内照明環境下、屋外夜間照明環境下等では、露光時間は、例えば、250μsec以下であり、さらに限定すると、例えば、100μsec以下である。

１つの態様では、キャリブレーションにおけるカメラの露光時間は、250μsec以下である。250μsecより長い露光時間では、屋内・蛍光灯照明下であっても、環境中の物体（自発光マーカ以外のもの）が映り始める。また、250μsec以上の露光時間では、マーカ発光領域の中心の色に差が無くなる現象が発生したこの現象は、例えば、ＬＥＤ光源の電圧を落としてマーカ輝度を下げることで回避し得る。実験結果では、屋内250μsecで、電圧12Vでは青と緑のマーカ発光領域の中心は画像上では同色になったが、電圧5Vでは識別できることが判った。１つの態様では、キャリブレーションにおけるカメラの露光時間は、１μsec以上である。マーカ輝度を明るく、画像処理でゲインを上げた場合では、1～50μsecの露光時間でも十分なマーカ追跡が可能である。したがって、１つの態様では、キャリブレーションにおけるカメラの露光時間は、1μsec～250μsecである。１つの態様では、キャリブレーションにおけるカメラの露光時間は、100μsec以下である。１つの態様では、キャリブレーションにおけるカメラの露光時間は、50～100μsec以下である。実験結果からは、屋内撮影、屋外撮影を問わず、露光時間50～100μsecでマーカの発光領域が強調された暗い背景の画像を取得できると考えられる。

カメラの露光時間の具体的数値について述べたが、これらの数値は例示である点に留意されたい。マーカの発光領域が強調された暗い背景の画像を取得するような露光時間は、マーカの輝度や周囲環境の明るさ等によっても変わり得る。キャリブレーションデバイスの撮影環境としては、屋外太陽光環境下（晴天、曇天等）、屋内太陽光環境下（窓からの日差しを利用）、屋内照明環境下、屋外照明環境下（典型的には、ナイトゲームにおける屋外夜間照明）を例示することができる。これらの環境下での照度は、限定されないものの、300[lx]から100000[lx]の範囲となるであろう。

［Ｄ］マーカ位置の検出
キャリブレーション用の画像におけるマーカ位置の検出について説明する。図３に示すように、画像には、赤色自発光マーカ、青色自発光マーカ、緑色自発光マーカ、黄色自発光マーカにそれぞれ対応する赤色発光領域、青色発光領域、緑色発光領域、黄色発光領域が含まれるものとする。各マーカの色について、指定したRGB境界範囲内の画素とそうでない画素と画像を二値化する。二値化した画像において、最小外接円探索、円中心検出を行ってマーカ位置候補を取得し、マーカ位置候補が所定の条件を満たす場合には、マーカ位置とみなす。

マーカ位置の検出アルゴリズムの１つの態様について、図３Ａを参照しつつ、詳細に説明する。このアルゴリズムは、時刻tにおける入力画像I_tから、各カラーマーカのマーカ位置P_color,tを計算するアルゴリズムである。カラー画像からのマーカ位置検出フローは、以下の通りである。
１．入力画像から、各マーカの既定の色範囲内の画素領域を抽出
２．ノイズ除去（モルフォロジー演算・オープニング処理を適用）
３．オブジェクト輪郭を検出し、これを内包する最小外接円を計算
４．入力画像の最小外接円領域から、平均カラー画素値を計算
５．平均カラー画素値と、基準カラー画素値との色差を算出
６．オプティカルフローによりマーカ位置候補を計算
７．外接円中心と、マーカ位置候補との距離を算出
８．５と７の計算結果からマーカ位置を決定
９．マーカの検出パラメータを更新
なお、本実施形態では、OpenCVを用いているが、OpenCVは例示であって、マーカ位置検出アルゴリズムはOpenCVを用いるものに限定されない。

［検出パラメータの定義］
検出対象のマーカ色はcolor={red, green, blue, yellow}である。
各カラーマーカの検出パラメータは以下の通りである。

［ステップ１］入力画像から、各マーカの既定の色範囲内の画素領域を抽出
カラー画素値I_t(x,y)をもつ入力画像から、各マーカに許されたカラー画素値の最大最小条件を満たすカラー画素値を持つ領域を抽出し、画像M_color,tを得る。

［ステップ２］ノイズ除去（モルフォロジー演算・オープニング処理を適用）
画像M_color,tに対して、ノイズ除去用のopening関数(OpenCV)を適用する。

［ステップ３］オブジェクト輪郭を検出し、これを内包する最小外接円を計算
オブジェクト輪郭検出（OpenCVの関数findcontours）を実行し、画像M_color,t中のオブジェクト輪郭O_color,iを検出する（1≦i≦オブジェクト数）。
オブジェクト輪郭の最小外接円検出（OpenCVの関数minEnclosingCircle）を実行し、オブジェクト輪郭O_color,iの最小外接円E_color,iを計算する。
検出対象のマーカ色を持つマーカが１個の場合でも複数の領域がオブジェクトとして見つかる。
［ステップ４］入力画像の最小外接円領域から、平均カラー画素値を計算
入力画像I_tと最小外接円内の領域E_color,iのすべての画素のカラー画素値から、mean（OpenCVの関数）を用いて平均カラー画素値A_color,iを算出する。

［ステップ５］平均カラー画素値と、基準カラー画素値との色差を算出
平均カラー画素値

と、各マーカの基準カラー画素値

から、以下の式により色差D_color,iを算出する。

［ステップ６］オプティカルフローによりマーカ位置候補を計算
現時刻の画像I_t、前時刻の画像I_t-1および前時刻の検出マーカ位置P_color,t-1を用いて、opticalflow（OpenCVの関数calcOpticalFlowPyrLK）によりマーカ位置候補P’_color,tを計算する。

［ステップ７］外接円中心と、マーカ位置候補との距離を算出
オプティカルフローにより計算されたマーカ位置候補

と、最小外接円E_color,iの中心位置

との距離L_color,iを計算する。

［ステップ８、９］マーカ位置を決定、マーカの検出パラメータの更新
最小外接円の検出位置を評価する以下の評価関数を設定し、

T_color,iを最小にするiに対して、

を満たすならば、k=i、満たさなければ、次に小さいT_color,iを与える。
iを候補として同様のTestを行い、kが決定されるか、候補が無くなる（k=0とする）までこれを繰り返し、マーカ位置を決定し、マーカの検出パラメータ（マーカの基準カラー画素値）を更新する。

本実施形態では自発光式のマーカを採用したことで、キャリブレーション用の画像において、マーカ発光領域を背景から目立たせることを可能とすると共に、略球状の拡散カバーと相俟って、球面全体を陰影なしに写すことができるため球の中心をより正確に見つけることができるという利点がある。異なる色の発光領域の識別、及び、マーカ位置の検出は上記の手法に限定されるものではなく、当業者において他の手法が適宜用いられ得る。また、屋内照明下で撮影した画像には、照明光の発光領域が含まれ得るが、本実施形態では、白色以外の発光色のLED光源を用いることで、照明光の発光領域（一般に白色光の蛍光灯や白色LED光源）との識別を容易にしている。また、照明光の反射光が写り込むような場合には、撮影時に、撮影空間内の反射体を覆うことが望ましい。

［Ｅ］実験
自発光マーカを備えたワンドの撮影を行った。撮影に用いたカメラはBasler社カメラであり、自発光マーカの光源として、３Ｗ赤色パワーLED、３Ｗ緑色パワーLED、３Ｗ出力青色パワーLED、３Ｗ黄色パワーLED（OptoSupply社）を用いた。撮影は太陽光日照下、蛍光灯照明下で行った。

図８に屋外撮影に関する参考画像を示す。参考画像が意味するところは、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せたということである。したがって、実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。

図８（ａ）は、５月中旬に屋外晴天時に撮影した画像（シャッター開放）であり、照度は70,000[lx]である。図８（ｂ）～（ｅ）において、ワンド～カメラ間距は530cm、電源電圧は12Vであり、図８（ｂ）（ｃ）（ｄ）（ｅ）の左図は、それぞれ、シャッター速度（露光時間）50μsec、100μsec、250μsec、500μsecで撮影した全体画像（グレースケール）であり、右図はマーカ発光領域を含む領域を取り出して示す画像（グレースケール）である。

図９に屋内撮影に関する参考画像を示す。参考画像が意味するところは、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せたということである。したがって、実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。

図９（ａ）は撮影環境を示す画像であり、カメラから550cmはなれた位置にワンドを配置し、蛍光灯照明下（800[lx]）で日が落ちた夜間に屋外からの入射光無しの条件で撮影した。図９（ｂ）（ｃ）（ｄ）（ｅ）の左図は、それぞれ、シャッター速度（露光時間）50μsec、100μsec、250μsec、500μsecで撮影した全体画像（グレースケール化）であり、右図はマーカ発光領域を含む領域を取り出して示す画像（グレースケール）である。

実験結果からは、屋外の太陽光環境下に比べて、照度の低い屋内照明環境下の方が、各マーカの色がはっきりわかる。特に、露出時間50μsecでは、蛍光灯照明の場合で、マーカ認識に十分有効な画像が得られたが、太陽光下の屋外では、周囲が明るすぎるため必ずしも十分なマーカ発光領域を捉えることができなかった。これについては、マーカの輝度を上げる、センサーゲインを上げる、センサーの輝度テーブルを変える（センサー輝度値ごとに、画像上での輝度値を指定し、暗い画素は暗く、明るい画素は明るくするもの）等で対応可能である。

屋内撮影において、シャッター速度が遅い（露光時間が比較的長い、250μsec、500μsec）と、赤色マーカ発光領域と黄色マーカ発光領域の間、青色マーカ発光領域と緑色マーカ発光領域の間で、マーカ発光領域の中心の色の差が無くなる現象が観察された。このことは、画像処理によるマーカ位置の検出に悪影響を与え得る。上記現象は、周囲の環境より明るいマーカを長い露光時間（遅いシャッター速度）で撮影したために観察された現象であると考えられる。屋内撮影の場合は、露出時間を短くする（シャッター速度を速くする）ことでこれを回避することができる。実験結果からは、屋内撮影では、露光時間50μsecが、最も色の混同無くマーカを一意に識別できた。また、屋外撮影、屋内撮影共に、４色の中で、赤色マーカ発光領域及び青色マーカ発光領域の明度が、緑色マーカ発光領域、黄色マーカ発光領域に比べて高いことがわかった。したがって、キャリブレーションデバイスに２つの自発光マーカを設ける場合には、１つの態様では、自発光マーカの光源として赤色LED、青色LEDが採用される。

［Ｆ］複合カメラシステム
［Ｆ－１］複合カメラシステムを用いたモーションキャプチャ
本実施形態に係るキャリブレーションは、複合カメラシステムに適用することができる。図１５に示すように、複合カメラシステムは、第１カメラセットと第２カメラセットからなり、第１カメラセットは、第１のフレームレートを備えた１つあるいは複数の第１カメラからなり、第２カメラセットは、第１のフレームレートよりも高い第２のフレームレートを備えた１つあるいは複数の第２カメラからなる。本実施形態では、第１カメラセットは、複数のビデオカメラからなり、第２カメラセットは、複数の高速度カメラ（ハイスピードカメラ）からなる。本明細書では、フレームレートの異なる第１カメラと第２カメラにおいて、フレームレートが高いカメラをハイスピードカメラと称し、フレームレートが低いカメラをロースピードカメラと称する。一例では、ビデオカメラのフレームレートは125fpsであり、高速度カメラのフレームレートは1000fpsである。

ビデオカメラと高速度カメラの同期撮影の配置例について説明する。図１９は、ビデオカメラでゴルフスウィング動作全体を撮影し、そのうちのインパクトの瞬間を高速度カメラで撮影する複合カメラシステムを示す。複数台のビデオカメラLは、対象の全身が写るように画角とフォーカスを調整して配置する。ボール解析用のカメラ配置では、高速度カメラHの画角とフォーカスをボールに合わせて調整する。この複合カメラシステムを用いて、ビデオカメラ及びハイスピードカメラを用いたゴルフスウィング動作の計測が可能である。

カメラシステムは、高速度カメラとビデオカメラの撮影タイミングを同期させる同期制御部を備えており、高速度カメラにより取得された動画データはビデオカメラにより取得された動画データと同期している。具体的には、第１カメラセットの各第１カメラ（ビデオカメラ１～４）の撮影タイミングは同期しており、第２カメラセットの各第２カメラ（高速度カメラ１～４）の撮影タイミングは同期しており、さらに、第１カメラ（ビデオカメラ１～４）の撮影タイミングと第２カメラ（高速度カメラ１～４）の撮影タイミングは同期している。

第１カメラセットのビデオカメラ１～４によって撮影された画像の時系列データは、動画データ１～４として記憶部（メモリ）に格納される。動画データ１～４は同期している。第２カメラセットの高速度カメラ１～４によって撮影された画像の時系列データは、動画データ５～８として記憶部（メモリ）に格納される。動画データ５～８は同期している。動画データ１～８は同期している。第２カメラ（高速度カメラ）の周期の整数倍（図１７では８倍）が第１カメラ（ビデオカメラ）の周期となっており、また、第１カメラ（ビデオカメラ）のシャッター時刻が第２カメラ（高速度カメラ）のシャッター時刻と一致している。図１７に、ハイスピードカメラ（1000fps）とビデオカメラ（125fps）の同期を示す。

データ取得部は、第１カメラセットのビデオカメラ１～４から取得した画像データの時系列データを用いて３次元再構成することで、対象の動作データ（典型的に全身運動）を取得する。データ取得部は、第２カメラセットのビデオカメラ５～８から取得した画像データの時系列データを用いて事象データを取得する。

データ分析部には、動作データを用いて動作分析を行う動作分析部、事象データを用いて動作分析を行う事象分析部がある。動作分析部で事象データを用いてもよく、事象分析部で動作データを用いてもよい。

モーションキャプチャ・カメラシステムとデータ取得部とからモーションキャプチャシステムが構成される。動画データを格納する記憶部（メモリ）、データ取得部、データ分析部は、１つあるいは複数のコンピュータから構成することができる。コンピュータは、入力部、出力部、処理部（演算部）、記憶部を備えた汎用コンピュータであってもよい。モーションキャプチャ・カメラシステムは、さらに、ディスプレイを備えていてもよい。

本実施形態に係るモーションキャプチャ・カメラシステムは、高速度カメラ系と低速カメラ系が混在する複合カメラ系において、同期計測を行うことによって、モーションキャプチャと高速運動の計測を複合した計測を可能にする。本実施形態は、ビデオカメラと高速度カメラを同期させた複合カメラシステムを採用することで、マーカーレスモーションキャプチャシステムにおいて、高速度カメラを活用した計測・解析システムを提供する。

［Ｆ－２］同期制御部
ビデオカメラと高速度カメラの撮影タイミングの同期は、同期制御部（同期信号生成器）によって行われる。同期制御部は、同期撮影のための同期信号及び録画トリガー信号を生成する。ビデオカメラ用の同期信号は、高速度カメラの露光開始と一致するように生成され、録画トリガー信号は、ビデオカメラの露光開始と一致するように生成される。トリガー信号が同期制御部から高速度カメラに出力されると、高速度カメラは、トリガー信号の入力に応じて、トリガー信号前後のあらかじめ指定した時間の動画データを取得する（図１８参照）。高速度カメラの動画データとビデオカメラの動画データを組み合わせるために、トリガー信号（高速度カメラの撮影の指示）が与えられると、トリガー信号の入力時のフレーム（トリガーフレーム）から一定時間遡った時刻から高速度カメラがある設定時間の計測を行う。このときビデオカメラは既に計測を開始しており、その後も継続して計測を続ける。また、同時計測時間帯においてビデオカメラと高速度カメラは完全に同期している。すなわち、高速度カメラの周期の整数倍がビデオカメラの周期となるように同期信号が生成され、また、ビデオカメラのシャッター時刻と高速度カメラのシャッター時刻が一致するようにトリガー信号が生成されて、カメラ群が制御される。トリガーフレームで、高速度カメラとビデオカメラの録画タイミングを合わせる。

図１６を参照しつつ、本実施形態に係る同期制御部（同期信号生成器）について説明する。同期制御部は、マイクロコントローラユニット(MCU)と、同期信号生成部と、トリガー信号生成部と、を備えている。マイクロコントローラユニット(MCU)は、コンピュータとの間で通信可能であり、コンピュータからのコマンド応答や同期信号生成部へのコマンド送信（中継）を行う通信部として機能する。同期信号生成部は、ビデオカメラ用の第１同期信号、高速度カメラ用の第２同期信号を生成し、第１同期信号を各ビデオカメラに出力し、第２同期信号を各高速度カメラに出力する。トリガー信号生成部は、トリガー信号を生成し、各高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガー記録部として機能する。

同期信号生成部は、すべてのカメラで露光タイミングを一致させるための同期信号（パルス同期信号）を生成し、各カメラに出力する。同期信号生成部は、外部同期信号やクロックの入力に応じて、ビデオカメラ用の第１同期信号、高速度カメラ用の第２同期信号を生成し、第１同期信号を各ビデオカメラに出力し、第２同期信号を各高速度カメラに出力する。同期信号生成部は、高速度カメラ用の第２同期信号を間引いて、ビデオカメラ用の第１同期信号を生成する。例えば、高速度カメラが1000fps（１周期1msec）、ビデオカメラが50fps(１周期20msec)で録画するときは、高速度カメラ用の第２同期信号を1/20に間引いて、ビデオカメラ用の第１同期信号として出力する。高速度カメラの20フレームのパルスにつき、ビデオカメラの1フレームのパルスが生成される。

トリガー信号生成部は、ビデオカメラ用の同期信号に合わせて高速度カメラにトリガー信号（トリガーパルス）を出力する。トリガー信号生成部は、任意のタイミングで外部トリガー信号入力を検出すると、ビデオカメラ用の第１同期信号の立ち上がりないし立ち下りと一致するようにトリガー信号を生成し、トリガー信号を高速度カメラに出力する。マイクロコントローラユニット(MCU)は、トリガーフレーム（トリガー信号が入ったフレーム）の記録を行う。トリガーフレームによる露光タイミングと一致するビデオカメラのフレーム番号を、ビデオカメラのトリガーフレームとして記録する。

［Ｆ－３］キャリブレーション
第１カメラセットにおいて、ビデオカメラ１～４の各フレームのカメラ画像を３次元再構成するためのカメラパラメータ（内部パラメータ、外部パラメータ）が事前に取得される。第２カメラセットにおいて、高速度カメラ１～４の各フレームのカメラ画像を３次元再構成するためのカメラパラメータ（内部パラメータ、外部パラメータ）が事前に取得される。

自発光マーカを備えたワンドをモーションキャプチャ空間に亘って移動させながら、第１カメラセットのビデオカメラ１～４、及び、第２カメラセットの高速度カメラ１～４で、撮影タイミング（シャッターを切る制御信号の立ち上がり時刻）を一致させて撮影する。この時の露光時間は、モーションキャプチャ時の各カメラの露光時間よりも十分に短い。同期撮影は、同期制御部によって撮影タイミングを一致させることで行われる。キャリブレーション時の撮影において、両カメラ系のフレームレートを一致させてもよい。各キャリブレーション用画像において、画像処理によってマーカ位置を検出し、検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する。自発光マーカを備えたキャリブレーションワンドや露光時間の詳細について、既述の記載を援用することができる。

［Ｇ］複数露光時間を用いた映像撮影とキャリブレーション用画像の同時撮影
自発光型のキャリブレーションデバイスを用いたキャリブレーションの特徴は、カメラで画像を撮影する際に、露光時間を短くすることで、画像中のマーカ発光領域を背景画像から分離し、容易なマーカ検出を実現することにある。しかしながら、キャリブレーション中は、通常の映像撮影時より短い露光時間がカメラに適用されるため、通常の映像撮影は中断する必要がある。また、キャリブレーション中に取得した画像は、キャリブレーション以外に用いることができない。本実施形態では、露光時間を混在させて撮影を行い、奇数フレームと偶数フレームで画像の用途を分ける。本実施形態に係る撮影方法では、キャリブレーション中に、通常の映像撮影など他の作業を同時に実行することが可能である。キャリブレーションと通常の映像撮影が互いに妨げることがないので、いずれか一方を中断する必要もない。

図１０に示すように、本実施形態に係る撮影方法は、所定位置に配置した複数のカメラで第１の露光時間（第２の露光時間よりも十分に長い）で対象を同時に撮影して第１の画像を取得する第１撮影と、所定位置に配置した複数のカメラで第１の露光時間よりも短い第２の露光時間で発光するマーカを備えたキャリブレーションデバイスを同時に撮影することで、マーカの発光領域が強調された暗い背景の第２の画像を取得する第２撮影と、を交互に繰り返すものである。第１撮影が繰り返されることで、第１画像の時系列データである第１画像セットが得られ、第１画像セットはコンピュータの記憶部に記憶される。第２撮影が繰り返されることで、第２画像の時系列データである第２画像セットが得られ、第２画像セットはコンピュータの記憶部に記憶される。第２画像セットは、カメラのキャリブレーション用の画像である。

複数のカメラの撮影対象には、自発光マーカを備えたキャリブレーションデバイスと、自発光マーカを備えたキャリブレーションデバイス以外の対象が含まれている。第２の画像は、マーカの発光領域が強調された暗い背景であり、マーカ発光領域以外の暗い背景には、キャリブレーションデバイスの基体及び自発光マーカを備えたキャリブレーションデバイス以外の対象が含まれる。第２画像セットは、キャリブレーション用画像であり、各キャリブレーション用画像において、画像処理によってマーカ位置を検出し、検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する。

第１の画像の対象は限定されず、第１の画像の用途によって異なり得る。１つの態様では、第１の画像中の対象は人体である。１つの態様では、第１の画像中の対象は他のキャリブレーションデバイスである。第１画像セットの用途は限定されない。１つの態様では、第１画像中の対象は人体であり、第１画像セット（第１の画像の時系列データ）には人体の動作情報が含まれている。１つの態様では、第１画像中の対象は他のキャリブレーションデバイス（例えば、ARマーカ、チェッカーボード）であり、第１画像セットの各第１画像セットから特徴点を検出して、第２のキャリブレーションを実行する。第１画像の取得時には、自発光マーカを消灯状態としてもよい。

本実施形態に係る撮影方法では、各カメラにおいて、同じ画角からキャリブレーション用画像とカラー画像を同時進行で（並行して）撮影する（図１３参照）。図１３において、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せている。実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。１つの態様では、映像データの撮影を主とした場合、サブフレームでキャリブレーションデータを撮影する

第１の露光時間と第２の露光時間の切り替え手法について説明する。本実施形態では、通常撮影用の第１の露光時間と、キャリブレーション用の第２の露光時間と、をフレームごとに切り替える。具体的には、以下の２通りの手法方法が考えられる。
１）長短２種類のパルス幅を持つ露光信号を、交互にカメラに入力する。
２）カメラの持つ機能を使って、露光時間をフレーム単位で切り替える。

図１１を参照しつつ、２種類のパルス幅を持つ露光信号を用いる手法について説明する。以下の条件で撮影する場合を考える。
キャリブレーション用の撮影に100usの露光時間（第２の露光時間）、通常撮影に10ms(10,000us)の露光時間（第１の露光時間）を適用する。キャリブレーション用の撮影、通常撮影ともに、毎秒10フレーム（10FPS, T=100ms）で撮影する。カメラへの露光開始信号（クロックの立上り）と同時に、信号のパルス幅(時間)だけイメージセンサーにレンズから入った光を露光する。外部のカメラや機器と同期する場合は、露光信号は同期信号と同義である。

カメラの奇数番目のフレームでは、第１の露光信号に基づく第１の露光時間（長い露光時間）で通常撮影画像が撮影される。カメラの偶数番目のフレームでは、第２の露光信号に基づく第２の露光時間（短い露光時間）でキャリブレーション用の画像（CAL画像）が撮影される。カメラのフレームレートは、キャリブレーション用の撮影のフレームレート、通常撮影のフレームレートの２倍（上の例では20fps）になる。撮影可能な最大フレームレートは、カメラスペック上の最大フレームレートの1/2になる。

CAL画像は、通常撮影画像に対して1/2Tだけ露光タイミングがずれるが、CAL画像の用途はキャリブレーションに限定されるため、キャリブレーションの対象となるすべてのカメラが第２の露光信号で同期していれば問題ない。CAL画像はすべてのカメラで同一タイミングで露光・撮影していればよく、通常撮影画像との時刻のズレは問題にならない。映像データの撮影を主とした場合、サブフレームでキャリブレーションデータを撮影する。

図１２を参照しつつ、露光時間をフレーム単位で切り替える手法について説明する。以下の条件で撮影する場合を考えるキャリブレーション用の撮影に100usの露光時間（第２の露光時間）、通常撮影に10ms(10,000us)の露光時間（第１の露光時間）を適用する。キャリブレーション用の撮影、通常撮影ともに、毎秒10フレーム（10FPS）撮影する。カメラに露光開始信号（クロックの立上り）が入力されるたびに、設定された露光時間だけイメージセンサーにレンズから入った光を露光する。カメラが露光信号クロックの立下りを検出すると、カメラの機構により、露光時間の設定100usと10msとの間で交互に切り替わる。外部のカメラや機器と同期する場合は、露光信号は同期信号と同義である。

カメラの奇数番目のフレームでは、第１の露光時間（長い露光時間）で通常撮影画像が撮影される。カメラの偶数番目のフレームでは、第２の露光時間（短い露光時間）でキャリブレーション用の画像（CAL画像）が撮影される。カメラのフレームレートは、キャリブレーション用の撮影のフレームレート、通常撮影のフレームレートの2倍（上の例では20fps）になる。撮影可能な最大フレームレートは、カメラスペック上の最大フレームレートの1/2になる。CAL画像は、通常撮影画像に対して1/2Tだけ露光タイミングがずれるが、CAL画像の用途はキャリブレーションに限定されるため、キャリブレーションの対象となるすべてのカメラが露光信号で同期し、かつ各フレームで露光時間が一致していれば問題ない。CAL画像はすべてのカメラで同一タイミングで露光・撮影していればよく、通常撮影画像との時刻のズレは問題にならない。映像データの撮影を主とした場合、サブフレームでキャリブレーションデータを撮影する。

Basler acA1920-155uc の”シーケンサ”機能を使い、露光信号が入力されるたびに露光時間をハードウェア的に切り替えて実施した。カメラのフレームレートは50fpsで撮影した。このとき、CAL画像、通常撮影画像のフレームレートはそれぞれ25fpsになる。図１４において、左側はCAL画像フレーム（偶数フレームNo.）の第２の画像の参考図、右側は通常撮影画像フレーム（奇数フレームNo.）の第１の画像の参考図を表示している。参考画像が意味するところは、原画像はカラー画像であるが、特許出願の図面にはカラー画像を用いることが認められていないため、カラー画像をグレースケール化した画像を参考画像として載せたということである。したがって、実際の画像では、マーカ発光領域の画素は、赤色、緑色、青色、黄色に対応する画素値を備えていること、及び、原画像をグレースケール化したことで、マーカ発光領域が判り難くなっていることに留意されたい。CAL画像フレームと通常撮影画像フレームは、１フレーム時間だけズレがある。自発光マーカを、CAL画像フレーム中のみ点灯、通常撮影画像は消灯するように点滅させると、通常撮影画像上でマーカが目立たなくなるであろう。

自発光マーカを用いたキャリブレーションは、他のキャリブレーション手法と比較して、特別な装置を用いることなく、単にカメラの露光時間を短くするだけでマーカ検出が可能であるという優位点がある。２つの異なる露光時間を混在した撮影方法において、第２の露光時間を用いた第２撮影で取得された第２画像セットは、キャリブレーションに用いられ、第１の露光時間を用いた第１撮影で取得された第１画像ないし第１画像セットは、キャリブレーション以外の目的（例えば、モーションキャプチャ）で使用され、あるいは、キャリブレーションの補助を目的として使用され得る。２つの異なる露光時間を混在した撮影方法を採用することで、キャリブレーションの効率化を図ることができる。キャリブレーションは撮影・計測の準備において時間を要する作業工程であるが、キャリブレーション用の第２撮影と他の第１撮影を並行して行うことで、キャリブレーションの効率化が期待できる。キャリブレーション時には、キャリブレーションワンドを、キャプチャボリューム全体をカバーするように振りながら撮影するが、その過程でワンドの振りが不十分な領域が生じる場合があり、この場合、ワンド操作が不十分な領域を操作者に伝える必要がある。この時、第２撮影で取得された第２画像において、マーカ以外の要素は見えづらいため、第２画像に基づいてワンド操作が不十分な領域を指定して操作者に伝えることは困難である。第１画像と第２画像をほぼ同時刻に撮影することで、第１撮影により取得された第１画像に基づいて具体的な絶対位置でワンド操作が不十分な領域を操作者に伝えることができ、また、第２画像中にノイズ（マーカ以外の発光領域）があれば、第１画像に基づいてノイズの原因となった要素を排除することができる。また、第１撮影と第２撮影を組み合わせた撮影を、対象のモーションキャプチャに適用して、第１画像セットを用いて対象のモーションキャプチャを実行する時に、視野の端の方にキャリブレーションデバイスを配しておけば、撮影中にカメラを誤って動かしてしまったような場合に、撮影を中断せずに、第２画像セットを用いて再キャリブレーションを並行して実施することができる。また、キャリブレーション時に、第１画像セットを用いて、自発光ワンドを用いたキャリブレーションと、何らかの画像特徴量を用いたキャリブレーション（ARマーカ、チェッカーボード等）を並行して実施してもよい。

Claims (33)

1. １つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを用いたカメラのキャリブレーション方法であって、
   複数のカメラの各カメラの露光時間を、マーカ発光領域が強調された暗い背景の画像を取得するような露光時間に設定し、各カメラで前記キャリブレーションデバイスを、前記設定した露光時間で同時に撮影することで、マーカ発光領域が強調された暗い背景の画像を取得し、
   各画像において、画像処理によってマーカ位置を検出し、
   検出したマーカ位置を用いた最適化計算によって、各カメラのカメラパラメータを計算する、
   キャリブレーション方法。
2. 前記露光時間は、キャリブレーションに続いて、キャリブレーションされたカメラによって対象を撮影する時の露光時間よりも短い、
   請求項１のキャリブレーション方法。
3. 前記露光時間は、5msec以下である、
   請求項１、２いずれか１項に記載のキャリブレーション方法。
4. 前記露光時間は、250μsec以下である、
   請求項３に記載のキャリブレーション方法。
5. 前記露光時間は、100μsec以下である、請求項４に記載のキャリブレーション方法。
6. 前記自発光マーカは、高輝度のハイパワーLEDを光源としている、
   請求項１～５いずれか１項に記載のキャリブレーション方法。
7. 前記自発光マーカは、前記ハイパワーLEDと、当該ハイパワーLEDを覆う拡散カバーと、からなる、
   請求項６に記載のキャリブレーション方法。
8. 前記キャリブレーションデバイスは、複数の自発光マーカを備えており、
   画像処理によるマーカ位置検出時に、各自発光マーカが識別可能である、
   請求項１～７いずれか１項に記載のキャリブレーション方法。
9. 前記画像はカラー画像であり、
   前記複数の自発光マーカは、画像処理で識別可能な異なる色を備えている、
   請求項８に記載のキャリブレーション方法。
10. 前記自発光マーカは、撮影タイミング及び露光時間に合わせて発光する、
    請求項１～９いずれか１項に記載のキャリブレーション方法。
11. 前記複数のカメラは、フレームレートの異なるカメラを含み、
    同じ撮影タイミング及び露光時間で前記キャリブレーションデバイスを撮影するようになっている、
    請求項１～１０いずれか１項に記載のキャリブレーション方法。
12. 前記キャリブレーションデバイスの撮影は、屋外太陽光環境下、屋内太陽光環境下、屋内照明環境下、屋外照明環境下から選択されたいずれか１つの環境下で行われる、
    請求項１～１１いずれか１項に記載のキャリブレーション方法。
13. １つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを撮影空間に用意すること、
    所定位置に配置したカメラの露光時間を、マーカ発光領域が強調された暗い背景の画像を取得するような露光時間に設定すること、
    前記カメラで前記キャリブレーションデバイスを、前記設定した露光時間で撮影することで、マーカ発光領域が強調された暗い背景の画像を取得すること、
    を含む撮影方法。
14. 前記露光時間は、5msec以下である、
    請求項１３に記載の撮影方法。
15. 前記露光時間は、250μsec以下である、
    請求項１４に記載の撮影方法。
16. 前記露光時間は、100μsec以下である、請求項１５に記載の撮影方法。
17. 前記自発光マーカは、高輝度のハイパワーLEDを光源としている、
    請求項１３～１６いずれか１項に記載の撮影方法。
18. 前記キャリブレーションデバイスの撮影は、屋外太陽光環境下、屋内太陽光環境下、屋内照明環境下、屋外照明環境下から選択されたいずれか１つの環境下で行われる、
    請求項１３～１７いずれか１項に記載の撮影方法。
19. 前記キャリブレーションデバイスを撮影空間に用意することは、
    前記キャリブレーションデバイスを撮影空間内で空中移動可能に用意することを含む、
    請求項１３～１８いずれか１項に記載の撮影方法。
20. 前記キャリブレーションデバイスは、人による遠隔操作によって、または予め設定された空間軌道にしたがって自動的に空間を移動するドローンに装着されているドローンに装着されている、
    請求項１９に記載の撮影方法。
21. １つあるいは複数の自発光マーカを備えたキャリブレーションデバイスを撮影空間に用意し、
    所定位置に配置したカメラで第１の露光時間で対象を撮影して第１の画像を取得する第１撮影と、
    所定位置に配置した前記カメラで第１の露光時間よりも短い第２の露光時間で前記キャリブレーションデバイスを撮影することで、マーカの発光領域が強調された暗い背景の第２の画像を取得する第２撮影と、
    を交互に繰り返して、第１画像セットと、カメラのキャリブレーション用の第２画像セットと、を取得する、
    撮影方法。
22. １フレーム毎に、露光時間を前記第１の露光時間と前記第２の露光時間との間で切り替える、
    請求項２０に記載の撮影方法。
23. 第１のパルス幅を備えた第１露光信号と、第２のパルス幅を備えた第２露光信号を、交互にカメラに入力する、
    請求項２１、２２いずれか１項に記載の撮影方法。
24. 露光開始信号の入力に応じて、カメラ側において、露光信号の設定が第１の露光時間と第２の露光時間との間で切り替わる、
    請求項２１、２２いずれか１項に記載の撮影方法。
25. 前記第２の露光時間は、5msec以下である、
    請求項２１～２４いずれか１項に記載の撮影方法。
26. 前記第２の露光時間は、250μsec以下である、
    請求項２５に記載の撮影方法。
27. 前記第２の露光時間は、100μsec以下である、請求項２６に記載の撮影方法。
28. 前記自発光マーカは、高輝度のハイパワーLEDを光源としている、
    請求項２１～２７いずれか１項に記載の撮影方法。
29. 前記第１撮影及び前記第２撮影は、屋外太陽光環境下、屋内太陽光環境下、屋内照明環境下、屋外照明環境下から選択されたいずれか１つの環境下で行われる、
    請求項２１～２８いずれか１項に記載の撮影方法。
30. 基体と、
    基体に設けられた１つあるいは複数の自発光マーカと、
    からなり、
    前記自発光マーカは、光源としてのハイパワーLEDと、当該ハイパワーLEDを覆う略球形状の拡散カバーと、からなる、
    キャリブレーションデバイス。
31. 前記基体は、前記ハイパワーLEDから生成される熱を放熱するヒートシンクを備えている、
    請求項３０に記載のキャリブレーションデバイス。
32. 前記自発光マーカは、前記基体の部分に対して軸部を介して設けてあり、
    前記ヒートシンクは、前記軸部からなる、
    請求項３１に記載のキャリブレーションデバイス。
33. 前記複数の自発光マーカの発光色は、異なる色である、
    請求項３０～３２いずれか１項に記載のキャリブレーションデバイス。

Images