JP2022011740A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】リアルタイムのキャリブレーションを実現する。【解決手段】情報処理装置１は、処理回路１０を備える。処理回路１０は、撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザー１６が射出する照射光に基づいた、前記レーザー１６と前記ターゲットまでの距離と、前記撮像装置が取得した撮像画像における前記照射光の位置と、に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

ビジョンセンシング向けのカメラにおいて、カメラごとのばらつきを補正するために高精度なキャリブレーションを実行する必要がある。キャリブレーションの直後には、カメラは、よい性能を発揮するが、使用していると、温度、湿度等の周囲の環境や衝撃等により、カメラの特性が変動し、性能が劣化することがある。このため、実使用時には、観測精度を落として特性変化を許容するか、又は、利用時においてキャリブレーションをしながら動作をさせるという方法がとられている。

従来、利用中にキャリブレーションをする手段として、専用のチャートを撮影してカメラ画像を取得して、画像差分から移動量等を推定してパラメータを最適化する方法がとられることがあった。この手法は、専用治具及びこの治具を用いた撮影等が必要となり、手間がかかる。また、撮影条件の安定化のノウハウが必要であること、使用する直前に計測をする必要があることも課題となる。別の手段として、当該カメラにおいて大量に画像を取得して最適化する方法があるが、計算コストが高くなる。モバイル端末のような環境でリアルタイムにこの計算を実行することは困難であるし、補正後の精度を検証することも難しいため、比較的誤差が大きくなってしまう。

特開2019-074535号公報 特開2018-185203号公報

そこで、本開示では、レーザーを用いた距離計と、このレーザーの照射点を所定範囲において取得可能な事前にキャリブレーションがされているカメラと、距離を計測する距離計とを備えることにより、カメラの特性変化をリアルタイムに計測、補正することが可能な情報処理装置を提供する。

一実施形態によれば、情報処理装置は、処理回路を備える。処理回路は、撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、前記撮像装置が取得した撮像画像における前記照射光の位置と、に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する。

前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出されてもよい。

前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられてもよい。

前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得してもよい。

前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得してもよい。

前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得してもよい。

前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得してもよい。

前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得してもよい。

前記情報処理装置は、エッジデバイスに搭載されてもよい。

前記エッジデバイスは、ヘッドマウントディスプレイであってもよい。

前記エッジデバイスは、眼鏡型のウェアラブルデバイスであってもよい。

前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部を備えてもよい。

一実施形態によれば、情報処理方法は、上記のいずれかに記載の情報処理を実行する。

一実施形態によれば、プログラムは、上記のいずれかに記載の情報処理を、ハードウェア資源を用いて具体的に実現する。

一実施形態に係る情報処理装置を模式的に示す図。 一実施形態に係るレーザー距離測定の補正について示す図。 一実施形態に係る倍率変動の検出について模式的に示す図。 一実施形態に係る光軸の角度ずれの一例を模式的に示す図。 図4の場合にカメラにより撮影される一例を示す図。 一実施形態に係る光軸周りの回転ずれの一例を模式的に示す図。 一実施形態に係る複合的なずれの一例を模式的に示す図。 一実施形態に係る光軸の平行ずれの一例を模式的に示す図。 一実施形態に係る処理を示すフローチャート。 一実施形態に係る前処理を示すフローチャート。 一実施形態に係る倍率変動に関する処理を示すフローチャート。 一実施形態に係る角度ずれに関する処理を示すフローチャート。 一実施形態に係る回転ずれに関する処理を示すフローチャート。 一実施形態に係る情報処理装置の利用例を示すブロック図。

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

図1は、一実施形態に係る情報処理装置と接続される撮像部を模式的に示す図である。情報処理装置1は、例えば、処理回路10と、記憶部12と、を備える。そして、情報処理装置1は、カメラ14と、レーザー16とを備える点線で示される撮像装置と接続される。図1に示すように、情報処理装置1が撮像装置を含むものであってもよいし、情報処理装置1が撮像装置とは別の装置として存在していてもよい。本開示においては、情報処理装置1が撮像装置を備えるものとして説明するが、これに限定されるものではなく、情報処理装置1と撮像装置が各種バス等を介して接続される別個の個体である場合にも、同様に適用することができる。

カメラ14（撮像装置）は、例えば、情報処理装置1の1つの面1a（基準面）においてレンズ等の撮像系が備えられ、この面1aから外部の映像、画像等（以下、映像等と記載する）を取得する。カメラ14は、例えば、光学系と、受光素子と、カメラ用信号処理部と、を備える。受光素子は、外部から光学系を介した光を受光し、アナログ信号へと変換する。カメラ用信号処理部は、このアナログ信号を画像信号であるデジタル信号へと変換し、必要であればさらにレンズ歪み補正等の画像処理を実行して、処理回路10へと出力する。図1においては、カメラ14は、1つしか備えられていないが、複数備えられてもよい。カメラ14を2つ以上備えることにより、ステレオ映像等の信号処理を実行してもよい。例えば、後述する処理は、複数のカメラ14ごとに実行されてもよく、出力するタイミングでステレオ映像等に変換されてもよい。

レーザー16は、距離測定用の光源である。レーザー16は、例えば、LD（Laser Diode）を備える発光素子であり、人間の目に多大な影響を与えない程度の強度を有するものであってもよい。さらに、レーザー16は、可視光外の領域である赤外光を射出する発光素子を備えていてもよい。これらの光源は、カメラ14によって、射出した光の情報が取得できるものであればよい。本開示におけるレーザー16は、時間的、空間的なコヒーレント性を必ずしも有していなくてもよいので、レーザー16の代わりに、指向性があり、ビーム径の広がりをある程度抑制したLED（Light Emitting Diode）等の光源であってもよい。

このように、本開示におけるレーザー16とは、技術的に一般的であるコヒーレント性を有している光を射出するデバイスではなく、当業者ではない人間が一般的にレーザーであると理解するかもしれないコヒーレント性を有しない一方で指向性のある光を射出するデバイスであってもよい。コヒーレント性を有しない光を射出するデバイスを用いることにより、ユーザの安全性をより高めた構成とすることができる。このレーザー16は、距離測定用のレーザーであり、基準距離以上の所定距離においてカメラ14の画角内にこのレーザー16の光線が入るように備えられる。すなわち、コヒーレント性を有しなくても、測距に適しているデバイスを用いることができる。

例えば、基準距離とは、情報処理装置1がヘッドマウントディスプレイ等のエッジデバイスに搭載される場合には、10cm等の距離であるが、5cmといったさらに短い距離であってもよいし、50cm、1mといったさらに長い距離であってもよい。所定距離は、この基準距離以上の距離であれば、一意的に決定されるものではなく、情報処理装置1が利用される環境によりリアルタイムに変化する距離である。本開示において、特に断りがない限り、所定距離とは、レーザー16と対応するセンサにより適切に測距できるターゲットとの距離であり、カメラ14によりターゲットに投影されたレーザー16の像が適切に映像等で取得できる距離である。すなわち、本開示における所定距離とは、一意的に決定される距離ではなく、情報処理装置1の使用状況に基づきリアルタイムに変化する距離であってもよい。

レーザー16は、面1aからレーザーを射出するように配置される。例えば、レーザー16は、2つ備えられ、双方から射出されたレーザーがカメラ14の画角内におさまるように配置される。また、後述する処理の精度を向上するために、所定距離のターゲットに投影されるレーザー16のカメラ14により撮影される像が、映像等内においてなるべく遠くに位置するように複数のレーザー16が備えられてもよい。

図示しないがそれぞれのレーザー16には、反射光を取得するためのセンサと測距回路が併せて備えられる。例えば、レーザー16が光を射出するタイミングと、センサが反射光を受光するタイミングとに基づいて、測距回路がターゲットとの距離を測定する。センサは、カメラ14に搭載されていてもよい。測定結果は、例えば、記憶部12へと送信される。なお、時間データだけを送信し、距離測定は、処理回路10が実行してもよい。すなわち、測距回路は、処理回路10の一部として動作するものであってもよい。

カメラ14が複数備えられる場合には、2つのレーザー16の光線がそれぞれのカメラ14の画角内に収まるように配置される。このレーザー16の光線の一部又は全部を全てのカメラ14において共有する必要はなく、例えば、各カメラ14に対して、その光線が所定の距離以上において画角内に収まる少なくとも2つのレーザー16が備えられていればよい。例えば、ステレオカメラの構成である場合、2つのカメラ14に対して2つのレーザー16が備えられ、所定距離において、双方のカメラ14の画角に双方のレーザー16の光線が存在するように配置することができる。

例えば、工場出荷時においてカメラ14とレーザー16は、情報処理装置1に固定された状態で配置される。そして、工場出荷時において、カメラ14のレンズ歪パラメータ、内部パラメータ、外部パラメータが取得され、及び、レーザー16の位置、姿勢が取得され、レーザー16による測距精度のキャリブレーションは、実行されているものとする。ここで、カメラ14の外部パラメータは、ワールド座標系において基準の位置と姿勢からのパラメータとして取得される。レーザー16の位置、姿勢は、カメラ14が外部パラメータを取得する基準位置、基準姿勢と同じ、基準位置、基準姿勢を用いて計測する。

また、カメラ14の光軸と、レーザー16の射出方向の平行化があらかじめ実行されていてもよい。筐体の状態により平行ではない場合には、平行であるとみなした計算が実行できるように、光軸と光線の平行化を実行するパラメータ等があらかじめ計算されていてもよい。

レーザー16における測距精度は、上記するように、工場出荷時にキャリブレーションされた上で、さらに、使用時に誤差を抑制する補正をしてもよい。例えば、レーザー16の姿勢は、筐体の温度変化により変動する。この温度変化による変動をあらかじめ計測しておき、使用時に温度情報に基づいて補正をしてもよい。補正をする場合には、補正用のテーブルを情報処理装置1の記憶部12に記憶させておき、このテーブルに基づいて補正をしてもよい。

本実施形態における情報処理装置1においては、カメラ14の光学系のレンズ歪み、カメラ14とレーザー16の位置、姿勢の状態は、既知である。また、上記したように、基準距離以上の所定距離で少なくとも2つのレーザー16の光線がカメラ14の画角内に入るように配置されている。また、上記の工場出荷時のキャリブレーション情報は、記憶部12に格納される。

処理回路10は、カメラ14により撮影された画像内のレーザー16の光線の位置に基づいて、キャリブレーションを実行する。カメラ14は、基本的には可視光像を取得するセンサを備えるが、これ以外の形態であってもよい。例えば、レーザー16を赤外光とし、カメラ14によりこの赤外光を取得してもよい。また、紫外光を用いる構成としてもよい。

記憶部12は、処理回路10の処理に必要となるデータ等を格納する。記憶部12は、例えば、一時的／非一時的なメモリ、ストレージ等、例えば、ROM（Read Only Memory）、RAM（Random Access Memory）等を必要に応じて備える。記憶部12は、図示しない入出力インタフェースを介した外部に存在していてもよい。処理回路10がソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現されるように動作をする場合、記憶部12は、この処理回路10の動作を行うためのプログラム又はプログラムに準ずるものを格納してもよい。

記憶部12は、例えば、カメラ14、それぞれのレーザー16の設置位置、設置角度等の情報、また、工場出荷時にキャリブレーションにより取得された内部パラメータ、外部パラメータ、その他の処理に必要となる各種パラメータ等を格納する。処理回路10は、必要に応じて、これらのデータを読み出して処理を実行する。これらのデータは、基本的な処理に必要となるデータであるので、例えば、ROM等に格納されていてもよい。

以下、より具体的なキャリブレーションの手法について説明する。例えば、以下の説明の処理は、必要なデータを記憶部12に格納し、又は、リアルタイムにデータを受信し、当該データに基づいて処理回路10が実行する。説明の関係上、あるカメラ14に対するレーザー16のレーザー16a、14bとし、カメラ14が撮影した画像内のそれぞれのレーザーから射出した光の位置を位置Pa、Pb、レーザーにより測距されたターゲットからそれぞれのレーザーまでの距離をLa、Lbとする。カメラ14により、例えば、壁をターゲットTとしてレーザー16から射出された光線のターゲットにおける位置を画像として取得する。

以下の各補正の説明においては、事前にカメラ14の既知のパラメータを用いて、画像における歪み補正が実行されているものとする。

（レーザーの姿勢の補正）
図2は、レーザー16とカメラ14の光軸とが平行ではない場合の様子を示す図である。この図2は、レーザー16の位置とターゲットの位置を示すものである。カメラ14の光軸を平面視する、すなわち、カメラ14の光軸に対して上から見下ろしている図である。この図において、光軸は、ターゲットTに対して垂直であるとするが、これには限られない。レーザー光の補正と同様の方法により、カメラ14の光軸方向も補正して処理を実行することが可能である。なお、以下の説明においては、同じ状況で説明するものがあるが、特に注意のない限り説明は繰り返さないことに留意されたい。

点Paから射出した光は、ターゲットに対して入射角θを有して、すなわち、カメラ14の光軸に対してθの誤差を有して入射される。この場合、レーザー16aによる距離の計測結果は、La’である。この場合の正しい点PaとターゲットTの距離Laは、図に示すように、

と表すことができる。

この結果を、必要に応じて用いることが可能である。例えば、工場出荷時において、カメラ14の光軸と、それぞれのレーザー16の射出方向との角度が計測されていれば、この計測された角度を用いて射出点とターゲットとの距離を補正することが可能である。温度、湿度等の環境により変化しうる場合には、上述したように、例えば、姿勢に関するテーブルを参照することにより、θを取得し、距離を補正することが可能となる。

（倍率変動の補正）
図3は、一実施形態に係る倍率の説明のための図である。図において、破線はカメラ14の画角、すなわち、画像を取得する領域を示す。PCは、カメラ14のレンズ系の焦点の位置を示す。この焦点の位置は、例えば、レーザー16の射出点Pa、Pbと、ターゲットTから同じ距離離れていると仮定してもよい。一点鎖線はPCからカメラ14の光軸方向を示す。点線がターゲットTに照射されるレーザー16の点と、PCとをつなぐ線分を示す。

カメラ14は、点PCから焦点距離fの位置にイメージャIがあるものとする。この焦点距離fは、上述した内部パラメータに含まれるものであるので、既知である。また、カメラ14の光軸は、イメージャIの中心の点を通るものとする。中心の点を通る以外の場合においても、カメラ14の内部パラメータを用いてオフセットを定義することにより同様に処理することが可能である。

また、ターゲットTと、理想的に点PC、点Pa、Pbが存在する直線は、平行であるとしてもよい。これは、周辺環境の補正を実行して、レーザー16a、14bにより測定するターゲットまでの距離La、Lbが等しくなる姿勢をとることにより実現可能である。この等しくなる距離をLとおく。

イメージャの面におけるレーザー16a、14bの像の距離をlab、ターゲットTにおけるレーザー16a、14bの照射されている点の距離をDabとおく。

カメラ14の倍率の変化は、このあらかじめ求められている焦点距離fと、実際の焦点距離f’との比により算出することが可能である。

三角形の相似関係により、以下の式が成り立つ。

変形すると、

が得られる。この式から、イメージャ面におけるレーザー光の距離を測定できる。倍率の変動がある場合、このイメージャ面におけるレーザー光の距離がlab’に変更したとすると、以下の式が成り立つ。

この式から、倍率の変動が以下のように取得できる。

ここで、fは既知であり、labはDabが既知であり、測定したLから(3)式により算出でき、lab’は実際に取得された画像のピクセル間の距離と、実際に求められたLとに基づいて、(3)式から算出することができる。このため、(5)式により、倍率が変動した後の焦点距離f’を算出することができる。このf’に基づいて、倍率を補正することができる。

なお、レンズの角度ずれが発生している場合、倍率に誤差が生じるが、通常は無視できる範囲の誤差に収まる。

（カメラの角度ずれ補正）
図4は、一実施形態に係るカメラ14の角度ずれを説明するための図である。レーザー16がターゲットTに照射される場合、カメラ14は、この照射された点を画像として取得する。この点は、例えば、ずれがない場合に、イメージャIにおいて点Aとして取得される。カメラ14の角度がずれた場合、イメージャIにおいて、点A’として取得される。

図5は、図4の状況において、カメラ14により取得された画像の一例である。角度ずれがない場合のAの位置と、角度ずれがある場合のA’の位置を同じ画像として示すものである。図5に示すように、カメラ14は、例えば、図面において水平方向にずれたものとする。

図4と図5を参照して説明する。カメラ14の角度ずれがない場合には、距離LのターゲットTに対して照射された点は、例えば、点Aに投影される。カメラ14の光軸の角度が、焦点を中心としてΔθずれたとする。

上面からみると、図4に示すように、点PCからみて光軸と点Aとのなす角がθであり、点PCからみて角度のずれた光軸と点A’のなす各がθ’である。すなわち、以下の式が成り立つ。

これをイメージャ上の状態として見ると、図5に示すように、イメージャにおいて、光軸からの距離がdaからda’へと変化するとできる。図4にもこのdaとda’が示されている。

この図から、以下の式が成り立つ。

ただし、Arctanは、tanの逆関数の主値を表す。

ここで、カメラ14の焦点距離fは既知であり、daとda’は、取得した画像のピクセル数から算出可能である。このため、レーザー16による照射点を画像として取得することにより、カメラの角度ずれΔθを算出することができる。そして、このΔθを用いることにより、光軸の角度のずれ、例えば、レーザー16の光線に対するカメラ14のピッチ、ヨーを算出することができるので、カメラ14で撮影した画像におけるカメラ14の光軸の角度ずれの距離測定の補正を実現することが可能である。

上記では、水平方向のみにずれた場合を示したが、鉛直方向にずれた場合についても同様に処理することが可能である。また、計算において符号は、考慮されていないが、適切に符号を考慮するものとする。さらに、上記では、焦点の位置PCにおいて角度がずれるものとしたが、軸のずれる位置についても、複数の点、又は、複数のターゲットを用いることにより補正することが可能である。ただし、一般的には、角度のずれは十分に小さい、又は、軸ずれの位置のずれは十分に小さいと考えることができるため、角度ずれの中心点を考慮せずに、上記の式で近似してもよい。

（カメラの回転ずれ補正）
図6は、一実施形態に係るカメラ14の回転ずれを説明するための図である。カメラ14が光軸の周りに回転した場合に、回転ずれがない場合のレーザー16a、14bのターゲットT上の位置をイメージャ上に投影した点A、Bが、点A’、点B’として取得されたとする。点Aと点Bの位置は、既知である。

この場合、点A’、点B’を結ぶ直線と、点A、点Bを結ぶ直線のなす角度φとすると、これが光軸に対してカメラが回転した角度となる。角度φは、2直線のなす角度であるので、各点の位置から算出することができる。例えば、ベクトルABとベクトルA’B’の内積を用いて以下のように求めることができる。

ただし、Arccosは、cosの逆関数の主値を表す。この式に限られるものではなく、直線の式から傾きの角度を演算したり、又は、理論値において点A、Bは、イメージャの水平方向にあると仮定して、点A’、B’についてのみ演算したりすることにより、φを求めてもよい。例えば、A’(xa, ya)、B’(xb, yb)であれば、以下の式にしたがってもよい。

このφを用いることにより、カメラ14の光軸周りの回転、すなわち、カメラ14のロールを算出することができるので、カメラ14で撮影した画像におけるカメラ14の光軸周りの回転ずれによる距離測定の補正を実現することが可能である。

なお、光軸を中心に回転するものとしたが、光軸が中心でなくても同様にφを取得することは可能である。また、符号についても上記と同様に、適切に付与することが可能である。

（複合的なずれ等に対する補正）
図7は、複合的なずれに対する補正を説明するための図である。例えば、倍率のずれと、回転のずれと角度のずれが複合して発生しているとする。

このような場合、まず、倍率の補正を実行する。この倍率の補正を最初に実行することにより、焦点距離fを補正することが可能となる。焦点距離fは、カメラの角度ずれの補正に必要となる。

次に、倍率の補正により補正された焦点距離を用いて、カメラの角度ずれの補正を実行する。この補正をすることにより、図にA’、B’からの1つめの矢印で示されるように、カメラ14の光軸の角度ずれを補正する。この補正により、光軸周りの回転ずれの補正に用いる座標を取得することができる。

その後、光軸周りの回転ずれの補正を、光軸の角度ずれを補正した座標に基づいて実行する。このように、次の段階で必要となる値が得られるように補正を実行する。このように、複数の補正を実行する場合には、補正の順番を定義しておいてもよい。

（光軸の平行ずれ）
図8は、光軸の平行方向のずれを説明するための図である。光軸の平行方向のずれを補正する場合には、2つの距離に存在するターゲットT1、T2における光線の位置を取得する。これらの情報の取得の前に、前述の各補正が実行されているものとする。光軸の角度ずれの補正の場合と同様に、一例として水平方向のずれ（カメラ14の点PCとレーザー16の点Paを結ぶ方向のずれ）だけを説明するが、図のP1、P2により形成される直線上で計算することができるので、任意の角度の場合に適用することが可能である。

まず、カメラ14により、レーザー16のうち1つによる投影点を取得できる距離の異なる位置にあるターゲットT1、T2の画像を取得する。点PC及びレーザー16の測定基準となる面から、ターゲットT1、T2までの距離をそれぞれL1、L2とする。ターゲットT1におけるレーザー16のイメージャにおける投影点をP1、ターゲットT2におけるレーザー16のイメージャにおける投影点をP2とおく。この点P1、P2と、光軸との距離をそれぞれd1、d2とおく。また、点PCと点Paの距離をDaとおく。

ターゲットT1に投影されたレーザー16の点の像に対して、以下の式が成り立つ。

f、Daは、既知であり、L1は、レーザー16による測定で検出できるため、(11)式からずれがない場合の理想的なd1を求めることができる。一方で、取得した画像において、光軸の位置と観測点P’1の位置とに基づいて、実際のd’1を求めることができる。この差（= d’1 - d1）をずれとして検出してもよい。

これに対して、より正確にずれを求めることもできる。例えば、光軸の位置のずれがある場合には、既知の光軸中心に対して、観測点をP’1とすると、ずれΔx（= d’1 - d1）は、以下の式にしたがう。

この式から、d’1が観測点として取得できればΔxを算出することが可能となる。カメラ14とレーザー16との角度のずれがない場合には、上記の(11)式、(12)式、又は、もう一方のレーザー16におけるP2に対する同様の式により、Δxを算出できる。

また、ターゲットT2に対して以下の式が成り立つ。

f、Daは、既知であり、L1、L2は、レーザー16による測定で検出できるため、これらの式により、d1、d2の理論値をそれぞれ求めることができる。(13)式を用いても同様に、光軸の平行移動のずれを検出することができる。

このd1、d2の理論値と、実測値とのずれが、光軸ずれの変化に対応するとなる。例えば、Daをイメージャの中心点からレーザー16までの距離として理論値を上述の式で算出し、実測値と比較することにより、光軸の中心がどのようにずれたかを検出することが可能となる。

カメラ14とレーザー16との間の角度に関するずれの影響がない場合には、これらの式から算出されたずれの量は同等となる。一方で、カメラ14とレーザー16との角度のずれがある場合には、ターゲットT1及びターゲットT2の2つの距離におけるターゲットを用いて、それぞれのターゲットに対するずれΔxに基づいて、角度のずれがあることを検出することもできる。このため、これらの式から取得したずれΔxを、光軸の平行移動のずれとしてもよい。そして、角度のずれの影響がある場合には、前述の方法により、角度ずれを補正してもよい。

（処理）
次に、上記で説明した各処理について、フロー図を用いて説明する。

図9は、一実施形態に係るキャリブレーション処理を示すフローチャートである。

まず、情報処理装置1は、処理に必要となるデータを取得する（S100）。処理に必要となるデータは、例えば、壁等の指標となるターゲットに対して複数のレーザー16により測定した距離、カメラ14により撮影された画像、また、図示しないセンサにより取得された、温度、湿度等の情報である。この処理において取得されたデータは、必要に応じて記憶部12に格納される。

次に、処理回路10は、上記のデータを用いて前処理を実行する（S110）。図10は、前処理を示すフローチャートである。

処理回路10は、カメラ14が取得した映像等について、与えられた内部パラメータを用いて歪み補正を実行する（S1100）。

次に、処理回路10は、カメラ14が複数あり、ステレオ映像等を取得する場合には、画像の平行化を実行する（S1102）。これは、例えば、内部パラメータ及び外部パラメータに基づいて実行される。

次に、処理回路10は、レーザー16がターゲットに投影された点を輝点として取得する（S1104）。例えば、処理回路10は、輝点の座標を取得する。この他、後述の処理で必要となる場合には、輝点の波長、FPS、スポット径、位置関係等の情報を取得する。

次に、処理回路10は、複数のレーザー16について、どの輝点がどのレーザー16に対応するかを判別する（S1106）。この判別は、例えば、レーザー16の波長、FPS、スポット系、カメラ14との位置関係により取得することができる。

次に、処理回路10は、距離情報を取得する（S1108）。距離情報は、上述したように、レーザー16と、それぞれのレーザーに対応するセンサの感知情報に基づいて測定される。なお、この処理は、S1106の後に実行される必要はなく、例えば、S1100からS1106の処理と並行して実行される等、次の処理の前までに実行されればよい。

次に、処理回路10は、距離情報を、輝点の情報と対応づけて格納する（S1110）。複数のレーザー16について、S1104で得られた座標と、S1106で得られたレーザー16と輝点との対応関係と、S1108で得られたそれぞれのレーザー16により計測された距離情報と、に基づいて、どの輝点がどの距離にあるかを関連づけて記憶部12に記憶する。

図9に戻り、次に、処理回路10は、倍率の変動を検出し、必要であれば、倍率の補正を実行する（S120）。倍率の補正は、処理回路10が取得した画像に対して実行してもよい。また、別の例として、より精度の高い計測が必要である場合であれば、精度の高い制御機構を用いて、処理回路10からカメラ14へと送信された制御信号に基づいて、倍率が理想に近づくべく補正されるように、カメラ14の光学系の制御をしてもよい。

図11は、倍率変動に関する処理を示すフローチャートである。

処理回路10は、上記の処理で得られた輝点の位置を取得する（S1200）。上記の処理と連続して実行される場合には、例えば、変数等に格納してキャッシュデータ等として本処理まで保持していてもよい。

次に、処理回路10は、記憶部12に格納されている理想的な輝点の位置を取得する（S1202）。理想的な位置とは、搭載されているカメラ14、レーザー16等において、所定の温度、湿度等の環境下における輝点の位置である。処理回路10は、それぞれのレーザー16に対する理想的な輝点の位置を取得する。

次に、処理回路10は、前述した処理にしたがい、倍率の変動を検出する（S1204）。

次に、処理回路10は、倍率変動補正が必要であれば、検出された倍率補正の変動に基づいて、補正を行う（S1206）。この補正は、前述したように、画像自体に行ってもよいし、カメラ14に対して行ってもよい。カメラ14に対して行った場合は、倍率補正した後の画像を再取得してもよい。

次に、処理回路10は、倍率変動情報を記憶部12に格納する（S1208）。倍率補正を実行する場合には、倍率変動に関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、倍率変動が検出された場合においても、画像自体、又は、カメラ14に対して補正を実行する必要はなく、この変動の情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。例えば、補正は、各段階では実行せずに最後にまとめて記憶部12に格納したそれぞれの変動、ずれの情報に基づいて実行してもよいし、必要となるステップにおいて実行してもよい。

図9に戻り、次に、処理回路10は、角度ずれを検出し、必要であれば、角度ずれの補正を実行する（S130）。図12は、角度ずれに関する処理を示すフローチャートである。

処理回路10は、倍率補正が必要である場合には、上記の処理結果に基づいて倍率補正を実行する（S1300）。なお、倍率補正が必要ではない、又は、上記の処理において倍率補正後の画像が取得できているのであれば、本処理は、省略してもよい。また、画像を取得することなく、倍率補正の情報、すなわち、焦点距離f’の情報に基づいて下記の処理を行ってもよく、この場合もこの処理を省略してもよい。

次に、処理回路10は、倍率補正された画像における光軸と輝点とのなす角度を算出する（S1302）。

次に、処理回路10は、前ステップにおいて算出された角度に基づいて、理想的な光軸と輝点とのなす角度とのずれを検出する（S1304）。例えば、角度ずれが所定値以上である場合に、角度ずれを検出してもよい。この時点で角度ずれが所定値未満である場合には、以下の処理は省略してもよい。

次に、処理回路10は、前ステップにおいて角度ずれが検出された場合には、角度ずれの補正を行う（S1306）。

次に、処理回路10は、取得された角度ずれ情報を記憶部12に格納する（S1308）。上記と同様に、補正を実行する場合には、角度ずれに関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、角度ずれが検出された場合においても、画像に対して補正を実行する必要はなく、このずれの情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。

図9に戻り、次に、処理回路10は、回転ずれを検出し、必要であれば、回転ずれの補正を実行する（S140）。図13は、回転ずれに関する処理を示すフローチャートである。

処理回路10は、倍率補正が必要である場合には、上記の処理結果に基づいて倍率補正を実行する（S1400）。なお、倍率補正が必要ではない、又は、上記の処理において倍率補正後の画像が取得できているのであれば、本処理は、省略してもよい。また、画像を取得することなく、倍率補正の情報、すなわち、焦点距離f’の情報に基づいて下記の処理を行ってもよく、この場合もこの処理を省略してもよい。

次に、処理回路10は、倍率補正された画像における2つのレーザー16による輝点と基準、例えば、水平方向との角度を算出する（S1402）。なお、この処理は、例えば、上記に示したように、内積等により、理想的な2つの輝点を結ぶ直線と、実際に観測された2つの輝点の角度とを直接的に計算するものであってもよい。

次に、処理回路10は、前ステップにおいて算出された角度に基づいて、理想的な2つの輝点を結ぶ直線と、実際に観測されている2つの輝点を結ぶ直線との角度を比較することにより、回転ずれを検出する（S1404）。2つの直線のなす角度が所定値以上である場合には、回転ずれがあるとして検出する。上記の処理で直接的に角度を計算した場合には、本処理においては、例えば、当該角度が所定値以上であることにより、検出してもよい。この時点で回転ずれが所定値未満である場合には、以下の処理は省略してもよい。

次に、処理回路10は、前ステップにおいて回転ずれが検出された場合には、回転ずれの補正を行う（S1406）。

次に、処理回路10は、取得された回転ずれ情報を記憶部12に格納する（S1408）。上記と同様に、補正を実行する場合には、回転ずれに関する情報として、補正に必要な情報に変換したパラメータ等を、処理回路10により算出し、格納してもよい。なお、回転ずれが検出された場合においても、画像に対して補正を実行する必要はなく、このずれの情報が格納されれば十分である場合には、この変動情報を格納する処理を少なくとも実行すればよい。

図9に戻り、次に、処理回路10は、光軸の並行ずれを検出、必要であれば、補正を実行する（S150）。この処理は、必須ではなく、必要に応じて実行すればよい。

次に、処理回路10は、データを出力して、キャリブレーションに関する処理を終了する（S160）。必要に応じて、この段階で、各検出結果に基づいて補正を実行してもよいし、外部のアプリケーション等にこの検出結果を出力してもよい。

図14は、一実施形態に係る情報処理装置1の使用例を示すブロック図である。例えば、情報処理装置1は、ヘッドマウントディスプレイ2に接続されて実装することにより、ユーザが見ている、又は、操作する空間の情報処理を実行する。別の例としては、ヘッドマウントディスプレイ2に情報処理装置1は、内蔵されていてもよい。この他、グラス型のウェアラブルデバイス等に用いてもよい。これらの場合において、情報処理装置1は、例えば、VR（Virtual Reality）空間、AR（Augmented Reality）空間における処理の精度を向上させる。

ヘッドマウントディスプレイ2は、自己位置検出ブロック20と、映像出力ブロック22と、を備える。

自己位置検出ブロック20は、例えば、処理回路200と、位置情報取得部202と、センサ204と、を備える。

処理回路200は、情報処理装置1から取得した、カメラ映像等及び各種位置、姿勢に関する情報等と、位置情報取得部202が取得した位置情報と、センサ204が取得した環境情報と、に基づいて、カメラ映像の処理を実行する。

位置情報取得部202は、例えば、GPS（Global Positioning System）等による位置測定、又は、Wi-Fi（登録商標）等を用いた位置測定を実行する。この位置測定結果に基づいて、処理回路200は、例えば、VR／AR空間内のオブジェクト等を配置したり、又は、操作ウィンドウ等を配置したりすることができる。

センサ204は、例えば、6軸センサ、大気圧センサ等を備える。これらのセンサにより感知した情報に基づいて、処理回路200は、カメラ映像等を適切に処理する。

自己位置検出ブロック20は、検出した自己位置、姿勢等の情報を出力する。また、受信したカメラ映像等に対して、位置情報、姿勢情報、その他の環境情報を加味した画像処理を加えてもよい。また、カメラ14が複数備えられる場合には、ステレオ映像に関する処理を実行してもよい。

映像出力ブロック22は、映像情報処理回路220と、出力部222と、を備える。

映像情報処理回路220は、処理回路200が出力したデータに基づいて、映像信号を生成する。例えば、映像情報処理回路220は、処理回路200が出力したカメラ映像、自己位置、姿勢に基づいて、適切な映像情報を生成し、出力部へと送信する。映像情報処理回路220は、例えば、各種GPUを備えている。

出力部222は、例えば、ディスプレイである。映像情報処理回路220は、上記のように取得した情報から映像を生成して、このディスプレイに表示させる。ユーザは、ディスプレイを見ることにより、臨場感あふれる映像を見ることができる。この映像は、上記の処理により、リアルタイムにキャリブレーションされたものである。キャリブレーションをリアルタイムに精度よく実行することにより、ユーザが見る映像の補正をより精度よく実行することが可能となる。

例えば、ヘッドマウントディスプレイ2は、カメラ14の位置、姿勢のずれを補正した現実空間をコピーした映像と、その他の操作ウィンドウ、仮想オブジェクト等を、現実の位置、姿勢と矛盾することなく重畳させて、出力することが可能となる。

以上のように、本実施形態に係る情報処理装置1を用いることにより、ヘッドマウントディスプレイのようなエッジデバイス側でリアルタイムなキャリブレーション処理を実現することが可能となる。この結果、位置・姿勢の推定精度を、常に一定レベル以上に保つことが可能となる。この処理は、上述したように、ターゲットとの距離と、カメラにより撮影された像を用いるので、一般的なキャリブレーションのように、テストチャートを準備して所定の姿勢で当該テストチャートを撮影するといったキャリブレーションのための準備を必要とせず、かつ、高度な計算を用いないので、十分にリアルタイムにキャリブレーションを実行することが可能となる。このキャリブレーションは、常時実行されている必要はなく、適切なタイミングで実行されればよい。

一般的に用いられているデバイスは、工場出荷時にキャリブレーションしたり、又は、初回起動時にキャリブレーションしたりすることにより、一定の精度を保つが、これらは、環境等により変化するものである。本開示においては、この後発的に発生する障害をキャリブレーションによりリアルタイムに検出し、補正することが可能となる。

本開示において、「以上」「未満」という表現を使用したが、これは、必要に応じて「より大きい」「以下」と書き換えることが可能であることに留意されたい。

前述した実施形態は、以下のような形態としてもよい。

(1)
撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
前記撮像装置が取得した撮像画像における前記照射光の位置と、
に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、処理回路を備える、
情報処理装置。

(2)
前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出される、
(1)に記載の情報処理装置。

(3)
前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられる、
(1)又は(2)に記載の情報処理装置。

(4)
前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得する、
(3)に記載の情報処理装置。

(5)
前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得する、
(4)に記載の情報処理装置。

(6)
前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得する、
(4)又は(5)に記載の情報処理装置。

(7)
前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
(6)に記載の情報処理装置。

(8)
前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
(7)に記載の情報処理装置。

(9)
前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
(6)から(8)のいずれかに記載の情報処理装置。

(10)
前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
(9)に記載の情報処理装置。

(11)
前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得する、
(10)に記載の情報処理装置。

(12)
前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得する、
(6)から(11)のいずれかに記載の情報処理装置。

(13)
前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得する、
(12)に記載の情報処理装置。

(14)
エッジデバイスに搭載される、
(1)から(13)のいずれかに記載の情報処理装置。

(15)
前記エッジデバイスは、ヘッドマウントディスプレイである、
(14)に記載の情報処理装置。

(16)
前記エッジデバイスは、眼鏡型のウェアラブルデバイスである、
(14)に記載の情報処理装置。

(17)
前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部、
を備える、(14)から(16)に記載の情報処理装置。

(18)
(1)から(17)のいずれかに記載の情報処理を実行する、情報処理方法。

(19)
(1)から(17)のいずれかに記載の情報処理を、ハードウェア資源を用いて具体的に実現する、プログラム。

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1：情報処理装置、
10：処理回路、12：記憶部、14：カメラ、16：レーザー、
2：ヘッドマウントディスプレイ、
20：自己位置検出ブロック、200：処理回路、202：位置情報取得部、204：センサ、
22：映像出力ブロック、220：映像情報処理回路、222：出力部

Claims (19)

1. 撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
   前記撮像装置が取得した撮像画像における前記照射光の位置と、
   に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、処理回路を備える、
   情報処理装置。
2. 前記レーザーと、前記ターゲットまでの距離は、測距回路、又は、前記処理回路により算出される、
   請求項1に記載の情報処理装置。
3. 前記撮像装置の光学系の焦点と、複数の前記レーザーの照射位置は、基準面に備えられる、
   請求項1に記載の情報処理装置。
4. 前記処理回路は、前記撮像画像に基づいて、前記撮像装置の倍率変動に関する情報を取得する、
   請求項3に記載の情報処理装置。
5. 前記処理回路は、前記撮像画像における少なくとも2つの前記レーザーが前記ターゲットに照射された位置の像と、前記レーザーの照射位置の距離と、に基づいて、前記倍率変動に関する情報を取得する、
   請求項4に記載の情報処理装置。
6. 前記処理回路は、前記撮像画像に基づいて、前記撮像装置の姿勢のずれに関する情報を取得する、
   請求項4に記載の情報処理装置。
7. 前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
   請求項6に記載の情報処理装置。
8. 前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸の角度ずれに関する情報を取得する、
   請求項7に記載の情報処理装置。
9. 前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
   請求項6に記載の情報処理装置。
10. 前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像の位置と、実際に撮影された像の位置とに基づいて、前記撮像装置の光軸周りの回転ずれに関する情報を取得する、
    請求項9に記載の情報処理装置。
11. 前記処理回路は、前記撮像装置において取得される理論的な少なくとも2つの前記レーザーのターゲットにおける像を結んだ直線と、実際に撮影された像を結んだ直線とのなす角度により、前記回転ずれに関する情報を取得する、
    請求項10に記載の情報処理装置。
12. 前記処理回路は、前記撮像画像に基づいて、前記撮像装置の光軸の平行移動ずれに関する情報を取得する、
    請求項6に記載の情報処理装置。
13. 前記処理回路は、前記撮像装置において取得される理論的な前記レーザーの前記ターゲットにおける像と、実際に撮影された像の位置とのずれに基づいて、前記光軸の平行移動ずれに関する情報を取得する、
    請求項12に記載の情報処理装置。
14. エッジデバイスに搭載される、
    請求項1に記載の情報処理装置。
15. 前記エッジデバイスは、ヘッドマウントディスプレイである、
    請求項14に記載の情報処理装置。
16. 前記エッジデバイスは、眼鏡型のウェアラブルデバイスである、
    請求項14に記載の情報処理装置。
17. 前記エッジデバイスは、前記処理回路から取得した補正に関するパラメータに基づいて、前記撮像装置が取得した情報を補正し、映像として表示する、出力部、
    を備える、請求項14に記載の情報処理装置。
18. 処理回路が、
    撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
    前記撮像装置が取得した撮像画像における前記照射光の位置と、
    に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する、
    情報処理方法。
19. 処理回路に、
    撮像装置の画角内に存在するターゲットを照射する少なくとも2つのレーザーが射出する照射光に基づいた、前記レーザーと前記ターゲットまでの距離と、
    前記撮像装置が取得した撮像画像における前記照射光の位置と、
    に基づいて、前記撮像装置のキャリブレーションに関する情報を生成する方法を実行させる、
    プログラム。

Images