JP2019035584A - 距離計測デバイス - Google Patents

Abstract

【課題】周囲の物体までの距離計測を行う際に、比較的死角の少ない距離計測デバイスを提供する。
【解決手段】それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備え、第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、第２方向は、第１のステレオカメラの撮像方向と第１方向とを含む平面に対して交差する方向である距離計測デバイスである。
【選択図】図１

Description

本発明は、装置周囲の物体までの距離の計測に用いられる距離計測デバイスに関する。

複数のカメラが並んで配置されたステレオカメラを用いることにより、被写体までの距離を計測する技術が知られている。このステレオカメラを、例えばヘッドマウントディスプレイなどのデバイスに搭載することで、そのデバイスの周囲に存在する物体までの距離を計測することができる。

デバイスの前後左右などの広い範囲を距離計測の対象としたい場合、複数のステレオカメラを並べて配置する必要がある。しかしながら、並べて配置された複数のステレオカメラは、両者の中間の領域をカバーしにくく、距離計測の対象とできない死角が生じやすい。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、周囲の物体までの距離計測を行う際に、比較的死角の少ない距離計測デバイスを提供することにある。

本発明に係る距離計測デバイスは、それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備える距離計測デバイスであって、前記第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、前記第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、前記第２方向は、前記第１のステレオカメラの撮像方向と前記第１方向とを含む平面に対して交差する方向であることを特徴とする。

本発明の第１の実施形態に係る距離計測デバイスをユーザーが装着した様子を正面から見た図である。 本発明の第１の実施形態に係る距離計測デバイスをユーザーが装着した様子を左側面から見た図である。 本発明の第１の実施形態に係る距離計測デバイスの計測対象範囲を示す図である。 複数のステレオカメラをその基線長方向が同一平面に含まれるように配置した距離計測デバイスの計測対象範囲の一例を示す図である。 本発明の第２の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。 本発明の第３の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。 本発明の第３の実施形態に係る距離計測デバイスをユーザーが装着した様子を左側面から見た図である。 本発明の第３の実施形態に係る距離計測デバイスの計測対象範囲を示す図である。 本発明の第４の実施形態に係る距離計測デバイスをユーザーが装着した様子を正面から見た図である。 本発明の第４の実施形態に係る距離計測デバイスをユーザーが装着した様子を上方から見た図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

[第１の実施形態]
図１は、本発明の第１の実施形態に係る距離計測デバイス１０ａをユーザーが装着した様子を正面から見た図である。また、図２は左側面から見た図である。本実施形態における距離計測デバイス１０ａは、ユーザーが頭部に装着して使用する映像表示装置であるものとする。距離計測デバイス１０ａは、ユーザーに映像を提示している間に、周囲の映像を撮像する。撮像された映像は、距離計測デバイス１０ａの周囲にある物体までの距離を計測するために用いられる。距離計測デバイス１０ａは、映像提示部１１と、正面ステレオカメラ１２と、右側面ステレオカメラ１３と、左側面ステレオカメラ１４と、を含んで構成されている。

以下では説明の便宜のために、距離計測デバイス１０ａの横方向をＸ軸方向、縦方向をＹ軸方向、奥行き方向をＺ方向とする。Ｘ軸方向、Ｙ軸方向、及びＺ軸方向は、それぞれユーザーが距離計測デバイス１０ａを装着した状態において、ユーザーの左右方向、上下方向、及び前後方向に相当する。また、ユーザーの右方向をＸ軸の正方向、上方向をＹ軸の正方向、前方向をＺ軸の正方向とする。

映像提示部１１は、ユーザーが距離計測デバイス１０ａを装着した状態でユーザーの目の前方に配置され、ユーザーに映像を提示する。映像提示部１１は、例えば液晶表示素子と光学系とから構成され、液晶表示素子に表示される映像を光学系でユーザーの目に導くことによって、ユーザーの目に映像を投影する。これによりユーザーは、映像提示部１１が提示する立体映像などの映像を閲覧することができる。

正面ステレオカメラ１２は、距離計測デバイス１０ａの前面、すなわちユーザーが距離計測デバイス１０ａを装着した状態においてユーザーの正面側に配置される。より具体的に、本実施形態では正面ステレオカメラ１２は、映像提示部１１の上方に配置されている。正面ステレオカメラ１２は、Ｚ軸正方向に向けて配置された二つの撮像素子１２ａ及び１２ｂによって構成されている。そのため、正面ステレオカメラ１２はＺ軸正方向を撮像方向としている。これら二つの撮像素子１２ａ及び１２ｂは、Ｙ軸方向に沿って所定距離だけ離れて並んで配置されている。以下では、ステレオカメラを構成する二つの撮像素子が並ぶ方向を基線長方向という。正面ステレオカメラ１２は、基線長方向がＹ軸方向に一致している。この正面ステレオカメラ１２の基線長方向は、使用時の水平方向に略一致し、ユーザーの左右の目が並ぶ方向にも略一致する。

正面ステレオカメラ１２は、ユーザーの正面側にある物体までの距離の測定に用いられる。具体的に、二つの撮像素子１２ａ及び１２ｂが撮像する画像内においては、同じ被写体が撮像素子の視差によって互いに異なる位置に写ることになる。この視差の大きさは、正面ステレオカメラ１２から被写体までの距離によって異なる。そのため、二つの撮像素子１２ａ及び１２ｂが撮像した画像を解析することによって、その画像内に写っている各物体までの距離を特定できる。すなわち、正面ステレオカメラ１２が撮像する画像に基づいて、距離計測デバイス１０ａの正面方向の距離画像（デプスマップ）が得られる。このデプスマップは、ユーザーの視界に近い範囲を撮像して得られたものであり、ユーザーの視界に写るであろう各物体までの距離を示すことになる。なお、距離の特定、及びデプスマップの生成は、距離計測デバイス１０ａ自体が行う必要がなく、例えば距離計測デバイス１０ａと接続されたパーソナルコンピュータや家庭用ゲーム機などの情報処理装置によって実行されてよい。

右側面ステレオカメラ１３及び左側面ステレオカメラ１４は、正面ステレオカメラ１２と同様にそれぞれ二つの撮像素子を含んで構成されており、ユーザーの右側面、及び左側面方向のデプスマップを生成するために用いられる。これらの側面ステレオカメラの撮像範囲は、正面ステレオカメラ１２の撮像範囲に対して左右の隣接する範囲になる。

右側面ステレオカメラ１３の撮像方向はＸ軸正方向であって、ユーザーの右方向に相当する。そして、右側面ステレオカメラ１３を構成する二つの撮像素子１３ａ及び１３ｂは、基線長方向が水平面と平行な正面ステレオカメラ１２と異なり、Ｙ軸方向に沿って並んでいる。すなわち、右側面ステレオカメラ１３は、単に正面ステレオカメラ１２を水平面内において９０°回転させて右方向に向けた配置ではなく、そこからさらに鉛直面内において９０°回転させた向きに配置されている。

左側面ステレオカメラ１４についても、右側面ステレオカメラ１３と同様に、その基線長方向がＹ軸方向になっており、二つの撮像素子１４ａ及び１４ｂがＹ軸方向に沿って並んで配置されている。なお、左側面ステレオカメラ１４の撮像方向はＸ軸負方向であって、左側面ステレオカメラ１４は右側面ステレオカメラ１３と左右対称に配置されていることになる。

このような配置によれば、各ステレオカメラをいずれもその基線長方向が水平面内に含まれるように配置する場合と比較して、ステレオカメラで撮像できない死角を減らすことができる。これにつき、以下に説明する。

図３は、距離計測デバイス１０ａによる距離の計測対象範囲を示す図であって、距離計測デバイス１０ａを上方から見た様子を示している。正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４のそれぞれを構成する撮像素子の撮像範囲は、図中において破線で示されている。各ステレオカメラを構成する二つの撮像素子の撮像範囲が重なる領域が、距離の計測が可能な範囲（計測対象範囲）となる。図中において計測対象範囲はハッチングで示されている。どのステレオカメラでも撮像対象とされない範囲、及び、ステレオカメラを構成する二つの撮像素子の一方しか撮像対象としていない範囲は、距離の計測ができない死角となる。なお、本実施形態では二つの側面ステレオカメラの基線長方向が水平面と直交しているので、各側面ステレオカメラを構成する二つの撮像素子の撮像範囲は平面視において一致している。

これに対して図４は、比較のために、複数のステレオカメラをその基線長方向が同一平面に含まれるように配置した場合の距離の計測対象範囲を示している。複数のステレオカメラを同一平面内に配置した場合、各ステレオカメラを構成する二つの撮像素子は互いに一定距離離して配置しなければならないため、隣接するステレオカメラ同士の間の距離が広がってしまう。そのため、隣接するステレオカメラのどちらでも距離計測を行うことのできない死角の範囲が大きくなる。これに対して図３に示すように、本実施形態では、正面ステレオカメラ１２の撮像方向と基線長方向とを含む平面（ここでは水平面）に対して、隣接する右側面ステレオカメラ１３及び左側面ステレオカメラ１４双方の基線長方向が交差するように配置されている。そのため、平面視において、正面ステレオカメラ１２と右側面ステレオカメラ１３との間の死角、及び正面ステレオカメラ１２と左側面ステレオカメラ１４との間の死角の双方を図４の例と比較して小さくすることができる。

[第２の実施形態]
次に、本発明の第２の実施形態に係る距離計測デバイス１０ｂについて、説明する。本実施形態では、右側面ステレオカメラ１３及び左側面ステレオカメラ１４の配置が第１の実施形態と異なるが、その他の点については第１の実施形態と共通している。そのため、共通する構成要素は同一の参照符号で参照し、その詳細な説明は省略する。

第２の実施形態では、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４それぞれの撮像方向が、ユーザーの真横ではなく正面寄りの方向になっている。具体的に、右側面ステレオカメラ１３の撮像方向は、Ｘ軸正方向からＺ軸正方向側に３０°傾いた方向になっている。また、左側面ステレオカメラ１４の撮像方向は、Ｘ軸負方向からＺ軸正方向側に３０°傾いた方向になっている。ただし、各側面ステレオカメラの基線長方向は、第１の実施形態と同様にＹ軸方向になっている。

図５は、第２の実施形態に係る距離計測デバイス１０ｂをユーザーが装着した様子を上方から見た図である。同図に示されるように、本実施形態では、二つの側面ステレオカメラの撮像方向を正面寄りにしている。これにより、第１の実施形態よりも正面ステレオカメラ１２と各側面ステレオカメラとの間の死角を小さくすることができる。

[第３の実施形態]
次に、本発明の第３の実施形態に係る距離計測デバイス１０ｃについて、説明する。本実施形態でも、右側面ステレオカメラ１３及び左側面ステレオカメラ１４の配置が第１の実施形態と異なるが、その他の点については第１の実施形態と共通している。

図６は第３の実施形態に係る距離計測デバイス１０ｃをユーザーが装着した様子を上方から見た図である。また、図７は左側面から見た図である。これらの図に示されるように、本実施形態では右側面ステレオカメラ１３と左側面ステレオカメラ１４の双方が、平面視において正面ステレオカメラ１２を構成する撮像素子１２ａと撮像素子１２ｂの間に配置されている。二つの側面ステレオカメラの基線長方向が正面ステレオカメラ１２の基線長方向と交差しているので、このような配置が可能になっている。

図８は、第３の実施形態に係る距離計測デバイス１０ｃの計測対象範囲を示す図である。同図に示されるように、本実施形態では、二つの側面ステレオカメラを正面ステレオカメラ１２の撮像素子１２ａ及び１２ｂの間に配置することにより、第１の実施形態よりも死角を小さくすることができる。

[第４の実施形態]
次に、本発明の第４の実施形態に係る距離計測デバイス１０ｄについて、説明する。本実施形態では、正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４は第１の実施形態と同様の配置で距離計測デバイス１０ｄに搭載されている。さらに、背面ステレオカメラ１５、及び下面ステレオカメラ１６の二つのステレオカメラが距離計測デバイス１０ｄに搭載されている。

図９は、第４の実施形態に係る距離計測デバイス１０ｄをユーザーが装着した様子を正面から見た図である。また、図１０は上方から見た図である。これらの図に示されるように、背面ステレオカメラ１５はユーザーの背面側に配置されており、背面ステレオカメラ１５を構成する二つの撮像素子１５ａ及び１５ｂの撮像方向は、背面方向（Ｚ軸負方向）になっている。また、下面ステレオカメラ１６は映像提示部１１の下方に配置されており、下面ステレオカメラ１６を構成する二つの撮像素子１６ａ及び１６ｂの撮像方向は、天底方向（Ｙ軸負方向）になっている。なお、背面ステレオカメラ１５及び下面ステレオカメラ１６については、いずれも基線長方向は正面ステレオカメラ１２と同様にＸ軸方向になっている。

本実施形態に係る距離計測デバイス１０ｄによれば、ユーザーの背後、及び顔の位置から見て下方にある物体についても、距離計測デバイス１０ｄからの距離を計測することができる。特に正面ステレオカメラ１２、右側面ステレオカメラ１３、及び左側面ステレオカメラ１４とともに下面ステレオカメラ１６を組み合わせて用いることにより、ユーザーの手の動きを広範囲で検出することが可能になる。また、下面ステレオカメラ１６によって得られるデプスマップを利用することにより、ユーザーの姿勢（立っているか座っているかなど）を特定することもできる。

以上説明した各実施形態に係る距離計測デバイスにおいては、いずれも、正面ステレオカメラ１２の撮像方向と基線長方向とを含む平面に対して、二つの側面ステレオカメラの基線長方向が交差するように、各ステレオカメラが配置されている。これにより、各ステレオカメラで距離を計測できない死角の領域を減らすことができる。

なお、以上の説明における各ステレオカメラの配置は例示に過ぎず、隣接するステレオカメラ同士の基線長方向が交差するように配置されていれば、各ステレオカメラは図示されたものとは異なる位置や向きに配置されてもよい。また、第２及び第３の実施形態に係る距離計測デバイスに対しても、背面ステレオカメラ１５や下面ステレオカメラ１６を搭載してもよい。また、各実施形態に係る距離計測デバイスは、さらに天頂方向を撮像する上面ステレオカメラを備えてもよい。

また、以上の説明では各ステレオカメラを構成する撮像素子は、いずれも同種のカメラデバイスであることとしている。しかしながら、ステレオカメラごとに撮像素子の種類が異なってもよい。例えば正面ステレオカメラ１２はカラー映像を撮像可能なＲＧＢカメラ等の撮像素子によって構成されてよい。このように、カラー映像を撮影可能な撮像素子を用いることで、デプスマップ生成以外の用途にも撮像画像を利用することができる。一例として、正面ステレオカメラ１２の撮像画像を用いて映像提示部１１が提示する映像を生成することで、ユーザーは距離計測デバイスを装着していないときに見えるはずの景色を立体映像として閲覧することができる。なお、デプスマップを生成する際には、ＲＧＢカメラによって撮像されたカラー画像をモノクロ画像に変換して処理対象としてもよい。これに対してデプスマップの生成だけに用いられるステレオカメラについては、カラー映像を撮影可能な撮像素子を利用する必要は必ずしもない。そこで、右側面ステレオカメラ１３や左側面ステレオカメラ１４を構成する撮像素子は、例えばモノクロ映像を撮像するモノクロカメラや、赤外線カメラ等であってもよい。

また、一つのステレオカメラを構成する二つの撮像素子についても、その種類を互いに異ならせてもよい。例えば一つのステレオカメラがＲＧＢカメラとモノクロカメラによって構成されてもよい。この場合、ＲＧＢカメラで撮像されたカラー画像をモノクロ画像に変換し、モノクロカメラで撮像されたモノクロ画像とともに用いることによって、デプスマップを生成できる。また、ＲＧＢカメラで撮像されたカラー画像を他の用途に利用できる。

また、以上の説明では距離計測デバイスは頭部装着型の映像表示装置であることとしたが、距離計測デバイスはこのようなものに限られない。例えばユーザーが把持して使用するゲーム機のコントローラなど、その周囲の距離情報を取得したい各種のデバイスに、複数のステレオカメラを搭載して、本発明の実施の形態に係る距離計測デバイスとしてもよい。

１０ａ，１０ｂ，１０ｃ，１０ｄ 距離計測デバイス、１１ 映像提示部、１２ 正面ステレオカメラ、１３ 右側面ステレオカメラ、１４ 左側面ステレオカメラ、１５ 背面ステレオカメラ、１６ 下面ステレオカメラ。

Claims (5)

1. それぞれ撮像範囲に含まれる物体までの距離の計測に用いられる第１及び第２のステレオカメラを備える距離計測デバイスであって、
   前記第１のステレオカメラは、第１方向に沿って並ぶ二つの撮像素子を含み、
   前記第２のステレオカメラは、第２方向に沿って並ぶ二つの撮像素子を含み、
   前記第２方向は、前記第１のステレオカメラの撮像方向と前記第１方向とを含む平面に対して交差する方向である
   ことを特徴とする距離計測デバイス。
2. 請求項１に記載の距離計測デバイスにおいて、
   前記第２のステレオカメラは、前記平面と交差する方向から見て、前記第１のステレオカメラに含まれる二つの撮像素子の間に配置されている
   ことを特徴とする距離計測デバイス。
3. 請求項１又は２に記載の距離計測デバイスにおいて、
   前記第１のステレオカメラは当該距離計測デバイスの正面方向を撮像方向とし、
   前記第２のステレオカメラは当該距離計測デバイスの側面方向を撮像方向とする
   ことを特徴とする距離計測デバイス。
4. 請求項１から３のいずれか一項に記載の距離計測デバイスにおいて、
   当該距離計測デバイスはユーザーの頭部に装着して使用され、ユーザーに映像を提示する映像提示部をさらに備え、
   前記第１のステレオカメラは前記ユーザーの正面方向を撮像方向とする
   ことを特徴とする距離計測デバイス。
5. 請求項１から４のいずれか一項に記載の距離計測デバイスにおいて、
   前記第１のステレオカメラに含まれる二つの撮像素子は、前記第２のステレオカメラに含まれる二つの撮像素子とは異なる種類の撮像素子である
   ことを特徴とする距離計測デバイス。

Images