JP2015215264A

JP2015215264A - 位置関係検出装置及び位置関係検出方法

Info

Publication number: JP2015215264A
Application number: JP2014098928A
Authority: JP
Inventors: 高田　英明; Hideaki Takada; 英明高田; 伊達　宗和; Munekazu Date; 宗和伊達; 知史三枝; Tomofumi Saegusa; 小澤　史朗; Shiro Ozawa; 史朗小澤; 黒川　義昭; Yoshiaki Kurokawa; 義昭黒川; 明小島; Akira Kojima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-05-12
Filing date: 2014-05-12
Publication date: 2015-12-03
Anticipated expiration: 2034-05-12
Also published as: JP6294757B2

Abstract

【課題】より簡易な処理で撮像装置から被写体までの距離に関する情報を取得することができる位置関係検出装置を提供する。
【解決手段】撮像装置に入る光の光路をシフトさせる光路シフト部１１０，１２２，１３０と、光路シフト部による光路のシフト量を変化させるシフト量制御部１２１と、シフト量が異なる状態で撮像装置が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、撮像装置から複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する位置関係検出部１５０と、を具備する位置関係検出装置。
【選択図】図１

Description

本発明は、複数の被写体の位置関係を検出する技術に関する。

撮像装置と被写体との距離を求める技術として、複数の撮像装置を用いて複数の視点からの画像を撮像し、得られた画像に基づいて撮像装置と被写体との距離を求める技術がある（例えば、特許文献１参照）。
また、単一の撮像装置に加えて、距離計測デバイスを別途備えることで、撮像装置と被写体との距離を求める技術がある（例えば、特許文献２参照）。

特許第３５９３４６６号公報特許第３５８６１２６号公報

複数の撮像装置を用いて複数の視点からの画像を撮像し、得られた画像に基づいて撮像装置と被写体との距離を求める技術では、複数の撮像装置が必要となる。この点で、撮像装置と被写体との距離を求める装置の装置構成が複雑になり、また、当該装置が比較的大型になってしまう。

また、複数の撮像装置を用いて複数の視点からの画像を撮像し、得られた画像に基づいて撮像装置と被写体との距離を求める技術では、得られた複数の画像において被写体の同一箇所を検出するために複雑な対応点マッチング処理が必要となる。この点で、処理負荷が高くなってしまう。

また、単一の撮像装置に加えて、距離計測デバイスを別途備えることで、撮像装置と被写体との距離を求める技術では、距離計測デバイスが必要となる。この点で、撮像装置と被写体との距離を求める装置の装置構成が複雑になり、また、当該装置が比較的大型になってしまう。

また、単一の撮像装置に加えて、距離計測デバイスを別途備えることで、撮像装置と被写体との距離を求める技術では、撮像装置と距離計測装置の位置や動作特性に応じて距離計測装置のキャリブレーションを行う必要が生じ得る。かかるキャリブレーションは、当該キャリブレーションの実施者にとって負担となる。

上記事情に鑑み、本発明は、より簡易な処理で撮像装置から被写体までの距離に関する情報を取得できる技術の提供を目的としている。

本発明の一態様は、撮像装置に入る光の光路をシフトさせる光路シフト部と、前記光路シフト部による光路のシフト量を変化させるシフト量制御部と、前記シフト量が異なる状態で前記撮像装置が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、前記撮像装置から前記複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する位置関係検出部と、を具備する位置関係検出装置である。

本発明の一態様は、上記の位置関係検出装置であって、前記光路シフト部は、特定の偏光方向の光のみを通過させる偏光子と、前記偏光子を通過した光の偏光方向を回転させる偏光回転素子と、光の偏光方向に応じて異なる屈折率で当該光を屈折させる複屈折素子と、を具備し、前記シフト量制御部は、前記偏光回転素子による偏光方向の回転量を制御し、前記複屈折素子は、前記偏光回転素子を通過した光の光路を、前記偏光回転素子での偏光方向の回転量に応じて異なるシフト量でシフトさせる。

本発明の一態様は、上記の位置関係検出装置であって、前記位置関係検出部は、前記複数の画像の差分を求め、得られた差分から、前記複数の被写体それぞれの位置のずれ幅を求める。

本発明の一態様は、撮像装置に入る光の光路のシフト量を変化させるシフト量制御ステップと、前記シフト量が異なる状態で前記撮像装置が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、前記撮像装置から前記複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する位置関係検出ステップと、を有する位置関係検出方法である。

本発明により、より簡易な処理で撮像装置から被写体までの距離に関する情報を取得することが可能となる。

本発明の位置関係検出装置の構成を示す概略構成図である。撮像装置１４０が撮像する画像の例を示す説明図である。位置関係検出装置１００が行う処理の例を示す説明図である。位置関係検出部１５０が行う処理の例を示すフローチャートである。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の一実施形態における位置関係検出装置の構成を示す概略構成図である。同図において、位置関係検出装置１００は、偏光子１１０と、駆動装置１２１と、偏光回転素子１２２と、複屈折素子１３０と、撮像装置１４０と、位置関係検出部１５０とを具備する。撮像装置１４０は、レンズ群１４１と、撮像素子１４２とを具備する。

偏光子１１０は、当該偏光子１１０へ入る光のうち特定の方向に偏光した光のみを透過させる。変更し１１０として、例えば偏光板を用いることができる。
偏光回転素子１２２は、当該偏光回転素子１２２へ入る光の偏光方向を回転させる。偏光回転素子１２２として、例えば液晶セルを用いることができる。
駆動装置１２１は、偏光回転素子１２２による偏光方向の回転量を制御する。例えば、偏光回転素子１２２として液晶セルが用いられ、駆動装置１２１は、当該液晶セルへの電流のＯＮ／ＯＦＦを切り替えて当該液晶セルの電界を切り替えることで、当該液晶セルによる偏光方向の回転量を変化させる。
複屈折素子１３０は、当該複屈折素子１３０へ入る光を、偏光方向により異なる屈折率で屈折させる。複屈折素子１３０として、例えばカルサイト（方解石）を用いることができる。

撮像装置１４０は、撮像を行ってフレーム周期毎に画像データを生成する。
レンズ群１４１は、１つまたは複数のレンズを含んで構成され、当該レンズ群１４１へ入る光を集光することで、撮像素子１４２に被写体の像を結像させる。
撮像素子１４２は複数の画素を有し、撮像装置１４０の外部からレンズ群１４１を通して各画素へ入る光を電気信号に変換することで、画像信号を生成する。
位置関係検出部１５０は、撮像装置１４０が撮像した画像に基づいて、撮像装置１４０から画像に含まれる各被写体までの距離の遠近関係を検出する。より具体的には、位置関係検出部１５０は、撮像装置１４０から複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する。

かかる構成により、位置関係検出装置１００は、撮像装置１４０の撮像位置を被写体に対して相対的に変化させて複数の画像を撮像する。
具体的には、偏光子１１０を通過してある一方向だけに偏光された光が偏光回転素子１２２に入ると、偏光回転素子１２２は、駆動装置１２１の制御に従って、撮像装置１４０の撮像に同期してフレーム周期毎に、偏光子１１０からの光の偏光の回転量を切り替える。例えば、偏光子１１０は、あるフレーム周期では当該光をそのまま通過させ、次のフレーム周期では当該光の偏光を９０度回転させるというように、偏光の回転量０度と９０度との切替を繰り返す。

偏光回転素子１２２からの光が複屈折素子１３０に入ると、複屈折素子１３０の複屈折率性により、偏光方向に応じて光路がシフトする。この光路のシフトにより、撮像装置１４０の撮像位置が被写体に対して相対的に変化し、撮像装置１４０は、複数の撮像位置から被写体を撮像することができる。例えば、位置関係検出装置１００は、撮像装置１４０の撮像位置を水平方向にずらして各撮像位置における画像を撮像する。
複屈折素子１３０における光路のシフト量は、複屈折素子１３０の厚さや、複屈折素子１３０として用いられる素材の屈折率や、偏光回転素子１２２における偏光方向の回転量の変化の大きさに応じて決まる。

かかる位置関係検出装置１００の構成によれば、２台のカメラを用いたのでは撮像が困難な微小な視差の画像を、簡単な構成で撮像し得る。この点において、位置関係検出装置１００を大幅に小型化し得る。また、位置関係検出装置１００は、三次元画像として用いられる両眼視差画像を撮像することができる。

なお、偏光子１１０と、偏光回転素子１２２と、複屈折素子１３０との組み合わせは光路シフト部の例に該当し、上記のように、撮像装置１４０へ入る光の光路をシフトさせる。
また、駆動装置１２１は、シフト量制御部の例に該当し、複屈折素子１３０による光路のシフト量を変化させる。

図２は、撮像装置１４０が撮像する画像の例を示す説明図である。
同図の例では、撮像装置１４０は、被写体Ａおよび被写体Ｂを含む画像を撮像している。撮像装置１４０と被写体Ａとの距離の方が、撮像装置１４０と被写体Ｂとの距離よりも短い。すなわち、被写体Ａのほうが被写体Ｂよりも撮像装置１４０に近い。

画像ＰｉｃＡは、線Ｌ１１を通る光がレンズ群１４１の光軸を通るように、複屈折素子１３０が光路をシフトさせた状態での撮像装置１４０の撮像画像の例を示している。撮像装置１４０が、被写体Ａや被写体Ｂを比較的左側から撮像しているため、被写体Ａや被写体Ｂの画像が比較的右寄りに撮像されている。特に、撮像装置１４０に比較的近い被写体Ａの像が、撮像装置１４０に比較的遠い被写体Ｂの像よりも右寄りに撮像されている。

画像ＰｉｃＢは、線Ｌ１２を通る光がレンズ群１４１の光軸を通るように、複屈折素子１３０が光路をシフトさせた状態での撮像装置１４０の撮像画像の例を示している。撮像装置１４０が、被写体Ａや被写体Ｂを比較的右側から撮像しているため、被写体Ａや被写体Ｂの画像が比較的左寄りに撮像されている。特に、撮像装置１４０に比較的近い被写体Ａの像が、撮像装置１４０に比較的遠い被写体Ｂの像よりも左寄りに撮像されている。

画像ＰｉｃＡおよびＰｉｃＢに示される被写体Ａの像のように、撮像装置１４０に近い被写体ほど像の位置のずれが大きい。従って、位置関係検出装置１００は、撮像装置１４０が撮像する複数の画像かんでの被写体の画像の位置のずれの大きさに基づいて、撮像装置１４０と被写体との距離の大小を検出することができる。

図３は、位置関係検出装置１００が行う処理の例を示す説明図である。
比較的大きな視差で撮像された２つの画像を用いて撮像装置から被写体までの距離を推定する場合、一般的に、２つの画像中で対応する点を抽出する対応点マッチング処理を画像全体に対して行うこととなり、処理負荷が大きい。
これに対して位置関係検出装置１００では、１台の撮像装置１４０が比較的微小な視差の画像を撮像することから、撮像装置１４０が撮像する２つの画像は似通った画像となる。より具体的には、撮像装置１４０が撮像する２つの画像における相違点は、ほぼ同一形状の被写体の像が、撮像装置１４０から被写体までの距離に応じたずれ幅でずれている点のみとなる。そのため、２つの画像の差分をとって、被写体毎にずれ幅の大きさを比較することで、対応点マッチングとして複雑な画像まっちん処理を行う必要無しに撮像装置１４０から各被写体までの遠近関係を検出することができる。

図４は、位置関係検出部１５０が行う処理の例を示すフローチャートである。位置関係検出部１５０は、撮像装置１４０から連続した２フレーム分の画像を取得する毎に、同図の処理を行う。ここでの連続した２フレーム分の画像は、撮像装置１４０が、被写体に対して相対的に異なる撮像位置から撮像した２つの画像である。
図４の処理において、位置関係検出部１５０は、２つの画像の差分をとる（ステップＳ１０１）。例えば、位置関係検出部１５０は、２つの画像の対応する画素（撮像素子１４２の同一の画素にて得られた画素）毎に画素値の差を求め、差の大きさが所定の閾値以上の画素を差分として抽出する。

次に、位置関係検出部１５０は、ステップＳ１０１で得られた差分について、差分の纏まりを抽出する（ステップＳ１０２）。例えば、位置関係検出部１５０は、ステップＳ１０１で差分として抽出した画素についてエッジを抽出し、同一のエッジ内に位置する画素を一纏まりとする。
そして、位置関係検出部１５０は、ステップＳ１０２で抽出した差分の纏まり毎に、光路のシフトによるずれ幅を求める（ステップＳ１０３）。例えば、複屈折素子１３０によって光路が水平方向にシフトしている場合、位置関係検出部１５０は、ステップＳ１０２で得られた各纏まりの水平方向の幅の最大値を、当該纏まりにおけるずれ幅として求める。なお、位置関係検出部１５０が、例えば撮像画像のエッジ抽出により被写体の像を抽出し、被写体毎にずれ幅を求めるようにしてもよい。

そして、位置関係検出部１５０は、ステップＳ１０３で得られたずれ幅の大きさを比較して、撮像装置１４０から各差分の纏まりまでの遠近関係、あるいは、撮像装置１４０から各被写体までの遠近関係を検出する（ステップＳ１０４）。具体的には、位置関係検出部１５０は、ずれ幅の大きい纏まりまたは被写体ほど撮像装置１４０に近いものとして検出する。
その後、図４の処理を終了する。

なお、位置関係検出部１５０が、２つの画像を重ね合わせた画像にローパスフィルタなどのフィルタ処理をすることにより、重ね合わせ画像の細部をぼかすようにしてもよい。これにより重ね合わせ画像において、元の２つの画像の相違点が相対的に目立つようになる。元の２つの画像相違点は光路のシフトによって被写体の像がずれた部分であると考えられるので、位置関係検出部１５０が、当該元の２つの画像の相違点を検出して光路のずれ方向の幅を算出することで、図４の処理と同様、撮像装置１４０から各差分の纏まりまでの遠近関係、あるいは、各被写体までの遠近関係を検出することができる。

なお、撮像装置１４０に近い被写体は、光路のシフトによる被写体の像のずれ幅が大きい。一方、撮像装置１４０から遠い被写体は、光路のシフトによる被写体の像のずれ幅が小さい。そこで、例えば位置関係検出部１５０が、元の画像（差分を求める前の画像）における輪郭のうち、図４のステップＳ１０４で得られたずれ幅の大きい纏まりの輪郭を含む輪郭を求めることで、撮像装置１４０に近い被写体の輪郭を抽出し得る。これにより、位置関係検出装置１００は、例えば撮像装置１４０に近い人物などと背景を分離するための被写体の輪郭抽出を行うことができる。

特に、撮像装置１４０が、微小な視差の画像を撮像することで、撮像装置１４０から比較的遠い被写体の、光路のシフトによる被写体の像のずれ幅がほぼゼロになる。これにより、位置関係検出装置１００は、撮像装置１４０から比較的遠い被写体の像や背景と分離して、撮像装置１４０に近い被写体の像のみを、比較的容易に抽出し得る。
このように、位置関係検出装置１００が、撮像装置１４０に近い被写体の像を抽出することで、当該処理を、モバイル端末においてユーザのジェスチャー等による入力操作の検出に適用することができる。ユーザのジェスチャーなどによる入力操作の例として、３次元ディスプレイにて空間上に提示された仮想の操作インタフェースやキーボードの操作が挙げられる。
また、位置関係検出装置１００が、撮像装置１４０に近い被写体の像を抽出する処理は、ユーザのジェスチャー等による入力操作の検出以外にも、テレビ電話の映像の背景を入れ替える処理など様々な処理に適用可能である。

以上のように、偏光子１１０と、偏光回転素子１２２と、複屈折素子１３０との組み合わせにて、撮像装置１４０に入る光の光路をシフトさせる。また、駆動装置１２１は、偏光回転素子１２２による光路のシフト量を変化させる。そして、位置関係検出部１５０は、シフト量が異なる状態で撮像装置１４０が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、撮像装置１４０から複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する。

これにより、位置関係検出装置１００は、複数の撮像装置を具備する必要がなく、また、距離計測デバイスを別途具備する必要もない。この点において、位置関係検出装置１００では、比較的簡単な構成で、撮像装置から被写体までの遠近に関する情報を取得することができる。
また、１つの撮像装置１４０が複数の画像を撮像するので、位置関係検出部１５０は、これら複数の画像間における画素の対応関係を容易に把握し得る。このように、位置関係検出装置１００では、複雑な画像マッチング処理を行う必要無しに、複数の画像間における画素の対応関係を把握して、撮像装置から被写体までの遠近に関する情報を取得することができる。

また、位置関係検出装置１００では、特定の偏光方向の光のみを通過させる偏光子１１０と、前記偏光子を通過した光の偏光方向を回転させる偏光回転素子１２２と、光の偏光方向に応じて異なる屈折率で当該光を屈折させる複屈折素子１３０との組み合わせで光路シフト部を構成することができる。この点において、位置関係検出装置１００の構成を、比較的簡単な構成とすることができる。

また、位置関係検出部１５０は、複数の画像の差分を求め、得られた差分から、前記複数の被写体それぞれの位置のずれ幅を求める。これにより、位置関係検出装置１００では、複雑な画像マッチング処理を行う必要無しに、撮像装置から被写体までの遠近に関する情報を取得することができる。

上述した実施形態における位置関係検出装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…位置関係検出装置，１１０…偏光子，１２１…駆動装置，１２２…偏光回転素子，１３０…複屈折素子，１４０…撮像装置，１４１…レンズ群，１４２…撮像素子，１５０…位置関係検出部

Claims

撮像装置に入る光の光路をシフトさせる光路シフト部と、
前記光路シフト部による光路のシフト量を変化させるシフト量制御部と、
前記シフト量が異なる状態で前記撮像装置が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、前記撮像装置から前記複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する位置関係検出部と、
を具備する位置関係検出装置。
前記光路シフト部は、
特定の偏光方向の光のみを通過させる偏光子と、
前記偏光子を通過した光の偏光方向を回転させる偏光回転素子と、
光の偏光方向に応じて異なる屈折率で当該光を屈折させる複屈折素子と、
を具備し、
前記シフト量制御部は、前記偏光回転素子による偏光方向の回転量を制御し、
前記複屈折素子は、前記偏光回転素子を通過した光の光路を、前記偏光回転素子での偏光方向の回転量に応じて異なるシフト量でシフトさせる、
請求項１に記載の位置関係検出装置。
前記位置関係検出部は、前記複数の画像の差分を求め、得られた差分から、前記複数の被写体それぞれの位置のずれ幅を求める、請求項１または請求項２に記載の位置関係検出装置。
撮像装置に入る光の光路のシフト量を変化させるシフト量制御ステップと、
前記シフト量が異なる状態で前記撮像装置が撮像した複数の画像間での、当該複数の画像に撮像された複数の被写体それぞれの位置のずれ幅に基づいて、前記撮像装置から前記複数の被写体までの距離の、他の被写体との比較による相対的な遠近関係を検出する位置関係検出ステップと、
を有する位置関係検出方法。