JP2011027718A - 単一カメラ及び運動センサーによる３次元情報抽出 - Google Patents

Abstract

【課題】単一のカメラを使用して被写体の３次元情報を提供する。
【解決手段】二つの異なるカメラ位置から、少なくとも一つの被写体の写真を撮影する。カメラに連結される運動測定装置は、ある地点から他の地点へ移動した際のカメラの直線位置の変化及び角度方向の変化を測定し、測定して得られた情報から、被写体の３次元情報を導き出す。また、ある実施形態においては、写真の画像から被写体の３次元情報を導き出す。
【選択図】図５

Description

携帯電子機器の技術の発展に伴い、各種の機能が一つの機器に組み込まれるようになると同時に、これら機器のフォームファクターは小さくなりつつある。携帯電子機器は、広範な処理能力、仮想キーボード、携帯電話やインターネットサービスへの無線接続機能及びカメラを搭載していることが多い。特に、カメラは広く普及している付加機能であるが、携帯電子機器に搭載されている典型的なカメラは、低解像度のスナップ写真及び短いシーケンスの動画機能に限られている。これは、携帯電子機器の軽量・小型化及び携帯性への要求から、より高度なカメラの使用が難しいからである。例えば、物理的に離れた地点から同一被写体の二つの写真を撮影し、同一光景で遠近が僅かに異なる画像を得ることにより、三次元写真撮影が可能となる。このような立体画像生成アルゴリズムの技術では、一般的に、二つの写真を撮影した二地点の正確な相対位置情報が必要となる。特に、二つのカメラ位置間の距離及び光軸の輻輳角は、画像から奥行きの情報を抽出するのに必須である。従来技術による典型的な方法は、二つのカメラを用意し、互いに固定された位置から同時に写真を撮るというものであるが、これはコストがかかり、設定も煩雑である。したがって、小型で相対的に安価な携帯機器にこのような方法を用いることは、現実的ではない。

以下に記載する説明及び添付の図面を参照することにより、本発明の実施形態は理解される。

本発明の実施形態による内蔵カメラを備える多機能の携帯ユーザー機器を示す。 本発明の実施形態による直線運動及び角運動について参照するための枠組みを示した図である。 本発明の実施形態による直線運動及び角運動について参照するための枠組みを示した図である。 本発明の実施形態による、一つのカメラで同じ被写体の二つの写真を、異なる時間に異なる位置から撮影する様子を示した図である。 本発明の実施形態において、被写体が中心から外れた位置にある画像を示した図である。 本発明の実施形態による、単一のカメラを使用して被写体の３次元情報を提供する方法を示したフローチャートである。

以下の詳細な説明では、多くの詳細事項が記される。しかしながら、これら詳細事項がなくとも本発明を実施可能であることは明らかである。また、本発明を不明瞭にしない目的から、他の例においては、周知の回路、構造及び技術についての詳細な説明を省略している。

また、「一実施形態」、「実施形態」、「実施例」、「様々な実施形態」等の参照は、本発明の実施形態が特定の特徴、構造及び特性を含むことを示唆するが、必ずしもすべての実施形態が、これら特定の特徴、構造及び特性を含むことを意味しない。また、ある実施形態において、他の実施形態に記載された特徴のいくつか又はすべてが含まれていてもよいし、全く含まれていなくてもよい。

また、以下に記載の説明および特許請求の範囲において、「連結」及び「接続」という言葉、並びにこれらの派生語が使用されることがあるが、これらの言葉は、同義語として使用されているのではない。特定の実施例において、「接続」は、二つ以上の要素が、物理的に又は電気的に直接互いに接触していることを示すのに使用され、「連結」は、二つ以上の要素が、協動又は相互作用しているが、物理的にあるいは電気的に直接、接しているか否かは問われない場合を示すのに使用されている。

また、特許請求の範囲において、共通の要素に使用される序数詞「第１の」、「第２の」、「第３の」等は、特に記載がない限り、単に同類の要素の異なる例を示しているに過ぎず、当該要素の時間的な若しくは空間的な順序、又は序列等における順番を示しているわけではない。

本発明の様々な実施形態は、ハードウェア、ファームウェア、ソフトウェア、及びこれらの組み合わせにより実施可能である。また、本発明は、コンピュータ可読メディアに含まれる命令として、又はコンピュータ可読メディアに対する命令として実施可能であり、当該命令は、明細書に記載のオペレーションを実行可能にする一つ又は複数のプロセッサによって、読み出され、実行される。コンピュータ可読メディアとしては、一つ又は複数のコンピュータが可読な形式で情報を蓄積するあらゆる装置が含まれる。そのようなコンピュータ可読メディアとしては、これらに限定されないが、例えば、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリ装置等の有形の記憶媒体が含まれる。

本発明の実施形態によれば、一つのカメラを異なる地点に移動させることにより、異なる時間に異なる場所から同一風景の二つの写真を撮影して、一つ又は複数の被写体の三次元（３Ｄ）情報を得ることができる。複数の写真を撮影する間に、どれだけカメラが動いたのかを測定するのに、直線運動センサーを使用することができ、これによりカメラが動いた距離に対する基線が得られる。また、カメラの方向の変化を測定するのに角運動センサーを使用することがき、これにより所要の輻輳角が得られる。このようにして得られた位置及び角度の情報は、二つの固定カメラが搭載された場合に得られる情報と比べて精度が劣るかもしれない。しかしながら、多くのアプリケーションにおいて十分な精度を備えており、煩雑な手順を要する後者の場合と比較してコスト削減及び小型化が可能である点で、有益である。

様々な形の運動センサーを使用することができる。例えば、互いに直交する角度で設けられた三つの直線運動加速度計により三次元空間での加速度情報を得るようにしてもよい。得られた加速度情報は、三次元空間での直線運動情報へと変換され、更に三次元空間での位置情報に変換される。同様に、角運動加速度計により、三つの直交軸について回転加速度情報を得るようにしてもよく、得られた回転加速度情報は、三次元空間における角度方向の変化の情報に変換される。適当な精度を有する加速度計は、特に短時間での計測機能だけ備えればよいのであれば、十分安価に且つ小型に形成される。

二つの写真から得られる情報は、様々な方法で活用することができ、以下に限定されないが、例えば、１）同一背景における一つの又は複数の被写体について、カメラ‐被写体間の距離を測定する、２）複数の被写体についてのカメラ‐被写体間の距離を利用して、当該複数の被写体とカメラとの相対距離及び／又は複数の被写体間の相対距離を測定し、複数の被写体の重なり方を導き出す、３）周辺領域の一連の写真を撮ることにより、自動的に全領域の３Ｄ地図を作成する、といった活用法がある。直線測定装置及び角度測定装置の長期間精度によるが、撮影した写真がそれぞれ、少なくとも一つの他の写真との間に共通の被写体を少なくとも一つ含みさえすれば、適切な三角測量計算が可能となり、対象領域を移動して写真を撮るだけで、地理的に広範囲な領域の地図を作成することができる可能性がある。

図１は、本発明の実施形態による内蔵カメラを備える多機能の携帯ユーザー機器を示す。機器１１０が、ディスプレイ１２０及びカメラレンズ１３０と共に描かれている。カメラの残りの部分、プロセッサ、メモリ、無線機及び他のハードウェア、並びにソフトウェア機能は、機器の中に収容され、図では不可視となっている。機械部品、回路及びソフトウエアを含む運動及び方向を計測するためのデバイスは、実際のカメラの外に設けてもよく、この場合、デバイスは物理的及び電子的に当該カメラと連結される。図において、機器１１０は、特定の形状、大きさ及び外観を持つように描かれているが、これは例示しているに過ぎず、本発明の実施形態は、これら特定の物理的形状に限定されるものではない。ある実施形態においては、機器１１０は、他の付加機能を省いたカメラ主体の構成であってもよい。また、ある実施形態においては、機器１１０は、カメラに無関係の他の機能を多数有する多機能機器であってもよい。簡単に図示するため、ディスプレイ１２０及びカメラレンズ１３０が機器の同一面に描かれているが、多くの実施例の場合、レンズは、機器のディスプレイとは反対側の面に設けられており、ディスプレイがユーザーにとってのファインダーとして機能するようになっている。

図２Ａ及び図２Ｂは、本発明の実施形態による直線運動及び角運動について参照するための枠組みを示した図である。互いに直交する三つの軸、Ｘ、Ｙ、Ｚを仮定する。図２Ａは、直線運動が、これら各軸に沿った線形ベクトルでどのよう表現されるかを示している。図２Ｂは、角運動が、各軸についての回転でどのよう表現されるかを示している。これらをもとに、６自由度の運動により、物体、例えばカメラが、三次元空間でどのような位置運動及び回転運動しているのかを表現することができる。このカメラに対するＸＹＺ系は、周辺領域に対するＸＹＺ系と比較する場合に、変更されてもよい。例えば、加速度計のような運動センサーがカメラに固定されて搭載されている場合、このセンサーのＸＹＺ軸は、カメラの基準点からの軸となり、カメラが回転するとＸＹＺ軸も回転する。しかし、必要とする運動情報が、カメラ外部の固定された基準点、例えば地球に対しての運動であった場合、カメラ内部の変化するＸＹＺ系を、外部の相対的に固定されたＸＹＺ系に変換する必要がある。このような場合の変換のためのアルゴリズムは周知であり、本明細書では詳細に記述しない。

運動を測定する方法の一つとして、カメラに対して固定された方向に設けられ当該カメラと連結された加速度計を利用する方法がある。測定軸がそれぞれＸ、Ｙ、Ｚの三軸のいずれかと並行である三つの直線加速度計によれば、カメラがある地点から他の地点に移動された時の三次元での直線加速度を検知することができる。カメラの初期速度及び初期位置が既知であるとすると（例えば、既知の位置で静止した状態からスタートする場合）、加速度計によって検知された加速度を使って、各軸に沿った速度を計算することができ、更には任意の時点における位置の変化を計算することができる。重力が鉛直方向の加速度として検出されるので、計算から差し引くようにしてもよい。また、測定の間、カメラが水平に保たれていない場合、Ｘ及び／又はＹ加速度計が重力成分を検出してしまうので、これらも計算から差し引くようにしてもよい。

同様にして、それぞれ回転軸がＸ、Ｙ、Ｚの三軸と並行である三つの角加速度計を利用して、三次元でのカメラの回転加速度（すなわち、カメラがどの方向の点に対しても回転可能である）を、直線運動とは別に、検知することができる。検知された回転加速度は、角速度、そして角度位置に変換することができる。

加速度測定での微小な誤差が、結果として速度及び位置の大きな誤差になっていくため、加速度計の定期的な較正が必要となる場合がある。例えば、第１の写真の撮影時にはカメラが固定されているとすると、その時点の加速度計の測定値は固定カメラに相当する値を示していると考えられ、この値からの変動分のみが運動を示していると解釈される。

運動を検知するのに別の方法を用いることもできる。例えば、ＧＰＳ（グローバルポジショニングシステム）を利用して、任意の時間における地球座標系でのカメラの位置を取得し、様々な写真について位置情報を直接測定するようにしてもよい。また、電子コンパスを使って、地球座標系で任意の時間におけるカメラが向いている方向を測定してもよく、様々な写真について光軸の方向の情報を、直接電子コンパスから取得するようにしてもよい。また、ある実施形態において、リニアセンサーの数を二つに（Ｘ及びＹの水平センサーに）、そして方向センサーの数を一つに（縦Ｚ軸回りのセンサーに）減らすため、ユーザーは、写真を撮影する際に、可能な限りカメラを水平にすることが求められる場合がある（例えば、気泡管水平器や電子傾斜センサーの表示をカメラに設けるようにしてもよい）。電子傾斜センサーを使用した場合、カメラが水平でない状態で写真が撮影されるのを防ぐため、水平情報が提供されるようにしてもよいし、写真を撮影する際にカメラを水平状態とするための補正情報を提供するようにしてもよい。また、ある実施形態において、外部のソースから位置情報及び／又は方向情報をカメラに入力するようにしてもよく、例えばユーザーによる入力や、本明細書に記載される範囲外の方法によってこれらの情報を測定し、当該情報を、カメラの運動検知システムに無線送信するローカルな位置探査システムによる入力が考えられる。また、ある実施形態においては、ユーザーがカメラを正しい方向に回転させるのを支援するための視覚表示器を設けるようにしてもよい。例えば、画面にサイン（例えば、矢印、丸、歪みを表す囲み等）を表示させて、ユーザーに、第２の写真において被写体の所望の映像を得るにはどちらの方向にカメラを回転させたらよいか（左右及び／又は上下）を示すようにしてもよい。また、ある実施形態において、これら様々な方法を組み合わせて使用してもよい。（例えば、ＧＰＳ座標を直線運動測定に使用し、角加速度計を回転運動測定に使用する等。）また、ある実施形態では、カメラが複数の利用可能な方法を備えていて、ユーザー又はカメラが、自動的にあるいは手動で、利用可能な方法を選択する及び／又は複数の方法を様々に組み合わせるようにしてもよい。

図３は、本発明の実施形態による、一つのカメラで同じ被写体の二つの写真を、異なる時間に異なる位置から撮影する様子を示した図である。図に示される例では、カメラ３０が、カメラの光軸（すなわち、カメラが向く方向、写真の中心に相当）を方向１に向けて、被写体Ａ及び被写体Ｂの第１の写真を撮影する。この光軸に対する被写体Ａ及び被写体Ｂの方向は、点線で示されている。カメラ３０を第２の位置に移動させた後、カメラ３０は、カメラの光軸を方向２に向けて、被写体Ａ及び被写体Ｂの第２の写真を撮影する。図示されるように、カメラは、真っすぐでない道筋を通って第１の位置から第２の位置に移動している。最終的な計算には、実際の第１の位置及び第２の位置が重要であって、二点間を移動した道筋は重要ではない。しかしながら、ある実施形態においては、複雑な道筋をたどることにより、第２の位置を測定するプロセスが複雑になることが考えられる。

図に示すように、この例では、いずれの被写体も直接写真の中心に位置していない。しかしながら、カメラの光軸及び当該光軸に対して被写体が写真のどの位置に現れるかに基づいて、カメラから各被写体の方向を計算することができる。図４は、本発明の実施形態において、被写体が中心から外れた位置にある場合を描いたものである。図４に示されるように、どの写真においても、カメラの光軸は画像の中心に位置する。被写体Ａが画像の中心から外れて位置している場合、画像中の光軸と当該被写体の位置との間の水平差分ｄを、光軸からの角度差に容易に変換することができる。この角度差は、被写体のカメラからの物理的距離にかかわらず、同じになる。ここでは、大きさｄが水平差分を表しているが、必要であれば、垂直差分を同様の方法で測定するようにしてもよい。

したがって、カメラが向いている方向を取得し、その方向を、写真における被写体の配置に基づいて調整することによって、各カメラ位置からの各被写体の方向を計算することができる。ここでは、カメラが、両方の写真において同じ視野を使用している（例えば、第１の写真と第２の写真との間でズームを使用していない）と仮定している。よって、両方の写真において、画像中の位置が同一であれば、同じ角度差となる。一方、異なる視野が使用される場合には、各写真における角度差を計算するのに、それぞれ異なる変換値を用いる必要がある。しかしながら、両写真で被写体が光軸に沿って並んでいる場合は、中心からの差分計算をする必要がない。この場合、視野にかかわらず光軸は同じになるため、第１の写真と第２の写真との間で光学ズームを使用することが許容される。

本明細書の他の部分で記載される特徴に換えて又は加えて、その他の特徴を有する様々な実施形態が考えられる。例えば、ある実施形態において、カメラが水平に及び／又は安定に設置されない限り、写真撮影を可能としないように構成してもよい。また、ある実施形態において、ユーザーがカメラを第２の位置の付近に移動し、カメラが水平になり且つ安定したら、カメラが自動的に第２の写真を撮影するようにしてもよい。また、ある実施形態において、第２の位置に移動して異なる被写体がそれぞれ中心に位置するような複数の写真を撮影する前に、各位置において、被写体がそれぞれ中心に位置するようような同一被写体の写真を撮影するようにしてもよい。同一被写体を撮影した一組の写真は、上述の二写真と同様に扱うことができる。

位置の変化、及びカメラからの各被写体の方向の変化に基づいて、被写体Ａ及び被写体Ｂの各々について様々な３次元情報が計算される。図では、第２のカメラ位置は、第１のカメラ位置よりも被写体に近くなっており、この差分も計算することができる。ある実施形態において、被写体がある写真と他の写真との間で異なる大きさに見える場合、相対的な大きさを、距離情報を計算するのに利用できる場合もあり、又は、少なくとも相対的距離情報を計算するのに利用できる。また、入手可能な情報に基づいて、その他の幾何学的関係を計算することもできる。

図５は、本発明の実施形態による、単一カメラを使用して一つの被写体の３次元情報を提供する方法を示したフローチャートである。フローチャート５００において、ある実施形態では、必要であれば、位置センサー及び方向センサーの較正を行うオペレーション５１０からプロセスを始めてもよい。運動検知が加速度計によって行われる場合、第１の位置を確立するために、第１の写真を撮影する５２０の直前、直後、又はそれと同時にゼロ速度の読み込みが必要となる。較正が必要ない場合は、５１０を省略して、第１の写真を撮影する５２０からプロセスを開始してもよい。５３０において、カメラを、第２の写真が撮影される第２の位置に移動させる。５４０では、使用されるセンサーの種類に応じて、移動した間の直線運動及び／又は回転運動がモニターされて計算される（例えば加速度計の場合）。あるいは、第２の写真が撮影された時に、単純に第２の位置及び方向を計算する（例えば、ＧＰＳ及び／又は方位磁針による測定値の場合）。５５０で第２の写真が撮影される。５６０では、位置情報の変化および方向情報の変化に基づいて、各種の３次元情報が計算される。そして、３次元情報が様々に活用される。

上記の記載は、本発明を説明することを意図しており本発明を限定するものではない。多様な変更または改良が当業者に明らかであるが、これらの多様な変更または改良を加えた形態も本発明の多様な実施形態に含まれることを意図している。また本発明は、以下に記載の特許請求の範囲によってのみ限定される。

Claims (14)

1. 被写体の第１の写真を第１の位置から第１の時に撮影し、前記被写体の第２の写真を第２の位置から第２の時に撮影するカメラと、
   前記カメラに連結され、前記第１の写真と前記第２の写真との間での前記カメラの角度方向の変化、及び前記第１の位置と前記第２の位置との間での前記カメラの直線位置の変化を測定する運動測定装置と、
   前記角度方向の変化と前記直線位置の変化に基づいて、前記カメラに対する前記被写体の３次元情報を決定する処理装置とを備える機器。
2. 前記運動測定装置が、直線加速度計を含む請求項１に記載の機器。
3. 前記運動測定装置が、少なくとも一つの角加速度計を含む請求項１に記載の機器。
4. 前記運動測定装置が、グローバル・ポジショニング・システム（ＧＰＳ）を備え、前記第１の位置と前記第２の位置との間の直線距離を測定する請求項１に記載の機器。
5. 前記運動測定装置が、方位磁針を備え、前記第１の写真と前記第２の写真との間での前記カメラの角度方向の変化を測定する請求項１に記載の機器。
6. 被写体の第１の写真を、第１の位置から第１の時にカメラで撮影する段階と、
   前記カメラを前記第１の位置から第２の位置に移動させる段階と、
   前記被写体の第２の写真を、前記第２の位置から第２の時に前記カメラで撮影する段階と、
   前記第１の位置と前記第２の位置との間の直線距離、及び、前記第１の時と前記第２の時との間における前記カメラの光軸の角度の変化を、前記カメラに連結された複数の電子デバイスにより測定する段階とを備える方法。
7. 前記直線距離及び前記角度の変化に基づいて、前記第１の位置及び前記第２の位置に対する前記被写体の位置を決定する段階をさらに備える請求項６に記載の方法。
8. 前記測定する段階が、
   複数の垂直軸に沿った加速度を測定して、前記直線距離を測定する段階と、
   少なくとも一つの回転軸周りの角加速度を測定して、前記角度の変化を測定する段階と、を有する請求項６に記載の方法。
9. 前記測定する段階が、
   前記第１の写真を撮影する前に、前記カメラを１度目に水平にする段階と、
   前記第２の写真を撮影する前に、前記カメラを２度目に水平にする段階と、を有する請求項６に記載の方法。
10. 前記角度の変化の測定において、
    前記第１の写真の前記被写体の位置に一部基づいて、前記第１の写真における前記被写体の角度方向を測定し、
    前記第２の写真の前記被写体の位置に一部基づいて、前記第２の写真における前記被写体の角度方向を測定する請求項６に記載の方法。
11. 前記直線距離の測定において、グローバル・ポジショニング・システム（ＧＰＳ）を用いて前記第１の位置及び前記第２の位置を測定する請求項６に記載の方法。
12. 前記角度の変化の測定において、コンパスを用いて、前記第１の時及び前記第２の時の前記光軸の方向を測定する請求項６に記載の方法。
13. 一つ又は複数のプロセッサによって実行されることで請求項６から請求項１２のいずれか１つに記載の方法を行う命令を含むコンピュータ可読記憶媒体を備える製品。
14. 請求項６から請求項１２のいずれか１つに記載の方法を行うロジックを備えるコンピュータシステム。

Images