JP2019022211A - スマートデバイス及び深度画像を出力する方法 - Google Patents

Abstract

【課題】双眼レンズまたはマルチレンズを用いたデバイスを用いる場合に存在した、体積が大きく、消費電力が高いという欠陥を解消する。【解決手段】スマートデバイス１００において、反射ミラーは、収集した光を、レンズに反射する。レンズは、反射ミラーから反射された光を、画像センサに射出する。画像センサは、受光した光を結像処理して、画像を取得するとともに、画像をプロセッサに送信する。プロセッサは、画像に基づいて、深度画像を出力する。当該スマートデバイスでは、１つのレンズしか使用されていないので、レンズが反射ミラーとの協働で、光を収集して、深度画像を取得し、双眼レンズまたはマルチレンズと同じ効果を実現する。【選択図】図１Ａ

Description

本発明は、画像技術分野に関し、特に、スマートデバイス及び深度画像を出力する方法に関する。

世界は立体的なものであり、世界中の全ての物体の位置がいずれも、３次元空間情報で示されることが可能であり、各物体の幾何属性が３次元空間情報で記述されてもよい。そのため、３次元空間情報は、生物体及び自律型デバイスによる世界の感知に対する重要なものである。

目下、３次元空間情報を取得する方法は種々あり、例えば、レーザ光、飛行時間（Time-of-Flight）、構造光、オプティカルフロー（Optical Flow）、双眼レンズまたはマルチレンズに基づく立体的視覚などの方法が採用されてもよい。そのうち、双眼レンズまたはマルチレンズに基づく立体的視覚法は、適用範囲が広く、感知範囲が広く、取得できる情報が豊かで、理論上にも成熟したなどのメリットを有するため、幅広く応用されており、例えば、現在、多くの車両の運転支援システム中に応用されており、無人機、火星探査車、月探査車などの分野にも応用されている。

しかし、双眼レンズまたはマルチレンズに基づく立体的視覚法では、少なくとも、２つ以上のレンズを使用する必要があるので、双眼レンズまたはマルチレンズを用いたデバイスは、体積が大きく、消費電力が高いなどのデメリットを有する。

上記の問題を鑑みて、本発明を提案し、上記の問題を克服した、または、上記の問題を少なくとも一部解決したスマートデバイス及び深度画像を出力する方法を提供することにより、従来技術の双眼レンズまたはマルチレンズを用いたデバイスを用いる場合に存在した、体積が大きく、消費電力が高いという欠陥を解消した。

本発明の実施の形態の第１の面では、反射ミラー、レンズ、画像センサ、及び、プロセッサを含むスマートデバイスであって、
前記反射ミラーは、収集した光を、前記レンズに反射するためのものであり、
前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出するためのものであり、
前記画像センサは、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサに送信するためのものであり、
前記プロセッサは、前記画像に基づいて、深度画像を出力するためのものである、スマートデバイスを提供する。

一実施の形態では、本発明の上記の実施の形態に記載のデバイスによると、前記反射ミラーは、第１の反射ミラーの組と第２の反射ミラーの組を含む。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記第１の反射ミラーの組は、第１の反射ミラーと第２の反射ミラーを含み、前記第１の反射ミラーと前記第２の反射ミラーとの間は予め設定された角度をなしており、
前記第２の反射ミラーの組は、第３の反射ミラーと第４の反射ミラーを含み、前記第３の反射ミラーと前記第４の反射ミラーとの間は予め設定された角度をなしている。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記第１の反射ミラーは、収集した光を、前記第２の反射ミラーに反射するためのものであり、
前記第２の反射ミラーは、収集した光を、前記レンズの第１の部分に反射するためのものである。いくつかの実施の形態では、本発明の上記した実施の形態のいずれかに記載のデバイスによると、前記画像センサの第３の部分は、前記レンズの第１の部分で受光した光を結像する。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記レンズの第１の部分は、前記レンズの左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
前記画像センサの第３の部分は、前記画像センサの左部分、右部分、上部分及び下部分のうちの少なくとも１つである。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記第３の反射ミラーは、収集した光を、前記第４の反射ミラーに反射するためのものであり、
前記第４の反射ミラーは、収集した光を、前記レンズの第２の部分に反射するためのものである。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記画像センサの第４の部分は、前記レンズの第２の部分で受光した光を結像する。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記レンズの第２の部分は、前記レンズの左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
前記画像センサの第４の部分は、前記画像センサの左部分、右部分、上部分及び下部分のうちの少なくとも１つである。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記レンズは、前記反射ミラーの下方に位置し、前記画像センサは、前記レンズの真下に位置し、または、
前記レンズは、前記反射ミラーの上方に位置し、前記画像センサは、前記レンズの真上に位置し、または、
前記レンズは、前記反射ミラーの左方に位置し、前記画像センサは、前記レンズの真左に位置し、または、
前記レンズは、前記反射ミラーの右方に位置し、前記画像センサは、前記レンズの真右に位置する。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記第１の反射ミラーの組と前記第２の反射ミラーの組に含まれた反射ミラーの鏡面は平面、凸面、及び凹面のうちの少なくとも１つである。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載のデバイスによると、前記プロセッサに送信された画像は、前記画像センサが取得した画像のうちの一部の画像である。

本発明の実施形態の第２の面では、第１の面または第１の面におけるいずれか１つの実施例に記載のスマートデバイスに用いられる深度画像を出力する方法であって、
前記反射ミラーは、収集した光を、前記レンズに反射し、
前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出し、
前記画像センサは、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサに送信し、
前記プロセッサは、前記画像に基づいて、深度画像を出力することを含む、方法を提供する。

一実施の形態では、本発明の上記の実施の形態に記載の方法によると、前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出する前に、
前記レンズは、前記レンズを２つの仮想カメラに等価化するとともに、前記２つの仮想カメラのそれぞれの内部パラメータを、ともに、前記レンズの内部パラメータに設定することをさらに含む。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載の方法によると、前記プロセッサは前記画像を処理して、深度画像を出力することは、
前記プロセッサは、前記画像を補正し、かつ、補正後の画像を立体的にマッチングし、前記プロセッサは、立体的にマッチングされた画像を処理して、深度画像を出力することをさらに含む。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載の方法によると、前記プロセッサは前記画像を補正することは、
前記プロセッサは、前記２つの仮想カメラが位置合せられるように、前記２つの仮想カメラを回転させることをさらに含む。

いくつかの実施の形態では、本発明の上記の実施の形態のいずれかに記載の方法によると、前記プロセッサは、前記２つの仮想カメラを回転させることは、
前記プロセッサは、前記第１の反射ミラーの組と前記第２の反射ミラーの組との間の第１の相対的位置関係を特定し、
前記プロセッサは、前記第１の相対的位置関係に基づいて、前記２つの仮想カメラ間の第２の相対的位置関係を特定し、
前記プロセッサは、前記第２の相対的位置関係に基づいて、前記２つの仮想カメラを回転させることを含む。

本発明の実施例では、反射ミラー、レンズ、画像センサ、及び、プロセッサを含むスマートデバイスであって、前記反射ミラーは、収集した光を、前記レンズに反射するためのものであり、前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出するためのものであり、前記画像センサは、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサに送信するためのものであり、前記プロセッサは、前記画像に基づいて、深度画像を出力するためのものである、スマートデバイスを提案する。当該スマートデバイスでは、１つのレンズしか使用されておらず、当該レンズが反射ミラーとの協働で、光を収集して、最後に、深度画像を取得し、双眼レンズまたはマルチレンズと同じ効果を実現することができる。そのため、従来技術の双眼レンズまたはマルチレンズを用いたデバイスを用いる場合に存在した、体積が大きく、消費電力が高いという欠陥を解消することができる。

上記の説明は、本発明の技術案の概要に過ぎず、本発明の技術手段をより明確に理解できるように、明細書の内容に基づき実施することができる。かつ、本発明の上記の目的及び他の目的、特徴、及びメリットをさらに明瞭的かつ分かりやすくするために、以下は、特に、本発明の具体的な実施の形態を例示する。

以下の好適な実施の形態に対する詳細を閲覧したうえで、本発明のさまざまな他のメリットや有益な効果は、当業者にとっては明瞭なものとなるだろう。添付図面は、好適な実施の形態を例示するためのものに過ぎず、本発明を制限するものではない。かつ、全ての添付図面において、同一の部材は同一の参照符号で示される。

本発明の実施例に基づいて提案されたスマートデバイスの概略図である。 本発明の実施例に基づいて提案された反射ミラーの概略図である。 本発明の実施例に基づいて提案された画像センサで結像された画像の一部を選定する概略図である。 本発明の実施例に基づいて提案された深度画像を出力する方法のフローチャートである。 本発明の実施例に基づいて提案された補正前の画像の比較概略図である。 本発明の実施例に基づいて提案された補正前の画像の拡大比較概略図である。 本発明の実施例に基づいて提案された補正後の画像の拡大比較概略図である。

以下は、添付図面を参照しながら、本開示の例示的な実施例をより詳しく説明する。添付図面には、本開示の例示的な実施例が示されたが、本開示は、種々な形式で実現することができ、ここに記載の実施例により限られたものではないと理解すべきである。逆に、それらの実施例を提供する目的は、本開示をさらに明瞭に理解できるようにすることであって、本開示の範囲を当業者に完全に伝えることができることである。

図１Ａに示されるように、本発明の実施例では、反射ミラー１０、レンズ１１、画像センサ１２、及び、プロセッサ１３を含むスマートデバイス１００を提案し、そのうち、
前記反射ミラー１０は、収集した光を、前記レンズ１１に反射するためのものであり、
前記レンズ１１は、前記反射ミラー１０から反射された光を、前記画像センサ１２に射出するためのものであり、
前記画像センサ１２は、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサ１３に送信するためのものであり、
前記プロセッサ１３は、前記画像に基づいて、深度画像を出力するためのものである。

本発明の実施例では、選択的に、前記反射ミラー１０は、第１の反射ミラー１０の組と第２の反射ミラー１０の組を含んでもよい。即ち、本発明の実施例に記載の反射ミラー１０は、２つの反射ミラー１０の組を含んでもよい。ここで説明すべきなのは、反射ミラー１０の数はそれに限らず、上記の記載がただの例示的なものに過ぎない。実際な応用では、実際な必要に応じて、変化することが可能であり、例えば、２組以上の反射ミラー１０を含んでもよい。

本発明の実施例では、選択的に、前記第１の反射ミラー１０の組は、第１の反射ミラー１０と第２の反射ミラー１０を含み、前記第１の反射ミラー１０と前記第２の反射ミラー１０との間に予め設定された角度をなしており、前記第２の反射ミラー１０の組は、第３の反射ミラー１０と第４の反射ミラー１０を含み、前記第３の反射ミラー１０と前記第４の反射ミラー１０との間は予め設定された角度をなしていてもよい。

そのうち、選択的に、第１の反射ミラー１０と第２の反射ミラー１０は平行に設置されてもよい。例えば、第１の反射ミラー１０と前記第２の反射ミラー１０との間の予め設定された角度が０°または１８０°であってもよい。同じ理由により、選択的に、第３の反射ミラー１０と第４の反射ミラー１０は平行に設置されてもよい。例えば、第３の反射ミラー１０と前記第４の反射ミラー１０との間の予め設定された角度が０°または１８０°であってもよい。

ここで説明すべきなのは、予め設定された角度は任意の角度であってもよい。上記記載の０°または１８０°はただ具体的な例示に過ぎず、実際な応用では、それらに限らず、他の角度、例えば、５°〜２０°であってもよい。

図１Ｂは、反射ミラー１０の概略図であり、１は第１の反射ミラー１０であり、２は第２の反射ミラー１０であり、第１の反射ミラー１０と第２の反射ミラー１０が平行となり、３は第３の反射ミラー１０であり、４は第４の反射ミラー１０であり、第３の反射ミラー１０と第４の反射ミラー１０が平行となる。

図１Ｂは、反射ミラー１０の例示に過ぎず、実際な応用では、それに限らない。ここでは、詳しい説明が省略される。

本発明の実施例では、選択的に、前記第１の反射ミラー１０は、収集した光を、前記第２の反射ミラー１０に反射するためのものであり、
前記第２の反射ミラーは、収集した光を、前記レンズ１１の第１の部分に反射するためのものであってもよい。

図１Ａに示されるように、ｂ３上の反射ミラー１０は、光ｍ１をａ１上の反射ミラー１０に反射し、ａ１上の反射ミラー１０はさらに、光をレンズ１１に反射する。ｂ３上の反射ミラー１０は光ｍ２をａ１上の反射ミラー１０に反射し、ａ１上の反射ミラー１０はさらに、光をレンズ１１に反射する。同じ理由により、ｃ３上の反射ミラー１０は光ｍ３をａ３上の反射ミラー１０に反射し、ａ３上の反射ミラー１０はさらに、光をレンズ１１に反射する。ｃ３上の反射ミラー１０は光ｍ４をａ３上の反射ミラー１０に反射し、ａ３上の反射ミラー１０はさらに、光をレンズ１１に反射する。

本発明の実施例では、前記画像センサ１２の第３の部分は、前記レンズ１１の第１の部分で受光した光を結像する。前記レンズ１１の第１の部分は、前記レンズ１１の左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
前記画像センサ１２の第３の部分は、前記画像センサ１２の左部分、右部分、上部分及び下部分のうちの少なくとも１つである。

同じ理由により、選択的に、前記第３の反射ミラー１０は、収集した光を、前記第４の反射ミラー１０に反射するためのものであり、
前記第４の反射ミラー１０は、収集した光を、前記レンズ１１の第２の部分に反射するためのものであってもよい。

本発明の実施例では、選択的に、前記画像センサ１２の第４の部分は、前記第２の部分での光を結像してもよい。

前記レンズ１１の第２の部分は、前記レンズ１１の左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
前記画像センサ１２の第４の部分は、前記画像センサ１２の左部分、右部分、上部分及び下部分のうちの少なくとも１つである。

ここで説明すべきなのは、選択的に、レンズ１１の第１の部分と第２の部分との位置関係は逆なものであってもよい。

例えば、レンズ１１の第１の部分がレンズ１１の左部分である場合、レンズ１１の第２の部分はレンズ１１の右部分である。レンズ１１の第１の部分がレンズ１１の右部分である場合、レンズ１１の第２の部分はレンズ１１の左部分である。レンズ１１の第１の部分がレンズ１１の上部分である場合、レンズ１１の第２の部分はレンズ１１の下部分である。レンズ１１の第１の部分がレンズ１１の下部分である場合、レンズ１１の第２の部分はレンズ１１の上部分である。

同じ理由により、選択的に、画像センサ１２の第３の部分と第４の部分との位置関係は逆なものであってもよい。例えば、画像センサ１２の第３の部分が画像センサ１２の左部分である場合、画像センサ１２の第４の部分は画像センサ１２の右部分である。画像センサ１２の第３の部分が画像センサ１２の右部分である場合、画像センサ１２の第４の部分は画像センサ１２の左部分である。画像センサ１２の第３の部分が画像センサ１２の上部分である場合、画像センサ１２の第４の部分は画像センサ１２の下部分である。画像センサ１２の第３の部分が画像センサ１２の下部分である場合、画像センサ１２の第４の部分は画像センサ１２の上部分である。

勿論、上記記載はレンズ１１と画像センサ１２のいくつかの具体的な例示に過ぎず、限られたものではない。

本発明の実施例では、選択的に、前記レンズ１１は、前記反射ミラー１０の下方に位置し、前記画像センサ１２は、前記レンズ１１の真下に位置し、または、
前記レンズ１１は、前記反射ミラー１０の上方に位置し、前記画像センサ１２は、前記レンズ１１の真上に位置し、または、
前記レンズ１１は、前記反射ミラー１０の左方に位置し、前記画像センサ１２は、前記レンズ１１の真左に位置し、または、
前記レンズ１１は、前記反射ミラー１０の右方に位置し、前記画像センサ１２は、前記レンズ１１の真右に位置してもよい。

本発明の実施例では、選択的に、前記第１の反射ミラー１０の組と前記第２の反射ミラー１０の組に含まれた反射ミラー１０の鏡面は平面、凸面、及び凹面のうちの少なくとも１つであってもよい。

本発明の実施例では、画像センサ１２で結像された画像は２部分に分けられており、１つの部分は、反射ミラー１０からレンズ１１へ反射されたことで結像された画像であり、もう１つの部分は、反射ミラー１０による反射を経ず、レンズ１１が直接撮影した光で結像された画像であり、レンズ１１が直接撮影した光で結像された画像は画像のエッジに現れることが一般的である。反射ミラー１０とレンズ１１のエッジの歪みによる画像ノイズを除去するために、本発明の実施例では、選択的に、前記プロセッサ１３に送信された画像は、前記画像センサ１３が取得した画像のうちの一部の画像であってもよい。

そのうち、一部の画像は標定されて得られた反射ミラー１０とレンズ１１との間の距離、なす角などの位置関係に基づいて決定されてもよい。

図１Ｃに示されるように、画像センサ１２の左部分は第１の反射ミラー１０の組から反射された光を結像し、画像センサ１２の右部分は第２の反射ミラー１０の組から反射された光を結像するが、しかし、画像センサ１２が画像をプロセッサ１３に送信するときに、左部分で結像された全ての画像をプロセッサ１３に送信するのではなく、第５の部分をプロセッサ１３に送信してもよい。同じ理由により、画像センサ１２が画像をプロセッサ１３に送信するときに、右部分で結像されたすべての画像をプロセッサ１３に送信するのではなく、第６の部分をプロセッサ１３に送信してもよい。

本発明の実施例では、選択的に、スマートデバイス１００はスマートスイーパーであってもよい。勿論、スマートスイーパーはただの例示に過ぎず、それに限られたものではない。

以上は、スマートデバイス１００を説明してきたが、以下は、スマートデバイス１００が深度画像を出力する方法について、簡単に説明する。

図２Ａに示されるように、本発明の実施例では、上記記載のスマートデバイス１００に用いられる深度画像を出力する方法２００を提案し、以下のステップを含む：
ステップ２０：前記反射ミラー１０は、収集した光を、前記レンズ１１に反射すること；
ステップ２１：前記レンズ１１は、前記反射ミラー１０から反射された光を、前記画像センサ１２に射出すること；
ステップ２２：前記画像センサ１２は、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサ１３に送信すること；
ステップ２３：前記プロセッサ１３は、前記画像に基づいて、深度画像を出力すること。

本発明の実施例では、さらに、前記レンズ１１は、前記反射ミラー１０から反射された光を前記画像センサ１２に射出する前に、標定操作を行ってもよい。

そのうち、標定操作を行うときに、選択的に、以下のような操作を実行してもよい：
前記レンズ１１は、前記レンズ１１を２つの仮想カメラに等価化するとともに、前記２つの仮想カメラのそれぞれの内部パラメータを、ともに、前記レンズ１１の内部パラメータに設定する操作。それで、同一の標定物は当該スマートデバイス１００にて２箇所で投影されるようになり、それは、当該スマートデバイス１００が撮影した空間における位置が相対的に固定された２つの標定物に等価し、さらに、標定物の画像の１組によって、２つの仮想カメラの内部パラメータを標定することができ、さらに、２つの仮想カメラの外部パラメータを標定することもできる。

そのうち、選択的に、内部パラメータは、焦点距離、光学中心、歪み係数のうちの少なくとも１つであってもよい。

そのうち、焦点距離とは、仮想カメラの光学中心から結像平面までの距離を指し、光学中心とは、仮想カメラの光学中心の結像平面での投影を指し、通常、画像中心の近傍に位置してもよい。

選択的に、歪み係数は、径方向の歪みと接線方向の歪みをさらに含んでもよい。

ここで説明すべきなのは、仮想カメラは、外部パラメータをさらに含む。

本発明の実施例では、２つの仮想カメラの結像平面は、異なる平面に位置し、または、位置する可能性がある。

その場合、出力する深度画像の正確さを高めるために、画像を補正することができる。具体的に、仮想カメラが撮像した２枚の画像の結像平面を同一の平面に位置させることができる。そのため、本発明の実施例では、前記プロセッサ１３は前記画像を処理して深度画像を出力することは、
前記プロセッサ１３は、前記画像を補正し、かつ、補正後の画像を立体的にマッチングし、
前記プロセッサ１３は、立体的にマッチングされた画像を処理して、深度画像を出力することを含む。

図２Ｂは補正前の２枚の画像であり、左半分の画像と右半分の画像が完全に一致したはずであるが、しかし、左半分の画像におけるＭ領域の椅子底部と右半分の画像におけるＭ領域の椅子底部とが完全に一致したものではない。具体的に、図２Ｃにおける当該比較部分の拡大図を参照されたい。補正後、左半分の画像におけるＭ領域の椅子底部と右半分の画像におけるＭ領域の椅子底部とが完全に対応するようになった。具体的に、図２Ｄにおける当該比較部分の拡大図を参照されたい。

本発明の実施例では、前記プロセッサ１３は前記画像を補正するときに、選択的に、以下のような方式を採用してもよい：
前記プロセッサ１３は、前記２つの仮想カメラが位置合せられるように、前記２つの仮想カメラを回転させる。

本発明の実施例では、前記プロセッサ１３は前記２つの仮想カメラを回転させるときに、選択的に、以下のような方式を採用してもよい：
前記プロセッサ１３は、前記第１の反射ミラー１０の組と前記第２の反射ミラー１０の組との間の第１の相対的位置関係を特定すること；
前記プロセッサ１３は、前記第１の相対的位置関係に基づいて、前記２つの仮想カメラ間の第２の相対的位置関係を特定すること；
前記プロセッサ１３は、前記第２の相対的位置関係に基づいて、前記２つの仮想カメラを回転させること。

本発明の実施例では、選択的に、標定の過程において第１の相対的位置関係と第２の相対的位置関係とを取得してもよい。

ここで提案された方法及び装置は、任意の特定のコンピュータ、仮想システムまたは他のデバイスとは固有関係するものではない。種々の汎用システムはここでの示唆とともに、使用されてもよい。以上の説明に基づき、そのような装置を構成するために必要な構造が自明なものとなるだろう。また、本発明は、任意の特定のプログラミング言語を対象とするものでもない。ここに記載の本発明の内容は、種々のプログラミング言語で実現されてもよいことが明らかになるだろう。そして、以上、特定の言語を説明する目的は、本発明の最適な実施の形態を開示することにある。

ここで提供される明細書には、具体的な詳細が大量に説明されている。しかし、理解すべきなのは、本発明の実施例はそれらの具体的な詳細がない場合であっても実践可能である。いくつかの実例では、本明細書に対する理解を曖昧にさせないように、公知された方法、構造及び技術が詳しく示されていない。

類似するように、理解すべきなのは、本開示を簡素化して発明の各面のうちの１つまたは複数への理解に助かるように、上記の本発明の例示的な実施例に対する説明では、本発明のそれぞれの特徴が一緒に単一の実施例、図面、または、それに対する説明にグループ化された場合がある。しかし、当該開示の方法を、保護を求める本発明が各請求項において明確に記載されている特徴よりも多くの特徴を有するように求められるという意図を反映するものであると解釈してはならない。さらに、適切にいうと、特許請求の範囲に反映されるように、発明の面では、前に開示された単一の実施例におけるすべての特徴よりも少ないものが求められる。したがって、具体的な実施の形態に準拠した特許請求の範囲は、ここから当該具体的な実施の形態に併入され、そのうち、それぞれの請求項自体は本発明の単一の実施例である。

当業者であれば理解できるように、実施例における装置中のモジュールを適応的に変更させて、それらを、当該実施例とは異なる１つまたは複数の装置に設置してもよい。実施例における若干のモジュールを１つのジュールまたはユニットまたは部品に組み合わせてもよい。また、それらを複数のサブモジュールまたはサブユニットまたは副部品に分割してもよい。そのような特徴及び／過程またはモジュールのうちの少なくともいくつかが互いに反発する場合を除外して、本明細書（添付される請求項、要約書及び添付図面）における開示のすべての特徴及びそのように開示された任意の方法またはデバイスのすべての過程またはユニットを任意の組み合わせで組み合わせてもよい。別途で明確に説明した場合を除き、本明細書（添付される請求項、要約書及び添付図面）における開示の各特徴は同一、等価または類似した目的の代替特徴を提供することで代替可能となる。

また、当業者であれば理解できるように、ここに記載のいくつかの実施例は、他の特徴ではなく、他の実施例に含まれたいくつかの特徴を含むが、しかし、異なる実施例における特徴の組み合わせは、本発明の範囲内にあり、異なる実施例を形成するものを意味している。例えば、特許請求の範囲では、保護を求める実施例のいずれか１つは任意の組み合わせの方式によって使用されてもよい。

本発明における各装置の実施例はハードウェアによって実現されてもよいし、１つまたは複数のプロセッサに実行されているソフトウェアモジュールによって実現されてもよいし、それらの組み合わせで実現されてもよい。当業界の技術者であれば理解できるように、実践中、本発明の実施例における装置のうちのいくつかまたはすべてのモジュールのいくつかまたは全部の機能を、マイクロプロセッサまたはデジタル信号プロセッサ（ＤＳＰ）によって実現されてもよい。本発明は、ここに記載の方法の一部または全部を実行するための装置プログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）によって実現されてもよい。そのような本発明を実現するプログラムは、コンピュータ可読媒体に記憶されてもよいし、または、１つまたは複数の信号形式を有するものであってもよい。そのような信号はインターネットウェブサイトからダウンロードされてもよいし、または、キャリア信号から提供されてもよいし、または、任意の他の形式によって提供されてもよい。

注意すべきなのは、上記の実施例は、本発明を制限するものではなく、本発明を説明するものであり、かつ、当業者は、添付される特許請求の範囲から脱離しない場合では、代替可能な実施例を設計することができる。請求項には、括弧間に記載の任意の参照符号を、請求項を制限するものに構成してはならない。言葉の「含む」は、請求項に挙げられない素子またはステップを除外しないものを意味している。素子の前に限定された「１つ」または「１個」は、そのような素子が複数ある場合を除外しないものである。本発明は、若干の異なる素子のハードウェアによって実現されてもよいし、適切にプログラミングされたコンピュータによって実現されてもよい。若干の装置が挙げられたユニットの請求項には、それらの装置のうちの若干は同一のハードウェア項目によって具体的に表されてもよい。第１、第２、及び第３などのような言葉の使用は順序付けられたものではない。それらの言葉を名詞として解釈することが可能である。

Claims (17)

1. 反射ミラー、レンズ、画像センサ、及び、プロセッサを含むスマートデバイスであって、
   前記反射ミラーは、収集した光を、前記レンズに反射するためのものであり、
   前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出するためのものであり、
   前記画像センサは、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサに送信するためのものであり、
   前記プロセッサは、前記画像に基づいて、深度画像を出力するためのものである、スマートデバイス。
2. 前記反射ミラーは、第１の反射ミラーの組と第２の反射ミラーの組を含む、請求項１に記載のスマートデバイス。
3. 前記第１の反射ミラーの組は、第１の反射ミラーと第２の反射ミラーを含み、前記第１の反射ミラーと前記第２の反射ミラーとの間は予め設定された角度をなしており、
   前記第２の反射ミラーの組は、第３の反射ミラーと第４の反射ミラーを含み、前記第３の反射ミラーと前記第４の反射ミラーとの間は予め設定された角度をなしている、請求項２に記載のスマートデバイス。
4. 前記第１の反射ミラーは、収集した光を、前記第２の反射ミラーに反射するためのものであり、
   前記第２の反射ミラーは、受光した光を、前記レンズの第１の部分に反射するためのものである、請求項３に記載のスマートデバイス。
5. 前記画像センサの第３の部分は、前記レンズの第１の部分で受光した光を結像する、請求項４に記載のスマートデバイス。
6. 前記レンズの第１の部分は、前記レンズの左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
   前記画像センサの第３の部分は、前記画像センサの左部分、右部分、上部分及び下部分のうちの少なくとも１つである、請求項５に記載のスマートデバイス。
7. 前記第３の反射ミラーは、収集した光を、前記第４の反射ミラーに反射するためのものであり、
   前記第４の反射ミラーは、受光した光を、前記レンズの第２の部分に反射するためのものである、請求項３に記載のスマートデバイス。
8. 前記画像センサの第４の部分は、前記第２の部分での光を結像する、請求項７に記載のスマートデバイス。
9. 前記レンズの第２の部分は、前記レンズの左部分、右部分、上部分及び下部分のうちの少なくとも１つであり、
   前記画像センサの第４の部分は、前記画像センサの左部分、右部分、上部分及び下部分のうちの少なくとも１つである、請求項８に記載のスマートデバイス。
10. 前記レンズは、前記反射ミラーの下方に位置し、前記画像センサは、前記レンズの真下に位置し、または、
    前記レンズは、前記反射ミラーの上方に位置し、前記画像センサは、前記レンズの真上に位置し、または、
    前記レンズは、前記反射ミラーの左方に位置し、前記画像センサは、前記レンズの真左に位置し、または、
    前記レンズは、前記反射ミラーの右方に位置し、前記画像センサは、前記レンズの真右に位置する、請求項１〜９のいずれか１項に記載のスマートデバイス。
11. 前記第１の反射ミラーの組と前記第２の反射ミラーの組に含まれた反射ミラーの鏡面は平面、凸面、及び凹面のうちの少なくとも１つである、請求項２に記載のスマートデバイス。
12. 前記プロセッサに送信された画像は、前記画像センサが取得した画像のうちの一部の画像である、請求項１に記載のスマートデバイス。
13. 請求項１〜１２のいずれか１項に記載のスマートデバイスに用いられる深度画像を出力する方法において、
    前記反射ミラーは、収集した光を、前記レンズに反射し、
    前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出し、
    前記画像センサは、受光した光を結像処理して、画像を取得するとともに、前記画像を前記プロセッサに送信し、
    前記プロセッサは、前記画像に基づいて、深度画像を出力することを含む、方法。
14. 前記レンズは、前記反射ミラーから反射された光を、前記画像センサに射出する前に、
    前記レンズは、前記レンズを２つの仮想カメラに等価化するとともに、前記２つの仮想カメラのそれぞれの内部パラメータを、ともに、前記レンズの内部パラメータに設定することをさらに含む、請求項１３に記載の方法。
15. 前記プロセッサは前記画像を処理して、深度画像を出力することは、
    前記プロセッサは、前記画像を補正し、かつ、補正後の画像を立体的にマッチングし、
    前記プロセッサは、立体的にマッチングされた画像を処理して、深度画像を出力することを含む、請求項１４に記載の方法。
16. 前記プロセッサは、前記画像を補正することは、
    前記プロセッサは、前記２つの仮想カメラが位置合せられるように、前記２つの仮想カメラを回転させることを含む、請求項１５に記載の方法。
17. 前記プロセッサは、前記２つの仮想カメラを回転させることは、
    前記プロセッサは、前記第１の反射ミラーの組と前記第２の反射ミラーの組との間の第１の相対的位置関係を特定し、
    前記プロセッサは、前記第１の相対的位置関係に基づいて、前記２つの仮想カメラ間の第２の相対的位置関係を特定し、
    前記プロセッサは、前記第２の相対的位置関係に基づいて、前記２つの仮想カメラを回転させることを含む、請求項１５に記載の方法。