JP2011179997A - 距離情報取得装置および距離情報取得装置における光量調節方法 - Google Patents

Abstract

【課題】ＴＯＦ方式等にて信号光と反射光から被写体との距離値を取得する際に、必要最小限の発光量に抑えることができる距離情報取得装置を提供する。
【解決手段】距離情報取得装置は、対象物に対して信号光を発光する発光手段と、対象物からの反射光を受光する複数の受光素子で構成される受光手段と、受光素子毎に受光した反射光と信号光を基に、受光素子毎に対象物との距離値を取得して距離画像を生成する距離情報取得手段と、距離画像を基に発光手段から発光する信号光の発光量を調整する光量調整手段を備え、光量調整手段は、距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して信号光の発光量を調整する。
【選択図】図１

Description

本発明は、対象物（被写体）を信号光で照明した結果の反射光から、対象物までの距離を測定する距離画像センサなどの距離情報取得装置に関し、距離情報取得装置で計測する距離を、必要な距離情報の分布特性、特にジェスチャ認識を考慮した距離に設定することで、発光量を減らして低消費電力を実現する距離情報取得装置および距離情報取得装置における光量調節方法に関する。

近年、ロボティクス、自動車、セキュリティ、アミューズメント等の多くの分野において、リアルタイムに空間の３次元情報(以下、距離画像と呼ぶ)を得る距離画像センサ技術が注目されてきている。

距離測定のために、近赤外光の信号光を発光して信号光の反射光を単眼で計測することによって距離画像を得る方式は、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式(以下、ＴＯＦ方式と記載する)と呼ばれている。

このＴＯＦ方式の距離画像センサは、ステレオ視やレーザースキャン方式などの他の方式と比べて、小型で低コストのシステムが実現可能であり、その応用が期待されている。

ＴＯＦ方式の距離画像センサを活用する方法の一例としては、図１４に示すように、発光手段５１０および受光手段５２０を備えた距離画像センサ５００で取得したユーザ（対象物）８００の距離画像をＳＴＢ（Ｓｅｔ−Ｔｏｐ Ｂｏｘ）７００で解析してジェスチャを認識することで、認識したユーザ８００のジェスチャでＴＶ（テレビジョン）６００の画面操作を行う、といった活用方法が考えられる。なお、図１４は、ＴＯＦ方式の距離画像センサを活用する方法の一例を示す構成図である。

ＴＯＦ方式の距離計測に必要な発光量は、対象物（被写体）との距離や対象物の反射率によって変動するため、事前に必要な発光量を知ることはできない。そのため、特許文献１においては、事前に発光素子を対象物に対して発光させ、受光素子により受光した対象物からの反射光量が距離計測に適した光量より大きい場合には順次発光量を減らし、受光した光量が距離計測に適した光量より小さい場合には順次発光量を増やすことによって、発光素子の発光量を距離の計測に適した光量になるように設定する方法が開示されている。

特開昭６０−０６４２８３号公報

しかしながら、特許文献１に開示されている従来の距離計測に適した光量の設定方法は、１つの発光素子と１つの受光素子からなる距離計測器においては有効であるが、１つの発光素子と複数の受光素子から距離画像を生成する距離画像センサなどの距離情報取得装置においては、全ての受光素子が適切な受光量になるように発光素子の発光量を決定することができないという課題があった。

また、ＴＯＦ方式としては、信号光の発光量を多くすると消費電力が大きくなるが遠くまで距離の計測が可能となり、逆に発光量を少なくすると消費電力が小さくなるが計測できる距離が短くなるという特徴を有している。例えば、「発明を実施するための形態」の欄において後述する図３に示す発光量決定テーブル（ロ）と図６に示す距離画像を参照すると、図６の（ａ）に示す距離画像（ハ）は計測する距離値が３ｍで測定した距離画像であり、図６の（ｂ）に示す距離画像（ニ）は計測する距離値が２ｍで測定した距離画像であるが、図６の（ａ）に示す距離画像（ハ）を測定するためには９Ｗの発光量を必要とするのに対し、図６の（ｂ）に示す距離画像（ニ）を測定するための発光量は４Ｗである。

このように、図６の（ｂ）に示す距離画像（ニ）では２ｍよりも大きな距離値を計測することができていないため、図６の（ａ）に示す距離画像（ハ）よりも情報量が少ないが、逆に消費電力が少ないといったメリットがある。

このような特徴から、ＴＯＦ方式においては、計測が可能な限りの距離の計測をしていると、計測する必要のない距離まで計測してしまい、結果として、必要以上に消費電力が大きくなるという課題があった。

本発明は、このような課題に鑑みてなされたものであり、距離画像から算出した距離値の分布特性に基づいて発光素子（発光手段）の発光量を制御することにより、必要最小限の発光量に抑えることができる距離画像センサなどの距離情報取得装置および距離情報取得装置における光量調節方法を提供することを目的とする。

上記目的を達成するために、本願の第１の発明の距離情報取得装置は、対象物に対して信号光を発光する発光手段と、前記対象物からの反射光を受光する複数の受光素子で構成される受光手段と、前記受光素子毎に受光した前記反射光と前記信号光を基に、前記受光素子毎に前記対象物との距離値を取得して距離画像を生成する距離情報取得手段と、前記距離画像を基に前記発光手段から発光する前記信号光の発光量を調整する光量調整手段を備え、前記光量調整手段は、前記距離画像から算出した距離値の分布特性に基づいて、前記信号光の発光量を調整することを特徴とするものである。

また、本願の第２の発明の距離情報取得装置は、本願の第１の発明の距離情報取得装置において、前記光量調整手段は、前記距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とするものである。

また、本願の第３の発明の距離情報取得装置は、本願の第２の発明の距離情報取得装置において、前記光量調整手段は、距離値とジェスチャ認識に必要な画素数との関係を示すジェスチャ認識用画素数テーブル、および距離値と発光量との関係を示す発光量決定テーブルを備え、前記距離画像から算出した距離値の分布特性と前記ジェスチャ認識用画素数テーブルからジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とするものである。

また、本願の第４の発明の距離情報取得装置は、本願の第２の発明の距離情報取得装置において、前記光量調整手段は、距離値と発光量との関係を示す発光量決定テーブルを備えるとともに、前記距離画像から算出した距離値の分布特性を基に当該距離値の平均値または中央値を算出し、算出した当該平均値または当該中央値からジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とするものである。

また、本願の第５の発明の距離情報取得装置は、本願の第２の発明の距離情報取得装置において、前記光量調整手段は、距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターン、および距離値と発光量との関係を示す発光量決定テーブルを備え、前記距離画像から算出した距離値の分布特性と前記距離分布パターンからジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とするものである。

また、本願の第６の発明の距離情報取得装置は、本願の第２の発明の距離情報取得装置において、前記光量調整手段は、距離値と発光量との関係を示す発光量決定テーブルを備えるとともに、計測タイミングが異なる複数の前記距離画像を用い、複数の前記距離画像において異なる距離値を有する画素を画素Ａとして抽出し、抽出した前記画素Ａ毎に前記異なる距離値の中で最も小さい距離値を距離値αとして選択し、選択した前記距離値αの中で最も大きい距離値を計測距離値として決定し、決定した当該計測距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とするものである。

また、本願の第７の発明の距離情報取得装置は、本願の第２乃至第６の発明のいずれかの距離情報取得装置において、前記光量調整手段は、所定時間が経過する毎に、取得可能な最大距離値を計測距離値として決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とするものである。

また、本願の第８の発明の距離情報取得装置における光量調節方法は、対象物に対して信号光を発光する発光ステップと、前記対象物からの反射光を複数の受光素子で受光する受光ステップと、前記受光ステップにおいて前記受光素子毎に受光した前記反射光と前記信号光を基に、前記受光素子毎に前記対象物との距離値を取得して距離画像を生成する距離情報取得ステップと、前記距離画像を基に前記発光ステップにおいて発光する前記信号光の発光量を調整する光量調整ステップを備え、前記光量調整ステップにおいては、前記距離画像から算出した距離値の分布特性に基づいて、前記信号光の発光量を調整することを特徴とするものである。

また、本願の第９の発明の距離情報取得装置における光量調節方法は、本願の第８の発明の距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、前記距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とするものである。

また、本願の第１０の発明の距離情報取得装置における光量調節方法は、本願の第８の発明の距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、距離値とジェスチャ認識に必要な画素数との関係を示すジェスチャ認識用画素数テーブル、および距離値と発光量との関係を示す発光量決定テーブルが備えられ、前記距離画像から算出した距離値の分布特性と前記ジェスチャ認識用画素数テーブルからジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とするものである。

また、本願の第１１の発明の距離情報取得装置における光量調節方法は、本願の第８の発明の距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、距離値と発光量との関係を示す発光量決定テーブルが備えられているとともに、前記距離画像から算出した距離値の分布特性を基に当該距離値の平均値または中央値が算出され、算出された当該平均値または当該中央値からジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とするものである。

また、本願の第１２の発明の距離情報取得装置における光量調節方法は、本願の第８の発明の距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンおよび距離値と発光量との関係を示す発光量決定テーブルが備えられており、前記距離画像から算出した距離値の分布特性と前記距離分布パターンからジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とするものである。

また、本願の第１３の発明の距離情報取得装置における光量調節方法は、本願の第８の発明の距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、距離値と発光量との関係を示す発光量決定テーブルが備えられているとともに、計測タイミングが異なる複数の前記距離画像が用いられ、複数の前記距離画像において異なる距離値を有する画素が画素Ａとして抽出され、抽出された前記画素Ａ毎に前記異なる距離値の中で最も小さい距離値が距離値αとして選択され、選択された前記距離値αの中で最も大きい距離値が計測距離値として決定され、決定された当該計測距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とするものである。

また、本願の第１４の発明の距離情報取得装置における光量調節方法は、本願の第８乃至第１３の発明のいずれかの距離情報取得装置における光量調節方法において、前記光量調整ステップにおいては、所定時間が経過する毎に、取得可能な最大距離値を計測距離値として決定され、決定された当該計測距離値に対応して前記信号光の発光量が調整されることを特徴とするものである。

距離画像から算出した距離値の分布特性に基づいてジェスチャ認識などに必要な計測距離値を決定し、決定した計測距離値に対応して発光手段から発光する信号光の光量を調整するので、必要以上の距離計測を抑制し、距離画像センサなどの距離情報取得装置の発光量の低減、すなわち消費電力の低減を実現することができる。

本発明の実施の形態１に係る距離画像センサなどの距離情報取得装置の構成を示すブロック図 本発明の実施の形態２に係る距離画像センサが保持するジェスチャ認識用画素数テーブルの一例を示す図 本発明の実施の形態２に係る距離画像センサが保持する発光量決定テーブルの一例を示す図 本発明の実施の形態２に係る距離画像センサにおける処理動作の流れを示すフローチャート 本発明の実施の形態２における図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャート 本発明の実施の形態２における距離画像の一例を示す図 本発明の実施の形態２における距離値分布の一例を示す図 本発明の実施の形態３における距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンの一例を示す図 本発明の実施の形態３における距離画像の一例を示す図 本発明の実施の形態３における、図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャート 本発明の実施の形態４における、図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャート 本発明の実施の形態４における距離画像の一例を示す図 本発明の実施の形態４における距離差画像および距離変化画像の一例を示す図 ＴＯＦ方式の距離画像センサを活用する方法の一例を示す構成図

以下に、本発明を実施するための形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る距離画像センサなどの距離情報取得装置（以下、距離画像センサと称す）の構成を示すブロック図である。

図１において、距離画像センサ１００は、発光手段１１０、受光手段１２０、距離情報取得手段１３０および内部に分布特性計算部１４１を備えた光量調整手段１４０で構成されている。

発光手段１１０は、距離を測定するために対象物（図示せず）に対して信号光を発光し、受光手段１２０は複数の受光素子で構成されており、受光手段１２０を構成する各受光素子は、発光手段１１０から発光された信号光が対象物（被写体）により反射された反射光を受光する。

距離情報取得手段１３０は、発光手段１１０から対象物に対して発光した信号光と、受光手段１２０で受光した対象物からの反射光とを基に、例えば、信号光と反射光の位相差から距離情報を取得する。その際、受光手段１２０が複数の受光素子で構成されていることから、複数の距離情報で構成される距離画像を取得することができる。

光量調整手段１４０は、距離情報取得手段１３０において取得した複数の距離情報で構成される距離画像を基に分布特性計算部１４１で距離値の分布特性を算出し、算出した距離値の分布特性に基づいて発光手段１１０から発光される信号光の光量を決定し、決定した光量になるように発光手段１１０から発光される信号光の光量を調整する。

なお、光量調整手段１４０の分布特性計算部１４１において算出した距離値の分布特性に基づいて、発光手段１１０から発光される信号光の光量を決定する方法としては、例えば、距離値の分布特性の平均値あるいは中央値などに応じて、発光手段１１０から発光される信号光の光量を決定する方法が考えられる。

具体的な実施の形態としては、分布特性計算部１４１において距離画像を基に算出した距離値の分布特性の平均値あるいは中央値などに基づいてジェスチャ認識に必要な計測距離値を決定し、決定した計測距離値に応じて信号光の発光量を調整する方法が考えられる。

以上のように処理することにより、例えば、計測に必要な距離に合わせて発光手段から発光される信号光の光量を制御することができるので、距離画像センサ（距離情報取得装置）の発光量を必要最小限に抑えることができる。

（実施の形態２）
本発明の実施の形態２に係る距離画像センサは、図１に示す本発明の実施の形態１に係る距離画像センサ１００と同様であるので同じ符号を用い、ここでは説明を省略する。

以下に、図１〜図７を用いて、本発明の実施の形態２における発光手段１１０から発光される信号光の光量を調整する処理方法、すなわち、光量調整手段１４０の分布特性計算部１４１において算出した距離値の分布特性を基に、テーブルを参照してジェスチャ認識に必要な計測距離値を決定し、決定した計測距離値に応じて発光手段から発光される信号光の光量を調整する処理方法について説明する。

まず、図２〜図３を用いて、本発明の実施の形態２に係る距離画像センサ１００が保持しているジェスチャ認識用画素数テーブル（イ）、および発光量決定テーブル（ロ）の一例について説明する。なお、図２は、本発明の実施の形態２に係る距離画像センサが保持するジェスチャ認識用画素数テーブルの一例を示す図であり、図３は、本発明の実施の形態２に係る距離画像センサが保持する発光量決定テーブルの一例を示す図である。

図２に示すジェスチャ認識用画素数テーブルにおいては、距離画像センサ１００からの距離が１ｍ（距離値が１ｍ）においてジェスチャを認識するために必要な画素数（ジェスチャ認識必要画素数）は２８、すなわち、２８の画素数が距離計測できていなければならないことを示しており、距離画像センサ１００からの距離が２ｍ（距離値が２ｍ）においてジェスチャを認識するために必要な画素数（ジェスチャ認識必要画素数）は１５、すなわち、１５の画素数が距離計測できていなければならないことを示している。

図３に示す発光量決定テーブルにおいては、計測する距離（計測する距離値）が１ｍまでは１Ｗの発光量が必要であり、計測する距離（計測する距離値）が２ｍまでは４Ｗの発光量が必要である、といった計測する距離値と発光量との対応情報が示されている。

次に、図４を用いて、本発明の実施の形態２に係る距離画像センサ１００の処理動作の流れについて説明する。なお、図４は、本発明の実施の形態２に係る距離画像センサにおける処理動作の流れを示すフローチャートである。

図４において、発光手段１１０は、光量調整手段１４０において決定された発光量で対象物（被写体）に対して信号光を発光する（Ｓ１０１）。

受光手段１２０は、発光手段１１０から発光された信号光の対象物により反射された反射光を受光し、受光した反射光を距離情報取得手段１３０に渡す（Ｓ１０２）。

距離情報取得手段１３０は、発光手段１１０から対象物に対して発光された信号光と、受光手段１２０から受け取った対象物により反射された反射光とを基に、例えばそれらの位相差から距離画像を生成し、生成した距離画像を光量調整手段１４０に渡す（Ｓ１０３）。

光量調整手段１４０は、距離情報取得手段１３０から受け取った距離画像を基に算出した距離値の分布特性から、次回に計測する距離値および発光量を決定し（Ｓ１０４）、ステップＳ１０１に戻り、ステップＳ１０４において決定した距離値および発光量を用いて、発光手段１１０において発光される信号光の発光量を調整する。

次に、図５を用いて、本発明の実施の形態２における図４のステップＳ１０４におけるより詳細な処理動作の流れについて説明する。なお、図５は、本発明の実施の形態２における図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャートである。

図５において、まず、光量調整手段１４０は、前回のリフレッシュ時から所定時間のＴ秒が経過したか否かを判断する（Ｓ２０１）。

ステップＳ２０１において、光量調整手段１４０は、所定時間のＴ秒が経過していないと判断した場合（ステップＳ２０１においてＮＯの場合）には、取得した距離画像の各距離値の数（画素数）を計算する（Ｓ２０２）。例えば、図６は、本発明の実施の形態２における距離画像の一例を示す図であり、また図７は、本発明の実施の形態２における距離値分布の一例を示す図であるが、図６の（ａ）に示す距離画像（ハ）は、本発明の実施の形態２における１回目の測定で取得した距離画像であり、図６の（ａ）に示す距離画像（ハ）から各距離値の画素数を計算した結果が、図７に示す各距離値に対応する距離画像内の画素数を表す距離値分布（ホ）となる。

続いて、光量調整手段１４０は、計算した各距離値の画素数とジェスチャ認識に必要な画素数を比較し、計測する距離値を決定する（Ｓ２０３）。具体的には、図７に示す距離値分布（ホ）の各距離値の画素数と図２に示すジェスチャ認識用画素数テーブル（イ）とを比較する。比較した結果、３ｍ以上の距離値の画素数は３画素しか取得できておらず、ジェスチャ認識に必要な画素数の６画素より少なくなっており、また２ｍ以上の距離値の画素数は２７画素で、ジェスチャ認識に必要な画素数の１５画素より多くなっているため、ジェスチャ認識を考慮すると計測する距離値は２ｍとなる。

続いて、光量調整手段１４０は、計測する距離値に対応する発光量を決定し、決定した発光量を次回計測の発光量として発光手段１１０の発光を調整（制御）する（Ｓ２０４）。具体的には、図３に示す発光量決定テーブル（ロ）を参照して、２ｍを計測するために必要となる発光量は４Ｗと決定される。

ステップＳ２０４において決定された発光量（４Ｗ）は、図４に示すステップＳ１０１
において発光手段１１０が発光する発光量となり、この際にステップＳ１０２を経てステップＳ１０３において生成される距離画像は、図６の（ｂ）に示すように距離値が２ｍまでの距離画像（ニ）となる。

このように、図６の（ｂ）に示す距離画像（ニ）は、ジェスチャ認識が行える距離値２ｍまでしか計測を行わず、１回目の距離値３ｍまで計測を行った場合と比べると、発光量が９Ｗから４Ｗに低下しているため消費電力の低減に効果がある。

一方、ステップＳ２０１において、光量調整手段１４０は、所定時間のＴ秒が経過していると判断した場合（ステップＳ２０１においてＹＥＳの場合）には、次回計測の発光量をリフレッシュ時の発光量に決定し、決定したリフレッシュ時の発光量になるように発光手段１１０の発光を調整（制御）する（Ｓ２０５）。

なお、本発明の実施の形態２においては、図５に示すステップＳ２０１とステップＳ２０５にて、リフレッシュ処理として、所定時間毎に距離画像センサ１００の取得可能な最大距離までの計測を行っている。このリフレッシュ処理を行う理由としては、基本的には消費電力を低減させるために計測が必要な最小限の距離まで発光量を減らす処理を行うが、計測が不必要と判断した距離情報が、時間の経過により計測が必要となる可能性があるからである。

また、本発明の実施の形態２においては、距離画像センサ１００の計測距離を決定するために、図２に示すようなジェスチャ認識に必要な画素数を示すジェスチャ認識用画素数テーブル（イ）を用いたが、これに限るものではなく、例えば、距離画像の距離値の平均値や中央値などのようなジェスチャ認識に必要な設定値から計測距離を決定してもよい。

また、本発明の実施の形態２においては、距離画像センサ１００で計測する距離を、ジェスチャ認識を考慮した距離に設定することで、発光量を減らして低消費電力を実現する場合を例に挙げて説明したが、これに限るものではなく、例えば、必要な距離情報の分布特性を把握できる距離画像センサ１００であれば、計測する距離を必要な距離情報の分布特性を考慮した距離に設定してもよい。

以上のように処理することにより、ジェスチャ認識に必要な距離までしか距離計測を行わないことから、距離画像センサの発光量を低減、すなわち消費電力を低減することができる。また、定期的（所定時間毎）に計測距離を大きくして距離の計測を行うことから、時間経過によって距離計測の不可能な範囲に変化があった場合においても、計測が不可能な範囲の変化を検知することができるので、時間経過の状況変化にも対応することができる。その結果、計測可能な距離まで計測した場合と比較して距離画像センサの消費電力を低減させることが可能となる。

（実施の形態３）
本発明の実施の形態２においては、ジェスチャ認識用画素数テーブル（イ）および発光量決定テーブル（ロ）を用いて、距離画像センサ１００が取得する距離画像の距離値の数（画素数）によって信号光の発光量を調整する処理について説明したが、本発明の実施の形態３においては、図８、図９および図１０を用いて、距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンと発光量決定テーブルから、信号光の発光量を調整する処理について説明する。

なお、本発明の実施の形態３に係る距離画像センサは、本発明の実施の形態１に係る距離画像センサ１００と同じであるので同じ符号を用い、ここでは説明を省略する。また、本発明の実施の形態３に係る距離画像センサ１００における全体の処理の流れについても、図４に示したフローチャートと同じであるので、ここでは説明を省略する。

まず、図８を用いて、本発明の実施の形態３に係る距離画像センサ１００が内部に保持している距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンについて説明する。なお、図８は、本発明の実施の形態３における距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンの一例を示す図である。

図８において、（ａ）に示す図は、距離値１ｍにおけるジェスチャ認識に必要な画素範囲を示す距離分布パターン（ヘ）であり、距離画像においてこの距離分布パターン（ヘ）の距離を測定できない場所があれば、光量調整手段１４０は、その場所での１ｍの距離におけるジェスチャが認識できないと判定する。

また、図８の（ｂ）および図８の（ｃ）に示す図は、それぞれ、距離値２ｍおよび距離値３ｍにおけるジェスチャ認識に必要な画素範囲を示す距離分布パターン（ト）および（チ）である。図８の（ａ）〜（ｃ）に示す距離分布パターン（ヘ）〜（チ）は、ジェスチャ認識に必要な画素範囲を示すものであるから、距離値が大きくなる（遠い距離になる）に伴って小さくなっている。

なお、本発明の実施の形態３に係る距離画像センサ１００が内部に保持している計測する距離値と発光量を対応付けた発光量決定テーブルは、本発明の実施の形態２に係る距離画像センサ１００が内部に保持している図３に示す発光量決定テーブル（ロ）と同じであるので、ここでは説明を省略する。

次に、図１０を用いて、本発明の実施の形態３における図４に示すステップＳ１０４のより詳細な処理動作の流れについて説明する。なお、図１０は、本発明の実施の形態３における、図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャートである。

図１０において、ステップＳ３０１およびステップＳ３０４は、それぞれ、本発明の実施の形態２における図５に示すステップＳ２０１およびステップＳ２０５と同じであるので説明を省略し、ここではステップＳ３０２およびステップＳ３０３において、図８に示す距離分布パターン（ヘ）〜（チ）を用いた発光量調整の処理方法について説明する。

ステップＳ３０１において、光量調整手段１４０は、前回のリフレッシュ時から所定時間のＴ秒が経過していないと判断した場合（ステップＳ３０１においてＮＯの場合）には、距離情報取得手段１３０において取得した複数の距離情報で構成される距離画像と、内部に保持している図８に示すジェスチャ認識に必要な距離分布パターン（ヘ）〜（チ）を比較して、計測する距離値を決定する（Ｓ３０２）。

ここで、図８と図９を用いて、ステップＳ３０２における具体的な処理の例を以下に示す。なお、図９は、本発明の実施の形態３における距離画像の一例を示す図である。

まず、図９の（ａ）に示す距離画像（リ）と図８の（ａ）に示す距離値１ｍの距離分布パターン（ヘ）を比較した場合、距離画像（リ）は全て距離値１ｍ以上であるため、距離分布パターン（ヘ）はどの場所でも当てはめることが可能である。

続いて、図９の（ａ）に示す距離画像（リ）と図８の（ｂ）に示す距離値２ｍの距離分布パターン（ト）を比較した場合、距離画像（リ）の下２行は全て距離値１ｍであるため、当てはめることができないが、下２行を除けば全ての場所で距離分布パターン（ト）を当てはめることができる。

更に、図９の（ａ）に示す距離画像（リ）と図８の（ｃ）に示す距離値３ｍの距離分布パターン（チ）を比較した場合には、距離画像（リ）のうち距離値３ｍの画素は９つあるが、距離値３ｍの画素が一箇所に集まっているわけでなく分かれているので、図８の（ｃ）に示す距離分布パターン（チ）を当てはめることができない。

その結果として、図９の（ａ）に示す距離画像（リ）と図８の（ａ）〜（ｃ）に示すジェスチャ認識に必要な距離分布パターン（ヘ）〜（チ）を比較した場合、図９の（ａ）に示す距離画像（リ）に図８の（ｂ）に示す距離値２ｍの距離分布パターンを（ト）は当てはめることができ、図８の（ｃ）に示す距離値３ｍの距離分布パターン（チ）を当てはめることができないため、計測する距離は距離値２ｍと決定される。

ステップＳ３０２において計測する距離値を決定すると、光量調整手段１４０は、内部に保持する図３に示す発光量決定テーブル（ロ）を参照して、決定した計測する距離値に対応する発光量を決定し、決定した発光量を次回計測の発光量として発光手段１１０の発光を調整（制御）する（Ｓ３０３）。具体的には、光量調整手段１４０は、図３に示す発光量決定テーブル（ロ）を参照して、ステップＳ３０２において決定された距離値２ｍを計測するために必要となる発光量を４Ｗと決定する。

ここで、図９の（ｂ）に示す距離画像（ヌ）は、距離値２ｍで計測した場合の距離画像であり、図９の（ａ）に示す距離画像（リ）では取得できていた距離値３ｍの９つの画素が計測不可能となっている。

以上のように、本発明の実施の形態３においては、本発明の実施の形態２のように距離値に対応する画素数で発光量を決定するのではなく、距離画像と図８に示すジェスチャ認識に必要な距離分布パターン（ヘ）〜（チ）を比較して発光量を決定するので、本発明の実施の形態２における情報に距離画像内の画素の場所情報を加えた情報に基づき、発光量を決定する処理となっている。そのため、本発明の実施の形態２においては、図９の（ａ）に示す距離画像を計測した後の次回に計測する距離値が３ｍとなってしまうが、本発明の実施の形態３においては、計測する距離値が２ｍとなり、消費電力をさらに低減することができるというメリットがある。

なお、本発明の実施の形態３においては、図８に示す距離分布パターン（ヘ）〜（チ）を用いて計測する距離値を決定したが、これに限るものではなく、例えば、距離画像を用いて形状認識を行った結果の計測対象物を計測可能なように計測距離を決定してもよい。

（実施の形態４）
本発明の実施の形態２および本発明の実施の形態３においては、距離画像センサ１００が取得する１つの距離画像によって信号光の発光量を調整する処理について説明したが、本発明の実施の形態４においては、図１１、図１２および図１３を用いて、計測タイミングが異なる複数の距離画像の差分から、信号光の発光量を調整する処理について説明する。

なお、本発明の実施の形態４に係る距離画像センサは、本発明の実施の形態１に係る距離画像センサ１００と同じであるので同じ符号を用い、ここでは説明を省略する。また、本発明の実施の形態４に係る距離画像センサ１００における全体の処理の流れについても、図４に示したフローチャートと同じであるので、ここでは説明を省略する。

また、本発明の実施の形態４に係る距離画像センサ１００が内部に保持している計測する距離値と発光量を対応付けた発光量決定テーブルは、本発明の実施の形態２に係る距離画像センサ１００が内部に保持している図３に示す発光量決定テーブル（ロ）と同じであるので、ここでは説明を省略する。

次に、図１１を用いて、本発明の実施の形態４における図４に示すステップＳ１０４のより詳細な処理動作の流れについて説明する。なお、図１１は、本発明の実施の形態４における、図４に示すステップＳ１０４のより詳細な処理動作の流れを示すフローチャートである。

図１１において、ステップＳ４０１およびステップＳ４０５は、それぞれ、本発明の実施の形態２における図５に示すステップＳ２０１およびステップＳ２０５と同じであるので説明を省略し、ここではステップＳ４０２、ステップＳ４０３およびステップＳ４０４において、計測時期（計測タイミング）が異なる複数の距離画像の差分から信号光の発光量を決定する処理について説明する。

ステップＳ４０１において、光量調整手段１４０は、前回のリフレッシュ時から所定時間のＴ秒が経過していないと判断した場合（ステップＳ４０１においてＮＯの場合）には、距離情報取得手段１３０において取得した計測タイミングが異なる複数の距離画像を比較して距離値が異なる画素を特定する（Ｓ４０２）。例えば、図１２は、本発明の実施の形態４における距離画像の一例を示す図であり、また図１３は、本発明の実施の形態４における距離差画像および距離変化画像の一例を示す図であるが、図１２の（ａ）に示す距離画像（ル）と図１２の（ｂ）に示す距離画像（オ）を比較した結果の距離値が異なる画素は、図１３の（ａ）に示すデータ配列（以下、距離差画像（カ）と称す）の「差」と表示された箇所の画素である。

ステップＳ４０２において距離値が異なる画素を特定すると、光量調整手段１４０は、距離差画像（カ）における「差」の文字がある画素の位置において、計測タイミングが異なる距離画像（ル）と距離画像（オ）の距離値のうち距離値が小さいものを抽出して距離値としたデータ配列、すなわち、図１３の（ｂ）に示すデータ配列（以下、距離変化画像（ヨ）と称す）を生成する（Ｓ４０３）。

ステップＳ４０３において距離変化画像（ヨ）を生成すると、光量調整手段１４０は、距離変化画像（ヨ）の中で最も大きい距離値を次回に計測する距離値として、図３に示す発光量決定テーブル（ロ）を用いて次回計測の発光量を決定する（Ｓ４０４）。具体的には、光量調整手段１４０は、図１３の（ｂ）に示す距離変化画像（ヨ）の中で最も大きい距離値は２ｍであることから、次回に計測する距離値を２ｍとして発光量決定テーブル（ロ）を参照し、次回計測の発光量を４Ｗと決定する。

なお、図１２の（ｃ）に示す距離画像（ワ）は、計測する距離値を２ｍとして計測した場合の距離画像であり、距離画像（ル）および距離画像（オ）で取得していた距離値３ｍの４８の画素が計測不可能となっている。

以上のように、本発明の実施の形態４においては、本発明の実施の形態２および３のように１枚の距離画像から発光手段１１０の発光量を決定するのではなく、計測タイミングが異なる複数の距離画像を用いて、すなわち、時間的な距離変化情報を用いて計測する距離値を決定し、その決定した距離値を基に発光手段１１０の発光量を決定する処理方法を取っている。

そのため、本発明の実施の形態４においては、ジェスチャ認識に必要となる動作がない場合、すなわち、ジェスチャ認識可能な時間以外は、計測する距離値が短くなり、発光量および消費電力をさらに低減することができるといったメリットがある。

なお、本発明の実施の形態４においては、時間的な距離変化情報から計測する距離値を決定したが、これに限るものではなく、例えば、距離変化があった距離のうちジェスチャ認識された距離を計測する距離値として決定してもよい。

また、本発明の実施の形態４においては、時間的な距離変化情報から計測する距離値を決定したが、これに限るものではなく、例えば、ジェスチャ認識された距離値の統計データを蓄積しておき、ジェスチャ操作が行われる可能性が高い距離値を計測する距離値として決定してもよい。このように統計情報を利用することで、周囲環境に変化が少なくジェスチャ操作する場所が限られる場合には、計測する距離値の精度が向上するので、さらに消費電力の低減を図ることができる。

また、本発明の実施の形態４においては、計測タイミングの間隔について何も触れなかったが、計測タイミングが異なる距離画像の取得タイミングは、計測タイミングが異なる距離画像の距離差が小さければ次回の計測タイミング間隔を長くし、距離差が大きければ計測タイミングを短くしてもよい。このように計測タイミングを制御することで不必要な距離画像の取得を抑制することができるので、消費電力の低減を図ることができる。

また、本発明は、本発明の実施の形態１〜４における装置が各手段を備える距離情報取得装置として提供することができるばかりでなく、距離情報取得装置が具備する各手段を各ステップとする距離情報取得装置における光量調節方法、および、距離情報取得装置における光量調節方法をコンピュータに実行させる光量調節プログラムを提供することも可能である。そして、この光量調節プログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットを介して流通させることができる。

本発明の距離情報取得装置は、距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して発光手段の発光量を調整することで低消費電力を実現することができるので、主に、ジェスチャを認識して操作する機能を備えたＴＶ等の機器に用いることができるが、ジェスチャ認識だけにとどまらず、必要な距離情報の分布特性を取得することができる距離情報取得装置であれば、適用することが可能である。

１００ 距離画像センサ
１１０ 発光手段
１２０ 受光手段
１３０ 距離情報取得手段
１４０ 光量調整手段
１４１ 分布特性計算部
５００ 距離画像センサ
５１０ 発光手段
５２０ 受光手段
６００ ＴＶ
７００ ＳＴＢ
８００ ユーザ

Claims (14)

1. 対象物に対して信号光を発光する発光手段と、
   前記対象物からの反射光を受光する複数の受光素子で構成される受光手段と、
   前記受光素子毎に受光した前記反射光と前記信号光を基に、前記受光素子毎に前記対象物との距離値を取得して距離画像を生成する距離情報取得手段と、
   前記距離画像を基に前記発光手段から発光する前記信号光の発光量を調整する光量調整手段を備え、
   前記光量調整手段は、前記距離画像から算出した距離値の分布特性に基づいて、前記信号光の発光量を調整することを特徴とする距離情報取得装置。
2. 前記光量調整手段は、前記距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とする請求項１記載の距離情報取得装置。
3. 前記光量調整手段は、距離値とジェスチャ認識に必要な画素数との関係を示すジェスチャ認識用画素数テーブル、および距離値と発光量との関係を示す発光量決定テーブルを備え、前記距離画像から算出した距離値の分布特性と前記ジェスチャ認識用画素数テーブルからジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とする請求項２記載の距離情報取得装置。
4. 前記光量調整手段は、距離値と発光量との関係を示す発光量決定テーブルを備えるとともに、前記距離画像から算出した距離値の分布特性を基に当該距離値の平均値または中央値を算出し、算出した当該平均値または当該中央値からジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とする請求項２記載の距離情報取得装置。
5. 前記光量調整手段は、距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターン、および距離値と発光量との関係を示す発光量決定テーブルを備え、前記距離画像から算出した距離値の分布特性と前記距離分布パターンからジェスチャ認識に必要な距離値を決定し、決定した当該距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とする請求項２記載の距離情報取得装置。
6. 前記光量調整手段は、距離値と発光量との関係を示す発光量決定テーブルを備えるとともに、計測タイミングが異なる複数の前記距離画像を用い、複数の前記距離画像において異なる距離値を有する画素を画素Ａとして抽出し、抽出した前記画素Ａ毎に前記異なる距離値の中で最も小さい距離値を距離値αとして選択し、選択した前記距離値αの中で最も大きい距離値を計測距離値として決定し、決定した当該計測距離値に対応する前記信号光の発光量を、前記発光量決定テーブルを用いて決定することを特徴とする請求項２記載の距離情報取得装置。
7. 前記光量調整手段は、所定時間が経過する毎に、取得可能な最大距離値を計測距離値として決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とする請求項２乃至６のいずれかに記載の距離情報取得装置。
8. 対象物に対して信号光を発光する発光ステップと、
   前記対象物からの反射光を複数の受光素子で受光する受光ステップと、
   前記受光ステップにおいて前記受光素子毎に受光した前記反射光と前記信号光を基に、前記受光素子毎に前記対象物との距離値を取得して距離画像を生成する距離情報取得ステップと、
   前記距離画像を基に前記発光ステップにおいて発光する前記信号光の発光量を調整する光量調整ステップを備え、
   前記光量調整ステップにおいては、前記距離画像から算出した距離値の分布特性に基づいて、前記信号光の発光量を調整することを特徴とする距離情報取得装置における光量調節方法。
9. 前記光量調整ステップにおいては、前記距離画像から算出した距離値の分布特性に基づいてジェスチャ認識に必要な計測距離値を決定し、決定した当該計測距離値に対応して前記信号光の発光量を調整することを特徴とする請求項８記載の距離情報取得装置における光量調節方法。
10. 前記光量調整ステップにおいては、距離値とジェスチャ認識に必要な画素数との関係を示すジェスチャ認識用画素数テーブル、および距離値と発光量との関係を示す発光量決定テーブルが備えられ、前記距離画像から算出した距離値の分布特性と前記ジェスチャ認識用画素数テーブルからジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とする請求項８記載の距離情報取得装置における光量調節方法。
11. 前記光量調整ステップにおいては、距離値と発光量との関係を示す発光量決定テーブルが備えられているとともに、前記距離画像から算出した距離値の分布特性を基に当該距離値の平均値または中央値が算出され、算出された当該平均値または当該中央値からジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とする請求項８記載の距離情報取得装置における光量調節方法。
12. 前記光量調整ステップにおいては、距離値に対応するジェスチャ認識に必要な画素範囲を示す距離分布パターンおよび距離値と発光量との関係を示す発光量決定テーブルが備えられており、前記距離画像から算出した距離値の分布特性と前記距離分布パターンからジェスチャ認識に必要な距離値が決定され、決定された当該距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とする請求項８記載の距離情報取得装置における光量調節方法。
13. 前記光量調整ステップにおいては、距離値と発光量との関係を示す発光量決定テーブルが備えられているとともに、計測タイミングが異なる複数の前記距離画像が用いられ、複数の前記距離画像において異なる距離値を有する画素が画素Ａとして抽出され、抽出された前記画素Ａ毎に前記異なる距離値の中で最も小さい距離値が距離値αとして選択され、選択された前記距離値αの中で最も大きい距離値が計測距離値として決定され、決定された当該計測距離値に対応する前記信号光の発光量が、前記発光量決定テーブルを用いて決定されることを特徴とする請求項８記載の距離情報取得装置における光量調節方法。
14. 前記光量調整ステップにおいては、所定時間が経過する毎に、取得可能な最大距離値を計測距離値として決定され、決定された当該計測距離値に対応して前記信号光の発光量が調整されることを特徴とする請求項８乃至１３のいずれかに記載の距離情報取得装置における光量調節方法。

Images