JP2022166872A - 認識装置、認識方法及びプログラム - Google Patents

Abstract

【課題】認識対象物の認識精度を向上することが可能な認識装置、認識方法及びプログラムを提供すること。
【解決手段】本技術に係る認識装置は、処理部を具備する。上記処理部は、認識対象物に光を照射する発光部と、上記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと上記認識対象物を撮像するイメージセンサとを備える機器の、上記ＬｉＤＡＲセンサで取得される上記認識対象物のデプス値を、上記ＬｉＤＡＲセンサのセンシング結果及び上記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する。
【選択図】図３

Description

本技術は、認識対象物の認識に係る認識装置、認識方法及びプログラムに関する。

特許文献１には、カメラ画像に仮想オブジェクトを重畳した拡張現実画像に対して、ユーザが仮想オブジェクトに手を伸ばしている画像をユーザに提供することが記載されている。

特開２０２０－０６４５９２号公報

例えば、仮想オブジェクトを重畳した拡張現実画像に対して、ユーザが仮想オブジェクトに手を伸ばしている画像を生成する場合、手の認識精度が低いと、手の上に仮想オブジェクトが重畳されて手が見えなくなるなど不自然な拡張現実画像になることがあった。

以上のような事情に鑑み、本技術の目的は、認識対象物の認識精度を向上することが可能な認識装置、認識方法及びプログラムを提供することにある。

本技術に係る認識装置は、処理部を具備する。
上記処理部は、認識対象物に光を照射する発光部と、上記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと上記認識対象物を撮像するイメージセンサとを備える機器の、上記ＬｉＤＡＲセンサで取得される上記認識対象物のデプス値を、上記ＬｉＤＡＲセンサのセンシング結果及び上記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する。

このような構成によれば、ＬｉＤＡＲセンサに由来する計測誤差を補正することができ、認識対象物の認識精度を向上させることができる。

上記デプス補正情報は、上記ＬｉＤＡＲセンサのセンシング結果に基づく上記認識対象物のデプス値と、上記認識対象物の実際のデプス値との差分情報を含んでもよい。

上記機器は、複数の上記イメージセンサと、１つの上記ＬｉＤＡＲセンサを備え、
上記デプス補正情報は、複数の上記イメージセンサそれぞれのセンシング結果から検出される上記認識対象物の位置情報を用いて三角測量により算出される上記認識対象物のデプス値と、上記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく上記認識対象物のデプス値との差分情報を含んでもよい。

上記機器は、少なくとも１つの上記イメージセンサと、１つの上記ＬｉＤＡＲセンサを備え、
上記デプス補正情報は、１つの上記イメージセンサのセンシング結果から検出される上記認識対象物の位置情報と上記ＬｉＤＡＲセンサのセンシング結果としての信頼度画像から検出される上記認識対象物の位置情報とを用いて三角測量により算出される上記認識対象物のデプス値、上記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく上記認識対象物のデプス値との差分情報を含んでもよい。

上記認識対象物は半透明体であってもよい。
上記認識対象物は人間の肌であってもよい。
上記認識対象物は人間の手であってもよい。
上記処理部は、上記認識対象物である人間のジェスチャ動作を認識してもよい。

上記処理部は、上記ＬｉＤＡＲセンサのセンシング結果及び上記イメージセンサのセンシング結果を用いて上記デプス補正情報を生成してもよい。

上記機器は表示部を備え、
上記処理部は、補正した上記認識対象物のデプス値を用いて、上記表示部に表示する画像を生成してもよい。

本技術に係る認識方法は、認識対象物に光を照射する発光部と、上記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと上記認識対象物を撮像するイメージセンサとを備える機器の、上記ＬｉＤＡＲセンサで取得される上記認識対象物のデプス値を、上記ＬｉＤＡＲセンサのセンシング結果及び上記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する。

本技術に係るプログラムは、
認識対象物に光を照射する発光部と、上記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと上記認識対象物を撮像するイメージセンサとを備える機器の、上記ＬｉＤＡＲセンサで取得される上記認識対象物のデプス値を、上記ＬｉＤＡＲセンサのセンシング結果及び上記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正するステップ
を認識装置に実行させる。

本技術の実施形態に係る認識装置としての携帯端末の外観図である。 上記携帯端末の概略構成図である。 上記携帯端末の機能構成ブロックを含む構成図である。 認識対象物の認識方法のフロー図である。 補正マップを説明するための図である。 第１実施形態に係る補正マップの生成方法を説明する模式図である。 第１実施形態における補正マップ生成方法のフロー図である。 補正マップ生成時に表示部に表示される基本的な画像を説明する図である。 補正マップ生成時の表示部に表示されるより詳細な画像を説明する図である。 補正マップ生成時の表示部に表示される画像の表示方法に係るフロー図である。 第２実施形態に係る補正マップの生成方法を説明する模式図である。 第２実施形態における補正マップ生成方法のフロー図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。以下の説明において、同様の構成については同様の符号を付し、既出の構成については説明を省略する場合がある。

＜第１実施形態＞
［認識装置の外観構成］
図１は認識装置としての携帯端末１の外観図である。図１（Ａ）は携帯端末１を表示部３４のある正面１ａ側から見た平面図であり、図１（Ｂ）は携帯端末１を背面１ｂ側から見た平面図である。
本明細書において、図に示す互いに直交するＸＹＺ座標方向は、略直方体の携帯端末１の横、縦、高さに対応する。正面１ａ及び背面１ｂと平行な面をＸＹ平面として、高さ方向に相当する携帯端末１の厚み方向をＺ軸とする。本明細書において、該Ｚ軸方向がデプス方向に対応する。
本実施形態において、携帯端末１は、認識対象物を認識する認識装置として機能する。また、携帯端末１は、イメージセンサである第１カメラ２Ａ及び第２カメラ２Ｂと、ＬｉＤＡＲセンサ３と、表示部３４を有する機器である。携帯端末１は多眼カメラを有する機器である。

図１（Ａ）及び（Ｂ）に示すように、携帯端末１は、筐体４と、表示部３４と、第１カメラ２Ａと、第２カメラ２Ｂと、ＬｉＤＡＲセンサ３と、を有する。携帯端末１は、筐体４に、表示部３４を構成する表示パネル、第１カメラ２Ａ、第２カメラ２Ｂ、ＬｉＤＡＲセンサ３、その他の各種センサ、及び、駆動回路等が保持されて構成される。

携帯端末１は、正面１ａと、該正面１ａの反対側に位置する背面１ｂと、を有する。
図１（Ａ）に示すように、正面１ａ側には表示部３４が配置される。表示部３４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等の表示パネル（画像表示手段）により構成される。表示部３４は、後述する通信部４１を通して外部機器から送受信される画像、後述する表示画像生成部５４で生成された画像、入力操作用のボタン、第１カメラ２Ａや第２カメラ２Ｂにより撮影されたスルー画像等を表示可能に構成される。画像には静止画及び動画が含まれる。
図１（Ｂ）に示すように、背面１ｂ側には第１カメラ２Ａの撮像レンズ、第２カメラ２Ｂの撮像レンズ、ＬｉＤＡＲセンサ３の撮像レンズが位置する。

第１カメラ２Ａ、第２カメラ２Ｂ、及び、ＬｉＤＡＲセンサ３は、撮影空間においてセンシングされる同一の認識対象物（被写体）の座標値が同じになるように、それぞれ予めキャリブレーションされる。これにより、第１カメラ２Ａ、第２カメラ２Ｂ、及び、ＬｉＤＡＲセンサ３によりセンシングされたＲＧＢ情報（ＲＧＢ画像データ）及びデプス情報（デプス画像データ）を統合することにより、ポイントクラウド（各ポイントが三次元座標を持つような情報の集合）を構成することが可能である。
第１カメラ２Ａ、第２カメラ２Ｂ、及び、ＬｉＤＡＲセンサ３の構成については後述する。

［認識装置の全体構成及び各部の構成］
図２は携帯端末１の概略構成図である。図３は携帯端末１の機能構成ブロックを含む構成図である。

図２に示すように、携帯端末１は、センサ部１０と、通信部４１と、ＣＰＵ（Central Processing Unit）４２と、表示部３４と、ＧＮＳＳ受信部４４と、メインメモリ４５と、フラッシュメモリ４６と、オーディオデバイス部４７と、バッテリー４８と、を有する。

センサ部１０は、第１カメラ２Ａ、第２カメラ２Ｂ、ＬｉＤＡＲセンサ３といった撮像デバイスやタッチセンサ４３等の各種センサを含む。タッチセンサ４３は、典型的には表示部３４を構成する表示パネル上に配置される。タッチセンサ４３は、表示部３４上でユーザによって行われる設定等の入力操作等をうけつける。
通信部４１は、外部機器と通信可能に構成される。
ＣＰＵ４２は、オペレーティングシステムを実行することにより携帯端末１の全体を制御する。ＣＰＵ４２はまた、リムーバブル記録媒体から読みだされてメインメモリ４５にロードされた、あるいは通信部４１を介してダウンロードされた各種プログラムを実行する。
ＧＮＳＳ受信部４４は、全球測位衛星システム（Global Navigation Satellite System：ＧＮＳＳ）信号受信機である。ＧＮＳＳ受信部４４は携帯端末１の位置情報を取得する。
メインメモリ４５は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
フラッシュメモリ４６は、補助記憶装置である。
オーディオデバイス部４７は、マイクロフォン及びスピーカを含む。
バッテリー４８は、携帯端末１の駆動電源である。

図３に示すように、携帯端末１は、センサ部１０と、処理部５０と、記憶部５６と、表示部３４と、を有する。図３のセンサ部１０において、本技術に主に係る主要なセンサについてのみ図示している。

センサ部１０に含まれる第１カメラ２Ａ、第２カメラ２Ｂ、ＬｉＤＡＲセンサ３でのセンシング結果は処理部５０に出力される。

（カメラ）
第１カメラ２Ａと第２カメラ２Ｂは同様の構成を有する。以下、第１カメラ２Ａ、第２カメラ２Ｂというように両者を特に区別する必要がない場合は、カメラ２という。
カメラ２は、画像データとして、被写体のカラー二次元画像（ＲＧＢ画像ということもある。）を撮像することが可能なＲＧＢカメラである。ＲＧＢ画像は、カメラ２のセンシング結果である。
カメラ２は、認識対象物（被写体）を撮像するイメージセンサである。イメージセンサは、例えばＣＣＤ（Charge-Coupled Device）センサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等である。イメージセンサは、受光部であるフォトダイオードと、信号処理回路を有する。イメージセンサでは、受光部で受光した光が信号処理回路により信号処理され、受光部への入射光の光量に応じた画像データが取得される。

（ＬｉＤＡＲセンサ）
ＬｉＤＡＲセンサ３は、認識対象物（被写体）のデプス画像（距離画像ともいう。）を撮像する。デプス画像は、ＬｉＤＡＲセンサ３のセンシング結果である。デプス画像は、認識対象物のデプス値を含むデプス情報である。
ＬｉＤＡＲセンサ３は、レーザ光を用いたリモートセンシング技術（ＬｉＤＡＲ：Light Detection and Ranging）を用いた測距センサである。
ＬｉＤＡＲセンサには、ＴｏＦ（Time of flight）方式及びＦＭＣＷ（Frequency Modulated Continuous Wave）方式があり、いずれの方式のものを用いてもよいが、ＴｏＦ方式を好適に用いることができる。本実施形態では、ＴｏＦ方式のＬｉＤＡＲセンサ（以下、ＴｏＦセンサという。）を用いる例をあげる。
ＴｏＦセンサには、「直接（Ｄｉｒｅｃｔ）方式」と「間接（Ｉｎ Ｄｉｒｅｃｔ）方式」があり、いずれの方式のＴｏＦセンサを用いてもよい。「直接方式」は、短時間発光する光パルスを被写体に照射し、その反射光がＴｏＦセンサに届くまでの時間を実測する。「間接方式」は、周期的に点滅する光を用いて、その光が被写体との間を往復するときの時間遅れを位相差として検出する。高画素化の観点から間接方式のＴｏＦセンサを用いることがより好ましい。

ＬｉＤＡＲセンサ３は、発光部、受光部であるフォトダイオード、及び、信号処理回路を有する。発光部は、レーザ光、典型的には近赤外光（ＮＩＲ光）を発光する。受光部は、発光部から発光されたＮＩＲ光が認識対象物（被写体）で反射したときの戻り光（反射光）を受光する。ＬｉＤＡＲセンサ３では、信号処理回路によって受光した戻り光が信号処理され、被写体に対応したデプス画像が取得される。発光部は、例えば発光ダイオード（ＬＥＤ）等の発光部材とそれを発光させるためのドライバ回路を含んで構成される。

ここで、ＬｉＤＡＲセンサを用いて認識対象物（被写体）のデプス情報を得る際、認識対象物が半透明体であると、認識対象物での表面下散乱やセンサデバイスの個体差によって、計測値と実際の値（以下、実際値という。）との誤差（測距誤差）が生じるという問題があった。言い換えると、認識対象物の材質の反射特性やセンサデバイスの個体差によって、認識対象物の三次元計測精度が悪化するという問題があった。
ＬｉＤＡＲセンサにおいて、人間の肌のような半透明体が認識対象物である場合、表面下散乱（皮下散乱ともいう。）の影響で、発光部から発光した光が認識対象物で反射して戻ってくるまでの時間が余計にかかる。このため、ＬｉＤＡＲセンサでは、実際値よりも少し奥のデプス値として計測される。例えば、認識対象物が人の肌である場合、計測値と実際値のデプス値における誤差が２０ｍｍ程度生じる場合がある。
半透明体の例としては、人間の肌、大理石、牛乳等が知られている。半透明体は、その内部で光の透過と散乱が生じる物体である。

これに対し、本技術では、ＬｉＤＡＲセンサ３で取得されるデプス値を、デプス補正情報である補正マップを参照して補正している。これにより、認識対象物の三次元計測精度を高精度なものとし、認識対象物の認識精度を向上させることができる。
本実施形態において、上記補正マップは、第１カメラ２Ａ、第２カメラ２Ｂ、及び、ＬｉＤＡＲセンサ３それぞれのセンシング結果を用いて生成することができる。補正マップの詳細については後述する。

以下、認識対象物が、半透明体である肌が露出した状態の人間の手であり、手を認識する例を用いて説明する。

（処理部）
処理部５０は、補正マップを用いて、ＬｉＤＡＲセンサ３で取得されるデプス値を補正する。
処理部５０は、補正マップを生成してもよい。
処理部５０は、取得部５１と、認識部５２と、補正部５３と、表示画像生成部５４と、補正マップ生成部５５と、を有する。

（（取得部））
取得部５１は、第１カメラ２Ａ、第２カメラ２Ｂ、及び、ＬｉＤＡＲセンサ３それぞれでのセンシング結果、すなわちＲＧＢ画像、デプス画像を取得する。

（（認識部））
認識部５２は、取得部５１で取得したデプス画像やＲＧＢ画像から手の領域を検出する。認識部５２は、検出した手領域を切り出した画像領域から、手の特徴点位置を検出する。手の位置を認識するための手の特徴点としては、指先、指の関節、手首等がある。指先、指の関節、手首は、手を構成する部位である。

より詳細には、認識部５２は、第１カメラ２Ａ及び第２カメラ２Ｂそれぞれで取得されたＲＧＢ画像の手領域から手の二次元特徴点位置を検出する。検出された二次元特徴点位置は補正マップ生成部５５に出力される。以下、「二次元特徴点位置」を「二次元位置」ということがある。
また、認識部５２は、ＬｉＤＡＲセンサ３で取得したデプス画像の手領域から、手の三次元特徴点位置を推定し検出する。このＬｉＤＡＲセンサ３のデプス画像に基づいて検出された認識対象物の三次元特徴点位置は、補正部５３に出力される。以下、「三次元特徴点位置」を「三次元位置」ということがある。三次元位置は、デプス値の情報を含む。

上記手領域の検出、特徴点位置の検出は、既知の手法により行うことができる。例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）、Hand Pose Detection、Hand Pose Estimation、Hand segmentationなどの人体の手認識技術、ＨＯＧ（Histogram of Oriented Gradient）、ＳＩＦＴ（Scale Invariant Feature Transform）などの特徴点抽出方法、Ｂｏｏｓｔｉｎｇ、ＳＶＭ（Support Vector Machine）などのパターン認識による被写体認識方法、Graph Cutなどによる領域抽出方法、などにより、画像中における手の位置を認識することができる。

（（補正部））
補正部５３は、認識部５２により認識対象物の領域が手等の人間の肌であると認識されると、ＬｉＤＡＲセンサ３のデプス画像に基づいて検出された認識対象物（本実施形態では手である。）の三次元特徴点位置のデプス値（Ｚ軸方向の位置）を、補正マップを参照して補正する。

これにより、認識対象物が人の肌のような半透明体であっても、表面下散乱によるＬｉＤＡＲセンサ３による計測値と実際値のずれ（誤差）が解消されるように、デプス値が補正される。
すなわち、補正マップを用いる補正により、ＬｉＤＡＲセンサ３のセンシング結果から、実際の認識対象物の三次元位置情報を得ることができ、認識対象物を高精度に認識することができる。
補正部５３によって補正された認識対象物のデプス値は、表示画像生成部５４に出力される。

（（表示画像生成部））
表示画像生成部５４は、表示部３４に出力する画像信号を生成する。該画像信号は、表示部３４に出力され、表示部３４では、画像信号に基づいて画像が表示される。

表示画像生成部５４は、カメラ２で取得されたスルー画像（カメラ画像）に、仮想オブジェクトが重畳された画像を生成してもよい。該仮想オブジェクトは、後述する補正マップ生成時に用いる仮想オブジェクトであってよい。また、仮想オブジェクトは、例えばゲームアプリケーションによる拡張現実画像を構成する仮想オブジェクトであってもよい。

ここで、カメラ画像に壁の仮想オブジェクトを重畳した拡張現実画像に対して、ユーザが仮想オブジェクトである壁に手で触れる画像を、表示部３４に表示する例をあげる。
表示画像生成部５４は、該表示画像を生成するにあたり、補正された認識対象物である手のデプス値を用いて、手と仮想オブジェクトである壁の位置関係が適切な拡張現実画像を生成することができる。
これにより、例えば、仮想オブジェクトである壁の表面を手で触れるという画像が表示されるべきところ、手の一部に壁の仮想オブジェクトが重畳されて手の一部が見えなくなり、壁に指が突っ込まれた画像になってしまう、といったことがない。

（（補正マップ生成部））
補正マップ生成部５５は、第１カメラ２Ａと第２カメラ２Ｂそれぞれのセンシング結果と、ＬｉＤＡＲセンサ３のセンシング結果を用いて、デプス補正情報である補正マップを生成する。

より具体的には、補正マップ生成部５５は、認識部５２で各カメラ２のＲＧＢ画像から検出された認識対象物（手）の二次元特徴点位置を用いて、三角測量により認識対象物の三次元特徴点位置を算出する。この三角測量を用いて算出した認識対象物の三次元特徴点位置は、実際の認識対象物の三次元特徴点位置に相当するものとし、実際の認識対象物のデプス値を含むものとする。
補正マップ生成部５５は、三角測量により算出された認識対象物のデプス値と、認識部５２により検出されたＬｉＤＡＲセンサ３のデプス画像に基づく認識対象物のデプス値との差分情報を用いて、補正マップを生成する。
補正マップの生成方法については後述する。

（記憶部）
記憶部５６は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、認識対象物の認識処理や補正マップ（デプス補正情報）生成処理等を、携帯端末１に実行させるためのプログラムを記憶する。

記憶部５６に記憶される、認識対象物の認識処理のプログラムは、以下のステップを認識装置（本実施形態では携帯端末１）に実行させるためのものである。
上記ステップは、ＬｉＤＡＲセンサとイメージセンサとを備える機器（本実施形態では携帯端末１）の、ＬｉＤＡＲセンサで取得される認識対象物のデプス値を、ＬｉＤＡＲセンサのセンシング結果及びイメージセンサのセンシング結果を用いて生成されるデプス補正情報（補正マップ）を参照して補正するステップである。

記憶部５６に記憶される、補正マップ（デプス補正情報）の生成処理のプログラムは、以下のステップを認識装置（本実施形態では携帯端末１）に実行させるためのものである。
上記ステップは、複数のカメラそれぞれのＲＧＢ画像から検出された認識対象物の二次元位置から三角測量により認識対象物の三次元位置を算出するステップと、ＬｉＤＡＲセンサのデプス画像から認識対象物の三次元位置を検出するステップと、三角測量により算出された認識対象物の三次元位置とＬｉＤＡＲセンサのデプス画像に基づく認識対象物の三次元位置との差分情報を用いて補正マップ（デプス補正情報）を生成するステップ、である。

また、記憶部５６は、予め生成された補正マップを格納していてもよい。補正部５３はこの予め準備された補正マップを参照して、ＬｉＤＡＲセンサ３で取得されたデプス値を補正してもよい。

［認識方法］
図４は、認識対象物の認識方法のフロー図である。
図４に示すように、認識処理がスタートすると、取得部５１により、ＬｉＤＡＲセンサ３のセンシング結果（デプス画像）が取得される（ＳＴ１）。

次に、認識部５２により、取得部５１で取得したデプス画像を用いて手の領域が検出される（ＳＴ２）。
認識部５２により、デプス画像から認識対象物である手の三次元特徴点位置が推定、検出される（ＳＴ３）。検出された認識対象物の三次元特徴点位置情報は補正部５３に出力される。

次に、補正部５３により、補正マップを用いて、検出された認識対象物の三次元特徴点位置のＺ位置が補正される（ＳＴ４）。補正された認識対象物の三次元特徴点位置は、実際の認識対象物の三次元特徴点位置に相当する。
補正された認識対象物の三次元特徴点位置情報は表示画像生成部５４に出力される（ＳＴ５）。

このように、本実施形態の認識方法では、認識対象物が半透明体である人間の肌であっても、ＬｉＤＡＲセンサ３のセンシング結果を、補正マップを用いて補正することにより、認識対象物の認識精度が向上する。

［補正マップ］
補正マップは、ＬｉＤＡＲセンサ３で検出される認識対象物のデプス値（Ｚ値）を補正するためのデプス補正情報である。ＬｉＤＡＲセンサ３での計測値は、認識対象物である肌での表面下散乱やＬｉＤＡＲセンサ３の個体差によって、実際値との誤差が生じる。補正マップは、この誤差を補正する。

図５を用いて補正マップについて説明する。
図５（Ａ）に示すように、ＬｉＤＡＲセンサ３で取得され得る撮影領域８の実空間に対して、三次元のグリッド９を配置する。三次元のグリッド９は、均一な間隔で配置される複数のＸ軸に平行なグリッド線、均一な間隔で配置される複数のＹ軸に平行なグリッド線、均一な間隔で配置される複数のＺ軸に平行なグリッド線で分割されて構成される。
図５（Ｂ）は、図５（Ａ）をＹ軸方向からみたときの模式図である。
図５（Ａ）及び（Ｂ）において、符号３０は、ＬｉＤＡＲセンサ３の中心を示す。

補正マップは、三次元のグリッド９の各格子点上で、デプスに関するオフセット値を保持したマップである。「デプスに関するオフセット値」とは、ＬｉＤＡＲセンサ３で取得されるデプス値（計測値）が、実際のデプス値（実際値）に対して、＋又は－でＺ軸方向にどの程度ずれているかを示す値である。

「デプスに関するオフセット値」について説明する。
図５（Ｂ）に示す例において、格子点Ａ上に位置する、中が黒い黒丸はＬｉＤＡＲセンサ３で取得されたデプス画像に基づく認識対象物の三次元位置１３を示す。中が白い白丸は実際の認識対象物の三次元位置１２を示す。認識対象物の三次元位置には、デプス値の情報が含まれる。換言すると、符号１３はＬｉＤＡＲセンサ３による計測位置を示し、符号１２は実際の位置を示す。
ＬｉＤＡＲセンサ３のデプス画像に基づく認識対象物の三次元位置１３のデプス値と、実際の認識対象物の三次元位置１２のデプス値との差分ａが、格子点Ａにおける「デプスに関するオフセット値」となる。図５（Ｂ）に示す例では、格子点Ａにおける「デプスに関するオフセット値」は＋である。
補正マップでは、撮影領域８に配置される三次元のグリッド９の全ての格子点毎に「デプスに関するオフセット値」が設定される。
このような補正マップを参照して、ＬｉＤＡＲセンサ３で取得された認識対象物のデプス値を補正することにより、認識対象物の三次元計測精度を高精度なものとし、認識対象物の認識精度を向上させることができる。

［補正マップを用いた補正方法］
上述の補正マップを用いたデプス値の補正方法について説明する。以下、「デプスに関するオフセット値」を単に「オフセット値」という。ＬｉＤＡＲセンサ３で取得された認識対象物の三次元位置を「計測位置」という。「計測位置」は、補正前三次元位置であり、補正前のデプス値の情報を含む。

上述のように、補正マップでは、三次元のグリッド９の格子点毎にオフセット値が設定されている。計測位置が格子点上にある場合は、当該格子点に設定されるオフセット値を用いて、計測位置のデプス値が補正される。

一方、計測位置が格子点上にない場合は、例えばＢｉｌｉｎｅａｒ補間処理等を用いて、計測位置におけるオフセット値を算出し、該オフセット値を用いて、計測位置のデプス値の補正を行うことができる。

Ｂｉｌｉｎｅａｒ補間処理では、例えば次のように計測位置におけるオフセット値が算出される。
Ｘ軸方向に隣り合って延在する２つのグリッド線とＹ軸方向に隣り合って延在する２つのグリッド線が交差してなる４つの格子点が通るＸＹ平面内に計測位置がある場合を例にあげて説明する。
計測位置におけるオフセット値は、上記４つの格子点それぞれにおけるオフセット値と、上記４つの格子点のうちＸ軸方向に隣接する２つの格子点と計測位置とのＸ軸方向における距離値の比に基づく重み係数と、上記４つの格子点のうちＹ軸方向に隣接する２つの格子点と計測位置とのＹ軸方向における距離値の比に基づく重み係数と、を用いて算出される。すなわち、計測位置におけるオフセット値は、上記４つの格子点それぞれにおけるオフセット値と、上記４つの格子点と計測位置との各ＸＹ軸方向における距離値の加重平均に基づいて算出される。

尚、ここでは、便宜的に、計測位置が４つの格子点が通る平面内に位置する場合を例にあげて説明したが、該平面内に計測位置がない場合は、次のように計測位置におけるオフセット値を算出することができる。
すなわち、三次元のグリッド９において、グリッド線により区画された最小単位の三次元空間内に計測位置がある場合、該最小の三次元空間を構成する８つの格子点それぞれにおけるオフセット値と、該８つの格子点と計測位置との各ＸＹＺ軸方向における距離値の加重平均に基づいて、計測位置におけるオフセット値を算出することができる。

［補正マップの生成方法］
（補正マップの生成方法の概略）
補正マップは、第１カメラ２Ａと第２カメラ２Ｂそれぞれのセンシング結果、ＬｉＤＡＲセンサ３のセンシング結果を用いて、生成することができる。以下、図６及び図７を用いて補正マップの生成方法の概略について説明する。

図６は、２つのカメラと１つのＬｉＤＡＲセンサを備える携帯端末１を用いた補正マップの生成例を説明する模式図である。携帯端末１の撮影領域内に、認識対象物であるユーザＵの手が位置した状態で、補正マップの生成は行われる。
図６において、ユーザＵの手に重なって示される複数の中が白い小さな白丸は、ユーザＵの手の特徴点位置６を示すものであり、関節位置、指先位置、手首位置等を示す。
ここでは、人差し指の指先位置を認識する場合について説明する。

図６において、符号１２０が付された白丸は、第１カメラ２Ａと第２カメラ２Ｂそれぞれで取得されたＲＧＢ画像から検出された二次元特徴点位置を用いて三角測量により算出された人差し指の指先の三次元特徴点位置を示す。この三角測量を用いて算出した指先位置１２０は、実際の指先位置に相当するとし、実際の認識対象物のデプス値の情報を含むものとする。

図６において、符号１３０は、ＬｉＤＡＲセンサ３で取得されたデプス画像に基づく人差し指の指先の三次元特徴点位置を示す。ＬｉＤＡＲセンサ３で取得される人差し指の指先位置１３０は、ＬｉＤＡＲセンサ３での計測時の表面下散乱により、実際の認識対象物の指先位置１２０とデプス値がずれている。

三角測量を用いて算出した指先位置１２０と、ＬｉＤＡＲセンサ３のデプス画像に基づく人差し指の指先位置１３０との差分が誤差成分となる。この誤差成分が、補正マップにおける「デプスに関するオフセット値」となる。
このような誤差成分のデータを、撮影領域全体で取得することによって、携帯端末１における認識対象が人の肌である場合のＬｉＤＡＲセンサ３に由来する計測誤差を補正するための補正マップを生成することができる。

図７を用いて、処理部５０での補正マップ生成の処理の流れを説明する。
図７に示すように、ＬｉＤＡＲセンサ３のデプス画像から認識対象物の三次元特徴点位置が検出される（ＳＴ１１）。このデプス画像に基づく三次元特徴点位置は、図６における符号１３０に対応する。
また、第１カメラ２Ａ及び第２カメラ２ＢそれぞれのＲＧＢ画像から二次元特徴点位置が検出される（ＳＴ１２）。検出された二次元特徴点位置を用いて三角測量により認識対象物の三次元特徴点位置が算出される（ＳＴ１３）。この三角測量によって算出される三次元特徴点位置は、認識対象物の実際の三次元特徴点位置である。三角測量によって算出される三次元特徴点位置は、図６における符号１２０に対応する。

次に、ＳＴ２３で算出された複数のカメラ（第１カメラ２Ａ及び第２カメラ２Ｂ）それぞれのＲＧＢ画像に基づいて算出された三次元特徴点位置に対する、ＳＴ２１で推定されたＬｉＤＡＲセンサ３のデプス画像に基づく三次元特徴点位置の差分が、誤差成分として算出される（ＳＴ１４）。
このような誤差成分のデータが撮影領域全体で取得されることにより、補正マップが生成される。

このように、補正マップは、ＬｉＤＡＲセンサ３のセンシング結果に基づく認識対象物のデプス値と実際の認識対象物のデプス値との差分情報を含む。

図８は、補正マップ生成時に表示部３４に表示される基本的な画像を説明する図である。
補正マップの生成時、図８（Ａ）及び（Ｂ）に示すように、携帯端末１の表示部３４には、第１カメラ２Ａ又は第２カメラ２Ｂにより取得されたスルー画像に、補正マップ生成のための仮想オブジェクトであるターゲット球７が重畳表示された画像が表示される。尚、補正マップ生成のための仮想オブジェクトは、球状に限られず、種々の形状とすることができる。
ユーザＵは、例えば一方の手で携帯端末１を持ち、他方の手を撮影領域内に位置させて表示部３４に他方の手が映し出される体勢をとる。ユーザＵが、表示部３４に表示される画像を見て、他方の手を動かすことによって、補正マップの生成が行われる。
ターゲット球７は、撮影領域内でその位置が変化可能に表示される。ユーザＵは、表示部３４に映し出されるターゲット球７の動きに応じて、ターゲット球７を追いかけるように他方の手を動かす。このように、ターゲット球７の動きに応じて手を動かすことにより、撮影領域全体における誤差成分のデータを取得することができ、該データを用いて補正マップを生成することができる。

より具体的な補正マップの生成方法について、以下に説明する。
（補正マップの具体的な生成方法例）
図９及び図１０を用いて、より具体的な補正マップの生成方法について説明する。
図９は、補正マップ生成時の表示部３４に表示される画像を説明する図である。
図１０は、補正マップ生成時に表示部３４に表示される画像の表示に係るフロー図である。

上述したように、補正マップの生成処理の際、ユーザＵは、一方の手で携帯端末１を持ち、他方の手をカメラ２の視野領域に入るように位置させた体勢をとる。
ユーザＵは、表示部３４を見ながら、表示部３４に表示されるターゲット球の移動方向や大きさに応じて、他方の手を動かす。この手の動きの情報に基づいて補正マップが生成される。

図１０のフローに従い、図９を参照して補正マップ生成時に表示される画像について説明する。
補正マップの生成処理がスタートすると、図９（Ａ）に示すように、携帯端末１の表示部３４に、第１カメラ２Ａ又は第２カメラ２Ｂで撮影されたスルー画像が表示される（ＳＴ２１）。さらに、図９（Ａ）に示すように、スルー画像に重畳して、目標場所にターゲット球７が表示され（ＳＴ２２）、該ターゲット球７を追うユーザＵの手の認識結果としてユーザ認識結果の球１１が表示される（ＳＴ２３）。以下、「ユーザ認識結果の球」を「ユーザ球」という。

ターゲット球７及びユーザ球１１はいずれも仮想オブジェクトである。ターゲット球７は例えば黄色、ユーザ球１１は例えば青色というように、互いに異なる色で表示され、両者は識別可能となっている。
ターゲット球７の大きさは変化することなく、常に一定の大きさで表示される。
ユーザ球１１は、認識されたユーザＵの手の所定の位置に表示される。例えば、図８に示す例では、ユーザ球１１の中心が中指の付け根付近に位置するようにユーザ球１１は表示される。ユーザ球１１は、ＬｉＤＡＲセンサ３でのセンシング結果に基づく認識結果を示す。ユーザ球１１は、表示部３４に表示される画像において、ユーザＵのＸＹ平面内での手の動きに追従して移動するように表示される。更に、ユーザ球１１は、ユーザＵのＺ軸方向における手の動きに応じて大きさが変化する。言い換えると、ユーザ球１１の大きさは、ユーザＵの手のＺ軸方向における位置（デプス値）に応じて変化する。

携帯端末１により、例えば音声等によって、ユーザに対して、図９（Ｂ）に示すように、ターゲット球７にユーザ球１１が合致するように手を動かすよう誘導が行われる（ＳＴ２４）。ここで、ターゲット球７とユーザ球１１が合致するとは、両者の位置及び両者の球の大きさがほぼ同じとなることをいう。ターゲット球７とユーザ球１１との合致の誘導は、音声の他、文章で表示部３４に表示されてもよい。

次に、図９（Ｃ）に示すように、ターゲット球７とユーザ球１１の合致が認められると、図９（Ｄ）に示すようにターゲット球７が移動する。携帯端末１により、音声等によって、ユーザＵに対して、ターゲット球７の動きにユーザＵの手を追従させるように誘導が行われる。ターゲット球７は、撮影領域全体を移動する。

補正マップ生成部５５により、撮影領域全体を移動するターゲット球７を追うように移動するユーザＵの手の動き情報が取得される。すなわち、補正マップ生成部５５により、撮影領域全体のＬｉＤＡＲセンサ３による認識対象物（手）の三次元位置情報が取得される（ＳＴ２５）。

更に、上述のＳＴ１１～ＳＴ１５の補正マップ生成処理では、補正マップ生成部５５により、ＬｉＤＡＲセンサ３による認識対象物の三次元位置情報の取得と平行して、三角測量により算出される三次元位置情報も取得される。
すなわち、補正マップ生成部５５により、２つのカメラ２Ａ及び２ＢのＲＧＢ画像が取得され、各カメラのＲＧＢ画像から検出された認識対象物の二次元位置情報を用いて三角測量により認識対象物の三次元位置が算出される。この三角測量により算出される三次元位置情報も、撮影領域全体に亘って取得される。

そして、図７のフロー図を用いて説明したように、ＬｉＤＡＲセンサ３のデプス画像（センシング結果）に基づく認識対象物の三次元位置情報と、２つのカメラ２Ａ及び２ＢそれぞれのＲＧＢ画像（センシング結果）に基づく三次元位置情報との誤差が算出される。補正マップ生成部５５により、撮影領域全体における誤差成分のデータを用いて補正マップが生成される。
このように、ユーザにより、携帯端末１毎に、ＬｉＤＡＲセンサ３による計測誤差（測距誤差）を補正する補正マップを生成することができ、搭載されているＬｉＤＡＲセンサ３に適した調整が可能となる。

尚、補正マップは、上述のように、携帯端末１毎にユーザにより生成されてもよいし、予め準備されていてもよい。ＬｉＤＡＲセンサ及びカメラを備える機器（本実施形態における携帯端末）において、機器の種類毎に搭載されるセンサの種類は予めわかるので、機種やセンサ毎に、認識対象物が人の肌である場合の補正マップが予め生成され準備されていてもよい。後述する第２実施形態においても同様のことがいえる。

＜第２実施形態＞
第１実施形態では、２つのカメラと１つのＬｉＤＡＲセンサそれぞれのセンシング結果を用いて補正マップを生成する例をあげたが、これに限定されない。
本実施形態では、機器（本実施形態では携帯端末）に搭載される１つのカメラと１つのＬｉＤＡＲセンサそれぞれのセンシング結果を用いて補正マップを生成する例をあげる。
本実施形態における機器としての携帯端末は、カメラの数が異なる点で第１実施形態の携帯端末と異なり、その他の基本構成は同様であり、処理部５０の構成はほぼ同様である。第１実施形態における携帯端末は複眼カメラを搭載しているのに対し、第２に実施形態における携帯端末は単眼カメラを搭載している。以下、異なる点について主に説明する。

第２実施形態において、認識装置としても機能する携帯端末１の記憶部５６に記憶される補正マップ（デプス補正情報）の生成処理のプログラムは、以下のステップを認識装置（本実施形態では携帯端末１）に実行させるためのものである。
上記ステップは、１つのカメラのＲＧＢ画像（センシング結果）から認識対象物の二次元位置を検出するステップと、ＬｉＤＡＲセンサの信頼度画像（センシング結果）から認識対象物の二次元位置を検出するステップと、カメラのＲＧＢ画像に基づく認識対象物の二次元位置とＬｉＤＡＲセンサの信頼度画像に基づく認識対象物の二次元位置を用いて三角測量により認識対象物の三次元位置を算出するステップと、ＬｉＤＡＲセンサのデプス画像から認識対象物の三次元位置を検出するステップと、三角測量により算出された認識対象物の三次元位置とＬｉＤＡＲセンサのデプス画像に基づく認識対象物の三次元位置との差分を用いてデプス補正情報（補正マップ）を生成するステップ、である。

図１１及び図１２を用いて、本実施形態における補正マップの生成方法について説明する。
図１１は、携帯端末１を用いた補正マップの生成例を説明する模式図である。
図１１において、ユーザＵの手に重なって示される複数の中が白い小さな白丸は、ユーザＵの手の特徴点位置６を示す。ここでは、人差し指の指先位置を認識する場合について説明する。
図１２は、本実施形態における補正マップ生成方法のフロー図である。
尚、補正マップ生成時の表示部に表示される画像は、第１実施形態と同様である。

図１１において、符号１２１は、カメラ２のＲＧＢ画像から検出された二次元特徴点位置とＬｉＤＡＲセンサ３の信頼度画像から検出された二次元特徴点位置とを用いて、三角測量により算出した人差し指の指先位置を示す。三角測量を用いて算出した指先位置１２１は、実際の指先位置に相当するものとし、実際の認識対象物のデプス値の情報を含むものとする。指先位置１２１は、認識対象物の三次元特徴点位置である。

信頼度画像は、ＬｉＤＡＲセンサ３で取得されるデプス情報の信頼度を画素毎に表す信頼度情報である。該信頼度は、ＬｉＤＡＲセンサ３でデプス情報を取得する際に、同時に算出される。信頼度は、デプス情報算出に用いた画像の輝度情報やコントラスト情報を用いて算出される。信頼度は実数値で画素毎に決定され、最終的に信頼度を輝度値とするグレースケールの画像として信頼度画像が生成される。

図１１において、符号１３１は、ＬｉＤＡＲセンサ３で取得されたデプス画像に基づく人差し指の指先の三次元特徴点位置を示す。ＬｉＤＡＲセンサ３で取得される人差し指の指先位置１３１は、ＬｉＤＡＲセンサ３での計測時の表面下散乱により、実際の認識対象物の指先位置１２１とデプス値がずれている。

三角測量を用いて算出した指先位置１２１と、ＬｉＤＡＲセンサ３のデプス画像に基づく人差し指の指先位置１３１との差分が誤差成分となる。この誤差成分が、補正マップにおける「デプスに関するオフセット値」となる。
このような誤差成分のデータを、撮影領域全体で取得することによって、携帯端末１における認識対象が人の肌である場合のＬｉＤＡＲセンサ３に由来する計測誤差を補正するための補正マップを生成することができる。

このように、補正マップは、ＬｉＤＡＲセンサ３のセンシング結果に基づく認識対象物のデプス値と実際の認識対象物のデプス値との差分情報を含む。

本実施形態の補正マップ生成処理では、補正マップ生成部５５により、ＬｉＤＡＲセンサ３のデプス画像（センシング結果）に基づく認識対象物の三次元位置情報と、１つのカメラ２のＲＧＢ画像（センシング結果）とＬｉＤＡＲセンサ３の信頼度画像（センシング結果）とに基づく認識対象物の三次元位置情報とを用いて、補正マップが生成される。
以下、図１２を用いて処理部５０での補正マップ生成の処理の流れを説明する。

図１２に示すように、ＬｉＤＡＲセンサ３のデプス画像から認識対象物の三次元特徴点位置が検出される（ＳＴ３１）。このデプス画像に基づく三次元特徴点位置は、図１１における符号１３１に対応する。
また、ＬｉＤＡＲセンサ３の信頼度画像から二次元特徴点が検出される（ＳＴ３２）。
また、カメラ２のＲＧＢ画像から二次元特徴点位置が検出される（ＳＴ３３）。

次に、信頼度画像から検出された二次元特徴点位置と、カメラ２のＲＧＢ画像から検出された二次元特徴点位置を用いて、三角測量により認識対象物の三次元特徴点位置が算出される（ＳＴ３４）。この三角測量を用いて算出される三次元特徴点位置は、認識対象物の実際の三次元特徴点位置に相当するものである。三角測量によって算出される三次元特徴点位置は、図１１における符号１２１に対応する。

次に、ＳＴ３４で三角測量を用いて算出された認識対象物の三次元特徴点位置に対する、ＳＴ３１で推定されたＬｉＤＡＲセンサ３のデプス画像に基づく三次元特徴点位置の差分が、誤差成分として算出される（ＳＴ３５）。
このような誤差成分のデータが撮影領域全体で取得されることにより、補正マップが生成される。

以上の各実施形態のように、本技術は、ＬｉＤＡＲセンサとカメラ（イメージセンサ）を備える機器の、ＬｉＤＡＲセンサで取得されるデプス値を、ＬｉＤＡＲセンサのセンシング結果とカメラのセンシング結果を用いて生成された補正マップ（デプス補正情報）を参照して補正している。これにより、ＬｉＤＡＲセンサの個体差に応じたＬｉＤＡＲセンサのセンシング結果のデプス値における誤差の補正が可能となり、認識対象物の認識精度を向上させることができる。

本技術は、認識対象物が、人間の肌のように半透明体である場合に特に好ましく適用される。本技術においては、認識対象物が半透明体であっても、補正マップを用いてＬｉＤＡＲセンサで取得されるデプス値を補正することにより、認識対象物での表面下散乱やセンサデバイスの個体差によるＬｉＤＡＲセンサの計測値と実際値とのずれ（誤差）が補正される。これにより、安定した高精度な認識対象物の計測が可能となり、認識対象物の認識精度を向上させることができる。
このため、本技術は、上述の説明のように、肌が露出される状態の多い人間の手の認識に、特に好ましく適用することができる。
また、本技術は、ユーザが実行するジェスチャ動作を認識するジェスチャ認識にも適用され得る。ゲームや家電機器等のコントローラやリモートコントローラの代替として、ユーザが実行する手によるジェスチャ動作のジェスチャ認識結果を用い、ゲームや家電機器の操作入力等を行うことができる。本技術では、認識対象物の高精度な認識が可能であるので、安定かつ正確な操作入力が可能となる。

＜他の構成例＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述の第１及び第２実施形態では、それぞれ別々のデバイスであるＲＧＢカメラとＬｉＤＡＲセンサを用いる例をあげたが、ＲＧＢ画像とデプス画像（ＮＩＲ画像）を同時に撮影可能な１つのデバイスであるＲＧＢ－Ｄカメラを用いてもよい。
第１実施形態において、２つのカメラと１つのＬｉＤＡＲセンサの代わりに、１つのカメラと、１つのＲＧＢ－Ｄカメラを用いてもよい。
第２実施形態において、１つのカメラと１つのＬｉＤＡＲセンサの代わりに、１つのＲＧＢ－Ｄカメラを用いてもよい。

また、例えば、上述の実施形態においては、イメージセンサ及びＬｉＤＡＲセンサを備える機器である携帯端末が、認識対象物を認識する認識装置として機能する例をあげた。これに対し、認識対象物を認識する認識装置が、イメージセンサ及びＬｉＤＡＲセンサを備える機器とは別の外部機器であってもよい。例えば、図３に示す処理部５０の一部又は全てが、イメージセンサ及びＬｉＤＡＲセンサを備える機器とは別のサーバ等の外部機器によって構成されていてもよい。

本技術は、以下の構成をとることもできる。
（１） 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する処理部
を具備する認識装置。
（２） 上記（１）に記載の認識装置であって、
前記デプス補正情報は、前記ＬｉＤＡＲセンサのセンシング結果に基づく前記認識対象物のデプス値と、前記認識対象物の実際のデプス値との差分情報を含む
認識装置。
（３） 上記（１）又は（２）に記載の認識装置であって、
前記機器は、複数の前記イメージセンサと、１つの前記ＬｉＤＡＲセンサを備え、
前記デプス補正情報は、複数の前記イメージセンサそれぞれのセンシング結果から検出される前記認識対象物の位置情報を用いて三角測量により算出される前記認識対象物のデプス値と、前記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく前記認識対象物のデプス値との差分情報を含む
認識装置。
（４） 上記（１）又は（２）に記載の認識装置であって、
前記機器は、少なくとも１つの前記イメージセンサと、１つの前記ＬｉＤＡＲセンサを備え、
前記デプス補正情報は、１つの前記イメージセンサのセンシング結果から検出される前記認識対象物の位置情報と前記ＬｉＤＡＲセンサのセンシング結果としての信頼度画像から検出される前記認識対象物の位置情報とを用いて三角測量により算出される前記認識対象物のデプス値と、前記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく前記認識対象物のデプス値との差分情報を含む
認識装置。
（５） 上記（１）～（４）のいずれか１つに記載の認識装置であって、
前記認識対象物は半透明体である
認識装置。
（６） 上記（５）に記載の認識装置であって、
前記認識対象物は人間の肌である
認識装置。
（７） 上記（６）に記載の認識装置であって、
前記認識対象物は人間の手である
認識装置。
（８） 上記（１）～（７）のうちいずれか１つに記載の認識装置であって、
前記処理部は、前記認識対象物である人間のジェスチャ動作を認識する
認識装置。
（９） 上記（１）～（８）のうちいずれか１つに記載の認識装置であって、
前記処理部は、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて前記デプス補正情報を生成する
認識装置。
（１０） 上記（１）～（９）のうちいずれか１つに記載の認識装置であって、
前記機器は表示部を備え、
前記処理部は、補正した前記認識対象物のデプス値を用いて、前記表示部に表示する画像を生成する
認識装置。
（１１） 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する
認識方法。
（１２） 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正するステップ
を認識装置に実行させるプログラム。

１…携帯端末（認識装置、機器）
２…カメラ（イメージセンサ）
２Ａ…第１カメラ（イメージセンサ）
２Ｂ…第２カメラ（イメージセンサ）
３…ＬｉＤＡＲセンサ
１２、１２０、１２１…実際の指先位置、三角測量により算出された指先位置（実際のデプス値を含む認識対象物の三次元位置）
１３、１３０、１３１…ＬｉＤＡＲセンサのセンシング結果に基づく指先位置（ＬｉＤＡＲセンサのセンシング結果に基づくデプス値を含む認識対象物の三次元位置）
３４…表示部
５０…処理部

Claims (12)

1. 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する処理部
   を具備する認識装置。
2. 請求項１に記載の認識装置であって、
   前記デプス補正情報は、前記ＬｉＤＡＲセンサのセンシング結果に基づく前記認識対象物のデプス値と、前記認識対象物の実際のデプス値との差分情報を含む
   認識装置。
3. 請求項２に記載の認識装置であって、
   前記機器は、複数の前記イメージセンサと、１つの前記ＬｉＤＡＲセンサを備え、
   前記デプス補正情報は、複数の前記イメージセンサそれぞれのセンシング結果から検出される前記認識対象物の位置情報を用いて三角測量により算出される前記認識対象物のデプス値と、前記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく前記認識対象物のデプス値との差分情報を含む
   認識装置。
4. 請求項２に記載の認識装置であって、
   前記機器は、少なくとも１つの前記イメージセンサと、１つの前記ＬｉＤＡＲセンサを備え、
   前記デプス補正情報は、１つの前記イメージセンサのセンシング結果から検出される前記認識対象物の位置情報と前記ＬｉＤＡＲセンサのセンシング結果としての信頼度画像から検出される前記認識対象物の位置情報とを用いて三角測量により算出される前記認識対象物のデプス値と、前記ＬｉＤＡＲセンサのセンシング結果としてのデプス画像に基づく前記認識対象物のデプス値との差分情報を含む
   認識装置。
5. 請求項１に記載の認識装置であって、
   前記認識対象物は半透明体である
   認識装置。
6. 請求項５に記載の認識装置であって、
   前記認識対象物は人間の肌である
   認識装置。
7. 請求項６に記載の認識装置であって、
   前記認識対象物は人間の手である
   認識装置。
8. 請求項１に記載の認識装置であって、
   前記処理部は、前記認識対象物である人間のジェスチャ動作を認識する
   認識装置。
9. 請求項１に記載の認識装置であって、
   前記処理部は、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて前記デプス補正情報を生成する
   認識装置。
10. 請求項１に記載の認識装置であって、
    前記機器は表示部を備え、
    前記処理部は、補正した前記認識対象物のデプス値を用いて、前記表示部に表示する画像を生成する
    認識装置。
11. 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正する
    認識方法。
12. 認識対象物に光を照射する発光部と、前記認識対象物から反射される光を受光する受光部とを有するＬｉＤＡＲ（Light Detection and Ranging）センサと前記認識対象物を撮像するイメージセンサとを備える機器の、前記ＬｉＤＡＲセンサで取得される前記認識対象物のデプス値を、前記ＬｉＤＡＲセンサのセンシング結果及び前記イメージセンサのセンシング結果を用いて生成されるデプス補正情報を参照して補正するステップ
    を認識装置に実行させるプログラム。

Images