JP2011039673A - 位置検出装置および位置検出方法 - Google Patents

位置検出装置および位置検出方法 Download PDF

Info

Publication number
JP2011039673A
JP2011039673A JP2009184721A JP2009184721A JP2011039673A JP 2011039673 A JP2011039673 A JP 2011039673A JP 2009184721 A JP2009184721 A JP 2009184721A JP 2009184721 A JP2009184721 A JP 2009184721A JP 2011039673 A JP2011039673 A JP 2011039673A
Authority
JP
Japan
Prior art keywords
irradiation
irradiation pattern
detection target
irradiated
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009184721A
Other languages
English (en)
Other versions
JP5423222B2 (ja
Inventor
Junichi Rekimoto
純一 暦本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009184721A priority Critical patent/JP5423222B2/ja
Priority to US12/833,557 priority patent/US20110033088A1/en
Priority to EP10171501A priority patent/EP2284667A1/en
Priority to CN2010102428716A priority patent/CN101995948B/zh
Publication of JP2011039673A publication Critical patent/JP2011039673A/ja
Application granted granted Critical
Publication of JP5423222B2 publication Critical patent/JP5423222B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Abstract

【課題】空間内の検出対象の三次元位置を安定して高精度に取得することが可能な位置検出装置を提供する。
【解決手段】空間内の検出対象に対して1または2以上の種類の照射光により構成される光群である照射パターン200を照射する照射部101と、検出対象を撮像して画像を取得する撮像部104と、照射部101が照射パターン200を照射する照射タイミングに基づいて撮像部104の撮像タイミングを制御する撮像制御部103と、撮像部104により取得された画像に基づいて照射パターン200が照射されている検出対象の照射部分を抽出し、検出対象と照射パターン200との位置関係を解析する解析部と、解析部により解析された検出対象と照射パターン200との位置関係に基づいて、照射パターン200が検出対象を照射するように、照射パターン200の照射位置を移動させる移動処理部とを備える。
【選択図】図1

Description

本発明は、位置検出装置および位置検出方法に関し、より詳細には、空間における検出対象の位置を検出する位置検出装置および位置検出方法に関する。
機器の操作にジェスチャを用いる技術開発は従来から行われている。例えば、カメラを用いてジェスチャを認識する技術は歴史が古く、MITのPut−That−Thereシステム以来多くの研究開発が行われている。ジェスチャをより的確に認識するには、指先や関節位置等の複数の特徴点の位置を、リアルタイムに高精度に検出することが要求されている。例えば、特許文献1、2には、ジェスチャするユーザの複数の特徴点を同時に認識して、多様な操作方法によるインタラクティブな入出力を可能とした技術が開示されている。また、ユーザが手にグローブやマーカ等を付けて、特徴点を認識し易くすることによって、より複雑な操作の認識を行おうとする事例も多い。
特開平11−24839号公報 特開2009−43139号公報
しかし、ジェスチャの認識をカメラにより行うものについては、指先での複雑な操作を的確に認識することが困難であったり、変動する照明環境で安定的に特徴点の動きを認識するのは困難であったりする等の課題が依然として存在する。また、ユーザの手にグローブやマーカ等を付けて、より複雑な操作の認識を行おうとする場合には、マーカ等の装着に準備時間を要する。このため、かかる認識方法は、日常生活での使用や不特定多数の利用者の使用には適さないという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、新規かつ改良された位置検出装置および位置検出方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射する照射部と、検出対象を撮像して画像を取得する撮像部と、照射部が照射パターンを照射する照射タイミングに基づいて、撮像部の撮像タイミングを制御する撮像制御部と、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係を解析する解析部と、解析部により解析された検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる移動処理部と、を備える、位置検出装置が提供される。
本発明によれば、撮像部により、照射パターンが照射されるタイミングで照射パターンが照射される空間を撮像して、画像を取得する。解析部は、取得した画像から、照射パターンが照射されている検出対象の照射部分を抽出して、検出対象と照射パターンとの位置関係を解析する。移動処理部は、検出対象と照射パターンとの位置関係から、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させる。このように、検出対象に対して常に照射パターンを照射することができ、検出対象の空間内における位置を高精度に安定して認識することができる。
ここで、照射パターンは、異なるタイミングで照射される、少なくとも第1の照射パターンと第2の照射パターンとを含んでなるようにしてもよい。このとき、撮像制御部は、第1の照射パターンおよび第2の照射パターンが照射される照射タイミングで撮像部に画像を取得させ、解析部は、第1の照射パターンが照射されたときに取得された第1の画像と第2の光が照射されたときに取得された第2の画像とを比較して、検出対象に対する第1の照射パターンおよび第2の照射パターンの照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第1の照射パターンおよび第2の照射パターンの照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
また、照射パターンは、照射パターンの移動方向に隣接する第1の光層および第3の光層とからなる第1の照射パターンと、第1の光層および第3の光層との間に位置する第2の光層からなる第2の照射パターンとを含むように構成してもよい。このとき、解析部は、検出対象に第1の光層および第2の光層が照射されているとき、照射パターンが検出対象を照射していると判定することもできる。
さらに、移動処理部は、検出対象に第1の光層のみが照射されているとき、検出対象にさらに第2の光層が照射されるように照射パターンを移動させ、検出対象に第1の光層、第2の光層および第3の光層が照射されているとき、検出対象に第1の光層および第2の光層のみが照射されるように照射パターンを移動させるようにしてもよい。
また、照射パターンは、照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第1の光層と第2の光層とからなるようにしてもよい。このとき、撮像制御部は、照射パターンの照射タイミングで撮像部に画像を取得させ、解析部は、撮像部により取得された画像から、検出対象に対する第1の光層および第2の光層の照射位置をそれぞれ認識し、移動処理部は、検出対象に対する第1の光層および第2の光層の照射位置に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
さらに、解析部は、検出対象に第1の光層のみが照射されているとき、照射パターンが検出対象を照射していると判定することもできる。このとき、移動処理部は、検出対象に照射パターンが照射されていないとき、検出対象に第1の光層が照射されるように照射パターンを移動させ、検出対象に第1の光層および第2の光層が照射されているとき、検出対象に第1の光層のみが照射されるように照射パターンを移動させるようにしてもよい。
また、解析部は、複数の検出対象について照射パターンとの位置関係を解析可能であり、移動処理部は、各検出対象と照射パターンとの位置関係に基づいて、照射パターンの照射位置を移動させるようにしてもよい。
照射パターンは、平面の膜状に形成され、移動処理部は、空間内に含まれる複数の検出対象を含むように照射パターンを移動させることもできる。あるいは、照射パターンは、空間内を区分して形成された所定領域毎に設けられ、移動処理部は、照射パターンが照射する領域内に含まれる検出対象を照射するように、照射パターンの照射位置をそれぞれ移動させるようにすることもできる。
また、検出対象の位置を算出する位置算出部をさらに備えてもよい。このとき、位置算出部は、撮像部により取得された画像と照射部の視点による照射画像とに基づいて、空間における検出対象の三次元位置を算出することができる。位置検出部は、例えばエピポーラ幾何を用いて空間における検出対象の三次元位置を算出することができる。
また、上記課題を解決するために、本発明の別の観点によれば、空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、照射部が照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、撮像タイミングに基づいて、撮像部により画像を取得するステップと、撮像部により取得された画像に基づいて、照射パターンが照射されている検出対象の照射部分を抽出し、検出対象と照射パターンとの位置関係を解析するステップと、検出対象と照射パターンとの位置関係に基づいて、照射パターンが検出対象を照射するように、照射パターンの照射位置を移動させるステップと、を含む、位置検出方法が提供される。
以上説明したように本発明によれば、空間内の検出対象の三次元位置を安定して高精度に取得することが可能な、位置検出装置および位置検出方法を提供することができる。
本発明の実施形態にかかる位置検出装置の一構成例を示す説明図である。 同実施形態にかかる位置検出装置の構成を示すブロック図である。 同実施形態にかかる位置検出装置による位置検出方法を示すフローチャートである。 照射部による照射タイミングの一例を示すグラフである。 照射部による照射タイミングの一例を示すグラフである。 撮像制御部による撮像タイミングの決定方法を説明するグラフである。 撮像部により撮像した2種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。 照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。 撮像部の撮像した画像から取得された検出対象の位置を示す画像と、照射部から見た画像との関係を示す説明図である。 撮像部により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。 検出対象の位置の算出方法を示す説明図である。 1種類の光からなる照射パターンを用いたときの、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.位置検出装置の概要
2.位置検出装置の具体的構成例
<1.位置検出装置の概要>
[位置検出装置の構成例]
まず、図1に基づいて、本発明の実施形態にかかる位置検出装置の構成例について説明する。なお、図1は、本実施形態にかかる位置検出装置の一構成例を示す説明図である。
本実施形態にかかる位置検出装置は、照射部により照射された照射光の反射を、それに同期して撮影する撮像部を用いて認識して、空間内における検出対象の三次元位置を取得する装置である。このような位置検出装置は、例えば図1に示すように、照射部であるプロジェクター101と、照射光を検出する検出部であるPD(Photo Detector)102と、マイクロプロセッサ103と、画像を取得する撮像部であるカメラ104と、から構成することができる。
プロジェクター101は、空間内に照射光を所定の照射パターン200で出力する。照射パターン200は、1または2以上の種類の照射光により構成される光群であって、空間内における検出対象の位置を特定するために用いられる。照射パターン200は、例えば、1または2以上の照射で1つの形状を形成する複数の膜状の光層から構成される。プロジェクター101は、例えばユーザの指先等の検出対象と照射パターン200との位置関係に基づいて、検出対象が常に照射パターン200により照射されるように、照射パターン200の照射位置を移動する。
PD102は、プロジェクター101の出力する照射光を検出し、検出結果をマイクロプロセッサ103へ出力する。PD102は、プロジェクター101から照射される照射パターン200の照射タイミングを検出するために設けられている。マイクロプロセッサ103は、PD102の検出結果に基づいて照射パターン200の照射タイミングを認識して、カメラ104による画像の撮像タイミングを生成する。生成された撮像タイミングは、カメラ104へ出力される。カメラ104は、この撮像タイミングに基づいて、照射パターン200が出力される空間の画像を撮像する。
撮像タイミングに基づいてカメラ104により撮像された画像を、情報処理部(図2の符号150に対応)によって画像処理することにより、照射パターン200が照射されている検出対象の照射部分を認識することができる。これにより、検出対象と照射パターン200との位置関係を認識することができる。認識された検出対象と照射パターン200との位置関係から、検出対象が的確に照射されていないと判断された場合、プロジェクター101は、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200の照射位置を移動させる。このようにして、所定の位置関係で照射パターン200が常に検出対象を照射するようにする。
また、照射パターン200が照射されている検出対象の照射部分が認識されると、撮像された画像中における検出対象の位置を検出することができる。さらに、空間における照射パターン200の照射位置から、検出対象とカメラ104との距離を判定することができる。これにより、検出対象の空間中での三次元位置を求めることができる。ここで、照射パターン200は、上述したように、常に所定の位置関係で検出対象を照射するように移動される。本実施形態にかかる位置検出装置は、このような照射パターン200の照射位置を用いて検出対象の三次元位置を算出することにより、空間における検出対象の位置を安定して高精度に検出することができる。
以下、図2および図3に基づいて、より具体的に本実施形態にかかる位置検出装置100の構成と、これを用いた検出対象の位置検出方法について説明していく。なお、図2は、本実施形態にかかる位置検出装置100の構成を示すブロック図である。図3は、本実施形態にかかる位置検出装置100による位置検出方法を示すフローチャートである。
[位置検出装置の構成]
本実施形態にかかる位置検出装置100は、図2に示すように、照射部110と、検出部120と、撮像制御部130と、撮像部140と、情報処理部150とからなる。
照射部110は、空間内における検出対象の位置を特定するために、照射光からなる照射パターン200を出力する。照射パターン200を構成する照射光は、可視光であっても不可視光であってもよい。照射パターン200は、検出対象の照射位置を特定することの可能なパターンに構成されており、照射光を照射する照射タイミングや、照射光の照射位置によって様々に構成することができる。このような照射パターン200を照射する照射部110には、例えば、図1に示したプロジェクター101や、赤外線発光装置等を用いることができる。照射部110は、後述する情報処理部150の指示に従って、検出対象に所定の照射光が照射されるように、照射パターン200を移動させる。
検出部120は、照射部110による照射パターン200の照射タイミングを検出する。検出部120は、例えば、図1に示したように、照射部110より出力される照射光を直接検出するPD102等の受光素子を用いることができる。この場合、検出部120は、受光する照射光の強度に応じた電気信号を検出結果として出力する。あるいは、検出部120として照射パターン200を照射する照射タイミングを制御する照射部110内の制御回路を用いることもできる。この場合、制御回路の出力する、照射タイミングを示す回路信号を検出部120による検出結果として用いる。検出部120は、検出結果を撮像制御部130へ出力する。
撮像制御部130は、検出部120の検出結果に基づいて、撮像部140の撮像タイミングを生成する。撮像制御部130は、検出部120の検出結果から、照射部110から出力された照射光の照射タイミングを認識することができる。本実施形態では、検出対象の位置を認識するために、照射パターン200が照射された時点での画像を用いる。このため、撮像制御部130は、検出部120の検出結果から照射パターン200が出力されたときの照射タイミングを認識し、当該照射タイミングに基づいて、撮像部140が画像を取得する撮像タイミングを生成する。撮像制御部130は、生成した撮像タイミングを撮像部140へ出力する。
撮像部140は、撮像タイミングに基づいて、照射パターン200が照射されている空間の画像を撮像する。撮像制御部130により生成された撮像タイミングで撮像することにより、撮像部140は、所定の照射パターンが照射されている時点での画像を取得することができる。撮像部140は、撮像した画像を情報処理部150へ出力する。
情報処理部150は、検出対象の位置を算出する機能部である。情報処理部150は、後述する検出方法を用いて、撮像部140により取得された画像に基づいて、照射パターン200が照射された検出対象の照射部分を検出する。これより、情報処理部150は、照射パターン200と検出対象との位置関係を解析することができる。情報処理部150は、解析された照射パターン200と検出対象との位置関係から、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200を移動させる移動情報を生成し、照射部110へ出力する。照射部110は、情報処理部150から入力された移動情報に基づいて、照射パターン200の照射位置を変更する。このように、情報処理部150により算出された検出対象の位置は、次の時間における照射パターンの照射位置の決定に用いられる。
また、情報処理部150は、照射部110から入力される照射パターン200の照射位置と、照射パターン200が照射された検出対象の照射部分の位置情報とに基づいて、空間における検出対象の三次元位置を算出する。なお、検出対象の三次元位置の算出方法は後述する。情報処理部150は、算出した検出対象の三次元位置を位置情報として、外部の機器に出力することができる。空間における検出対象の位置情報は、例えば、ユーザが行っているジェスチャの認識等に用いることができる。
[位置検出方法の概略]
次に、図3に基づいて、本実施形態にかかる位置検出装置100による検出対象の位置検出方法の概略を説明する。
本実施形態にかかる位置検出方法は、まず、照射部110により所定の照射パターン200を検出対象の存在する空間に対して照射する(ステップS100)。次いで、撮像部140により空間内の検出対象の画像を取得する(ステップS110)。このとき、撮像部140は、撮像制御部130により生成された撮像タイミングに基づいて、所定の照射パターン200の照射タイミングと同期して画像を取得する。
さらに、情報処理部150は、撮像部140により撮像された画像を解析して、検出対象の位置を検知する(ステップS120)。情報処理部150は、撮像された画像から、照射パターン200が照射された検出対象の照射部分を認識する。これより、情報処理部150は、検出対象と照射パターン220との位置関係、すなわち、照射パターン200が検出対象にどのくらい照射されているかを検出することができる。
その後、情報処理部150は、検出対象と照射パターン220との位置関係から、照射パターン200が所定の位置関係で検出対象を照射するように、照射パターン200の照射位置を移動させる移動情報を生成する(ステップS130)。情報処理部150は、生成した移動情報を照射部110へ出力する。照射部110は、入力された移動情報に基づいて照射パターン200の照射位置を移動し、照射パターン200と検出対象とが所定の位置で照射されるようにする。
以上、本実施形態にかかる位置検出装置100による検出対象の位置検出方法について説明した。このように、照射部110から出力される照射パターン200が常に検出対象を所定の位置関係で照射するように、照射パターン200を移動させることにより、空間における検出対象の検出位置を高精度に検出することが可能となる。
<2.位置検出装置の具体的構成例>
続いて、以下に、本実施形態にかかる位置検出装置100を用いた検出対象の位置検出方法について、具体例を示す。なお、以下の具体例では、照射パターン200が出力される空間にユーザが存在すると想定し、位置検出装置100による検出対象をユーザの指Fの指先とする。位置検出装置100は、照射パターン200の照射位置をユーザの指先に合わせるように、照射パターン200を移動させる。
[第1の具体例:2色の光からなる照射パターンを用いた位置検出方法]
まず、第1の具体例として、図4A〜図10に基づいて、2色の光からなる照射パターン200を用いた位置検出方法について説明する。本例において、2色の光からなる照射パターン200とは、波長の異なる2つの可視光により構成された光のパターンをいう。以下では、照射パターン200の一例として、膜状の緑色(G)の光と赤色(R)の光とを、緑、赤、緑の順に3層に積層させた照射パターンを用いる。
照射パターン200を可視光から構成することにより、ユーザは指先の検出されている位置を目視して確認することができる。これにより、ユーザは、指先が的確に検出されているか否かを視認することができ、また、指先を照射パターンに近接させたり離隔させたりするという動作も行うことも可能となる。このように、可視光を用いることにより、インタラクション性の高いユーザインタフェースを構成することもできる。
なお、図4Aおよび図4Bは、照射部110による照射タイミングの一例を示すグラフである。図5は、撮像制御部130による撮像タイミングの決定方法を説明するグラフである。図6は、撮像部140により撮像した2種類の照射パターンの画像を差分演算して生成される画像を示す説明図である。図7は、照射パターンおよび検出対象の位置関係と、それに基づく照射パターンの移動方向を示す説明図である。図8は、撮像部140の撮像した画像から取得された検出対象の位置を示す画像と、照射部110から見た画像との関係を示す説明図である。図9は、撮像部140により取得された通常の画像と、検出対象のみを抽出した画像との関係を示す説明図である。図10は、検出対象の位置の算出方法を示す説明図である。
[検出対象の差分画像の生成]
まず、図4A〜図6に基づいて、検出対象である指先と照射パターン200との位置関係を検出するために用いる、照射パターン200が照射された指先の照射部分を撮像部140により取得した画像から抽出する差分画像を生成する処理について説明する。
本例では、照射部110は、上述したように、緑色(G)の光と赤色(R)の光とを積層して構成された照射パターン200を空間に対して照射する。このとき、照射部110には、例えば、RGBの三原色を異なるタイミングで照射するDPLプロジェクターを用いることができる。DPLプロジェクターは、マイクロミラーアレイを高速に変動させてプロジェクター画像を作り出す装置である。このようなDPLプロジェクターを用いて、例えば図5に示す照射タイミングで、緑色(G)の光、青色(B)の光および赤色(R)の光を、高速に点滅するように、順に出力することができる。
照射部110が照射光を出力する照射タイミングは機器により予め設定されている。例えば、照射部110は、図4Aおよび図4Bに示すタイミングで各光を照射している。各光はそれぞれ一定の間隔で照射されており、例えば緑色(G)の光は周期T(例えば、約8.3ms)で照射される。ここで、例えば緑色(G)の光を照射するタイミングを示すGreen信号を基準とすると、青色(B)の光は緑色(G)の光の照射から約T/2遅れて照射される。また、赤色(R)の光は緑色(G)の光の照射から約3/4T遅れて照射される。照射部110は、その内部に設けられている制御回路により出力されるこれらの信号に基づいて、RGBの光をそれぞれ出力する。
照射部110は、マイクロミラーアレイの傾斜を変更して膜状の光を形成し、空間に向かって照射する。本例では、上述したように、2つの緑色の光層と1つの赤色の光層とを積層して形成される照射パターン200を用いて、検出対象である指先と照射パターン200との位置関係を認識する。このため、撮像部140は、照射パターン200のうち、緑色(G)の光が照射されている時点での画像と、赤色(R)の光が照射されている時点での画像とを取得する。撮像部140により画像を取得する撮像タイミングは、撮像制御部130により撮像トリガー信号として生成される。
撮像制御部130は、照射部110の照射タイミングに基づいて、緑色(G)の光と赤色(R)の光とが照射されたタイミングで画像を取得する撮像トリガー信号を生成する。照射タイミングは、例えば、図1に示すようにPD102等の受光素子を用いて、照射光を直接検出することにより認識してもよい。この場合、照射時に画像が取得される照射光を検出する受光素子(本例では、緑色(G)の光を検出する受光素子と赤色(R)の光を検出する受光素子)を少なくとも空間内に備える。そして、撮像制御部130は、これらの受光素子のいずれかが光を検出したときにオンとなる撮像トリガー信号を生成する。あるいは、基準とする光を検出する受光素子を空間内に備え、当該受光素子の出力する電気信号に基づいて、撮像トリガー信号を生成さえることもできる。
例えば、緑色(G)の光を基準として、緑色(G)の光を検出する受光素子を空間内に備える。このとき、受光素子の出力する電気信号(PD信号)は、図5に示すように、緑色(G)の光が照射されたタイミングで立ち上がる波形となる。一方、撮像制御部130は、照射部110から各光が照射される照射タイミングを取得して、緑色(G)の光が照射されてから赤色(R)の光が照射されるまでの遅延時間を得る。撮像制御部130は、受光素子の出力したPD信号の立ち上がりを検知すると、立ち上がり時点から遅延時間が経過したときに赤色(R)の光が照射されると推定する。これより、撮像制御部130は、緑色(G)の光が出力されたPD信号の立ち上がり時点と、当該時点から遅延時間が経過した時点とにおいて画像を取得する撮像トリガー信号を生成する。
あるいは、撮像制御部130は、照射部110の内部に設けられた制御回路の出力する、照射タイミングを示す回路信号を検出部120の検出結果とすることもできる。このとき、回路信号から各光の照射タイミングを認識することができるので、撮像制御部130は、照射時に画像が取得される照射光の照射タイミングで撮像部130に画像を取得させる撮像トリガー信号を生成することができる。
なお、図5に示す撮像トリガー信号は、RGBの光が2回照射されたときの、1回目の緑色(G)の光の照射タイミングをトリガー1(G)とし、2回目の赤色(R)の光の照射タイミングをトリガー2(R)として生成されていたが、かかる例に限定されない。撮像制御部130は、例えば、GBの光が1回照射されたときの、緑色(G)の光の照射タイミングをトリガー1(G)とし、赤色(R)の光の照射タイミングをトリガー2(R)とする撮像トリガー信号を生成してもよい。
撮像部140は、撮像制御部130により生成された撮像トリガー信号に基づいて撮像すると、照射部110が緑色(G)の光を照射したときの画像と、赤色(R)の光を照射したときの画像とを取得することができる。そして、情報処理部150は、撮像部140により取得された画像から、照射パターン200を構成する緑色(G)の光および赤色(R)の光のいずれの色も照射されていない背景部分を消去して、照射パターン200が照射されている照射部分を取得する処理を行う。
例えば、図6(a)に示すように、照射部110からユーザの手に緑色(G)および赤色(R)の光が格子状に配列された照射パターンが照射されているとする。このとき、情報処理部150は、撮像部140により撮像された連続する2つの画像に差分演算を施す。ここで、連続する2つの画像とは、図5のトリガー1(G)のタイミングで撮像された第1の画像とトリガー2(R)のタイミングで撮像された第2の画像とのように、撮像トリガー信号の連続するタイミングで撮像された1組の画像をいう。図6(a)の緑色(G)の光と赤色(R)の光とからなる格子状の照射パターンは、緑色(G)の光と赤色(R)の光とが時間差で高速に点滅して照射されている。
情報処理部150は、緑色(G)の光の照射時に撮像された第1の画像から赤色(R)の光の照射時に撮像された第2の画像の差分をとることにより差分画像(G−R)を生成し、緑色(G)の光が照射されている照射部分を抽出することができる。すなわち、情報処理部150は、第1の画像の明度から第2の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が0以下であれば黒で表わされる差分画像(G−R)を生成する。例えば、図6(a)の差分画像(G−R)は、図6(b)に示すようになる。なお、図6(b)および図6(c)では、便宜上、差分値が正である部分を白で表わし、差分値が0以下である部分を黒で表わしている。差分画像(G−R)より、差分値が正となる部分が緑色(G)の光が照射されている照射部分であることがわかる。
同様に、情報処理部150は、赤色(R)の光の照射時に撮像された第2の画像から緑色(G)の光の照射時に撮像された第1の画像の差分をとることにより差分画像(R−G)を生成し、赤色(R)の光が照射されている照射部分を抽出することができる。すなわち、情報処理部150は、第2の画像の明度から第1の画像の明度を差分して差分値を算出し、差分値が正であれば差分値の示す明度で、差分値が0以下であれば黒で表わされる差分画像(R−G)を生成する。かかる処理を行うことにより、図6(c)に示す図6(a)の差分画像(R−G)を生成することができ、差分画像(R−G)より差分値が正となる部分が赤色(R)の光が照射されている照射部分であることがわかる。
このように、情報処理部150は、緑色(G)の光のパターンが照射された画像と、赤色(R)の光のパターンが照射された画像とから、各パターンが照射されている照射部分を抽出する差分画像を生成することができる。差分画像では、照射パターンの照射部分が差分画像中に現れる一方、例えば背景等のように照射パターンが照射されていない部分は黒色となって表示されない。これより、情報処理部150は、差分画像に基づいて、照射パターンが照射された部分のみを抽出することができる。
[検出対象の認識]
撮像部140により取得された画像から差分画像を生成し、所定の光が照射されている部分を抽出する上述の画像処理方法を用いて、本例では、図7に示すような、2色の光からなる照射パターン200を検出対象に照射することで検出対象の位置を認識する。本例の照射パターン200は、例えば2つの緑色(G)の光202、206と、これらの光202、206の間に配置された赤色(R)の光204とから構成される。照射パターン202は、図1に示すように、空間内に3つの膜状の光が空間に照射される。照射パターン200を構成する光層202、204、206は、検出対象である指先の移動方向(図7のy方向)に積層して配置される。
撮像部140は、撮像制御部130により生成された、緑色(G)の光と赤色(R)の光とが照射された時点の画像を取得する撮像トリガー信号に基づき、画像を取得する。情報処理部150は、撮像部140の取得した画像のうち、連続する2つの画像から差分画像(G−R)および差分画像(R−G)を生成し、緑色(G)の光の照射部分および赤色(R)の光の照射部分を検知する。そして、情報処理装置150は、検知した2つの光の照射部分から、照射パターン200と検出対象である指先との位置関係を算出し、位置関係に応じて照射パターン200の照射位置を移動させる移動情報を生成する。
照射パターン200と指先との位置関係は、指Fに照射パターン200がどのくらい照射されているか(指Fが照射パターン200にどのくらい触れているか)によって判定することができる。本例では、指Fがy方向に移動されることで変化する、指Fに触れる光層の数から、照射パターン200と指先との位置関係を判定する。
3つの光層202、204、206と指Fとが接触する状況としては、以下の3つの状況を考え得る。まず、1つめの状況は、図7(a)右側に示すように、指Fが照射パターン200の緑色(G)の光である第1の光層202のみに触れており、検出対象である指先が赤色(R)の光である第2の光層204に触れていない場合である。このとき、生成された差分画像(G−R)には第1の光層202に触れている指Fの形状が現れるが、差分画像(R−G)には、指Fが赤色(R)の光に触れていないため、照射部分は現れない。結果として、図7(a)左側に示すように、第1の光層202に触れている指Fの形状のみが照射部分222として取得される。
2つめの状況は、図7(b)右側に示すように、指Fが照射パターン200の第1の光層202および第2の光層204に触れている場合である。このとき、生成された差分画像(G−R)には第1の光層202に触れている指Fの形状が現れ、差分画像(R−G)には第2の光層204に触れている指Fの形状が現れる。結果として、図7(b)左側に示すように、第1の光層202および第2の光層204に接触している指Fの形状が照射部分222、224として取得される。
そして、3つめの状況は、図7(c)右側に示すように、指Fが照射パターン200の第1の光層202、第2の光層204および第3の光層206に触れている場合である。このとき、生成された差分画像(G−R)には第1の光層202および第3の光層206に触れている指Fの形状が現れ、差分画像(R−G)には第2の光層204に触れている指Fの形状が現れる。結果として、図7(c)左側に示すように、第1の光層202、第2の光層204および第3の光層206に接触している指Fの形状が照射部分222、224、226として取得される。
ここで、位置検出装置100は、検出対象の位置を正確に検出するため、指Fと照射パターン200との所定の位置関係を指先の三次元位置を取得する目標位置として設定する。そして、位置検出装置100は、指Fと照射パターン200との位置関係が常に目標位置となるように、照射パターン200を移動させる。本例では、目標位置を、図7(b)に示す状況と設定する。このとき、情報処理部150は、検出対象である指先は第2の光層204上にあるとみなし、指Fが第2の光層204と交差する部分を検出対象の位置として空間における三次元位置を算出する。このため、位置検出装置100は、照射パターン200の第2の光層204をより正確に指先に照射させる必要がある。
情報処理部150は、照射パターン200と指先との位置関係が図7(b)に示す目標位置となるように、照射パターン200の照射位置を移動させる移動情報を生成する。まず、指Fと照射パターン200との位置関係が目標位置である図7(b)の状況となっている場合には、照射パターン200の第2の光層204が指先に的確に照射されていると判定される。この場合、情報処理部150は、照射パターン200を移動させず、現在の位置で継続して照射させる。
次に、指Fと照射パターン200との位置関係が図7(a)の状況である場合には、指先は第2の光層204に触れていないため、図7(b)に示す目標位置とするために照射パターン200を手前側(y軸負方向側)へ移動させなければならない。そこで、情報処理部150は、照射パターン200を手前側に移動させる移動情報を生成して、照射部110へ出力する。
一方、指Fと照射パターン200との位置関係が図7(c)の状況である場合には、指先は第2の光層204より奥側(y軸正方向側)にある第3の光層206に触れている。このため、図7(b)に示す目標位置とするためには、照射パターン200を奥側へ移動させなければならない。そこで、情報処理部150は、照射パターン200を奥側に移動させる移動情報を生成して、照射部110へ出力する。
このように、情報処理部150は、照射パターン200と指先との位置関係を認識して、照射パターン200の第2の光層204が指先を照射するように、照射パターン200の照射位置を制御する。これにより、照射パターン200が常に指先を照射するようにすることができる。
なお、検出対象である指先の位置を正確に、かつ素早く特定するため、照射パターン200の第2の光層204のy軸負方向に隣接する第1の光層202のy方向の厚みを、第2の光層204の厚みよりも大きくするようにしてもよい。これにより、指Fが第1の光層202に触れやすくなり、指先が照射パターン200に近接してきたことを素早く検出することができる。指先が第1の光層202に触れると、情報処理部150はこれを検知して、指先に第2の光層204が照射されるように照射パターン200を移動する移動情報を生成する。照射部110は、生成された移動情報に基づいて照射パターン200を移動して、指先と照射パターン200とが目標位置となるようにする。
また、照射パターン200が同一の方向に移動され続ける場合、情報処理部150は、照射パターン200の移動速度を次第に大きくするように移動情報を生成してもよい。照射パターン200が同一方向に移動され続けるときは、指先と照射パターンとが離れている場合が多い。したがって、照射パターン200の移動速度を大きくすることより、より早く指先に照射パターン200の第2の光層204が照射されるようにすることができる。
ここで、例えばジェスチャを行っている右手と左手のように、位置検出装置100により複数の検出対象の位置を検出する場合には、各検出対象に対してそれぞれ照射パターン200を移動させる処理を行うようにしてもよい。例えば、図8(b)に示すように、右手RHおよび左手LHを照射パターン200が照射されている空間に置き、照射パターン200に触れさせたとする。なお、本例では最も奥側(紙面手前側、y軸正方向側)に位置する指Fについて照射パターン200との位置関係を検出する。最も奥側に位置する指Fは、例えば、画像から認識される手の形状から推定して決定することもでき、情報処理部150により生成される差分画像から抽出できる検出対象の照射部分の形状から決定することもできる。
なお、図8(a)は、撮像部140により取得された画像から生成された差分画像であり、図8(b)は、照射部110を視点とした照射画像である。図8(a)中の線L1およびL2は、図8(b)中の線L1およびL2に対応する。
まず、図8(b)に示す右手RHについてみると、図8(a)に示す差分画像の左側領域に2つの照射パターン200が照射されている照射部分222を認識することができる。これより、右手RHは、2本の指Fが照射パターン200に触れていることがわかる。このとき、図8(a)の差分画像に表れている照射部分222は、その形状から、第1の光層202を形成する緑色(G)の光が照射されている部分のみである。これより、情報処理部150は、最も奥側に位置する指Fが第1の光層202のみに接触している状況であると判定し、照射パターン200を手前側に移動させるように照射部110を制御する移動情報を生成する。
一方、左手LHについては、図8(a)に示す差分画像の右側領域に4つの照射パターン200が照射されている照射部分222、224、226を認識することができる。これより、左手LHは、4本の指Fが照射パターン200に触れていることがわかる。このとき、図8(a)の差分画像に表れている照射部分222、224、226の形状から、4本の指Fのうち3本は第1の光層202、第2の光層204および第3の光層206のすべての光が照射されていることがわかる。なお、照射パターン200の移動情報を生成する段階では最も奥側に位置する指Fと照射パターン200との位置関係が分かればよく、具体的に最も奥側に位置する1本の指Fを特定しなくてもよい。情報処理部150は、最も奥側に位置する指Fが第1〜第3の光層202、204、206に接触している状況であると判定し、照射パターン200を奥側に移動させるように照射部110を制御する移動情報を生成する。
以上より、右手RHについては照射パターン200を手前側に移動させ、左手LHについては照射パターン200を奥側に移動させる移動情報が情報処理部150により生成される。照射部110は、生成された移動情報に基づいて、照射パターン200の傾きを変更し、照射パターン200の第2の光層204が各手の最も奥側に位置する指先に照射されるようにする。このようにして、位置検出装置100により複数の検出対象の位置を検出することが可能となる。
なお、本例では、照射パターン200は、1つの平面からなる光の膜として形成されていたが、本発明はかかる例に限定されない。例えば、所定の領域毎に照射パターンを設けて、各照射パターンによって当該領域内に含まれる検出対象の位置をそれぞれ検出してもよく、あるいは、曲面状に形成してもよい。本例のように1つの平面からなる光の膜として照射パターン200を形成する場合、検出対象が多くなるにつれてすべての検出対象の位置を正確に検出することは困難となるが、照射パターン200の形状の変更や移動等の制御を容易に行うことができる。
以上をまとめると、図9(a)に示すように照射パターン200が照射されている空間の画像を撮像部140によって取得し、当該画像から図9(b)に示す差分画像を生成して検出対象の照射部分を抽出する。すなわち、図9(a)において照射パターン200の第1の光層202が照射されている部分は、図9(b)に示す差分画像では照射部分222として現れる。図9(a)において照射パターン200の第2の光層204が照射されている部分は、図9(b)に示す差分画像では照射部分224として現れる。図9(a)において照射パターン200の第3の光層206が照射されている部分は、図9(b)に示す差分画像では照射部分226として現れる。
図9(b)の差分画像から、公知の画像処理技術、例えば二値化処理、連結成分抽出処理等の技法を用いることにより、検出対象である指先の位置を独立して検知することができる。また、照射パターン200の照射位置より、指先と撮像部140との距離(すなわち、奥行方向の距離)を判定することが可能となる。したがって、指先の空間における三次元位置を算出することができる。そこで、図10に基づいて、検出対象の空間における三次元位置を算出する方法について説明する。
[検出対象の三次元位置の算出方法]
図10(a)に撮像部140による撮像画像から生成された差分画像を示し、図10(b)に照射部110を視点とした照射画像を示す。ここで、撮像部140により撮像される画像は、空間における高さ方向(z方向)に対して直交する方向から空間をみたときの画像であり、照射部110を視点とした照射画像は、空間を高さ方向からみたときの画像である。本例では、照射部110と撮像部140との位置関係を、エピポーラ幾何として知られている方法によりキャリブレーションする。エピポーラ幾何を用いることにより、三次元空間において2つの視点から同一の1点を見たときの対応関係を取得することができる。
まず、照射部110から空間に向かって照射される照射パターン200を撮像部140により撮像し、情報処理部150により撮像された画像から差分画像を生成する。上述した位置検出方法により、差分画像から照射パターン200が照射されている検出対象の照射部分を抽出して、検出対象の位置を特定することができる。次いで、情報処理部150は、照射部110を視点とした第1の座標系における点と、撮像部140を視点とした第2の座標系における点との対応付けを複数点について行う。これにより、エピポーラ幾何における基礎行列(Fundamental Matrix)Fが算出される。このとき、第2の座標系の点Pc(Xc,Yc)と、これに対応する第1の座標系での点Pp(Xp,Yp)との間には、下記数式1の関係が成立する。
Figure 2011039673
・・・(数式1)
なお、′は転置行列を示す。数式1は、撮像部140の撮像画像から生成された差分画像上の点は、照射画像上では対応する線上のいずれかの位置に存在し、逆に、照射画像上の点は、差分画像上では対応する線上のいずれかの位置に存在することを意味する。この線はエピポーラ線LEと称ばれる。この関係を用いて、図10(b)に示す照射画像上のエピポーラ線LEと、照射されている照射パターン(本例では第2の光層204)との交点を算出することにより、検出対象である指先の三次元位置を算出することができる。
[第2の具体例:1種類の光からなる照射パターンを用いた位置検出方法]
次に、図11に基づいて、1種類の光からなる照射パターンを用いた検出対象の位置検出方法について説明する。なお、図11は、1種類の光からなる照射パターン210を用いたときの、照射パターン210および検出対象の位置関係と、それに基づく照射パターン210の移動方向を示す説明図である。
本例では、1種類の光からなる照射パターン210により照射パターン210と検出対象との位置関係を把握する。このとき、照射パターン210は、図11に示すように、第1の光層212と、第2の光層214との2つの光層からなる。第1の光層212と第2の光層214とは、y方向に所定の距離を有して設けられる。各光層212、214は、同一種類の光からなるため、同時に照射される。本例のように、1種類の光からなる照射パターン210を用いることにより、その光が照射される照射タイミングで画像を撮像すればよく、位置検出装置100の構成を簡易にすることができる。
照射パターン210と指先との位置関係は、第1の具体例と同様に、指Fに照射パターン210がどのくらい照射されているかによって判定することができる。本例では、以下の3つの状況から、照射パターン210と指先との位置関係を判定する。まず、1つめの状況として、図11(a)に示すように、指先が照射パターン210に触れていない場合がある。すなわち、照射パターン210は指先からみて奥側(y軸正方向側)に位置する場合である。2つめの状況は、図11(b)に示すように、指先が第1の光層212にのみ触れている場合である。そして、3つめの状況は、図11(c)に示すように、指先が第1の光層212および第2の光層214に触れている場合である。
本例では、照射パターン210と指先との目標とする位置関係(目標位置関係)を、図11(b)に示す位置とする。このため、情報処理部150は、照射パターン210と指先との位置関係が図11(b)に示す目標位置となるように、照射パターン210の照射位置を移動させる移動情報を生成する。まず、指Fと照射パターン210との位置関係が目標位置である図11(b)の状況となっている場合には、照射パターン200の第1の光層212が指先に的確に照射されていると判定される。この場合、情報処理部150は、照射パターン210を移動させず、現在の位置で継続して照射させる。
次に、指Fと照射パターン210との位置関係が図11(a)の状況である場合には、指先は第1の光層212に触れていないため、図11(b)に示す目標位置とするために照射パターン210を手前側(y軸負方向側)へ移動させなければならない。そこで、情報処理部150は、照射パターン210を手前側に移動させる移動情報を生成して、照射部110へ出力する。一方、指Fと照射パターン210との位置関係が図11(c)の状況である場合には、指先は第1の光層212より奥側にある第2の光層214に触れている。このため、図11(b)に示す目標位置とするためには、照射パターン210を奥側へ移動させなければならない。そこで、情報処理部150は、照射パターン210を奥側に移動させる移動情報を生成して、照射部110へ出力する。
このように、情報処理部150は、照射パターン200と指先との位置関係を認識して、照射パターン210の第1の光層212が指先を照射するように、照射パターン210の照射位置を制御する。これにより、照射パターン210が常に指先を照射するようにすることができる。なお、第1の光層212と第2の光層214とは、近接させ過ぎると指先が第1の光層212および第2の光層214に触れ易くなり、第1の光層212のみに触れる状態とするのが困難になる。そうすると、照射パターン210の照射位置が安定せず、検出位置を不用意に変動させてしまうことになる。このため、第1の光層212と第2の光層214とは、例えば数ミリ程度の間隔を設けるのがよい。
本例の方法により取得された検出対象の位置は、第1の具体例と同様に、検出対象の三次元空間における位置を検出するための情報として用いることができる。すなわち、撮像部140により撮像される画像と照射部110を視点とした照射画像とにおいて、エピポーラ幾何を適用することにより、検出対象の三次元空間での位置を取得することができる。
以上、本発明の実施形態にかかる位置検出装置100とこれを用いた位置検出方法について説明した。本実施形態によれば、照射パターン200、210が照射される空間を、当該照射パターン照射パターン200、210が照射されるタイミングで撮像部140により撮像する。位置検出装置100の情報処理部150は、撮像された画像を解析して、検出対象が照射パターンに照射されている部分を特定し、検出対象と照射パターンとの位置関係を取得する。そして、情報処理部150は、その位置関係が目標とする目標位置関係となるように、照射パターン200、210の照射位置を移動する移動情報を生成する。照射部110は、生成された移動情報に基づいて、照射パターン200、210の照射位置を移動する。これにより、位置検出装置100は、空間内の検出対象の三次元位置を安定して高精度に取得することが可能となる。
[検出対象の三次元位置情報の利用例]
このように取得された検出対象の三次元位置情報は、種々のジェスチャインタフェースに用いることか可能となる。例えば、指先を二次元あるは三次元のマウスポインタとして利用することができる。あるいは、複数の指先によるジェスチャを認識して、入力情報として用いることができる。例えば親指と人差し指との間隔の調整により画像のスケールを制御したり、手全体を回転させて画像をスクロールさせたりすることができる。また、両手による操作、例えば両手で照射パターンを奥側に押したり手前に引いたりする等の操作で、三次元空間を前後に移動させることもできる。さらには、照射パターンの方向によって三次元ナビゲーションを行うことも可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、照射パターンを照射する照射部110としてDLPプロジェクターを用いたが、本発明はかかる例に限定されない。例えば、複数本からなる線状の移動可能なレーザ光を出力する線レーザモジュールを用いてもよい。このような線レーザモジュールをモータ等で駆動制御して2自由度の角度変位を可能とすれば、線レーザの角度変位制御を行うことによって、上記実施形態と同等の処理が可能となる。
100 位置検出装置
110 照射部
120 検出部
130 撮像制御部
140 撮像部
150 情報処理部
200、210 照射パターン
202、212 第1の光層
204、214 第2の光層
206 第3の光層

Claims (13)

  1. 空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射する照射部と、
    前記検出対象を撮像して画像を取得する撮像部と、
    前記照射部が前記照射パターンを照射する照射タイミングに基づいて、前記撮像部の撮像タイミングを制御する撮像制御部と、
    前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係を解析する解析部と、
    前記解析部により解析された前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンが前記検出対象を照射するように、前記照射パターンの照射位置を移動させる移動処理部と、
    を備える、位置検出装置。
  2. 前記照射パターンは、異なるタイミングで照射される、少なくとも第1の照射パターンと第2の照射パターンとを含んでなり、
    前記撮像制御部は、前記第1の照射パターンおよび前記第2の照射パターンが照射される照射タイミングで前記撮像部に画像を取得させ、
    前記解析部は、前記第1の照射パターンが照射されたときに取得された第1の画像と前記第2の光が照射されたときに取得された第2の画像とを比較して、前記検出対象に対する前記第1の照射パターンおよび前記第2の照射パターンの照射位置をそれぞれ認識し、
    前記移動処理部は、前記検出対象に対する前記第1の照射パターンおよび前記第2の照射パターンの照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。
  3. 前記照射パターンは、前記照射パターンの移動方向に隣接する第1の光層および第3の光層とからなる前記第1の照射パターンと、前記第1の光層および前記第3の光層との間に位置する第2の光層からなる前記第2の照射パターンとを含み、
    前記解析部は、前記検出対象に前記第1の光層および前記第2の光層が照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項2に記載の位置検出装置。
  4. 前記移動処理部は、
    前記検出対象に前記第1の光層のみが照射されているとき、前記検出対象にさらに第2の光層が照射されるように前記照射パターンを移動させ、
    前記検出対象に前記第1の光層、前記第2の光層および前記第3の光層が照射されているとき、前記検出対象に前記第1の光層および第2の光層のみが照射されるように前記照射パターンを移動させる、請求項3に記載の位置検出装置。
  5. 前記照射パターンは、前記照射パターンの移動方向に所定距離を有して隣接し、同一の照射タイミングで照射される第1の光層と第2の光層とからなり、
    前記撮像制御部は、前記照射パターンの照射タイミングで前記撮像部に画像を取得させ、
    前記解析部は、前記撮像部により取得された画像から、前記検出対象に対する前記第1の光層および前記第2の光層の照射位置をそれぞれ認識し、
    前記移動処理部は、前記検出対象に対する前記第1の光層および前記第2の光層の照射位置に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。
  6. 前記解析部は、前記検出対象に前記第1の光層のみが照射されているとき、前記照射パターンが前記検出対象を照射していると判定する、請求項5に記載の位置検出装置。
  7. 前記移動処理部は、
    前記検出対象に前記照射パターンが照射されていないとき、前記検出対象に第1の光層が照射されるように前記照射パターンを移動させ、
    前記検出対象に前記第1の光層および前記第2の光層が照射されているとき、前記検出対象に前記第1の光層のみが照射されるように前記照射パターンを移動させる、請求項6に記載の位置検出装置。
  8. 前記解析部は、複数の前記検出対象について前記照射パターンとの位置関係を解析可能であり、
    前記移動処理部は、前記各検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンの照射位置を移動させる、請求項1に記載の位置検出装置。
  9. 前記照射パターンは、平面の膜状に形成され、
    前記移動処理部は、前記空間内に含まれる複数の検出対象を含むように前記照射パターンを移動させる、請求項8に記載の位置検出装置。
  10. 前記照射パターンは、前記空間内を区分して形成された所定領域毎に設けられ、
    前記移動処理部は、前記照射パターンが照射する前記領域内に含まれる検出対象を照射するように、前記照射パターンの照射位置をそれぞれ移動させる、請求項8に記載の位置検出装置。
  11. 前記検出対象の位置を算出する位置算出部をさらに備え、
    前記位置算出部は、前記撮像部により取得された画像と前記照射部の視点による照射画像とに基づいて、前記空間における前記検出対象の三次元位置を算出する、請求項1に記載の位置検出装置。
  12. 前記位置検出部は、エピポーラ幾何を用いて前記空間における前記検出対象の三次元位置を算出する、請求項11に記載の位置検出装置。
  13. 空間内の検出対象に対して、1または2以上の種類の照射光により構成される光群である照射パターンを照射部から照射するステップと、
    前記照射部が前記照射パターンを照射する照射タイミングに基づいて、検出対象を撮像する撮像部の撮像タイミングを制御するステップと、
    前記撮像タイミングに基づいて、前記撮像部により画像を取得するステップと、
    前記撮像部により取得された画像に基づいて、前記照射パターンが照射されている前記検出対象の照射部分を抽出し、前記検出対象と前記照射パターンとの位置関係を解析するステップと、
    前記検出対象と前記照射パターンとの位置関係に基づいて、前記照射パターンが前記検出対象を照射するように、前記照射パターンの照射位置を移動させるステップと、
    を含む、位置検出方法。
JP2009184721A 2009-08-07 2009-08-07 位置検出装置および位置検出方法 Expired - Fee Related JP5423222B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009184721A JP5423222B2 (ja) 2009-08-07 2009-08-07 位置検出装置および位置検出方法
US12/833,557 US20110033088A1 (en) 2009-08-07 2010-07-09 Position Detection Apparatus and Position Detection Method
EP10171501A EP2284667A1 (en) 2009-08-07 2010-07-30 Position detection apparatus and position detection method
CN2010102428716A CN101995948B (zh) 2009-08-07 2010-07-30 位置检测设备和位置检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009184721A JP5423222B2 (ja) 2009-08-07 2009-08-07 位置検出装置および位置検出方法

Publications (2)

Publication Number Publication Date
JP2011039673A true JP2011039673A (ja) 2011-02-24
JP5423222B2 JP5423222B2 (ja) 2014-02-19

Family

ID=42937828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009184721A Expired - Fee Related JP5423222B2 (ja) 2009-08-07 2009-08-07 位置検出装置および位置検出方法

Country Status (4)

Country Link
US (1) US20110033088A1 (ja)
EP (1) EP2284667A1 (ja)
JP (1) JP5423222B2 (ja)
CN (1) CN101995948B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126182A (ja) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011148746A1 (ja) * 2010-05-24 2011-12-01 富士フイルム株式会社 立体撮像装置および顔検出装置ならびにそれらの動作制御方法
CN103781438B (zh) 2011-09-06 2017-05-31 皇家飞利浦有限公司 血管治疗结果可视化
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
JP6127958B2 (ja) * 2013-12-19 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
CN104794425B (zh) * 2014-12-19 2018-05-18 长安大学 一种基于行驶轨迹的车辆统计方法
JP6607121B2 (ja) * 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP7101494B2 (ja) * 2018-02-14 2022-07-15 キヤノン株式会社 放射線撮影装置及び放射線撮影システム、ならびにそれらの制御方法
US11944887B2 (en) * 2018-03-08 2024-04-02 Sony Corporation Information processing device and information processing method
JP2020101878A (ja) * 2018-12-20 2020-07-02 ソニー株式会社 画像処理装置、および検出機能付き表示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07506917A (ja) * 1992-02-10 1995-07-27 フォルクナー、キース・ウイリアム 生物測定識別装置およびその方法
JPH11265241A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
JP2000267800A (ja) * 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
JP2003280808A (ja) * 2002-03-27 2003-10-02 Inst Of Physical & Chemical Res 3次元位置入力デバイス
JP2005172622A (ja) * 2003-12-11 2005-06-30 Hamamatsu Photonics Kk 3次元形状計測装置
JP2006010489A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 情報装置、情報入力方法およびプログラム
JP2006098384A (ja) * 2003-12-25 2006-04-13 Purex:Kk 立体計測装置及び方法
JP2007048135A (ja) * 2005-08-11 2007-02-22 Plus Vision Corp Dmdを使用した投影面上の座標位置の取得方法
US20080279446A1 (en) * 2002-05-21 2008-11-13 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
JP2010205223A (ja) * 2009-03-06 2010-09-16 Seiko Epson Corp 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5094523A (en) * 1990-05-11 1992-03-10 Eye Research Institute Of Retina Foundation Bidirectional light steering apparatus
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP3217999B2 (ja) * 1997-12-03 2001-10-15 セイコーインスツルメンツ株式会社 部品製作方法及び部品製作装置
EP1116169B1 (en) * 1998-09-24 2003-07-30 QinetiQ Limited Improvements relating to pattern recognition
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7492450B2 (en) * 2005-10-24 2009-02-17 General Electric Company Methods and apparatus for inspecting an object
JP5204093B2 (ja) * 2006-04-18 2013-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光学測定装置
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
JP2009043139A (ja) 2007-08-10 2009-02-26 Mitsubishi Electric Corp 位置検出装置
JP5214223B2 (ja) * 2007-11-15 2013-06-19 船井電機株式会社 プロジェクタ
CN101441513B (zh) * 2008-11-26 2010-08-11 北京科技大学 一种利用视觉进行非接触式人机交互的系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07506917A (ja) * 1992-02-10 1995-07-27 フォルクナー、キース・ウイリアム 生物測定識別装置およびその方法
JPH11265241A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
JP2000267800A (ja) * 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
JP2003280808A (ja) * 2002-03-27 2003-10-02 Inst Of Physical & Chemical Res 3次元位置入力デバイス
US20080279446A1 (en) * 2002-05-21 2008-11-13 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
JP2005172622A (ja) * 2003-12-11 2005-06-30 Hamamatsu Photonics Kk 3次元形状計測装置
JP2006098384A (ja) * 2003-12-25 2006-04-13 Purex:Kk 立体計測装置及び方法
JP2006010489A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 情報装置、情報入力方法およびプログラム
JP2007048135A (ja) * 2005-08-11 2007-02-22 Plus Vision Corp Dmdを使用した投影面上の座標位置の取得方法
JP2010205223A (ja) * 2009-03-06 2010-09-16 Seiko Epson Corp 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126182A (ja) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット

Also Published As

Publication number Publication date
CN101995948B (zh) 2013-05-22
JP5423222B2 (ja) 2014-02-19
US20110033088A1 (en) 2011-02-10
CN101995948A (zh) 2011-03-30
EP2284667A1 (en) 2011-02-16

Similar Documents

Publication Publication Date Title
JP5423222B2 (ja) 位置検出装置および位置検出方法
US8837780B2 (en) Gesture based human interfaces
TWI454968B (zh) 三維互動裝置及其操控方法
CN103914152B (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
US9772720B2 (en) Flexible room controls
JP6202942B2 (ja) 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
CN106020436A (zh) 图像分析装置及图像分析方法
US20120194561A1 (en) Remote control of computer devices
JP2013008368A (ja) 仮想タッチスクリーンシステム及び双方向モード自動切換方法
CN102460373A (zh) 表面计算机用户交互
US10048808B2 (en) Input operation detection device, projection apparatus, interactive whiteboard, digital signage, and projection system
CN103336634A (zh) 基于自适应分层结构光的触碰检测系统及方法
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
KR20110101995A (ko) 터치 및 터치 제스처 인식 시스템
EP2957998A1 (en) Input device
KR101910187B1 (ko) 3차원 터치 인식을 위한 접촉 위치 및 깊이 측정 방법
TW201321712A (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
US20220172392A1 (en) Device and method for non-contact optical imaging of a selected surface area of a hand
JP2014182662A (ja) 操作装置及び操作方法
JP2013134549A (ja) データ入力装置およびデータ入力方法
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger
KR100951681B1 (ko) 적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법
Alex et al. LampTop: Touch detection for a projector-camera system based on shape classification
KR101438636B1 (ko) 터치스크린의 터치점 인식방법 및 이를 수행하는 시스템
JP2018195053A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131111

LAPS Cancellation because of no payment of annual fees