JP2014202540A - 位置算出システム、位置算出プログラム、および、位置算出方法 - Google Patents

位置算出システム、位置算出プログラム、および、位置算出方法 Download PDF

Info

Publication number
JP2014202540A
JP2014202540A JP2013077203A JP2013077203A JP2014202540A JP 2014202540 A JP2014202540 A JP 2014202540A JP 2013077203 A JP2013077203 A JP 2013077203A JP 2013077203 A JP2013077203 A JP 2013077203A JP 2014202540 A JP2014202540 A JP 2014202540A
Authority
JP
Japan
Prior art keywords
distance
cameras
position calculation
unit
fingertip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013077203A
Other languages
English (en)
Other versions
JP6201379B2 (ja
Inventor
一樹 長村
Kazuki Nagamura
一樹 長村
村瀬　太一
Taichi Murase
太一 村瀬
松田　高弘
Takahiro Matsuda
高弘 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013077203A priority Critical patent/JP6201379B2/ja
Priority to US14/185,106 priority patent/US9336603B2/en
Publication of JP2014202540A publication Critical patent/JP2014202540A/ja
Application granted granted Critical
Publication of JP6201379B2 publication Critical patent/JP6201379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

【課題】複数のカメラを用いて移動中の対象物の三次元位置を推定する場合において、三次元位置の推定精度を向上させる。【解決手段】情報処理装置は、複数のカメラにより撮像された画像を時系列で取得し、取得した画像に基づいてカメラから対象物までの距離を算出する。情報処理装置は、対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で対象物の面積の差が所定の閾値以下であったとき、算出された距離をカメラからＸＹ平面までの距離に補正する。【選択図】図８

Description

本発明は、位置算出システム、位置算出プログラム、および、位置算出方法に関する。
画像から物体の三次元位置を推定する方法として、二眼ステレオ法がある。この二眼ステレオ法は、位置関係が既知かつ平行な２台のカメラ画像から同一物体（対象物）が撮影された画素の位置ずれ（視差）を利用して、三角測量の原理により対象物までの距離を推定する。この二眼ステレオ法においては、カメラ間で画像の取得タイミングを同期することが難しく、移動中の対象物を撮影すると、視差が変化してしまい、対象物の距離を正しく推定できないという問題があった。このような問題を解決するため、存在しないフレームの対応点を疑似的に作成し、作成した疑似対応点と観測点を用いて、対象物の三次元位置を推定する技術がある。
しかし、従来技術では、例えば、対象物の動きが複雑な場合、対象物の三次元位置の推定精度が下がってしまう。
一つの側面では、三次元位置の推定精度を向上させることを目的とする。
一つの案の位置算出システムは、複数のカメラと情報処理装置とを有する。情報処理装置は、複数のカメラにより撮像された画像を時系列で取得する。また、情報処理装置は、前記画像に基づいて前記カメラから対象物までの距離を算出する。さらに、情報処理装置は、前記対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で前記対象物の面積の差が所定の閾値以下であるか否か判断する。ここで、複数の画像間で前記対象物の面積の差が所定の閾値以下であるとき、情報処理装置は、前記算出された距離を前記カメラから前記ＸＹ平面までの距離に補正する。
開示の態様では、複数のカメラを用いて移動中の対象物の三次元位置を推定する場合において、三次元位置の推定精度を向上させることができる。
図１は、位置算出システムの全体の概略構成の一例を示す図である。 図２は、情報処理装置の全体構成を示す図である。 図３は、二眼ステレオ法による、対象物の距離の算出方法を説明する図である。 図４は、指先の動きによる指先のＸ座標、指先距離、および、手の面積の変化の一例を示す図である。 図５は、カメラのシャッタータイミングの一例を示す図である。 図６は、指先の動きによる指先のＸ座標、指先距離、および、手の面積の変化の一例を示す図である。 図７は、投影面上における対象物の動きの一例を示す図である。 図８は、情報処理装置による、投影面へのタッチからタッチ解析までの処理の手順を示すフローチャートである。 図９は、位置算出プログラムを実行するコンピュータを示す図である。
以下に、本願の開示する位置算出システム、位置算出プログラム、および、位置算出方法の実施例を、図面に基づいて詳細に説明する。なお、この実施例により開示技術が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
図１は、位置算出システムの全体の概略構成の一例を示す図である。図１に示すように、位置算出システム１００は、カメラ１，２と、プロジェクタ（表示装置）３と、情報処理装置１０とを有する。情報処理装置１０は、カメラ１，２およびプロジェクタ３とネットワーク（図示省略）を介して通信可能に接続される。
プロジェクタ３は、画像や映像をスクリーンなどに投影する装置である。例えば、プロジェクタ３は、机や台など所定の投影面上にドキュメントの画像を投影する。カメラ１，２は、画像を撮像（撮影）する装置である。例えば、カメラ１，２は、投影面上に投影されたドキュメントの画像、対象物（例えば、操作者の手や指）の画像などを撮影する。そして、情報処理装置１０は、入力された情報を処理する装置である。例えば、情報処理装置１０は、カメラ１，２により撮影された時系列の画像から、対象物の三次元位置を算出する。その後、情報処理装置１０は、算出された対象物の三次元位置に基づき、ドキュメントに対する操作を判断する。例えば、情報処理装置１０は、ドキュメントのどの情報がタッチ(選択)されたのか、またタッチ（選択）が解除されたのかなどを判断する。
なお、カメラ１，２やプロジェクタ３への接続に用いられるネットワークは、有線または無線を問わず、Local Area Network（ＬＡＮ）やVirtual Private Network（ＶＰＮ）などの任意の通信網が挙げられる。また、カメラ１，２間で画像の取得タイミングが同期されていなくてもよい。さらに、位置算出システム１００は、カメラを３台以上有していてもよい。また、プロジェクタ３と、情報処理装置１０とはネットワークを介して接続されるものとしたが、接続されていなくてもよい。なお、カメラ１，２による撮影の対象物は、投影されたドキュメントの操作者の手や指である場合を例に説明するが、これに限定されない。例えば、対象物は、ペンや棒などであってもよい。
次に、図２を用いて、実施例１にかかる情報処理装置１０について説明する。図２は、情報処理装置の全体構成を示す図である。図２に示すように、情報処理装置１０は、通信Ｉ／Ｆ（インタフェース）部１１と、表示部１２と、入力部１３と、記憶部１４と、制御部１５とを有する。
通信Ｉ／Ｆ（取得）部１１は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部１１は、ネットワークを介して各種情報を受信する。例えば、通信Ｉ／Ｆ部１１は、カメラ１，２からドキュメントや対象物を撮影した画像を受信する。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードが挙げられる。
表示部１２は、各種情報を表示する表示デバイスである。例えば、表示部１２としては、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などの表示デバイスが挙げられる。表示部１２は、各種情報を表示する。例えば、表示部１２は、記憶部１４に格納される各情報を表示する。
入力部１３は、各種の情報を入力する入力デバイスである。例えば、入力部１３としては、マウス、キーボード、タッチセンサなどの入力デバイスが挙げられる。入力部１３は、情報処理装置１０のユーザから入力された情報を制御部１５へ出力する。例えば、入力部１３は、後記する、表示情報１４１、色情報１４２、形状情報１４３などの元となる情報を受け付けると、制御部１５へ出力し、制御部１５経由で記憶部１４に記憶させる。
記憶部１４は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの不揮発性の記憶装置である。なお、記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリであってもよい。
記憶部１４は、制御部１５で実行されるＯＳ（Operating System）や各種プログラムを記憶する。また、記憶部１４は、プログラムで用いられる各種データやプログラムにより生成された各種データを記憶する。例えば、記憶部１４は、表示情報１４１と、色情報１４２と、形状情報１４３とを記憶する。表示情報１４１は、制御部１５経由でプロジェクタ３により投影面上に投影される情報（例えば、前記したドキュメント）である。また、色情報１４２は、対象物として想定される物の色の範囲を示した情報である。この色の範囲は、例えば、ＨＳＶ（色相(Hue)、彩度(Saturation)、明度(Value)）表色系における色相と彩度により定義される。この色情報１４２は、制御部１５が対象物の領域（例えば、手の領域）を検出する際に参照される。形状情報１４３は、対象物（例えば、手）の形状と、その形状における特徴点（例えば、指先）とを示した情報である。この形状情報１４３は、制御部１５が、対象物から特徴点を検出する際に参照される。
制御部１５は、情報処理装置１０を制御するデバイスである。制御部１５としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。例えば、制御部１５は、各種のプログラムが動作しており、各種の処理部として機能する。
制御部１５は、表示処理部１５１と、三次元位置算出部１５２と、操作判断部（判断部）１５３と、位置算出部１５４とを有する。
表示処理部１５１は、表示情報１４１を通信Ｉ／Ｆ部１１経由でプロジェクタ３により所定の投影面へ投影させる。また、表示処理部１５１は、記憶部１４の各種情報を表示部１２へ表示させる。
三次元位置算出部１５２は、通信Ｉ／Ｆ部１１経由でカメラ１，２から取得した時系列の画像をもとに、二眼ステレオ法などにより対象物の三次元位置を算出する。三次元位置算出部１５２は、例えば、図１に例示した投影面をＸＹ平面と考えたときの、対象物のＸＹ座標を算出する。また、三次元位置算出部１５２は、カメラ１，２から対象物までの距離を算出する。なお、ここで算出されるカメラ１，２から対象物までの距離は、例えば、カメラ１，２の中間点から対象物までの距離とする。
この二眼ステレオ法におけるカメラから対象物までの距離の算出の概要を、図３を用いて説明する。図３は、二眼ステレオ法による、対象物の距離の算出方法を説明する図である。二眼ステレオ法は、位置関係が既知かつ平行な２台のカメラにより撮影された画像から、同じ対象物が撮影された画素の位置のずれ（視差）を利用して、カメラから対象物までの距離を算出する方法である。例えば、図３に示す、カメラ１，２を用いた場合、カメラ１，２の中間点から、対象物（図３の時刻ｔにおけるobject）までの距離Ｚｐは、以下の式（１）および式（２）により計算される。
Figure 2014202540
Figure 2014202540
ただし、式（１）および式（２）におけるｆはカメラ１，２の焦点距離である。Ｂはカメラ１，２間の距離である。ｕ１は一方のカメラ（例えば、カメラ１）が撮影した画像における対象物の座標位置である。ｕ２は他方のカメラ（例えば、カメラ２）が撮影した画像における対象物の座標位置である。視差ｄは｜ｕ１−ｕ２｜である。
図２の説明に戻る。操作判断部１５３は、対象物の三次元位置に基づき、投影面に投影された画像（つまり、表示情報１４１）に対し、どのような操作が行われたかを判断する。例えば、まず、操作判断部１５３は、対象物が投影面上に置かれた（タッチされた）ことを検出すると、位置算出部１５４を起動させる。そして、操作判断部１５３は、この位置算出部１５４により算出された対象物の三次元位置により、投影面に投影された画像（つまり、表示情報１４１）に対しどのような操作が行われたかを判断する。例えば、操作判断部１５３は、位置算出部１５４により算出されたカメラ１，２から対象物までの距離に基づき、タッチが解除されたか否かを判断する。
なお、対象物が投影面上に置かれた（タッチされた）ことの検出は、三次元位置算出部１５２により算出されたカメラ１，２から対象物までの距離が、カメラ１，２から投影面（ＸＹ平面）までの距離と同じか否かにより判断される。つまり、カメラ１，２から対象物までの距離が、カメラ１，２から投影面（ＸＹ平面）までの距離と同じとき、操作判断部１５３は、対象物が投影面上に置かれた（タッチされた）と判断する。一方、カメラ１，２から対象物までの距離が、カメラ１，２から投影面（ＸＹ平面）までの距離未満のときは、操作判断部１５３は、対象物がまだ投影面上に置かれていない（まだタッチされていない）と判断する。なお、カメラ１，２から投影面までの距離は、記憶部１４の所定領域に記憶されているものとする。
位置算出部１５４は、通信Ｉ／Ｆ部１１経由でカメラ１，２により撮像された画像を時系列に取得し、画像に基づいてカメラ１，２から対象物までの距離を算出または補正する。例えば、位置算出部１５４は、操作判断部１５３により、対象物が投影面上に置かれたと検出されてから、対象物が投影面上から離れたと検出されるまでの間、カメラ１，２から対象物までの距離を算出または補正する。位置算出部１５４は、領域決定部１５５と、算出部１５６と、補正部１５７とを有する。
領域決定部１５５は、色情報１４２を参照して、画像における対象物の領域を検出する。例えば、対象物が手である場合、領域決定部１５５は、手の色を示す色情報１４２と、取得した画像における各画素の色とに基づき、手の領域を検出する。色情報１４２としては、例えば、以下の式（３）および式（４）を用いる。なお、式（３）は、画像の画素値がＨＳＶ表色系で示されたときの色相（Ｈ）の値に関する条件を示す。式（４）は、ＨＳＶ表色系で示されたときの彩度（Ｓ）の値に関する条件を示す。
Figure 2014202540
Figure 2014202540
領域決定部１５５は、検出した対象物の領域の面積を算出する。例えば、領域決定部１５５は、取得した画像における画素のうち、色に関する条件に該当する画素に「１（黒）」を設定し、該当しない画素に「０（白）」を設定することで、二値画像を生成する。そして、領域決定部１５５は、その領域の画素数を面積として検出する。なお、画像における色がＨＳＶ表色系以外の表色系で表現されている場合、領域決定部１５５は、画像における色をＨＳＶ表色系へ変換する。
算出部１５６は、形状情報１４３を参照して、対象物の領域の形状に基づき、対象物の特徴点を検出する。例えば、対象物が手である場合、算出部１５６は、形状情報１４３に示される指の先端部の形状モデルと、領域決定部１５５により検出された手の領域の形状とのパターンマッチングにより、手の指先部分を検出する。そして、算出部１５６は、カメラ１，２それぞれの二値画像における対象物の特徴点のＸＹ座標を算出する。また、算出部１５６は、前記した式（１）および式（２）に基づき、カメラ１，２から対象物の特徴点までの距離を算出する。
補正部１５７は、対象物の特徴点が投影面（所定のＸＹ平面）に到達した場合に、カメラ１，２から時系列で取得した複数の画像間で対象物の面積の差が所定の閾値以下であるか否かを判断する。例えば、補正部１５７は、カメラ１から取得した所定時刻ｔ−１における画像と、現時刻ｔにおける画像との間で対象物の面積の差が所定の閾値以下であるか否かを判断する。ここで、画像間の対象物の面積の差が所定の閾値以下である場合、補正部１５７は、算出部１５６により算出されたカメラ１，２から対象物の特徴点までの距離を、カメラ１，２から投影面までの距離（基準距離）に補正する。一方、画像間の対象物の面積の差が所定の閾値を超える場合、補正部１５７は、算出部１５６により算出された対象物の距離を、カメラ１，２から対象物の特徴点までの距離とする。このようにして算出または補正された距離の情報に基づいて、操作判断部１５３は、対象物が投影面上に置かれたか、対象物が投影面上から離れたか、投影面に対してどのような操作が行われたか等を判断する。
ここで、補正部１５７が画像間の対象物の面積の差が所定の閾値以下である場合、補正部１５７は、算出部１５６により算出されたカメラ１，２から対象物の特徴点までの距離を、カメラ１，２から投影面までの距離（基準距離）に補正する理由を以下に説明する。
例えば、対象物である手の指先を投影面上（ＸＹ平面上）で左右（Ｘ方向）に動かした場合を考える。図４は、指先の動きによる指先のＸ座標、指先距離、および、手の面積の変化の一例を示す図である。この場合、カメラ１，２で撮影された時系列の画像により、三次元位置算出部１５２により算出される指先のＸ座標およびカメラ１，２から指先までの距離と、領域決定部１５５により算出される手の面積とは、図４に示すような値となる。つまり、指先を左右（Ｘ方向）に移動させているときは、カメラ１，２から指先までの距離は変動するが、手の面積は殆ど変動しない。一方、指先のＸ座標の位置をほぼ固定にした状態で上下（Ｚ方向）に移動させているときは、カメラ１，２から指先までの距離が短くなると、算出される手の面積は大きくなる。また、カメラ１，２から指先までの距離が長くなると、算出される手の面積は小さくなる。
なお、指先を左右（Ｘ方向）に移動させているとき、カメラ１，２から指先までの距離が変動する理由を図３および図５を用いて説明する。図５は、カメラのシャッタータイミングの一例を示す図である。例えば、対象物が投影面上の図３の時刻ｔの位置から、時刻ｔ＋１の位置まで移動した場合に、図５に例示するようにカメラ１，２のシャッタータイミングが異なると、カメラ１，２の視差に変化が生じる。そして、この視差の変化により、二眼スレテオ法で算出されるカメラ１，２から対象物（対象物の特徴点）までの距離Ｚｐが距離Ｚｐ´となってしまう可能性があるからである。
図６は、指先の動きによる指先のＸ座標、指先距離、および、手の面積の変化の一例を示す図である。図６に示すように、映像中Ｔ１〜Ｔ２ (指先を静止させていたシーン)では手の面積も指先距離も殆ど変化していない。ところがＴ２〜Ｔ３ (指先を水平に移動させたシーン)では手の面積は変化していないが、カメラ１，２のシャッタータイミングが異なるため、視差が変化し、カメラ１，２からの指先までの距離が変化している。しかし、指先は投影面上にあるため、実際のカメラ１，２から指先までの距離は変化していない。したがって、補正部１５７は、対象物である手の面積変化が閾値以下であれば、カメラ１，２から指先までの距離を、静止時におけるカメラ１，２から指先までの距離に補正する。つまり、補正部１５７は、カメラ１，２から対象物までの距離を、カメラ１，２から投影面までの距離（基準距離）に補正する。このようにすることで、例えば、操作判断部１５３が、カメラ１，２から対象物までの距離に応じて操作を判断する場合において、操作の誤判断が発生する確率を低減できる。図７は、投影面上における対象物の動きの一例を示す図である。例えば、図７の投影面上のドキュメントが指先でタッチされ、（ａ）から（ｂ）の位置までスライドされたときに、操作判断部１５３において、（ｃ）に示すように指先のタッチが解除されたと判断される可能性を低減できる。
次に、本実施例にかかる情報処理装置１０による、投影面へのタッチからタッチ解析までの処理の流れを説明する。図８は、情報処理装置による、投影面へのタッチからタッチ解析までの処理の手順を示すフローチャートである。ここでは、対象物が手であり、対象物の特徴点が指先であり、情報処理装置１０はカメラ１，２から手の指先までの距離（指先距離）に基づき、投影面へのタッチ解析を行う場合を例に説明する。
まず、情報処理装置１０の操作判断部１５３は、手が投影面上にタッチされたと判断したとき（Ｓ１００肯定）、カメラ１，２により撮影された時系列の画像の取り込みを行う（Ｓ１０１）。一方、操作判断部１５３は、手が投影面上にまだタッチされていないと判断されたときは（Ｓ１００否定）、Ｓ１０１の処理を行わない。そして、操作判断部１５３は、Ｓ１０１の後、画像の取り込みが終了であれば（Ｓ１０２肯定）、処理を終了し、画像取り込みが終了でなければ（Ｓ１０２否定）、位置算出部１５４を起動させる。そして、領域決定部１５５は、色情報１４２を参照して、取り込んだ画像における手の領域の検出を行い（Ｓ１０３）、手の領域の面積Ｓｔを算出する（Ｓ１０４）。次に、補正部１５７は、Ｓ１０４で算出した面積Ｓｔと、基準となる画像の手の領域の面積（基準手領域面積Ｓ）との差である、手の領域の面積変化量ΔＳ＝｜Ｓｔ−Ｓ｜を算出する（Ｓ１０５）。ここでの基準となる画像は、例えば、手が投影面上にタッチされたときの画像を用いる。
次に、算出部１５６は、カメラ１，２からの画像と形状情報１４３とを用いて、手の指先部分の検出を行い、カメラ１，２から手の指先までの距離（指先距離）Ｚｔを算出する（Ｓ１０６）。また、算出部１５６は、手の指先のＸ方向の移動量ΔＸ＝｜Ｘ１−Ｘ２｜を算出する（Ｓ１０７）。ただし、Ｘ１は、現時刻の画像における指先のＸ座標の位置であり。Ｘ２は、前時刻の画像における指先のＸ座標の位置である。
補正部１５７は、指先の移動量ΔＸが所定の閾値ｔｈ１以下であれば（Ｓ１０８肯定）、Ｓ１０９へ進み、基準となる画像におけるカメラ１，２からの指先までの距離（基準指先距離Ｚ）と基準手領域面積Ｓとを更新する。つまり、指先の移動量ΔＸが所定の閾値ｔｈ１以下であれば、指先はほぼ静止状態と判断されるので、補正部１５７は、基準指先距離ＺをＳ１０６で算出された距離Ｚｔに置き換える。また、補正部１５７は、基準手領域面積ＳをＳ１０４で算出された面積Ｓｔに置き換える。そして、Ｓ１１０へ進み、位置算出部１５４は、指先距離を決定する。ここでは、位置算出部１５４は、Ｓ１０６で算出された指先距離Ｚｔを指先距離として決定する。
一方、指先移動量ΔＸが閾値ｔｈ１よりも大きく（Ｓ１０８否定）、面積変化量ΔＳが所定の閾値ｔｈ２（例えば、５０．０ｍｍ２）以下であれば（Ｓ１１１肯定）、Ｓ１１２に進み、補正部１５７は、指先距離Ｚｔに基準指先距離Ｚを代入する。つまり、補正部１５７は、Ｓ１０６で算出された指先距離Ｚｔを、準指先距離Ｚに補正する。すなわち、指先のＸ方向の動きはあるが、手の領域の面積の変化があるということは、指が投影面上に置かれたままＸ方向にスライドされた可能性が高い。よって、補正部１５７は、Ｓ１０６で算出された指先距離Ｚｔを、基準指先距離Ｚに置き換える。そして、Ｓ１１０へ進み、位置算出部１５４は、指先距離を決定する。ここでは、補正部１５７は、基準指先距離Ｚを指先距離として決定する。
また、面積変化量ΔＳが所定の閾値ｔｈ２よりも大きければ（Ｓ１１１否定）、Ｓ１１３に進み、位置算出部１５４は、Ｓ１０６で算出された指先距離Ｚｔを指先距離として採用する。すなわち、手の領域の面積の変化が所定の閾値ｔｈ２よりも大きいということは、手の指先が上下に動いた可能性が高いので、位置算出部１５４は、Ｓ１０６で算出された指先距離Ｚｔを指先距離として採用する。そして、Ｓ１１０へ進み、位置算出部１５４は、Ｓ１０６で算出された指先距離Ｚｔを指先距離として決定する。
Ｓ１１０の後、操作判断部１５３は、Ｓ１１０で決定された指先距離に基づき、投影面への指先のタッチ解析を行う（Ｓ１１２）。つまり、決定された指先距離が、カメラ１，２から投影面までの距離（基準指先距離Ｚ）とほぼ同じであれば、操作判断部１５３は、投影面上に指先がタッチされたままであると判断する。一方、決定された指先距離が、カメラ１，２から投影面までの距離（基準指先距離Ｚ）未満であれば、操作判断部１５３は、投影面上への指先のタッチが解除されたと判断する。これにより、操作判断部１５３は、例えば、投影面上に投影された表示情報１４１（ドキュメントなど）のタッチにより、表示情報１４１が選択されたか否かを判断することができる。
実施例１に開示された技術によれば、情報処理装置１０は、カメラ１，２が非同期カメラであった場合でも、移動中の対象物の、カメラ１，２からの距離についてほぼ正確な値を算出することができる。また、情報処理装置１０は、カメラ１，２から対象物までの距離についてほぼ正確な値を算出できるので、投影面上に投影された表示情報１４１が選択されたか否かの判断について、誤判断が発生する確率を低減できる。さらに、情報処理装置１０は、対象物の投影面上の移動距離が所定の閾値ｔｈ１を超えると判断した場合に、カメラ１，２から対象物までの距離について補正を行うか否かを判断する。つまり、情報処理装置１０は、対象物が投影面上でほぼ静止した状態であるときは、カメラ１，２から対象物までの距離について補正を行うか否かの判断を行わない。よって、情報処理装置１０は、カメラ１，２から対象物までの距離を算出するときの負荷を低減できる。
さて、これまで開示のシステムに関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、他の実施例を説明する。
情報処理装置１０の操作判断部１５３は、画像における対象物の特徴点のＸＹ座標の位置および投影された表示情報１４１の位置と、前記したタッチ解析の結果とを用いて、表示情報１４１におけるどの情報が選択されたかを判断してもよい。例えば、操作判断部１５３は、指先が投影面上の表示情報１４１（ドキュメントなど）にタッチされていると判断したとき、表示情報１４１におけるタッチされた位置の情報が選択されたと判断する。また、操作判断部１５３は、投影面上の表示情報１４１のタッチが解除されたと判断したとき、この情報の選択が解除されたと判断する。
また、操作判断部１５３は、カメラ１，２から対象物までの距離を用いて、投影面へのタッチおよびタッチの解除を判断することとしたが、これに限定されない。例えば、操作判断部１５３は、カメラ１，２から対象物の距離（Ｚ軸方向の距離）を用いて、様々な操作内容を判断するようにしてもよい。例えば、操作判断部１５３は、カメラ１，２から手までの距離を用いて、手のジェスチャーにより示される操作内容を判断するようにしてもよい。
また、操作判断部１５３は、情報処理装置１０内の構成であるものとして説明したが、情報処理装置１０外にあってもよい。この場合、操作判断部１５３は、通信Ｉ／Ｆ部１１経由で三次元位置算出部１５２や、位置算出部１５４による対象物の位置の算出結果を受信して操作内容を判断する。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示す制御部１５の各処理部が適宜統合または分割されてもよい。また、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［位置算出プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図９は、位置算出プログラムを実行するコンピュータを示す図である。
図９に示すように、コンピュータ３００は、ＣＰＵ３１０、ＲＯＭ（Read Only Memory）３２０、ＨＤＤ（Hard Disk Drive）３３０、ＲＡＭ（Random Access Memory）３４０を有する。これら３１０〜３４０の各部は、バス４００を介して接続される。
ＲＯＭ３２０には上記実施例の各処理部と同様の機能を発揮する位置算出プログラム３２０ａが予め記憶される。例えば、上記実施例の制御部１５同様の機能を発揮する位置算出プログラム３２０ａを記憶させる。なお、位置算出プログラム３２０ａについては、適宜分離しても良い。
ＨＤＤ３３０は、各種データを記憶する。例えば、ＨＤＤ３３０は、ＯＳや各種データを記憶する。
そして、ＣＰＵ３１０が、位置算出プログラム３２０ａをＲＯＭ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、位置算出プログラム３２０ａは、実施例の制御部１５と同様の動作を実行する。
なお、上記した位置算出プログラム３２０ａについては、必ずしも最初からＲＯＭ３２０に記憶させることを要しない。位置算出プログラム３２０ａはＨＤＤ３３０に記憶させてもよい。
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
１，２ カメラ
３ プロジェクタ
１０ 情報処理装置
１１ 通信Ｉ／Ｆ部
１２ 表示部
１３ 入力部
１４ 記憶部
１５ 制御部
１００ 位置算出システム
１４１ 表示情報
１４２ 色情報
１４３ 形状情報
１５１ 表示処理部
１５２ 三次元位置算出部
１５３ 操作判断部
１５４ 位置算出部
１５５ 領域決定部
１５６ 算出部
１５７ 補正部

Claims (5)

  1. 複数のカメラと情報処理装置とを有する位置算出システムであって、
    前記情報処理装置は、
    前記複数のカメラにより撮像された画像を時系列で取得する取得部と、
    前記画像に基づいて前記カメラから対象物までの距離を算出する算出部と、
    前記対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で前記対象物の面積の差が所定の閾値以下であったとき、前記算出された距離を前記カメラから前記ＸＹ平面までの距離に補正する補正部と、
    を有することを特徴とする位置算出システム。
  2. 前記情報処理装置は、
    前記カメラから前記対象物までの距離が前記カメラから前記ＸＹ平面までの距離であったとき、前記ＸＹ平面上に投影された表示情報が選択されたと判断し、前記カメラから前記対象物までの距離が前記カメラから前記ＸＹ平面までの距離未満であったとき、前記表示情報が選択されていないと判断する判断部
    を有することを特徴とする請求項１に記載の位置算出システム。
  3. 前記補正部は、
    前記時系列で取得した複数の画像間で前記対象物の前記ＸＹ平面上の移動距離が所定の閾値を超えると判断した場合、前記複数の画像間で前記対象物の面積の差が所定の閾値以下か否かを判断し、前記算出された距離を前記カメラから前記ＸＹ平面までの距離に補正する
    ことを特徴とする請求項１または請求項２に記載の位置算出システム。
  4. 複数のカメラにより撮像された画像を時系列で取得し、
    前記画像に基づいて前記カメラから対象物までの距離を算出し、
    前記対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で前記対象物の面積の差が所定の閾値以下であったとき、前記算出された距離を前記カメラから前記ＸＹ平面までの距離に補正する
    処理をコンピュータに実行させることを特徴とする位置算出プログラム。
  5. 複数のカメラにより撮像された画像を時系列で取得し、
    前記画像に基づいて前記カメラから対象物までの距離を算出し、
    前記対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で前記対象物の面積の差が所定の閾値以下であったとき、前記算出された距離を前記カメラから前記ＸＹ平面までの距離に補正する
    処理をコンピュータが実行することを特徴とする位置算出方法。
JP2013077203A 2013-04-02 2013-04-02 位置算出システム、位置算出プログラム、および、位置算出方法 Active JP6201379B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013077203A JP6201379B2 (ja) 2013-04-02 2013-04-02 位置算出システム、位置算出プログラム、および、位置算出方法
US14/185,106 US9336603B2 (en) 2013-04-02 2014-02-20 Information processing device and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013077203A JP6201379B2 (ja) 2013-04-02 2013-04-02 位置算出システム、位置算出プログラム、および、位置算出方法

Publications (2)

Publication Number Publication Date
JP2014202540A true JP2014202540A (ja) 2014-10-27
JP6201379B2 JP6201379B2 (ja) 2017-09-27

Family

ID=51620886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077203A Active JP6201379B2 (ja) 2013-04-02 2013-04-02 位置算出システム、位置算出プログラム、および、位置算出方法

Country Status (2)

Country Link
US (1) US9336603B2 (ja)
JP (1) JP6201379B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP2016184362A (ja) * 2015-03-26 2016-10-20 富士通株式会社 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
JP2017141111A (ja) * 2016-02-11 2017-08-17 シク ユン，イル モニターを用いたエレベーターの動作制御装置および方法
JP2019204539A (ja) * 2019-07-31 2019-11-28 富士通株式会社 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
US11327608B2 (en) 2020-02-17 2022-05-10 Seiko Epson Corporation Two camera touch operation detection method, device, and system
US11385742B2 (en) 2020-02-17 2022-07-12 Seiko Epson Corporation Position detection method, position detection device, and position detection system
WO2022209151A1 (ja) * 2021-03-30 2022-10-06 株式会社デンソーウェーブ 三次元計測装置
US11700365B2 (en) 2020-02-17 2023-07-11 Seiko Epson Corporation Position detection method, position detection device, and display device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850970B2 (ja) * 2014-04-09 2016-02-03 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
CN104023221B (zh) * 2014-06-23 2016-04-13 深圳超多维光电子有限公司 立体图像视差调节方法和装置
JP6488961B2 (ja) * 2015-09-28 2019-03-27 富士通株式会社 生成方法、判別方法、プログラム及び情報処理装置
CN109716348A (zh) * 2016-08-12 2019-05-03 3M创新有限公司 独立地处理多个所关注的区域
US11450140B2 (en) 2016-08-12 2022-09-20 3M Innovative Properties Company Independently processing plurality of regions of interest
US9953432B2 (en) * 2016-08-17 2018-04-24 David M. Smith Systems and methods of detecting motion
JP2021064320A (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021193499A (ja) * 2020-06-08 2021-12-23 セイコーエプソン株式会社 位置検出システム、位置検出装置、プロジェクター及び位置検出方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JPH10267618A (ja) * 1997-03-24 1998-10-09 Nissan Motor Co Ltd 距離計測装置
JPH1195895A (ja) * 1997-09-18 1999-04-09 Sony Corp 情報入力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052331B2 (ja) * 2003-06-20 2008-02-27 日本電信電話株式会社 仮想視点画像生成方法及び３次元画像表示方法並びに装置
JP4160572B2 (ja) * 2005-03-31 2008-10-01 株式会社東芝 画像処理装置及び画像処理方法
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8620024B2 (en) * 2010-09-17 2013-12-31 Sony Corporation System and method for dynamic gesture recognition using geometric classification
JP2012208439A (ja) * 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1047954A (ja) * 1996-08-01 1998-02-20 Fujitsu Ten Ltd 複眼カメラによる車間距離計測装置
JPH10267618A (ja) * 1997-03-24 1998-10-09 Nissan Motor Co Ltd 距離計測装置
JPH1195895A (ja) * 1997-09-18 1999-04-09 Sony Corp 情報入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
清水 彰一 SHOICHI SHIMIZU: "３台のカメラを用いた擬似ステレオによる３次元位置推定 Pseudo Stereo Method for Measuring 3D Position", 人工知能学会 第１９回ＳＩＧ−ＣＨＡＬＬＥＮＧＥ研究会, JPN6016046354, 31 January 2005 (2005-01-31), JP, pages 6 - 11, ISSN: 0003454143 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP2016184362A (ja) * 2015-03-26 2016-10-20 富士通株式会社 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
JP2017141111A (ja) * 2016-02-11 2017-08-17 シク ユン，イル モニターを用いたエレベーターの動作制御装置および方法
JP2019204539A (ja) * 2019-07-31 2019-11-28 富士通株式会社 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム
US11327608B2 (en) 2020-02-17 2022-05-10 Seiko Epson Corporation Two camera touch operation detection method, device, and system
US11385742B2 (en) 2020-02-17 2022-07-12 Seiko Epson Corporation Position detection method, position detection device, and position detection system
US11700365B2 (en) 2020-02-17 2023-07-11 Seiko Epson Corporation Position detection method, position detection device, and display device
WO2022209151A1 (ja) * 2021-03-30 2022-10-06 株式会社デンソーウェーブ 三次元計測装置
JP7401024B2 (ja) 2021-03-30 2023-12-19 株式会社デンソーウェーブ 三次元計測装置

Also Published As

Publication number Publication date
JP6201379B2 (ja) 2017-09-27
US20140294233A1 (en) 2014-10-02
US9336603B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
JP6201379B2 (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
JP6248533B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6146094B2 (ja) 情報操作表示システム、表示プログラム、および、表示方法
JP6044426B2 (ja) 情報操作表示システム、表示プログラム及び表示方法
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2015043154A5 (ja)
JP6502511B2 (ja) 計算装置、計算装置の制御方法および計算プログラム
US9342189B2 (en) Information processing apparatus and information processing method for obtaining three-dimensional coordinate position of an object
JP2013217662A (ja) 測長装置、測長方法、プログラム
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
JP2014142737A (ja) 入力プログラム、入力装置および入力方法
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US10386930B2 (en) Depth determining method and depth determining device of operating body
JP2016177491A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
JP6229554B2 (ja) 検出装置および検出方法
US10379678B2 (en) Information processing device, operation detection method, and storage medium that determine the position of an operation object in a three-dimensional space based on a histogram
US10365770B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US10416814B2 (en) Information processing apparatus to display an image on a flat surface, method of controlling the same, and storage medium
JP2017004438A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2018049498A (ja) 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
JP6709022B2 (ja) タッチ検出装置
JP2018181169A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R150 Certificate of patent or registration of utility model

Ref document number: 6201379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150