JP2015022624A - Information processing apparatus, control method thereof, computer program, and storage medium - Google Patents
Information processing apparatus, control method thereof, computer program, and storage medium Download PDFInfo
- Publication number
- JP2015022624A JP2015022624A JP2013151654A JP2013151654A JP2015022624A JP 2015022624 A JP2015022624 A JP 2015022624A JP 2013151654 A JP2013151654 A JP 2013151654A JP 2013151654 A JP2013151654 A JP 2013151654A JP 2015022624 A JP2015022624 A JP 2015022624A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- processing apparatus
- information processing
- area
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、認識対象によって入力される操作を特定する技術に関する。 The present invention relates to a technique for specifying an operation input by a recognition target.
撮像画像からユーザの手領域（ユーザの手が写っている領域）を検出し、その動きや位置に応じてＵＩ（ユーザインターフェース）を操作するジェスチャー認識技術による機器操作が広まりつつある。特許文献１では、背景上に存在するユーザの手を撮像して得られた画像と、上記背景だけを撮像して得られた背景画像との差分を抽出する背景差分法が開示されている。そして、背景差分法によって撮像画像から手領域を検出し、検出した手領域の形状もしくは動きから、入力される操作を特定している。 Device operation based on gesture recognition technology that detects a user's hand area (an area in which a user's hand is shown) from a captured image and operates a UI (user interface) according to the movement and position of the user's hand area is becoming widespread. Patent Document 1 discloses a background difference method that extracts a difference between an image obtained by imaging a user's hand existing on the background and a background image obtained by imaging only the background. Then, the hand region is detected from the captured image by the background subtraction method, and the input operation is specified from the shape or movement of the detected hand region.
特許文献１のように、背景差分法によって移動領域（撮像画像のうち移動する物体が写っている領域）を手領域として検出する場合、手以外のオブジェクトを移動領域から除く処理が必要である。例えば、ユーザが操作を行う操作エリアにドキュメント等のオブジェクトを置く場合、手領域と共にオブジェクトが置かれた領域も、背景差分法では移動領域として検出されてしまう。そこで、背景差分法に用いる背景画像を、オブジェクトが置かれた状態の画像に更新することで、差分として手領域を抽出することができるようになる。背景の更新は、一定時間、入力画像に変化がない、つまり手が含まれず、オブジェクトが静止していることを確認してから行う場合が多い。 As in Patent Document 1, when a moving area (an area in which a moving object is captured in a captured image) is detected as a hand area by the background subtraction method, processing for removing objects other than the hand from the moving area is necessary. For example, when an object such as a document is placed in an operation area where the user performs an operation, an area where the object is placed together with the hand area is also detected as a moving area by the background subtraction method. Therefore, by updating the background image used for the background difference method to an image in which an object is placed, a hand region can be extracted as a difference. In many cases, the background is updated after confirming that the input image has not changed for a certain period of time, that is, the hand is not included and the object is stationary.
しかしながら前述のような背景更新を行っても、操作エリア内のオブジェクトが、ユーザの手の動きから影響を受けて動いたその時刻には、手領域と動いたオブジェクトの領域が共に移動領域として検出されてしまう。特に、ユーザの手がオブジェクトに触れた場合は、手とオブジェクトが一つの移動領域として検出されてしまう場合がある。この場合、手とオブジェクトが混同され、ユーザがタッチしたつもりの無い位置がタッチ位置として誤検出される可能性がある。このように、ユーザの手によって行われた操作の内容や指示位置を特定する事が困難となる。これは、ユーザが手ではなくスタイラスや差し棒などの操作器具が、入力される操作を特定するために認識すべき認識対象に当たる場合でも同様である。 However, even if background update as described above is performed, both the hand area and the area of the moved object are detected as moving areas at the time when the object in the operation area is affected by the movement of the user's hand. It will be. In particular, when the user's hand touches the object, the hand and the object may be detected as one moving area. In this case, a hand and an object are confused, and a position that the user does not intend to touch may be erroneously detected as a touch position. As described above, it is difficult to specify the content of the operation performed by the user's hand and the designated position. This is the same even when the user is not a hand but an operating instrument such as a stylus or a pointing stick is a recognition target to be recognized in order to specify an input operation.
本発明は上記の問題点に鑑みてなされたものであり、ユーザの操作によって入力画像に含まれるオブジェクトが動かされる環境においても、認識対象による操作や指示位置の誤検出を低減することを主な目的とする。 The present invention has been made in view of the above-described problems, and mainly aims to reduce erroneous detection of an operation by a recognition target and an indicated position even in an environment in which an object included in an input image is moved by a user operation. Objective.
以上の目的を達するために、本発明は、
認識対象によって操作を特定する情報処理装置であって、撮像部が撮像した入力画像を取得する取得手段と、前記取得手段によって取得された入力画像から、移動領域を検出する領域検出手段と、前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される操作を特定する特定手段と、前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が操作を特定することを抑制する抑制手段と、備えることを特徴とする。
In order to achieve the above object, the present invention provides:
An information processing apparatus that identifies an operation according to a recognition target, an acquisition unit that acquires an input image captured by an imaging unit, an area detection unit that detects a moving region from the input image acquired by the acquisition unit, Identifying means for recognizing a recognition object based on a moving area, specifying an operation input by the recognition object, and the specifying means specifying an operation when the size of the moving area changes more than a reference over time And suppressing means for suppressing the operation.
本発明は上記の問題点に鑑みてなされたものであり、ユーザの操作によって入力画像に含まれるオブジェクトが動かされる環境においても、認識対象による操作や指示位置の誤検出を低減することができる。 The present invention has been made in view of the above-described problems, and can reduce the erroneous detection of the operation by the recognition target and the designated position even in the environment where the object included in the input image is moved by the user's operation.
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。 Embodiments according to the present invention will be described below in detail with reference to the accompanying drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.
＜第１の実施形態＞
図１（ａ）は、本発明における情報処理装置１００のハードウェア構成図である。同図において、ＣＰＵ（中央処理装置）１０１は、情報処理装置１００の制御プログラムを実行して各種処理のための演算や論理判断などを行い、システムバス１０９に接続された各構成要素を制御する。ＲＯＭ１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリア、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを提供するために用いられる。記憶装置１０４は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクや接続された外部記憶装置などであり、情報処理装置１００が利用する各種データを格納する。可視光カメラ１０５は、本実施形態では操作エリアを上から撮像するように設置され、主に操作エリアに載置されたドキュメントに対する書画カメラの役割を果たす。具体的には、操作面に載置された紙媒体や立体物等、認識対象以外のオブジェクトの、カメラに向けられた面を可視光撮影し、その撮像画像を取得する。この際、撮像画像に含まれる読み取り対象物以外の部分を除いた画像が生成され、読み取り画像として記憶装置１０４に記憶される。赤外光カメラ１０６は、赤外光発光装置１０７から発光された赤外光が操作エリアで反射された反射光を撮像し、赤外光の輝度値によって構成される画像を取得する撮像部である。赤外光発光装置１０７は、操作エリアへ発光する。表示装置１０８は、ＵＩや情報などの画像を表示するためのディスプレイ、プロジェクタ等のである。本実施形態では、液晶プロジェクタが表示装置１０８として用いられる。
<First Embodiment>
FIG. 1A is a hardware configuration diagram of the
なお、本実施形態において、可視光カメラ１０５、赤外カメラ１０６、赤外光発光装置１０７、表示装置１０８はそれぞれ情報処理装置１００に入出力用のインタフェース１１０を介して接続された外部装置である。ただし、これらは情報処理装置１００に一体化されていても構わない。
In this embodiment, the
図１（ｂ）は、本発明の一実施形態における情報処理装置の機能構成を表す図である。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、上記ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
FIG. 1B is a diagram illustrating a functional configuration of the information processing apparatus according to the embodiment of the present invention. Each of these functional units is realized by the
取得部１１１は、赤外カメラ１０６によって撮像された入力画像を取得する。領域検出部１１２は、取得部１１１が取得した画像から、背景差分法により移動領域（移動する物体が写っている領域）を検出する。
The
変動検出部１１３は、領域検出部１１２で検出された移動領域の大きさのある時間における時間変動を検出する。本実施形態では、取得部１１１によって最後に取得された最新の入力画像から検出された移動領域と、直前に取得された１つ前のフレームに相当する入力画像から検出された移動領域の大きさの差分を取得する。このように本実施形態では、時間変動を検出するある時間とは、赤外カメラ１０６の取得画像のフレーム間隔に等しい。ただし、１つ前のフレームではなく、所定時間の前の入力画像から抽出された移動領域との差分を、当該所定時間における移動領域の時間変動として検出してもよい。
The
判定部１１４は、変動検出部１１３が検出した変動が、基準よりも大きいか否かを判定する。また、領域検出部１１２で検出された移動領域が認識対象か否かを判定する。
The
位置検出部１１５は、判定部１１４が、領域検出部１１２で検出された移動領域は認識対象である判定した場合に、当該認識対象による指示位置を検出する。なお、本実施形態では、認識対象は、操作に用いられるユーザの手であり、指示位置は、手の指先の位置である。情報処理装置１００は、指示位置の三次元的な位置情報を検出し、検出した指示位置が操作面に接触する高さである場合には、当該指示位置がタッチされたとして入力操作はタッチ操作と特定する。ただし、例えば、差し棒やスタイラスペンのような操作器具を認識対象とし、指示位置をその操作器具の先端としても構わない。以降この明細書では、指先の指示位置に基づいて特定される操作は、タッチ操作であるとして説明する。ただし、本発明はタッチ操作が入力される場合に限らず、例えば、指先で特定の方向を示す指さし操作や、指先で空間に所定の図形を描くようなジェスチャー操作を特定する場合にも適応可能である。
When the
本実施形態では、位置検出部１１５は、検出された移動領域を構成する点のうち、赤外カメラ１０６の撮像範囲の境界線と交わる位置から最も遠い点を指先位置（座標）として検出する。ここで例えば、移動領域に写る移動物体が認識対象ではなく、オブジェクトの一部を含んでいたとすると、位置検出部１１５が検出する指示位置は、ユーザの指先とは限らず、例えばオブジェクトの先端部分である場合が生じてしまう。このとき、検出された指示位置に一致する操作面上の位置に、タッチ操作によって何かしらの装置へのコマンドが発生するようなＧＵＩオブジェクトが表示されていれば、オブジェクトの先端部が操作面に接していることに基づいて、タッチ操作が特定される。これは、ユーザの意図に反した誤動作の原因となる。従って、本実施形態では、判定部１１４が、領域検出部１１２で検出された移動領域は認識対象である判定した場合に、当該認識対象による指示位置を検出している。
In the present embodiment, the
特定部１１６は、認識対象によるＵＩへのタッチ等の選択やスワイプジェスチャ等の操作を特定する。表示装置１０８における表示内容を制御する表示制御部１１９と連携し、ＵＩの表示位置情報等を取得して、タッチ操作においてタッチされたオブジェクトや、スワイプジェスチャの対象となるオブジェクトを特定する。また、特定した操作のフィードバックするための情報を表示制御部１１９に伝える。
The identifying
抑制部１１７は、判定部１１４が、領域検出部１１２で検出された移動領域は認識対象ではないと判定した場合に、移動領域に基づいて指示位置の検出を行う位置検出部１１５の処理を抑制する。推定部１１８は、抑制部１１７が位置検出部１１５の指示位置の検出を抑制した場合に、認識対象による指示位置を推定する。
When the
図２は、本実施形態における情報処理装置１００の代表的な設置例である。操作面２０１は、プロジェクタである表示装置１０８によって画像が投影されるスクリーンと、操作が行われるオブジェクト２０２が載置される操作ステージを兼ねている。表示装置１０８がプロジェクタではない場合には、例えば操作面２０１がディスプレイであってもよい。可視光カメラ１０５は操作面２０１に置かれたドキュメント等のオブジェクト２０２の内容を画像データとして取得するのに用いる。ユーザは表示装置１０８によって操作面２０１に投影された画像に対してタッチ、スワイプ等の操作を行う。ここで、可視光カメラ１０５でユーザの手の領域を肌色検出等の処理で取得すると、表示装置１０８によって投影される画像がユーザの手にも投影されて手の色を変えてしまい、正しく肌色領域として手を検出できない場合がある。そこで本実施形態では、赤外光発光装置１０７によって操作エリアに赤外光を発光し、その反射光を赤外カメラ１０６で取得する。赤外カメラ１０６で取得する画像は表示装置１０８の投影する画像に影響を受けない。そこで取得部１１１は赤外カメラ１０６の画像を取得する。ただし赤外カメラ１０６の画像は手の肌色情報等は含まれないモノクロ画像であるため、領域検出部１１２は背景差分法やフレーム間差分等の方法で移動領域を検出する手法を採用する。ただし、本発明はこれに限るものではなく、例えば取得部１１１は可視光カメラ１０５で取得する画像を入力して処理してもよい。あるいは赤外線の反射時間や照射パターンの変形などから測定する距離画像を撮影する距離画像カメラを用いてもよい。
FIG. 2 is a typical installation example of the
図３は、本実施形態における情報処理装置の処理の流れを表すフローチャートである。同図を用いてそれぞれの処理を説明する。本実施形態では、情報処理装置が起動され、赤外カメラ１０６が画像の取得を開始したことに応じて、図３のフローチャートの処理が開始されるものとする。
FIG. 3 is a flowchart showing the flow of processing of the information processing apparatus in the present embodiment. Each process will be described with reference to FIG. In the present embodiment, it is assumed that the processing of the flowchart of FIG. 3 is started in response to the activation of the information processing apparatus and the
まずステップＳ３０１で、取得部１１１が赤外カメラ１０６によって撮像された入力画像を取得する。なお、ステップＳ３０１で取得部１１１が取得する画像は、赤外カメラ１０６によって周期的に撮像されている。従って、図３のフローチャートの処理は、撮像周期に応じて繰り返される。取得部１１１が入力画像を取得する周期は、赤外カメラ１０６が撮像する映像の予め定められたフレーム数毎でもよいし、一定時間毎であっても構わない。
First, in step S301, the
次にステップＳ３０２で領域検出部１１２が、入力画像に基づいて操作エリア内が静止状態か否かを判定する。操作エリア内が静止状態か否かは、最新の入力画像と、直前に取得された入力画像との時間差分（フレーム間差分）として大きな変化が検出されるか否かによって判定される。操作エリア内が静止状態ではないと判定された場合（ステップＳ３０２でＮＯ）はステップＳ３０３へ進み、静止状態であると判定された場合（ステップＳ３０２でＹＥＳ）はステップＳ３０４へ進む。
In step S302, the
ステップＳ３０３では、領域検出部１１２が、ステップＳ３０１で取得された入力画像に含まれる移動領域を検出する。本実施形態では移動領域を、背景差分法により検出する。一方で、ステップＳ３０４では、領域検出部１１２が、移動体の検出に用いる背景画像を、最新の入力画像に置き変えることで更新する。
In step S303, the
ここで、背景差分法による移動領域検出処理の各段階を、図４を用いて説明する。図４において、背景画像４００は、ある時点で領域検出部１１２が保持する背景画像である。本実施形態では、電源投入直後の初期状態の情報処理装置１００では、背景画像として、予めオブジェクト２０２が載置されていない状態の操作エリアを撮像した画像がひとつ保有されている。そして、ステップＳ３０２で操作エリア内が静止状態であると判定されると、ステップＳ３０４において、領域検出部１１２が背景画像を、最新の入力画像に更新する。オブジェクト２０２は、この例では操作面２０１に置かれた紙媒体のドキュメントであるとする。背景画像４００は、オブジェクト２０２が操作面２０１に置かれた後、ステップＳ３０２において、操作エリア内が静止状態であると判定されることで、ステップＳ３０４において、更新された背景画像である。従って、オブジェクト２０２が画像に含まれている。
Here, each stage of the moving area detection process by the background subtraction method will be described with reference to FIG. In FIG. 4, a
次に、画像４０１は、認識対象であるユーザの手が含まれていない時刻に赤外カメラ１０６により撮像された入力画像である。画像４０２は、画像４０１と背景画像４００との差分画像であり、入力画像４０１に移動体が含まれないため、移動領域は検出されない。一方で、画像４０３は、認識対象である手が操作エリア内にある時に撮像された入力画像である。画像４０４は、画像４０３と背景画像４００との差分画像であり、操作エリア内に差し込まれた手が写る手領域が、移動領域として検出されている。一方、画像４０５は手がオブジェクト２０２を掴み、少し動かした時に撮像された入力画像である。これに対して画像４０６は、画像４０５と背景画像４００との差分画像である。画像４０６では、手領域以外にオブジェクト２０２の一部が移動領域として検出されている。さらに、画像４０７は手がオブジェクト２０２を掴みさらに動かした時の入力画像である。これに対して画像４０８は、画像４０７と背景画像４００との差分画像であり、手領域以外にオブジェクト２０２及びオブジェクト２０２が背景画像４００にあった領域が移動領域として検出されている。また、画像４０９は、オブジェクト２０２上に表示装置１０８から投影されたＵＩをタッチ操作する時の入力画像であり、オブジェクト２０２に触れることでオブジェクト２０２が少し動いている。これに対して画像４１０は、画像４０９と背景画像４００との差分画像であり、手領域以外にオブジェクト２０２の一部が移動領域として検出されている。また、画像４１１は、操作面２０１上でスワイプなどのジェスチャー操作をする際に、手がオブジェクト２０２に触れたり、手の移動による風にあおられてオブジェクト２０２が動いたりする場合の入力画像である。これに対して画像４１２は、画像４１１と背景画像４００との差分画像であり、手領域以外にオブジェクト２０２の一部が移動領域として検出されている。以上の例では、背景差分法により、画像４０２、画像４０４、画像４０６、画像４０８、画像４１０、画像４１２のように、移動領域が検出される。ステップＳ３０３では、このように、入力画像から移動領域を検出し、ＲＡＭ１０３に移動領域の情報を保持する。
Next, the
ステップＳ３０３で領域検出部１１２が移動領域を検出すると、次にステップＳ３０５において、変動検出部１１３が移動領域の大きさの変動を検出する。大きさの変動は、ＲＡＭ１０３に保持された情報を基に、今回のステップＳ３０３の処理で検出された移動領域の情報と、その前にステップＳ３０３の処理が実行されたときに検出された移動領域の時間変動として検出される。検出する大きさの変動を比較するための指標（単位）は、移動領域の面積でも、移動領域の輪郭線長などでもよい。本実施形態では、面積を比較するものとする。前回の処理で検出された移動領域の大きさと、今回の処理で検出された移動領域の大きさとの差分を時間変動として算出（検出）する。
When the
そして、ステップＳ３０６において、判定部１１４が、ステップＳ３０５で検出されたフレーム間での時間変動が、予め定められた閾値より大きいかを判定する。すなわち、移動領域の大きさが、基準より大きく時間変動したかを判定する。時間変動が大きい場合は、手がオブジェクトを触るなどして手以外のものまでが一緒に移動物体として検出された可能性が高い。この場合には、指示位置の誤検出が生じやすいため、指示位置の検出を抑制する必要がある。ここで予め定められた閾値とは、移動領域の大きさの時間変動が、手領域の大きさが変化していないとみなせる程度の小さい変動であるか、そうとはみなせないほど大きい変動かを区別するために用いられる閾値である。例えば、連続して取得された入力画像（連続するフレーム）から得られる移動領域が、図４の画像４０４から画像４０６のように変化した場合、移動領域は、手領域の大きさが変化していないとはみなせないほど、時間変動は大きいと判定される。時間変動が予め定められた閾値より大きいと判定された場合（ステップＳ３０６でＹＥＳ）はステップＳ３０７に進み、時間変動が予め定められた閾値より大きくないと判定された場合（ステップＳ３０６でＮＯ）はステップＳ３０７に進む。
In step S306, the
ステップＳ３０７では、判定部１１４が、検出された移動領域に写る移動物体が認識対象であるか否かを判定する。つまり、認識対象による指示位置を特定する処理を行うことが可能か認識対象を確認する。ここで、移動物体が認識対象であるとは、移動物体が認識対象であるユーザの手のみであり、それ以外のオブジェクトを含まないとみなせる、ということを意味する。手以外のオブジェクトが移動物体に含まれる場合は、指示位置の誤検出が生じやすくなるため、指示位置の検出を抑制する必要がある。本実施形態では、検出された物体領域の大きさと縦横比が所定の条件を満たす場合に、移動領域に写る移動物体が認識対象である、すなわち移動領域が人の手の形状であるとみなせると判定する。ただし、本実施形態において採用可能な、移動領域に写る移動物体が認識対象であるかを判定する方法は、この方法に限らない。例えば、予め記憶装置１０４に記憶された認識対象のモデルと、移動領域の輪郭の形状をマッチングする処理などを利用することができる。この場合、移動領域とモデルとのマッチングの尤度が所定の閾値以上である場合に、移動領域に写る物体が認識対象であると判定される。また例えば、図４の画像４０８のように、入力画像の４辺と接しないような移動領域が検出されていた場合、その領域が認識対象（手）ではないと明確に判定することができる。従って、上述したような判定処理を行う前に、前処理としてこのような判断を行うことで、計算量を削減することもできる。検出された移動領域に写る移動物体が認識対象であると判定された場合（ステップＳ３０７でＹＥＳ）はステップＳ３０９に進み、検出された移動領域に写る移動物体が認識対象ではないと判定された場合（ステップＳ３０７でＮＯ）はステップＳ３０８に進む。
In step S307, the
ステップＳ３０８では、抑制部１１７が、特定部１１６による操作の認識を抑制する。同時に、位置検出部１１５による指示位置の検出を抑制する。これにより、ステップＳ３０８の処理の実行後は、移動物体が操作面２０１に接触したとしても、認識対象による入力がタッチ操作であるとは特定されない。また、移動領域の移動が検出されても、スワイプなどのジェスチャー操作であるとは特定されない。ただし、本実施形態では、抑制部１１７による抑制が継続されるのは、以下のいずれかの時点までとする。それは、操作エリアで現在の処理対象となっている移動領域が検出されなくなった時点、または、オブジェクトが静止するなどしたことにより移動物体がユーザの手のみになった時点である。つまり、抑制部１１７は、次にステップＳ３０２でＹＥＳの判定がなされた時点、あるいはステップＳ３０７のＹＥＳの判定がなされた時点で、操作の認識及び指示位置検出の抑制を解除する。
In step S <b> 308, the suppressing
このように本実施形態では、ある条件下において、オブジェクトが手の一部であると誤認識されてしまう可能性のあるあらゆる操作に関して、その誤検出を回避することを目的とし、全ての操作の認識を抑制する。なお、スワイプなどジェスチャー操作は、ある程度の期間の中で認識対象が所定の動きを継続することを条件として特定されることが多いのに対し、手の動きの影響を受けて載置されたオブジェクトが動いてしまう現象は、極短時間に起きることが多い。従って、本実施形態において、変動した移動領域によってジェスチャー操作が誤って特定される可能性は低いため、必ずしもジェスチャー操作の検出は抑制せずともよい場合もある。一方で、タッチ操作の検出は、検出された指示位置が、極短時間の間に所定の条件を満たすか否かによって検出される。従って、本実施形態では、少なくともタッチ操作の検出を抑制することで、オブジェクトが誤って手の一部と認識されてしまう短時間の間に生じる可能性がある誤検出を低減する。 As described above, in the present embodiment, with respect to any operation that may be erroneously recognized as an object that is a part of the hand under a certain condition, the object is to avoid the erroneous detection. Suppress recognition. Note that gesture operations such as swipe are often specified on the condition that the recognition target continues a predetermined movement within a certain period of time, whereas an object placed under the influence of hand movement The phenomenon of moving often occurs in a very short time. Therefore, in the present embodiment, since there is a low possibility that the gesture operation is erroneously specified by the changed moving area, the detection of the gesture operation may not necessarily be suppressed. On the other hand, the detection of the touch operation is detected based on whether or not the detected indication position satisfies a predetermined condition in a very short time. Therefore, in this embodiment, by suppressing at least detection of a touch operation, erroneous detection that may occur in a short time during which an object is erroneously recognized as a part of a hand is reduced.
ステップＳ３０９では、位置検出部１１５が、検出されている移動領域に基づいて、認識対象による指示位置を検出する。本実施形態では、指示位置として、認識対象である手の、指先の位置を検出する。具体的には、移動領域と、赤外カメラ１０６の撮像範囲の境界線とが交わる位置（座標）の平均を、認識対象の操作エリアへの侵入位置と定義し、移動領域のうち、侵入位置から最も遠い点を指先位置（座標）と決定する。あるいは、認識対象である手を指の形状までモデル化したモデルを用い、マッチングさせて指先の位置を決定することもできる。さらに位置検出部１１５は、赤外カメラ１０６によって撮像された赤外反射光の撮像画像より、指示位置に相当する位置で撮像された赤外光の輝度値に基づいて、認識対象の操作面２０１に対する高さ方向の位置情報を取得する。なお、本実施形態では、予め輝度値と操作面からの高さの対応関係が情報処理装置１００に記憶されているものとする。
In step S309, the
次に、ステップＳ３１０では、特定部１１６が、認識対象が写った移動領域と、位置検出部１１５によって検出された指示位置と、に基づいて、認識対象によって入力される情報処理装置１００に対して入力される操作を特定する。例えば、位置検出部１１５が検出した指示位置に基づいて、ＵＩへのタッチ操作に投影されたＵＩに対するタッチ操作、指さし操作など指示位置に基づく操作と特定する。また、所定の期間、あるいは所定の範囲における移動領域の移動を追跡すること等により、手の動きや姿勢によるスワイプ、手ぶり、ポーズ等のジェスチャー操作と特定する。そして特定部１１６は、特定した操作のフィードバックするための情報を表示制御部１１９に伝え、表示制御部１１９は、必要な表示制御を行う。
Next, in step S <b> 310, the specifying
ステップＳ３１１においては、特定部１１６が、情報処理装置１００を終了するかを判定する。本実施形態では、入力された操作が情報処理装置１００の起動終了を指示する操作であったり、物理ボタンにより情報処理装置の電源が切られたり、あるいは一定時間以上移動物体が検出されない状態が続いたりした場合、情報処理装置１００を終了する。情報処理装置１００を終了する（ステップＳ３１１でＹＥＳ）と判定された場合には、メイン処理を終了する。終了しない（ステップＳ３１１でＮＯ）と判定された場合には、ステップＳ３０１に戻り処理を繰り返す。
In step S <b> 311, the specifying
以上の処理により、本発明の画像処理装置は、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合でも、誤検出の発生を低減する事が可能となる。 With the above processing, the image processing apparatus of the present invention can reduce the occurrence of false detection even when an object included in the input image is moved due to a user's movement or the like.
なお、本実施形態では、移動領域の大きさの変動が大きいと判定された場合、および移動領域に写る移動物体が認識対象ではないと判定された場合、如何なる操作の検出も抑制することで、誤検出を低減させた。ただし、誤検出を低減させる方法としては、操作が特定されるために満たされるべき条件を厳しくなるように変更するという方法もある。例えば、移動領域の大きさの変動が大きいと判定された場合に、ステップＳ３０７で移動領域に写る移動物体が認識対象であるか否かを判断するために用いる条件を厳しくする。あるいは、ステップＳ３１０で認識対象の動きを操作であると認識するために用いる条件を厳しくする。なお、ステップＳ３０７での条件とは、移動領域が収まるべき範囲の大きさの条件や、マッチング処理の尤度の高さの条件である。 In this embodiment, when it is determined that the variation in the size of the moving area is large, and when it is determined that the moving object reflected in the moving area is not a recognition target, by suppressing detection of any operation, Reduced false positives. However, as a method of reducing false detection, there is also a method of changing a condition to be satisfied in order to specify an operation so as to be strict. For example, when it is determined that the variation in the size of the moving area is large, the conditions used to determine whether or not the moving object that appears in the moving area is the recognition target in step S307. Alternatively, the conditions used for recognizing that the movement of the recognition target is an operation in step S310 is tightened. Note that the conditions in step S307 are conditions for the size of the range in which the moving region should be accommodated and conditions for the likelihood of matching processing.
これにより、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合に生じる誤検出を低減しつつ、厳しい条件が満たされた場合には、通常通り入力される操作を特定することができる。 As a result, it is possible to reduce an erroneous detection that occurs when an object included in the input image moves due to a user's movement or the like, and to specify an operation that is normally input when a strict condition is satisfied. it can.
＜変形例１＞
次に、移動領域の大きさの変動が大きいと判定された場合、移動領域の大きさが変動する前に検出されていた移動領域に基づいて、指示位置を推定することで、タッチ操作の認識を補助する変形例１を説明する。
<Modification 1>
Next, when it is determined that the size of the moving area varies greatly, the touch position is recognized by estimating the indicated position based on the moving area detected before the moving area varies. Modification 1 for assisting the above will be described.
図５は、変形例１における情報処理装置の処理の流れを表すフローチャートである。図３のフローチャートと共通する処理には同じ番号を付し、詳細な説明を省略する。なお、図５のフローチャートでは、図３とステップＳ３０６とステップＳ３０７の処理が入れ換わっているが、処理の内容に変更はない。 FIG. 5 is a flowchart showing the flow of processing of the information processing apparatus in the first modification. The processes common to those in the flowchart of FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted. In the flowchart of FIG. 5, the processing of FIG. 3, step S <b> 306 and step S <b> 307 is interchanged, but the content of the processing is not changed.
変形例１では、ステップＳ３０７において、判定部１１４が、検出された移動領域に写る移動物体が認識対象ではないと判定された場合（ステップＳ３０６でＮＯ）、ステップＳ３０８に進み、抑制部１１７が操作の検出を抑制して、ステップＳ３１１に進む。一方、移動物体が認識対象であると判定した場合（ステップＳ３０７でＹＥＳ）、ステップＳ３０６に進む。
In the first modification, when the
ステップＳ３０６では、判定部１１４が、ステップＳ３０５で検出された時間変動が、予め定められた閾値より大きいかを判定する。時間変動が予め定められた閾値より大きくないと判定された場合（ステップＳ３０６でＮＯ）はステップＳ３０９に進んで、第１の実施形態と同様に指示位置を検出して（ステップＳ３０９）、入力される操作を特定する処理（ステップＳ３１０）が行われる。一方、時間変動が予め定められた閾値より大きいと判定された場合（ステップＳ３０６でＹＥＳ）はステップＳ５０１に進む。
In step S306, the
ステップＳ５０１では、抑制部１１７が、位置検出部１１５による指示位置検出を抑制する。そしてステップＳ５０２において、推定部１１８が、変動前の移動領域から検出されていた指示位置に基づいて、指示位置を推定する。
In step S <b> 501, the
ここでは現在の指示位置（ｘ（ｔ），ｙ（ｔ））を推定する方法の一例として、以下の式を用いる。ここで、（ｘ（ｔ−１），ｙ（ｔ−１））は変動前のフレームにおいて検出されていた指示位置、（ｘ（ｔ−２），ｙ（ｔ−２））は更にその前のフレームにおいて検出されていた指示位置の座標である。 Here, the following equation is used as an example of a method for estimating the current designated position (x (t), y (t)). Here, (x (t-1), y (t-1)) is the indicated position detected in the frame before the change, and (x (t-2), y (t-2)) is further before that. This is the coordinates of the designated position detected in the frame.
（Δｘ（ｔ−１），Δｙ（ｔ−１））＝
（ｘ（ｔ−１），ｙ（ｔ−１）−（ｘ（ｔ−２），ｙ（ｔ−２））
（ｘ（ｔ），ｙ（ｔ））＝（ｘ（ｔ−１），ｙ（ｔ−１））＋（Δｘ（ｔ−１），Δｙ（ｔ−１））
なお、この式では変動前のフレーム毎の指示位置の差分を基に、変動後の指示位置を推定したが、フレーム毎に限らず、所定時間毎の時間差分をみてもよい。さらに変動前の指示位置の移動に係る加速度を考慮することでより厳密な推定処理を行ってもよい。また上式のように推定した（ｘ（ｔ），ｙ（ｔ））の近傍を探索し、移動領域を含む座標や形状が指先に最も近い座標を推定された指示位置として決定してもよい。
(Δx (t−1), Δy (t−1)) =
(X (t-1), y (t-1)-(x (t-2), y (t-2))
(X (t), y (t)) = (x (t−1), y (t−1)) + (Δx (t−1), Δy (t−1))
In this equation, the indicated position after the change is estimated based on the difference in the indicated position for each frame before the change, but the time difference for every predetermined time may be seen without being limited to each frame. Further, more accurate estimation processing may be performed by taking into account the acceleration related to the movement of the indicated position before the change. Further, the vicinity of the estimated (x (t), y (t)) as in the above equation may be searched, and the coordinates and shape including the moving area may be determined as the estimated designated position. .
推定が完了したら、ステップＳ３１０に進み、特定部１１６が入力される操作を特定する。タッチ操作のように、指示位置に基づいて特定される操作では、ステップＳ５０２において推定された指示位置が用いられる。以降の処理は第１の実施形態と同一のため説明を省略する。
When the estimation is completed, the process proceeds to step S310, and the specifying
ここで、図６を用いて、指示位置を推定する処理の詳細を説明する。図６は、移動領域に基づいて検出あるいは推定される指示位置の一例を示す図である。図６の状態６１０〜６１２は、移動領域が検出されてから、手の指先がオブジェクト２０２に触れるまで時間変化を段階的に表しており、背景差分法により入力画像から抽出された移動領域が黒い領域として表現されている。状態６１０及び状態６１１においては、移動領域の変動の大きさが閾値より小さく、また移動物体は認識対象（手）であると判定される。従って、移動領域のうち、侵入位置から最も遠い点である点６０１が、指示位置として決定される。また、状態６１２において抽出されている移動領域は、図４の画像４１０に示したものと同じ現象が起きた状態である。状態６１２では、手以外にオブジェクト２０２の一部が移動領域として検出される。変形例１においても、状態６１２の紙面に向かって右側の移動領域のように、入力画像の４辺と接しないような移動領域に写る移動物体は認識対象ではないとすぐに判定することが可能である。しかし、紙面に向かって左側の移動領域はたまたま形状が指を立てた人間の手と類似しているため、ステップＳ３０６においては、移動物体が認識対象であると判断されてしまう場合がある。その場合にも、移動領域の面積が急激に増加しているため、ステップＳ３０７では、変動が大きいと判断される。ここで、例えば抑制部１１７が位置検出部１１５の指示位置検出を抑制しなければ、侵入位置から最も遠い点である点６０３が指示位置として検出されてしまう。しかし、実際には点６０３はオブジェクト２０２の先端部であって、指先ではない。例えば、操作面の点６０３に相当する位置に、タッチ操作によって何かしらの装置へのコマンドが発生するようなＧＵＩオブジェクトが表示されていたとする。この場合、ユーザの指は実際にはオブジェクトに触れただけで操作面に対するタッチ操作を行おうとしていないにも関わらず、点６０３が指示位置として検出されてしまう。その結果、ＧＵＩオブジェクトがタッチされたと誤検出され、ユーザが意図しない装置の誤動作が起こり得る。これに対し、変形例１では、移動領域の変動が大きい場合には指示位置の検出を抑制し、代わりに指示位置の推定を行う。図６の場合、状態６１０〜６１２が、赤外カメラ１０６が撮影したフレーム毎の画像であるとすれば、状態６１０と状態６１１における位置６０１の位置の差分に基づいて、状態６１２では、位置６０２が指示位置として推定される。
Here, the details of the process of estimating the designated position will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of an indicated position that is detected or estimated based on a moving region. The
なお、上述した変形例１において、移動領域の時間変動が大きい場合には、位置検出部１１５の検出を抑制した上で、指示位置の推定処理を行ったが、抑制を行わず指示位置の検出と推定を両方行い、信頼性の高い位置を使用するように構成してもよい。
In Modification 1 described above, when the time variation of the moving region is large, the detection of the
以上のような変形により、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合でも、認識対象による指示位置を推定することで、入力される操作を、ユーザの意図に沿ったタッチ操作と特定することができる。 Even if an object included in the input image is moved due to the user's movement or the like due to the above-described deformation, the input operation is touched according to the user's intention by estimating the indication position by the recognition target. Can be identified as an operation.
＜変形例２＞
上述した変形例１では、時間変動が大きい場合には、指示位置の検出を抑制して代わりに推定する処理を行った。それに対し変形例２では、移動領域の変動が大きい場合には、直前における移動領域の形が所定の形状であるか否かに基づき、指示位置に関する操作が行われ易い状態であると判断した上で、指示位置の推定を行う。
<Modification 2>
In the first modification described above, when the time variation is large, the detection of the indicated position is suppressed and the estimation process is performed instead. On the other hand, in the second modification, when the movement region is largely fluctuated, it is determined that the operation regarding the designated position is easily performed based on whether or not the shape of the movement region immediately before is a predetermined shape. Then, the designated position is estimated.
変形例２における、ハードウェアの構成及び装置の外観は、第１の実施形態の図１（ａ）と同様である。ただし、変形例２の機能構成において、判定部１１４は、移動領域の大きさの時間変動が大きい場合に、変動前の移動領域の形状が、所定の手の形状であるか否かを判定する。例えば、操作面上のある箇所をタッチしようとする場合の基本的な形状となる、一部の指だけを立てた状態における形状（以下では、指さし形状という）であるか否かを判定する。なお、変形例２の情報処理装置１００では、所定の手の形状を示す情報は、当該形状で指示される所定の操作を関連付けて、予め記憶装置１０４に記憶されている。
In the second modification, the hardware configuration and the external appearance of the apparatus are the same as those in FIG. 1A of the first embodiment. However, in the functional configuration of the second modification, the
図７は、変形例２における情報処理装置の処理の流れを表すフローチャートである。図３、及び図５のフローチャートと共通する処理には同じ番号を付し、詳細な説明を省略する。なお、図７のフローチャートでは、ステップＳ３０７の処理が省略されている代わりに、ステップＳ７０１及びステップＳ７０２、ステップＳ７０３の処理が加わっている。 FIG. 7 is a flowchart showing the flow of processing of the information processing apparatus in Modification 2. The processes common to the flowcharts of FIGS. 3 and 5 are denoted by the same reference numerals, and detailed description thereof is omitted. In addition, in the flowchart of FIG. 7, the process of step S701, step S702, and step S703 is added instead of the process of step S307 being omitted.
変形例２では、ステップＳ３０６において、検出された移動領域の時間変動が大きいと判定された場合には、ステップＳ５０１において、抑制部１１７によって位置検出部１１５による指示位置の検出が抑制され、ステップＳ７０１の処理に進む。
In the second modification, when it is determined in step S306 that the time variation of the detected moving region is large, in step S501, the
ステップＳ７０１では、判定部１１４が、大きな時間変動が検出される直前のフレームにおける移動領域の形状の情報を認識する。変形例２においても、ステップＳ３０３で検出された移動領域の情報がＲＡＭ１０３に保持されている。ステップＳ７０２において、判定部１１４は、変動が起こる前のフレームの入力画像から得られた移動領域の形状を認識する。そして、ステップＳ７０２において、判定部１１４は、直前の移動領域が、予め記憶された所定の形状か否かを判定する。例えば、タッチ操作を行うときの手の形状を示す指さし形状か否かを判定する。直前の移動領域の形状が所定の形状であると判定された場合（ステップＳ７０１でＹＥＳ）、ステップＳ７０２に進む。直前の移動領域の形状が所定の形状ではないと判定された場合（ステップＳ７０１でＹＥＳ）、ステップＳ３０８に進む。
In step S701, the
変形例２において、直前の移動領域が所定の形状であると判定された場合、情報処理装置１００では、当該所定の形状に関連付けて記憶された所定の操作が入力されやすい状態にあると判断される。例えば、直前の移動領域が指さし形状である場合には、ユーザの手は直前まで操作面に対するタッチ操作を行おうとしていたとみなすことができ、従って現時点においても、タッチ操作が行われる可能性が高いと判断できる。従って、変形例２では、移動領域が所定の形状であった場合には、指示位置の推定を行い、所定の形状に関連付けられた所定の操作が入力されたか判断する。
In the second modification, when it is determined that the immediately preceding moving region has a predetermined shape, the
従って、ステップＳ５０２では、推定部１１８が、変動前の移動領域から検出されていた指示位置に基づいて、指示位置を推定する。推定方法は、変形例１に準じるものとする。変形例２では、ステップＳ５０２において指示位置の推定が完了したら、ステップＳ７０３の処理に進む。
Accordingly, in step S502, the
ステップＳ７０３では、特定部１１６が、所定の操作が入力されたか判断する。例えば移動領域が指さし形状であった場合には、操作面と推定された指示位置との距離を閾値比較する処理により、操作面がタッチされたか否かを判断することで認識対象による入力をタッチ操作と特定する。タッチ操作以外の操作は認識しない。
In step S703, the specifying
以上が変形例２における情報処理装置の処理の流れである。なお、ここでは移動領域の所定の形状として、指さし形状を例に挙げて、入力操作をタッチ操作と特定する例を説明したが、これに限らない。例えば、ステップＳ７０２において、手がオブジェクトを掴んでいるときの形状か否かを判定し、オブジェクトを掴んでいる形状だと判断された場合には、操作は行われ難い状態だと判断して、操作の検出を抑制するようにしてもよい。同様に、移動領域の形状から、移動領域に含まれるオブジェクトが操作面上でずれた（並進移動した）、それとも持ち上げられて操作面から離れたことを認識して同様の処理を行ってもよい。 The above is the processing flow of the information processing apparatus in the second modification. Here, as an example of the predetermined shape of the moving area, the pointing operation is taken as an example and the input operation is specified as the touch operation, but the present invention is not limited to this. For example, in step S702, it is determined whether or not the shape is a shape when the hand is holding the object. If it is determined that the shape is the shape holding the object, it is determined that the operation is difficult to be performed. You may make it suppress the detection of operation. Similarly, the same processing may be performed by recognizing that the object included in the movement area has shifted (translated) on the operation surface from the shape of the movement area, or lifted away from the operation surface. .
以上のように、時間変動前の移動領域の形状に基づいて操作の検出を抑制する事で、操作らしい時には過度な抑制を行わず、また操作らしくない時には極力抑制して操作の誤検出を低減することができる。 As described above, by suppressing the detection of operations based on the shape of the moving area before time fluctuation, excessive suppression is not performed when it seems to be an operation, and it is suppressed as much as possible when it is not likely to be operated, thereby reducing erroneous detection of the operation. can do.
＜変形例３＞
変形例３では、予め静止したオブジェクトの位置及び大きさを検出しておくことで、オブジェクトの動きが原因となって検出される移動領域の大きさの時間変動を限定的に検出する例を説明する。
<Modification 3>
In the third modification, an example in which the time variation of the size of the moving area detected due to the movement of the object is limitedly detected by detecting the position and size of the stationary object in advance will be described. To do.
変形例３における、ハードウェアの構成及び装置の外観は、第１の実施形態の図１（ａ）と同様である。図８（ａ）は変形例３における情報処理装置の機能構成を表す図である。変形例３の機能構成は、オブジェクト検出部８０１が加わる以外は第１の実施形態と同様であるため、異なる点のみを説明する。オブジェクト検出部８０１は、操作エリアに載置され、かつ静止した状態におけるオブジェクトを検出する。ここで検出されるオブジェクトは、領域検出部１１２に検出される移動領域に写る移動物体のうち、認識対象以外のものである。本実施形態では、紙媒体のドキュメントを想定する。
The hardware configuration and the external appearance of the device in Modification 3 are the same as those in FIG. 1A of the first embodiment. FIG. 8A is a diagram illustrating a functional configuration of the information processing apparatus according to the third modification. Since the functional configuration of Modification 3 is the same as that of the first embodiment except that the
図９は、本実施形態における情報処理装置の処理の流れを表すフローチャートである。第１の実施形態と同じ内容の処理については同じ番号を付し、詳細な説明を省略する。 FIG. 9 is a flowchart showing the flow of processing of the information processing apparatus in this embodiment. The processes having the same contents as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
変形例３では、ステップＳ３０２で、領域検出部１１２が、操作エリア内は静止状態であると判定すると、ステップＳ９０１において、オブジェクト検出部８０１がオブジェクトを検出する。
In Modification 3, when the
ここで、ステップＳ９０１におけるオブジェクト検出処理の様子を図８（ｂ）に示す。背景画像６２０はシステム起動時の背景画像である。入力画像８１１はオブジェクトが置かれ、静止状態になった時の入力画像である。オブジェクト検出部８０１は、領域検出部１１２が保有する背景画像とは別に、システム起動時の背景画像８１０を保持する。そして静止状態の時に入力画像８１１と背景画像８１０との差分画像８１２を取得し、オブジェクトを検出する。
Here, the state of the object detection processing in step S901 is shown in FIG. The background image 620 is a background image when the system is activated. The
ステップＳ９０１においてオブジェクトの検出が完了したら、ステップＳ３０４で領域検出部１１２が背景画像を入力画像８１１に置き変えて更新する。ただし、オブジェクト検出部８０１が保有するシステム起動時の背景画像８１０は更新しない。
When the detection of the object is completed in step S901, the
変形例３では、ステップＳ３０３において領域検出部１１２が移動領域を検出した後は、図３のステップＳ３０５に替わり、ステップＳ９０２に進む。ステップＳ９０２では、変動検出部１１３が、オブジェクト検出部８０１が検出したオブジェクトの大きさ、位置に基づいて、オブジェクト近傍で移動領域の大きさの時間変動を検出する。
In the third modification, after the
ここで、ステップＳ９０２において実行される、オブジェクト近傍での移動領域の時間変動の検出処理の流れを図１０に示す。 Here, FIG. 10 shows a flow of processing for detecting temporal variation of the moving region in the vicinity of the object, which is executed in step S902.
まずステップＳ７０１において、変動検出部１１３が、領域検出部１１２の検出した移動領域の位置がオブジェクト検出部の検出したオブジェクトの近傍か否かを判断する。移動領域の位置がオブジェクトの近傍であると判定された場合（ステップＳ７０１でＹＥＳ）、ステップＳ７０２に進む。移動領域の位置がオブジェクトの近傍ではないと判定された場合（ステップＳ７０１でＮＯ）、ステップＳ７０６に進み、変動検出部１１３が移動領域の時間変動は小さいと判定してメイン処理にリターンする。ステップＳ７０２では、変動検出部１１３が、オブジェクトの大きさに従い、移動領域の大きさ（面積、輪郭長など）の時間変動の閾値を調整する。このとき、オブジェクトの大きさが大きいほど閾値を大きく調整する。ステップＳ７０３では、変動検出部１１３が、移動領域の大きさの時間変動を検出する。そして、ステップＳ７０４で、変動検出部１１３が、検出した移動領域の時間変動が、オブジェクトの大きさに基づいて調整した閾値以上か否かを判定する。移動領域の時間変動が閾値以上であると判定された場合（ステップＳ７０４でＹＥＳ）、ステップＳ７０５に進み、移動領域の大きさの時間変動が大きいと判定して終了する。移動領域の時間変動が閾値未満であると判定された場合（ステップＳ７０４でＮＯ）、ステップＳ７０６に進み、移動領域の大きさの時間変動が小さいと判定してメイン処理にリターンする。
First, in step S701, the
続くステップＳ３０６では、ステップＳ７０５において移動領域の大きさの時間変動が大きいと判定されたか、ステップＳ７０６において移動領域の大きさの時間変動が小さいと判定されたか、に応じて判定を行う。以降の処理は、第１の実施形態に準じる。 In subsequent step S306, determination is made according to whether it is determined in step S705 that the time variation of the size of the moving region is large or whether it is determined in step S706 that the time variation of the size of the moving region is small. Subsequent processing is in accordance with the first embodiment.
以上のように、変形例３では、操作エリア内に載置されたオブジェクトを検出して、その位置及び大きさに基づいて変動検出部が検出する移動領域の大きさの時間変動の閾値を調整する。これにより、オブジェクトが動いたことによる移動領域の変動をより的確に検出して抑制処理を行い、例えばユーザの人数が増えた（認識対象の数が増えた）場合等、その他の影響によって移動領域の大きさが変動した場合には通常通り操作の検出を行うことができる。また、オブジェクトの大きさに応じて閾値を変えることで、オブジェクトの大きさが異なる場合でも、ユーザの操作を正しく検出する事が可能となる。 As described above, in the third modification, the object placed in the operation area is detected, and the time variation threshold value of the size of the moving region detected by the variation detection unit is adjusted based on the position and size. To do. As a result, a change in the movement area due to the movement of the object is detected more accurately and the suppression process is performed. For example, when the number of users increases (the number of recognition targets increases), the movement area is affected by other influences. When the magnitude of the movement fluctuates, the operation can be detected as usual. Further, by changing the threshold according to the size of the object, it is possible to correctly detect the user operation even when the size of the object is different.
なお、変形例３においても、操作検出を禁止するのではなく、移動領域の大きさが変動する前に検出されていた移動領域に基づいて、指示位置を推定することで、タッチ操作の認識を補助する変形を適応することが可能である。 In the third modification, the operation detection is not prohibited, but the touch position is recognized by estimating the designated position based on the movement area detected before the movement area changes in size. It is possible to adapt the assisting deformation.
＜他の実施形態＞
本発明の目的は前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記録媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することとなり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
<Other embodiments>
An object of the present invention is to supply a recording medium recording a program for realizing the functions of the above-described embodiments to a system or apparatus, and to read and execute the program stored in the recording medium by a computer of the system or apparatus. Achieved. In this case, the program itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program constitutes the present invention.
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。 As a storage medium for supplying the program, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, a DVD, or the like can be used. .
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 In addition, the functions of the above-described embodiments are not only realized by executing the program read by the computer. The operating system (OS) running on the computer performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.
さらに、記憶媒体から読み出されたプログラムが、コンピュータに接続された機能拡張ユニットのメモリに書きこまれた後、その機能拡張ユニットのＣＰＵが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も含まれる。 Further, after the program read from the storage medium is written in the memory of the function expansion unit connected to the computer, the CPU of the function expansion unit performs part or all of the actual processing, and the above-described implementation The case where the function of the form is realized is also included.
１１１ 取得部
１１２ 領域検出部
１１３ 変動検出部
１１４ 特定部
１１５ 位置検出部
１１６ 操作検出部
１１７ 抑制部
１１８ 推定部
DESCRIPTION OF
Claims (15)
撮像部が撮像した入力画像を取得する取得手段と、
前記取得手段によって取得された入力画像から、移動領域を検出する領域検出手段と、
前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される入力される操作を特定する特定手段と、
前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が入力される操作を特定することを抑制する抑制手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus that identifies an operation input by a recognition target,
Acquisition means for acquiring an input image captured by the imaging unit;
Area detecting means for detecting a moving area from the input image acquired by the acquiring means;
Identifying means for recognizing a recognition object based on the moving area and identifying an input operation input by the recognition object;
A suppression unit that suppresses specifying an operation to be input by the specifying unit when the size of the moving area has fluctuated over time from a reference; and
An information processing apparatus comprising:
前記抑制手段は、前記判定手段により、前記移動領域に写る移動物体が、前記認識対象ではないと判定された場合に、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項１に記載の情報処理装置。 A determination unit that determines whether a moving object that appears in the moving area in the input image is the recognition target;
The suppressing means suppresses the specifying means specifying an operation to be input when the determining means determines that the moving object reflected in the moving area is not the recognition target. The information processing apparatus according to claim 1.
前記抑制手段は、前記領域検出手段によって検出された移動領域の大きさが、基準より大きく時間変動した場合、前記位置検出手段による前記指示位置の検出を抑制することで、前記特定手段が、前記認識対象によって入力される前記指示位置に基づく入力される操作を特定することを抑制する
ことを特徴とする請求項１又は２に記載の情報処理装置。 Based on the movement area detected by the area detection means, further comprising a position detection means for detecting an indication position by the recognition target,
When the size of the moving region detected by the region detection unit has changed over time from the reference, the suppression unit suppresses detection of the indicated position by the position detection unit, so that the specification unit The information processing apparatus according to claim 1, wherein an input operation based on the designated position input by a recognition target is suppressed.
前記特定手段は、
前記位置検出手段が検出した指示位置及び前記推定手段が推定した指示位置の少なくともいずれかに基づいて、前記認識対象によって入力される前記指示位置に基づく入力される操作を特定することを特徴とする請求項３に記載の情報処理装置。 When the suppression means suppresses the detection of the indicated position by the position detection means, the estimation means further estimates an indication position by the recognition target,
The specifying means is:
An operation to be input based on the specified position input by the recognition target is specified based on at least one of the specified position detected by the position detecting unit and the specified position estimated by the estimating unit. The information processing apparatus according to claim 3.
前記推定手段は、前記判定手段により、前記移動領域の形状が、人の手が一部の指だけを立てた状態における形状であると判定された場合に、前記認識対象による指示位置を推定することを特徴とする請求項４又は５に記載の情報処理装置。 The determination means determines whether the shape of the moving area detected by the area detection means immediately before the reference time fluctuates larger than the reference is a shape in a state where a person's hand stands only some fingers,
The estimation unit estimates the indication position by the recognition target when the determination unit determines that the shape of the moving region is a shape in a state where a human hand stands only with some fingers. The information processing apparatus according to claim 4, wherein the information processing apparatus is an information processing apparatus.
前記抑制手段は、前記領域検出手段によって検出された移動領域の大きさが、基準より大きく時間変動した場合に、前記判定手段が用いる前記所定の条件をより厳しい条件に変更することによって、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。 The determination unit determines that a moving object that appears in the moving region in the input image is the recognition target when the moving region detected by the region detecting unit satisfies a predetermined condition;
The suppression means changes the predetermined condition used by the determination means to a stricter condition when the size of the moving area detected by the area detection means changes over time more than a reference, thereby specifying the specific condition. The information processing apparatus according to any one of claims 2 to 6, wherein the operation of the input unit is specified.
前記抑制手段は、前記判定手段により、前記移動領域の形状が、前記所定の形状ではないと判定された場合に、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項２乃至７のいずれか１項に記載の情報処理装置。 The determination unit determines whether the shape of the moving region detected by the region detection unit immediately before the time variation is larger than the reference is a predetermined shape;
The suppressing unit suppresses the specifying unit from specifying an input operation when the determining unit determines that the shape of the moving region is not the predetermined shape. The information processing apparatus according to any one of claims 2 to 7.
前記抑制手段は、前記変動検出手段は、前記オブジェクト検出手段が検出したオブジェクトの位置の近傍において、前記移動領域の大きさの時間変動を検出する事を特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。 An object detection unit for detecting an object other than the recognition target included in the input image acquired by the acquisition unit;
9. The suppressor according to claim 1, wherein the variation detector detects a temporal variation in the size of the moving region in the vicinity of the position of the object detected by the object detector. The information processing apparatus according to item 1.
取得手段により、撮像部が撮像した入力画像を取得する取得工程と、
領域検出手段により、前記取得工程で取得された入力画像から、移動領域を検出する領域検出工程と、
特定手段により、前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される入力される操作を特定する特定工程と、
抑制手段により、前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が入力される操作を特定することを抑制する抑制工程と、
を備えることを特徴とする情報処理装置の制御方法。 A method of controlling an information processing apparatus that identifies an operation input by a recognition target,
An acquisition step of acquiring an input image captured by the imaging unit by an acquisition unit;
An area detection step of detecting a moving area from the input image acquired in the acquisition step by the area detection means;
A specifying step of recognizing a recognition target based on the moving area by a specifying unit, and specifying an input operation input by the recognition target;
A suppressing step of suppressing the operation of inputting the specifying unit when the size of the moving area is fluctuated over time by a suppressing unit;
An information processing apparatus control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013151654A JP2015022624A (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, control method thereof, computer program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013151654A JP2015022624A (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, control method thereof, computer program, and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015022624A true JP2015022624A (en) | 2015-02-02 |
Family
ID=52486987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013151654A Pending JP2015022624A (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, control method thereof, computer program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015022624A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017033144A (en) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | Information processing device and control method therefor, program, and storage medium |
| JP2017045407A (en) * | 2015-08-28 | 2017-03-02 | キヤノン株式会社 | Information processor |
| WO2017183280A1 (en) * | 2016-04-21 | 2017-10-26 | シャープ株式会社 | Image recognition device and program |
| US10338690B2 (en) | 2016-07-04 | 2019-07-02 | Fujitsu Limited | Information processing apparatus, interaction method, and recording medium |
| WO2021112234A1 (en) * | 2019-12-06 | 2021-06-10 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021092826A (en) * | 2019-12-06 | 2021-06-17 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021099629A (en) * | 2019-12-20 | 2021-07-01 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021103349A (en) * | 2019-12-24 | 2021-07-15 | 京セラ株式会社 | Information process system, information processing device, and information processing method |
-
2013
- 2013-07-22 JP JP2013151654A patent/JP2015022624A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017033144A (en) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | Information processing device and control method therefor, program, and storage medium |
| JP2017045407A (en) * | 2015-08-28 | 2017-03-02 | キヤノン株式会社 | Information processor |
| WO2017038025A1 (en) * | 2015-08-28 | 2017-03-09 | Canon Kabushiki Kaisha | Imaging apparatus |
| WO2017183280A1 (en) * | 2016-04-21 | 2017-10-26 | シャープ株式会社 | Image recognition device and program |
| US10338690B2 (en) | 2016-07-04 | 2019-07-02 | Fujitsu Limited | Information processing apparatus, interaction method, and recording medium |
| WO2021112234A1 (en) * | 2019-12-06 | 2021-06-10 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021092826A (en) * | 2019-12-06 | 2021-06-17 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP7316203B2 (en) | 2019-12-06 | 2023-07-27 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021099629A (en) * | 2019-12-20 | 2021-07-01 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
| JP2021103349A (en) * | 2019-12-24 | 2021-07-15 | 京セラ株式会社 | Information process system, information processing device, and information processing method |
| JP7381330B2 (en) | 2019-12-24 | 2023-11-15 | 京セラ株式会社 | Information processing system, information processing device, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330304B2 (en) | Information processing apparatus and method for controlling the same | |
| JP2015022624A (en) | Information processing apparatus, control method thereof, computer program, and storage medium | |
| US9756265B2 (en) | Information processing apparatus recognizing certain object in captured image, and method for controlling the same | |
| JP6202942B2 (en) | Information processing apparatus and control method thereof, computer program, and storage medium | |
| US9128526B2 (en) | Operation control device, operation control method, and computer-readable recording medium for distinguishing an intended motion for gesture control | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| US20190258319A1 (en) | Information processing device, information processing method, and program | |
| US10156938B2 (en) | Information processing apparatus, method for controlling the same, and storage medium | |
| JP6410537B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| US9715738B2 (en) | Information processing apparatus recognizing multi-touch operation, control method thereof, and storage medium | |
| US10042426B2 (en) | Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium | |
| JP5486977B2 (en) | Coordinate input device and program | |
| US10126856B2 (en) | Information processing apparatus, control method for information processing apparatus, and storage medium | |
| JP2015108870A (en) | Operation input device, operation input program, and operation input method | |
| JP6555958B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP4901670B2 (en) | Electronic board system | |
| JP6570376B2 (en) | Information processing apparatus, control method therefor, program, and storage medium | |
| JP2017157086A (en) | Display device and method of controlling the same |