JP2015022624A - Information processing apparatus, control method thereof, computer program, and storage medium - Google Patents

Information processing apparatus, control method thereof, computer program, and storage medium Download PDF

Info

Publication number
JP2015022624A
JP2015022624A JP2013151654A JP2013151654A JP2015022624A JP 2015022624 A JP2015022624 A JP 2015022624A JP 2013151654 A JP2013151654 A JP 2013151654A JP 2013151654 A JP2013151654 A JP 2013151654A JP 2015022624 A JP2015022624 A JP 2015022624A
Authority
JP
Japan
Prior art keywords
unit
processing apparatus
information processing
area
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013151654A
Other languages
Japanese (ja)
Inventor
久保山 英生
Hideo Kuboyama
英生 久保山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013151654A priority Critical patent/JP2015022624A/en
Publication of JP2015022624A publication Critical patent/JP2015022624A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce false detection of a user manual operation or a pointing position even in an environment where an object included in an input image is moved by a user operation.SOLUTION: An information processing apparatus for specifying an operation input by a recognition object acquires an input image captured by an imaging unit (S301), detects a moving area from the acquired input image (S303), recognizes the recognition object on the basis of the moving area to specify the operation input by the recognition object (S310), and prevents specifying means from specifying the input operation (S308) when the size of the moving area changes with time greater than a reference (YES in S306).

Description

本発明は、認識対象によって入力される操作を特定する技術に関する。   The present invention relates to a technique for specifying an operation input by a recognition target.

撮像画像からユーザの手領域(ユーザの手が写っている領域)を検出し、その動きや位置に応じてUI(ユーザインターフェース)を操作するジェスチャー認識技術による機器操作が広まりつつある。特許文献1では、背景上に存在するユーザの手を撮像して得られた画像と、上記背景だけを撮像して得られた背景画像との差分を抽出する背景差分法が開示されている。そして、背景差分法によって撮像画像から手領域を検出し、検出した手領域の形状もしくは動きから、入力される操作を特定している。   Device operation based on gesture recognition technology that detects a user's hand area (an area in which a user's hand is shown) from a captured image and operates a UI (user interface) according to the movement and position of the user's hand area is becoming widespread. Patent Document 1 discloses a background difference method that extracts a difference between an image obtained by imaging a user's hand existing on the background and a background image obtained by imaging only the background. Then, the hand region is detected from the captured image by the background subtraction method, and the input operation is specified from the shape or movement of the detected hand region.

特開2009−104297号公報JP 2009-104297 A

特許文献1のように、背景差分法によって移動領域(撮像画像のうち移動する物体が写っている領域)を手領域として検出する場合、手以外のオブジェクトを移動領域から除く処理が必要である。例えば、ユーザが操作を行う操作エリアにドキュメント等のオブジェクトを置く場合、手領域と共にオブジェクトが置かれた領域も、背景差分法では移動領域として検出されてしまう。そこで、背景差分法に用いる背景画像を、オブジェクトが置かれた状態の画像に更新することで、差分として手領域を抽出することができるようになる。背景の更新は、一定時間、入力画像に変化がない、つまり手が含まれず、オブジェクトが静止していることを確認してから行う場合が多い。   As in Patent Document 1, when a moving area (an area in which a moving object is captured in a captured image) is detected as a hand area by the background subtraction method, processing for removing objects other than the hand from the moving area is necessary. For example, when an object such as a document is placed in an operation area where the user performs an operation, an area where the object is placed together with the hand area is also detected as a moving area by the background subtraction method. Therefore, by updating the background image used for the background difference method to an image in which an object is placed, a hand region can be extracted as a difference. In many cases, the background is updated after confirming that the input image has not changed for a certain period of time, that is, the hand is not included and the object is stationary.

しかしながら前述のような背景更新を行っても、操作エリア内のオブジェクトが、ユーザの手の動きから影響を受けて動いたその時刻には、手領域と動いたオブジェクトの領域が共に移動領域として検出されてしまう。特に、ユーザの手がオブジェクトに触れた場合は、手とオブジェクトが一つの移動領域として検出されてしまう場合がある。この場合、手とオブジェクトが混同され、ユーザがタッチしたつもりの無い位置がタッチ位置として誤検出される可能性がある。このように、ユーザの手によって行われた操作の内容や指示位置を特定する事が困難となる。これは、ユーザが手ではなくスタイラスや差し棒などの操作器具が、入力される操作を特定するために認識すべき認識対象に当たる場合でも同様である。   However, even if background update as described above is performed, both the hand area and the area of the moved object are detected as moving areas at the time when the object in the operation area is affected by the movement of the user's hand. It will be. In particular, when the user's hand touches the object, the hand and the object may be detected as one moving area. In this case, a hand and an object are confused, and a position that the user does not intend to touch may be erroneously detected as a touch position. As described above, it is difficult to specify the content of the operation performed by the user's hand and the designated position. This is the same even when the user is not a hand but an operating instrument such as a stylus or a pointing stick is a recognition target to be recognized in order to specify an input operation.

本発明は上記の問題点に鑑みてなされたものであり、ユーザの操作によって入力画像に含まれるオブジェクトが動かされる環境においても、認識対象による操作や指示位置の誤検出を低減することを主な目的とする。   The present invention has been made in view of the above-described problems, and mainly aims to reduce erroneous detection of an operation by a recognition target and an indicated position even in an environment in which an object included in an input image is moved by a user operation. Objective.

以上の目的を達するために、本発明は、
認識対象によって操作を特定する情報処理装置であって、撮像部が撮像した入力画像を取得する取得手段と、前記取得手段によって取得された入力画像から、移動領域を検出する領域検出手段と、前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される操作を特定する特定手段と、前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が操作を特定することを抑制する抑制手段と、備えることを特徴とする。
In order to achieve the above object, the present invention provides:
An information processing apparatus that identifies an operation according to a recognition target, an acquisition unit that acquires an input image captured by an imaging unit, an area detection unit that detects a moving region from the input image acquired by the acquisition unit, Identifying means for recognizing a recognition object based on a moving area, specifying an operation input by the recognition object, and the specifying means specifying an operation when the size of the moving area changes more than a reference over time And suppressing means for suppressing the operation.

本発明は上記の問題点に鑑みてなされたものであり、ユーザの操作によって入力画像に含まれるオブジェクトが動かされる環境においても、認識対象による操作や指示位置の誤検出を低減することができる。   The present invention has been made in view of the above-described problems, and can reduce the erroneous detection of the operation by the recognition target and the designated position even in the environment where the object included in the input image is moved by the user's operation.

情報処理装置のハードウェア構成及び機能構成の一例を示す図The figure which shows an example of the hardware constitutions of an information processing apparatus, and a function structure 情報処理装置の代表的な設置例を示す図A diagram showing a typical installation example of an information processing device 情報処理装置が入力される操作を特定する処理の流れの変形例を表すフローチャートThe flowchart showing the modification of the flow of the process which specifies operation which information processing apparatus inputs 背景差分法による移動領域検出処理の各段階で得られる画像の一例を示す図The figure which shows an example of the image obtained in each step of the movement area detection process by a background difference method 情報処理装置が入力される操作を特定する処理の流れを表すフローチャートA flowchart showing a flow of processing for specifying an operation input by the information processing apparatus 移動領域に基づいて検出あるいは推定される指示位置の一例を示す図The figure which shows an example of the indication position detected or estimated based on a movement area | region 情報処理装置が入力される操作を特定する処理の流れの変形例を表すフローチャートThe flowchart showing the modification of the flow of the process which specifies operation which information processing apparatus inputs オブジェクトを検出する変形例における機能構成と、検出されるオブジェクトの一例を示す図The figure which shows an example of the function structure in the modification which detects an object, and the detected object 情報処理装置が入力される操作を特定する処理の流れの変形例を表すフローチャートThe flowchart showing the modification of the flow of the process which specifies operation which information processing apparatus inputs 情報処理装置がオブジェクトの近傍における移動領域の変動の大きさを判定する処理の流れを表すフローチャートThe flowchart showing the flow of processing in which the information processing apparatus determines the magnitude of fluctuation of the moving region in the vicinity of the object

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。   Embodiments according to the present invention will be described below in detail with reference to the accompanying drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.

<第1の実施形態>
図1(a)は、本発明における情報処理装置100のハードウェア構成図である。同図において、CPU(中央処理装置)101は、情報処理装置100の制御プログラムを実行して各種処理のための演算や論理判断などを行い、システムバス109に接続された各構成要素を制御する。ROM102は、プログラムメモリであって、後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。RAM103は、CPU101のワークエリア、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを提供するために用いられる。記憶装置104は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクや接続された外部記憶装置などであり、情報処理装置100が利用する各種データを格納する。可視光カメラ105は、本実施形態では操作エリアを上から撮像するように設置され、主に操作エリアに載置されたドキュメントに対する書画カメラの役割を果たす。具体的には、操作面に載置された紙媒体や立体物等、認識対象以外のオブジェクトの、カメラに向けられた面を可視光撮影し、その撮像画像を取得する。この際、撮像画像に含まれる読み取り対象物以外の部分を除いた画像が生成され、読み取り画像として記憶装置104に記憶される。赤外光カメラ106は、赤外光発光装置107から発光された赤外光が操作エリアで反射された反射光を撮像し、赤外光の輝度値によって構成される画像を取得する撮像部である。赤外光発光装置107は、操作エリアへ発光する。表示装置108は、UIや情報などの画像を表示するためのディスプレイ、プロジェクタ等のである。本実施形態では、液晶プロジェクタが表示装置108として用いられる。
<First Embodiment>
FIG. 1A is a hardware configuration diagram of the information processing apparatus 100 according to the present invention. In FIG. 1, a CPU (central processing unit) 101 executes a control program of the information processing apparatus 100, performs calculations and logic determinations for various processes, and controls each component connected to the system bus 109. . The ROM 102 is a program memory and stores a program for control by the CPU including various processing procedures to be described later. The RAM 103 is used to provide a work area for the CPU 101, a data save area for error processing, a load area for the control program, and the like. The storage device 104 is a hard disk or a connected external storage device for storing data and programs according to the present embodiment, and stores various data used by the information processing device 100. In this embodiment, the visible light camera 105 is installed so as to capture an image of the operation area from above, and mainly serves as a document camera for a document placed in the operation area. Specifically, the surface of the object other than the recognition target, such as a paper medium or a three-dimensional object placed on the operation surface, facing the camera is photographed with visible light, and the captured image is acquired. At this time, an image excluding a portion other than the reading target included in the captured image is generated and stored in the storage device 104 as a read image. The infrared camera 106 is an imaging unit that captures reflected light obtained by reflecting the infrared light emitted from the infrared light emitting device 107 in the operation area, and acquires an image constituted by the luminance value of the infrared light. is there. The infrared light emitting device 107 emits light to the operation area. The display device 108 is a display, a projector, or the like for displaying an image such as a UI or information. In the present embodiment, a liquid crystal projector is used as the display device 108.

なお、本実施形態において、可視光カメラ105、赤外カメラ106、赤外光発光装置107、表示装置108はそれぞれ情報処理装置100に入出力用のインタフェース110を介して接続された外部装置である。ただし、これらは情報処理装置100に一体化されていても構わない。   In this embodiment, the visible light camera 105, the infrared camera 106, the infrared light emitting device 107, and the display device 108 are external devices connected to the information processing apparatus 100 via the input / output interface 110, respectively. . However, these may be integrated in the information processing apparatus 100.

図1(b)は、本発明の一実施形態における情報処理装置の機能構成を表す図である。これらの各機能部は、CPU101が、ROM102に格納されたプログラムをRAM103に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、上記CPU101を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。   FIG. 1B is a diagram illustrating a functional configuration of the information processing apparatus according to the embodiment of the present invention. Each of these functional units is realized by the CPU 101 developing a program stored in the ROM 102 in the RAM 103 and executing processing according to each flowchart described later. Further, for example, when hardware is configured as an alternative to software processing using the CPU 101, arithmetic units and circuits corresponding to the processing of each functional unit described here may be configured.

取得部111は、赤外カメラ106によって撮像された入力画像を取得する。領域検出部112は、取得部111が取得した画像から、背景差分法により移動領域(移動する物体が写っている領域)を検出する。   The acquisition unit 111 acquires an input image captured by the infrared camera 106. The region detection unit 112 detects a moving region (a region in which a moving object is shown) from the image acquired by the acquisition unit 111 by a background subtraction method.

変動検出部113は、領域検出部112で検出された移動領域の大きさのある時間における時間変動を検出する。本実施形態では、取得部111によって最後に取得された最新の入力画像から検出された移動領域と、直前に取得された1つ前のフレームに相当する入力画像から検出された移動領域の大きさの差分を取得する。このように本実施形態では、時間変動を検出するある時間とは、赤外カメラ106の取得画像のフレーム間隔に等しい。ただし、1つ前のフレームではなく、所定時間の前の入力画像から抽出された移動領域との差分を、当該所定時間における移動領域の時間変動として検出してもよい。   The fluctuation detection unit 113 detects temporal fluctuations in a certain amount of time of the moving area detected by the area detection unit 112. In the present embodiment, the size of the movement area detected from the latest input image last acquired by the acquisition unit 111 and the movement area detected from the input image corresponding to the immediately previous frame acquired immediately before. To get the difference. As described above, in the present embodiment, the certain time for detecting the time variation is equal to the frame interval of the acquired image of the infrared camera 106. However, instead of the previous frame, the difference from the moving area extracted from the input image before the predetermined time may be detected as the time variation of the moving area at the predetermined time.

判定部114は、変動検出部113が検出した変動が、基準よりも大きいか否かを判定する。また、領域検出部112で検出された移動領域が認識対象か否かを判定する。   The determination unit 114 determines whether or not the variation detected by the variation detection unit 113 is greater than a reference. Further, it is determined whether or not the moving area detected by the area detecting unit 112 is a recognition target.

位置検出部115は、判定部114が、領域検出部112で検出された移動領域は認識対象である判定した場合に、当該認識対象による指示位置を検出する。なお、本実施形態では、認識対象は、操作に用いられるユーザの手であり、指示位置は、手の指先の位置である。情報処理装置100は、指示位置の三次元的な位置情報を検出し、検出した指示位置が操作面に接触する高さである場合には、当該指示位置がタッチされたとして入力操作はタッチ操作と特定する。ただし、例えば、差し棒やスタイラスペンのような操作器具を認識対象とし、指示位置をその操作器具の先端としても構わない。以降この明細書では、指先の指示位置に基づいて特定される操作は、タッチ操作であるとして説明する。ただし、本発明はタッチ操作が入力される場合に限らず、例えば、指先で特定の方向を示す指さし操作や、指先で空間に所定の図形を描くようなジェスチャー操作を特定する場合にも適応可能である。   When the determination unit 114 determines that the moving region detected by the region detection unit 112 is a recognition target, the position detection unit 115 detects the indicated position by the recognition target. In this embodiment, the recognition target is the user's hand used for the operation, and the designated position is the position of the fingertip of the hand. The information processing apparatus 100 detects the three-dimensional position information of the designated position, and when the detected designated position is at a height at which it touches the operation surface, the input operation is performed as a touch operation assuming that the designated position is touched. Is specified. However, for example, an operation tool such as a insertion rod or a stylus pen may be a recognition target, and the designated position may be the tip of the operation tool. Hereinafter, in this specification, the operation specified based on the designated position of the fingertip will be described as a touch operation. However, the present invention is not limited to a case where a touch operation is input, and can be applied to, for example, a pointing operation indicating a specific direction with a fingertip or a gesture operation for drawing a predetermined figure in a space with the fingertip. It is.

本実施形態では、位置検出部115は、検出された移動領域を構成する点のうち、赤外カメラ106の撮像範囲の境界線と交わる位置から最も遠い点を指先位置(座標)として検出する。ここで例えば、移動領域に写る移動物体が認識対象ではなく、オブジェクトの一部を含んでいたとすると、位置検出部115が検出する指示位置は、ユーザの指先とは限らず、例えばオブジェクトの先端部分である場合が生じてしまう。このとき、検出された指示位置に一致する操作面上の位置に、タッチ操作によって何かしらの装置へのコマンドが発生するようなGUIオブジェクトが表示されていれば、オブジェクトの先端部が操作面に接していることに基づいて、タッチ操作が特定される。これは、ユーザの意図に反した誤動作の原因となる。従って、本実施形態では、判定部114が、領域検出部112で検出された移動領域は認識対象である判定した場合に、当該認識対象による指示位置を検出している。   In the present embodiment, the position detection unit 115 detects, as the fingertip position (coordinates), the point farthest from the position that intersects the boundary line of the imaging range of the infrared camera 106 among the points constituting the detected moving region. Here, for example, if the moving object that appears in the moving area is not a recognition target and includes a part of the object, the indicated position detected by the position detection unit 115 is not limited to the fingertip of the user, for example, the tip of the object The case where it is a part will arise. At this time, if a GUI object that causes a command to some device to be generated by a touch operation is displayed at a position on the operation surface that matches the detected indication position, the tip of the object touches the operation surface. The touch operation is specified based on This causes a malfunction that is contrary to the user's intention. Therefore, in the present embodiment, when the determination unit 114 determines that the moving region detected by the region detection unit 112 is a recognition target, the determination unit 114 detects the indicated position by the recognition target.

特定部116は、認識対象によるUIへのタッチ等の選択やスワイプジェスチャ等の操作を特定する。表示装置108における表示内容を制御する表示制御部119と連携し、UIの表示位置情報等を取得して、タッチ操作においてタッチされたオブジェクトや、スワイプジェスチャの対象となるオブジェクトを特定する。また、特定した操作のフィードバックするための情報を表示制御部119に伝える。   The identifying unit 116 identifies an operation such as a selection of a touch on the UI by a recognition target or a swipe gesture. In cooperation with the display control unit 119 that controls display content on the display device 108, UI display position information and the like are acquired, and an object touched by a touch operation or an object to be a swipe gesture is specified. In addition, information for feeding back the identified operation is transmitted to the display control unit 119.

抑制部117は、判定部114が、領域検出部112で検出された移動領域は認識対象ではないと判定した場合に、移動領域に基づいて指示位置の検出を行う位置検出部115の処理を抑制する。推定部118は、抑制部117が位置検出部115の指示位置の検出を抑制した場合に、認識対象による指示位置を推定する。   When the determination unit 114 determines that the moving region detected by the region detection unit 112 is not a recognition target, the suppression unit 117 suppresses the processing of the position detection unit 115 that detects the indicated position based on the movement region. To do. The estimation unit 118 estimates the designated position by the recognition target when the suppressing unit 117 suppresses the detection of the designated position by the position detecting unit 115.

図2は、本実施形態における情報処理装置100の代表的な設置例である。操作面201は、プロジェクタである表示装置108によって画像が投影されるスクリーンと、操作が行われるオブジェクト202が載置される操作ステージを兼ねている。表示装置108がプロジェクタではない場合には、例えば操作面201がディスプレイであってもよい。可視光カメラ105は操作面201に置かれたドキュメント等のオブジェクト202の内容を画像データとして取得するのに用いる。ユーザは表示装置108によって操作面201に投影された画像に対してタッチ、スワイプ等の操作を行う。ここで、可視光カメラ105でユーザの手の領域を肌色検出等の処理で取得すると、表示装置108によって投影される画像がユーザの手にも投影されて手の色を変えてしまい、正しく肌色領域として手を検出できない場合がある。そこで本実施形態では、赤外光発光装置107によって操作エリアに赤外光を発光し、その反射光を赤外カメラ106で取得する。赤外カメラ106で取得する画像は表示装置108の投影する画像に影響を受けない。そこで取得部111は赤外カメラ106の画像を取得する。ただし赤外カメラ106の画像は手の肌色情報等は含まれないモノクロ画像であるため、領域検出部112は背景差分法やフレーム間差分等の方法で移動領域を検出する手法を採用する。ただし、本発明はこれに限るものではなく、例えば取得部111は可視光カメラ105で取得する画像を入力して処理してもよい。あるいは赤外線の反射時間や照射パターンの変形などから測定する距離画像を撮影する距離画像カメラを用いてもよい。   FIG. 2 is a typical installation example of the information processing apparatus 100 in the present embodiment. The operation surface 201 serves as both a screen on which an image is projected by the display device 108 as a projector and an operation stage on which an object 202 to be operated is placed. When the display device 108 is not a projector, for example, the operation surface 201 may be a display. The visible light camera 105 is used to acquire the contents of an object 202 such as a document placed on the operation surface 201 as image data. The user performs operations such as touch and swipe on the image projected on the operation surface 201 by the display device 108. Here, when the region of the user's hand is acquired by processing such as skin color detection with the visible light camera 105, the image projected by the display device 108 is also projected onto the user's hand and the color of the hand is changed. A hand may not be detected as a region. Therefore, in the present embodiment, infrared light is emitted to the operation area by the infrared light emitting device 107 and the reflected light is acquired by the infrared camera 106. The image acquired by the infrared camera 106 is not affected by the image projected by the display device 108. Therefore, the acquisition unit 111 acquires an image of the infrared camera 106. However, since the image of the infrared camera 106 is a monochrome image that does not include skin color information or the like of the hand, the region detection unit 112 employs a method of detecting a moving region by a method such as a background difference method or a difference between frames. However, the present invention is not limited to this. For example, the acquisition unit 111 may input and process an image acquired by the visible light camera 105. Or you may use the distance image camera which image | photographs the distance image measured from the reflection time of infrared rays, a deformation | transformation of an irradiation pattern, etc.

図3は、本実施形態における情報処理装置の処理の流れを表すフローチャートである。同図を用いてそれぞれの処理を説明する。本実施形態では、情報処理装置が起動され、赤外カメラ106が画像の取得を開始したことに応じて、図3のフローチャートの処理が開始されるものとする。   FIG. 3 is a flowchart showing the flow of processing of the information processing apparatus in the present embodiment. Each process will be described with reference to FIG. In the present embodiment, it is assumed that the processing of the flowchart of FIG. 3 is started in response to the activation of the information processing apparatus and the infrared camera 106 starting to acquire an image.

まずステップS301で、取得部111が赤外カメラ106によって撮像された入力画像を取得する。なお、ステップS301で取得部111が取得する画像は、赤外カメラ106によって周期的に撮像されている。従って、図3のフローチャートの処理は、撮像周期に応じて繰り返される。取得部111が入力画像を取得する周期は、赤外カメラ106が撮像する映像の予め定められたフレーム数毎でもよいし、一定時間毎であっても構わない。   First, in step S301, the acquisition unit 111 acquires an input image captured by the infrared camera 106. Note that the image acquired by the acquisition unit 111 in step S301 is periodically captured by the infrared camera 106. Therefore, the process of the flowchart of FIG. 3 is repeated according to the imaging cycle. The period at which the acquisition unit 111 acquires the input image may be every predetermined number of frames of video captured by the infrared camera 106 or every fixed time.

次にステップS302で領域検出部112が、入力画像に基づいて操作エリア内が静止状態か否かを判定する。操作エリア内が静止状態か否かは、最新の入力画像と、直前に取得された入力画像との時間差分(フレーム間差分)として大きな変化が検出されるか否かによって判定される。操作エリア内が静止状態ではないと判定された場合(ステップS302でNO)はステップS303へ進み、静止状態であると判定された場合(ステップS302でYES)はステップS304へ進む。   In step S302, the region detection unit 112 determines whether the operation area is in a stationary state based on the input image. Whether or not the operation area is in a stationary state is determined by whether or not a large change is detected as a time difference (interframe difference) between the latest input image and the input image acquired immediately before. If it is determined that the operation area is not stationary (NO in step S302), the process proceeds to step S303. If it is determined that the operation area is stationary (YES in step S302), the process proceeds to step S304.

ステップS303では、領域検出部112が、ステップS301で取得された入力画像に含まれる移動領域を検出する。本実施形態では移動領域を、背景差分法により検出する。一方で、ステップS304では、領域検出部112が、移動体の検出に用いる背景画像を、最新の入力画像に置き変えることで更新する。   In step S303, the area detection unit 112 detects a moving area included in the input image acquired in step S301. In the present embodiment, the moving area is detected by the background difference method. On the other hand, in step S304, the area detection unit 112 updates the background image used for detection of the moving object by replacing it with the latest input image.

ここで、背景差分法による移動領域検出処理の各段階を、図4を用いて説明する。図4において、背景画像400は、ある時点で領域検出部112が保持する背景画像である。本実施形態では、電源投入直後の初期状態の情報処理装置100では、背景画像として、予めオブジェクト202が載置されていない状態の操作エリアを撮像した画像がひとつ保有されている。そして、ステップS302で操作エリア内が静止状態であると判定されると、ステップS304において、領域検出部112が背景画像を、最新の入力画像に更新する。オブジェクト202は、この例では操作面201に置かれた紙媒体のドキュメントであるとする。背景画像400は、オブジェクト202が操作面201に置かれた後、ステップS302において、操作エリア内が静止状態であると判定されることで、ステップS304において、更新された背景画像である。従って、オブジェクト202が画像に含まれている。   Here, each stage of the moving area detection process by the background subtraction method will be described with reference to FIG. In FIG. 4, a background image 400 is a background image held by the area detection unit 112 at a certain time. In this embodiment, the information processing apparatus 100 in an initial state immediately after power-on has one image obtained by capturing an operation area in a state where the object 202 is not placed in advance as a background image. If it is determined in step S302 that the operation area is in a stationary state, the region detection unit 112 updates the background image to the latest input image in step S304. In this example, it is assumed that the object 202 is a paper medium document placed on the operation surface 201. The background image 400 is the background image updated in step S304 when it is determined in step S302 that the operation area is stationary after the object 202 is placed on the operation surface 201. Therefore, the object 202 is included in the image.

次に、画像401は、認識対象であるユーザの手が含まれていない時刻に赤外カメラ106により撮像された入力画像である。画像402は、画像401と背景画像400との差分画像であり、入力画像401に移動体が含まれないため、移動領域は検出されない。一方で、画像403は、認識対象である手が操作エリア内にある時に撮像された入力画像である。画像404は、画像403と背景画像400との差分画像であり、操作エリア内に差し込まれた手が写る手領域が、移動領域として検出されている。一方、画像405は手がオブジェクト202を掴み、少し動かした時に撮像された入力画像である。これに対して画像406は、画像405と背景画像400との差分画像である。画像406では、手領域以外にオブジェクト202の一部が移動領域として検出されている。さらに、画像407は手がオブジェクト202を掴みさらに動かした時の入力画像である。これに対して画像408は、画像407と背景画像400との差分画像であり、手領域以外にオブジェクト202及びオブジェクト202が背景画像400にあった領域が移動領域として検出されている。また、画像409は、オブジェクト202上に表示装置108から投影されたUIをタッチ操作する時の入力画像であり、オブジェクト202に触れることでオブジェクト202が少し動いている。これに対して画像410は、画像409と背景画像400との差分画像であり、手領域以外にオブジェクト202の一部が移動領域として検出されている。また、画像411は、操作面201上でスワイプなどのジェスチャー操作をする際に、手がオブジェクト202に触れたり、手の移動による風にあおられてオブジェクト202が動いたりする場合の入力画像である。これに対して画像412は、画像411と背景画像400との差分画像であり、手領域以外にオブジェクト202の一部が移動領域として検出されている。以上の例では、背景差分法により、画像402、画像404、画像406、画像408、画像410、画像412のように、移動領域が検出される。ステップS303では、このように、入力画像から移動領域を検出し、RAM103に移動領域の情報を保持する。   Next, the image 401 is an input image captured by the infrared camera 106 at a time when the user's hand that is a recognition target is not included. The image 402 is a difference image between the image 401 and the background image 400, and the moving area is not detected since the moving object is not included in the input image 401. On the other hand, the image 403 is an input image captured when the hand to be recognized is in the operation area. The image 404 is a difference image between the image 403 and the background image 400, and a hand region in which a hand inserted into the operation area is shown as a moving region. On the other hand, an image 405 is an input image captured when the hand grabs the object 202 and slightly moves it. On the other hand, the image 406 is a difference image between the image 405 and the background image 400. In the image 406, a part of the object 202 is detected as a moving area other than the hand area. Further, an image 407 is an input image when the hand grabs the object 202 and further moves it. On the other hand, the image 408 is a difference image between the image 407 and the background image 400, and an area where the object 202 and the object 202 are in the background image 400 is detected as a moving area in addition to the hand area. An image 409 is an input image when a UI projected on the object 202 from the display device 108 is touched, and the object 202 slightly moves when the object 202 is touched. On the other hand, the image 410 is a difference image between the image 409 and the background image 400, and a part of the object 202 is detected as a moving area in addition to the hand area. Further, the image 411 is an input image when the hand touches the object 202 or the object 202 moves by being touched by wind due to movement of the hand when performing a gesture operation such as swipe on the operation surface 201. . On the other hand, the image 412 is a difference image between the image 411 and the background image 400, and a part of the object 202 is detected as a moving area other than the hand area. In the above example, the moving area is detected as the image 402, the image 404, the image 406, the image 408, the image 410, and the image 412 by the background subtraction method. In step S <b> 303, the moving area is detected from the input image as described above, and the moving area information is held in the RAM 103.

ステップS303で領域検出部112が移動領域を検出すると、次にステップS305において、変動検出部113が移動領域の大きさの変動を検出する。大きさの変動は、RAM103に保持された情報を基に、今回のステップS303の処理で検出された移動領域の情報と、その前にステップS303の処理が実行されたときに検出された移動領域の時間変動として検出される。検出する大きさの変動を比較するための指標(単位)は、移動領域の面積でも、移動領域の輪郭線長などでもよい。本実施形態では、面積を比較するものとする。前回の処理で検出された移動領域の大きさと、今回の処理で検出された移動領域の大きさとの差分を時間変動として算出(検出)する。   When the region detection unit 112 detects the moving region in step S303, next, in step S305, the variation detection unit 113 detects a variation in the size of the moving region. The variation in size is based on the information held in the RAM 103, and information on the moving area detected in the current processing in step S303 and the moving area detected when the processing in step S303 was executed before that. It is detected as a time fluctuation. The index (unit) for comparing the size variation to be detected may be the area of the moving region, the contour line length of the moving region, or the like. In this embodiment, the areas are compared. The difference between the size of the moving area detected in the previous process and the size of the moving area detected in the current process is calculated (detected) as a time variation.

そして、ステップS306において、判定部114が、ステップS305で検出されたフレーム間での時間変動が、予め定められた閾値より大きいかを判定する。すなわち、移動領域の大きさが、基準より大きく時間変動したかを判定する。時間変動が大きい場合は、手がオブジェクトを触るなどして手以外のものまでが一緒に移動物体として検出された可能性が高い。この場合には、指示位置の誤検出が生じやすいため、指示位置の検出を抑制する必要がある。ここで予め定められた閾値とは、移動領域の大きさの時間変動が、手領域の大きさが変化していないとみなせる程度の小さい変動であるか、そうとはみなせないほど大きい変動かを区別するために用いられる閾値である。例えば、連続して取得された入力画像(連続するフレーム)から得られる移動領域が、図4の画像404から画像406のように変化した場合、移動領域は、手領域の大きさが変化していないとはみなせないほど、時間変動は大きいと判定される。時間変動が予め定められた閾値より大きいと判定された場合(ステップS306でYES)はステップS307に進み、時間変動が予め定められた閾値より大きくないと判定された場合(ステップS306でNO)はステップS307に進む。   In step S306, the determination unit 114 determines whether the time variation between frames detected in step S305 is greater than a predetermined threshold. That is, it is determined whether the size of the moving region has changed over time from the reference. If the time variation is large, it is highly possible that anything other than the hand is detected as a moving object by touching the object. In this case, since the erroneous detection of the designated position is likely to occur, it is necessary to suppress the detection of the designated position. Here, the predetermined threshold value indicates whether the time variation of the size of the moving region is a small variation that can be regarded as a change in the size of the hand region or a variation that is so large that it cannot be regarded as such. It is a threshold value used for distinction. For example, when the moving area obtained from continuously acquired input images (continuous frames) changes from the image 404 in FIG. 4 to the image 406, the size of the hand area changes in the moving area. It is determined that the time variation is so large that it cannot be regarded as nonexistent. If it is determined that the time variation is greater than the predetermined threshold (YES in step S306), the process proceeds to step S307, and if it is determined that the time variation is not greater than the predetermined threshold (NO in step S306). The process proceeds to step S307.

ステップS307では、判定部114が、検出された移動領域に写る移動物体が認識対象であるか否かを判定する。つまり、認識対象による指示位置を特定する処理を行うことが可能か認識対象を確認する。ここで、移動物体が認識対象であるとは、移動物体が認識対象であるユーザの手のみであり、それ以外のオブジェクトを含まないとみなせる、ということを意味する。手以外のオブジェクトが移動物体に含まれる場合は、指示位置の誤検出が生じやすくなるため、指示位置の検出を抑制する必要がある。本実施形態では、検出された物体領域の大きさと縦横比が所定の条件を満たす場合に、移動領域に写る移動物体が認識対象である、すなわち移動領域が人の手の形状であるとみなせると判定する。ただし、本実施形態において採用可能な、移動領域に写る移動物体が認識対象であるかを判定する方法は、この方法に限らない。例えば、予め記憶装置104に記憶された認識対象のモデルと、移動領域の輪郭の形状をマッチングする処理などを利用することができる。この場合、移動領域とモデルとのマッチングの尤度が所定の閾値以上である場合に、移動領域に写る物体が認識対象であると判定される。また例えば、図4の画像408のように、入力画像の4辺と接しないような移動領域が検出されていた場合、その領域が認識対象(手)ではないと明確に判定することができる。従って、上述したような判定処理を行う前に、前処理としてこのような判断を行うことで、計算量を削減することもできる。検出された移動領域に写る移動物体が認識対象であると判定された場合(ステップS307でYES)はステップS309に進み、検出された移動領域に写る移動物体が認識対象ではないと判定された場合(ステップS307でNO)はステップS308に進む。   In step S307, the determination unit 114 determines whether or not the moving object that appears in the detected moving area is a recognition target. In other words, the recognition target is confirmed to be able to perform the process of specifying the designated position by the recognition target. Here, the moving object being a recognition target means that the moving object is only the user's hand that is the recognition target and can be regarded as not including any other object. When an object other than a hand is included in the moving object, it is easy to cause erroneous detection of the designated position, so it is necessary to suppress detection of the designated position. In the present embodiment, when the size and aspect ratio of the detected object area satisfy predetermined conditions, the moving object shown in the moving area is a recognition target, that is, the moving area can be regarded as the shape of a human hand. judge. However, a method that can be adopted in the present embodiment to determine whether or not a moving object that appears in a moving region is a recognition target is not limited to this method. For example, it is possible to use a process for matching the recognition target model stored in the storage device 104 in advance with the contour shape of the moving region. In this case, when the likelihood of matching between the moving area and the model is greater than or equal to a predetermined threshold, it is determined that the object appearing in the moving area is the recognition target. Also, for example, when a moving area that does not contact the four sides of the input image is detected as in the image 408 of FIG. 4, it can be clearly determined that the area is not a recognition target (hand). Therefore, the calculation amount can be reduced by performing such a determination as a pre-process before performing the determination process as described above. If it is determined that the moving object that appears in the detected moving area is the recognition target (YES in step S307), the process proceeds to step S309, and the moving object that appears in the detected moving area is determined not to be the recognition target. (NO in step S307), the process proceeds to step S308.

ステップS308では、抑制部117が、特定部116による操作の認識を抑制する。同時に、位置検出部115による指示位置の検出を抑制する。これにより、ステップS308の処理の実行後は、移動物体が操作面201に接触したとしても、認識対象による入力がタッチ操作であるとは特定されない。また、移動領域の移動が検出されても、スワイプなどのジェスチャー操作であるとは特定されない。ただし、本実施形態では、抑制部117による抑制が継続されるのは、以下のいずれかの時点までとする。それは、操作エリアで現在の処理対象となっている移動領域が検出されなくなった時点、または、オブジェクトが静止するなどしたことにより移動物体がユーザの手のみになった時点である。つまり、抑制部117は、次にステップS302でYESの判定がなされた時点、あるいはステップS307のYESの判定がなされた時点で、操作の認識及び指示位置検出の抑制を解除する。   In step S <b> 308, the suppressing unit 117 suppresses the recognition of the operation by the specifying unit 116. At the same time, the detection of the designated position by the position detection unit 115 is suppressed. Thereby, after the process of step S308, even if a moving object contacts the operation surface 201, it is not specified that the input by the recognition target is a touch operation. Further, even if the movement of the movement area is detected, it is not specified that the gesture operation is a swipe or the like. However, in the present embodiment, the suppression by the suppression unit 117 is continued until one of the following points. That is, when the moving area that is the current processing target is no longer detected in the operation area, or when the moving object becomes only the user's hand because the object is stationary. That is, the suppression unit 117 cancels the suppression of the operation recognition and the instruction position detection when the determination of YES is made in step S302 or when the determination of YES in step S307 is made.

このように本実施形態では、ある条件下において、オブジェクトが手の一部であると誤認識されてしまう可能性のあるあらゆる操作に関して、その誤検出を回避することを目的とし、全ての操作の認識を抑制する。なお、スワイプなどジェスチャー操作は、ある程度の期間の中で認識対象が所定の動きを継続することを条件として特定されることが多いのに対し、手の動きの影響を受けて載置されたオブジェクトが動いてしまう現象は、極短時間に起きることが多い。従って、本実施形態において、変動した移動領域によってジェスチャー操作が誤って特定される可能性は低いため、必ずしもジェスチャー操作の検出は抑制せずともよい場合もある。一方で、タッチ操作の検出は、検出された指示位置が、極短時間の間に所定の条件を満たすか否かによって検出される。従って、本実施形態では、少なくともタッチ操作の検出を抑制することで、オブジェクトが誤って手の一部と認識されてしまう短時間の間に生じる可能性がある誤検出を低減する。   As described above, in the present embodiment, with respect to any operation that may be erroneously recognized as an object that is a part of the hand under a certain condition, the object is to avoid the erroneous detection. Suppress recognition. Note that gesture operations such as swipe are often specified on the condition that the recognition target continues a predetermined movement within a certain period of time, whereas an object placed under the influence of hand movement The phenomenon of moving often occurs in a very short time. Therefore, in the present embodiment, since there is a low possibility that the gesture operation is erroneously specified by the changed moving area, the detection of the gesture operation may not necessarily be suppressed. On the other hand, the detection of the touch operation is detected based on whether or not the detected indication position satisfies a predetermined condition in a very short time. Therefore, in this embodiment, by suppressing at least detection of a touch operation, erroneous detection that may occur in a short time during which an object is erroneously recognized as a part of a hand is reduced.

ステップS309では、位置検出部115が、検出されている移動領域に基づいて、認識対象による指示位置を検出する。本実施形態では、指示位置として、認識対象である手の、指先の位置を検出する。具体的には、移動領域と、赤外カメラ106の撮像範囲の境界線とが交わる位置(座標)の平均を、認識対象の操作エリアへの侵入位置と定義し、移動領域のうち、侵入位置から最も遠い点を指先位置(座標)と決定する。あるいは、認識対象である手を指の形状までモデル化したモデルを用い、マッチングさせて指先の位置を決定することもできる。さらに位置検出部115は、赤外カメラ106によって撮像された赤外反射光の撮像画像より、指示位置に相当する位置で撮像された赤外光の輝度値に基づいて、認識対象の操作面201に対する高さ方向の位置情報を取得する。なお、本実施形態では、予め輝度値と操作面からの高さの対応関係が情報処理装置100に記憶されているものとする。   In step S309, the position detection unit 115 detects the position indicated by the recognition target based on the detected moving area. In the present embodiment, the position of the fingertip of the hand that is the recognition target is detected as the designated position. Specifically, the average of the positions (coordinates) where the moving area and the boundary line of the imaging range of the infrared camera 106 intersect is defined as the intrusion position into the operation area to be recognized. The point farthest from the point is determined as the fingertip position (coordinates). Alternatively, the position of the fingertip can be determined by using a model obtained by modeling the hand to be recognized up to the shape of the finger. Further, the position detection unit 115 recognizes the operation surface 201 to be recognized based on the brightness value of the infrared light captured at the position corresponding to the designated position from the captured image of the infrared reflected light captured by the infrared camera 106. Acquires position information in the height direction for. In the present embodiment, it is assumed that the correspondence relationship between the brightness value and the height from the operation surface is stored in the information processing apparatus 100 in advance.

次に、ステップS310では、特定部116が、認識対象が写った移動領域と、位置検出部115によって検出された指示位置と、に基づいて、認識対象によって入力される情報処理装置100に対して入力される操作を特定する。例えば、位置検出部115が検出した指示位置に基づいて、UIへのタッチ操作に投影されたUIに対するタッチ操作、指さし操作など指示位置に基づく操作と特定する。また、所定の期間、あるいは所定の範囲における移動領域の移動を追跡すること等により、手の動きや姿勢によるスワイプ、手ぶり、ポーズ等のジェスチャー操作と特定する。そして特定部116は、特定した操作のフィードバックするための情報を表示制御部119に伝え、表示制御部119は、必要な表示制御を行う。   Next, in step S <b> 310, the specifying unit 116 applies the information processing apparatus 100 input by the recognition target based on the moving area in which the recognition target is captured and the designated position detected by the position detection unit 115. Specify the input operation. For example, based on the designated position detected by the position detection unit 115, the operation is specified as an operation based on the designated position, such as a touch operation or a pointing operation on the UI projected on the touch operation on the UI. Further, by tracing the movement of the moving area within a predetermined period or within a predetermined range, it is specified as a gesture operation such as swipe, hand gesture, or pose by hand movement or posture. The specifying unit 116 transmits information for feeding back the specified operation to the display control unit 119, and the display control unit 119 performs necessary display control.

ステップS311においては、特定部116が、情報処理装置100を終了するかを判定する。本実施形態では、入力された操作が情報処理装置100の起動終了を指示する操作であったり、物理ボタンにより情報処理装置の電源が切られたり、あるいは一定時間以上移動物体が検出されない状態が続いたりした場合、情報処理装置100を終了する。情報処理装置100を終了する(ステップS311でYES)と判定された場合には、メイン処理を終了する。終了しない(ステップS311でNO)と判定された場合には、ステップS301に戻り処理を繰り返す。   In step S <b> 311, the specifying unit 116 determines whether to end the information processing apparatus 100. In the present embodiment, the input operation is an operation for instructing the end of activation of the information processing apparatus 100, the information processing apparatus is turned off by a physical button, or a moving object is not detected for a certain period of time. If this happens, the information processing apparatus 100 is terminated. If it is determined that the information processing apparatus 100 is to be terminated (YES in step S311), the main process is terminated. If it is determined not to end (NO in step S311), the process returns to step S301 and the process is repeated.

以上の処理により、本発明の画像処理装置は、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合でも、誤検出の発生を低減する事が可能となる。   With the above processing, the image processing apparatus of the present invention can reduce the occurrence of false detection even when an object included in the input image is moved due to a user's movement or the like.

なお、本実施形態では、移動領域の大きさの変動が大きいと判定された場合、および移動領域に写る移動物体が認識対象ではないと判定された場合、如何なる操作の検出も抑制することで、誤検出を低減させた。ただし、誤検出を低減させる方法としては、操作が特定されるために満たされるべき条件を厳しくなるように変更するという方法もある。例えば、移動領域の大きさの変動が大きいと判定された場合に、ステップS307で移動領域に写る移動物体が認識対象であるか否かを判断するために用いる条件を厳しくする。あるいは、ステップS310で認識対象の動きを操作であると認識するために用いる条件を厳しくする。なお、ステップS307での条件とは、移動領域が収まるべき範囲の大きさの条件や、マッチング処理の尤度の高さの条件である。   In this embodiment, when it is determined that the variation in the size of the moving area is large, and when it is determined that the moving object reflected in the moving area is not a recognition target, by suppressing detection of any operation, Reduced false positives. However, as a method of reducing false detection, there is also a method of changing a condition to be satisfied in order to specify an operation so as to be strict. For example, when it is determined that the variation in the size of the moving area is large, the conditions used to determine whether or not the moving object that appears in the moving area is the recognition target in step S307. Alternatively, the conditions used for recognizing that the movement of the recognition target is an operation in step S310 is tightened. Note that the conditions in step S307 are conditions for the size of the range in which the moving region should be accommodated and conditions for the likelihood of matching processing.

これにより、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合に生じる誤検出を低減しつつ、厳しい条件が満たされた場合には、通常通り入力される操作を特定することができる。   As a result, it is possible to reduce an erroneous detection that occurs when an object included in the input image moves due to a user's movement or the like, and to specify an operation that is normally input when a strict condition is satisfied. it can.

<変形例1>
次に、移動領域の大きさの変動が大きいと判定された場合、移動領域の大きさが変動する前に検出されていた移動領域に基づいて、指示位置を推定することで、タッチ操作の認識を補助する変形例1を説明する。
<Modification 1>
Next, when it is determined that the size of the moving area varies greatly, the touch position is recognized by estimating the indicated position based on the moving area detected before the moving area varies. Modification 1 for assisting the above will be described.

図5は、変形例1における情報処理装置の処理の流れを表すフローチャートである。図3のフローチャートと共通する処理には同じ番号を付し、詳細な説明を省略する。なお、図5のフローチャートでは、図3とステップS306とステップS307の処理が入れ換わっているが、処理の内容に変更はない。   FIG. 5 is a flowchart showing the flow of processing of the information processing apparatus in the first modification. The processes common to those in the flowchart of FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted. In the flowchart of FIG. 5, the processing of FIG. 3, step S <b> 306 and step S <b> 307 is interchanged, but the content of the processing is not changed.

変形例1では、ステップS307において、判定部114が、検出された移動領域に写る移動物体が認識対象ではないと判定された場合(ステップS306でNO)、ステップS308に進み、抑制部117が操作の検出を抑制して、ステップS311に進む。一方、移動物体が認識対象であると判定した場合(ステップS307でYES)、ステップS306に進む。   In the first modification, when the determination unit 114 determines in step S307 that the moving object in the detected moving area is not the recognition target (NO in step S306), the process proceeds to step S308, and the suppression unit 117 operates. And the process proceeds to step S311. On the other hand, if it is determined that the moving object is a recognition target (YES in step S307), the process proceeds to step S306.

ステップS306では、判定部114が、ステップS305で検出された時間変動が、予め定められた閾値より大きいかを判定する。時間変動が予め定められた閾値より大きくないと判定された場合(ステップS306でNO)はステップS309に進んで、第1の実施形態と同様に指示位置を検出して(ステップS309)、入力される操作を特定する処理(ステップS310)が行われる。一方、時間変動が予め定められた閾値より大きいと判定された場合(ステップS306でYES)はステップS501に進む。   In step S306, the determination unit 114 determines whether the time variation detected in step S305 is greater than a predetermined threshold. If it is determined that the time variation is not greater than the predetermined threshold (NO in step S306), the process proceeds to step S309, and the designated position is detected (step S309) and input as in the first embodiment. Processing for identifying the operation to be performed (step S310) is performed. On the other hand, if it is determined that the time variation is greater than the predetermined threshold (YES in step S306), the process proceeds to step S501.

ステップS501では、抑制部117が、位置検出部115による指示位置検出を抑制する。そしてステップS502において、推定部118が、変動前の移動領域から検出されていた指示位置に基づいて、指示位置を推定する。   In step S <b> 501, the suppression unit 117 suppresses instruction position detection by the position detection unit 115. In step S502, the estimation unit 118 estimates the designated position based on the designated position detected from the movement area before the change.

ここでは現在の指示位置(x(t),y(t))を推定する方法の一例として、以下の式を用いる。ここで、(x(t−1),y(t−1))は変動前のフレームにおいて検出されていた指示位置、(x(t−2),y(t−2))は更にその前のフレームにおいて検出されていた指示位置の座標である。   Here, the following equation is used as an example of a method for estimating the current designated position (x (t), y (t)). Here, (x (t-1), y (t-1)) is the indicated position detected in the frame before the change, and (x (t-2), y (t-2)) is further before that. This is the coordinates of the designated position detected in the frame.

(Δx(t−1),Δy(t−1))=
(x(t−1),y(t−1)−(x(t−2),y(t−2))
(x(t),y(t))=(x(t−1),y(t−1))+(Δx(t−1),Δy(t−1))
なお、この式では変動前のフレーム毎の指示位置の差分を基に、変動後の指示位置を推定したが、フレーム毎に限らず、所定時間毎の時間差分をみてもよい。さらに変動前の指示位置の移動に係る加速度を考慮することでより厳密な推定処理を行ってもよい。また上式のように推定した(x(t),y(t))の近傍を探索し、移動領域を含む座標や形状が指先に最も近い座標を推定された指示位置として決定してもよい。
(Δx (t−1), Δy (t−1)) =
(X (t-1), y (t-1)-(x (t-2), y (t-2))
(X (t), y (t)) = (x (t−1), y (t−1)) + (Δx (t−1), Δy (t−1))
In this equation, the indicated position after the change is estimated based on the difference in the indicated position for each frame before the change, but the time difference for every predetermined time may be seen without being limited to each frame. Further, more accurate estimation processing may be performed by taking into account the acceleration related to the movement of the indicated position before the change. Further, the vicinity of the estimated (x (t), y (t)) as in the above equation may be searched, and the coordinates and shape including the moving area may be determined as the estimated designated position. .

推定が完了したら、ステップS310に進み、特定部116が入力される操作を特定する。タッチ操作のように、指示位置に基づいて特定される操作では、ステップS502において推定された指示位置が用いられる。以降の処理は第1の実施形態と同一のため説明を省略する。   When the estimation is completed, the process proceeds to step S310, and the specifying unit 116 specifies the input operation. In an operation specified based on the designated position, such as a touch operation, the designated position estimated in step S502 is used. Subsequent processing is the same as that of the first embodiment, and thus description thereof is omitted.

ここで、図6を用いて、指示位置を推定する処理の詳細を説明する。図6は、移動領域に基づいて検出あるいは推定される指示位置の一例を示す図である。図6の状態610〜612は、移動領域が検出されてから、手の指先がオブジェクト202に触れるまで時間変化を段階的に表しており、背景差分法により入力画像から抽出された移動領域が黒い領域として表現されている。状態610及び状態611においては、移動領域の変動の大きさが閾値より小さく、また移動物体は認識対象(手)であると判定される。従って、移動領域のうち、侵入位置から最も遠い点である点601が、指示位置として決定される。また、状態612において抽出されている移動領域は、図4の画像410に示したものと同じ現象が起きた状態である。状態612では、手以外にオブジェクト202の一部が移動領域として検出される。変形例1においても、状態612の紙面に向かって右側の移動領域のように、入力画像の4辺と接しないような移動領域に写る移動物体は認識対象ではないとすぐに判定することが可能である。しかし、紙面に向かって左側の移動領域はたまたま形状が指を立てた人間の手と類似しているため、ステップS306においては、移動物体が認識対象であると判断されてしまう場合がある。その場合にも、移動領域の面積が急激に増加しているため、ステップS307では、変動が大きいと判断される。ここで、例えば抑制部117が位置検出部115の指示位置検出を抑制しなければ、侵入位置から最も遠い点である点603が指示位置として検出されてしまう。しかし、実際には点603はオブジェクト202の先端部であって、指先ではない。例えば、操作面の点603に相当する位置に、タッチ操作によって何かしらの装置へのコマンドが発生するようなGUIオブジェクトが表示されていたとする。この場合、ユーザの指は実際にはオブジェクトに触れただけで操作面に対するタッチ操作を行おうとしていないにも関わらず、点603が指示位置として検出されてしまう。その結果、GUIオブジェクトがタッチされたと誤検出され、ユーザが意図しない装置の誤動作が起こり得る。これに対し、変形例1では、移動領域の変動が大きい場合には指示位置の検出を抑制し、代わりに指示位置の推定を行う。図6の場合、状態610〜612が、赤外カメラ106が撮影したフレーム毎の画像であるとすれば、状態610と状態611における位置601の位置の差分に基づいて、状態612では、位置602が指示位置として推定される。   Here, the details of the process of estimating the designated position will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of an indicated position that is detected or estimated based on a moving region. The states 610 to 612 in FIG. 6 represent a time change in a stepwise manner from the detection of the moving area until the fingertip of the hand touches the object 202, and the moving area extracted from the input image by the background subtraction method is black. It is expressed as an area. In the state 610 and the state 611, it is determined that the magnitude of change in the moving area is smaller than the threshold value, and that the moving object is a recognition target (hand). Accordingly, the point 601 that is the point farthest from the entry position in the moving region is determined as the designated position. Further, the movement region extracted in the state 612 is a state where the same phenomenon as that shown in the image 410 of FIG. 4 has occurred. In the state 612, a part of the object 202 other than the hand is detected as a moving area. Also in the first modification, it is possible to immediately determine that a moving object that appears in a moving area that does not contact the four sides of the input image, such as a moving area on the right side of the paper in the state 612, is not a recognition target. It is. However, since the moving region on the left side of the paper is similar in shape to a human hand that happens to be raised, in step S306, it may be determined that the moving object is a recognition target. Also in this case, since the area of the moving region is increasing rapidly, it is determined in step S307 that the fluctuation is large. Here, for example, if the suppression unit 117 does not suppress the indication position detection of the position detection unit 115, the point 603 that is the point farthest from the entry position is detected as the indication position. However, the point 603 is actually the tip of the object 202 and not the fingertip. For example, it is assumed that a GUI object that causes a command to some device to be generated by a touch operation is displayed at a position corresponding to the point 603 on the operation surface. In this case, although the user's finger actually touches the object and does not attempt to touch the operation surface, the point 603 is detected as the designated position. As a result, it is erroneously detected that the GUI object has been touched, and a malfunction of the device that is not intended by the user may occur. On the other hand, in the first modification, when the variation of the moving region is large, detection of the designated position is suppressed and the designated position is estimated instead. In the case of FIG. 6, if the states 610 to 612 are images for each frame captured by the infrared camera 106, the position 602 in the state 612 is based on the difference between the positions 601 in the state 610 and the state 611. Is estimated as the indicated position.

なお、上述した変形例1において、移動領域の時間変動が大きい場合には、位置検出部115の検出を抑制した上で、指示位置の推定処理を行ったが、抑制を行わず指示位置の検出と推定を両方行い、信頼性の高い位置を使用するように構成してもよい。   In Modification 1 described above, when the time variation of the moving region is large, the detection of the position detection unit 115 is suppressed and the instruction position is estimated. However, the instruction position is detected without being suppressed. It is also possible to perform the estimation and use a reliable position.

以上のような変形により、ユーザの動き等により入力画像に含まれるオブジェクトが動いてしまった場合でも、認識対象による指示位置を推定することで、入力される操作を、ユーザの意図に沿ったタッチ操作と特定することができる。   Even if an object included in the input image is moved due to the user's movement or the like due to the above-described deformation, the input operation is touched according to the user's intention by estimating the indication position by the recognition target. Can be identified as an operation.

<変形例2>
上述した変形例1では、時間変動が大きい場合には、指示位置の検出を抑制して代わりに推定する処理を行った。それに対し変形例2では、移動領域の変動が大きい場合には、直前における移動領域の形が所定の形状であるか否かに基づき、指示位置に関する操作が行われ易い状態であると判断した上で、指示位置の推定を行う。
<Modification 2>
In the first modification described above, when the time variation is large, the detection of the indicated position is suppressed and the estimation process is performed instead. On the other hand, in the second modification, when the movement region is largely fluctuated, it is determined that the operation regarding the designated position is easily performed based on whether or not the shape of the movement region immediately before is a predetermined shape. Then, the designated position is estimated.

変形例2における、ハードウェアの構成及び装置の外観は、第1の実施形態の図1(a)と同様である。ただし、変形例2の機能構成において、判定部114は、移動領域の大きさの時間変動が大きい場合に、変動前の移動領域の形状が、所定の手の形状であるか否かを判定する。例えば、操作面上のある箇所をタッチしようとする場合の基本的な形状となる、一部の指だけを立てた状態における形状(以下では、指さし形状という)であるか否かを判定する。なお、変形例2の情報処理装置100では、所定の手の形状を示す情報は、当該形状で指示される所定の操作を関連付けて、予め記憶装置104に記憶されている。   In the second modification, the hardware configuration and the external appearance of the apparatus are the same as those in FIG. 1A of the first embodiment. However, in the functional configuration of the second modification, the determination unit 114 determines whether or not the shape of the moving area before the change is a predetermined hand shape when the time fluctuation of the size of the moving area is large. . For example, it is determined whether or not it is a shape in a state where only a part of fingers are raised (hereinafter referred to as a pointing finger shape), which is a basic shape when trying to touch a certain place on the operation surface. In the information processing apparatus 100 according to the second modification, information indicating the shape of the predetermined hand is stored in advance in the storage device 104 in association with a predetermined operation indicated by the shape.

図7は、変形例2における情報処理装置の処理の流れを表すフローチャートである。図3、及び図5のフローチャートと共通する処理には同じ番号を付し、詳細な説明を省略する。なお、図7のフローチャートでは、ステップS307の処理が省略されている代わりに、ステップS701及びステップS702、ステップS703の処理が加わっている。   FIG. 7 is a flowchart showing the flow of processing of the information processing apparatus in Modification 2. The processes common to the flowcharts of FIGS. 3 and 5 are denoted by the same reference numerals, and detailed description thereof is omitted. In addition, in the flowchart of FIG. 7, the process of step S701, step S702, and step S703 is added instead of the process of step S307 being omitted.

変形例2では、ステップS306において、検出された移動領域の時間変動が大きいと判定された場合には、ステップS501において、抑制部117によって位置検出部115による指示位置の検出が抑制され、ステップS701の処理に進む。   In the second modification, when it is determined in step S306 that the time variation of the detected moving region is large, in step S501, the suppression unit 117 suppresses detection of the indicated position by the position detection unit 115, and step S701. Proceed to the process.

ステップS701では、判定部114が、大きな時間変動が検出される直前のフレームにおける移動領域の形状の情報を認識する。変形例2においても、ステップS303で検出された移動領域の情報がRAM103に保持されている。ステップS702において、判定部114は、変動が起こる前のフレームの入力画像から得られた移動領域の形状を認識する。そして、ステップS702において、判定部114は、直前の移動領域が、予め記憶された所定の形状か否かを判定する。例えば、タッチ操作を行うときの手の形状を示す指さし形状か否かを判定する。直前の移動領域の形状が所定の形状であると判定された場合(ステップS701でYES)、ステップS702に進む。直前の移動領域の形状が所定の形状ではないと判定された場合(ステップS701でYES)、ステップS308に進む。   In step S701, the determination unit 114 recognizes information on the shape of the moving region in the frame immediately before a large time variation is detected. Also in the modified example 2, the information on the moving area detected in step S303 is held in the RAM 103. In step S702, the determination unit 114 recognizes the shape of the moving region obtained from the input image of the frame before the change occurs. In step S <b> 702, the determination unit 114 determines whether or not the immediately preceding moving area has a predetermined shape stored in advance. For example, it is determined whether or not the finger shape indicates the shape of the hand when performing a touch operation. If it is determined that the shape of the immediately preceding moving area is a predetermined shape (YES in step S701), the process proceeds to step S702. If it is determined that the shape of the immediately preceding moving area is not a predetermined shape (YES in step S701), the process proceeds to step S308.

変形例2において、直前の移動領域が所定の形状であると判定された場合、情報処理装置100では、当該所定の形状に関連付けて記憶された所定の操作が入力されやすい状態にあると判断される。例えば、直前の移動領域が指さし形状である場合には、ユーザの手は直前まで操作面に対するタッチ操作を行おうとしていたとみなすことができ、従って現時点においても、タッチ操作が行われる可能性が高いと判断できる。従って、変形例2では、移動領域が所定の形状であった場合には、指示位置の推定を行い、所定の形状に関連付けられた所定の操作が入力されたか判断する。   In the second modification, when it is determined that the immediately preceding moving region has a predetermined shape, the information processing apparatus 100 determines that a predetermined operation stored in association with the predetermined shape is easily input. The For example, when the immediately preceding moving area has a pointing shape, it can be considered that the user's hand has attempted to touch the operation surface until immediately before, and thus there is a possibility that the touch operation may be performed even at the present time. It can be judged that it is expensive. Therefore, in the second modification, when the moving area has a predetermined shape, the designated position is estimated, and it is determined whether a predetermined operation associated with the predetermined shape is input.

従って、ステップS502では、推定部118が、変動前の移動領域から検出されていた指示位置に基づいて、指示位置を推定する。推定方法は、変形例1に準じるものとする。変形例2では、ステップS502において指示位置の推定が完了したら、ステップS703の処理に進む。   Accordingly, in step S502, the estimation unit 118 estimates the designated position based on the designated position detected from the movement area before the change. The estimation method is based on the first modification. In the second modification, when the estimation of the designated position is completed in step S502, the process proceeds to step S703.

ステップS703では、特定部116が、所定の操作が入力されたか判断する。例えば移動領域が指さし形状であった場合には、操作面と推定された指示位置との距離を閾値比較する処理により、操作面がタッチされたか否かを判断することで認識対象による入力をタッチ操作と特定する。タッチ操作以外の操作は認識しない。   In step S703, the specifying unit 116 determines whether a predetermined operation has been input. For example, when the moving area has a pointing shape, touch the input by the recognition target by determining whether or not the operation surface has been touched by a process of comparing the distance between the operation surface and the estimated indication position with a threshold. Identify as operation. Operations other than touch operations are not recognized.

以上が変形例2における情報処理装置の処理の流れである。なお、ここでは移動領域の所定の形状として、指さし形状を例に挙げて、入力操作をタッチ操作と特定する例を説明したが、これに限らない。例えば、ステップS702において、手がオブジェクトを掴んでいるときの形状か否かを判定し、オブジェクトを掴んでいる形状だと判断された場合には、操作は行われ難い状態だと判断して、操作の検出を抑制するようにしてもよい。同様に、移動領域の形状から、移動領域に含まれるオブジェクトが操作面上でずれた(並進移動した)、それとも持ち上げられて操作面から離れたことを認識して同様の処理を行ってもよい。   The above is the processing flow of the information processing apparatus in the second modification. Here, as an example of the predetermined shape of the moving area, the pointing operation is taken as an example and the input operation is specified as the touch operation, but the present invention is not limited to this. For example, in step S702, it is determined whether or not the shape is a shape when the hand is holding the object. If it is determined that the shape is the shape holding the object, it is determined that the operation is difficult to be performed. You may make it suppress the detection of operation. Similarly, the same processing may be performed by recognizing that the object included in the movement area has shifted (translated) on the operation surface from the shape of the movement area, or lifted away from the operation surface. .

以上のように、時間変動前の移動領域の形状に基づいて操作の検出を抑制する事で、操作らしい時には過度な抑制を行わず、また操作らしくない時には極力抑制して操作の誤検出を低減することができる。   As described above, by suppressing the detection of operations based on the shape of the moving area before time fluctuation, excessive suppression is not performed when it seems to be an operation, and it is suppressed as much as possible when it is not likely to be operated, thereby reducing erroneous detection of the operation. can do.

<変形例3>
変形例3では、予め静止したオブジェクトの位置及び大きさを検出しておくことで、オブジェクトの動きが原因となって検出される移動領域の大きさの時間変動を限定的に検出する例を説明する。
<Modification 3>
In the third modification, an example in which the time variation of the size of the moving area detected due to the movement of the object is limitedly detected by detecting the position and size of the stationary object in advance will be described. To do.

変形例3における、ハードウェアの構成及び装置の外観は、第1の実施形態の図1(a)と同様である。図8(a)は変形例3における情報処理装置の機能構成を表す図である。変形例3の機能構成は、オブジェクト検出部801が加わる以外は第1の実施形態と同様であるため、異なる点のみを説明する。オブジェクト検出部801は、操作エリアに載置され、かつ静止した状態におけるオブジェクトを検出する。ここで検出されるオブジェクトは、領域検出部112に検出される移動領域に写る移動物体のうち、認識対象以外のものである。本実施形態では、紙媒体のドキュメントを想定する。   The hardware configuration and the external appearance of the device in Modification 3 are the same as those in FIG. 1A of the first embodiment. FIG. 8A is a diagram illustrating a functional configuration of the information processing apparatus according to the third modification. Since the functional configuration of Modification 3 is the same as that of the first embodiment except that the object detection unit 801 is added, only different points will be described. The object detection unit 801 detects an object placed in the operation area and stationary. The object detected here is a moving object reflected in the moving area detected by the area detecting unit 112, other than the recognition target. In the present embodiment, a paper medium document is assumed.

図9は、本実施形態における情報処理装置の処理の流れを表すフローチャートである。第1の実施形態と同じ内容の処理については同じ番号を付し、詳細な説明を省略する。   FIG. 9 is a flowchart showing the flow of processing of the information processing apparatus in this embodiment. The processes having the same contents as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

変形例3では、ステップS302で、領域検出部112が、操作エリア内は静止状態であると判定すると、ステップS901において、オブジェクト検出部801がオブジェクトを検出する。   In Modification 3, when the region detection unit 112 determines in step S302 that the operation area is stationary, the object detection unit 801 detects an object in step S901.

ここで、ステップS901におけるオブジェクト検出処理の様子を図8(b)に示す。背景画像620はシステム起動時の背景画像である。入力画像811はオブジェクトが置かれ、静止状態になった時の入力画像である。オブジェクト検出部801は、領域検出部112が保有する背景画像とは別に、システム起動時の背景画像810を保持する。そして静止状態の時に入力画像811と背景画像810との差分画像812を取得し、オブジェクトを検出する。   Here, the state of the object detection processing in step S901 is shown in FIG. The background image 620 is a background image when the system is activated. The input image 811 is an input image when an object is placed and the image becomes stationary. The object detection unit 801 holds a background image 810 at the time of system startup separately from the background image held by the region detection unit 112. Then, a difference image 812 between the input image 811 and the background image 810 is acquired in a stationary state, and an object is detected.

ステップS901においてオブジェクトの検出が完了したら、ステップS304で領域検出部112が背景画像を入力画像811に置き変えて更新する。ただし、オブジェクト検出部801が保有するシステム起動時の背景画像810は更新しない。   When the detection of the object is completed in step S901, the region detection unit 112 replaces the background image with the input image 811 and updates in step S304. However, the background image 810 at the time of system startup owned by the object detection unit 801 is not updated.

変形例3では、ステップS303において領域検出部112が移動領域を検出した後は、図3のステップS305に替わり、ステップS902に進む。ステップS902では、変動検出部113が、オブジェクト検出部801が検出したオブジェクトの大きさ、位置に基づいて、オブジェクト近傍で移動領域の大きさの時間変動を検出する。   In the third modification, after the area detection unit 112 detects the moving area in step S303, the process proceeds to step S902 instead of step S305 in FIG. In step S902, the fluctuation detection unit 113 detects temporal fluctuations in the size of the moving area in the vicinity of the object based on the size and position of the object detected by the object detection unit 801.

ここで、ステップS902において実行される、オブジェクト近傍での移動領域の時間変動の検出処理の流れを図10に示す。   Here, FIG. 10 shows a flow of processing for detecting temporal variation of the moving region in the vicinity of the object, which is executed in step S902.

まずステップS701において、変動検出部113が、領域検出部112の検出した移動領域の位置がオブジェクト検出部の検出したオブジェクトの近傍か否かを判断する。移動領域の位置がオブジェクトの近傍であると判定された場合(ステップS701でYES)、ステップS702に進む。移動領域の位置がオブジェクトの近傍ではないと判定された場合(ステップS701でNO)、ステップS706に進み、変動検出部113が移動領域の時間変動は小さいと判定してメイン処理にリターンする。ステップS702では、変動検出部113が、オブジェクトの大きさに従い、移動領域の大きさ(面積、輪郭長など)の時間変動の閾値を調整する。このとき、オブジェクトの大きさが大きいほど閾値を大きく調整する。ステップS703では、変動検出部113が、移動領域の大きさの時間変動を検出する。そして、ステップS704で、変動検出部113が、検出した移動領域の時間変動が、オブジェクトの大きさに基づいて調整した閾値以上か否かを判定する。移動領域の時間変動が閾値以上であると判定された場合(ステップS704でYES)、ステップS705に進み、移動領域の大きさの時間変動が大きいと判定して終了する。移動領域の時間変動が閾値未満であると判定された場合(ステップS704でNO)、ステップS706に進み、移動領域の大きさの時間変動が小さいと判定してメイン処理にリターンする。   First, in step S701, the fluctuation detection unit 113 determines whether or not the position of the moving region detected by the region detection unit 112 is near the object detected by the object detection unit. If it is determined that the position of the moving area is in the vicinity of the object (YES in step S701), the process proceeds to step S702. If it is determined that the position of the moving area is not in the vicinity of the object (NO in step S701), the process proceeds to step S706, where the fluctuation detecting unit 113 determines that the temporal fluctuation of the moving area is small and returns to the main process. In step S702, the fluctuation detection unit 113 adjusts the threshold value of the temporal fluctuation of the size (area, contour length, etc.) of the moving area according to the size of the object. At this time, the threshold value is adjusted to be larger as the size of the object is larger. In step S703, the fluctuation detection unit 113 detects a temporal fluctuation in the size of the moving area. In step S704, the fluctuation detection unit 113 determines whether or not the detected temporal fluctuation of the moving area is equal to or greater than a threshold adjusted based on the size of the object. If it is determined that the time variation of the moving area is equal to or greater than the threshold value (YES in step S704), the process proceeds to step S705, where it is determined that the time variation of the size of the moving area is large, and the process ends. If it is determined that the time variation of the moving region is less than the threshold (NO in step S704), the process proceeds to step S706, where it is determined that the time variation of the size of the moving region is small, and the process returns to the main process.

続くステップS306では、ステップS705において移動領域の大きさの時間変動が大きいと判定されたか、ステップS706において移動領域の大きさの時間変動が小さいと判定されたか、に応じて判定を行う。以降の処理は、第1の実施形態に準じる。   In subsequent step S306, determination is made according to whether it is determined in step S705 that the time variation of the size of the moving region is large or whether it is determined in step S706 that the time variation of the size of the moving region is small. Subsequent processing is in accordance with the first embodiment.

以上のように、変形例3では、操作エリア内に載置されたオブジェクトを検出して、その位置及び大きさに基づいて変動検出部が検出する移動領域の大きさの時間変動の閾値を調整する。これにより、オブジェクトが動いたことによる移動領域の変動をより的確に検出して抑制処理を行い、例えばユーザの人数が増えた(認識対象の数が増えた)場合等、その他の影響によって移動領域の大きさが変動した場合には通常通り操作の検出を行うことができる。また、オブジェクトの大きさに応じて閾値を変えることで、オブジェクトの大きさが異なる場合でも、ユーザの操作を正しく検出する事が可能となる。   As described above, in the third modification, the object placed in the operation area is detected, and the time variation threshold value of the size of the moving region detected by the variation detection unit is adjusted based on the position and size. To do. As a result, a change in the movement area due to the movement of the object is detected more accurately and the suppression process is performed. For example, when the number of users increases (the number of recognition targets increases), the movement area is affected by other influences. When the magnitude of the movement fluctuates, the operation can be detected as usual. Further, by changing the threshold according to the size of the object, it is possible to correctly detect the user operation even when the size of the object is different.

なお、変形例3においても、操作検出を禁止するのではなく、移動領域の大きさが変動する前に検出されていた移動領域に基づいて、指示位置を推定することで、タッチ操作の認識を補助する変形を適応することが可能である。   In the third modification, the operation detection is not prohibited, but the touch position is recognized by estimating the designated position based on the movement area detected before the movement area changes in size. It is possible to adapt the assisting deformation.

<他の実施形態>
本発明の目的は前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記録媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することとなり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
<Other embodiments>
An object of the present invention is to supply a recording medium recording a program for realizing the functions of the above-described embodiments to a system or apparatus, and to read and execute the program stored in the recording medium by a computer of the system or apparatus. Achieved. In this case, the program itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program constitutes the present invention.

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。   As a storage medium for supplying the program, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, a DVD, or the like can be used. .

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているOperating System(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。   In addition, the functions of the above-described embodiments are not only realized by executing the program read by the computer. The operating system (OS) running on the computer performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

さらに、記憶媒体から読み出されたプログラムが、コンピュータに接続された機能拡張ユニットのメモリに書きこまれた後、その機能拡張ユニットのCPUが実際の処理の一部または全部を行い、前述した実施形態の機能が実現される場合も含まれる。   Further, after the program read from the storage medium is written in the memory of the function expansion unit connected to the computer, the CPU of the function expansion unit performs part or all of the actual processing, and the above-described implementation The case where the function of the form is realized is also included.

111 取得部
112 領域検出部
113 変動検出部
114 特定部
115 位置検出部
116 操作検出部
117 抑制部
118 推定部
DESCRIPTION OF SYMBOLS 111 Acquisition part 112 Area | region detection part 113 Fluctuation detection part 114 Identification part 115 Position detection part 116 Operation detection part 117 Suppression part 118 Estimation part

Claims (15)

認識対象によって入力される操作を特定する情報処理装置であって、
撮像部が撮像した入力画像を取得する取得手段と、
前記取得手段によって取得された入力画像から、移動領域を検出する領域検出手段と、
前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される入力される操作を特定する特定手段と、
前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が入力される操作を特定することを抑制する抑制手段と、
を備えることを特徴とする情報処理装置。
An information processing apparatus that identifies an operation input by a recognition target,
Acquisition means for acquiring an input image captured by the imaging unit;
Area detecting means for detecting a moving area from the input image acquired by the acquiring means;
Identifying means for recognizing a recognition object based on the moving area and identifying an input operation input by the recognition object;
A suppression unit that suppresses specifying an operation to be input by the specifying unit when the size of the moving area has fluctuated over time from a reference; and
An information processing apparatus comprising:
前記入力画像において前記移動領域に写る移動物体が、前記認識対象であるかを判定する判定手段を更に有し、
前記抑制手段は、前記判定手段により、前記移動領域に写る移動物体が、前記認識対象ではないと判定された場合に、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項1に記載の情報処理装置。
A determination unit that determines whether a moving object that appears in the moving area in the input image is the recognition target;
The suppressing means suppresses the specifying means specifying an operation to be input when the determining means determines that the moving object reflected in the moving area is not the recognition target. The information processing apparatus according to claim 1.
前記領域検出手段によって検出された移動領域に基づいて、前記認識対象による指示位置を検出する位置検出手段を更に有し、
前記抑制手段は、前記領域検出手段によって検出された移動領域の大きさが、基準より大きく時間変動した場合、前記位置検出手段による前記指示位置の検出を抑制することで、前記特定手段が、前記認識対象によって入力される前記指示位置に基づく入力される操作を特定することを抑制する
ことを特徴とする請求項1又は2に記載の情報処理装置。
Based on the movement area detected by the area detection means, further comprising a position detection means for detecting an indication position by the recognition target,
When the size of the moving region detected by the region detection unit has changed over time from the reference, the suppression unit suppresses detection of the indicated position by the position detection unit, so that the specification unit The information processing apparatus according to claim 1, wherein an input operation based on the designated position input by a recognition target is suppressed.
前記抑制手段によって、前記位置検出手段による前記指示位置の検出が抑制された場合に、前記認識対象による指示位置を推定する推定手段とを更に備え、
前記特定手段は、
前記位置検出手段が検出した指示位置及び前記推定手段が推定した指示位置の少なくともいずれかに基づいて、前記認識対象によって入力される前記指示位置に基づく入力される操作を特定することを特徴とする請求項3に記載の情報処理装置。
When the suppression means suppresses the detection of the indicated position by the position detection means, the estimation means further estimates an indication position by the recognition target,
The specifying means is:
An operation to be input based on the specified position input by the recognition target is specified based on at least one of the specified position detected by the position detecting unit and the specified position estimated by the estimating unit. The information processing apparatus according to claim 3.
前記認識対象による指示位置とは、人の手の指先の位置に相当し、前記認識対象によって入力される前記指示位置に基づく操作とは、前記ユーザの手の指先によって操作面がタッチされるタッチ操作であることを特徴とする請求項3又は4に記載の情報処理装置。   The designated position by the recognition target corresponds to the position of the fingertip of a human hand, and the operation based on the designated position input by the recognition target is a touch in which the operation surface is touched by the fingertip of the user's hand. The information processing apparatus according to claim 3, wherein the information processing apparatus is an operation. 前記判定手段は、前記基準より大きく時間変動する直前に前記領域検出手段によって検出された移動領域の形状が、人の手が一部の指だけを立てた状態における形状であるかを判定し、
前記推定手段は、前記判定手段により、前記移動領域の形状が、人の手が一部の指だけを立てた状態における形状であると判定された場合に、前記認識対象による指示位置を推定することを特徴とする請求項4又は5に記載の情報処理装置。
The determination means determines whether the shape of the moving area detected by the area detection means immediately before the reference time fluctuates larger than the reference is a shape in a state where a person's hand stands only some fingers,
The estimation unit estimates the indication position by the recognition target when the determination unit determines that the shape of the moving region is a shape in a state where a human hand stands only with some fingers. The information processing apparatus according to claim 4, wherein the information processing apparatus is an information processing apparatus.
前記判定手段は、前記領域検出手段によって検出された移動領域が、所定の条件を満たす場合に、前記入力画像において前記移動領域に写る移動物体が、前記認識対象であると判定し、
前記抑制手段は、前記領域検出手段によって検出された移動領域の大きさが、基準より大きく時間変動した場合に、前記判定手段が用いる前記所定の条件をより厳しい条件に変更することによって、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項2乃至6のいずれか1項に記載の情報処理装置。
The determination unit determines that a moving object that appears in the moving region in the input image is the recognition target when the moving region detected by the region detecting unit satisfies a predetermined condition;
The suppression means changes the predetermined condition used by the determination means to a stricter condition when the size of the moving area detected by the area detection means changes over time more than a reference, thereby specifying the specific condition. The information processing apparatus according to any one of claims 2 to 6, wherein the operation of the input unit is specified.
前記判定手段は、前記基準より大きく時間変動する直前に前記領域検出手段によって検出された移動領域の形状が、所定の形状であるかを判定し、
前記抑制手段は、前記判定手段により、前記移動領域の形状が、前記所定の形状ではないと判定された場合に、前記特定手段が入力される操作を特定することを抑制することを特徴とする請求項2乃至7のいずれか1項に記載の情報処理装置。
The determination unit determines whether the shape of the moving region detected by the region detection unit immediately before the time variation is larger than the reference is a predetermined shape;
The suppressing unit suppresses the specifying unit from specifying an input operation when the determining unit determines that the shape of the moving region is not the predetermined shape. The information processing apparatus according to any one of claims 2 to 7.
前記取得手段が取得した前記入力画像に含まれる、前記認識対象以外のオブジェクトを検出するオブジェクト検出手段をさらに有し、
前記抑制手段は、前記変動検出手段は、前記オブジェクト検出手段が検出したオブジェクトの位置の近傍において、前記移動領域の大きさの時間変動を検出する事を特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
An object detection unit for detecting an object other than the recognition target included in the input image acquired by the acquisition unit;
9. The suppressor according to claim 1, wherein the variation detector detects a temporal variation in the size of the moving region in the vicinity of the position of the object detected by the object detector. The information processing apparatus according to item 1.
前記認識対象によって入力される操作とは、前記認識手段が前記オブジェクトに触れる操作である事を特徴とする請求項9に記載の情報処理装置。   The information processing apparatus according to claim 9, wherein the operation input by the recognition target is an operation in which the recognition unit touches the object. 前記撮像部は、赤外光を撮像する赤外カメラであって、前記入力画像は、前記赤外カメラによって検出された赤外光の輝度値によって構成される情報であることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。   The imaging unit is an infrared camera that captures infrared light, and the input image is information configured by a luminance value of infrared light detected by the infrared camera. Item 11. The information processing apparatus according to any one of Items 1 to 10. 前記領域検出手段は、背景差分法により前記移動領域を検出することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the area detecting unit detects the moving area by a background difference method. 認識対象によって入力される操作を特定する情報処理装置の制御方法であって、
取得手段により、撮像部が撮像した入力画像を取得する取得工程と、
領域検出手段により、前記取得工程で取得された入力画像から、移動領域を検出する領域検出工程と、
特定手段により、前記移動領域に基づいて認識対象を認識し、該認識対象によって入力される入力される操作を特定する特定工程と、
抑制手段により、前記移動領域の大きさが、基準より大きく時間変動した場合に、前記特定手段が入力される操作を特定することを抑制する抑制工程と、
を備えることを特徴とする情報処理装置の制御方法。
A method of controlling an information processing apparatus that identifies an operation input by a recognition target,
An acquisition step of acquiring an input image captured by the imaging unit by an acquisition unit;
An area detection step of detecting a moving area from the input image acquired in the acquisition step by the area detection means;
A specifying step of recognizing a recognition target based on the moving area by a specifying unit, and specifying an input operation input by the recognition target;
A suppressing step of suppressing the operation of inputting the specifying unit when the size of the moving area is fluctuated over time by a suppressing unit;
An information processing apparatus control method comprising:
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項1に記載の情報処理装置の各手段として機能させるプログラム。   A program that causes a computer to function as each unit of the information processing apparatus according to claim 1 by being read and executed by the computer. 請求項14に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 14.
JP2013151654A 2013-07-22 2013-07-22 Information processing apparatus, control method thereof, computer program, and storage medium Pending JP2015022624A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013151654A JP2015022624A (en) 2013-07-22 2013-07-22 Information processing apparatus, control method thereof, computer program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013151654A JP2015022624A (en) 2013-07-22 2013-07-22 Information processing apparatus, control method thereof, computer program, and storage medium

Publications (1)

Publication Number Publication Date
JP2015022624A true JP2015022624A (en) 2015-02-02

Family

ID=52486987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013151654A Pending JP2015022624A (en) 2013-07-22 2013-07-22 Information processing apparatus, control method thereof, computer program, and storage medium

Country Status (1)

Country Link
JP (1) JP2015022624A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033144A (en) * 2015-07-30 2017-02-09 キヤノン株式会社 Information processing device and control method therefor, program, and storage medium
JP2017045407A (en) * 2015-08-28 2017-03-02 キヤノン株式会社 Information processor
WO2017183280A1 (en) * 2016-04-21 2017-10-26 シャープ株式会社 Image recognition device and program
US10338690B2 (en) 2016-07-04 2019-07-02 Fujitsu Limited Information processing apparatus, interaction method, and recording medium
WO2021112234A1 (en) * 2019-12-06 2021-06-10 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021092826A (en) * 2019-12-06 2021-06-17 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021099629A (en) * 2019-12-20 2021-07-01 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021103349A (en) * 2019-12-24 2021-07-15 京セラ株式会社 Information process system, information processing device, and information processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033144A (en) * 2015-07-30 2017-02-09 キヤノン株式会社 Information processing device and control method therefor, program, and storage medium
JP2017045407A (en) * 2015-08-28 2017-03-02 キヤノン株式会社 Information processor
WO2017038025A1 (en) * 2015-08-28 2017-03-09 Canon Kabushiki Kaisha Imaging apparatus
WO2017183280A1 (en) * 2016-04-21 2017-10-26 シャープ株式会社 Image recognition device and program
US10338690B2 (en) 2016-07-04 2019-07-02 Fujitsu Limited Information processing apparatus, interaction method, and recording medium
WO2021112234A1 (en) * 2019-12-06 2021-06-10 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021092826A (en) * 2019-12-06 2021-06-17 京セラ株式会社 Information processing system, information processing device, and information processing method
JP7316203B2 (en) 2019-12-06 2023-07-27 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021099629A (en) * 2019-12-20 2021-07-01 京セラ株式会社 Information processing system, information processing device, and information processing method
JP2021103349A (en) * 2019-12-24 2021-07-15 京セラ株式会社 Information process system, information processing device, and information processing method
JP7381330B2 (en) 2019-12-24 2023-11-15 京セラ株式会社 Information processing system, information processing device, and information processing method

Similar Documents

Publication Publication Date Title
US9330304B2 (en) Information processing apparatus and method for controlling the same
JP2015022624A (en) Information processing apparatus, control method thereof, computer program, and storage medium
US9756265B2 (en) Information processing apparatus recognizing certain object in captured image, and method for controlling the same
JP6202942B2 (en) Information processing apparatus and control method thereof, computer program, and storage medium
US9128526B2 (en) Operation control device, operation control method, and computer-readable recording medium for distinguishing an intended motion for gesture control
US20190258319A1 (en) Information processing device, information processing method, and program
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US10156938B2 (en) Information processing apparatus, method for controlling the same, and storage medium
JP6410537B2 (en) Information processing apparatus, control method therefor, program, and storage medium
US9715738B2 (en) Information processing apparatus recognizing multi-touch operation, control method thereof, and storage medium
US10042426B2 (en) Information processing apparatus for detecting object from image, method for controlling the apparatus, and storage medium
JP5486977B2 (en) Coordinate input device and program
US10126856B2 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
JP2015108870A (en) Operation input device, operation input program, and operation input method
JP4901670B2 (en) Electronic board system
JP6555958B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP6570376B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP2017157086A (en) Display device and method of controlling the same