JP2016177343A - Signal processing apparatus, input device, signal processing method, and program - Google Patents

Signal processing apparatus, input device, signal processing method, and program Download PDF

Info

Publication number
JP2016177343A
JP2016177343A JP2015055009A JP2015055009A JP2016177343A JP 2016177343 A JP2016177343 A JP 2016177343A JP 2015055009 A JP2015055009 A JP 2015055009A JP 2015055009 A JP2015055009 A JP 2015055009A JP 2016177343 A JP2016177343 A JP 2016177343A
Authority
JP
Japan
Prior art keywords
touch
sensor
key point
signal processing
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015055009A
Other languages
Japanese (ja)
Other versions
JP6543790B2 (en
Inventor
原田 敦
Atsushi Harada
敦 原田
千尋 三宮
Chihiro Sannomiya
千尋 三宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Toyota InfoTechnology Center Co Ltd
Original Assignee
Tokai Rika Co Ltd
Toyota InfoTechnology Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd, Toyota InfoTechnology Center Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2015055009A priority Critical patent/JP6543790B2/en
Publication of JP2016177343A publication Critical patent/JP2016177343A/en
Application granted granted Critical
Publication of JP6543790B2 publication Critical patent/JP6543790B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

PROBLEM TO BE SOLVED: To identify whether a touch sensor has been input by a touch with a finger of a user or other causes.SOLUTION: A signal processing apparatus identifying whether the touch sensor has been input by a touch or not, on the basis of a signal obtained from the touch sensor includes: detection value acquisition means which acquires sensor data formed of a plurality of sensor detection values, from the touch sensor having a plurality of sensors; key point determination means which determines a key point indicating a touch position, from the sensor data; feature quantity calculation means which calculates feature quantity of the key point, from a partial area including the key point; an identifier which has learned a feature quantity to be obtained by a touch and a feature quantity to be obtained by others than the touch; and identifying means which identifies whether the touch sensor has been input by a touch or not, by use of the feature quantity calculated by the feature quantity calculation means.SELECTED DRAWING: Figure 4

Description

本発明は、タッチセンサへの入力がタッチによるものか否かを識別する技術に関する。   The present invention relates to a technique for identifying whether an input to a touch sensor is a touch.

従来、タッチセンサを用いた入力装置が広く使われている。タッチパッドは、ノート型コンピュータなどに広く用いられており、近年は車両のカーナビゲーションシステム、オーディオ、エアコンなどの操作を手元で行う遠隔操作デバイスにも利用されている。また、タッチパネル(タッチスクリーン)は、スマートホンやタブレット端末、あるいはカーナビゲーションシステムなどで利用されている。   Conventionally, an input device using a touch sensor has been widely used. Touchpads are widely used in notebook computers and the like, and in recent years, they are also used in remote operation devices that perform operations such as vehicle car navigation systems, audio, and air conditioners. A touch panel (touch screen) is used in a smart phone, a tablet terminal, a car navigation system, or the like.

特許文献1は、タッチパネルを用いた入力装置において、ユーザが意図するタッチ位置と入力装置が検出する検出位置のずれを自動補正する技術を開示する。具体的には、入力装置の保持の仕方、指の大きさ、利き手などのユーザの身体的特徴や、ユーザのタッチの癖などの生理的特徴を推定し、ユーザのタッチパネルの操作を記録・学習することで、ユーザの意図するタッチ位置を推定している。   Patent Document 1 discloses a technique for automatically correcting a shift between a touch position intended by a user and a detection position detected by the input apparatus in an input apparatus using a touch panel. Specifically, the user's touch panel operation is recorded and learned by estimating the user's physical characteristics such as how to hold the input device, the size of the finger, the dominant hand, and the user's touch habit. By doing so, the touch position intended by the user is estimated.

特許文献2は、表示パネルから放出される電気的なノイズがある場合でも、タッチ位置を精度良く検出可能なタッチセンサを開示する。特許文献2では、表示パネルとタッチセンサの電極とを遮蔽するシールド電極を用い、シールド電極の構成を工夫することで、タッチセンサの薄さを保ったままノイズによるタッチ位置の誤検出を抑制している。   Patent Document 2 discloses a touch sensor that can accurately detect a touch position even when there is electrical noise emitted from a display panel. In Patent Document 2, a shield electrode that shields the display panel and the electrode of the touch sensor is used, and the configuration of the shield electrode is devised to suppress erroneous detection of the touch position due to noise while keeping the touch sensor thin. ing.

特開2008−242958号公報JP 2008-242958 A 特開2014−164327号公報JP 2014-164327 A

特許文献1の技術によれば、いずれもタッチ位置の検出精度を高めることができる。しかしながら、タッチセンサにノイズが印加された場合にノイズの影響を除去できなければ、ユーザがタッチ操作をしていないにもかかわらず、タッチセンサはタッチを誤検出してしまう。   According to the technique disclosed in Patent Document 1, it is possible to increase the detection accuracy of the touch position. However, if the influence of noise cannot be removed when noise is applied to the touch sensor, the touch sensor erroneously detects the touch even though the user is not performing a touch operation.

特許文献2の技術によれば、電気的なノイズが印加された場合の誤検出を抑制できる。しかしながら、タッチセンサの誤検出を発生させる要因には、電気的なノイズ以外にも種々のものがある。例えば、タッチセンサ上に水滴が付いたり金属などが接触したりした場合や、ユーザの掌が意図せずにタッチセンサと触れてしまった場合などにも、ユーザの意図しないタッチが誤検出されてしまう。   According to the technique of Patent Literature 2, it is possible to suppress erroneous detection when electrical noise is applied. However, there are various factors other than electrical noise that cause erroneous detection of the touch sensor. For example, a touch that is not intended by the user is erroneously detected when a water droplet or a metal touches the touch sensor, or when the user's palm touches the touch sensor without intention. End up.

上記のような問題を考慮して、本発明は、タッチセンサへの入力がユーザの指によるタッチによるものか、それ以外の要因によるものかを識別することを目的とする。   In view of the above problems, an object of the present invention is to identify whether an input to a touch sensor is due to a touch by a user's finger or due to other factors.

上記目的を達成するために、本発明の一態様に係る信号処理装置は以下の構成を備える。すなわち、本発明の一態様に係る信号処理装置は、複数のセンサを有するタッチセンサから前記複数のセンサの検出値からなるセンサデータを取得する検出値取得手段と、前記センサデータからタッチ位置を示すキーポイントを決定するキーポイント決定手段と、前
記キーポイントを含む部分領域から前記キーポイントの特徴量を算出する特徴量算出手段と、タッチによって得られる特徴量とタッチ以外によって得られる特徴量からあらかじめ学習した識別器と、前記特徴量算出手段によって算出された特徴量を用いて、前記タッチセンサに対する入力がタッチによるものか否か識別する識別手段と、を備える。
In order to achieve the above object, a signal processing apparatus according to an aspect of the present invention includes the following arrangement. That is, a signal processing device according to an aspect of the present invention indicates a detection value acquisition unit that acquires sensor data including detection values of a plurality of sensors from a touch sensor having a plurality of sensors, and indicates a touch position from the sensor data. From the key point determining means for determining the key point, the feature amount calculating means for calculating the feature amount of the key point from the partial area including the key point, the feature amount obtained by touch and the feature amount obtained by other than touch in advance And a learning discriminator, and a discriminating unit that discriminates whether or not an input to the touch sensor is a touch using the feature amount calculated by the feature amount calculating unit.

識別器は、ユーザのタッチによって得られるセンサデータの特徴量と、タッチ以外によって得られるセンサデータの特徴量と、を教師データとしてあらかじめ学習処理により作成されたものである。このように、教師有り学習によってあらかじめ学習・生成した識別器を用いることで、タッチセンサから得られるセンサデータに基づいて、その入力がユーザのタッチによるものであるか否かが識別可能となる。   The discriminator is created in advance by a learning process using, as teacher data, a feature amount of sensor data obtained by a user's touch and a feature amount of sensor data obtained by other than the touch. In this way, by using a discriminator that has been learned and generated in advance by supervised learning, it is possible to identify whether or not the input is due to a user's touch based on sensor data obtained from the touch sensor.

本発明におけるセンサデータの特徴量は、キーポイントを含む部分領域における検出値の複数の方向についての勾配に基づいて算出することができる。複数の方向の勾配は、例えば、4方向や8方向であってよいが、その他であってもよい。   The feature amount of the sensor data in the present invention can be calculated based on gradients in a plurality of directions of detected values in a partial region including key points. The gradient in the plurality of directions may be, for example, 4 directions or 8 directions, but may be other.

また、本発明におけるセンサデータの特徴量は、キーポイントを含む部分領域に含まれる各センサについての複数の方向についての勾配からなる勾配情報の、重み付け和に基づいて算出してもよい。重み付け和における重みは、勾配方向に応じて異ならせることが好ましい。例えば、右方向の勾配については、キーポイントよりも右側(左側)にあるセンサおよびキーポイントと同じ左右位置にあるセンサについてのみ和を取り、キーポイントよりも左側(右側)にあるセンサについては重みをゼロやマイナスにする。また、上方向の勾配については、キーポイントよりも上側(下側)にあるセンサおよびキーポイントと同じ上下位置にあるセンサについてのみ和を取り、キーポイントよりも下側(上側)にあるセンサについては重みをゼロやマイナスにする。   The feature amount of the sensor data in the present invention may be calculated based on a weighted sum of gradient information composed of gradients in a plurality of directions for each sensor included in the partial region including the key point. The weights in the weighted sum are preferably made different according to the gradient direction. For example, for the gradient in the right direction, the sum is calculated only for the sensor located on the right side (left side) of the key point and the sensor located at the same left and right position as the key point, and weighted for the sensor located on the left side (right side) of the key point. To zero or minus. As for the upward gradient, only the sensor above and below the key point and the sensor at the same vertical position as the key point are summed, and the sensor below the key point (upper side) Sets the weight to zero or negative.

また、本発明におけるセンサデータの特徴量は、センサデータの時間変化に基づいて算出されることも好ましい。センサデータの時間変化は、現時点と所定時間前のセンサデータの差として表すことができる。現時点と所定時間前のセンサデータの差分について、上記のように勾配を用いて特徴量を算出することができる。また、現時点のセンサデータから求められる勾配と所定時間前のセンサデータから求められる勾配の差分を用いて特徴量を算出することもできる。センサデータの時間変化を考慮することで、タッチ動作の動的な特徴を表現できる。   In addition, the feature amount of the sensor data in the present invention is preferably calculated based on the time change of the sensor data. The time change of the sensor data can be expressed as a difference between the present time and sensor data before a predetermined time. With respect to the difference between the present time and the sensor data before a predetermined time, the feature amount can be calculated using the gradient as described above. Also, the feature amount can be calculated using a difference between the gradient obtained from the current sensor data and the gradient obtained from the sensor data a predetermined time ago. The dynamic characteristics of the touch motion can be expressed by taking into account the time change of the sensor data.

また、本発明における特徴量は、複数の大きさの部分領域からそれぞれ得られた値の組み合わせとすることもできる。   Further, the feature amount in the present invention may be a combination of values respectively obtained from a plurality of partial areas.

上記の複数の大きさの部分領域は、キーポイントを中心とする大きさの異なる矩形領域とすることが好ましい。ユーザによって指の大きさやタッチの仕方は異なるが、複数の大きさの部分領域を用いて特徴量を算出することで、ユーザの指の大きさやタッチの仕方にかかわらず精度良く識別可能となる。   The partial areas having a plurality of sizes are preferably rectangular areas having different sizes around the key point. Although the size of the finger and the way of touch differ depending on the user, the feature amount is calculated using partial areas of a plurality of sizes, so that it can be accurately identified regardless of the size of the user's finger and the way of touch.

また、前記タッチセンサは、複数の行方向電極と複数の列方向電極とからなり、前記部分領域は、行方向に所定幅を有する複数列からなる領域、または、列方向に所定幅を有する複数行からなる領域の少なくともいずれかを含む、ことも好ましい。各電極をスキャンしてセンサ検出値を取得する場合であって、タッチセンサに電磁ノイズが印加された場合は、スキャン方式に応じた特有のパターンでセンサ検出値が変動する。したがって、上記のような領域を採用することで、電磁ノイズの印加を精度良く検出できる。   The touch sensor includes a plurality of row direction electrodes and a plurality of column direction electrodes, and the partial region includes a plurality of columns having a predetermined width in the row direction or a plurality of predetermined widths in the column direction. It is also preferable that it includes at least one of regions composed of rows. When the sensor detection value is acquired by scanning each electrode, and the electromagnetic noise is applied to the touch sensor, the sensor detection value varies with a specific pattern corresponding to the scanning method. Therefore, application of electromagnetic noise can be detected with high accuracy by employing the above-described region.

また、本発明における前記キーポイント決定手段は、所定の大きさの領域内において検出値が極大値をとる位置を前記キーポイントと決定する、ことも好ましい。   Moreover, it is also preferable that the key point determining means in the present invention determines a position where the detected value has a maximum value within an area of a predetermined size as the key point.

また、本発明における信号処理装置は、各センサの検出値が閾値以上であるか否か判定する閾値判定手段をさらに有し、前記キーポイント決定手段は、前記閾値より小さい検出値はキーポイントとしては検出しない、ことも好ましい。この閾値処理により、電磁的ノイズが印加されてノイズの影響でセンサ検出値が極大値をとる場合であっても、キーポイントではないと判断できる。   Further, the signal processing device according to the present invention further includes a threshold determination unit that determines whether or not a detection value of each sensor is equal to or greater than a threshold, and the key point determination unit determines that a detection value smaller than the threshold is a key point. It is also preferred that no be detected. By this threshold processing, even when electromagnetic noise is applied and the sensor detection value takes the maximum value due to the influence of the noise, it can be determined that it is not a key point.

また、本発明の別の態様は、複数のセンサを有するタッチセンサと、上記の信号処理装置とを備える入力装置である。   Another aspect of the present invention is an input device including a touch sensor having a plurality of sensors and the signal processing device.

本発明は、上記手段の少なくとも一部を備える信号処理装置として捉えることができる。また、本発明は、上記手段が行う処理の少なくとも一部を実行する信号処理方法として捉えることもできる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。   The present invention can be understood as a signal processing apparatus including at least a part of the above means. The present invention can also be understood as a signal processing method for executing at least a part of the processing performed by the above means. The present invention can also be understood as a computer program for causing a computer to execute this method, or a computer-readable storage medium in which this computer program is stored non-temporarily. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.

本発明によれば、タッチセンサへの入力がユーザの指によるタッチによるものか、それ以外の要因によるものかを識別することができる。   According to the present invention, it is possible to identify whether the input to the touch sensor is due to touch by a user's finger or due to other factors.

タッチセンサを備える入力装置の機能ブロックを示す図である。It is a figure which shows the functional block of an input device provided with a touch sensor. タッチセンサおよび信号取得部の構成を示す図である。It is a figure which shows the structure of a touch sensor and a signal acquisition part. 識別器作成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a discriminator preparation process. センサデータの識別処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the identification process of sensor data. キーポイント抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a keypoint extraction process. 特徴量取得処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a feature-value acquisition process. 特徴量取得処理を説明する図である。It is a figure explaining a feature-value acquisition process. 特徴量取得の際にキーポイントの周囲に設定される検出エリアを説明する図である。It is a figure explaining the detection area set around a key point in the case of feature-value acquisition. センサ検出器の輝度勾配を取得するための微分フィルタを説明する図である。It is a figure explaining the differential filter for acquiring the brightness | luminance gradient of a sensor detector. 重み付け平均勾配ベクトルを算出する際の重み係数を説明する図である。It is a figure explaining the weighting coefficient at the time of calculating a weighted average gradient vector. 検出エリアの別の例を説明する図である。It is a figure explaining another example of a detection area.

(第1の実施形態)
<構成>
図1,図2を参照して本実施形態に係る入力装置1について説明する。本実施形態に係る入力装置1は、図1に示すように、タッチセンサ10とマイクロコントロールユニット(MCU)20とを含む。
(First embodiment)
<Configuration>
The input device 1 according to the present embodiment will be described with reference to FIGS. As illustrated in FIG. 1, the input device 1 according to the present embodiment includes a touch sensor 10 and a micro control unit (MCU) 20.

本実施形態では、タッチセンサ10として投影型静電容量方式のタッチセンサを用いる。タッチセンサ10は、タッチパッドであってもよいし、表示パネルと組み合わせて用いられるタッチスクリーン(タッチパネル)であってもよい。   In the present embodiment, a projected capacitive touch sensor is used as the touch sensor 10. The touch sensor 10 may be a touch pad or a touch screen (touch panel) used in combination with a display panel.

MCU20は、プロセッサ(演算装置)、メモリ、入出力インタフェースなどを備え、メモリ内に格納されたプログラムをプロセッサが実行することによって信号取得部21、キーポイント抽出部22、特徴量取得部23、識別器24、出力部25の機能を提供する
。MCU20は、上記の機能以外の機能を提供してもよい。なお、これらの機能の一部または全部は、ASICなどの専用回路によって実現されてもよい。
The MCU 20 includes a processor (arithmetic unit), a memory, an input / output interface, and the like, and when the processor executes a program stored in the memory, the signal acquisition unit 21, the key point extraction unit 22, the feature amount acquisition unit 23, and the identification The functions of the device 24 and the output unit 25 are provided. The MCU 20 may provide functions other than the above functions. Note that some or all of these functions may be realized by a dedicated circuit such as an ASIC.

図2は、タッチセンサ10と信号取得部21の構成を詳細に示した図である。タッチセンサ10は、マトリクス状に配置された、複数の列方向電極X0〜X9と複数の行方向電極Y0〜Y9を有する。列方向電極X0〜X9と行方向電極Y0〜Y9の交点のそれぞれがコンデンサを構成する。ユーザがタッチセンサ10をタッチしたときには、タッチ位置のコンデンサの静電容量が変化するので、静電容量の変化に伴う充放電電流に基づいてタッチ位置が検出できる。すなわち、タッチセンサ10は相互容量方式のタッチセンサである。列方向電極と行方向電極の交点に構成されるコンデンサはタッチを検出するセンサと捉えられ、タッチセンサ10は複数のセンサを有するタッチセンサといえる。   FIG. 2 is a diagram showing the configuration of the touch sensor 10 and the signal acquisition unit 21 in detail. The touch sensor 10 includes a plurality of column direction electrodes X0 to X9 and a plurality of row direction electrodes Y0 to Y9 arranged in a matrix. Each intersection of the column direction electrodes X0 to X9 and the row direction electrodes Y0 to Y9 constitutes a capacitor. When the user touches the touch sensor 10, the capacitance of the capacitor at the touch position changes, so that the touch position can be detected based on the charge / discharge current accompanying the change in the capacitance. That is, the touch sensor 10 is a mutual capacitive touch sensor. The capacitor formed at the intersection of the column direction electrode and the row direction electrode is regarded as a sensor for detecting a touch, and the touch sensor 10 can be said to be a touch sensor having a plurality of sensors.

ここでは、列方向電極と行方向電極の数をそれぞれ10個であるとして説明するが、その数は任意であってよく、行方向電極と列方向電極の数が同じである必要もない。また、ここでは電極の形状を長方形(短冊形状)として示しているが、菱形電極を用いてもよい。   Here, the number of column-direction electrodes and the number of row-direction electrodes is assumed to be ten, but the number may be arbitrary, and the number of row-direction electrodes and column-direction electrodes does not need to be the same. Moreover, although the shape of the electrode is shown as a rectangle (strip shape) here, a rhombus electrode may be used.

列方向電極X0〜X9は信号取得部21の駆動部211と配線で接続され、行方向電極Y0〜Y9は信号取得部21の検出部212と配線で接続されている。駆動部211は、コントローラ213からの制御信号にしたがって、駆動信号を生成し、列方向電極X0〜X9を1つずつ選択して駆動信号を印加する。検出部212は、コントローラ213からの制御信号にしたがって、行方向電極Y0〜Y9を1つずつ選択し、列方向電極X0〜X9に印加された駆動信号に応じて行方向電極Y0〜Y9に流れる充放電電流を出力信号として取得する。検出部212は、行方向電極Y0〜Y9のそれぞれから取得した出力信号に基づいて、列方向電極X0〜X9と行方向電極Y0〜Y9の交点に構成されるコンデンサの静電容量を検出して、各コンデンサの静電容量を示す検出信号を出力する。以下では、それぞれのコンデンサの静電容量の値をセンサ検出値と称し、全てのコンデンサのセンサ検出値からなるデータをセンサデータと称する。   The column direction electrodes X0 to X9 are connected to the drive unit 211 of the signal acquisition unit 21 through wiring, and the row direction electrodes Y0 to Y9 are connected to the detection unit 212 of the signal acquisition unit 21 through wiring. The drive unit 211 generates a drive signal in accordance with a control signal from the controller 213, selects the column direction electrodes X0 to X9 one by one, and applies the drive signal. The detection unit 212 selects the row direction electrodes Y0 to Y9 one by one in accordance with the control signal from the controller 213, and flows to the row direction electrodes Y0 to Y9 according to the drive signal applied to the column direction electrodes X0 to X9. Charge / discharge current is acquired as an output signal. The detection unit 212 detects the capacitance of the capacitor configured at the intersection of the column direction electrodes X0 to X9 and the row direction electrodes Y0 to Y9 based on output signals acquired from the row direction electrodes Y0 to Y9. The detection signal indicating the capacitance of each capacitor is output. Hereinafter, the capacitance value of each capacitor is referred to as a sensor detection value, and data including sensor detection values of all capacitors is referred to as sensor data.

MCU20は、信号取得部21がタッチセンサ10から取得したセンサ検出値から、ユーザのタッチ操作による入力が行われたか否かの判定と、タッチ操作が行われた場合にはタッチ位置を求めて出力する   The MCU 20 determines from the sensor detection value acquired by the signal acquisition unit 21 from the touch sensor 10 whether or not an input by a user's touch operation has been performed, and obtains and outputs a touch position when the touch operation has been performed. Do

<処理>
以下、MCU20によって行われる処理について説明する。処理内容は、学習フェーズと識別フェーズの2つに分けられる。学習フェーズは、ユーザのタッチによって得られるセンサデータと、タッチ以外のノイズによって得られるセンサでデータを用いて、教師有り学習により識別器24を作成する段階である。識別フェーズは、識別器24を用いて、タッチセンサ10への入力がタッチによるものか否かの判定を行う段階である。
<Processing>
Hereinafter, processing performed by the MCU 20 will be described. The processing content is divided into a learning phase and an identification phase. The learning phase is a stage in which the discriminator 24 is created by supervised learning using sensor data obtained by a user's touch and data obtained by noise other than touch. The identification phase is a stage in which it is determined whether or not the input to the touch sensor 10 is due to a touch using the classifier 24.

[1.学習フェーズ]
図3は、学習フェーズにおける識別器作成処理の流れを示すフローチャートである。以下では、この処理をMCU20が行うものとして説明するが、当該処理はMCU20以外の装置で行ってもよい。
[1. Learning phase]
FIG. 3 is a flowchart showing the flow of classifier creation processing in the learning phase. Below, although this process is demonstrated as what MCU20 performs, you may perform the said process with apparatuses other than MCU20.

まず、MCU20は信号取得部21を介して、タッチセンサ10からセンサデータを取得する(S101)とともに、このタッチセンサ10への入力がユーザのタッチによるものかノイズによるものであるかを示す正解データを取得する(S102)。ここでは、センサデータを取得してから正解データを取得するとしているが、この順序は逆であってもよい。また、タッチセンサ10からあらかじめセンサデータを取得し、正解データと関連
付けて記憶しておき、これらのデータを読み込むことによりセンサデータと正解データを同時に取得してもよい。
First, the MCU 20 acquires sensor data from the touch sensor 10 via the signal acquisition unit 21 (S101), and correct data indicating whether the input to the touch sensor 10 is due to a user's touch or noise. Is acquired (S102). Here, it is assumed that the correct data is acquired after the sensor data is acquired, but this order may be reversed. Alternatively, sensor data may be acquired from the touch sensor 10 in advance, stored in association with correct answer data, and sensor data and correct answer data may be acquired simultaneously by reading these data.

[[キーポイント抽出処理]]
次に、キーポイント抽出部22が、センサデータからキーポイント(特徴点)を取得する(S103)。キーポイント抽出処理S103の詳細を図5に示す。キーポイント抽出処理S103では、以下のステップS301〜S303の処理を全てのピクセル(位置)に対して行う(ループL1)。なお、センサデータはマトリクス状に配列された複数のセンサ(コンデンサ)の検出値(静電容量変化)の集合であるので、以下では、センサデータにおけるセンサ検出値の位置をピクセルとも称する。また、ピクセルという用語はセンサ検出値に対応するセンサを参照する際にも用いられる。例えば、隣接ピクセルとは、あるセンサに隣接するセンサを指す。
[[Keypoint extraction process]]
Next, the key point extraction unit 22 acquires key points (feature points) from the sensor data (S103). Details of the key point extraction processing S103 are shown in FIG. In the key point extraction process S103, the following steps S301 to S303 are performed on all pixels (positions) (loop L1). Since sensor data is a set of detection values (capacitance changes) of a plurality of sensors (capacitors) arranged in a matrix, hereinafter, the position of the sensor detection value in the sensor data is also referred to as a pixel. The term pixel is also used when referring to a sensor corresponding to a sensor detection value. For example, an adjacent pixel refers to a sensor adjacent to a certain sensor.

キーポイント抽出部22は、センサ検出値が閾値以上であるか否か判定する(S301)。対象位置のセンサ検出値が閾値未満であれば(S301−NO)、対象ピクセルはキーポイントではないと判定される。一方、対象ピクセルのセンサ検出値が閾値以上であれば(S301−YES)、キーポイント抽出部22は、対象ピクセルのセンサ検出値が当該位置を中心とする所定の周辺領域における極大値であるか否か判定する(S302)。対象ピクセルのセンサ検出値が極大値でなければ(S302−NO)、対象ピクセルはキーポイントではないと判定される。一方、対象ピクセルのセンサ検出値が極大値をとれば(S302−YES)、キーポイント抽出部22は、当該ピクセルをキーポイントとして抽出する(S303)。   The key point extraction unit 22 determines whether or not the sensor detection value is greater than or equal to a threshold value (S301). If the sensor detection value at the target position is less than the threshold value (S301-NO), it is determined that the target pixel is not a key point. On the other hand, if the sensor detection value of the target pixel is equal to or greater than the threshold value (S301-YES), the key point extraction unit 22 determines whether the sensor detection value of the target pixel is a maximum value in a predetermined peripheral region centered on the position. It is determined whether or not (S302). If the sensor detection value of the target pixel is not the maximum value (S302-NO), it is determined that the target pixel is not a key point. On the other hand, if the sensor detection value of the target pixel has a maximum value (S302-YES), the key point extraction unit 22 extracts the pixel as a key point (S303).

なお、ステップS301の閾値処理における閾値の値は、センサ検出値がそれ未満の値であれば、タッチセンサ10に対してタッチによる入力が行われていないと判定できる値とする。なお、タッチの検出漏れを防ぐために、閾値の値は過度に大きくしないことが好ましい。   Note that the threshold value in the threshold processing of step S301 is a value that can be determined that touch input is not performed on the touch sensor 10 if the sensor detection value is less than that. In order to prevent omission of touch detection, the threshold value is preferably not excessively increased.

また、ステップS302の極大値判定における所定の周辺領域の大きさは、タッチセンサ10の分解能によって決定すればよく、例えば、3×3や5×5のサイズの正方形領域とすることができる。   In addition, the size of the predetermined peripheral area in the local maximum determination in step S302 may be determined by the resolution of the touch sensor 10, and may be a square area having a size of 3 × 3 or 5 × 5, for example.

[[特徴量算出処理]]
キーポイントが抽出されると、特徴量取得部23がそれぞれのキーポイントについて特徴量を算出する(S104)。図6は、特徴量算出処理S104の流れを示すフローチャートであり、図7は特徴量算出処理S104を説明する図である。特徴量算出処理S104では、図7に示すように、1つのキーポイントKに対して複数の検出エリアD1〜Dnが設定され、それぞれに検出エリアについてセンサ検出値の平均勾配ベクトルG1〜Gnが算出され、これらの平均勾配ベクトルから特徴量Sが算出される。
[[Feature value calculation processing]]
When key points are extracted, the feature amount acquisition unit 23 calculates feature amounts for the respective key points (S104). FIG. 6 is a flowchart showing the flow of the feature quantity calculation process S104, and FIG. 7 is a diagram for explaining the feature quantity calculation process S104. In the feature amount calculation processing S104, as shown in FIG. 7, a plurality of detection areas D1 to Dn are set for one key point K, and average gradient vectors G1 to Gn of sensor detection values are calculated for each detection area. Then, the feature amount S is calculated from these average gradient vectors.

図6のフローチャートを参照して、特徴量取得処理S104を詳細に説明する。特徴量は、ステップS103において検出されたキーポイントのそれぞれについて算出される(ループL2)。特徴量取得部23は、処理対象のキーポイントに対して、当該キーポイントを中心とする複数の大きさの検出エリアを設定する。図8に検出エリアの例を示す。図8(A)は、キーポイントKを中心とする3×3の大きさの検出エリアD1を示す。図8(B)は、キーポイントKを中心とする5×5の大きさの検出エリアD2を示す。このように複数の大きさの検出エリアを設定する理由は、ユーザの指の大きさやタッチの仕方によって、静電容量が変化する範囲が異なるからである。図8(C)に細い指でタッチした場合のセンサデータと、図8(D)に太い指でタッチした場合のセンサデータを示す。複数のタッチの仕方に応じた検出エリアを設定して、それに基づいて特徴量を取得すること
で、どのような指あるいはタッチの仕方であっても特徴を的確に表現できるようになる。
The feature amount acquisition process S104 will be described in detail with reference to the flowchart of FIG. The feature amount is calculated for each of the key points detected in step S103 (loop L2). The feature amount acquisition unit 23 sets a detection area having a plurality of sizes with the key point as a center for the key point to be processed. FIG. 8 shows an example of the detection area. FIG. 8A shows a detection area D1 having a size of 3 × 3 with the key point K as the center. FIG. 8B shows a detection area D2 having a size of 5 × 5 with the key point K as the center. The reason for setting the detection areas having a plurality of sizes in this manner is that the range in which the capacitance changes varies depending on the size of the user's finger and the manner of touching. FIG. 8C shows sensor data when touched with a thin finger, and FIG. 8D shows sensor data when touched with a thick finger. By setting a detection area corresponding to a plurality of touching methods and acquiring a feature amount based on the detection area, the feature can be accurately expressed by any finger or touching method.

ここでは、検出エリアの例として2つだけ示したが、ステップS401において設定する検出エリアの数nはいくつであってもよい。想定される指の大きさやタッチの癖などに応じて、タッチによって静電容量が変化する範囲が異なる。想定する入力に応じて、それぞれの範囲に対応する検出エリアを設定すればよい。なお、検出エリア数nは1であっても構わない。   Here, only two detection areas are shown as examples, but the number n of detection areas set in step S401 may be any number. The range in which the capacitance changes depending on the touch varies depending on the assumed finger size, touch heel, and the like. A detection area corresponding to each range may be set according to an assumed input. The number n of detection areas may be 1.

また、ここでは、検出エリアの例として処理対象キーポイントを中心とする正方形を挙げたが、検出エリアは必ずしも正方形でなくてよく、矩形(長方形)、円形、楕円形など任意の形状であってもよい。また、キーポイントにおける勾配方向に応じて検出エリアの向きを変えてもよい。   In addition, here, a square centering on the processing target key point is given as an example of the detection area. However, the detection area is not necessarily a square, and may be any shape such as a rectangle (rectangle), a circle, or an ellipse. Also good. Further, the direction of the detection area may be changed according to the gradient direction at the key point.

特徴量取得部23は、次に、設定されたそれぞれの検出エリアを対象にステップS402〜S403の処理を実行する(ループL3)。特徴量取得部23は、検出エリア内の各ピクセルについて、8方向の勾配からなる勾配情報(勾配ベクトル)を算出する(S402)。図9(A)〜9(C)に、右方向勾配、上方向勾配、右上方向勾配を算出するための微分フィルタの例をそれぞれ示す。ここでは、算出する勾配方向に所定ピクセル数離れた位置でのセンサ検出値と、キーポイントでのセンサ検出値の差を当該勾配方向の勾配値として算出している。この例では所定ピクセル数として2ピクセルを採用しているが、隣接ピクセルの値を用いてもよいし3つ以上離れたピクセルの値を用いてもよい。また、この所定ピクセル数は、検出エリアの大きさに応じて変化させてもよい。また、ここでは、前進差分を採用しているが、後退差分や中央差分を採用してもよい。また、ソーベルフィルタやプレウィットフィルタなどを採用してもよい。   Next, the feature quantity acquisition unit 23 executes the processes of steps S402 to S403 for each set detection area (loop L3). The feature amount acquisition unit 23 calculates gradient information (gradient vector) including gradients in eight directions for each pixel in the detection area (S402). 9A to 9C show examples of differential filters for calculating the right direction gradient, the upward direction gradient, and the upper right direction gradient, respectively. Here, the difference between the sensor detection value at a position away from the predetermined number of pixels in the gradient direction to be calculated and the sensor detection value at the key point is calculated as the gradient value in the gradient direction. In this example, two pixels are adopted as the predetermined number of pixels, but the value of an adjacent pixel may be used, or the value of a pixel separated by three or more may be used. The predetermined number of pixels may be changed according to the size of the detection area. Further, here, the forward difference is adopted, but a backward difference or a central difference may be adopted. A Sobel filter, a pre-witt filter, or the like may be employed.

特徴量取得部23は、検出エリア内の全ての位置について求めた勾配情報(勾配ベクトル)の重み付き平均勾配ベクトルを算出する(S403)。検出エリアDnについての重み付き平均勾配ベクトルは、下記式に示すように、各方向についての勾配値の重み付き平均を要素とするベクトルである。

Figure 2016177343
The feature quantity acquisition unit 23 calculates a weighted average gradient vector of the gradient information (gradient vector) obtained for all positions in the detection area (S403). The weighted average gradient vector for the detection area Dn is a vector having as an element the weighted average of the gradient values for each direction, as shown in the following equation.
Figure 2016177343

ここで、g(x,y)〜g(x,y)は位置(x,y)における8方向の勾配値である。w〜wは8方向のそれぞれについての重み係数である。総和(シグマ)は検出エリアDn全体を対象とする。 Here, g 0 (x, y) to g 7 (x, y) are gradient values in eight directions at the position (x, y). w 0 to w 7 are weighting factors for each of the eight directions. The sum (sigma) covers the entire detection area Dn.

重み係数は勾配方向ごとに異なった値(パターン)を採用する。例えば、右方向勾配に関しては、図10(B)に示すように、キーポイントのx位置と同じかそれよりも左側にあるピクセルについてのみ重み係数を1として、その他のピクセルを0とする。センサ検出値は図10(A)に示すようにキーポイントで極大をとる。図10は、キーポイントと同じy位置のセンサから得られるセンサ検出値を、キーポイントを中心として示した図である。したがって、キーポイントの右側と左側で右方向勾配値の符号が逆転する。そこで、キーポイントのx位置と同じかそれよりも左側にあるピクセルについてのみの勾配値の平均を取ることで、符号の異なる勾配値が打ち消すことを防止できる。なお、右方向勾配に関して、キーポイントのx位置と同じかそれよりも右側にあるピクセルについてのみ重み係数を1として、その他のピクセルを0としても同様の効果が得られる。またここでは、重み係数を1と0としているが、0と1の間の値を採用するようにしてもよい。   A different value (pattern) is used for the weighting factor for each gradient direction. For example, with respect to the rightward gradient, as shown in FIG. 10B, the weight coefficient is set to 1 only for pixels that are the same as the x position of the key point or on the left side, and the other pixels are set to 0. The sensor detection value has a maximum at a key point as shown in FIG. FIG. 10 is a diagram showing sensor detection values obtained from the sensor at the same y position as the key point, with the key point as the center. Therefore, the sign of the right gradient value is reversed between the right side and the left side of the key point. Therefore, it is possible to prevent the gradient values having different signs from being canceled by averaging the gradient values only for the pixels that are the same as the x position of the key point or the left side thereof. Regarding the right gradient, the same effect can be obtained even if the weighting factor is set to 1 only for pixels that are the same as the x position of the key point or on the right side, and the other pixels are set to 0. Although the weighting factors are 1 and 0 here, a value between 0 and 1 may be adopted.

全ての検出エリアについて平均勾配ベクトルが算出されたら、特徴量取得部23は、これらの平均勾配ベクトルからキーポイントの特徴量を算出する(S404)。ここでは、下記式に示すように、各検出エリアについて求められる平均勾配ベクトルの要素を組み合わせたベクトルを、特徴量Sとする。

Figure 2016177343
When the average gradient vector is calculated for all the detection areas, the feature amount acquisition unit 23 calculates the feature amount of the key point from these average gradient vectors (S404). Here, as shown in the following formula, a vector obtained by combining elements of the average gradient vector obtained for each detection area is defined as a feature amount S.
Figure 2016177343

[[識別器生成処理]]
ステップS105の学習処理では、以上のようにして取得された、タッチ入力のセンサデータから得られる特徴量と、ノイズのセンサデータから得られる特徴量とを用いて機械学習を行うことで、タッチセンサへの入力がタッチによるものかどうかを識別する識別器が作成される。識別器として、ニューラルネットワークやサポートベクターマシン(SVM)、部分空間法、判別分析など既知の任意の手法を採用可能である。ステップS105の学習処理により、識別器24が生成される。
[[Classifier generation processing]]
In the learning process in step S105, the touch sensor is obtained by performing machine learning using the feature amount obtained from the sensor data of the touch input and the feature amount obtained from the sensor data of noise acquired as described above. A discriminator is created that identifies whether the input to is due to touch. As the discriminator, any known method such as a neural network, a support vector machine (SVM), a subspace method, or discriminant analysis can be adopted. The discriminator 24 is generated by the learning process in step S105.

[2.識別フェーズ]
図4は、識別フェーズにおけるセンサデータの処理の流れを示すフローチャートである。この処理は、MCU20によって行われる。
[2. Identification phase]
FIG. 4 is a flowchart showing the flow of sensor data processing in the identification phase. This process is performed by the MCU 20.

MCU20は信号取得部21を介して、タッチセンサ10からセンサデータを取得する(S201)。キーポイント抽出部22が、センサデータからキーポイントを抽出する(S202)。キーポイント抽出処理は、学習処理における処理(図5)と同様であるので説明を省略する。キーポイントが抽出されると、特徴量取得部23が、それぞれのキーポイントについて特徴量を算出する(S203)。特徴量算出処理は、学習処理における処理(図6,7等)と同様であるので説明を省略する。   The MCU 20 acquires sensor data from the touch sensor 10 via the signal acquisition unit 21 (S201). The key point extraction unit 22 extracts key points from the sensor data (S202). The key point extraction process is the same as the process in the learning process (FIG. 5), and thus description thereof is omitted. When key points are extracted, the feature amount acquisition unit 23 calculates feature amounts for the respective key points (S203). Since the feature amount calculation process is the same as the process in the learning process (FIGS. 6 and 7, etc.), the description thereof is omitted.

次に、それぞれのキーポイントについて算出された特徴量を識別器24に入力して、この特徴量がタッチ入力によって得られるものであるかどうかを識別する(S204)。識別処理の結果が「タッチ入力」であると判別された場合(S204−YES)には、MCU20はタッチ操作が行われた際の処理を実行する(S206)。具体的には、キーポイントの位置をタッチ位置とする出力を出力部25から出力し、このタッチ操作に応じた処理を実行する。一方、識別の結果が「タッチ入力」ではない場合(S204−NO)は、MCU20はノイズを検知した際の処理を実行する(S207)。典型的には、センサデータを無視して何も処理を行わない。   Next, the feature quantity calculated for each key point is input to the discriminator 24, and it is identified whether or not this feature quantity is obtained by touch input (S204). When it is determined that the result of the identification process is “touch input” (S204—YES), the MCU 20 executes a process when a touch operation is performed (S206). Specifically, an output with the position of the key point as the touch position is output from the output unit 25, and processing corresponding to this touch operation is executed. On the other hand, when the identification result is not “touch input” (S204—NO), the MCU 20 executes processing when noise is detected (S207). Typically, the sensor data is ignored and no processing is performed.

<本実施形態の有利な効果>
本実施形態によれば、タッチセンサへの入力がユーザのタッチによるものか、ノイズによるものであるかを判別できる。この際、キーポイントを中心に想定される指のサイズ等に応じた複数の大きさの検出エリアを設定し、それぞれから得られるセンサ検出値の勾配を特徴量として用いているので、ユーザの指の大きさやタッチの癖などによらず精度良く、タッチ入力か否かを識別できる。したがって、タッチセンサに電磁ノイズが印加されたり、水濡れが発生したりした場合であっても、誤検出を防止できる。
<Advantageous effects of this embodiment>
According to the present embodiment, it can be determined whether the input to the touch sensor is due to a user touch or due to noise. At this time, detection areas of a plurality of sizes corresponding to the assumed finger size etc. are set around the key point, and the gradient of the sensor detection value obtained from each is used as the feature amount. Whether the input is touch input or not can be identified with high accuracy regardless of the size of the screen or the wrinkle of the touch. Therefore, erroneous detection can be prevented even when electromagnetic noise is applied to the touch sensor or water wetness occurs.

また、タッチ位置の候補(キーポイント)を取得する際に、センサ検出値が閾値以上の位置を検出しており、ノイズによってセンサ検出値が極大となる位置を除外できる。なお、この閾値処理によって、ノイズに基づく極大値を全て除外する必要はない。後段の識別器を用いた処理によって、タッチかノイズかを判別できるので、キーポイント抽出のための閾値を小さくしても構わない。   Further, when acquiring a touch position candidate (key point), a position where the sensor detection value is equal to or greater than the threshold value is detected, and a position where the sensor detection value becomes maximum due to noise can be excluded. Note that it is not necessary to exclude all maximum values based on noise by this threshold processing. Since it is possible to discriminate between touch and noise by processing using the discriminator at the subsequent stage, the threshold for key point extraction may be reduced.

また、信号処理によりノイズ(電磁ノイズを含む)を検出できるので、タッチセンサのシールド性能が高くなくても誤検出を抑制できる。したがって、安価なタッチセンサを用いた場合でも、誤検出を抑制できる。   Moreover, since noise (including electromagnetic noise) can be detected by signal processing, erroneous detection can be suppressed even if the shield performance of the touch sensor is not high. Therefore, erroneous detection can be suppressed even when an inexpensive touch sensor is used.

(第2の実施形態)
第2の実施形態は、基本的に第1の実施形態と同様であるが、特徴量を取得する際に設定する検出エリアが第1の実施形態と異なる。第2の実施形態では、図8に示すようにキーポイントを中心とする正方形の検出エリアを用いていた。本実施形態では、図11(A)に示すように、キーポイントを含み行方向に所定幅を有する複数列の列方向電極に対応する領域を検出エリアとして用いる。図11(A)では、3列分の幅を有する検出エリアを示しているが、検出エリアの幅は3列以外であってもよい。また、第1の実施形態と同様に、複数の異なる幅の検出エリアを採用するとよい。
(Second Embodiment)
The second embodiment is basically the same as the first embodiment, but the detection area that is set when acquiring the feature amount is different from that of the first embodiment. In the second embodiment, as shown in FIG. 8, a square detection area centered on the key point is used. In the present embodiment, as shown in FIG. 11A, an area corresponding to a plurality of columns of column direction electrodes including key points and having a predetermined width in the row direction is used as a detection area. Although FIG. 11A shows a detection area having a width of three rows, the width of the detection area may be other than three rows. Further, as in the first embodiment, a plurality of detection areas having different widths may be employed.

このような検出エリアを採用する利点を説明する。タッチセンサ10に電磁ノイズが印加されるとタッチによる入力がない場合でも、タッチセンサの静電容量は変化し、センサ検出値が電磁ノイズに応じた値を持つ。図11(B)は、電磁ノイズが印加された時のセンサ検出値を示す。電磁ノイズの強度は時間とともに変動し、タッチセンサ10は選択列ごとにセンサ検出値が読み取られるので、タッチによる入力がなくても列方向電極ごとに所定のセンサ検出値が得られることになる。したがって、検出エリアを複数の列電極からなる領域とすることで、電磁ノイズが印加された場合の特徴を適確に表現することができ、電磁ノイズの印加をより精度良く検出することができる。   The advantage of adopting such a detection area will be described. When electromagnetic noise is applied to the touch sensor 10, the capacitance of the touch sensor changes even when there is no touch input, and the sensor detection value has a value corresponding to the electromagnetic noise. FIG. 11B shows sensor detection values when electromagnetic noise is applied. The intensity of the electromagnetic noise varies with time, and the touch sensor 10 reads the sensor detection value for each selected column, so that a predetermined sensor detection value can be obtained for each column direction electrode even when there is no input by touch. Therefore, by setting the detection area to be an area composed of a plurality of column electrodes, it is possible to accurately represent the characteristics when electromagnetic noise is applied, and to detect the application of electromagnetic noise more accurately.

なお、キーポイントを含み列方向に所定幅を有する複数行の行方向電極に対応する領域を検出エリアとして用いてもよい。このように検出エリアを設定しても、上記と同様の理由により、電磁ノイズが印加された場合の特徴を適確に特徴量として表現することができ、電磁ノイズの印加をより精度良く検出することができる。   Note that a region corresponding to a plurality of row-direction electrodes including key points and having a predetermined width in the column direction may be used as the detection area. Even if the detection area is set in this way, for the same reason as described above, it is possible to accurately represent the feature when electromagnetic noise is applied as a feature amount, and to detect the application of electromagnetic noise more accurately. be able to.

本実施形態で説明した、複数の列方向電極あるいは行方向電極からなる検出エリアだけを用いて特徴量を求めてもよいし、第1の実施形態で用いた正方形の検出エリアに加えて本実施形態で説明した検出エリアを用いてもよい。第1の実施形態で用いた複数の大きさの正方形の検出エリア、本実施形態で用いた複数列からなる検出エリアと複数行からなる検出エリアのそれぞれを用いることも好ましい。複数種類の検出エリアを用いることで、演算量が増えるものの、より精度良くタッチ入力とノイズとを識別可能となる。   The feature amount may be obtained using only the detection area composed of a plurality of column-direction electrodes or row-direction electrodes described in this embodiment, or in addition to the square detection area used in the first embodiment. You may use the detection area demonstrated by the form. It is also preferable to use each of a plurality of square detection areas used in the first embodiment, a detection area composed of a plurality of columns, and a detection area composed of a plurality of rows used in the present embodiment. By using a plurality of types of detection areas, the amount of calculation increases, but it is possible to identify touch input and noise more accurately.

(第3の実施形態)
第3の実施形態は、基本的に第1の実施形態と同様であるが、特徴量の算出方法が第1の実施形態と異なる。第1の実施形態では、ある時点で取得されるセンサデータのみに基づいて特徴量を求めているが、本実施形態では、所定時間前のセンサデータも用いて特徴量を算出する。所定時間前のセンサデータとは、1フレーム前のセンサデータであってもよいし、数フレーム前のセンサデータであってもよい。
(Third embodiment)
The third embodiment is basically the same as the first embodiment, but the feature amount calculation method is different from that of the first embodiment. In the first embodiment, the feature amount is obtained based only on the sensor data acquired at a certain time point. However, in the present embodiment, the feature amount is calculated using the sensor data before a predetermined time. The sensor data before a predetermined time may be sensor data one frame before, or may be sensor data several frames before.

本実施形態においては、現時点のセンサデータと所定時間前(例えば1フレーム前)のセンサデータとの差分を対象として、第1の実施形態と同様の特徴量算出処理(図6)を実行して、キーポイントに対する特徴量を取得する。なお、キーポイントの抽出処理は第1の実施形態と同様に現時点のセンサデータに基づいて行われる。   In the present embodiment, a feature amount calculation process (FIG. 6) similar to that of the first embodiment is executed for the difference between the current sensor data and the sensor data a predetermined time ago (for example, one frame before). , Get feature values for key points. Note that the key point extraction processing is performed based on the current sensor data as in the first embodiment.

なお、本実施形態で説明したセンサデータの時間変化のみから特徴量を取得してもよいし、現時点のセンサデータ自体とセンサデータの時間変化の両方から特徴量を取得してもよい。後者の場合には、現時点のセンサデータから得られる重み付き平均勾配ベクトルと
、センサデータの時間変化から得られる重み付き平均勾配ベクトルとを合成したベクトル情報を特徴量として用いればよい。
Note that the feature amount may be acquired only from the time change of the sensor data described in the present embodiment, or the feature amount may be acquired from both the current sensor data itself and the time change of the sensor data. In the latter case, vector information obtained by combining the weighted average gradient vector obtained from the current sensor data and the weighted average gradient vector obtained from the temporal change of the sensor data may be used as the feature amount.

上記では、現時点のセンサデータと所定時間前のセンサデータの差分に対して、第1の実施形態で説明した特徴量算出処理を行って特徴量を算出するものとして説明したが、センサデータの時間変化を反映する手法であれば、その他の方法によって特徴量を算出してもよい。例えば、現時点のセンサデータと所定時間前のセンサデータのそれぞれに対して、第1の実施形態で説明した特徴量算出処理を行い、得られた結果の時間変化(差分)を特徴量としてもよい。   In the above description, the feature amount is calculated by performing the feature amount calculation process described in the first embodiment on the difference between the current sensor data and the sensor data before a predetermined time. The feature amount may be calculated by another method as long as it reflects the change. For example, the feature amount calculation process described in the first embodiment may be performed on each of the current sensor data and the sensor data before a predetermined time, and the temporal change (difference) of the obtained result may be used as the feature amount. .

本実施形態によれば、センサデータの時系列変化を用いることで、タッチの形状だけでなく、タッチの形状の時間変化を特徴量として取得することができ、タッチ動作の動的特徴を表現できる。   According to the present embodiment, by using time-series changes in sensor data, not only the shape of the touch but also the temporal change in the shape of the touch can be acquired as a feature amount, and the dynamic characteristics of the touch operation can be expressed. .

(第4の実施形態)
第1の実施形態では、識別器によってタッチセンサへの入力がタッチによるものかノイズによるものかだけを識別しているが、本実施形態では、ノイズの要因も識別する。ノイズの要因として、例えば、電磁ノイズ、水滴や金属などの導体の接触、掌の意図しない接触などがある。もっとも、ノイズの要因としてここで挙げたもの以外も想定できるし、ここで挙げたものをより細かく分類したりより大きく分類したりしてもよい。
(Fourth embodiment)
In the first embodiment, the discriminator identifies only whether the input to the touch sensor is due to touch or noise, but in this embodiment, the cause of noise is also identified. Factors of noise include, for example, electromagnetic noise, contact of conductors such as water droplets and metal, and unintended contact of the palm. However, noise factors other than those listed here can be assumed, and those listed here may be classified more finely or larger.

本実施形態では、上記の要因およびタッチ入力のそれぞれについて、タッチセンサから得られるセンサデータに基づいて特徴量を算出し、教師有り学習を行って識別器を作成すればよい。識別器は、1つの多クラス識別器であってもよいし、複数の2クラス分類器であってもよい。   In the present embodiment, for each of the above factors and touch input, a feature amount may be calculated based on sensor data obtained from the touch sensor, and supervised learning may be performed to create a discriminator. The classifier may be one multi-class classifier or a plurality of two-class classifiers.

本実施形態によれば、タッチセンサへの入力がタッチ以外の要因によるものであると判定できるだけでなく、タッチ以外のどのような要因が生じているのかを把握できる。したがって、本実施形態では、タッチセンサへの入力がタッチ以外の要因であると判定されたときに行うノイズ検知処理S207において、ノイズの要因に応じた処理を行うことができる。例えば、識別器によって水滴の接触が発生していると判定された場合には、ユーザに対して、タッチセンサの水を拭くように指示することができる。   According to the present embodiment, it is possible not only to determine that the input to the touch sensor is due to a factor other than touch, but also to understand what factor other than touch occurs. Therefore, in the present embodiment, in the noise detection process S207 that is performed when it is determined that the input to the touch sensor is a factor other than touch, a process according to the noise factor can be performed. For example, when it is determined by the discriminator that contact with water droplets has occurred, the user can be instructed to wipe the water of the touch sensor.

(その他)
上記の実施形態は、それぞれ技術的に矛盾しない範囲で適宜組み合わせて実施することができる。また、本発明の技術的思想の範囲内で適宜変更して実施することもできる。
(Other)
The above embodiments can be appropriately combined and implemented within a technically consistent range. Further, the present invention can be implemented with appropriate modifications within the scope of the technical idea of the present invention.

上記の説明では、投影型静電容量方式のタッチセンサを例に説明したが、1回のタッチについてタッチ領域に応じて複数の検出信号が得られる方式のタッチセンサであれば任意の方式のタッチセンサが利用可能である。例えば、独立した接触センサを複数備えたタッチセンサも本発明に利用可能である。   In the above description, the projected capacitive touch sensor has been described as an example. However, any touch sensor that can obtain a plurality of detection signals according to the touch area for one touch can be used. A sensor is available. For example, a touch sensor including a plurality of independent contact sensors can be used in the present invention.

上記で説明した特徴量の算出方法は例示にすぎず、他の特徴量を採用することもできる。例えば、SIFT特徴量やSURF特徴量、HoG特徴量なども採用可能である。   The feature value calculation method described above is merely an example, and other feature values may be employed. For example, SIFT feature values, SURF feature values, HoG feature values, and the like can be employed.

また、上記の説明では、タッチセンサから得られるセンサデータに対する信号処理をマイクロコントローラ内で行うものとして説明したが、タッチセンサを用いた入力装置をコンピュータと接続して用いる場合には、上記の信号処理をコンピュータが有するCPUで行ってもよい。例えば、デバイスドライバが上記の信号処理を行ってもよい。   In the above description, the signal processing for the sensor data obtained from the touch sensor is described as being performed in the microcontroller. However, when the input device using the touch sensor is connected to a computer, the above signal is used. Processing may be performed by a CPU included in the computer. For example, a device driver may perform the above signal processing.

1:入力装置 10:タッチセンサ
20:MCU(マイクロコントロールユニット)
21:信号取得部 22:キーポイント抽出部 23:特徴量取得部
24:識別器 25:出力部
1: Input device 10: Touch sensor 20: MCU (micro control unit)
21: Signal acquisition unit 22: Key point extraction unit 23: Feature amount acquisition unit 24: Discriminator 25: Output unit

Claims (13)

タッチセンサから得られる信号からタッチセンサへの入力がタッチによるものか否かを識別する信号処理装置であって、
複数のセンサを有するタッチセンサから、前記複数のセンサの検出値からなるセンサデータを取得する検出値取得手段と、
前記センサデータからタッチ位置を示すキーポイントを決定するキーポイント決定手段と、
前記キーポイントを含む部分領域から前記キーポイントの特徴量を算出する特徴量算出手段と、
タッチによって得られる特徴量とタッチ以外によって得られる特徴量からあらかじめ学習した識別器と、前記特徴量算出手段によって算出された特徴量を用いて、前記タッチセンサに対する入力がタッチによるものか否か識別する識別手段と、
を備える、信号処理装置。
A signal processing device for identifying whether or not an input to a touch sensor is based on a touch from a signal obtained from the touch sensor,
Detection value acquisition means for acquiring sensor data consisting of detection values of the plurality of sensors from a touch sensor having a plurality of sensors;
Key point determination means for determining a key point indicating a touch position from the sensor data;
A feature amount calculating means for calculating a feature amount of the key point from a partial region including the key point;
Using a discriminator previously learned from a feature quantity obtained by touch and a feature quantity obtained by other than touch, and a feature quantity calculated by the feature quantity calculation means, it is discriminated whether or not the input to the touch sensor is a touch. Identification means for
A signal processing apparatus comprising:
前記特徴量は、前記部分領域における検出値の複数の方向についての勾配に基づいて算出される、
請求項1に記載の信号処理装置。
The feature amount is calculated based on gradients in a plurality of directions of detection values in the partial region.
The signal processing apparatus according to claim 1.
前記特徴量は、前記部分領域に含まれる各センサについての複数の方向についての勾配からなる勾配情報の、重み付け和に基づいて算出される、
請求項2に記載の信号処理装置。
The feature amount is calculated based on a weighted sum of gradient information including gradients in a plurality of directions for each sensor included in the partial region.
The signal processing apparatus according to claim 2.
前記特徴量は、前記センサデータの時間変化に基づいて算出される、
請求項1から3のいずれか1項に記載の信号処理装置。
The feature amount is calculated based on a time change of the sensor data.
The signal processing apparatus according to claim 1.
前記特徴量は、複数の大きさの部分領域からそれぞれ得られた値の組み合わせからなる、
請求項1から4のいずれか1項に記載の信号処理装置。
The feature amount is composed of a combination of values respectively obtained from a plurality of partial areas.
The signal processing device according to claim 1.
前記複数の大きさの部分領域は、前記キーポイントを中心とする大きさの異なる矩形領域を含む、
請求項5に記載の信号処理装置。
The partial areas of the plurality of sizes include rectangular areas having different sizes around the key points.
The signal processing apparatus according to claim 5.
前記タッチセンサは、複数の行方向電極と複数の列方向電極とからなり、
前記部分領域は、行方向に所定幅を有する複数列からなる領域、または、列方向に所定幅を有する複数行からなる領域の少なくともいずれかを含む、
請求項5または6に記載の信号処理装置。
The touch sensor comprises a plurality of row direction electrodes and a plurality of column direction electrodes,
The partial region includes at least one of a region composed of a plurality of columns having a predetermined width in the row direction and a region composed of a plurality of rows having a predetermined width in the column direction.
The signal processing apparatus according to claim 5 or 6.
前記キーポイント決定手段は、所定の大きさの領域内において検出値が極大値をとる位置を前記キーポイントと決定する、
請求項1から7のいずれか1項に記載の信号処理装置。
The key point determination means determines a position where the detected value has a maximum value in an area of a predetermined size as the key point.
The signal processing device according to claim 1.
各センサの検出値が閾値以上であるか否か判定する閾値判定手段をさらに有し、
前記キーポイント決定手段は、前記閾値より小さい検出値はキーポイントとしては検出しない、
請求項1から8のいずれか1項に記載の信号処理装置。
Further comprising a threshold determination means for determining whether or not the detection value of each sensor is equal to or greater than a threshold;
The key point determination means does not detect a detection value smaller than the threshold as a key point;
The signal processing device according to claim 1.
前記識別器は、特徴量が、タッチによって得られたものか、タッチ以外の複数の要因のいずれによって得られたものであるかを識別するものであり、
前記識別手段は、タッチセンサへの入力の要因を識別する、
請求項1から9のいずれか1項に記載の信号処理装置。
The discriminator is for discriminating whether the feature amount is obtained by touch or a plurality of factors other than touch,
The identification means identifies a factor of input to the touch sensor;
The signal processing device according to claim 1.
複数のセンサを有するタッチセンサと、
請求項1から10のいずれか1項に記載の信号処理装置と、
を備える、入力装置。
A touch sensor having a plurality of sensors;
A signal processing device according to any one of claims 1 to 10,
An input device comprising:
タッチセンサから得られる信号からタッチセンサへの入力がタッチによるものか否かを識別する信号処理装置が行う信号処理方法であって、
複数のセンサを有するタッチセンサから、前記複数のセンサの検出値からなるセンサデータを取得する検出値取得ステップと、
前記センサデータからタッチ位置を示すキーポイントを決定するキーポイント決定ステップと、
前記キーポイントを含む部分領域から前記キーポイントの特徴量を算出する特徴量算出ステップと、
タッチによって得られる特徴量とタッチ以外によって得られる特徴量からあらかじめ学習した識別器と、前記特徴量算出ステップにおいて算出された特徴量を用いて、前記タッチセンサに対する入力がタッチによるものか否か識別する識別ステップと、
を含む、信号処理方法。
A signal processing method performed by a signal processing device for identifying whether an input to a touch sensor is a touch input from a signal obtained from a touch sensor,
A detection value acquisition step of acquiring sensor data consisting of detection values of the plurality of sensors from a touch sensor having a plurality of sensors;
A key point determination step for determining a key point indicating a touch position from the sensor data;
A feature amount calculating step of calculating a feature amount of the key point from a partial region including the key point;
Using a discriminator previously learned from a feature quantity obtained by touch and a feature quantity obtained by other than touch, and a feature quantity calculated in the feature quantity calculation step, it is discriminated whether or not the input to the touch sensor is a touch. An identification step to
Including a signal processing method.
請求項12に記載の方法の各ステップをコンピュータに実行させるためのプログラム。   The program for making a computer perform each step of the method of Claim 12.
JP2015055009A 2015-03-18 2015-03-18 Signal processing device, input device, signal processing method, and program Active JP6543790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015055009A JP6543790B2 (en) 2015-03-18 2015-03-18 Signal processing device, input device, signal processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015055009A JP6543790B2 (en) 2015-03-18 2015-03-18 Signal processing device, input device, signal processing method, and program

Publications (2)

Publication Number Publication Date
JP2016177343A true JP2016177343A (en) 2016-10-06
JP6543790B2 JP6543790B2 (en) 2019-07-17

Family

ID=57071111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015055009A Active JP6543790B2 (en) 2015-03-18 2015-03-18 Signal processing device, input device, signal processing method, and program

Country Status (1)

Country Link
JP (1) JP6543790B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266833B1 (en) * 2017-07-28 2018-01-24 京セラ株式会社 Electronic device, program, and control method
JP6716050B1 (en) * 2019-10-23 2020-07-01 三菱電機株式会社 Operation support device, touch panel input system, operation determination method, and program
JP2020123140A (en) * 2019-01-30 2020-08-13 ファナック株式会社 Control parameter adjustment device
WO2021230067A1 (en) * 2020-05-11 2021-11-18 ソニーグループ株式会社 Information processing device and information processing method
JP2023500239A (en) * 2019-10-28 2023-01-05 グーグル エルエルシー Touch sensors for interactive objects distinguished by their input surface
US11620016B2 (en) 2020-07-30 2023-04-04 Tdk Corporation Information processing device and operation detection device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127486A (en) * 2004-09-29 2006-05-18 Toshiba Corp Input device, computer device, information processing method, and information processing program
JP2009540452A (en) * 2006-06-13 2009-11-19 エヌ−トリグ リミテッド Fingertip touch recognition for digitizers
JP2010055575A (en) * 2008-08-29 2010-03-11 Sharp Corp Image processor, image processing program, computer-readable recording medium, electronic device, and image processing method
JP2012164060A (en) * 2011-02-04 2012-08-30 Mitsubishi Electric Corp Fingertip touch determination device and fingertip touch determination method
JP2013242645A (en) * 2012-05-18 2013-12-05 Mitsubishi Electric Corp Touch panel device
US20140267085A1 (en) * 2013-03-15 2014-09-18 Cellco Partnership D/B/A Verizon Wireless Automatic detection for touch through glove
JP2017529582A (en) * 2014-07-11 2017-10-05 マイクロソフト テクノロジー ライセンシング,エルエルシー Touch classification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127486A (en) * 2004-09-29 2006-05-18 Toshiba Corp Input device, computer device, information processing method, and information processing program
JP2009540452A (en) * 2006-06-13 2009-11-19 エヌ−トリグ リミテッド Fingertip touch recognition for digitizers
JP2010055575A (en) * 2008-08-29 2010-03-11 Sharp Corp Image processor, image processing program, computer-readable recording medium, electronic device, and image processing method
JP2012164060A (en) * 2011-02-04 2012-08-30 Mitsubishi Electric Corp Fingertip touch determination device and fingertip touch determination method
JP2013242645A (en) * 2012-05-18 2013-12-05 Mitsubishi Electric Corp Touch panel device
US20140267085A1 (en) * 2013-03-15 2014-09-18 Cellco Partnership D/B/A Verizon Wireless Automatic detection for touch through glove
JP2017529582A (en) * 2014-07-11 2017-10-05 マイクロソフト テクノロジー ライセンシング,エルエルシー Touch classification

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6266833B1 (en) * 2017-07-28 2018-01-24 京セラ株式会社 Electronic device, program, and control method
JP2019029804A (en) * 2017-07-28 2019-02-21 京セラ株式会社 Electronic apparatus, program, and control method
JP2020123140A (en) * 2019-01-30 2020-08-13 ファナック株式会社 Control parameter adjustment device
JP6716050B1 (en) * 2019-10-23 2020-07-01 三菱電機株式会社 Operation support device, touch panel input system, operation determination method, and program
WO2021079432A1 (en) * 2019-10-23 2021-04-29 三菱電機株式会社 Operation assistance device, touch panel input system, operation determination method, and program
JP2023500239A (en) * 2019-10-28 2023-01-05 グーグル エルエルシー Touch sensors for interactive objects distinguished by their input surface
JP7451698B2 (en) 2019-10-28 2024-03-18 グーグル エルエルシー Touch sensors for interactive objects that are differentiated on the input surface
WO2021230067A1 (en) * 2020-05-11 2021-11-18 ソニーグループ株式会社 Information processing device and information processing method
US11620016B2 (en) 2020-07-30 2023-04-04 Tdk Corporation Information processing device and operation detection device

Also Published As

Publication number Publication date
JP6543790B2 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
JP6543790B2 (en) Signal processing device, input device, signal processing method, and program
US10489632B2 (en) Electronic device and detection method
CN108875723B (en) Object detection method, device and system and storage medium
CN108475137B (en) Common mode display noise mitigation using hybrid estimation methods
KR20100042900A (en) Method and apparatus for detecting touch point
JP6005417B2 (en) Operating device
EP2639743A2 (en) Image processing device, image processing program, and image processing method
JP5958974B2 (en) Touchpad input device and touchpad control program
KR20170088057A (en) Event signal processing method and apparatus
CN111783665A (en) Action recognition method and device, storage medium and electronic equipment
US20180032170A1 (en) System and method for estimating location of a touch object in a capacitive touch panel
JP5712339B1 (en) Input device, input method, and program
CN110211021B (en) Image processing apparatus, image processing method, and storage medium
CN105468214B (en) Location-based object classification
JP2015103188A (en) Image analysis device, image analysis method, and image analysis program
WO2015060932A1 (en) Ghost suppression using hybrid capacitive sensing
JP5949010B2 (en) INPUT CONTROL DEVICE, INPUT CONTROL PROGRAM, AND INPUT CONTROL METHOD
JP7432684B2 (en) Position detection circuit and position detection method
JP6150712B2 (en) Information processing apparatus and program
US20180189541A1 (en) Optical identification method and optical identification system
CN110134269B (en) Electronic device and associated method for verifying multi-finger touch detection via annular touch islands
CN111782079A (en) Starting method and device, electronic equipment and storage medium
US20230125410A1 (en) Information processing apparatus, image capturing system, method, and non-transitory computer-readable storage medium
WO2018161421A1 (en) Performance test method and performance test apparatus for touch display screen of terminal device
JP7168406B2 (en) POSITION DETECTION CIRCUIT AND POSITION DETECTION METHOD

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190418

R150 Certificate of patent or registration of utility model

Ref document number: 6543790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250