JP2015021747A

JP2015021747A - 印加力推定方法、印加力推定プログラム、およびコンピュータ入力デバイス

Info

Publication number: JP2015021747A
Application number: JP2013147781A
Authority: JP
Inventors: 雄一栗田; Yuichi Kurita; 辻　敏夫; Toshio Tsuji; 敏夫辻; 晃士氣比田; Akihito Kibita
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2013-07-16
Filing date: 2013-07-16
Publication date: 2015-02-02
Anticipated expiration: 2033-07-16
Also published as: JP6161157B2

Abstract

【課題】力センサーや大がかりな装置を用いずに、弾性体の先端の画像情報に基づいて簡便に印加力推定を行う。
【解決手段】コンピュータ入力デバイス（１０）は、指先（１００）とセンサー面（１１０）との接触部分の画像を取得する画像取得部（１１）と、接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理部（１２）と、指先がセンサー面に接触している状態で指先に印加される力が変化することによって生じるセンサー面のｘ方向への接触面画像の偏心を表すｘ偏心度を算出する偏心度算出部（１３）と、Hertzの接触理論において指先のｘ方向への微小変位をｘ偏心度で表して、指先に印加されるｘ方向の力を算出する印加力算出部（１４）とを備えている。
【選択図】図１

Description

本発明は、センサー面に接触する弾性体の先端に印加される力を推定する印加力推定技術に関し、特に、人の指先を使ってポインティング操作などの入力を行うコンピュータ入力デバイスに好適な印加力推定技術に関する。

科学技術の発展により、デバイスの小型化が進んでいる。コンピュータ入力デバイスなどのインタフェースデバイスにおいても小型化されることによって既存の製品に組み込んだり、新たな製品の開発といったさまざまな応用が考えられる。また、インタフェースデバイスが利用可能な入力として位置情報を用いるものと力情報を用いるものがあるが、位置情報による入力は動作を行うためのスペースが必要となるため、小さなデバイスでは力情報による入力が適している。

力情報を取得する方法として、力センサーを使用せず、画像情報から指先印加力を算出する方法が数多く提案されている。例えば、指先に装置を装着し、指先内部の静脈の変化を計測することで指先印加力の算出を行っている（例えば、非特許文献１参照）。また、一定の照明条件下において爪の色の変化から指先印加力の算出を行っている（例えば、非特許文献２参照）。

星貴之, 「静脈像にもとづくタッチインタフェースのための基礎的検討」, センシングフォーラム資料, 28th, 2011, pp.65-68 J. Marshall et al, "Pressing the Flesh: Sensing Multiple Touch and Finger Pressure on Arbitrary Surfaces," In Proc. of Pervasive, 2008, pp.38-55

しかし、従来の画像情報に基づく印加力推定は、使用者ごとに調整が必要であったり、大がかりな装置が必要であったりする。このため、従来の画像情報に基づく印加力推定は、既存のスマートフォンやタブレット端末などの小型デバイスに適用することが難しいという問題がある。

上記問題に鑑み、本発明は、力センサーや大がかりな装置を用いずに、弾性体の先端の画像情報に基づいて簡便に印加力推定を行うことを課題とする。

本発明の一局面に従った印加力推定方法は、弾性体の先端とセンサー面との接触部分の画像を取得し、前記接触部分の画像の輪郭を抽出して接触面画像を生成し、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出し、Hertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する。

これによると、弾性体の先端とセンサー面との接触部分の画像の解像度が低くても接触面画像のｘ偏心度は高精度に算出することができるため、Hertzの接触理論において十分な精度が得られない微小変位に代えて高精度のｘ偏心度を用いることで、弾性体の先端に印加されるｘ方向の力を十分な精度で算出することができる。

上記印加力推定方法は、さらに、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度を算出し、Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力を算出してもよい。

本発明の別の局面に従った印加力推定プログラムは、画像取得部によって取得された弾性体の先端とセンサー面との接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理手段、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出する偏心度算出手段、およびHertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する印加力算出手段として、コンピュータを機能させるものである。

これによると、画像取得部が取得する画像の解像度が低くても弾性体の先端とセンサー面との接触面画像のｘ偏心度は高精度に算出することができるため、Hertzの接触理論において十分な精度が得られない微小変位に代えて高精度のｘ偏心度を用いることで、弾性体の先端に印加されるｘ方向の力を十分な精度で算出することができる。

上記印加力推定プログラムにおいて、前記偏心度算出手段が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度を算出するものを、さらに有しており、前記印加力算出手段が、Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力を算出するものを、さらに有していてもよい。

本発明のさらに別の局面に従ったコンピュータ入力デバイスは、弾性体の先端とセンサー面との接触部分の画像を取得する画像取得部と、前記接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理部と、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出する偏心度算出部と、Hertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する印加力算出部とを備えている。

上記コンピュータ入力デバイスにおいて、前記偏心度算出部が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度を算出するものを、さらに有しており、前記印加力算出部が、Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力を算出するものを、さらに有していてもよい。

さらに、上記印加力推定方法、上記印加力推定プログラム、および上記コンピュータ入力デバイスにおいて、前記弾性体が人の指であってもよい。すなわち、指先でセンサー面を直接触れてもよいし、手袋や指サックやスタイラスペンなどで間接的にセンサー面を触れてもよい。

本発明によると、力センサーや大がかりな装置を用いずに、弾性体の先端とセンサー面との接触部分の画像情報に基づいて、弾性体の先端に印加される力を簡便に推定することができる。

本発明の一実施形態に係るコンピュータ入力デバイスの構成図指紋画像とそれから生成される接触面画像の例を示す図指先に力が印加されたときの接触面画像の変化の例を示す図 Hertzの接触理論を説明する図

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

図１は、本発明の一実施形態に係るコンピュータ入力デバイスの主要部の構成を示す。本実施形態に係るコンピュータ入力デバイス１０は、人の指先１００とセンサー面１１０との接触面の画像情報から、指先１００に印加される垂直方向および接線方向の力を推定するものである。コンピュータ入力デバイス１０は、画像取得部１１、画像処理部１２、偏心度算出部１３、および印加力算出部１４を備えている。

画像取得部１１は、指先１００とセンサー面１１０との接触部分の画像を適当なサンプリング周期（例えば、３０ｍｓｅｃ）で取得する。センサー面１００は、タッチパッドやタッチパネルなどの剛性のある材料で構成された平面部材である。

画像取得部１１として、指紋センサーなどに利用される光学式または非光学式デバイスを用いることができる。光学式デバイスの場合、ガラス版、アクリル版、ポリカーボネイト版などの透明板またはプリズムの下側からＬＥＤなどで光を照射し、反射面（センサー面１１０）に載せた指先１００の反射像をレンズやミラーを介してＣＣＤカメラなどで撮像する。すなわち、指先１００の指紋画像が撮像される。

一方、非光学式または半導体式デバイスはタッチパッドやタッチパネルなどに広く用いられているものである。非光学式デバイスには静電式、感熱式、電界式などがある。静電式は、センサー面１１０に指先１００を載せたときに生ずる指紋の山（指紋の紋様を形成する皮膚の盛り上がった部分の隆線）と谷の電荷量の違いから指紋画像を取得するものである。感熱式は、センサー面１１０に接触する指紋の山の温度（体温）と谷の温度（空気温度）との温度差を検知して指紋画像を取得するものである。電界式は、指先１００の表面に微弱電流を流して生じる電界について指紋の山と谷の電界強度の差から生ずる分布パターンを指紋画像に変換するものである。

なお、画像取得部１１が取得する指先１００とセンサー面１１０との接触部分の画像はカラーまたはグレースケール画像である必要はなく二値画像でよい。

また、画像の解像度は、低すぎると指先１００への印加力推定の精度が低下し、高すぎると計算量が増えるため、適当な解像度が望ましい。

また、図１の例では１本の指先１００がセンサー面１００に接触しているが、センサー面１１０に複数の指先１００を同時に接触させてもよい。この場合、画像取得部１１は、それら個々の接触部分の画像を取得することができる。

画像処理部１２は、画像取得部１１から指先１００とセンサー面１１０との接触部分の画像、具体的には指先１００の指紋画像を受けて、当該画像の輪郭を抽出して指先１００とセンサー面１１０との接触面画像を生成する。図２は、指紋画像から接触面画像を生成する例を示す。図２（ａ）は指紋画像を示し、図２（ｂ）は接触面画像を示す。便宜のため、指紋画像において指紋の山を黒色で表し、接触面画像において輪郭を実線で表している。画像処理部１２は、既知の輪郭抽出アルゴリズムに従って図２（ａ）の指紋画像の輪郭を抽出して図２（ｂ）の接触面画像を生成することができる。

図１に戻り、偏心度算出部１３は、指先１００がセンサー面１１０に接触している状態で指先１００に印加される力が変化することによって生じるセンサー面１１０のｘ方向への接触面画像の偏心を表すｘ偏心度を算出する。

ｘ偏心度を算出するに当たって、偏心度算出部１３は、まず、接触面画像の基準点を決定する。例えば、ユーザーが指先１００をセンサー面１１０に載せてから所定時間（例えば、１００ｍｓｅｃ）経過後の接触面画像の重心を基準点とすることができる。そして、偏心度算出部１３は、基準点を原点として接触面画像を４つの象限に分割し、第１象限および第４象限の合計面積と第２象限および第３象限の合計面積との面積比率の変化からｘ偏心度を算出する。

図３は、指先１００に力が印加されたときの接触面画像の変化の例を示す。図３（ａ）は基準の接触面画像を示し、図３（ｂ）は指先１００にｘ軸方向の力が印加されて変形した接触面画像を示す。原点Ｏが接触面画像の基準点である。ここで、図３（ａ）の接触面画像において第１象限の面積をＳ_ｓ１、第２象限の面積をＳ_ｓ２、第３象限の面積をＳ_ｓ３、第４象限の面積をＳ_ｓ４とする。また、図３（ｂ）の接触面画像において第１象限の面積をＳ_ｔ１、第２象限の面積をＳ_ｔ２、第３象限の面積をＳ_ｔ３、第４象限の面積をＳ_ｔ４とする。このとき、ｘ軸偏心度ｅ_ｘは次式（１）で定義される。

ただし、Ｓ_ｔは基準の接触面画像の総面積、Ｓ_ｓは変形した接触面画像の総面積である。

図１に戻り、印加力算出部１４は、接触面画像の画像情報に基づいて指先１００に印加される力を算出する。印加力算出部１４が算出する力は、センサー面１１０の垂直方向の力と接線方向（ｘ軸方向）の力の二つである。これら力はHertzの接触理論に従って算出することができる。

図４を参照してHertzの接触理論について説明する。図中の弾性体は指先１００に相当し、剛性体はセンサー面１１０に相当する。弾性体が剛性体の表面に接触している場合において弾性体の先端に接線方向（ｘ軸方向）への力が印加されたとき、接触部分に微小な変位δが生じる。ここで、接触部分の微小変位をδ、弾性体の先端において剛性体表面の法線方向に印加される力をｆｇ、ｘ軸方向に印加される力をｆｌとすると、Hertzの接触理論から次式（２）が成り立つ。

ただし、μは摩擦係数、νは動粘性係数、Ｇは縦弾性係数、Ｒは曲率半径、Ｅ’は等価弾性係数である。

式（２）においてδは極めて小さいため、画像取得部１１の比較的低い分解能でδを正確に計測することは困難である。ここで、微小変位δとｘ軸偏心度ｅ_ｘとの間には次式（３）が成り立つことがわかっている。

ただし、ａは接触半径である。

そこで、式（３）を式（２）に代入することで、次式（４）のようにHertzの接触理論の式をｘ軸偏心度ｅ_ｘを用いて表すことができる。

一方、Hertzの接触理論において、弾性体の先端に垂直方向の力のみが印加されているとき、力ｆｇは次式（５）で表すことができる。

ただし、ａは接触半径、νは摩擦係数、Ｅはヤング率、Ｒは曲率半径である。

上記事実から、印加力算出部１４は、偏心度算出部１３からｘ軸偏心度ｅ_ｘを得て、式（４）および式（５）に従って、指先１００に印加される垂直方向の力ｆｇとセンサー面１１０のｘ軸方向の力ｆｌを算出することができる。

以上のように、本実施形態に係るコンピュータ入力デバイス１０は、センサー面１１０に接触する指先１００の接触面画像から指先１００に印加される力を推定することができる。

なお、印加力算出部１４は、指先１００に印加されるセンサー面１１０のｙ軸方向の力を算出することもできる。それには、偏心度算出部１３は、指先１００がセンサー面１１０に接触している状態で指先１００に印加される力が変化することによって生じるセンサー面１１０のｙ方向への接触面画像の偏心を表すｙ偏心度を算出する。ｘ軸偏心度の算出に用いる接触面画像をｙ軸偏心度の算出にも用いることができる。すなわち、ｙ軸偏心度は、接触面画像の第１象限および第２象限の合計面積と第３象限および第４象限の合計面積との面積比率の変化から算出することができる。指先１００とセンサー面１１０との接触部分のｙ軸方向への微小な変位とｙ軸偏心度との間には式（３）と同様な関係があるため、式（４）から、指先１００に印加されるセンサー面１１０のｙ軸方向の力を算出することができる。

センサー面１１０に指先１００を直接触れることを前提として説明したが、本発明はこの形態に限定されない。例えば、天然ゴムやシリコーンゴムなどの弾性材料で形成された略半球状の先端を有する手袋や指サックやスタイラスペンなどを用いてセンサー面１１０に触れるようにしてもよい。これにより、接触部分がHertzの接触モデルにより近くなり、力の推定精度が向上する。特に、３軸の力、すなわち、センサー面１１０の垂直方向、ｘ軸方向、ｙ軸方向の力を推定する場合に有利である。

本実施形態に係るコンピュータ入力デバイス１０は、コンピュータの周辺デバイスとして使用することはもちろん、スマートフォンやタブレット端末などのタッチパネルとして使用することができる。また、ゲーム機器のコントローラにも応用することができる。特に、画像処理部１２、偏心度算出部１３、および印加力算出部１４はＣＰＵにコンピュータプログラムを実行させることで実現することができるため、既存のスマートフォンやタブレット端末などにおいてＯＳをアップデートすることで本実施形態に係るコンピュータ入力デバイス１０が利用可能となる。すなわち、圧力センサーを備えない既存の機器に指先圧力を計測する機能をもたらすことができる。

スマートフォンやタブレット端末などにおいて指先印加力が計測可能となることにより、現行のパターンロックをより安全に、またより複雑にすることができる。例えば、現行のパターンロックでは指を大きく動かしてロック解除する必要があるが、本実施形態に係るコンピュータ入力デバイス１０を用いれば、指を大きく動かさずに、パネルに押し当てた指先に加える力を変化させるだけでパターンをなぞってロックを解除することができる。これにより、パターン解除時の指の動作を見破られにくくしてセキュリティを高めることができる。また、３軸の力が測定できることにより、パターンロックを３次化してロック解除を複雑化することができる。

１０コンピュータ入力デバイス
１１画像取得部
１１０センサー面
１００指先（弾性体）
１２画像処理部
１３偏心度算出部
１４印加力算出部

Claims

弾性体の先端とセンサー面との接触部分の画像を取得し、
前記接触部分の画像の輪郭を抽出して接触面画像を生成し、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出し、
Hertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する
ことを特徴とする印加力推定方法。
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度をさらに算出し、
Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力をさらに算出する、請求項１に記載の印加力推定方法。
前記弾性体が人の指である、請求項１および２のいずれか一つに記載の印加力推定方法。
画像取得部によって取得された弾性体の先端とセンサー面との接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理手段、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出する偏心度算出手段、および
Hertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する印加力算出手段として、コンピュータを機能させる
ことを特徴とする印加力推定プログラム。
前記偏心度算出手段が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度を算出するものを、さらに有しており、
前記印加力算出手段が、Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力を算出するものを、さらに有している、請求項４に記載の印加力推定プログラム。
前記弾性体が人の指である、請求項４および５のいずれか一つに記載の印加力推定プログラム。
弾性体の先端とセンサー面との接触部分の画像を取得する画像取得部と、
前記接触部分の画像の輪郭を抽出して接触面画像を生成する画像処理部と、
前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｘ方向への前記接触面画像の偏心を表すｘ偏心度を算出する偏心度算出部と、
Hertzの接触理論において前記弾性体の先端の前記ｘ方向への微小変位を前記ｘ偏心度で表して、前記弾性体の先端に印加される前記ｘ方向の力を算出する印加力算出部とを備えている
ことを特徴とするコンピュータ入力デバイス。
前記偏心度算出部が、前記弾性体の先端が前記センサー面に接触している状態で前記弾性体の先端に印加される力が変化することによって生じる前記センサー面のｙ方向への前記接触面画像の偏心を表すｙ偏心度を算出するものを、さらに有しており、
前記印加力算出部が、Hertzの接触理論において前記弾性体の先端の前記ｙ方向への微小変位を前記ｙ偏心度で表して、前記弾性体の先端に印加される前記ｙ方向の力を算出するものを、さらに有している、請求項７に記載のコンピュータ入力デバイス。
前記弾性体が人の指である、請求項７および８のいずれか一つに記載のコンピュータ入力デバイス。