JP2011175315A - 加速度センサを利用した文字入力システムおよび方法 - Google Patents
加速度センサを利用した文字入力システムおよび方法 Download PDFInfo
- Publication number
- JP2011175315A JP2011175315A JP2010036851A JP2010036851A JP2011175315A JP 2011175315 A JP2011175315 A JP 2011175315A JP 2010036851 A JP2010036851 A JP 2010036851A JP 2010036851 A JP2010036851 A JP 2010036851A JP 2011175315 A JP2011175315 A JP 2011175315A
- Authority
- JP
- Japan
- Prior art keywords
- data
- acceleration
- character
- acceleration sensor
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】本発明は、キーボードに因らない新規な文字入力システムを提供することを目的とする。
【解決手段】それぞれが固有の識別子を有する複数の加速度センサと該加速度センサと通信自在な情報処理装置とを含む文字入力システムにおいて、目的文字の文字構成要素ごとにテンプレートの集合を用意し、これを加速度センサに固有の識別子に対応付けて記憶する。2つの加速度センサを両手に装着したユーザが各手を使用して文字構成要素を空中描画する際に検出される2つの加速度データからそれぞれ照合データを生成し、各照合データと、加速度データの送信元の加速度センサの識別子に対応付けて記憶されたテンプレートの集合との間でマッチングを実行し、決定された2つの文字構成要素の組み合わせを目的文字に変換する。
【選択図】図1
【解決手段】それぞれが固有の識別子を有する複数の加速度センサと該加速度センサと通信自在な情報処理装置とを含む文字入力システムにおいて、目的文字の文字構成要素ごとにテンプレートの集合を用意し、これを加速度センサに固有の識別子に対応付けて記憶する。2つの加速度センサを両手に装着したユーザが各手を使用して文字構成要素を空中描画する際に検出される2つの加速度データからそれぞれ照合データを生成し、各照合データと、加速度データの送信元の加速度センサの識別子に対応付けて記憶されたテンプレートの集合との間でマッチングを実行し、決定された2つの文字構成要素の組み合わせを目的文字に変換する。
【選択図】図1
Description
本発明は、文字入力システムに関し、より詳細には、加速度センサを利用した文字入力システムに関する。
コンピュータに対して電子文字を入力する場合、一般には、キーボードを使用してタイピングすることになるが、低学年の児童やコンピュータに不慣れな年配者にとって、キーボード操作の習熟は難しく、また、何らかの事情で指に障害を抱えるユーザにとっても、キーボード操作は困難を伴う。これらの事情を鑑みれば、キーボードに因らない新規な電子文字の入力方法を検討することには大きな意義がある。また、聴覚障害者にとって手話の取得の負荷は大きく、実際にその利用者も限られている。この意味でも簡易な文字入力方法で意思を表すことのできる意義はあると思われる。
この点につき、特開2006−79221号公報(特許文献1)は、携帯電話の動きに伴う加速度の変化を、携帯電話に備え付けられた加速度センサによって検出し、これを予め用意された筆跡パターンと照合することによって、携帯電話の動きで描画された文字を認識する文字入力装置を開示する。しかしながら、特許文献1は、発明の着想を開示するものの、その実現手段について具体的な記載に乏しく、また、その認識精度について何ら実証するものではなかった。
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、キーボードに因らない新規な文字の入力システムを提供することを目的とする。
本発明者は、キーボードに因らない新規な文字の入力システムにつき鋭意検討した結果、目的文字を複数の文字構成要素に分解し、各文字構成要素を別々の加速度センサ(を装着した部位)を使用して描画することによって、認識精度の高い文字入力システムが構築しうることを見出し、本発明に至ったのである。
すなわち、本発明によれば、それぞれが固有の識別子を有する複数の加速度センサと該加速度センサと通信自在な情報処理装置とを含む文字入力システムであって、前記情報処理装置は、目的文字が分解されてなる複数の文字構成要素ごとにテンプレートとなる加速度データの集合を前記識別子に対応付けて記憶するテンプレート記憶部と、前記加速度センサを人体の動きを伴う部位に複数箇所装着したユーザが各部位を使用して前記文字構成要素を空中描画する際に検出される加速度データを各前記加速度センサから個別に受信する加速度データ受信部と、受信した前記加速度データから照合データを生成し、該照合データを前記加速度データの送信元の前記加速度センサの前記識別子に関連付ける照合データ生成部と、前記照合データと、該照合データに関連付けられた前記識別子に対応付けて記憶された前記テンプレートの集合との間でマッチングを実行し、前記ユーザが描画した複数の前記文字構成要素を決定するマッチング部と、決定された複数の前記文字構成要素の組み合わせを前記目的文字に変換する文字変換部とを含む文字入力システムが提供される。
上述したように、本発明によれば、キーボードに因らない新規な文字入力システムが提供される。
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
図1は、本発明の実施形態である文字入力システム10の機能ブロック図を示す。本実施形態の文字入力システム10は、複数の加速度センサ12と、好ましくはパーソナル・コンピュータで構成される情報処理装置20(以下、PC20として参照する)とを含んで構成される。加速度センサ12は、人体の動きを伴う部位(手、指、足など)に複数箇所装着することを前提とするものであり、それぞれの部位の動きを加速度の時系列的な変化として検出し、これを加速度データとしてPC20に送信する機能を備える。ここで、各加速度センサ12には、一意な識別子(以下、センサIDとして参照する)が付与されており、各加速度センサ12は、検出した加速度データを自身のセンサIDとともにPC20に送信する。なお、本実施形態においては、加速度センサ12を2軸加速度センサとすることができ、好ましくは、3軸加速度センサとすることができる。以下、本実施形態について、加速度センサ12として3軸加速度センサを採用した場合を例にとって説明する。
PC20は、複数の3軸加速度センサ12から個別に入力された加速度データを使用してセンサごとに照合データを生成し、各照合データと予め用意されたテンプレートとの間でマッチングを行う。その結果を受けて複数の文字構成要素を決定し、これらを目的文字(テキスト情報)に変換する。本発明において、目的文字とは、ユーザが入力を所望する文字をいう。また、本発明において、文字構成要素とは、目的文字の一部を構成する単位要素をいう。目的文字を図形として捉えた場合には、当該図形を構成する複数の図形要素を文字構成要素として定義することができる。この例としては、漢字を図形として捉え、これを「部首」と「つくり」という2つの文字構成要素に分解することが考えられる。また、目的文字を概念的に捉えた場合には、当該概念を構成する複数の要素を文字構成要素として定義することもできる。この例としては、日本語の仮名文字を、概念的に2つのローマ字(子音+母音)に分解することが考えられる。
次に、本実施形態の文字入力システム10の果たす機能につき、ユーザの動きから日本語の仮名文字を入力する場合を例にとって具体的に説明する。本発明のシステムにおいては、目的文字を構成する複数の文字構成要素ごとに固有の3軸加速度センサ12を用意し、各3軸加速度センサ12に対し、それぞれ、別々の文字構成要素を受け持たせる。ユーザの動きから仮名文字を入力することを検討する場合、仮名文字は、概念的に2つの文字構成要素(子音列ローマ字+母音列ローマ字)に分解することができるので、各文字構成要素に対応付けた2つの3軸加速度センサ12をユーザの両手首に装着し、ユーザの両腕の動きから仮名文字が生成されるようにシステムを構築することができる。
この場合、たとえば、図2(a)に示すように、3軸加速度センサ12を、そのXY平面がユーザの手首の背面と平行になり、そのZ軸が手首の背面に垂直になるように装着することができる。ユーザは、図2(b)に示すように、手首の背面と平行な平面(すなわち、3軸加速度センサ12のXY平面)を仮想描画面(図中に破線で示す)として想定し、所望の文字を拳で仮想描画面に描画するイメージをもって空中で腕を動かす。この際の腕(手首)の動きに伴う3軸方向(x、y、z)の加速度の時系列的な変化を3軸加速度センサ12が検出し、加速度データとしてPC20に送信する。ここで、両手首に装着された各3軸加速度センサ12は、検出した加速度データを自身のセンサIDとともにPC20に送信する。以下の説明においては、右手に装着された3軸加速度センサ12に「ID=1」が付与され、左手に装着された3軸加速度センサ12に「ID=2」が付与されているものとする。なお、本実施形態においては、3軸加速度センサ12に小型無線発信機を搭載し、3軸加速度センサ12からPC20へのデータ転送を無線によって行うように構成することが好ましい。
また、本実施形態においては、文字構成要素の描画の開始と終了(以下、文字区切りとして参照する)を示すユーザの動きを予め定義しておく。例えば、手首を素早く回転させるなどして3軸加速度センサ12に対して閾値以上の加速度を与えることをもって文字区切りとしたり、両手首以外の部位(たとえば足)に文字区切り用の加速度センサを別途装着し、当該センサからの信号検出(たとえば足の動き)をもって文字区切りとしたりすることができる。PC20は、文字区切りを示す信号間に挟まれた情報をマッチングの対象となる加速度データとして認識する。なお、以下の説明においては、文字区切りのための動作及びこれに伴う処理については、便宜上、その説明を省略するものとする。
本実施形態においては、ユーザに対し、子音列のローマ字を一方の手(たとえば右手)で描画し、母音列のローマ字を他方の手(たとえば左手)で描画するルールを適用する。この前提の下、PC20は、ユーザの両手首に装着された各3軸加速度センサ12から送信される2つの加速度データを入力として、最終的に仮名文字を出力する処理を実行する。PC20が実行する上記処理につき、再び、図1を参照して説明する。
まず、2つ3軸加速度センサ12からそれぞれ送信された加速度データおよびセンサIDは、PC20の加速度データ受信部21によって受信される。加速度データ受信部21は、3軸加速度センサ12から受信した加速度データをセンサIDに関連付けて照合データ生成部22に渡す。本実施形態における照合データ生成部22は、ノイズ成分除去処理部32と、重力成分除去処理部34と、正規化処理部36とを含み、これらの各機能部が加速度データ受信部21から受信した生データに所定の前処理を施して照合データを生成する。以下、各機能部が実行する前処理について、ユーザがアルファベット「A」に対応するグラフィティ文字(Palm社)を空中描画した場合を例にとって説明するが、描画文字はグラフティ文字に限定されるものではない。
(1)ノイズ成分除去処理
図3(a)は、アルファベット「A」に対応するグラフィティ文字(以下、グラフィティAとして参照する)を示す。ユーザが拳を動かして図3(a)に示す軌道を描くと、ユーザの手首に装着された3軸加速度センサ12によって拳の動きに応じた3軸加速度データが検出される。この3軸加速度データ(生データ)は、加速度データ受信部21を経て、照合データ生成部22のノイズ成分除去処理部32に入力される。図3(b)は、グラフィティAが描画された際に入力される3軸加速度データ(生データ)を示す。ノイズ成分除去処理部32においては、ローパスフィルタを使用して、入力された生データからノイズ成分(高周波成分)が取り除かれる。
図3(a)は、アルファベット「A」に対応するグラフィティ文字(以下、グラフィティAとして参照する)を示す。ユーザが拳を動かして図3(a)に示す軌道を描くと、ユーザの手首に装着された3軸加速度センサ12によって拳の動きに応じた3軸加速度データが検出される。この3軸加速度データ(生データ)は、加速度データ受信部21を経て、照合データ生成部22のノイズ成分除去処理部32に入力される。図3(b)は、グラフィティAが描画された際に入力される3軸加速度データ(生データ)を示す。ノイズ成分除去処理部32においては、ローパスフィルタを使用して、入力された生データからノイズ成分(高周波成分)が取り除かれる。
(2)重力成分除去処理
本実施形態においては、ユーザは、空中に想定される仮想描画面に対して拳で描画する際、自身が描画しやすい姿勢で描画することができる。例えば、図2(b)に示すように、ユーザは、地面に対して垂直な面を仮想描画面として描画することもでき、あるいは、地面に対して平行な面を仮想描画面として描画することもできる。この場合、ユーザが描画する際の姿勢の変化によって、3軸加速度センサ12の各軸(x、y、z軸)に対する重力加速度の相対方向が変化し、その結果、各軸(x、y、z軸)に付加される重力成分の大きさが変化する。このことに起因して、同じ文字を描画する場合であっても、描画姿勢が変われば取得される加速度データに変化が生じる。
本実施形態においては、ユーザは、空中に想定される仮想描画面に対して拳で描画する際、自身が描画しやすい姿勢で描画することができる。例えば、図2(b)に示すように、ユーザは、地面に対して垂直な面を仮想描画面として描画することもでき、あるいは、地面に対して平行な面を仮想描画面として描画することもできる。この場合、ユーザが描画する際の姿勢の変化によって、3軸加速度センサ12の各軸(x、y、z軸)に対する重力加速度の相対方向が変化し、その結果、各軸(x、y、z軸)に付加される重力成分の大きさが変化する。このことに起因して、同じ文字を描画する場合であっても、描画姿勢が変われば取得される加速度データに変化が生じる。
この点につき、本実施形態においては、重力成分除去処理部34において、ノイズ成分除去後の加速度データから重力加速度の影響が排除される。ユーザがある固定された仮想描画面に描画することを想定した場合、3軸加速度センサ12の各軸(x、y、z)に加わるそれぞれの重力加速度は、大きさは異なるものの、いずれも軸ごとに一定の値を示す。この場合、各軸に一定値として加わっている重力成分の影響は、各軸(x、y、z軸)の出力値から、各軸の加速度の平均値を減算することによって排除することができる。ここで、加速度の平均値とは、「加速度データを構成する要素の値の和/加速度データを構成する要素の数」で求められる値をいう。仮に、2秒間の描画動作をサンプリング間隔20msecで取得したとすると、加速度データを構成する要素の数は100個であり、要素の和は、その100個の要素の値の総和として定義される。重力成分除去処理部34が実行する上述した重力成分除去処理によって、加速度データの内容がユーザの描画姿勢に影響されなくなる。
(3)正規化処理
実際に、ユーザが文字を描画する場合、その描画速度や描画する文字の大きさは、常に同じではあり得ず、描画の度に異なることが予想される。したがって、同一ユーザが同一文字を描画する場合であっても、描画速度や描画する文字の大きさの違いに起因して、異なる加速度データが取得されることになる。これをそのままテンプレートと照合すると認識精度が低下するため、本実施形態においては、正規化処理部36が重力成分除去後の加速度データを正規化する処理を実行する。具体的には、各軸(x、y、z軸)の全ての加速度データの標準偏差を求め、各軸(x、y、z軸)の出力値を当該標準偏差で除算することによって、加速度データの正規化を行う。
実際に、ユーザが文字を描画する場合、その描画速度や描画する文字の大きさは、常に同じではあり得ず、描画の度に異なることが予想される。したがって、同一ユーザが同一文字を描画する場合であっても、描画速度や描画する文字の大きさの違いに起因して、異なる加速度データが取得されることになる。これをそのままテンプレートと照合すると認識精度が低下するため、本実施形態においては、正規化処理部36が重力成分除去後の加速度データを正規化する処理を実行する。具体的には、各軸(x、y、z軸)の全ての加速度データの標準偏差を求め、各軸(x、y、z軸)の出力値を当該標準偏差で除算することによって、加速度データの正規化を行う。
本実施形態においては、上述した前処理を経て得られた加速度データが照合データとして定義される。図4(a)は、グラフィティAが描画された際に生成される照合データを示す。重力成分除去処理、正規化処理を行う照合データにおける各軸(x、y、z軸)の加速度データ( xi n、yi n、zi n) は、下記式によって求めることができる。なお、下記式において、xi、yi、zi は、ノイズ成分除去処理後の加速度データを、Nは、加速度データを構成する要素の数を、x、y、z は、各軸の加速度の平均値をそれぞれ示す。
照合データ生成部22において、上述した手順で生成された照合データは、センサIDに関連付けられてマッチング部24へ転送される。マッチング部24においては、照合データと予め用意されたテンプレートとが照合される。なお、テンプレートは、基本的には、上述した照合データを生成したのと同様の手順で生成する。テンプレートは、たとえば、1回の描画入力に基づいて生成することもでき、あるいは、複数回の描画入力を行ない、それらの平均値をテンプレートデータとしたり、それらの各値から複数個のテンプレートデータを定義したりすることもできる。さらに、ユーザごとに専用のテンプレートを用意することもできる。図4(b)は、グラフィティAのテンプレートとなる加速度データを示す。
本実施形態においては、テンプレートとなる加速度データの集合は、センサIDに対応付けてグループ分けされ、テンプレート記憶部25に格納される。仮に、子音列を右手(センサID=1)で描画し、母音列を左手(センサID=2)で描画することが本システムの運用ルールとなっている場合、センサID=1と子音列のテンプレートの集合25aが対応づけられ、センサID=2と母音列のテンプレートの集合25bが対応づけられて、テンプレート記憶部25に記憶される。なお、テンプレート記憶部25においては、各テンプレートは、対応するアルファベットのテキスト情報と関連付けて記憶される。
マッチング部24は、照合データ生成部22から照合データとセンサIDを受け取ると、当該センサIDに対応づけて記憶されたテンプレートの集合を読み出し、当該集合に含まれる全テンプレートと照合データとの間でマッチングを実行する。本実施形態のマッチングについては、既存の手法を適宜用いることができるが、本実施形態においては、DPマッチング(動的計画法によるマッチング手法)を用いることが好ましい。DPマッチングを採用する場合、2つの加速度データ(時系列データ)の正規化されたベクトル間距離によって類似度を評価する。具体的には、2つの時系列データの要素数がそれぞれI個、J個である場合、2つの加速度データ(時系列データ)のベクトル間距離を(I+J)で除算した値を正規化距離とし、照合データとの間で最も小さい距離の値を示したテンプレートを決定し、これに対応するアルファベット(テキスト情報)をセンサIDに関連づけて文字変換部26に送る。なお、本実施形態においては,正規化距離の標準偏差についても併せて算出し、正規化距離の平均値と標準偏差の両方を用いて類似度を評価することによって、誤認識の可能性を確率・統計的に評価することができる。
ここで、仮に、1つの加速度センサを使用して50音の仮名文字を描画して仮名文字を入力するシステムを考えた場合、少なくとも50個のテンプレートデータが必要なり、1つ仮名文字を入力するためには総当たりで50回の照合処理が必要となる。この点、本実施形態によれば、母音列(A,I,U,E,O )および子音列(K,S,T,N,H,M,Y,R,W)に対応するわずか14個のテンプレートデータを用意するだけで足り、また、1つ仮名文字を入力するのに、最大でも、母音列について5回、子音列について9回の全14回の照合処理で済むため、処理速度が向上する。さらに、本実施形態によれば、1つの照合データについて照合しなければならないテンプレートの数を少なくすることができるので、認識率が格段に向上する。
続いて、文字変換部26は、マッチング部24から順次送られてくる子音および母音を示すアルファベット(テキスト情報)の組み合わせを一般的なローマ字仮名変換プロトコルに従って仮名文字(テキスト情報)に変換する。なお、ローマ字仮名変換プロトコルは周知技術であるので、これ以上の説明は省略する。変換された仮名文字(テキスト情報)は、出力部28によって、出力表示され、必要に応じてハードディスク等の記録デバイスに記録される。
以上、本発明について、日本語の仮名文字を目的文字とし、ローマ字の子音列と母音列を2つの文字構成要素とした実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、目的文字(図形文字)を複数の図形要素に分解し、各図形要素を文字構成要素として、本システムを構築することもできる。例えば、当業者であれば、ユーザに対し、「部首」を一方の手(たとえば右手)で描画し、「つくり」を他方の手(たとえば左手)で描画するルールを適用し、両手首に装着された3軸加速度センサから送信される加速度データを使用して、「部首」および「つくり」を認識し、これらの組み合わせを「漢字」に変換するようにシステムを構築することもできるであろう。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
以下、本発明の文字入力システムについて、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。
以下の手順で、本発明の文字入力システムの文字認識性について検証した。なお、本実験においては、認識対象文字をグラフィティ文字(Palm社)とした。
本実験においては、被験者の左右の手首に小型無線を搭載した3軸加速度センサ(ワイヤレステクノロジー社 WAA-001 )を1つずつ装着し、当該3軸加速度センサが無線発信するデータをパーソナル・コンピュータ(PC)側で受信する装置構成とした。
上述した装置構成において、まず、被験者に日本語の仮名文字のローマ字表記に使用されるアルファベット(母音列:A,I,U,E,O / 子音列:K,S,T,N,H,M,Y,R,W)を示すグラフィティ文字を1文字につき1回ずつ空中描画してもらい、各文字について取得された3軸加速度データ(生データ)に対し、ノイズ成分除去処理(カットオフ周波数10Hz)、重力成分除去処理、およびサイズ正規化処理からなる前処理を施したものをテンプレートデータとした。なお、子音列については右手で、母音列については左手で描画するものとした。
次に、同じ被験者にテンプレートデータを生成したのと同様の手順で全てのグラフィティ文字につき1回ずつ空中描画してもらい、各文字について取得された3軸加速度データ(生データ)に対して同じく上記前処理を施して照合データを生成した。
最後に、本発明による方法の認識精度の評価のために生成した照合データとテンプレートデータの各組み合わせについてDPマッチングを適用して正規化距離を求め、複数回の試行からその平均値(平均距離)と標準偏差を算出した。図5(a)は、母音列(A,I,U,E,O)についてのDPマッチングの結果を示し、図5(b)は、子音列(K,S,T,N,H,M,Y,R,W)についてのDPマッチングの結果をそれぞれ示す。図5(a)(b)に示されるように、照合データは、いずれも、正解テンプレートデータとの間で最も小さい平均距離を示し、その標準偏差も小さいことがわかった。上述した結果から、本発明の文字入力システムが高い文字認識性を備えることが示された。
10…文字入力システム、12…加速度センサ、20…PC、21…加速度データ受信部、22…照合データ生成部、24…マッチング部、25…テンプレート記憶部、26…文字変換部、28…出力部、32…ノイズ成分除去処理部、34…重力成分除去処理部、36…正規化処理部
Claims (12)
- それぞれが固有の識別子を有する複数の加速度センサと該加速度センサと通信自在な情報処理装置とを含む文字入力システムであって、
前記情報処理装置は、
目的文字が分解されてなる複数の文字構成要素ごとにテンプレートとなる加速度データの集合を前記識別子に対応付けて記憶するテンプレート記憶部と、
前記加速度センサを人体の動きを伴う部位に複数箇所装着したユーザが各部位を使用して前記文字構成要素を空中描画する際に検出される加速度データを各前記加速度センサから個別に受信する加速度データ受信部と、
受信した前記加速度データから照合データを生成し、該照合データを前記加速度データの送信元の前記加速度センサの前記識別子に関連付ける照合データ生成部と、
前記照合データと、該照合データに関連付けられた前記識別子に対応付けて記憶された前記テンプレートの集合との間でマッチングを実行し、前記ユーザが描画した複数の前記文字構成要素を決定するマッチング部と、
決定された複数の前記文字構成要素の組み合わせを前記目的文字に変換する文字変換部と、
を含む文字入力システム。 - 前記照合データ生成部は、ノイズ成分除去処理部と、重力成分除去処理部と、正規化処理部とを含む、請求項1に記載の文字入力システム。
- 前記マッチングは、DPマッチングである、請求項1または2に記載の文字入力システム。
- 前記加速度センサは、2軸加速度センサまたは3軸加速度センサである、請求項1〜3のいずれか1項に記載の文字入力システム。
- それぞれが固有の識別子を有する複数の加速度センサと通信自在な情報処理装置に対して文字入力を実行させる方法であって、
目的文字が分解されてなる複数の文字構成要素ごとにテンプレートとなる加速度データの集合を用意し、該テンプレートの集合を前記識別子に対応付けて記憶するステップと、
前記加速度センサを人体の動きを伴う部位に複数箇所装着したユーザが各部位を使用して前記文字構成要素を空中描画する際に検出される加速度データを各前記加速度センサから個別に受信するステップと、
受信した前記加速度データから照合データを生成するステップであって、該照合データを前記加速度データの送信元の前記加速度センサの前記識別子に関連付けるステップと、
前記照合データと、該照合データに関連付けられた前記識別子に対応付けて記憶された前記テンプレートの集合との間でマッチングを実行し、前記ユーザが描画した複数の前記文字構成要素を決定するステップと、
決定された複数の前記文字構成要素の組み合わせを前記目的文字に変換するステップと、
を含む方法。 - 前記照合データを生成するステップは、前記加速度データからノイズ成分および重力成分を除去した後に正規化処理を行うステップである、請求項5に記載の方法。
- 前記マッチングは、DPマッチングである、請求項5または6に記載の方法。
- 前記加速度センサは、2軸加速度センサまたは3軸加速度センサである、請求項5〜7のいずれか1項に記載の方法。
- 第1の識別子を有する第1の加速度センサと、第2の識別子を有する第2の加速度センサと、該第1および第2の加速度センサと通信自在な情報処理装置とを含む仮名文字入力システムであって、
前記情報処理装置は、
仮名文字のローマ字表記に使用される母音列のアルファベットのテンプレートとなる加速度データの集合を前記第1の識別子に対応付け、子音列のアルファベットのテンプレートとなる加速度データの集合を前記第2の識別子に対応付けて記憶するテンプレート記憶部と、
前記第1および第2の加速度センサを人体の動きを伴う2つの部位に別々に装着したユーザが各部位を使用して前記アルファベットを空中描画する際に検出される加速度データを前記第1および第2の加速度センサから個別に受信する加速度データ受信部と、
受信した前記加速度データから照合データを生成し、該照合データを前記加速度データの送信元の前記加速度センサの前記識別子に関連付ける照合データ生成部と、
前記照合データに関連付けられた前記識別子が前記第1の識別子であった場合には、該照合データと前記母音列のアルファベットのテンプレートの集合との間でマッチングを実行して母音列のアルファベットを決定し、前記照合データに関連付けられた前記識別子が前記第2の識別子であった場合には、該照合データと前記子音列のアルファベットのテンプレートの集合との間でマッチングを実行して子音列のアルファベットを決定するマッチング部と、
決定された前記母音列のアルファベットと前記子音列のアルファベットの組み合わせを仮名文字に変換する文字変換部と、
を含む仮名文字入力システム。 - 前記アルファベットは、ユーザによってグラフィティ文字で描画され、前記テンプレートは、アルファベットに対応するグラフィティ文字のテンプレートである、請求項9に記載の仮名文字入力システム。
- 前記マッチングは、DPマッチングである、請求項9または10に記載の仮名文字入力システム。
- 前記加速度センサは、2軸加速度センサまたは3軸加速度センサである、請求項9〜11のいずれか1項に記載の仮名文字入力システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036851A JP2011175315A (ja) | 2010-02-23 | 2010-02-23 | 加速度センサを利用した文字入力システムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036851A JP2011175315A (ja) | 2010-02-23 | 2010-02-23 | 加速度センサを利用した文字入力システムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011175315A true JP2011175315A (ja) | 2011-09-08 |
Family
ID=44688129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010036851A Pending JP2011175315A (ja) | 2010-02-23 | 2010-02-23 | 加速度センサを利用した文字入力システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011175315A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2816450A1 (en) | 2013-06-21 | 2014-12-24 | Casio Computer Co., Ltd. | Information processing apparatus, and information processing method |
JP2015146132A (ja) * | 2014-02-03 | 2015-08-13 | 富士通株式会社 | プログラム、情報処理方法、情報処理システム、ウェアラブル装置 |
JP2016062274A (ja) * | 2014-09-17 | 2016-04-25 | 株式会社東芝 | 認識装置、認識方法及び認識プログラム |
-
2010
- 2010-02-23 JP JP2010036851A patent/JP2011175315A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2816450A1 (en) | 2013-06-21 | 2014-12-24 | Casio Computer Co., Ltd. | Information processing apparatus, and information processing method |
JP2015146132A (ja) * | 2014-02-03 | 2015-08-13 | 富士通株式会社 | プログラム、情報処理方法、情報処理システム、ウェアラブル装置 |
JP2016062274A (ja) * | 2014-09-17 | 2016-04-25 | 株式会社東芝 | 認識装置、認識方法及び認識プログラム |
US9916015B2 (en) | 2014-09-17 | 2018-03-13 | Kabushiki Kaisha Toshiba | Recognition device, recognition method, and non-transitory recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10446059B2 (en) | Hand motion interpretation and communication apparatus | |
Lee et al. | Smart wearable hand device for sign language interpretation system with sensors fusion | |
Yang et al. | Chinese sign language recognition based on an optimized tree-structure framework | |
Hernandez-Rebollar et al. | A multi-class pattern recognition system for practical finger spelling translation | |
Bui et al. | Recognizing postures in Vietnamese sign language with MEMS accelerometers | |
Vutinuntakasame et al. | An assistive body sensor network glove for speech-and hearing-impaired disabilities | |
Gupta et al. | Indian sign language recognition using wearable sensors and multi-label classification | |
Das et al. | Smart glove for sign language communications | |
Ahmed et al. | Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition | |
US10878231B2 (en) | Writing recognition using wearable pressure sensing device | |
Pathak et al. | A framework for hand gesture recognition based on fusion of Flex, Contact and accelerometer sensor | |
Farooq et al. | A comparison of hardware based approaches for sign language gesture recognition systems | |
Sim et al. | Identity recognition based on bioacoustics of human body | |
Blumrosen et al. | Back to finger-writing: Fingertip writing technology based on pressure sensing | |
JP2011175315A (ja) | 加速度センサを利用した文字入力システムおよび方法 | |
Shi et al. | Towards HMM based human motion recognition using MEMS inertial sensors | |
Yin et al. | A Systematic Review of Human Activity Recognition Based On Mobile Devices: Overview, Progress and Trends | |
Li et al. | Interpreting sign components from accelerometer and sEMG data for automatic sign language recognition | |
Aiswarya et al. | Hidden Markov model-based Sign Language to speech conversion system in TAMIL | |
Avadut et al. | A deep learning based iot framework for assistive healthcare using gesture based interface | |
Swee et al. | Malay sign language gesture recognition system | |
Vishal et al. | Sign language to speech conversion | |
Manware et al. | Smart Gloves as a Communication Tool for the Speech Impaired and Hearing Impaired | |
KR100549994B1 (ko) | 지화 인식 방법 및 장치 | |
Khan et al. | Use hand gesture to write in air recognize with computer vision |