JP2015170064A - 摺動操作検出装置、電子機器及びプログラム - Google Patents

摺動操作検出装置、電子機器及びプログラム Download PDF

Info

Publication number
JP2015170064A
JP2015170064A JP2014043477A JP2014043477A JP2015170064A JP 2015170064 A JP2015170064 A JP 2015170064A JP 2014043477 A JP2014043477 A JP 2014043477A JP 2014043477 A JP2014043477 A JP 2014043477A JP 2015170064 A JP2015170064 A JP 2015170064A
Authority
JP
Japan
Prior art keywords
pickups
sliding operation
handwriting
time shift
rubbing sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014043477A
Other languages
English (en)
Other versions
JP6281745B2 (ja
Inventor
一嘉 渡邊
Kazuyoshi Watanabe
一嘉 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014043477A priority Critical patent/JP6281745B2/ja
Publication of JP2015170064A publication Critical patent/JP2015170064A/ja
Application granted granted Critical
Publication of JP6281745B2 publication Critical patent/JP6281745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】手書き摺動操作時に発生する擦れ音からその操作位置を適切に検出する。【解決手段】電子機器の摺動操作検出部5は、手書き摺動操作時に発生する擦れ音を測定した複数のピックアップ53、54からの波形データを比較して、その波形間の時間シフト量を判定する。中央制御部1は、この時間シフト量によって各ピックアップ53、54からの距離の差を算出すると共に、この距離の差により擦れ音発生点を手書き摺動操作の操作位置として特定する。【選択図】図1

Description

本発明は、手書き摺動操作を検出する摺動操作検出装置、摺動操作検出機能を備えた電子機器及びプログラムに関する。
一般に、手書き摺動操作を検出する摺動操作検出装置としては、例えば、静電容量方式、抵抗皮膜方式、電磁誘導方式、圧電方式などで駆動するタッチスクリーンなどの専用パネルを使用してタッチ位置を検出することにより手書き入力を検出するようにしているが、このような専用パネルを電子辞書装置などの小型電子機器に実装することは、デザイン、大きさ、重さなどに制約を与えることになり、また、このような制約から製品に添付されている専用ペンを使用して書き込みを行うことは、手書きの利便性が損なわれることにもなる。このことは、タッチスクリーンに限らず、輝度調整やボリューム調整などを行う場合に直感的な操作が可能なスライダについても同様に専用パネルを使用することによってデザイン上の制約や実装上の制約などを受けてしまう。
また、従来、上述のような専用パネルに代わって、マイクロフォンを使用して手書きストロークを検出するようにした技術として、文字を書く際の摺動面との摺動音を採取し、採取した摺動音をストロークデータベースの摺動音と比較することにより一致するストロークを特定し、この特定したストロークの組と文字認識データベース内のストロークの組とを比較して一致する文字コードを特定するようにした手書き文字認識装置が知られている(特許文献1参照)。
特開2009−217733号公報
しかしながら、上述の特許文献の技術にあっては、摺動音の種類(直線音、カーブ音、跳ね上げ音など)から手書きストロークを特定するようにしているが、摺動音の種類を識別することは、文字を書く際の摺動の仕方や摺動面の状態などに大きく影響されるため、その識別を間違えしまう危険性が大きかった。
本発明の課題は、手書き摺動操作時に発生する擦れ音からその操作位置を適切に検出できるようにすることである。
上述した課題を解決するために、本発明の摺動操作検出装置は、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
を具備したことを特徴とする。
上述した課題を解決するために、本発明の電子機器は、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
前記検出手段によって検出された摺動操作の操作位置に応じた入力処理を実行する処理手段と、
を具備したことを特徴とする。
本発明によれば、手書き摺動操作時に発生する擦れ音からその操作位置を適切に検出することができ、擦れ音に応じた入力処理を円滑に行うことが可能となる。
摺動操作検出機能付きの電子機器(電子辞書装置)の基本的な構成要素を示したブロック図。 (1)は、電子機器(電子辞書装置)の筺体の上面一部に配設されたスライダ(ピックアップ53、54)を示した図、(2)は、ピックアップ53、54の実装状態を説明するための断面図。 同一の音源(擦れ音)を検出した第1ピックアップ53の波形データと第2ピックアップ54の波形データを具体的に例示した図。 2つのピックアップ53、54からの波形の相互相関の結果(時間シフト量)と操作位置(接触点)との関係を説明するための図。 第1実施形態の特徴的な動作である手書き摺動操作部5の動作を説明するためのフローチャート。 図5のステップA7(相互相関の計算)を詳述するためのフローチャート。 一定時間の割り込みで毎に実行開始される中央制御部1の動作(スライダ処理)を示したフローチャート。 相互相関の計算結果をグラフ化した図。 第2実施形態における摺動操作検出機能付きの電子機器(電子辞書装置)の基本的な構成要素を示したブロック図。 第2実施形態において、電子機器を構成する筐体の所定の位置にピックアップ(マイクロフォン)53、54をペアとして2組配設した状態を示した図。 第2実施形態の特徴的な動作である手書き摺動操作部5の動作を説明するためのフローチャート。 第2実施形態において、一定時間の割り込みで毎に実行開始される中央制御部1の動作(手書きスクロール認識処理)を示したフローチャート。 第2実施形態において、時間経過と時間シフト量との関係をグラフ化した図。 第2実施形態において認識した手書きストロークを再現した場合を例示した図。 第2実施形態の変形例として摺動操作検出機能付き電子機器を家庭電化製品(冷蔵庫)に適用した場合を例示した図。 (1)、(2)は、第2実施形態の他の変形例としてピックアップが3つの場合の実装例を示した図。 図16の場合の仮想手書き入力エリアを説明するための図。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
先ず、図1〜図8を参照して本発明の第1実施形態を説明する。
第1実施形態として適用した電子機器の基本的な構成要素を示したブロック図である。
この電子機器は、例えば、携帯可能なサイズの電子辞書装置であり、各種のアプリケーション機能として辞書機能、計時機能などの基本機能のほか、指やペンを操作面に接触させながら移動する手書き摺動操作に追従してその操作位置を逐次検出する摺動操作検出機能を備えている。
中央制御部1は、電源部(図示省略)からの電力供給によって動作し、記憶部2内の各種のプログラムに応じてこの電子辞書装置の全体動作を制御する中央演算処理装置やメモリなどを有している。記憶部2は、例えば、ROM、フラッシュメモリなどを有する構成で、後述する図7に示した動作手順に応じて第1実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ21などを有している。なお、記憶部2は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
中央制御部1には、入出力デバイスとして、表示部3、キー操作部4、手書き摺動操作部5などが接続され、それらの入出力動作を制御する。表示部3は、高精細液晶ディスプレイあるいは有機EL(Electro Luminescence)ディスプレイである。キー操作部4は、各種の押しボタン式の各種のキーとして、図示省略したが、文字キー、テンキーなどを有し、中央制御部1は、この操作部4から操作キーに対応して出力される入力操作信号に応じた処理を行う。手書き摺動操作部5は、上述の摺動操作検出機能の一部を構成するもので、例えば、輝度調整やボリューム調整などを行う摺動操作(スライダ操作)に追従してその操作位置を逐次検出して中央制御部1に与えることにより入力処理を指示するスライダ操作部であり、中央制御部1は、この手書き摺動操作部(スライダ操作部)5からの指示に応じた入力処理として輝度調整やボリューム調整などのスライダ処理を実行するようにしている。
手書き摺動操作部5(スライダ操作部)は、専用の制御部51を中核とし、後述する図5及び図6に示した動作手順に応じて第1実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ52に応じてこの手書き摺動操作部5の全体動作を制御するもので、上述のスライダを構成する2つのピックアップ53、54に接続されている。このスライダは、図2(1)に示すように、2つのピックアップ53、54を直線上に所定の間隔を空けて配設した構成で、各ピックアップ53、54として圧電素子を使用している。
図2(1)は、電子辞書装置の筺体の上面一部に配設されたスライダを示した図である。
ピックアップ53、54の間において、操作者の指を操作面(例えば、筺体の上面)に接触させながら移動する摺動操作(スライダ操作)が行われると、その操作時には接触点(操作位置)の摩擦によって擦れ音が発生するが、この擦れ音は、接触点(擦れ音の発生点)から略均一に伝わって各ピックアップ53、54に到達するため、制御部51は、各ピックアップ53、54からの波形データに基づいて、この擦れ音が各ピックアップ53、54に到達する到達具合(時間の遅れ)を検出するようにしている。
図2(2)は、ピックアップ53、54を実装した状態を示した図である。
各ピックアップ53、54は、電子機器を構成する筺体の載置面側(例えば、底面部側)に配設され、筺体の底面部6から突設した収納部61のうち、その一つの収納部61の中空部にピックアップ53を埋設してゴム材7で保護し、他の一つの収納部61の中空部にピックアップ54を埋設してゴム材7で保護されている。このようにピックアップ53、54が埋設されている筐体の底面部側に対してその反対側の上面部側がスライダの操作面となっている。
なお、図示の例では、筺体の底面部6から突設した収納部61にピックアップ53、54に配設(収納)するようにしたが、筐体が上部ケースと下部ケースによって構成されている場合において、この上部ケースの裏面側にピックアップ53、54に配設するようにしてもよい。これによって上部ケースの上面側をスライダとすることができる。このようにピックアップ53、54の取り付け位置は、擦れ音を的確に検出することが可能であれば、任意である。
なお、スライダの操作面は、指との摩擦を大きくするために粗面としてもよい。また、スライダの操作範囲(仮想手書き入力エリア)は、擦れ音を検出するピックアップ53、54を使用しているため、それらを結ぶ直線上に限らず、その垂線方向に若干膨らんだ楕円形の範囲(図中、破線で囲った領域)となるが、厳密に特定される領域ではなく、擦れ音の大きさなどにより変化する領域である。また、ピックアップ53、54を区別して呼ぶ場合には、その一方を第1ピックアップ53とし、他方を第2ピックアップ54と呼称するものとする。
第1ピックアップ53によって測定された振動波形信号は、所定のサンプリング周波数にしたがってAD変換部(ADC)55によって波形データに順次変換された後、第1波形メモリ56に一時記憶される。同様に、第2ピックアップ54によって測定された振動波形信号は、所定のサンプリング周波数にしたがってAD変換部(ADC)55によって波形データに順次変換された後、第2波形メモリ57に一時記憶される。この第1波形メモリ56及び第2波形メモリ57は、外部の雑音が多い環境で正しい時間差を測定するために所定回数(例えば、512)分のサンプル(波形データ)を逐次記憶可能なもので、この第1波形メモリ56及び第2波形メモリ57に512回数分の波形データが記憶された際に、制御部51は、第1波形メモリ56及び第2波形メモリ57から各波形データを順次読み出しながら2つの波形の相互相関を計算することによって時間シフト量(時間の遅れ)を求めるようにしている。
すなわち、スライダの操作範囲内において摺動操作が行われると、その操作位置(接触点:擦れ音の発生点)と各ピックアップ53、54との距離に応じて擦れ音が各ピックアップ53、54に到達するまでに時間差が生じる。つまり、操作位置(接触点)に近いピックアップで検出された擦れ音が、操作位置(接触点)から遠いピックアップに検出されるまでには、その距離差に応じた時間分遅れることになる。この時間差(時間の遅れ)を特定することによってピックアップ53、54から操作位置(接触点)までの距離の差を特定することができるので、制御部51は、2つの波形の相互相関を計算して時間シフト量(到達時間差:時間の遅れ)を求めるようにしている。
図3は、同一の音源(擦れ音)を検出した第1ピックアップ53の波形データと第2ピックアップ54の波形データを具体的に例示した図で、その縦軸は、振幅の値を示し、横軸はサンプリングのデータ番号を示している。
図中の例は、上の方の波形データに対して下の方の波形データが若干(例えば、3〜5サンプル分)遅れている場合を例示している。このように同一の擦れ音を2つのピックアップ53、54で検出したとしても摺動操作(スライダ操作)時の接触具合や環境などにより振幅は同じようにはならないが、全体的には一定のサンプル数分ずれているので、この時間シフト量(時間の遅れ)を相互相関によって求める。なお、図示の例では、上の方の波形を3サンプル分か4サンプル分遅らせて計算した相関値が最大となることを示している。
この相互相関によって求められた相関結果(時間シフト量)は、インターフェイス部58を介して中央制御部1に与えられる。中央制御部1は、2つのピックアップ53、54に擦れ音が到達するまでの時間差(時間シフト量)に基づいてピックアップ53、54から操作位置(接触点)までの距離の差を算出し、この距離の差により擦れ音発生点を手書き摺動操作の操作位置として特定し、その操作位置に応じて輝度調整やボリューム調整などのスライダ処理を行うようにしている。すなわち、スライダ操作時に発生する擦れ音に応じて入力処理(スライド処理)を行うようにしている。
図4は、相関結果(時間シフト量)と操作位置(接触点)との関係を説明するための図である。
図示の例は、第1ピックアップ53がポイントAの位置に配設され、第2ピックアップ53がポイントEの位置に配設されている状態において、このポイントA、Eを結ぶ直線上のポイントB、C、Dが操作された場合を例示している。ポイントBが操作された場合、ポイントBから第1ピックアップ53までの距離ABは、ポイントBから第2ピックアップ54までの距離BDよりも短いので、第1ピックアップ53は、第2ピックアップ54よりも操作時の擦れ音を時間シフト量(1)だけ早く検出することになる。
また、ポイントCが操作された場合、ポイントCから第1ピックアップ53までの距離ACとポイントCから第2ピックアップ54までの距離CEは略同じとなり、擦れ音は、第1ピックアップ53、第2ピックアップ54に略同時に到達するようになるため、時間の遅れはなく、時間シフト量(2)は検出されない。ポイントDが操作された場合、ポイントDから第2ピックアップ54までの距離DEは、ポイントDから第1ピックアップ53までの距離ADよりも短いので、第2ピックアップ54は、第1ピックアップ53よりも操作時の擦れ音を時間シフト量(3)だけ早く検出することになる。
他方、ピックアップ53、ピックアップ54の間を外れたポイントFが操作された場合、ポイントFから第2ピックアップ54までの距離EFは、ポイントFから第1ピックアップ53までの距離AFよりも短く、時間シフト量(4)が検出されるようになるが、この時間シフト量(4)は、ポイントEFの距離に拘わらずに略一定、つまり、ピックアップ53、ピックアップ54間の距離に略相当する時間の遅れで略一定となるため、ピックアップ53、ピックアップ54の間での操作ではないものとしてその操作を無効としている。これによって摺動操作が2つのピックアップの間(内側)で行われたのか外側で行われたのかを容易に判別することができる。
このように第1実施形態においては、手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段(手書き摺動操作部5、制御部51、プログラムメモリ52、ピックアップ53、54)と、前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段(手書き摺動操作部5、制御部51、プログラムメモリ52、)と、前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段(中央制御部1、プログラムメモリ21)と、前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段(中央制御部1、プログラムメモリ21)と、を備える構成となっている。
次に、第1実施形態における摺動操作検出機能付き電子機器(電子辞書装置)の動作概念を図5〜図7に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。
図5は、第1実施形態の特徴的な動作である手書き摺動操作部5の動作を説明するためのフローチャートであり、電源投入に応じて実行開始される。
先ず、手書き摺動操作部5においてその制御部51は、ピックアップ53、54によって測定された振動波形信号がAD変換部55によって波形データに変換されると、その波形データに基づいて閾値判定を行ってスライダ操作が行われたか否かを調べ、所定の閾値を超えるまで(スライダ操作が行われるまで)待機状態となる(ステップA1)。
いま、スライダ操作が行われたときには(ステップA1でYES)、第1波形メモリ56及び第2波形メモリ57に所定数分のサンプル(波形データ)を一時記憶させる動作を開始するが、それに先立って、そのサンプリング回数を計数するカウンタ(図示省略)に初期値“0”をセットしてその値をクリアする(ステップA2)。そして、第1ピックアップ53からの波形データを読み込んで第1波形メモリ56に一時記憶させると共に(ステップA3)、第2ピックアップ54からの波形データを読み込んで第2波形メモリ57に一時記憶させる(ステップA4)。
次に、カウンタの値をプラス“1”してその値を更新(ステップA5)した後、そのカウンタ値は、“256”であるかを調べるが(ステップA6)、最初は、カウンタ値は“1”であるから上述のステップA3に戻り、以下、各波形データを対応する第1波形メモリ56、第2波形メモリ57に一時記憶させる動作を繰り返す。これによって第1波形メモリ56、第2波形メモリ57に所定数(512)分のサンプル(波形データ)が一時記憶されると(ステップA6でYES)、第1波形メモリ56、第2波形メモリ57の内容を読み出しながら相互相関の計算を行う(ステップA7)。
図6は、図5のステップA7(相互相関の計算)を詳述するためのフローチャートである。
先ず、制御部51は、ピックアップ53、54間の操作位置(接触点)から発生した擦れ音がピックアップ53、54に到達するまでの時間差の最大値を、予め固定的に決められているピックアップ間の距離に基づいて、算出すると共に(ステップB1)、この時間差の最大値から時間シフト量の最大値t0を算出する処理を行う(ステップB2)。例えば、擦れ音の到達時間差が最大となるのは、2つのピックアップ53、54の延長線上が操作位置(接触点)である場合であるので、2つのピックアップ53、54間の距離が5cmとすれば、時間差の最大値は操作面の材質などにもよるが、160μsec程度となる。この場合、サンプリング周波数(例えば、96kHz)で擦れ音を取得したものとすると、16サンプルのずれが想定される。このずれの値は音の伝搬速度によって決定され、伝搬速度は素材によって異なるが、ある程度のマージンを持って設計する必要があるため、第1実施例では、時間シフト量の最大値t0を±28サンプルとして決定するようにしている。
次に、時間シフト量tを初期化する処理を行うことによりt=−t0(−28)とする(ステップB3)。そして、第1波形メモリ56及び第2波形メモリ57から波形データを読み出しながら相互相関の計算を行う(ステップB4)。そして、時間シフト量tに“1”を加算してシフト(ステップB5)した後、その時間シフト量tがt0(28)未満であるかを調べ(ステップB6)、t<t0であれば(ステップB6でYES)、時間シフト量tがt0に達するまでステップB4に戻り、相互相関の計算を継続する。このように、一方の波形データを固定して、他方の波形データをシフトしつつ積和をとる相互相関の計算を行う。
すなわち、512サンプル(波形データ)に対して時間シフトを行いながら相関計算を行うが、第1波形メモリ56の512サンプル(波形データ)と、それに対して28サンプル前(時間シフト量t=−28)の第2波形メモリ57の512サンプル(波形データ)との相関計算を行って積和(相関値)を順次求める。そして、時間シフト量tがt0(28)に達すると(ステップB6でNO)、各相関結果(相関値)を比較することにより相関値が最大となる時間シフト量tを時間差として決定する(ステップB7)。これによって第1ピックアップ53の512サンプル区間での第1ピックアップ53と第2ピックアップ54との到達時間差が求められ、第1ピックアップ53の波形データをどれだけずらせば、第2ピックアップ54の波形データに近似するかを数値として決定する。
このような相互相関の計算(図5のステップA7)が終わると、その相関計算の結果(相関値が最大となる時間シフト量)を、インターフェイス部58を介して中央制御部1に通知する(ステップA8)。そして、ピックアップ53、54からの波形データに基づいて閾値判定を行い、スライダ操作が行われていないかを調べ(ステップA9)、所定の閾値を超えていれば(ステップA9でNO)、スライダ操作が継続して行われているものとして、上述のステップA2に戻り、カウンタをクリアした後、上述の動作(ステップA2〜A9)を繰り返す。そして、スライダ操作の終了を検出したときには(ステップA9でYES)、スライダ操作の終了通知を中央制御部1に与える(ステップA10)。これによって図5の処理を終了し、新たなスライダ操作の開始を待つ。
図7は、一定時間の割り込みで毎に実行開始される中央制御部1の動作(スライダ処理)を示したフローチャートである。
中央制御部1は、手書き摺動操作部5から相互相関の計算結果(相関値が最大となる時間シフト量)を受け取ったかを調べ(ステップC1)、受け取らなければ(ステップC1でNO)、この図7のフローから抜けるが、相互相関の計算結果を受け取ったときには(ステップステップC1でYES)、この相互相関の計算結果に基づいて、操作位置(擦れ音発生位置)から第1ピックアップ53までの距離と操作位置から第2ピックアップ54までの距離の差を算出し(ステップC2)、操作位置(接触点)を特定する処理を行う(ステップC3)。
この場合、時間シフト量が“0”であれば、第1ピックアップ53の波形データと第2ピックアップ54との間で時間差が生じない場合であるから、第1ピックアップ53と第2ピックアップ54との中点を操作位置(接触点)として決定することができる。一方、時間シフト量がマイナスの値であれば、第1ピックアップ53の波形データの方が遅延している場合であるので、操作位置(接触点)は、第2ピックアップ54側に近いことが分かる。逆に、時間シフト量がプラスの値であれば、第2ピックアップ54の波形データの方が遅延していることになるので、操作位置(接触点)は、第1ピックアップ53側に近いことが分かる。
図8は、相互相関の計算結果をグラフ化した図である。
このグラフ(ヒストグラム)は、その横軸を時間シフト量とし、縦軸を相関値としたもので、図示の例のように相関が強いときにはグラフに山状のピークが現れるが、そのピークが著しく多かった場合や山形が不鮮明な場合であれば、雑音の影響で擦れ音を特定できなかったか、若しくは擦れ音自体が発生していなかったと考えられるので、相関なしと判定することができる。
中央制御部1は、スライダ操作の終了通知を受け取ると、この相関値が最大となる時間シフト量に基づいて、操作位置(擦れ音発生位置)から第1ピックアップ53までの距離と操作位置から第2ピックアップ54までの距離の差を算出するが、この場合、時間シフト量と擦れ音の伝播速度に基づいて距離の差を算出する。これによって算出した距離の差とピックアップ53、54間の距離(固定値)との比から擦れ音発生点を手書き摺動操作の操作位置として特定する。これによって中央制御部1は、特定した操作位置に応じた入力処理として輝度調整やボリューム調整などのスライダ処理を実行する(ステップC4)。その後、図7のフローから抜ける。
以上のように、第1実施形態において摺動操作検出機能付きの電子機器は、手書き摺動操作時に発生する擦れ音を測定した複数のピックアップ53、54からの波形データを比較してその波形間の時間シフト量を判定し、この時間シフト量によって各ピックアップ53、54からの距離の差を算出すると共に、この距離の差により擦れ音発生点を手書き摺動操作の操作位置として特定するようにしたので、手書き摺動操作時に発生する擦れ音からその操作位置を適切に検出することができる。
ピックアップ53、54からの波形データが所定の条件(閾値)を満たすか否かに基づいて手書き摺動操作(スライダ操作)が行われているか否かを判別し、スライダ操作が行われている間、その摺動操作時に発生する擦れ音からその操作位置を検出する動作を継続するようにしたので、スライダ操作に追従してその操作位置を連続的に検出することが可能となる。
手書き摺動操作時に発生する擦れ音を、所定のタイミング毎に複数のピックアップ53、54により測定された各波形データに基づいてその相互相関を計算して、その波形間の時間シフト量を判定すると共に、その各時間シフト量の中から最も相関値の大きい時間シフト量を判定し、この最も相関値の大きい時間シフト量によって各ピックアップ53、54からの距離の差を算出するようにしたので、距離の差を精度よく算出することができると共に、この距離の差によって操作位置をより適切に検出することが可能となる。また、相互相関を計算して時間シフト量を判定するようにしたので、周囲の様々な雑音や自己の駆動音などの影響を排除することも可能となる。
2つのピックアップ53、54が所定の間隔を空けて配設されている状態において、この2つのピックアップ間の操作位置を特定するようにしたので、2つのピックアップ53、54を所定の間隔を空けて配設するだけでスライダを構成することができる。また、2つのピックアップ53、54の間に、例えば、表示パネルなどが設けられていても、その表示パネルの表面を操作面としてスライダ操作を行うようにすれば、ピックアップ53、54間のスペースを有効に利用することも可能となる。
時間シフト量が所定量であるか否かに基づいて操作位置が2つのピックアップ53、54の内側であるか外側であるかを特定するようにしたので、誤操作の確率を低く抑えることが可能となる。
摺動操作検出機能付きの電子機器は、摺動操作時に発生する擦れ音からその操作位置を特定した場合に、その操作位置に応じた入力処理を実行するようにしたので、擦れ音に応じた入力処理(スライダ処理)を円滑に行うことが可能となる。
2つのピックアップ53、54が所定の間隔を空けて配設されている状態において、この2つのピックアップ間の操作位置を特定してスライダ処理を実行するようにしたので、2つのピックアップ53、54を配設するだけでスライダを構成することができるようになる。したがって、従来のように専用パネルの使用によってデザイン上の制約や実装上の制約などを受けることもなく、また、摺動範囲を自由に設定したり、変更したりすることができると共に、部品点数が少ないために既存の電子機器にも容易に実装することも可能となる。
なお、上述した第1実施形態においては、2つのピックアップ53、54を使用して1組のスライダを構成するようにしたが、2組のスライダを配設するようにしてもよい。例えば、筐体の上部を口型に切り抜いて開口させ、その開口部の周りの2辺(例えば、縦方向の辺と横方向の辺)にそれぞれスライダを配設するようにしてもよい。この場合、図4の説明で上述したように摺動操作が2つのピックアップの間(内側)で行われたのか外側で行われたのかを容易に判別することができるので、上述のように開口部の周りに2組のスライダを配設するようにしても、いずれの組みのスライダが操作されたかを適切に判別することができる。これによって複数組のスライダを任意の位置に配設することが可能となる。
上述した第1実施形態においては、2つのピックアップ53、54として圧電素子を使用するようにしたが、マイクロフォンなどであってもよい。
(第2実施形態)
以下、この発明の第2実施形態について図9〜図14を参照して説明する。
なお、上述した第1実施形態においては、摺動操作としてスライダ操作を行う場合を例示し、また、2つのピックアップとして圧電素子を使用した場合を例示したが、この第2実施形態においては、摺動操作として手書きストローク操作を行う場合を示し、2つのピックアップを組とする2組のピックアップを設け、各ピックアップとしてマイクロフォンを使用した場合である。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
図9は、第2実施形態において、摺動操作検出機能付きの電子機器の基本的な構成要素を示したブロック図である。
第2実施形態の電子機器は、第1実施形態の電子機器と基本的には同様の構成で、中央制御部1を中核とし、その入出力デバイスとして中央制御部1には、表示部3、キー操作部4、手書き摺動操作部5などが接続されている。中央制御部1は、後述する図12に示した動作手順に応じて第2実施形態を実現するためのプログラムなどが格納されている記憶部2の内容に応じてこの電子機器の全体動作を制御する。手書き摺動操作部5は、摺動操作検出機能の一部を構成するもので、手書きの文字を入力する摺動操作やフリック、スクロールなどの指示を入力する摺動操作に追従してその操作位置を逐次検出して中央制御部1に与えて入力処理を指示する手書きストローク操作部であり、中央制御部1は、この手書き摺動操作部(手書きストローク操作部)5からの指示に応じた入力処理として手書きストローク認識処理を実行するようにしている。
手書き摺動操作部(手書きストローク操作部)5は、専用の制御部51を中核とし、後述する図11に示した動作手順に応じて第2実施形態を実現するためのプログラムなどが格納されているプログラムメモリ52の内容に応じてこの手書き摺動操作部5の全体動作を制御するもので、この制御部51には上述の2つのピックアップ53、54を組とする2組のピックアップ53、54が接続されている。この第2実施形態では、2つのピックアップを組とする2組のピックアップ53、54を設け、各ピックアップ53、54としてマイクロフォンを使用している。
手書き摺動操作部5は、組毎にそのピックアップ53、54の波形データに基づいて相関計算を行い、その相関計算の結果(相関値が最大となる時間シフト量:到達時間差)を、インターフェイス部58を介して中央制御部1に通知する。ここで、中央制御部1は、相互相関の計算結果を受け取ると、この相関結果メモリ22に順次格納する。そして、手書き摺動操作(手書きストローク操作)の終了したことが手書き摺動操作部5から通知されると、中央制御部1は、相関結果メモリ22の内容に基づいて時間シフト量の推移を判定して手書きストロークを認識する処理を行う。
図10は、電子機器を構成する筐体の所定の位置にピックアップ(マイクロフォン)53、54をペアとして2組配設した状態を示した図である。
1つの組のピックアップ53、54は、所定の距離(例えば、5cm)を空けて配設され、他の組のピックアップ53、54も所定の距離(例えば、5cm)を空けて配設されている。なお、便宜上、図中、左側の組を1組目のペアマイク、右側の組を2組目のペアマイクと呼称するものとする。ここで、図示のように正方形の2つの頂点付近に2組のペアマイク(ピックアップ53、54)は、それぞれ45度傾けた状態で配設されている。
すなわち、同一組のピックアップ53、54を結んだ直線に近い場合(角度が0度か180度に近い場合)に比べて、それらの分解能はその垂線に近い方(角度が90度に近い方)が高いので、各ペアマイクの垂線を基準として、手書き入力が可能な操作範囲(仮想手書き入力エリア)を想定することによって、仮想手書き入力エリア(例えば、正方形)の2つの頂点付近に2組のペアマイク(ピックアップ53、54)を45度傾けた状態で配設するようにしている。また、各組のペアマイクは、例えば、筺体上面のキーボード領域に隣接する空白域に配設するようにしているが、その実装の位置はこれに限らない。また、マイクロフォンの種類は、ダイナミック型、コンデンサ型などであってもよく、また、正方形(仮想手書き入力エリア)への指向性を持たせたマイクロフォンであってもよい。
図11は、第2実施形態の特徴的な動作である手書き摺動操作部5の動作を説明するためのフローチャートであり、電源投入に応じて実行開始される。
第2実施形態は、2組のペアマイク(ピックアップ53、54)を設けた構成であり、図5の動作を組毎に繰り返す点を特徴とするもので、図5の動作と基本的には同様であるため、以下、第2実施形態の手書き摺動操作部5の動作を簡単に説明するものとする。 先ず、制御部51は、ペアマイク(ピックアップ53、54)からの波形データに基づいて閾値判定を行った結果、手書きストローク操作が行われたことを検出すると(ステップD1でYES)、1組目のペアマイクに対する処理(ステップD2〜D8)を行った後、2組目のペアマイクに対する処理(ステップD9〜D15)を行う。
すなわち、制御部51は、サンプリング回数を計数するカウンタ(図示省略)及び各波形メモリ56、57の内容をクリア(ステップD2)した後、1組目の第1ピックアップ53からの波形データ7を第1波形メモリ56に(ステップD3)、1組目の第2ピックアップ54からの波形データ7を第2波形メモリ57に一時記憶させる(ステップD4)。そして、カウンタの値をプラス“1”(ステップD5)した後、そのカウンタ値が“256”になるまで(ステップD6)、各波形データを対応する第1波形メモリ56、第2波形メモリ57に一時記憶させる動作を繰り返す。これによって第1波形メモリ56、第2波形メモリ57に512分のサンプル(波形データ)が記憶されたときには(ステップD6でYES)、相互相関の計算に移る(ステップD7)。そして、この相互相関の計算結果(相関値が最大となる時間シフト量)を、インターフェイス部58を介して中央制御部1に通知する(ステップD8)。
次に、2組目のペアマイクに対する処理に移り、上述と同様に制御部51は、サンプリング回数を計数するカウンタ(図示省略)及び各波形メモリ56、57の内容をクリア(ステップD9)した後、2組目の第1ピックアップ53からの波形データ7を第1波形メモリ56に(ステップD10)、2組目の第2ピックアップ54からの波形データ7を第2波形メモリ57に一時記憶させる(ステップD11)。そして、カウンタの値をプラス“1”(ステップD12)した後、そのカウンタ値が“256”になるまで(ステップD13)、各波形データを対応する第1波形メモリ56、第2波形メモリ57に一時記憶させる動作を繰り返す。これによって512分のサンプル(波形データ)が記憶されたときには(ステップD13でYES)、相互相関の計算に移る(ステップD14)。そして、相互相関の計算結果(相関値が最大となる時間シフト量)を、インターフェイス部58を介して中央制御部1に通知する(ステップD15)。
次に、制御部51は、ペアマイク(ピックアップ53、54)からの波形データに基づいて閾値判定を行って手書きストローク操作が行われていないか(解除されたか)を調べ(ステップD16)、所定の閾値を超えていれば(ステップD16でNO)、手書きストローク操作が継続して行われているものとして、上述のステップD2に戻り、以下、上述の動作(ステップD2〜D16)を繰り返す。そして、手書きストローク操作が行われていないことを検出すると(ステップD16でYES)、手書きストローク操作の終了通知を中央制御部1に与える(ステップD17)。
なお、図11の例では、2組のペアマイク(合計4つのピックアップ56、57)の測定(サンプルホールド)を組毎に時分割で行うようにしたが、サンプリング周波数(例えば、96kHz)にもよるが、4つのピックアップ56、57のサンプルホールドを同時に行うようにしてもよい。この場合、相関計算自体は時分割で行うようにしてもよい。このように、4つのピックアップ56、57のサンプルホールドを同じタイミングで行えば、僅かな時間の遅れ(512サンプル分の遅れ)であってもそれを解消することが可能となる。
図12は、第2実施形態において、一定時間の割り込みで毎に実行開始される中央制御部1の動作(手書きスクロール認識処理)を示したフローチャートである。
中央制御部1は、手書き摺動操作部5から相互相関の計算結果(相関値が最大となる時間シフト量)を受け取ったかを調べ(ステップE1)、受け取らなければ(ステップE1でNO)、手書き摺動操作部5から手書きストローク操作の終了通知を受け取ったかを調べ(ステップE3)、手書き摺動操作部5から手書きストローク操作の終了通知を受け取らなければ(ステップE3でNO)、図12のフローから抜けるが、相互相関の計算結果を受け取ると(ステップE1でYES)、この相関結果メモリ22に格納する処理(ステップE2)を行った後、図12のフローから抜ける。以下、相関結果を受け取る毎に相関結果メモリ22に順次格納する処理を行う。その後、手書き摺動操作部5から手書きストローク操作の終了通知を受け取ると(ステップE3でYES)、相関結果メモリ22を参照して時間シフト量の一連の推移(ストロークデータ)を特定する(ステップE4)。
図13は、時間経過と時間シフト量との関係をグラフ化したもので、その縦軸は時間シフト量、その横軸は時間を示している。なお、図中、縦線は、図7のヒストグラムに相当する部分のデータを示している。破線の曲線は、1組目のペアマイクの時間シフト量から検出したストロークデータを示し、実線の曲線は、2組目のペアマイクの時間シフト量から検出したストロークデータを示している。このようにして組毎に検出したストロークデータに基づいて組毎に擦れ音の発生方向(角度)を特定する(ステップE5)。
すなわち、擦れ音の発生位置から1組目のペアマイクまでの距離差は、擦れ音の到達時間差(時間シフト量)に応じて特定することができるが、一般に、2地点からの距離の差が一定となる点の軌跡(曲線)は、双曲線となって漸近線を持つために、擦れ音発生点までの距離がピックアップ53、54間の距離に比べて十分大きければ、操作位置(擦れ音の発生位置)は、双曲線の漸近線上に存在し、その擦れ音の発生方向(角度)は、双曲線の漸近線の傾きから求めることができる。このことは、操作位置はピックアップ53、54間の中点から擦れ音の発生方向(角度)の直線上に存在していることを意味している。なお、擦れ音の発生方向は、ピックアップ53、54を結んだ直線と漸近線との角度である。同様にして2組目のペアマイクにおいてそのピックアップ53、54の中点からの擦れ音の発生方向(角度)を求める。また、操作位置(擦れ音の発生位置)とピックアップ53、54の距離が離れてしまうと、測定精度が落ちてしまうので、ピックアップ53、54の間隔はできるだけ広くした方がよい。
中央制御部1は、上述のようにして組毎に擦れ音の発生方向(角度)を特定すると、この擦れ音の発生方向に基づいて三角測量と同じ座標計算を行うことでその擦れ音の発生位置を特定する(ステップE6)。すなわち、組毎に擦れ音の発生方向を特定することによって、三角形の合同条件(二角夾辺)を満たすようになるために、その操作位置(擦れ音の発生位置)を特定することができる。そして、中央制御部1は、上述のようにして継続的に特定した複数の操作位置に基づいて手書きスクロールを認識する処理を行う(ステップE7)。
図14は、これによって認識した手書きストロークを再現した場合を例示した図で、手書きストロークの入力軌跡が再現される。
以上のように、第2実施形態において摺動操作検出機能付きの電子機器は、2組のペアマイク(ピックアップ53、54)を所定の間隔を空けて配設されている状態において、手書き摺動操作時に発生する擦れ音をペアマイクにより測定された波形データを比較してその波形間の時間シフト量を組毎に判定して、この組毎の時間シフト量によって組毎に距離の差を算出し、この距離の差から擦れ音発生方向を求め、各組毎の擦れ音発生方向から擦れ音発生点を求めて操作位置を特定するようにしたので、手書き入力エリアを広くすることができ、その手書き入力エリア内の自由な位置を操作したとしても操作時に発生する擦れ音からその操作位置を適切に検出することができる。
手書き摺動操作によって描画された手書きスクロールを継続的に特定した複数の操作位置に基づいて認識する処理を行うようにしたので、2組のペアマイクを配設するだけで手書きスクロールを適切に検出することができ、従来のように専用パネルの使用によってデザイン上の制約や実装上の制約などを受けることもなく、また、摺動範囲を自由に設定したり、変更したりすることができると共に、部品点数が少ないために既存の電子機器にも容易に実装することも可能となる。
また、上述した第2実施形態においては、摺動操作検出機能付き電子機器は、家庭電化製品であってもよい。
図15は、第2実施形態の変形例として摺動操作検出機能付き電子機器を家庭電化製品(冷蔵庫)に適用した場合を例示した図である。
すなわち、図15は、冷蔵庫の前面ドアパネル8の内側(裏側)に2組のペアマイク(ピックアップ53、54)を所定の間隔を空けて配設した場合を示している。この場合においても手書きを行う操作範囲を想定した正方形(仮想手書き入力エリア)の2つの頂点付近にその正方形の中心部でそれらの垂線が交差するように2組のペアマイクを45度傾けた状態で配設するようにしている。なお、仮想手書き入力エリアは、冷蔵庫の前面ドアパネル8の外側(表側)である。このように2組のペアマイクを電子機器(例えば、冷蔵庫)の外表面空白域(前面ドアパネル)を利用する位置に配設するようにすれば、その空白域を手書き入力エリアとして有効に活用することが可能となる。
また、上述した第2実施形態においては、2組のペアマイクを所定の間隔を空けて配設するようにしたが、このように合計4つのピックアップを配設せずに、3つのピックアップを所定の間隔を空けて配設するようにしてもよい。
図16は、第2実施形態の他の変形例としてピックアップが3つの場合の実装例を示した図で、(1)は、電子機器を構成する筺体の底面部6を示している。
図示の例は、電子機器を構成する筺体の底面部6に5つの収納部(脚部)61が所定の間隔を空けて突設されている場合を示し、この5つの収納部61は、底面部6の四隅と中心に配設されたもので、そのうちの3つの収納部61はピックアップが収納されている収納部(図中、塗り潰した収納部)となっている。このようにピックアップが収納されている3つの収納部は、電子機器(例えば、電子辞書装置)を机上に載置した状態において、底面部6の四隅の収納部のうち操作者側に近い手前の2つの収納部と、底面部6の中心に配設された収納部である。なお、説明の便宜上、この3つの収納部を単にピックアップと呼称し、手前(操作者側)の2つの収納部をピックアップP1、P2、中心の収納部をピックアップP3と呼称すると、ピックアップP3を中心として、別の2つのピックアップP1、P2が所定の間隔を空けて対称の位置にそれぞれ配設されたものとなる。
図16(2)は、ピックアップが収納されている収納部61(ピックアップP1)の断面を示した図で、この収納部61の中空部には、ゴム材7を介してマイクロフォンM1が埋設されている。同様に、収納部61(ピックアップP2)の中空部には、ゴム材7を介してマイクロフォンM2が埋設されている。なお、図示省略したが、ピックアップP3も同様の構成となっている。このようにピックアップP1、P2、P3は、机面に接触又は近接するように下向きに配設され、操作者側の机面が仮想手書き入力エリアとなっている。
図17は、ピックアップP1、P2、P3に応じて特定される仮想手書き入力エリアを説明するための図である。
ピックアップP1、P3は、所定の距離(例えば、5cm)を空けて配設され、ピックアップP2、P3も所定の距離(例えば、5cm)を空けて配設されている。この場合、ピックアップP1、P3を1組のペアマイクとし、ピックアップP2、P3を他の組のペアマイクとしている。このように中心のピックアップP3と別の1つのピックアップP1を一組とし、ピックアップP3、P2を他の組として、第2実施形態と同様に組毎に時間シフト量を判定する。この場合、電子機器(例えば、電子辞書装置)を机上に載置した状態において、その底面部6にピックアップP1、P2、P3を配設することによって、手書き入力が可能な操作範囲(仮想手書き入力エリア)は、操作者側の机面となる。
すなわち、ペアマイクの各ピックアップを結んだ直線に近い場合(角度が0度か180度に近い場合)に比べて、それらの分解能はその垂線に近い方(角度が90度に近い方)が高いので、各ペアマイクの垂線を基準とすると、手書き入力が可能な操作範囲は、電子機器の外側の机面となる。なお、操作範囲の広さは、ピックアップを結んだ直線を越えていなければ、擦り音を検出することが可能なので、実際には図示の例よりも大きな範囲とすることができる。
このように2組のペアマイク(合計4つのピックアップ)を配設するのではなく、合計3つのピックアップを配設し、中心のピックアップP3と別の1つのピックアップP1を一組とし、ピックアップP3、P2を他の組としたとしても第2実施形態と同様の動作が可能となる。
また、電子機器を机上に載置した状態において、その底面部6にピックアップP1、P2、P3を配設することによって手書き入力が可能な操作範囲を机面とすることができるので、小型電子機器であっても広いスペースで手書き入力が可能となる。この場合、電子機器の底面部6においてピックアップP1、P2、P3を配設する位置に応じて操作範囲を操作者側の机面にしたり、右横や左横の机面にしたりすることもできる。なお、操作範囲を横側の机面にすれば、マウス(ポインティングデバイス)などの代わりとして利用可能となる。
なお、上述した各実施形態において中央制御部1は、手書き摺動操作部5から相互相関によって求められた相関結果(時間シフト量)を受け取ると、この相関結果を基に擦れ音発生点を手書き摺動操作の操作位置として特定する処理を行うようにしたが、手書き摺動操作部5が擦れ音発生点(操作位置)を特定する処理を行って中央制御部1に与えるようにしてもよい。
なお、上述した各実施形態においては、相互相関を計算して時間シフト量を判定することにより周囲の様々な雑音や自己の駆動音などの影響を排除することも可能となるが、更にバンドパスフィルタを使用して雑音を排除するようにしてもよい。
また、上述した各実施形態においては、摺動操作検出機能付きの電子機器として電子辞書装置を例示したが、これに限らず、パーソナルコンピュータ、PDA(個人向け携帯型情報通信機器)、スマートフォンなどの携帯電話機、デジタルカメラ、音楽プレイヤー、電子ゲームなどであってもよい。
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
を具備したことを特徴とする摺動操作検出装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の摺動操作検出装置において、
前記ピックアップからの波形データが所定の条件を満たすか否かに基づいて手書き摺動操作が行われているか否かを判別する判別手段を更に備え、
前記判別手段によって手書き摺動操作が行われていると判別されている間、その摺動操作時に発生する擦れ音からその操作位置を特定する動作を継続する、
ことを特徴とする摺動操作検出装置である。
(請求項3)
請求項3に記載の発明は、請求項1又は請求項2に記載の摺動操作検出装置において、
前記測定手段は、手書き摺動操作時に発生する擦れ音を、所定のタイミング毎に複数のピックアップにより測定し、
前記判定手段は、前記測定手段により所定のタイミング毎に測定された各波形データの相互相関を計算してその波形間の時間シフト量を判定すると共に、その各時間シフト量の中から最も相関値の大きい時間シフト量を判定し、
前記算出手段は、前記判定手段により判定された最も相関値の大きい時間シフト量によって前記各ピックアップからの距離の差を算出する、
ことを特徴とする摺動操作検出装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれか1項に記載の摺動操作検出装置において、
前記測定手段は、2つのピックアップを所定の間隔を空けて配設して成り、
前記検出手段は、前記2つのピックアップ間の操作位置を検出する、
ことを特徴とする摺動操作検出装置である。
(請求項5)
請求項5に記載の発明は、請求項4に記載の摺動操作検出装置において、
前記検出手段は、前記判定手段により判定された時間シフト量が所定量であるか否かに基づいて前記操作位置が2つのピックアップの内側であるか外側であるかを検出する、
ことを特徴とする摺動操作検出装置である。
(請求項6)
請求項6に記載の発明は、請求項1〜請求項3のいずれか1項に記載の摺動操作検出装置において、
前記測定手段は、2つのマイクロフォンを組にしたピックアップを備え、この複数組のピックアップを所定の間隔を空けて配設して成り、
前記判定手段は、前記組毎に時間シフト量を判定し、
前記算出手段は、前記判定された組毎の時間シフト量に基づいて組毎に距離の差を算出し、
前記検出手段は、前記算出された組毎の距離の差から擦れ音発生方向を求め、各組毎の擦れ音発生方向から擦れ音発生点を求めて操作位置を検出する、
ことを特徴とする摺動操作検出装置である。
(請求項7)
請求項7に記載の発明は、請求項6に記載の摺動操作検出装置において、
前記測定手段は、一つのマイクロフォンを中心として、別の2つのマイクロフォンを所定の間隔を空けて対称の位置にそれぞれ配設して成り、
前記判定手段は、前記中心のマイクロフォンと別の1個のマイクロフォンを一組とし、前記中心のマイクロフォンと別の他の1個のマイクロフォンを他の組として、前記組毎に時間シフト量を判定する、
ことを特徴とする摺動操作検出装置である。
(請求項8)
請求項8に記載の発明は、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
前記検出手段によって検出された摺動操作の操作位置に応じた入力処理を実行する処理手段と、
を具備したことを特徴とする電子機器、である。
(請求項9)
請求項9に記載の発明は、請求項8に記載の電子機器において、
前記測定手段は、2つのピックアップを所定の間隔を空けて配設して成り、
前記検出手段は、前記算出された距離の差により前記2つのピックアップ間の位置を擦れ音発生点として操作位置を検出し、
前記処理手段は、前記擦れ音発生点を手書き摺動操作時の操作位置に応じて所定の設定値を調整するスライダ処理を行う、
ことを特徴とする電子機器である。
(請求項10)
請求項10に記載の発明は、請求項8に記載の電子機器において、
前記測定手段は、2つのマイクロフォンを組にしたピックアップを備え、この複数組のピックアップを所定の間隔を空けて配設して成り、
前記判定手段は、前記組毎に時間シフト量を判定し、
前記算出手段は、前記判定された組毎の時間シフト量に基づいて組毎に距離の差を算出し、
前記検出手段は、前記算出された組毎の距離の差から擦れ音発生方向を求め、各組毎の擦れ音発生方向から擦れ音発生点を求めて操作位置を検出し、
前記処理手段は、手書き摺動操作によって描画された手書きスクロールを前記検出手段によって継続的に検出された複数の操作位置に基づいて認識する認識処理を行う、
ことを特徴とする電子機器である。
(請求項11)
請求項11に記載の発明は、請求項8〜請求項10のいずれか1項に記載の電子機器において、
前記測定手段は、その複数のピックアップを当該電子機器を構成する筺体の外表面空白域を利用可能となる位置に配設して成る、
ことを特徴とする電子機器である。
(請求項12)
請求項12に記載の発明は、請求項8〜請求項10のいずれか1項に記載の電子機器において、
前記測定手段は、その複数のピックアップを当該電子機器を構成する筺体の底面側に配設して成る、
ことを特徴とする電子機器である。
(請求項13)
請求項13に記載の発明は、
摺動操作検出装置のコンピュータを、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作時の操作位置として検出する検出手段、
として機能させるためのプログラムである。
(請求項14)
請求項14に記載の発明は、
電子機器のコンピュータを、
手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段、
前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段、
前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作時の操作位置として検出する検出手段、
前記検出手段により検出された摺動操作の操作位置に応じた入力処理を実行する処理手段、
として機能させるためのプログラムである。
1 中央制御部
2 記憶部
5 手書き摺動操作部
6 筺体の底面部
21 プログラムメモリ
22 相関結果メモリ
51 制御部
52 プログラムメモリ
53、54、P1、P2、P3 ピックアップ
55 AD変換部
56 第1波形メモリ
57 第2波形メモリ
58 インターフェイス部

Claims (14)

  1. 手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
    前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
    前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
    前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
    を具備したことを特徴とする摺動操作検出装置。
  2. 前記ピックアップからの波形データが所定の条件を満たすか否かに基づいて手書き摺動操作が行われているか否かを判別する判別手段を更に備え、
    前記判別手段によって手書き摺動操作が行われていると判別されている間、その摺動操作時に発生する擦れ音からその操作位置を特定する動作を継続する、
    ことを特徴とする請求項1に記載の摺動操作検出装置。
  3. 前記測定手段は、手書き摺動操作時に発生する擦れ音を、所定のタイミング毎に複数のピックアップにより測定し、
    前記判定手段は、前記測定手段により所定のタイミング毎に測定された各波形データの相互相関を計算してその波形間の時間シフト量を判定すると共に、その各時間シフト量の中から最も相関値の大きい時間シフト量を判定し、
    前記算出手段は、前記判定手段により判定された最も相関値の大きい時間シフト量によって前記各ピックアップからの距離の差を算出する、
    ことを特徴とする請求項1又は請求項2に記載の摺動操作検出装置。
  4. 前記測定手段は、2つのピックアップを所定の間隔を空けて配設して成り、
    前記検出手段は、前記2つのピックアップ間の操作位置を検出する、
    ことを特徴とする請求項1〜請求項3のいずれか1項に記載の摺動操作検出装置。
  5. 前記検出手段は、前記判定手段により判定された時間シフト量が所定量であるか否かに基づいて前記操作位置が2つのピックアップの内側であるか外側であるかを検出する、
    ことを特徴とする請求項4に記載の摺動操作検出装置。
  6. 前記測定手段は、2つのマイクロフォンを組にしたピックアップを備え、この複数組のピックアップを所定の間隔を空けて配設して成り、
    前記判定手段は、前記組毎に時間シフト量を判定し、
    前記算出手段は、前記判定された組毎の時間シフト量に基づいて組毎に距離の差を算出し、
    前記検出手段は、前記算出された組毎の距離の差から擦れ音発生方向を求め、各組毎の擦れ音発生方向から擦れ音発生点を求めて操作位置を検出する、
    ことを特徴とする請求項1〜請求項3のいずれか1項に記載の摺動操作検出装置。
  7. 前記測定手段は、一つのマイクロフォンを中心として、別の2つのマイクロフォンを所定の間隔を空けて対称の位置にそれぞれ配設して成り、
    前記判定手段は、前記中心のマイクロフォンと別の1個のマイクロフォンを一組とし、前記中心のマイクロフォンと別の他の1個のマイクロフォンを他の組として、前記組毎に時間シフト量を判定する、
    ことを特徴とする請求項6に記載の摺動操作検出装置。
  8. 手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段と、
    前記測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段と、
    前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段と、
    前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作の操作位置として検出する検出手段と、
    前記検出手段によって検出された摺動操作の操作位置に応じた入力処理を実行する処理手段と、
    を具備したことを特徴とする電子機器。
  9. 前記測定手段は、2つのピックアップを所定の間隔を空けて配設して成り、
    前記検出手段は、前記算出された距離の差により前記2つのピックアップ間の位置を擦れ音発生点として操作位置を検出し、
    前記処理手段は、前記擦れ音発生点を手書き摺動操作時の操作位置に応じて所定の設定値を調整するスライダ処理を行う、
    ことを特徴とする請求項8に記載の電子機器。
  10. 前記測定手段は、2つのマイクロフォンを組にしたピックアップを備え、この複数組のピックアップを所定の間隔を空けて配設して成り、
    前記判定手段は、前記組毎に時間シフト量を判定し、
    前記算出手段は、前記判定された組毎の時間シフト量に基づいて組毎に距離の差を算出し、
    前記検出手段は、前記算出された組毎の距離の差から擦れ音発生方向を求め、各組毎の擦れ音発生方向から擦れ音発生点を求めて操作位置を検出し、
    前記処理手段は、手書き摺動操作によって描画された手書きスクロールを前記検出手段によって継続的に検出された複数の操作位置に基づいて認識する認識処理を行う、
    ことを特徴とする請求項8に記載の電子機器。
  11. 前記測定手段は、その複数のピックアップを当該電子機器を構成する筺体の外表面空白域を利用可能となる位置に配設して成る、
    ことを特徴とする請求項8〜請求項10のいずれか1項に記載の電子機器。
  12. 前記測定手段は、その複数のピックアップを当該電子機器を構成する筺体の底面側に配設して成る、
    ことを特徴とする請求項8〜請求項10のいずれか1項に記載の電子機器。
  13. 摺動操作検出装置のコンピュータを、
    手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段、
    前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段、
    前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作時の操作位置として検出する検出手段、
    として機能させるためのプログラム。
  14. 電子機器のコンピュータを、
    手書き摺動操作時に発生する擦れ音を複数のピックアップにより測定する測定手段により測定された複数のピックアップの波形データを比較してその波形間の時間シフト量を判定する判定手段、
    前記判定手段により判定された波形間の時間シフト量によって前記各ピックアップからの距離の差を算出する算出手段、
    前記算出手段により算出された距離の差により擦れ音発生点を手書き摺動操作時の操作位置として検出する検出手段、
    前記検出手段により検出された摺動操作の操作位置に応じた入力処理を実行する処理手段、
    として機能させるためのプログラム。
JP2014043477A 2014-03-06 2014-03-06 摺動操作検出装置、電子機器及びプログラム Expired - Fee Related JP6281745B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014043477A JP6281745B2 (ja) 2014-03-06 2014-03-06 摺動操作検出装置、電子機器及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014043477A JP6281745B2 (ja) 2014-03-06 2014-03-06 摺動操作検出装置、電子機器及びプログラム

Publications (2)

Publication Number Publication Date
JP2015170064A true JP2015170064A (ja) 2015-09-28
JP6281745B2 JP6281745B2 (ja) 2018-02-21

Family

ID=54202769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014043477A Expired - Fee Related JP6281745B2 (ja) 2014-03-06 2014-03-06 摺動操作検出装置、電子機器及びプログラム

Country Status (1)

Country Link
JP (1) JP6281745B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146685A (ja) * 1995-11-22 1997-06-06 Fujitsu Ltd 超音波座標入力装置
JP2002529746A (ja) * 1998-11-10 2002-09-10 エレクトロニクス フォア イメージング インコーポレイテッド 送信ペン位置決めシステム
JP2004534329A (ja) * 2001-07-04 2004-11-11 ニュー トランスデューサーズ リミテッド 接触検知装置
US20050008313A1 (en) * 2000-10-23 2005-01-13 Kanishka Tankala Cladding-pumped optical fiber and methods for fabricating
JP2006323823A (ja) * 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
JP2011103112A (ja) * 2009-10-16 2011-05-26 Casio Computer Co Ltd 指示位置検出装置、指示位置検出方法及びプログラム
US20110191680A1 (en) * 2010-02-02 2011-08-04 Chae Seung Chul Method and apparatus for providing user interface using acoustic signal, and device including user interface
JP2013073254A (ja) * 2011-09-26 2013-04-22 Fuji Xerox Co Ltd 位置読み取り装置、筆記具、筆跡読み取りシステムおよびプログラム
JP2013542534A (ja) * 2010-10-29 2013-11-21 クゥアルコム・インコーポレイテッド 第一のモードから第二のモードへの複数のマイクロフォンの移行

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146685A (ja) * 1995-11-22 1997-06-06 Fujitsu Ltd 超音波座標入力装置
JP2002529746A (ja) * 1998-11-10 2002-09-10 エレクトロニクス フォア イメージング インコーポレイテッド 送信ペン位置決めシステム
US20050008313A1 (en) * 2000-10-23 2005-01-13 Kanishka Tankala Cladding-pumped optical fiber and methods for fabricating
JP2004534329A (ja) * 2001-07-04 2004-11-11 ニュー トランスデューサーズ リミテッド 接触検知装置
JP2006323823A (ja) * 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
JP2011103112A (ja) * 2009-10-16 2011-05-26 Casio Computer Co Ltd 指示位置検出装置、指示位置検出方法及びプログラム
US20110191680A1 (en) * 2010-02-02 2011-08-04 Chae Seung Chul Method and apparatus for providing user interface using acoustic signal, and device including user interface
JP2013542534A (ja) * 2010-10-29 2013-11-21 クゥアルコム・インコーポレイテッド 第一のモードから第二のモードへの複数のマイクロフォンの移行
JP2013073254A (ja) * 2011-09-26 2013-04-22 Fuji Xerox Co Ltd 位置読み取り装置、筆記具、筆跡読み取りシステムおよびプログラム

Also Published As

Publication number Publication date
JP6281745B2 (ja) 2018-02-21

Similar Documents

Publication Publication Date Title
US8432368B2 (en) User interface methods and systems for providing force-sensitive input
Kratz et al. HoverFlow: expanding the design space of around-device interaction
TWI605359B (zh) 觸控板之手勢辨識方法與手勢辨識裝置
US20110055753A1 (en) User interface methods providing searching functionality
EP2280337A2 (en) Sensing a type of action used to operate a touch panel
JP5481581B2 (ja) タッチ検出方法およびタッチ制御装置
KR101220633B1 (ko) 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
US20150109221A1 (en) Method, device, and electronic terminal for unlocking
EP3046009A1 (en) Information processing device, input method, and program
JP2013525891A (ja) ユーザのタッチジェスチャを判別する方法及びデバイス
US8743061B2 (en) Touch sensing method and electronic device
US20140362002A1 (en) Display control device, display control method, and computer program product
US11556240B2 (en) Gesture recognition on watch bezel using strain gauges
TW201423482A (zh) 輸入裝置、輸入方法以及記憶媒體
CN103324410A (zh) 用于检测触摸的方法和装置
CN109154879B (zh) 电子设备及其输入处理方法
US20140347314A1 (en) Method of detecting touch force and detector
Ahmad et al. A keystroke and pointer control input interface for wearable computers
JP6281745B2 (ja) 摺動操作検出装置、電子機器及びプログラム
KR20180122721A (ko) 정보 처리 장치, 정보 처리 방법 및 기억 매체에 저장된 정보 처리 프로그램
JP2014082605A (ja) 情報処理装置、その制御方法及びプログラム
US9720522B2 (en) Determining response to contact by hand with region of touchscreen
JP2021026673A (ja) 携帯端末装置、情報処理方法および情報処理プログラム
Hwang et al. PseudoSensor: Emulation of input modality by repurposing sensors on mobile devices
US20140092059A1 (en) Touch sensing device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180110

R150 Certificate of patent or registration of utility model

Ref document number: 6281745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees