JP2016505988A - デバイスのユーザインターフェイス制御 - Google Patents

デバイスのユーザインターフェイス制御 Download PDF

Info

Publication number
JP2016505988A
JP2016505988A JP2015551730A JP2015551730A JP2016505988A JP 2016505988 A JP2016505988 A JP 2016505988A JP 2015551730 A JP2015551730 A JP 2015551730A JP 2015551730 A JP2015551730 A JP 2015551730A JP 2016505988 A JP2016505988 A JP 2016505988A
Authority
JP
Japan
Prior art keywords
vibration
signal
generated
interaction
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551730A
Other languages
English (en)
Other versions
JP6048918B2 (ja
Inventor
象 村越
象 村越
量資 近藤
量資 近藤
ピーター シンタニ
ピーター シンタニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016505988A publication Critical patent/JP2016505988A/ja
Application granted granted Critical
Publication of JP6048918B2 publication Critical patent/JP6048918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1636Sensing arrangement for detection of a tap gesture on the housing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

デバイスのユーザインターフェイスを制御するための装置及び方法のいくつかの態様が、装置に関連する振動面に結合された1又はそれ以上のセンサを含むことができる。1又はそれ以上のセンサは、物体と振動面との相互作用によって生じる振動面の1又はそれ以上の振動を検出することができる。1又はそれ以上のセンサは、検出された1又はそれ以上の振動に応答して1又はそれ以上の振動信号を生成することができる。1又はそれ以上のセンサに通信可能に結合された1又はそれ以上のプロセッサが、1又はそれ以上の生成された振動信号に対応する制御信号を生成してデバイスのユーザインターフェイスを制御することができる。【選択図】 図1

Description

〔関連出願との相互参照/引用による組み入れ〕
本出願は、2013年1月8日に出願された「デバイスのユーザインターフェイスを制御するための装置及び方法(Apparatus and Method for Controlling a User Interface of a Device)」という名称の米国特許出願第13/736,241号に対する優先権を主張するものである。本出願は、2013年3月6日に出願された「デバイスのユーザインターフェイスを操作するための装置及び方法(Apparatus and Method for Operating a User Interface of a Device)」という名称の米国特許出願第13/786,641号を参照する。上記出願の各々は、その全体が全ての目的において引用により本明細書に組み入れられる。
本開示の様々な実施形態は、ユーザインターフェイスに関する。具体的には、本開示の様々な実施形態は、デバイスのユーザインターフェイスを制御するための装置及び方法に関する。
ユーザインターフェイスは、ユーザがデバイスと相互作用することを可能にする。ユーザインターフェイスは、ユーザがデバイスに入力を行うことを可能にする入力機構とすることができる。ユーザインターフェイスは、デバイスがユーザ入力の結果を示すことを可能にする出力機構として機能することもできる。ユーザインターフェイスの例としては、ボタン、タッチ画面、音声ベースのユーザインターフェイス、及びディスプレイ画面などを挙げることができる。一般に、デバイスのユーザインターフェイスはデバイスと一体化することも、又はデバイスと通信可能に結合された別のデバイス上に実装することもできる。さらに、特定の技術を用いて実装されたユーザインターフェイスでは、ユーザがデバイスと相互作用できる方法が制限されることもある。
当業者には、図面を参照しながら本出願の残り部分に示す本開示のいくつかの態様とこのようなシステムとの比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。
実質的に少なくとも1つの図に示し、及び/又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、デバイスのユーザインターフェイスを制御するための装置及び/又は方法を提供する。
本開示のこれらの及びその他の特徴及び利点は、全体を通じて同じ要素を同じ符号で示す添付図面と共に本開示の以下の詳細な説明を検討することによって理解することができる。
本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御することを示すブロック図である。 本開示の実施形態による、デバイスのユーザインターフェイスを制御するための例示的な装置を示すブロック図である。 本開示の実施形態による、振動入力に基づいて制御できる例示的なデバイスを示すブロック図である。 本開示の実施形態による、車両内のデバイスを制御する実施例を示す図である。 本開示の実施形態による、振動入力に基づいて携帯電話機を制御する実施例を示す図である。 本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。 本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。 本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。
デバイスのユーザインターフェイスを制御するための装置及び/又は方法では、いくつかの実装を見出すことができる。装置は、物体と振動面との相互作用によって生じる振動面の1又はそれ以上の振動を検出することができる。装置は、この検出された1又はそれ以上の振動に応答して1又はそれ以上の振動信号を生成することができる。装置は、この1又はそれ以上の生成された振動信号に対応する制御信号を生成して、デバイスのユーザインターフェイスを制御することができる。
装置は、生成された1又はそれ以上の振動信号の各々を振動信号成分に変換することができる。変換された振動信号成分の各々は、3次元座標系の座標軸に対応する。装置は、変換された3つの振動信号成分のうちの第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成することができる。装置は、変換された3つの振動信号成分のうちの第1の振動信号成分又は第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成することができる。装置は、生成された第1の信号及び生成された第2の信号に基づいて物体の相互作用を特定することができる。装置は、物体と振動面との間の相互作用に対応する場所を特定することができる。この場所は、生成された第1の信号及び生成された第2の信号に基づいて特定される。
装置は、生成された第1の信号のサンプルを第1の所定の期間中に生成することができる。装置は、生成された第2の信号のサンプルを第2の所定の期間中に生成することができる。装置は、生成された第1の信号及び生成された第2の信号の生成されたサンプルの各々を、時間領域から周波数領域に変換することができる。生成された第1の信号及び生成された第2の信号のサンプルの各々は、生成された第1の信号及び生成された第2の信号の各々に窓関数を適用することによって生成される。装置は、生成された第1の信号の変換されたサンプルと生成された第2の信号の変換されたサンプルとの間の相互相関を求めることができる。装置は、この求められた相互相関に基づいて、場所及び/又は相互作用を特定することができる。装置は、振動面の材料、物体の種類、相互作用の種類、及び/又は振動面の粗度のうちの1つ又はそれ以上に基づいて、生成された1又はそれ以上の振動信号の各々に対応する振動周波数を求めることができる。この求められた振動周波数は、デバイスに関連する操作を示す。
図1は、本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御することを示すブロック図である。図1には、デバイス102、デバイス102のユーザインターフェイスを制御するための装置104、装置104に関連する振動面106、及び振動面106と相互作用するための物体108を示している。
デバイス102は、ユーザが操作できる機械に対応することができる。デバイス102は、ユーザによって操作された時に1又はそれ以上の動作を実行することができる。デバイス102は、電気デバイス、機械デバイス、電子デバイス及び/又はこれらの組み合わせとすることができる。デバイス102の例としては、以下に限定されるわけではないが、携帯電話機、ラップトップ、タブレットコンピュータ、テレビ、携帯情報端末(PDA)デバイス、車両、家庭用電化製品、メディア再生デバイス、及び/又はユーザによる操作が可能な他のいずれかのデバイスを挙げることができる。
装置104は、物体108と振動面106との相互作用に基づいてデバイス102のユーザインターフェイスを制御することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。ユーザは、この相互作用に基づいてデバイス102の1又はそれ以上の動作を制御することができる。
ある実施形態では、装置104が、有線又は無線通信ネットワークを介してデバイス102と通信可能に結合することができる。通信ネットワークの例としては、以下に限定されるわけではないが、Bluetoothネットワーク、Wireless Fidelity(Wi−Fi)ネットワーク、及び/又はZigBeeネットワークを挙げることができる。別の実施形態では、装置104をデバイス102と一体化することができる。
振動面106は、振動を生じることができるあらゆる表面に対応することができる。振動面106は、木、ガラス、プラスチック、金属、段ボール及びコンクリートなどの様々な材料で構成することができる。このような振動面106の例としては、以下に限定されるわけではないが、テーブルトップ、壁、デバイスのカバー、及び/又は振動を生じることができるいずれかの表面を挙げることができる。
装置104は、振動面106に結合することができる。1つの実施形態では、装置104を振動面106上に固定することができる。例えば、振動面106としてテーブルトップを使用することができる。このテーブルトップの上方及び/又は下方に装置104を固定することができる。別の実施形態では、装置104を振動面106に埋め込むことができる。別の例では、車のダッシュボードが振動面106に対応することができる。このダッシュボードに装置104を固定し及び/又は埋め込むことができる。別の実施形態では、振動面106を、装置104の一体化部分とすることができる。例えば、装置104のカバーが振動面106に対応することができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、装置104の本体のあらゆる部分が振動面106に対応することができる。ある実施形態では、表面のあらゆる部分が振動面106に対応することができる。例えば、装置104が結合されたテーブルトップの表面全体を振動面106として指定することができる。別の実施形態では、表面の所定の領域が振動面106に対応することができる。例えば、装置104の本体の所定の領域を振動面106として指定することができる。
ユーザは、物体108などの1又はそれ以上の物体を用いて数多くの方法で振動面106と相互作用することができる。物体108の例としては、以下に限定されるわけではないが、ユーザの指、ユーザの指の爪、スタイラス、及び/又は振動面106と相互作用して振動面106上に振動を生じることができるいずれかの物体を含むことができる。物体108と振動面106との相互作用の例としては、以下に限定されるわけではないが、物体108を用いて振動面106上をスクラッチ又はタップすること、及び/又は振動面106上で物体108をスライド又はドラッグすることを挙げることができる。
1つの実施形態では、振動面106を、異なる種類の材料で構成された複合表面とすることができる。別の実施形態では、粗度及び厚みなどの、振動面106のある領域の1又はそれ以上の特性が、振動面106の別の領域の1又はそれ以上の特性と異なることができる。装置104は、振動面106の異なる領域で行われた1又はそれ以上の相互作用に対応する異なる制御信号を生成することができる。例えば、テーブルの中心に近い領域は、テーブルの角部に近い領域よりも高い粗度を有することができる。装置104は、ユーザがテーブルの中心をスクラッチした時に制御信号を生成して、テーブル上に置かれたランプのスイッチをオンにすることができる。同様に、角部付近でのスクラッチに対応する制御信号は、ランプのスイッチをオフにすることができる。
図2は、本開示の実施形態による、デバイスのユーザインターフェイスを制御するための例示的な装置を示すブロック図である。図2のブロック図の説明は、図1のブロック図に関連して行う。
図2には、装置104を示している。装置104は、プロセッサ202などの1又はそれ以上のプロセッサ、メモリ204、センサ206などの1又はそれ以上のセンサ、アナログ−デジタルコンバータ208(以下、A/Dコンバータ208と呼ぶ)、受信機210及び送信機212を含むことができる。
プロセッサ202は、メモリ204、A/Dコンバータ208及びセンサ206に通信可能に結合することができる。さらに、受信機210及び送信機212は、プロセッサ202、メモリ204、センサ206及びA/Dコンバータ208に通信可能に結合することができる。
プロセッサ202は、メモリ204に記憶された少なくとも1つのコードセクションを実行することができる好適なロジック、回路及び/又はインターフェイスを含むことができる。プロセッサ202は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ202の例としては、以下に限定されるわけではないが、X86ベースのプロセッサ、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、及び/又は複合命令セットコンピュータ(CISC)プロセッサを挙げることができる。
メモリ204は、プロセッサ202によって実行可能な少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。メモリ204の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスクドライブ(HDD)、及び/又はセキュアデジタル(SD)カードを挙げることができる。さらに、メモリ204は、装置104のコンフィギュレーション設定、センサ206の設定、周波数−動作マッピングデータ及び/又は他のいずれかのデータなどのデータを記憶することができる。
センサ206は、振動面106の1又はそれ以上の振動を検出することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。物体108と振動面106との相互作用によって1又はそれ以上の振動を生じることができる。センサ206は、検出された1又はそれ以上の振動に応答して1又はそれ以上の振動信号を生成することができる。センサ206の例としては、以下に限定されるわけではないが、加速度計、ジャイロスコープ、超音波センサ、マイク、及び/又は振動面106の振動を検出し、検出された振動に応答して振動信号を生成できるいずれかのセンサを含むことができる。
ある実施形態では、センサ206を装置104の一体部品とすることができる。装置104は、センサ206が振動面106に接触できるような形で振動面106に結合することができる。別の実施形態では、センサ206が装置104の外部に存在することができる。センサ206は、振動面106に結合し、及び/又は振動面106に埋め込むことができる。ある実施形態では、装置104が、有線又は無線通信媒体を介してセンサ206に通信可能に結合することができる。1つの実施形態では、装置104の製造業者が、振動面106上のセンサ206の位置を指定することができる。別の実施形態では、装置104に関連するユーザが、振動面106上のセンサ206の位置をカスタマイズすることができる。通信媒体の例としては、以下に限定されるわけではないが、Bluetoothネットワーク、Wireless Fidelity(Wi−Fi)ネットワーク、及び/又はZigBeeネットワークを挙げることができる。
A/Dコンバータ208は、振動信号をデジタル振動信号に変換することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。A/Dコンバータ208の例としては、以下に限定されるわけではないが、フラッシュA/Dコンバータ、シグマデルタA/Dコンバータ、デュアルスロープA/Dコンバータ、及び/又は逐次比較型A/Dコンバータを挙げることができる。
受信機210は、データ及びメッセージを受け取ることができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。受信機210は、様々な既知の通信プロトコルに従ってデータを受け取ることができる。ある実施形態では、受信機210が、装置104の外部にあるセンサ206によって生成された振動信号を受け取ることができる。受信機210は、装置104と装置104の外部にあるセンサ206との間の有線又は無線通信をサポートするための既知の技術を実装することができる。
送信機212は、データ及び/又はメッセージを送信することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。送信機212は、様々な既知の通信プロトコルに従ってデータを送信することができる。ある実施形態では、送信機212が、デバイス102のユーザインターフェイスを制御するための制御信号を送信することができる。
動作中、装置104は、センサ206が振動面106に接触できるような形で振動面106に結合することができる。ユーザは、物体108を用いて振動面106と相互作用することができる。装置104は、ユーザが振動面106との相互作用に基づいてデバイス102のユーザインターフェイスを制御できるようにすることができる。1つの実施形態では、ユーザが、振動面106全体のいずれかの場所で相互作用を行ってデバイス102のユーザインターフェイスを制御することができる。別の実施形態では、ユーザが、振動面106の所定の領域内のいずれかの場所で相互作用を行ってデバイス102のユーザインターフェイスを制御することができる。1つの実施形態では、ユーザが、指を用いて振動面106と相互作用することができる。別の実施形態では、ユーザが、指の爪を用いて振動面106と相互作用することができる。別の実施形態では、ユーザが、指の皮膚を用いて振動面106と相互作用することができる。
ある実施形態では、ユーザが、指の爪などの物体108を用いて振動面106上のいずれかの場所をスクラッチ及び/又はタップすることができる。別の実施形態では、ユーザが、振動面106を横切って物体108をスライド及び/又はドラッグすることができる。別の実施形態では、ユーザが、物体108を用いて振動面106上のいずれかの場所でジェスチャーを行うことができる。ジェスチャーの例としては、以下に限定されるわけではないが、ある形状を描くこと、及び/又は英数字を描くことを挙げることができる。
センサ206は、物体108と振動面106との相互作用に応答して、振動面106に生じた振動を感知することができる。センサ206は、この感知した振動に対応する1又はそれ以上の振動信号を生成することができる。プロセッサ202は、この生成された1又はそれ以上の振動信号に対応する制御信号を生成して、デバイス102のユーザインターフェイスを制御することができる。
ある実施形態では、センサ206を3軸ジャイロスコープとすることができる。3軸ジャイロスコープは、振動面106に生じた振動に対応する加速度を求めることができる。センサ206は、求められた加速度に対応する1又はそれ以上の振動信号を生成することができる。
プロセッサ202は、生成された1又はそれ以上の振動信号の各々を振動信号成分に変換することができる。各変換された振動信号成分は、3次元座標系の座標軸に対応することができる。例えば、変換された振動信号成分の第1の振動信号成分は、3次元座標系のX軸に沿うことができる。変換された振動信号成分の第2の振動信号成分は、3次元座標系のY軸に沿うことができる。変換された振動信号成分の第3の振動信号成分は、3次元座標系のZ軸に沿うことができる。しかしながら、本開示はこのように限定されるわけではなく、第1の振動信号成分、第2の振動信号成分及び第3の振動信号成分は、本開示の範囲を限定することなく、3次元座標系のX軸、Y軸及びZ軸のいずれに沿うこともできる。
ある実施形態では、第1の振動信号成分、第2の振動信号成分及び第3の振動信号成分の各々をアナログ形式とすることができる。A/Dコンバータ208は、第1の振動信号成分、第2の振動信号成分及び第3の振動信号成分をアナログ形式からデジタル形式に変換することができる。ある実施形態では、第1の振動信号成分、第2の振動信号成分及び第3の振動信号成分を時間領域の信号として表すことができる。
プロセッサ202は、第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成することができる。プロセッサ202は、第1の振動信号成分又は第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成することができる。例えば、プロセッサ202は、Y軸に沿った第2の振動信号成分とZ軸に沿った第3の振動信号成分との差分に基づいて第1の信号を生成することができる。プロセッサ202は、Z軸に沿った第3の振動信号成分とX軸に沿った第1の振動信号成分との差分に基づいて第2の信号を生成することができる。プロセッサ202は、生成された第1の信号及び生成された第2の信号に基づいて相互作用の種類を判断することができる。プロセッサ202は、生成された第1の信号及び生成された第2の信号に基づいて、振動面106との相互作用に対応する場所を特定することができる。
ある実施形態では、プロセッサ202が、生成された第1の信号のサンプルを第1の所定の期間中に生成することができる。プロセッサ202は、生成された第2の信号のサンプルを第2の所定の期間中に生成することもできる。ある実施形態では、第1の所定の期間と第2の所定の期間を等しいものとすることができる。別の実施形態では、第1の所定の期間と第2の所定の期間を異なるものとすることができる。ある実施形態では、プロセッサ202が、生成された第1の信号及び生成された第2の信号の各々に対応する時間領域信号に窓関数を適用することにより、生成された第1の信号及び生成された第2の信号の各々のサンプルを生成することができる。このような窓関数の例としては、以下に限定されるわけではないが、ハニング窓関数、ハミング窓関数、矩形窓関数、ガウス窓関数、及び/又はその他の窓関数を挙げることができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、あらゆる方法を使用して、生成された第1の信号及び生成された第2の信号の各々のサンプルを生成することができる。
プロセッサ202は、生成された第1の信号及び生成された第2の信号の生成されたサンプルの各々を時間領域から周波数領域に変換することができる。ある実施形態では、プロセッサ202が、生成された第1の信号及び生成された第2の信号の生成されたサンプルの各々に高速フーリエ変換を適用することによって変換を行うことができる。プロセッサ202は、生成された第1の信号及び生成された第2の信号の変換されたサンプルの各々の累乗を正規化することができる。
プロセッサ202は、生成された第1の信号及び生成された第2の信号の変換されたサンプル間の相互相関関数を求めることができる。ある実施形態では、プロセッサ202が、位相変換を用いた一般化相互相関(GCC)関数(GCC−PHAT)を適用することによって相互相関関数を求めることができる。
プロセッサ202は、求められた相互相関関数を周波数領域から時間領域に変換することができる。ある実施形態では、プロセッサ202が、逆高速フーリエ変換を適用することにより、求められた相互相関関数を周波数領域から時間領域に変換することができる。
ある実施形態では、プロセッサ202が、変換された相互相関関数に基づいて、物体108と振動面106との相互作用の種類を判断することができる。ある実施形態では、変換された相互相関関数が最大レベルにある場合、プロセッサ202は、相互作用の種類が振動面106上でのスクラッチに相当すると判断することができる。
ある実施形態では、プロセッサ202が、求められた相互相関関数に基づいて、物体108と振動面106との相互作用に対応する場所を特定することができる。ある実施形態では、プロセッサ202が、振動面106上のセンサ206の場所を特定することができる。
ある実施形態では、プロセッサ202が、センサ206によって生成された1又はそれ以上の振動信号の各々に対応する振動周波数を求めることができる。プロセッサ202は、振動面106の材料、物体108の種類、相互作用の種類、及び/又は振動面106の粗度のうちの1つ又はそれ以上に基づいて振動周波数を求めることができる。求められた振動周波数は、デバイス102に関連する操作を示す。
プロセッサ202は、求められた振動周波数に基づいて制御信号を生成することができる。この制御信号は、相互作用に応答して制御されるべきデバイス102の動作を示す。プロセッサ202は、生成した制御信号を、送信機212を介してデバイス102に通信することができる。デバイス102は、受け取った制御信号を処理し、この制御信号によって示される動作を実行することができる。ある実施形態では、プロセッサ202が、求められた振動周波数に対応する制御信号を、メモリ204に記憶された周波数−動作マッピングデータに基づいて決定することができる。周波数−動作マッピングデータは、振動信号の振動周波数に応答して制御されるべきデバイス102の動作を指定することができる。
ある実施形態では、周波数−動作マッピングデータを予め定義しておくことができる。1つの実施形態では、装置104に関連する製造業者が、物体108と振動面106との相互作用に応答して生成される振動信号に対応する、制御されるべきデバイス102の動作を定義することができる。別の実施形態では、装置104を操作するユーザが、物体108と振動面106との相互作用に応答して生成される振動信号に対応する、制御されるべきデバイス102の動作を定義することができる。1つの実施形態では、製造業者及び/又はユーザが、相互作用の種類に対応する制御されるべきデバイス102の動作を定義することができる。例えば、製造業者及び/又はユーザは、振動面106上でのスクラッチに対応する振動周波数が、テレビの音量制御操作を示すことができると定義することができる。従って、ユーザは、振動面106上をスクラッチすることによってテレビの音量を制御することができる。別の実施形態では、製造業者及び/又はユーザが、振動面106上の相互作用の場所に対応する制御されるべきデバイス102の動作を定義することができる。例えば、製造業者及び/又はユーザは、振動面106上の所定の領域内でのタップに対応する振動周波数が、テレビのチャンネル切換操作を示すことができると定義することができる。従って、ユーザは、振動面106上の所定の領域内をタップすることによってテレビのチャンネルを変えることができる。別の実施形態では、ユーザが、製造業者によって定義された所定のマッピングをカスタマイズすることができる。
ある実施形態では、ユーザが、振動面106上でジェスチャーを行うことができる。ユーザは、ジェスチャーを行うために、振動面106上の複数の場所で複数の相互作用を行うことができる。センサ206は、この複数の相互作用に応答して複数の振動信号を生成することができる。プロセッサ202は、複数の振動信号の各々に対応する場所を特定することができる。プロセッサ202は、この特定された場所に基づいてジェスチャーを識別することができる。プロセッサ202は、特定されたジェスチャーに対応する制御信号を生成することができる。例えば、ユーザは、振動面106上でスクラッチによって円を描くことにより、家庭用電化製品と相互作用することができる。プロセッサ202は、描かれた円に対応する制御信号を生成することができる。この制御信号は、家庭用電化製品のスイッチをオン及び/又はオフにすることができる。
ある実施形態では、装置104が、振動面106を用いて複数のデバイスと相互作用することができる。例えば、プロセッサ202は、振動面106上でのスクラッチに対応する制御信号の生成に基づいて携帯電話機と相互作用することができる。同様に、プロセッサ202は、振動面106上でのタップに応答して家庭用電化製品と相互作用することができる。
ある実施形態では、プロセッサ202が、装置104に対応する1又はそれ以上のコンフィギュレーション設定を受け取ることができる。1又はそれ以上のコンフィギュレーション設定の例としては、以下に限定されるわけではないが、センサ206に関連する1又はそれ以上の設定、物体108と振動面106との相互作用に対応することができる振動周波数の範囲、及び/又は物体108と振動面106との相互作用に応答してデバイス102が実行する1又はそれ以上の動作を挙げることができる。ある実施形態では、プロセッサ202が、ユーザが1又はそれ以上のコンフィギュレーション設定を行えるようにすることができる。別の実施形態では、装置104の製造業者が、1又はそれ以上のコンフィギュレーション設定を指定することができる。これらの1又はそれ以上のコンフィギュレーション設定は、メモリ204に記憶することができる。
ある実施形態では、プロセッサ202が、(デバイス102などの)1又はそれ以上のデバイスを登録することができる。ある実施形態では、プロセッサ202が、ユーザが装置104を用いて相互作用できる1又はそれ以上のデバイスを指定するようにユーザを促すことができる。プロセッサ202は、ユーザによって指定された1又はそれ以上のデバイスを登録することができる。ある実施形態では、プロセッサ202が、登録されたデバイスに生成された制御信号を通信することができる。
ある実施形態では、プロセッサ202が、1又はそれ以上のデバイスから識別信号を受け取ったことに基づいて、相互作用すべき1又はそれ以上のデバイスを検索することができる。別の実施形態では、送信機212が、1又はそれ以上のデバイスに識別信号を送信することができる。プロセッサ202は、1又はそれ以上のデバイスから識別信号の確認応答を受け取ることができる。プロセッサ202は、送信した識別信号の確認応答を行うことができる1又はそれ以上のデバイスを、装置104が相互作用できるデバイスとして登録することができる。識別信号の例としては、以下に限定されるわけではないが、無線周波数信号、赤外線信号及び極超短波信号などを挙げることができる。ある実施形態では、装置104の製造業者が、装置104が相互作用できるデバイス102を指定することができる。
図3は、本開示の実施形態による、振動入力に基づいて制御することができる例示的なデバイスを示すブロック図である。図3のブロック図の説明は、図1及び図2のブロック図に関連して行う。
図3には、デバイス102を示している。デバイス102は、プロセッサ302などの1又はそれ以上のプロセッサ及び/又は回路、メモリ304、受信機306、送信機308、入出力デバイス310(以下、I/Oデバイス310と呼ぶ)、及び装置104を含むことができる。I/Oデバイス310及び装置104は、図3のブロック図に破線のボックスで示すように任意とすることができる。
プロセッサ302及び/又は1又はそれ以上の回路は、メモリ304、受信機306、送信機308及びI/Oデバイス310に通信可能に結合することができる。
プロセッサ302及び/又は1又はそれ以上の回路は、メモリ304に記憶された少なくとも1つのコードセクションを実行することができる好適なロジック、回路、及び/又はインターフェイスを含むことができる。プロセッサ302は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ302の例としては、以下に限定されるわけではないが、X86ベースのプロセッサ、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、及び/又は複合命令セットコンピュータ(CISC)プロセッサを挙げることができる。
メモリ304は、プロセッサ302によって実行可能な少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。メモリ304の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスクドライブ(HDD)、及び/又はセキュアデジタル(SD)カードを挙げることができる。さらに、メモリ304は、デバイス102のコンフィギュレーション設定、装置104のコンフィギュレーション設定、信号−動作マッピングデータ及び/又はその他のいずれかのデータなどのデータを記憶することができる。
受信機306は、データ及びメッセージを受け取ることができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。受信機306は、様々な既知の通信プロトコルに従ってデータを受け取ることができる。ある実施形態では、受信機306が、装置104から制御信号を受け取ることができる。別の実施形態では、受信機306が、装置104から識別信号を受け取ることができる。受信機306は、通信ネットワークを介した装置104との有線又は無線通信をサポートするための既知の技術を実装することができる。
送信機308は、データ及び/又はメッセージを送信することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。送信機308は、様々な既知の通信プロトコルに従ってデータを送信することができる。ある実施形態では、送信機308が、装置104に識別信号を送信することができる。
I/Oデバイス310は、プロセッサ202に動作可能に結合することができる様々な入力及び出力デバイスを含むことができる。I/Oデバイス310は、デバイス102を操作するユーザから入力を受け取って出力を提供することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。入力デバイスの例としては、以下に限定されるわけではないが、キーパッド、スタイラス及び/又はタッチ画面を挙げることができる。出力デバイスの例としては、以下に限定されるわけではないが、ディスプレイ及びスピーカを挙げることができる。
1つの実施形態では、装置104をデバイス102と一体化することができる。このような場合、デバイス102に関連するあらゆる表面が、装置104のための振動面106に対応することができる。1つの実施形態では、デバイス102の本体が振動面106に対応することができる。例えば、リモコン装置のカバーを、リモコン装置と相互作用するための振動面106として使用することができる。リモコン装置を操作するユーザは、リモコン装置のカバー上をスクラッチすることができる。装置104は、カバー上でのスクラッチに応答して、リモコン装置の様々な動作を制御するための制御信号を生成することができる。1つの実施形態では、デバイス102の本体全体を振動面106として指定することができる。別の実施形態では、デバイス102の本体の所定の領域を振動面106として指定することができる。
別の実施形態では、デバイス102に接する表面が振動面106に対応することができる。例えば、ランプが置かれたテーブルの表面を、ランプと相互作用するための振動面106として使用することができる。ランプを操作するユーザは、テーブル上をスクラッチすることができる。装置104は、このテーブル上でのスクラッチに応答して制御信号を生成し、ランプのスイッチをオン及び/又はオフに切り替えることができる。
動作中、ユーザは、物体108を用いて振動面106と相互作用することができる。装置104は、物体108と振動面106との相互作用によって生じる振動面106の1又はそれ以上の振動を検出することができる。装置104は、1又はそれ以上の振動の検出に応答して制御信号を生成することができる。装置104は、生成された制御信号をプロセッサ302及び/又は1又はそれ以上の回路に通信して、デバイス102のユーザインターフェイスを制御することができる。プロセッサ302及び/又は1又はそれ以上の回路は、装置104から送信された制御信号を、受信機306を介して受け取ることができる。受け取られた制御信号は、相互作用に応答して制御されるべきデバイス102の動作を示すことができる。プロセッサ302及び/又は1又はそれ以上の回路は、受け取った制御信号に基づいて、制御されるべきデバイス102の動作を特定することができる。プロセッサ302及び/又は1又はそれ以上の回路は、この特定された動作に基づいて、デバイス102のユーザインターフェイスを制御することができる。
ある実施形態では、プロセッサ302及び/又は1又はそれ以上の回路が、制御されるべきデバイス102の動作を、メモリ304に記憶された信号−動作マッピングデータに基づいて特定することができる。信号−動作マッピングデータは、受け取られた制御信号に対応して制御されるべきデバイス102の動作を指定することができる。このデバイス102のメモリ304に記憶されている信号−動作マッピングデータは、装置104のメモリ204に記憶されている周波数−動作マッピングデータに対応することができる。1つの実施形態では、ユーザが、周波数−動作マッピングデータに対応する信号−動作マッピングデータをメモリ304に記憶することができる。別の実施形態では、装置104が、周波数−動作マッピングデータに対応する信号−動作マッピングデータをプロセッサ302及び/又は1又はそれ以上の回路に送信することができる。
図4は、本開示の実施形態による、車両内のデバイスを制御する実施例を示す図である。この車両内のデバイスを制御する実施例の説明は、図1、図2及び図3のブロック図に関連して行う。
図4には、車両400を示している。車両400は、ダッシュボード402、ステアリングホイール404、ドア406などの1又はそれ以上のドア、第1の装置408a、第2の装置408b、第3の装置408c、及びマルチメディアプレーヤ410を含むことができる。第1の装置408a、第2の装置408b及び第3の装置408cは、まとめて装置408と呼ぶことができる。マルチメディアプレーヤ410は、ダッシュボード402に接続することができる。
装置408は、装置104の一部として示す、同じ参照数字を用いて参照する構成要素を含むことができる。装置408は、構成要素の接続構成及び構成要素の機能作用に関しては装置104と同じものである。装置408は、車両400内の1又はそれ以上のデバイスと相互作用することができる。ダッシュボード402、ステアリングホイール404、ドア406及びマルチメディアプレーヤ410が、装置408と相互作用できる1又はそれ以上のデバイスの例となり得る。
ある実施形態では、第1の装置408aをダッシュボード402に取り付けることができる。第2の装置408bは、ステアリングホイール404に取り付けることができる。第3の装置408cは、ドア406に取り付けることができる。しかしながら、本開示はこのように限定されるわけではなく、装置408は、本開示の範囲を限定することなく、車両400のあらゆる部分に取り付けることができる。図4には、単純化のために、車両400内の1又はそれ以上のデバイスと相互作用するための(第1の装置408a、第2の装置408b及び第3の装置408cなどの)3つの装置を示しているが、当業者であれば、開示する実施形態はいずれの数のデバイスの場合にも実施できると理解することができる。
ダッシュボード402、ステアリングホイール404及び/又はドア406の表面は、振動面106に対応することができる。1つの実施形態では、ダッシュボード402、ステアリングホイール404及び/又はドア406の表面全体が振動面106に対応することができる。別の実施形態では、ダッシュボード402、ステアリングホイール404及び/又はドア406の表面の所定の領域が振動面106に対応することができる。振動面106に対応する所定の領域は、車両400に関連する製造業者が指定することができる。車両400に関連するユーザは、ダッシュボード402、ステアリングホイール404及び/又はドア406の表面上で指などの物体108を用いて相互作用を行うことができる。
ユーザは、ダッシュボード402、ステアリングホイール404及び/又はドア406の表面と相互作用して、車両400の様々な動作を制御することができる。この相互作用は、ダッシュボード402、ステアリングホイール404及び/又はドア406の表面の振動を引き起こすことができる。装置408のセンサ206がこの振動を検出し、検出された振動に応答して1又はそれ以上の振動信号を生成することができる。装置408のプロセッサ202は、1又はそれ以上の生成された振動信号に対応する、車両400の様々な動作を制御するための制御信号を生成することができる。プロセッサ202は、生成された制御信号に従って車両400の様々な動作を制御することができる。
例えば、車両300に関連するユーザは、ダッシュボード402と相互作用して、ダッシュボード402に取り付けられたマルチメディアプレーヤ410を制御することができる。例えば、ユーザは、ダッシュボード402上をスクラッチして、マルチメディアプレーヤ410上でオーディオの再生を開始することができる。別の例では、ユーザがダッシュボード402上をスクラッチすることによって「U字」形を描くことができる。このスクラッチによって描かれた「U字」形により、例えばマルチメディアプレーヤ410の音量を上げることができる。同様に、ダッシュボード402上をスライドすることによって「D字」形を描くと、例えばマルチメディアプレーヤ410の音量を下げることができる。
別の例では、ステアリングホイール404上を指の爪でタップすると、車両400のエンジンのスイッチをオンにすることができる。同様に、ユーザは、ステアリングホイール404上をスクラッチすることによって車両400のエンジンのスイッチをオフにすることができる。別の例では、ユーザが、ステアリングホイール404上でスクラッチ及び/又はスライドを行って様々な形状を描くことにより、車両400のサイドミラー及び/又はバックミラーを調整することができる。別の例では、ユーザが、ドア406上をスクラッチすることによって車両400の窓の開閉を行うことができる。しかしながら、本開示はこのように限定されるわけではなく、ユーザは、本開示の範囲を限定することなく、車両400の異なる部分と様々な方法で相互作用して、車両400の様々な動作を制御することができる。
図5は、本開示の実施形態による、振動入力に基づいて携帯電話機を制御する実施例を示す図である。この携帯電話機を制御する実施例の説明は、図1、図2及び図3のブロック図に関連して行う。
図5には、携帯電話機502及びテーブル504を示している。携帯電話機502は、例えばテーブル504上に置かれているものとすることができる。テーブル504には装置104を取り付けることができる(図5には図示せず)。ある実施形態では、装置104をテーブルトップの下方に固定することができる。しかしながら、本開示はこのように限定されるわけではなく、装置104は、本開示の範囲を限定することなく、テーブル504の他の部分に接続することもできる。装置104は、携帯電話機502と相互作用することができる。
テーブル504は、振動面106に対応することができる。1つの実施形態では、テーブル504の表面全体が振動面106に対応することができる。別の実施形態では、テーブル504の所定の領域が振動面106に対応することができる。携帯電話機502に関連するユーザは、指などの物体108を用いてテーブル504の表面上で相互作用を行って、携帯電話機502のユーザインターフェイスを制御することができる。例えば、ユーザは、指の爪を用いてテーブル504上をスクラッチして、携帯電話機502のユーザインターフェイスを制御することができる。テーブル504上をスクラッチすると、テーブル504上に振動を生じることができる。装置104のセンサ206は、このテーブル504上に生じた振動を検出することができる。センサ206は、検出されたテーブル504の振動に応答して1又はそれ以上の振動信号を生成することができる。装置104のプロセッサ202は、スクラッチに関連する1又はそれ以上の振動信号の各々に対応する振動周波数を求めることができる。プロセッサ202は、求められた振動周波数に基づいて、携帯電話機502のユーザインターフェイスを制御するための制御信号を生成することができる。装置104は、この制御信号を携帯電話機502に通信することができる。例えば、この制御信号は、携帯電話機502のスイッチをオフにするためのコマンドに対応することができる。携帯電話機502は、この受け取った制御信号に基づいてオフに切り替わることができる。
別の実施例では、ランプが取り付けられた壁が振動面106に対応することができる。この壁に装置104を取り付けることができる。ユーザは、壁の上で指などの物体108をスライドさせることによって「V字」形を描くことができる。プロセッサ202は、指の皮膚をスライドすることによって描かれた「V字」形に対応する第1の振動周波数を求めることができる。同様に、ユーザは、指の爪を用いて壁上をスクラッチすることによって「S字」形を描くことができる。プロセッサ202は、振動面106上をスクラッチすることによって描かれた「S字」形に対応する第2の振動周波数を求めることができる。プロセッサ202は、求められた第1の振動周波数に基づいて第1の制御信号を決定し、第2の振動周波数に基づいて第2の制御信号を決定することができる。第1の制御信号は、ランプによって行われる第1の動作を示すことができる。第2の制御信号は、ランプによって行われる第2の動作を示すことができる。例えば、壁上をスクラッチすることによって描かれる「S字」形は、ランプのスイッチをオンにすることができる。同様に、壁上で指をスライドすることによって描かれる「S字」形は、ランプのスイッチをオフにすることができる。
別の実施例では、ラップトップが置かれたテーブルが振動面106に対応することができる。このテーブルの底面に装置104を取り付けることができる。ユーザは、指の爪などの物体108を用いてテーブル上のいずれかの場所をタップすることができる。プロセッサ202は、指の爪を用いて行われたタップに対応する振動周波数を求めることができる。プロセッサ202は、指の爪を用いたタップに対応する制御信号を生成することができる。このタップに対応する生成された制御信号は、ラップトップに関連するマウスの右ボタンを示すことができる。同様に、ユーザは、指の皮膚を用いてテーブル上のいずれかの場所をタップすることができる。プロセッサ202は、指の皮膚を用いて行われたタップに対応する振動周波数を求めることができる。プロセッサ202は、指の皮膚を用いたタップに対応する制御信号を生成することができる。この指の皮膚を用いたタップに対応する生成された制御信号は、例えばラップトップに関連するマウスの左ボタンを示すことができる。
しかしながら、本開示は、これらの振動面106、相互作用及び/又は制御できるデバイス102の実施例に限定されるわけではない。本開示の範囲を限定することなく、様々な種類の相互作用を用いて異なる種類のデバイスと相互作用するための振動面106としてあらゆる表面を使用することができる。
図6A、図6B及び図6Cは、本開示の実施形態による、振動入力に基づいてデバイスのユーザインターフェイスを制御するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。図6A、図6B及び図6Cには方法600を示している。方法600の説明は、図1及び図2のブロック図に関連して行う。
例示的なステップは、ステップ602から開始する。ステップ604において、センサ206が、物体108と振動面106との相互作用によって生じる振動面106の1又はそれ以上の振動を検出することができる。ステップ606において、センサ206は、検出された振動面106の振動に応答して1又はそれ以上の振動信号を生成することができる。ステップ608において、プロセッサ202は、生成された1又はそれ以上の振動信号の各々を振動信号成分に変換することができる。各変換された振動信号成分は、3次元座標系の座標軸に対応することができる。ステップ610において、A/Dコンバータ208が、第1の振動信号成分、第2の振動信号成分及び第3の振動信号成分をアナログ形式からデジタル形式に変換することができる。ステップ612において、プロセッサ202は、第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成することができる。ステップ614において、プロセッサ202は、第1の振動信号成分又は第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成することができる。ステップ616において、プロセッサ202は、生成された第1の信号及び生成された第2の信号の各々のサンプルを生成することができる。プロセッサ202は、生成された第1の信号のサンプルを第1の所定の期間中に生成することができる。プロセッサ202は、生成された第2の信号のサンプルを第2の所定の期間中に生成することができる。ステップ618において、プロセッサ202は、生成された第1の信号の生成されたサンプル、及び生成された第2の信号の生成されたサンプルの各々を時間領域から周波数領域に変換することができる。ステップ620において、プロセッサ202は、生成された第1の信号の変換されたサンプル、及び生成された第2の信号の変換されたサンプルの各々の累乗を正規化することができる。ステップ622において、プロセッサ202は、生成された第1の信号の変換されたサンプルと生成された第2の信号の変換されたサンプルとの間の相互相関関数を求めることができる。ステップ624において、プロセッサ202は、求められた相互相関関数を周波数領域から時間領域に変換することができる。ステップ626において、プロセッサ202は、変換された相互相関関数に基づいて、物体108と振動面106との相互作用の種類を判断することができる。ステップ628において、プロセッサ202は、求められた相互相関関数に基づいて、振動面106上の物体108の相互作用に対応する場所を特定することができる。ステップ630において、プロセッサ202は、センサ206によって生成された1又はそれ以上の振動信号の各々に対応する振動周波数を求めることができる。ステップ632において、プロセッサ202は、求められた振動周波数に基づいて制御信号を生成することができる。この制御信号は、1又はそれ以上の生成された振動信号に対応して、デバイス102のユーザインターフェイスを制御することができる。方法600は、ステップ634において終了する。
デバイスのユーザインターフェイスを制御するための装置及び/又は方法における実装を参照しながら本開示の様々な実施形態について説明したが、本開示はこのように限定されるわけではない。本開示の様々な実施形態は、本開示の範囲を限定することなく、他の動作を実行する装置及び方法に実装することもできる。このような動作の例として、室内などの所与の範囲内におけるユーザ及び/又は物体の存在を検出することを挙げることができる。別の例としては、室内の物体及び/又はユーザの動きの方向を特定することを挙げることができる。これらの検出された存在、検出された動き、及び/又は検出された動きの方向に基づいて、室内に存在する1又はそれ以上のデバイスの1又はそれ以上の動作を制御することができる。
ある実施形態では、装置104を、部屋の床、壁及び/又は天井に生じる振動に基づいて室内のデバイスを制御するように実装することができる。装置104は、室内の1又はそれ以上のデバイスと相互作用することができる。装置104が相互作用できるデバイスの例として、ランプ704及び/又はファンを挙げることができる。
ある実施形態では、装置104を部屋の床に結合することができる。例えば、装置104を床に埋め込んで、センサ206が床の1又はそれ以上の振動を検出できるようにすることができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、装置104を床の上に配置することもできる。1つの実施形態では、単一の装置が室内の1又はそれ以上のデバイスと相互作用することができる。別の実施形態では、室内の各デバイスを別個の装置によって操作することができる。
床は、振動面106に対応することができる。ユーザが床の上を歩いた時、及び/又は床を横切って(椅子などの)物体を動かした時に振動を生じることができる。装置104のセンサ206は、この振動を検出し、検出された振動に応答して1又はそれ以上の振動信号を生成することができる。装置104のプロセッサ202は、1又はそれ以上の生成された振動信号に対応してユーザ及び/又は物体の動きの方向を特定する制御信号を生成することができる。プロセッサ202は、生成された制御信号に従って、室内の(ランプ及びファンなどの)様々なデバイスを制御することができる。例えば、ユーザが部屋から出る時には床に振動が生じる。センサ206は、床に生じた振動を検出することができる。プロセッサ202は、この検出された振動に基づいてユーザの動きの方向を特定することができる。プロセッサ202は、この特定された動きの方向に基づいて、ユーザが部屋から出て行きつつあると判断することができる。プロセッサ202は、この判断に基づいて、ランプ及び/又はファンのスイッチをオフにすることができる。
別の例では、プロセッサ202が、センサ206によって生成された1又はそれ以上の振動信号に基づいて、ユーザが部屋に入って来つつあると判断することができる。プロセッサ202は、これに応答して、ランプ及びファンの動作を制御するための制御信号を生成することができる。プロセッサ202は、ランプ及び/又はファンのスイッチをオンにすることができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、室内のユーザの様々な他の動きを特定することもできる。
別の例では、装置104が、室内のテーブル、椅子及びその他の物体などの物体の動きを検出することができる。センサ206は、例えばテーブルの動きによって床に生じた振動を検出することができる。プロセッサ202は、この検出された動きに基づいて、地震及び/又はサイクロンなどの環境変化を突き止めることができる。
本開示の実施形態によれば、デバイス102(図1)のユーザインターフェイスを制御するための装置104(図1)が、装置104に関連する振動面106(図1)に結合されたセンサ206などの1又はそれ以上のセンサを含むことができる。この1又はそれ以上のセンサは、物体108(図1)と振動面106との相互作用によって生じる振動面106の1又はそれ以上の振動を検出することができる。1又はそれ以上のセンサは、この検出された1又はそれ以上の振動に応答して1又はそれ以上の振動信号を生成することができる。装置104は、1又はそれ以上のセンサに通信可能に結合された、プロセッサ202(図2)などの1又はそれ以上のプロセッサをさらに含むことができる。1又はそれ以上のプロセッサは、1又はそれ以上の生成された振動信号に対応する制御信号を生成して、デバイス102のユーザインターフェイスを制御することができる。
1又はそれ以上のプロセッサは、生成された1又はそれ以上の振動信号の各々を振動信号成分に変換することができる。変換された振動信号成分の各々は、3次元座標系の座標軸に対応する。1又はそれ以上のプロセッサは、変換された3つの振動信号成分のうちの第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成することができる。1又はそれ以上のプロセッサは、変換された3つの振動信号成分のうちの第1の振動信号成分又は第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成することができる。1又はそれ以上のプロセッサは、生成された第1の信号及び生成された第2の信号に基づいて物体の相互作用を特定することができる。1又はそれ以上のプロセッサは、物体と振動面106との相互作用に対応する場所を特定することができる。この場所は、生成された第1の信号及び生成された第2の信号に基づいて特定される。
1又はそれ以上のプロセッサは、第1の所定の期間中に生成された第1の信号のサンプルを時間領域から周波数領域に変換することができる。1又はそれ以上のプロセッサは、第2の所定の期間中に生成された第2の信号のサンプルを時間領域から周波数領域に変換することができる。1又はそれ以上のプロセッサは、生成された第1の信号の変換されたサンプルと生成された第2の信号の変換されたサンプルとの間の相互相関を求めることができる。1又はそれ以上のプロセッサは、求められた相互相関に基づいて場所を特定することができる。1又はそれ以上のプロセッサは、1又はそれ以上の生成された振動信号の各々に対応する振動周波数を求めることができる。求められた振動周波数は、デバイス102に関連する動作を示す。振動周波数は、振動面106の材料、物体108の種類、相互作用の種類、及び/又は振動面106の粗度のうちの1つ又はそれ以上に基づいて求められる。
この相互作用は、振動面106をスクラッチすること、振動面106上をタップすること、振動面106上で物体108をスライドさせること、及び/又は振動面106上で物体108をドラッグすることのうちの1つ又はそれ以上を含むことができる。1又はそれ以上のセンサは、加速度計又はジャイロスコープの一方又は両方を含むことができる。
本開示の実施形態によれば、相互作用のためのデバイス102(図1)が、プロセッサ302(図3)及び/又は回路などの1又はそれ以上のプロセッサを含むことができる。デバイス102は、装置104(図1)に通信可能に結合される。1又はそれ以上のプロセッサ及び/又は回路は、装置104から制御信号を受け取ることができる。この制御信号は、物体108(図1)と振動面106との相互作用によって生じる、装置104に関連する振動面106(図1)の1又はそれ以上の振動の検出に応答して装置104が生成することができる。1又はそれ以上のプロセッサ及び/又は回路は、受け取った制御信号に基づいてデバイス102のユーザインターフェイスを制御することができる。相互作用は、振動面106をスクラッチすること、振動面106上をタップすること、振動面106上で物体108をスライドさせること、及び/又は振動面106上で物体108をドラッグすることのうちの1つ又はそれ以上を含むことができる。
本開示の他の実施形態は、機械及び/又はコンピュータによって実行されることにより、物体と振動面との相互作用によって生じる振動面の1又はそれ以上の振動を検出するステップを機械及び/又はコンピュータに実行させることができる少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体、及び/又は非一時的機械可読媒体及び/又は記憶媒体を提供することができる。検出された1又はそれ以上の振動に応答して、1又はそれ以上の振動信号を生成することができる。この1又はそれ以上の生成された振動信号に対応する制御信号を生成して、デバイスのユーザインターフェイスを制御することができる。
従って、本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたあらゆる種類のコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に、本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
様々な実施形態を参照しながら本開示について説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。
102 デバイス
104 装置
106 振動面
108 物体

Claims (22)

  1. デバイスのユーザインターフェイスを制御するための装置であって、
    前記装置に関連する振動面に結合された1又はそれ以上のセンサを備え、該1又はそれ以上のセンサは、
    物体と前記振動面との相互作用によって生じる前記振動面の1又はそれ以上の振動を検出し、
    前記検出された1又はそれ以上の振動に応答して、1又はそれ以上の振動信号を生成し、前記装置は、
    前記1又はそれ以上のセンサに通信可能に結合された1又はそれ以上のプロセッサをさらに備え、該1又はそれ以上のプロセッサは、前記1又はそれ以上の生成された振動信号に対応する制御信号を生成して前記デバイスの前記ユーザインターフェイスを制御する、
    ことを特徴とする装置。
  2. 前記1又はそれ以上のプロセッサは、前記生成された1又はそれ以上の振動信号の各々を振動信号成分に変換し、該変換された振動信号成分の各々は、3次元座標系の座標軸に対応する、
    ことを特徴とする請求項1に記載の装置。
  3. 前記1又はそれ以上のプロセッサは、
    前記変換された振動信号成分のうちの第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成し、
    前記変換された振動信号成分のうちの前記第1の振動信号成分又は前記第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成し、
    前記生成された第1の信号及び前記生成された第2の信号に基づいて前記物体の前記相互作用を特定する、
    ことを特徴とする請求項2に記載の装置。
  4. 前記1又はそれ以上のプロセッサは、前記物体と前記振動面との前記相互作用に対応する場所を特定し、該場所は、前記生成された第1の信号及び前記生成された第2の信号に基づいて特定される、
    ことを特徴とする請求項3に記載の装置。
  5. 前記1又はそれ以上のプロセッサは、
    第1の所定の期間中における前記生成された第1の信号のサンプルを時間領域から周波数領域に変換し、
    第2の所定の期間中における前記生成された第2の信号のサンプルを前記時間領域から前記周波数領域に変換する、
    ことを特徴とする請求項4に記載の装置。
  6. 前記1又はそれ以上のプロセッサは、前記生成された第1の信号の前記変換されたサンプルと、前記生成された第2の信号の前記変換されたサンプルとの間の相互相関を求める、
    ことを特徴とする請求項5に記載の装置。
  7. 前記1又はそれ以上のプロセッサは、前記求められた相互相関に基づいて前記場所を特定する、
    ことを特徴とする請求項6に記載の装置。
  8. 前記1又はそれ以上のプロセッサは、前記生成された1又はそれ以上の振動信号の各々に対応する振動周波数を求め、該求められた振動周波数は、前記デバイスに関連する操作を示す、
    ことを特徴とする請求項1に記載の装置。
  9. 前記振動周波数は、前記振動面の材料、前記物体の種類、前記相互作用の種類、及び/又は前記振動面の粗度のうちの1つ又はそれ以上に基づいて求められる、
    ことを特徴とする請求項8に記載の装置。
  10. 前記相互作用は、前記振動面をスクラッチすること、前記振動面上をタップすること、前記振動面上で前記物体をスライドさせること、及び/又は前記振動面上で前記物体をドラッグすること、のうちの1つ又はそれ以上を含む、
    ことを特徴とする請求項1に記載の装置。
  11. 前記1又はそれ以上のセンサは、加速度計又はジャイロスコープの一方又は両方を含む、
    ことを特徴とする請求項1に記載の装置。
  12. デバイスのユーザインターフェイスを制御する方法であって、
    物体と振動面との相互作用によって生じる前記振動面の1又はそれ以上の振動を検出するステップと、
    前記検出された1又はそれ以上の振動に応答して、1又はそれ以上の振動信号を生成するステップと、
    前記1又はそれ以上の生成された振動信号に対応する制御信号を生成して、前記デバイスの前記ユーザインターフェイスを制御するステップと、
    を含むことを特徴とする方法。
  13. 前記生成された1又はそれ以上の振動信号の各々を振動信号成分に変換するステップをさらに含み、該変換された振動信号成分の各々は、3次元座標系の座標軸に対応する、
    ことを特徴とする請求項12に記載の方法。
  14. 前記変換された振動信号成分のうちの第1の振動信号成分と第2の振動信号成分との差分に基づいて第1の信号を生成するステップと、
    前記変換された振動信号成分のうちの前記第1の振動信号成分又は前記第2の振動信号成分の一方と第3の振動信号成分との差分に基づいて第2の信号を生成するステップと、
    前記生成された第1の信号及び前記生成された第2の信号に基づいて前記物体の前記相互作用を特定するステップと、
    をさらに含むことを特徴とする請求項13に記載の方法。
  15. 前記物体と前記振動面との前記相互作用に対応する場所を特定するステップをさらに含み、前記場所は、前記生成された第1の信号及び前記生成された第2の信号に基づいて特定される、
    ことを特徴とする請求項14に記載の方法。
  16. 前記生成された第1の信号のサンプルを第1の所定の期間中に生成するステップと、
    前記生成された第2の信号のサンプルを第2の所定の期間中に生成するステップと、
    前記生成された第1の信号及び前記生成された第2の信号の前記生成されたサンプルの各々を時間領域から周波数領域に変換するステップと、
    をさらに含むことを特徴とする請求項14に記載の方法。
  17. 前記生成された第1の信号及び前記生成された第2の信号の前記サンプルの各々は、前記生成された第1の信号及び前記生成された第2の信号の各々に窓関数を適用することによって生成される、
    ことを特徴とする請求項16に記載の方法。
  18. 前記生成された第1の信号の前記変換されたサンプルと、前記生成された第2の信号の前記変換されたサンプルとの間の相互相関を求めるステップをさらに含む、
    ことを特徴とする請求項16に記載の方法。
  19. 前記求められた相互相関に基づいて、前記場所及び/又は前記相互作用を特定するステップをさらに含む、
    ことを特徴とする請求項18に記載の方法。
  20. 前記振動面の材料、前記物体の種類、前記相互作用の種類、及び/又は前記振動面の粗度のうちの1つ又はそれ以上に基づいて、前記生成された1又はそれ以上の振動信号の各々に対応する振動周波数を求めるステップをさらに含み、該求められた振動周波数は、前記デバイスに関連する操作を示す、
    ことを特徴とする請求項12に記載の方法。
  21. 相互作用のためのデバイスであって、
    装置に通信可能に結合された前記デバイス内に1又はそれ以上のプロセッサ及び/又は回路を備え、該1又はそれ以上のプロセッサ及び/又は回路は、
    物体と前記装置に関連する振動面との相互作用によって生じる前記振動面の1又はそれ以上の振動の検出に応答して前記装置によって生成された制御信号を前記装置から受け取り、
    前記受け取った制御信号に基づいて前記デバイスのユーザインターフェイスを制御する、
    ことを特徴とするデバイス。
  22. 前記相互作用は、前記振動面をスクラッチすること、前記振動面上をタップすること、前記振動面上で前記物体をスライドさせること、及び/又は前記振動面上で前記物体をドラッグすること、のうちの1つ又はそれ以上を含む、
    ことを特徴とする請求項21に記載のデバイス。
JP2015551730A 2013-01-08 2013-12-26 デバイスのユーザインターフェイス制御 Active JP6048918B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/736,241 2013-01-08
US13/736,241 US9134856B2 (en) 2013-01-08 2013-01-08 Apparatus and method for controlling a user interface of a device based on vibratory signals
PCT/US2013/077870 WO2014109916A1 (en) 2013-01-08 2013-12-26 Controlling a user interface of a device

Publications (2)

Publication Number Publication Date
JP2016505988A true JP2016505988A (ja) 2016-02-25
JP6048918B2 JP6048918B2 (ja) 2016-12-21

Family

ID=51060581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551730A Active JP6048918B2 (ja) 2013-01-08 2013-12-26 デバイスのユーザインターフェイス制御

Country Status (5)

Country Link
US (1) US9134856B2 (ja)
EP (1) EP2926228B1 (ja)
JP (1) JP6048918B2 (ja)
CN (1) CN104903827B (ja)
WO (1) WO2014109916A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411650B1 (ko) * 2013-06-21 2014-06-24 김남규 키 입력 장치, 키 입력 인식 장치 및 이들을 이용한 키 입력 시스템
KR102223277B1 (ko) * 2014-01-06 2021-03-05 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20150242036A1 (en) * 2014-02-21 2015-08-27 Amin Heidari System and method for detecting taps on a surface or on a device
US9575508B2 (en) * 2014-04-21 2017-02-21 Apple Inc. Impact and contactless gesture inputs for docking stations
US20160048372A1 (en) * 2014-08-14 2016-02-18 Nokia Corporation User Interaction With an Apparatus Using a Location Sensor and Microphone Signal(s)
WO2017063893A1 (en) * 2015-10-15 2017-04-20 Philips Lighting Holding B.V. Touch control
WO2018155164A1 (ja) * 2017-02-24 2018-08-30 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
CN108646932B (zh) * 2018-04-20 2021-11-26 歌尔股份有限公司 一种用于电子设备的振动检测方法、装置及电子设备
CN112572597B (zh) * 2019-09-30 2022-03-18 比亚迪股份有限公司 基于转向盘的车辆控制方法、装置、转向盘和车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135570A1 (en) * 2001-03-23 2002-09-26 Seiko Epson Corporation Coordinate input device detecting touch on board associated with liquid crystal display, and electronic device therefor
WO2003067511A2 (en) * 2002-02-06 2003-08-14 Soundtouch Limited Touch pad
JP2006323823A (ja) * 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
WO2011001229A1 (en) * 2009-07-03 2011-01-06 Sony Ericsson Mobile Communications Ab Tactile input for accessories
WO2011051722A2 (en) * 2009-10-29 2011-05-05 New Transducers Limited Touch sensitive device
US20110191680A1 (en) * 2010-02-02 2011-08-04 Chae Seung Chul Method and apparatus for providing user interface using acoustic signal, and device including user interface

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158126B2 (en) * 2002-04-08 2007-01-02 Koninklijke Philips Electronics N.V. Acoustic based pointing device
WO2006070044A1 (en) 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
US20090273583A1 (en) 2008-05-05 2009-11-05 Sony Ericsson Mobile Communications Ab Contact sensitive display
US8477463B2 (en) * 2008-10-02 2013-07-02 Lsi Corporation Vibration based user input for mobile devices
JP2011028555A (ja) 2009-07-27 2011-02-10 Sony Corp 情報処理装置および情報処理方法
WO2011115060A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
JP5593851B2 (ja) 2010-06-01 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
US8519982B2 (en) 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices
US8319746B1 (en) * 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135570A1 (en) * 2001-03-23 2002-09-26 Seiko Epson Corporation Coordinate input device detecting touch on board associated with liquid crystal display, and electronic device therefor
KR20020075283A (ko) * 2001-03-23 2002-10-04 세이코 엡슨 가부시키가이샤 좌표 입력 장치, 액정 표시 장치, 유기 발광 표시 장치,표시 장치 및 전자 장치
JP2002351614A (ja) * 2001-03-23 2002-12-06 Seiko Epson Corp 座標入力装置、表示装置及び電子機器
WO2003067511A2 (en) * 2002-02-06 2003-08-14 Soundtouch Limited Touch pad
EP1481359A2 (en) * 2002-02-06 2004-12-01 Soundtouch Limited Touch pad
US20050083313A1 (en) * 2002-02-06 2005-04-21 Soundtouch Limited Touch pad
JP2006323823A (ja) * 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
US20110003550A1 (en) * 2009-07-03 2011-01-06 Sony Ericsson Mobile Communications Ab Tactile input for accessories
WO2011001229A1 (en) * 2009-07-03 2011-01-06 Sony Ericsson Mobile Communications Ab Tactile input for accessories
WO2011051722A2 (en) * 2009-10-29 2011-05-05 New Transducers Limited Touch sensitive device
EP2494426A2 (en) * 2009-10-29 2012-09-05 New Transducers Limited Touch sensitive device employing bending wave vibration sensors that detect a touch location and provide haptic feedback
US20120229407A1 (en) * 2009-10-29 2012-09-13 New Transducers Limited Touch Sensitive Device Employing Bending Wave Vibration Sensors That Detect Touch Location And Provide Haptic Feedback
JP2013509633A (ja) * 2009-10-29 2013-03-14 ニュー トランスデューサーズ リミテッド タッチセンシティブデバイス
US20110191680A1 (en) * 2010-02-02 2011-08-04 Chae Seung Chul Method and apparatus for providing user interface using acoustic signal, and device including user interface
WO2011096694A2 (en) * 2010-02-02 2011-08-11 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface using acoustic signal, and device including user interface
EP2544077A1 (en) * 2010-02-02 2013-01-09 Samsung Electronics Co., Ltd. Method and apparatus for providing user interface using acoustic signal, and device including user interface
JP2013519132A (ja) * 2010-02-02 2013-05-23 サムスン エレクトロニクス カンパニー リミテッド 表面音響信号を用いたユーザインタフェース提供装置及び方法、ユーザインタフェースを備えるデバイス

Also Published As

Publication number Publication date
CN104903827B (zh) 2018-03-02
CN104903827A (zh) 2015-09-09
EP2926228B1 (en) 2018-10-31
EP2926228A4 (en) 2016-09-07
US20140191963A1 (en) 2014-07-10
WO2014109916A1 (en) 2014-07-17
JP6048918B2 (ja) 2016-12-21
US9134856B2 (en) 2015-09-15
EP2926228A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
JP6048918B2 (ja) デバイスのユーザインターフェイス制御
US11942085B1 (en) Naming devices via voice commands
US10564727B2 (en) Systems and methods for a low profile haptic actuator
US9924018B2 (en) Multi display method, storage medium, and electronic device
US9354842B2 (en) Apparatus and method of controlling voice input in electronic device supporting voice recognition
US10127906B1 (en) Naming devices via voice commands
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
CN114127665A (zh) 多模态用户界面
US10185544B1 (en) Naming devices via voice commands
EP2710446A1 (en) Gesture recognition using plural sensors
CN109616135B (zh) 音频处理方法、装置及存储介质
US20150189410A1 (en) User interface apparatus using speaker and method thereof
CN111338594A (zh) 使用指纹的输入控制
US20120004740A1 (en) Input device and input method
CN106465003A (zh) 扬声器
CN109144362A (zh) 内容共享方法和终端设备
JP6057110B2 (ja) デバイスのユーザインターフェイスを操作するための装置及び方法
JPWO2019239738A1 (ja) 情報処理装置、情報処理方法
CN112181129B (zh) 一种设备控制方法、装置、设备和机器可读介质
US10567694B2 (en) Electronic apparatus and method for controlling sound of electronic apparatus
KR20150007569A (ko) 동적 위젯을 제공하는 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161011

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161031

R151 Written notification of patent or utility model registration

Ref document number: 6048918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250