JP2013509652A - 音声−テキスト変換の触覚増強のためのシステム及び方法 - Google Patents
音声−テキスト変換の触覚増強のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2013509652A JP2013509652A JP2012536981A JP2012536981A JP2013509652A JP 2013509652 A JP2013509652 A JP 2013509652A JP 2012536981 A JP2012536981 A JP 2012536981A JP 2012536981 A JP2012536981 A JP 2012536981A JP 2013509652 A JP2013509652 A JP 2013509652A
- Authority
- JP
- Japan
- Prior art keywords
- actuator
- signal
- processor
- computer
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 title description 20
- 230000000694 effects Effects 0.000 claims abstract description 81
- 230000005236 sound signal Effects 0.000 claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000008451 emotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Otolaryngology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本出願は、2009年8月29日に出願された「音声−テキスト変換の触覚増強のためのシステム及び方法」という名称の、米国実用新案出願第12/608,707の優先権を主張するものであり、その全てを参照によって本出願に組み込む。
本発明の一実例の具現化例にあって、モバイル電話は、プロセッサと、このプロセッサと通信するマイクロフォン及びスピーカを備える。モバイル電話は、プロセッサと通信するアクチュエータも備える。アクチュエータは、モバイル電話の使用者によって知覚される触覚効果を出力する能力がある。使用者は、プロセッサがテキストメッセージに変換するボイスメッセージを記録するための電話を用いることができる。さらに、プロセッサは、メッセージの特長を判断するためにボイスメッセージを分析するように構成される。
いくつかの図面にわたって同様の要素には同じ番号が付されている図を参照すると、図1は本発明の一つの具現化例に係る音声−テキスト変換の触覚増加用のシステムのブロック図を示す。図1に示すように、前記システムは、モバイル端末装置100を備える。一具現化例にあって、モバイル端末装置100は、モバイル電話を含む。他の具現化例にあって、モバイル端末装置100は、携帯デジタル情報端末(PDA)、携帯型メディアプレーヤ、携帯型ゲーム端末装置、或いはラップトップコンピュータのような、他の携帯或いはハンドヘルド電子端末装置を含む。いくつかの具現化例にあって、モバイル端末装置100は、それよりむしろ、デスクトップコンピュータのような非携帯型電子端末装置を含んでもよい。
図4乃至6は、本発明の具現化例に係る様々な方法を実例するフローチャートである。このフローチャートは、本発明の具現化例の実行のために様々な他の環境が用いられ、さらにいくつかの環境が本明細書にて説明されるが、図1に示されるモバイル端末装置に関して考察する。
本発明の具現化例は、様々な使用者体験を提供するための様々な方法にて実行される。以下の具現化例は、図1に関連して説明される。これらの具現化例のいくつかにあって、第1の使用者がメッセージを送信し、第2の使用者がメッセージを受け取ると想定し、両者が図1に例示されたモバイル端末装置100を使用している。例えば、図1に示された具現化例にあって、送信側の使用者は、受信側使用者にモバイル端末装置100を通してテキストメッセージを送信することを望んでいる。テキストメッセージをタイプするキーボードを用いる代わりに、送信側の使用者は、使用者側に送信されるテキストに変換される音声メッセージを有することを望む。この場合、送信側使用者は、マイクロフォン105に話をし、マイクロフォン105は対応するオーディオ信号を生成し、そのオーディオ信号をプロセッサ110に送信する。プロセッサ110は、同時に或いは実質的に同時に音声をテキストに変換する。そのような音声をテキストに変換する処理は、当業者には周知である。そのようなアプリケーションの一つは、Spin Voxという会社によって製造されている。
本発明の具現化例は、障害者用のテレコミュニケーションのコンテキストで、好都合に利用される。例えば、具現化例は、聴覚或いは発話の困難を有する人々を、電話線を通したテキスト通信用電子端末装置によって支援するTTY(テレホンタイプライタ)アプリケーションにあって役に立つ。障害のある人が、伝統的なTTY端末装置を用いると、メッセージの感情とフィーリングがそのままのテキストであるために一般的に失われる。本発明の具現化例を用いることにより、障害のある人は、マイクロフォンに話しかけ、メッセージに関連した感情的なフィーリングが失われてしまう伝統的なTTY端末装置にテキストメッセージを直接的にタイピングする代わりに触覚効果を介して音声−テキスト変換の背後に感情を保つ。
この発明は、いくつかの好ましい具現化例にて説明されてきたが、それらの具現化例の修正、置換及び等価は、明細書の読解と図面の研究により当業者にとって明らかである。例えば、ゲームプログラム、仮想現実プログラム及び環境、ビジネス会議のための電話会議アプリケーション、コンピュータネットワーク或いは他の通信チャンネルを用いた電話タイプの音声通信などの多くの異なるアプリケーションプログラムが本発明の音声−テキストメッセージ機能を用いることができる。さらに、ある種の専門用語は、記述的明確さの目的のために用いられるものであり、本発明を制限するためではない。以下に添付される特許請求の範囲が、そのような修正、置換、等価のすべてを本発明の真の精神及び範囲内における概念として含む。
Claims (24)
- 音声、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信することと、
前記入力信号の特徴を判断することと、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成することと
を備えるコンピュータによって実行される方法。 - 前記特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項1記載のコンピュータによって実行される方法。
- 前記特徴は高振幅を含み、さらに前記アクチュエータ信号は対応的に高振幅アクチュエータ信号を含む請求項2記載のコンピュータによって実行される方法。
- 前記入力信号を受信することは、マイクロフォンからオーディオ信号を受信することを含む請求項1記載のコンピュータによって実行される方法。
- 前記オーディオ信号及びアクチュエータ信号を出力するために構成されるデバイスに前記オーディオ信号及びアクチュエータ信号を送信することをさらに備える請求項4記載のコンピュータによって実行される方法。
- 前記オーディオ信号に関連する単語を判断することと、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信すること
をさらに備える請求項4記載のコンピュータによって実行される方法。 - 前記アクチュエータ信号をアクチュエータに送信すること
をさらに備える請求項1記載のコンピュータによって実行される方法。 - 前記特徴の少なくとも一部に基づいて複数の触覚効果を生成することをさらに備える請求項1記載のコンピュータによって実行される方法。
- 前記アクチュエータ信号を生成することは、前記特徴に関連した触覚効果ライブラリから触覚効果を選択することを備える請求項1記載のコンピュータによって実行される方法。
- 前記入力信号を受信することは、バイオセンサからバイオリズム信号を受信することを備える請求項1に記載のコンピュータによって実行される方法。
- プロセッサによって実行されるプログラムコードにエンコードされるコンピュータ読取可能媒体であり、
前記コンピュータ読取可能媒体は、
ボイス、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信するためのプログラムコードと、
前記入力信号の特徴を判断するためのプログラムコードと、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成するためのプログラムコードと
を備えるコンピュータ読取可能媒体。 - 前記特徴は、周波数、振幅、或いは持続期間の内の一つを含む請求項10記載のコンピュータ読取可能媒体。
- 前記アクチュエータ信号をアクチュエータに送信するためのプログラムコードをさらに備える請求項10記載のコンピュータ読取可能媒体。
- 前記入力信号及びアクチュエータ信号を出力するように構成される端末装置に前記入力信号及びアクチュエータ信号を送信するためのプログラムコードをさらに備える請求項10記載のコンピュータ読取可能媒体。
- 前記入力信号に関連する単語を判断するためのプログラムコードと、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するためのプログラムコードと
をさらに備える請求項10記載のコンピュータ読取可能媒体。 - 前記特徴の少なくとも一部に基づいて複数の触覚効果を生成するためのプログラムコードと
をさらに備える請求項10記載のコンピュータ読取可能媒体。 - メモリと、
前記メモリと通信するプロセッサであり、さらに、
音声、環境音、或いはバイオリズムのうちの一つに関連する入力信号を受信するため、
前記入力信号の特徴を判断するため、
触覚効果をアクチュエータに出力させるように構成される、前記特徴の少なくとも一部に基づいたアクチュエータ信号を生成するため
に形成されるプロセッサと
を備えるシステム。 - 前記プロセッサは、さらに
前記入力信号に関連する単語を判断するため、
前記単語及び前記アクチュエータ信号を遠隔端末装置に送信するため
に構成される請求項17記載のシステム。 - 前記プロセッサは、さらに前記特徴の少なくとも一部に基づいて複数の触覚効果を生成するために構成される請求項17記載のシステム。
- 前記プロセッサは、さらに前記特徴に関連する触覚効果ライブラリから触覚効果を識別することによって前記アクチュエータ信号を生成するように構成される請求項17記載のシステム。
- 前記プロセッサと通信するマイクロフォンであり、話されたテキスト入力を受信し、前記話されたテキスト入力に対応するオーディオ信号を生成し、前記入力信号として前記オーディオ信号を前記プロセッサに送信するマイクロフォンをさらに備える請求項17記載のシステム。
- 前記プロセッサと通信する、前記アクチュエータ信号を受信し、触覚効果を出力するように構成されるアクチュエータをさらに備える請求項17記載のシステム。
- バイオリズム信号を判断し、前記バイオリズム信号の少なくとも一部に基づいて前記入力信号を生成するように構成されるバイオセンサをさらに備える請求項17記載のシステム。
- 前記メモリ、プロセッサ、及びアクチュエータを収容するためのハウジングをさらに備える請求項17記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/608,707 US8902050B2 (en) | 2009-10-29 | 2009-10-29 | Systems and methods for haptic augmentation of voice-to-text conversion |
US12/608,707 | 2009-10-29 | ||
PCT/US2010/054212 WO2011059703A1 (en) | 2009-10-29 | 2010-10-27 | Systems and methods for haptic augmentation of voice-to-text conversion |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014138037A Division JP5951688B2 (ja) | 2009-10-29 | 2014-07-03 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2015077388A Division JP2015156229A (ja) | 2009-10-29 | 2015-04-06 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013509652A true JP2013509652A (ja) | 2013-03-14 |
JP5899116B2 JP5899116B2 (ja) | 2016-04-06 |
Family
ID=43382350
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536981A Expired - Fee Related JP5899116B2 (ja) | 2009-10-29 | 2010-10-27 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2014138037A Expired - Fee Related JP5951688B2 (ja) | 2009-10-29 | 2014-07-03 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2015077388A Pending JP2015156229A (ja) | 2009-10-29 | 2015-04-06 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2016251317A Active JP6510484B2 (ja) | 2009-10-29 | 2016-12-26 | 音声/テキスト変換の触覚による拡張を目的とするシステムと方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014138037A Expired - Fee Related JP5951688B2 (ja) | 2009-10-29 | 2014-07-03 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2015077388A Pending JP2015156229A (ja) | 2009-10-29 | 2015-04-06 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2016251317A Active JP6510484B2 (ja) | 2009-10-29 | 2016-12-26 | 音声/テキスト変換の触覚による拡張を目的とするシステムと方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8902050B2 (ja) |
EP (2) | EP3352055A1 (ja) |
JP (4) | JP5899116B2 (ja) |
KR (4) | KR101956796B1 (ja) |
CN (2) | CN109144255A (ja) |
WO (1) | WO2011059703A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014002729A (ja) * | 2012-06-14 | 2014-01-09 | Immersion Corp | グラニュラーシンセシスを用いたハプティック変換システム |
JP2014216024A (ja) * | 2013-04-26 | 2014-11-17 | イマージョンコーポレーションImmersion Corporation | 触覚使用可能な可変表面のためのシステム及び方法 |
US10080957B2 (en) | 2014-11-25 | 2018-09-25 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
JP2019003700A (ja) * | 2013-03-05 | 2019-01-10 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動適合 |
US10203757B2 (en) | 2014-08-21 | 2019-02-12 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US10248210B2 (en) | 2013-04-26 | 2019-04-02 | Immersion Corporation | Systems and methods for haptically-enabled conformed and multifaceted displays |
JP2019133685A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションImmersion Corporation | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
WO2023276130A1 (ja) * | 2021-07-01 | 2023-01-05 | 日本電信電話株式会社 | 制御装置、感情伝達方法およびプログラム |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US8279052B2 (en) | 2009-11-04 | 2012-10-02 | Immersion Corporation | Systems and methods for haptic confirmation of commands |
US8718536B2 (en) | 2011-01-18 | 2014-05-06 | Marwan Hannon | Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle |
US8686864B2 (en) | 2011-01-18 | 2014-04-01 | Marwan Hannon | Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US9448713B2 (en) | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US10191546B2 (en) * | 2011-06-20 | 2019-01-29 | Immersion Corporation | Haptic theme framework |
EP3557388A1 (en) * | 2012-02-03 | 2019-10-23 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US9092059B2 (en) | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US20140129347A1 (en) * | 2012-11-05 | 2014-05-08 | Anantha Pradeep | Intelligent and informed advertisement creation |
KR101427993B1 (ko) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 |
US10504339B2 (en) * | 2013-02-21 | 2019-12-10 | Immersion Corporation | Mobile device with instinctive alerts |
US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
US9619980B2 (en) * | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9443401B2 (en) * | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US20150081067A1 (en) * | 2013-09-17 | 2015-03-19 | Sony Corporation | Synchronized exercise buddy headphones |
CN104683781B (zh) * | 2013-11-26 | 2016-08-17 | 深圳市快播科技有限公司 | 视频播放处理方法及装置 |
US9639158B2 (en) | 2013-11-26 | 2017-05-02 | Immersion Corporation | Systems and methods for generating friction and vibrotactile effects |
US20150179188A1 (en) * | 2013-12-20 | 2015-06-25 | Speech Morphing, Inc. | Method and apparatus for hearing impaired assistive device |
US9652946B2 (en) * | 2014-05-02 | 2017-05-16 | Novasentis, Inc. | Hands-free, wearable vibration devices and method |
US20160125709A1 (en) * | 2014-10-31 | 2016-05-05 | Novasentis, Inc. | Haptics wristband |
US9466188B2 (en) | 2014-12-24 | 2016-10-11 | Immersion Corporation | Systems and methods for haptically-enabled alarms |
US10269392B2 (en) * | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
US10216277B2 (en) * | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
KR20170120145A (ko) * | 2015-02-25 | 2017-10-30 | 임머숀 코퍼레이션 | 상황 감응식 햅틱 통지 프레임워크들을 제공하기 위한 시스템들 및 방법들 |
KR20160105321A (ko) | 2015-02-27 | 2016-09-06 | 임머숀 코퍼레이션 | 사용자의 무드에 기초하는 액션 생성 |
US9407989B1 (en) | 2015-06-30 | 2016-08-02 | Arthur Woodrow | Closed audio circuit |
WO2017011672A1 (en) | 2015-07-14 | 2017-01-19 | Driving Management Systems, Inc. | Detecting the location of a phone using rf wireless and ultrasonic signals |
EP3147538A1 (en) | 2015-09-23 | 2017-03-29 | Inovacor Ab | Compound planet gear arrangement and drive train arrangement |
US20170193767A1 (en) * | 2015-12-30 | 2017-07-06 | Parihug | Haptic communication device and system for transmitting haptic interaction |
US10438609B2 (en) * | 2016-01-14 | 2019-10-08 | George Brandon Foshee | System and device for audio translation to tactile response |
KR101862337B1 (ko) * | 2016-03-24 | 2018-05-31 | 주식회사 닷 | 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
JP6401758B2 (ja) * | 2016-08-25 | 2018-10-10 | 株式会社ファセテラピー | 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器 |
CN109688990A (zh) * | 2016-09-06 | 2019-04-26 | 新感知公司 | 用于向用户提供附属感觉信息的方法和系统 |
US10154360B2 (en) * | 2017-05-08 | 2018-12-11 | Microsoft Technology Licensing, Llc | Method and system of improving detection of environmental sounds in an immersive environment |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US9997086B1 (en) * | 2017-11-29 | 2018-06-12 | Richard P. Braden | Handheld communication device and method(s) of use |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) * | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US10360775B1 (en) * | 2018-06-11 | 2019-07-23 | Immersion Corporation | Systems and methods for designing haptics using speech commands |
WO2020013038A1 (ja) * | 2018-07-10 | 2020-01-16 | 株式会社ソニー・インタラクティブエンタテインメント | コントローラ装置、及びその制御方法 |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
CN110010151A (zh) * | 2018-12-31 | 2019-07-12 | 瑞声科技(新加坡)有限公司 | 一种音频信号处理方法及设备、存储介质 |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US11283337B2 (en) | 2019-03-29 | 2022-03-22 | Cirrus Logic, Inc. | Methods and systems for improving transducer dynamics |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
KR20220024091A (ko) | 2019-06-21 | 2022-03-03 | 시러스 로직 인터내셔널 세미컨덕터 리미티드 | 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치 |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
CN117813573A (zh) * | 2021-10-12 | 2024-04-02 | 索尼集团公司 | 信息处理系统、控制方法和控制程序 |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
US11809630B1 (en) | 2022-04-21 | 2023-11-07 | Meta Platforms Technologies, Llc | Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof |
EP4276825A1 (en) * | 2022-05-12 | 2023-11-15 | BIC Violex Single Member S.A. | Writing instrument |
CN115826770A (zh) * | 2022-10-26 | 2023-03-21 | 瑞声开泰声学科技(上海)有限公司 | 触觉反馈方法和装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000501033A (ja) * | 1995-11-30 | 2000-02-02 | ヴァーチャル テクノロジーズ インコーポレイテッド | 触覚をフィードバックする人間/機械インターフェース |
US20010040590A1 (en) * | 1998-12-18 | 2001-11-15 | Abbott Kenneth H. | Thematic response to a computer user's context, such as by a wearable personal computer |
JP2004503004A (ja) * | 2000-06-30 | 2004-01-29 | イマージョン コーポレーション | ハプティックフィードバック機能性を備えたチャットインターフェース |
EP1524586A1 (en) * | 2003-10-17 | 2005-04-20 | Sony International (Europe) GmbH | Transmitting information to a user's body |
JP2006047640A (ja) * | 2004-08-04 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 情報伝達装置、電話機及び携帯電話機 |
JP2006109966A (ja) * | 2004-10-13 | 2006-04-27 | Ishisaki:Kk | 音ゲーム機および携帯電話機 |
JP2009532808A (ja) * | 2006-04-06 | 2009-09-10 | イマージョン コーポレイション | 触覚効果強化のためのシステムおよび方法 |
JP2009217805A (ja) * | 2008-03-10 | 2009-09-24 | Korea Research Inst Of Standards & Science | 触感フィードバック装置を用いた触感伝達方法、及びそのシステム |
JP2010528532A (ja) * | 2007-05-18 | 2010-08-19 | イマージョン コーポレーション | テキストメッセージにおける触覚コンテンツ |
JP2010530281A (ja) * | 2007-06-21 | 2010-09-09 | イマージョン コーポレーション | 触覚フィードバックを用いた健康状態の監視 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09206291A (ja) * | 1996-02-02 | 1997-08-12 | Japan Small Corp | 人の感情・状態を検出する装置 |
GB2311888B (en) * | 1996-04-01 | 2000-10-25 | John Christian Doughty Nissen | Tactile system for computer dynamic display and communication |
JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
JP3824848B2 (ja) * | 2000-07-24 | 2006-09-20 | シャープ株式会社 | 通信装置および通信方法 |
JP2002314963A (ja) * | 2001-04-18 | 2002-10-25 | Nippon Telegr & Teleph Corp <Ntt> | コミュニケーションシステム |
JP3764663B2 (ja) * | 2001-09-14 | 2006-04-12 | 独立行政法人電子航法研究所 | 心身診断システム |
US7251605B2 (en) | 2002-08-19 | 2007-07-31 | The United States Of America As Represented By The Secretary Of The Navy | Speech to touch translator assembly and method |
US7155389B2 (en) | 2002-11-12 | 2006-12-26 | The United States Of America As Represented By The Secretary Of The Navy | Discriminating speech to touch translator assembly and method |
JP2004237022A (ja) * | 2002-12-11 | 2004-08-26 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP4232453B2 (ja) * | 2002-12-18 | 2009-03-04 | 株式会社デンソー | 通話音声のテキスト変換システム |
JP3955950B2 (ja) * | 2003-03-11 | 2007-08-08 | 独立行政法人産業技術総合研究所 | 音声情報伝達装置及び方法 |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
US7376565B2 (en) | 2003-12-15 | 2008-05-20 | International Business Machines Corporation | Method, system, and apparatus for monitoring security events using speech recognition |
US20070299671A1 (en) * | 2004-03-31 | 2007-12-27 | Ruchika Kapur | Method and apparatus for analysing sound- converting sound into information |
JP2008508910A (ja) * | 2004-07-28 | 2008-03-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 少なくとも2つのインタラクティブシステムを互いに競合させる方法及びインタラクティブシステム競合装置 |
US8867724B2 (en) * | 2004-08-31 | 2014-10-21 | At&T Intellectual Property I, L.P. | Distinctive ring tones prompted by call urgency and context |
KR20060130897A (ko) * | 2005-06-09 | 2006-12-20 | 엘지전자 주식회사 | 휴대 단말기의 무성음 통화 장치 및 방법 |
JP4941966B2 (ja) * | 2006-09-22 | 2012-05-30 | 国立大学法人 東京大学 | 感情の判別方法、感情判別装置、雰囲気情報通信端末 |
US8650030B2 (en) * | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
US8290596B2 (en) * | 2007-09-26 | 2012-10-16 | Medtronic, Inc. | Therapy program selection based on patient state |
US8508486B2 (en) * | 2007-10-01 | 2013-08-13 | Immersion Corporation | Directional haptic effects for a handheld device |
US8473081B2 (en) * | 2007-12-25 | 2013-06-25 | Personics Holdings, Inc. | Method and system for event reminder using an earpiece |
WO2009082765A1 (en) * | 2007-12-25 | 2009-07-02 | Personics Holdings Inc. | Method and system for message alert and delivery using an earpiece |
JP4613974B2 (ja) * | 2008-03-28 | 2011-01-19 | ソニー株式会社 | 通信機器および通信システム |
US10254824B2 (en) | 2009-10-16 | 2019-04-09 | Immersion Corporation | Systems and methods for output of content based on sensing an environmental factor |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
-
2009
- 2009-10-29 US US12/608,707 patent/US8902050B2/en not_active Expired - Fee Related
-
2010
- 2010-10-27 KR KR1020187003207A patent/KR101956796B1/ko active IP Right Grant
- 2010-10-27 EP EP18161106.2A patent/EP3352055A1/en not_active Withdrawn
- 2010-10-27 CN CN201810934040.1A patent/CN109144255A/zh active Pending
- 2010-10-27 KR KR1020197006524A patent/KR20190026970A/ko not_active Application Discontinuation
- 2010-10-27 WO PCT/US2010/054212 patent/WO2011059703A1/en active Application Filing
- 2010-10-27 CN CN201080048828.4A patent/CN102597914B/zh not_active Expired - Fee Related
- 2010-10-27 KR KR1020177012443A patent/KR101860281B1/ko active IP Right Grant
- 2010-10-27 EP EP10776006A patent/EP2494425A1/en not_active Ceased
- 2010-10-27 JP JP2012536981A patent/JP5899116B2/ja not_active Expired - Fee Related
- 2010-10-27 KR KR1020127013605A patent/KR101735665B1/ko active IP Right Grant
-
2014
- 2014-07-03 JP JP2014138037A patent/JP5951688B2/ja not_active Expired - Fee Related
- 2014-10-30 US US14/528,398 patent/US9275653B2/en not_active Expired - Fee Related
-
2015
- 2015-04-06 JP JP2015077388A patent/JP2015156229A/ja active Pending
-
2016
- 2016-12-26 JP JP2016251317A patent/JP6510484B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000501033A (ja) * | 1995-11-30 | 2000-02-02 | ヴァーチャル テクノロジーズ インコーポレイテッド | 触覚をフィードバックする人間/機械インターフェース |
US20010040590A1 (en) * | 1998-12-18 | 2001-11-15 | Abbott Kenneth H. | Thematic response to a computer user's context, such as by a wearable personal computer |
JP2004503004A (ja) * | 2000-06-30 | 2004-01-29 | イマージョン コーポレーション | ハプティックフィードバック機能性を備えたチャットインターフェース |
EP1524586A1 (en) * | 2003-10-17 | 2005-04-20 | Sony International (Europe) GmbH | Transmitting information to a user's body |
JP2006047640A (ja) * | 2004-08-04 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 情報伝達装置、電話機及び携帯電話機 |
JP2006109966A (ja) * | 2004-10-13 | 2006-04-27 | Ishisaki:Kk | 音ゲーム機および携帯電話機 |
JP2009532808A (ja) * | 2006-04-06 | 2009-09-10 | イマージョン コーポレイション | 触覚効果強化のためのシステムおよび方法 |
JP2010528532A (ja) * | 2007-05-18 | 2010-08-19 | イマージョン コーポレーション | テキストメッセージにおける触覚コンテンツ |
JP2010530281A (ja) * | 2007-06-21 | 2010-09-09 | イマージョン コーポレーション | 触覚フィードバックを用いた健康状態の監視 |
JP2009217805A (ja) * | 2008-03-10 | 2009-09-24 | Korea Research Inst Of Standards & Science | 触感フィードバック装置を用いた触感伝達方法、及びそのシステム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014002729A (ja) * | 2012-06-14 | 2014-01-09 | Immersion Corp | グラニュラーシンセシスを用いたハプティック変換システム |
JP2019003700A (ja) * | 2013-03-05 | 2019-01-10 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動適合 |
JP2014216024A (ja) * | 2013-04-26 | 2014-11-17 | イマージョンコーポレーションImmersion Corporation | 触覚使用可能な可変表面のためのシステム及び方法 |
US9939900B2 (en) | 2013-04-26 | 2018-04-10 | Immersion Corporation | System and method for a haptically-enabled deformable surface |
US10248210B2 (en) | 2013-04-26 | 2019-04-02 | Immersion Corporation | Systems and methods for haptically-enabled conformed and multifaceted displays |
JP2019067429A (ja) * | 2013-04-26 | 2019-04-25 | イマージョン コーポレーションImmersion Corporation | 触覚使用可能な可変表面のためのシステム及び方法 |
JP2019133685A (ja) * | 2013-09-06 | 2019-08-08 | イマージョン コーポレーションImmersion Corporation | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 |
US10203757B2 (en) | 2014-08-21 | 2019-02-12 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US10509474B2 (en) | 2014-08-21 | 2019-12-17 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US10080957B2 (en) | 2014-11-25 | 2018-09-25 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
US10518170B2 (en) | 2014-11-25 | 2019-12-31 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
WO2023276130A1 (ja) * | 2021-07-01 | 2023-01-05 | 日本電信電話株式会社 | 制御装置、感情伝達方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102597914A (zh) | 2012-07-18 |
US9275653B2 (en) | 2016-03-01 |
KR101735665B1 (ko) | 2017-05-15 |
EP3352055A1 (en) | 2018-07-25 |
EP2494425A1 (en) | 2012-09-05 |
JP2014211900A (ja) | 2014-11-13 |
KR20190026970A (ko) | 2019-03-13 |
KR101860281B1 (ko) | 2018-05-21 |
JP6510484B2 (ja) | 2019-05-08 |
US8902050B2 (en) | 2014-12-02 |
JP5951688B2 (ja) | 2016-07-13 |
KR20120102655A (ko) | 2012-09-18 |
JP2015156229A (ja) | 2015-08-27 |
US20110102160A1 (en) | 2011-05-05 |
WO2011059703A1 (en) | 2011-05-19 |
CN109144255A (zh) | 2019-01-04 |
KR101956796B1 (ko) | 2019-03-12 |
US20150084752A1 (en) | 2015-03-26 |
KR20180014880A (ko) | 2018-02-09 |
KR20170056023A (ko) | 2017-05-22 |
CN102597914B (zh) | 2018-09-14 |
JP2017085625A (ja) | 2017-05-18 |
JP5899116B2 (ja) | 2016-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5951688B2 (ja) | 音声−テキスト変換の触覚増強のためのシステム及び方法 | |
US20220295194A1 (en) | Interactive system for hearing devices | |
Sawhney et al. | Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments | |
US9318006B2 (en) | Systems and methods for haptic confirmation of commands | |
KR101726945B1 (ko) | 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감 | |
EP2385520A2 (en) | Method and device for generating text from spoken word | |
JP2017509917A (ja) | 空間音響特性に少なくとも部分的に基づく動作指令の決定 | |
KR20090085376A (ko) | 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치 | |
CA2539649C (en) | System and method for personalized text-to-voice synthesis | |
JP2023548157A (ja) | 通話およびオーディオメッセージからのその他の話者の音声フィルタリング | |
KR102063389B1 (ko) | 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법 | |
Yuksel et al. | Designing mobile phones using silent speech input and auditory feedback | |
TWI833678B (zh) | 真實多人應答情境下的生成式聊天機器人之系統及其方法 | |
US11935557B2 (en) | Techniques for detecting and processing domain-specific terminology | |
CN117171323A (zh) | 真实多人应答情境下的生成式聊天机器人的系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151127 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20151204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5899116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |