JP2018055659A - 触覚提示装置及びその制御方法 - Google Patents

触覚提示装置及びその制御方法 Download PDF

Info

Publication number
JP2018055659A
JP2018055659A JP2016204707A JP2016204707A JP2018055659A JP 2018055659 A JP2018055659 A JP 2018055659A JP 2016204707 A JP2016204707 A JP 2016204707A JP 2016204707 A JP2016204707 A JP 2016204707A JP 2018055659 A JP2018055659 A JP 2018055659A
Authority
JP
Japan
Prior art keywords
electrodes
electrode
voltage signal
tactile
presentation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016204707A
Other languages
English (en)
Other versions
JP6775774B2 (ja
Inventor
大輔 杉本
Daisuke Sugimoto
大輔 杉本
芳賀 浩史
Hiroshi Haga
浩史 芳賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianma Japan Ltd
Original Assignee
Tianma Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianma Japan Ltd filed Critical Tianma Japan Ltd
Priority to JP2016204707A priority Critical patent/JP6775774B2/ja
Priority to CN201710736827.2A priority patent/CN107885321B/zh
Priority to US15/715,269 priority patent/US10096214B2/en
Publication of JP2018055659A publication Critical patent/JP2018055659A/ja
Application granted granted Critical
Publication of JP6775774B2 publication Critical patent/JP6775774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrotherapy Devices (AREA)

Abstract

【課題】触覚提示装置において対象領域外における不要触覚を低減する。【解決手段】触覚提示装置の電極駆動回路は、複数の第1電極と複数の第2電極の各電極に対して、交流電圧信号源及び基準電圧信号源を含む複数の電圧信号源から選択した一つを接続し、複数の第1電極と複数の第2電極とにおいて、対象領域に少なくとも一部が含まれる第1電極と第2電極とに、異なる交流電圧信号源を接続して、前記対象領域内において触覚を提示し、触覚提示フレームの遷移において、複数の第1電極と複数の第2電極とにおける各電極をフローティング状態にした後に、複数の電圧信号源から選択した一つを接続し、フローティング状態の持続時間は、対象領域の外における不要な触覚の強さが第1の時間長における強さより弱くなるように、第1の時間長よりも短い時間長に設定されている。【選択図】図9

Description

本開示は、静電気力により人体に触覚を提示する技術に関する。
本発明の背景技術は、静電気力の振動により人体に触覚を提示し、かつ選択した局在的領域における触覚提示が可能な、触覚提示技術である。特許文献1は、タッチパネル上に触覚(テクスチャ感)を有効に提示し、手元を見なくても触覚だけで操作を可能とする触覚提示装置等を開示する。具体的には、触覚提示装置は、支持基板と、支持基板上に延在している互いに平行な複数のX電極及びY電極とを備え、各X電極のうち外部から入力された対象領域に該当するX電極に対して第1の周波数の電圧信号を印加し、各Y電極のうち対象領域に該当するY電極に対して第2の周波数の電圧信号を印加し、第1及び第2の周波数の差の絶対値によって対象領域に電気的なうなり振動を発生させる駆動回路を備える(要約参照)。
対象領域の表面上で使用者が指を接触させると、うなり振動に起因した静電気力が皮膚と対象領域の表面との間に発生し、使用者はこの静電気力をテクスチャ感として知覚する。
特開2015−97076号公報
上記のような触覚提示装置は、対象領域においてのみ触覚を提示し、対象領域外において触覚を提示しないことが望まれる。しかし、発明者らの研究によれば、対象領域外において不要な触覚が提示される場合があることが分かった。従って、対象領域外における不要触覚を低減できる技術が望まれる。
本発明の一態様に係る触覚提示装置は、支持基板と、前記支持基板上において、互いに絶縁されて配置された複数の第1電極と、前記支持基板上において、前記複数の第1電極と絶縁され、互いに絶縁されて配置された複数の第2電極と、前記複数の第1電極と前記複数の第2電極とを駆動する、電極駆動回路と、を含み、前記電極駆動回路は、前記複数の第1電極と前記複数の第2電極の各電極に対して、交流電圧信号源及び基準電圧信号源を含む複数の電圧信号源から選択した一つを接続し、前記複数の第1電極と前記複数の第2電極とにおいて、対象領域に少なくとも一部が含まれる第1電極と第2電極とに、異なる交流電圧信号源を接続して、前記対象領域内において触覚を提示し、触覚提示フレームの遷移において、前記複数の第1電極と前記複数の第2電極とにおける各電極をフローティング状態にした後に、前記複数の電圧信号源から選択した一つを接続し、前記フローティング状態の持続時間は、前記対象領域の外における不要な触覚の強さが第1の時間長における強さより弱くなるように、前記第1の時間長よりも短い時間長に設定されている。
本発明の一態様によれば、触覚提示装置において、テクスチャ感を提示するために選択されている対象領域外における不要な触覚を低減できる。
実施形態における、触覚提示装置の構成例を模式的に示す。 実施形態における、触覚提示パネルの構成例を模式的に示す。 実施形態における、電極駆動回路の構成を模式的に示す。 実施形態における、選択された対象領域においてテクスチャ感を提示する場合に、特定の交流電圧信号が与えられる領域(電極)を示す。 実施形態における、フレーム単位で触覚を提示する触覚提示装置の動作のフローチャートを示す。 実施形態における、NフレームとN+1フレームとの間の対象領域の変化の例を模式的に示す。 実施形態における、特定の領域における状態の変化を模式的に示している。 実施形態における、デッドタイムTdと不要なテクスチャ感(不要触覚)強度との関係の測定結果を示す。 実施形態における、デッドタイムTdと不要なテクスチャ感(不要触覚)強度との関係の測定結果を示す。 実施形態における、単信号領域でのスイッチング素子への制御信号と電極の電圧との関係を模式的に示す。
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
以下に開示する触覚提示装置は、電極駆動において、電極をフローティング状態に維持するデッドタイムの長さを短縮する。これにより、触覚提示の対象領域外において発生し得る不要触覚を低減する。
<触覚提示装置の構成>
図1は、触覚提示装置の構成例を模式的に示す。触覚提示装置100は、触覚提示パネル105、電極駆動回路106、及び制御部107を含む。触覚提示パネル105は、支持基板101、支持基板101上に配置されている、複数のX電極X0〜Xm及び複数のY電極Y0〜Ynを含む。m及びnは、それぞれ設計により決定される自然数である。X電極及びY電極は、それぞれ、第1電極及び第2電極である。
複数のX電極X0〜Xmは、矩形状の支持基板101の一辺に平行に延在し、互いに並列に配置されている。X電極X0〜Xmは、互いに絶縁されている。複数のY電極Y0〜Ynは、支持基板101の他辺に平行に延在し、互いに並列に配置されている。Y電極Y0〜Ynは、互いに絶縁されている。X電極X0〜Xmと複数のY電極Y0〜Ynとは、互いに交差している。Y電極Y0〜Ynは、X電極X0〜Xmと交差部で絶縁膜を介して絶縁されている。
図1の例において、X電極X0〜Xmは、支持基板101の長辺に平行であり、図の左右方向に延在している。Y電極Y0〜Ynは、支持基板101の短辺に平行であり、図の上下方向に延在している。各X電極と各Y電極とは直交している。X電極X0〜Xmは、互いに平行でなくてもよく、支持基板101の一辺に平行でなくてもよい。Y電極Y0〜Ynは互いに平行でなくてもよく、支持基板101の一辺に平行でなくてもよい。各X電極と各Y電極とは直交していなくてもよい。
支持基板101の形状は設計により決定され、矩形でなくてもよく、例えば、5角以上の多角形でもよく、曲線の辺を有していてもよい。電極の形状は設計により決定され、例えば、帯状又は複数の所定形状(例えば菱形)の幅広の部分を幅狭の接続部により数珠状に連結して構成されてもよい。電極形状の一例は、図2を参照して後述する。
X電極X0〜Xm及びY電極Y0〜Ynは、それぞれ、電極駆動回路106に接続されている。電極駆動回路106は、X電極X0〜Xm及びY電極Y0〜Ynそれぞれに、特定の電圧信号を与える。電極駆動回路106は、制御信号線を介して制御部107に接続されている。電極駆動回路106の構成の詳細は、図3を参照して後述する。
制御部16は、外部(例えば、触覚提示装置100の動作を制御するプロセッサ)から入力されたテクスチャ感を提示しようとする対象領域についての情報に基づいて、電極駆動回路106を制御する。
制御部107は、例えば、プロセッサ、メモリ、ストレージ、及び外部とのインタフェースを含んで構成されている。これら構成要素は、内部配線によって相互接続される。プロセッサは、メモリ格納されているプログラムに従って動作することによって所定の機能を実現する。プロセッサが実行するプログラム及び参照するデータは、例えば、ストレージからメモリにロードされる。制御部107は、プロセッサに加え又は代えて、所定機能を実現する論理回路を含んで構成されてもよい。
この構成によって、触覚提示装置100は、選択した対象領域において、テクスチャ感(触覚)を提示することができる。テクスチャ感は、通常は物体表面の微細な凹凸に起因して発生する。例えば、布、紙、鮫肌、ガラスなどの素材の表面を指でなぞると、テクスチャ感の違いを感じることができる。
図2は、触覚提示パネル105の構成例を模式的に示す。X電極X0〜Xmは、複数の菱形の部分が接続部を介して数珠状に連結された形状を有する。即ち、一つのX電極は、左右に隣り合う菱形の部分を、接続部を介して電気的に接続し形成され、左右方向に延在する。Y電極Y0〜Ynも、同様に、複数の菱形の部分が接続部を介して数珠状に連結された形状を有する。一つのY電極は、上下に隣り合う菱形の部分を接続部を介して電気的に接続し形成され、上下方向に延在する。
X電極X0〜Xm及びY電極Y0〜Ynは、支持基板101に垂直に見た時に、菱形部分の接続部同士が絶縁膜を介して重なりあうように形成されている。X電極X0〜Xmの菱形部分の主要部とY電極Y0〜Ynの菱形の部分の主要部とは重ならないように形成されている。つまりX電極の菱形の部分の主要部とY電極Y0〜Ynの菱形の部分の主要部とは、同一面上に配置される。
図3は、電極駆動回路106の構成を模式的に示す。電極駆動回路106は、X電極駆動回路161及びY電極駆動回路162を含んで構成されている。X電極駆動回路161は、第1の交流電圧信号源110、X電極に接続する複数の出力端子111、及び各出力端子111に接続したスイッチング回路112を含む。一つの出力端子111に、1又は複数のX電極が接続される。各スイッチング回路112は、出力端子111を第1の交流電圧信号源110と接続するためのスイッチング素子113、及び出力端子111をグランドと接続するためのスイッチング素子114を含む。
スイッチング素子113及び114は、制御部107からの制御信号を受けて導通又は開放いずれかの状態になる。制御部107は、外部から入力された対象領域を特定する情報に対応するように、各スイッチング素子113及び114が開放状態あるいは導通状態になるように制御信号を送る。
制御部107と各スイッチング回路112との間には、制御部107からスイッチング素子113へ制御信号を送るための制御信号線115と、制御部107からスイッチング素子114へ制御信号を送るための制御信号線116とが接続されている。スイッチング素子113が導通した場合は、X電極は第1の交流電圧信号源110に接続され、交流電圧信号が印加される。スイッチング素子114が導通した場合は、X電極はグランドに接続される。
Y電極駆動回路162は、第2の交流電圧信号源120、Y電極に接続する複数の出力端子121、及び各出力端子121に接続したスイッチング回路122を含む。一つの出力端子121に、1又は複数のY電極が接続される。各スイッチング回路122は、出力端子121を第2の交流電圧信号源120と接続するためのスイッチング素子123、及び出力端子121をグランドと接続するためのスイッチング素子124を含む。
スイッチング素子123及び124は、制御部107からの制御信号を受けて導通又は開放いずれかの状態になる。制御部107は、外部から入力された対象領域を特定する情報に対応するように、各スイッチング素子123及び124が開放状態あるいは導通状態になるように制御信号を送る。
制御部107と各スイッチング回路122との間には、制御部107からスイッチング素子123へ制御信号を送るための制御信号線125と、制御部107からスイッチング素子124へ制御信号を送るための制御信号線126とが接続されている。スイッチング素子123が導通した場合は、Y電極は第2の交流電圧信号源120に接続され、交流電圧信号が印加される。スイッチング素子124が導通した場合は、Y電極はグランドに接続される。
後述するように、第1の交流電圧信号源110及び第2の交流電圧信号源120は、異なる周波数を有する。例えば、第1の交流電圧信号源110の周波数f1及び第2の交流電圧信号源120の周波数f2は、共に500Hzより大きく、かつ互いの周波数の差は10Hz以上、1000Hz以下である。周波数f1及びf2は、一方の交流電圧信号のみではテクスチャ感を提示せず、周波数f1、f2によるうなり振動によってテクスチャ感を提示する条件を満たす。
なお、上記例において、スイッチング素子114、124の一方のノードがグランドに接続される。しかし、当該ノードの接続先はグランドに限定されない。例えば、当該ノードは0ボルト以外の直流電圧信号源に接続されてもよく、第3の交流電圧信号源に接続されてもよい。
第3の交流電圧信号源の交流電圧信号は、単独ではテクスチャ感を提示せず、第1又は第2の交流電圧信号とうなりを生じてもテクスチャ感を提示することはない。これら0ボルトの直流電圧信号源であるグランド、0ボルト以外の直流電圧信号源、及び第3の交流電圧信号源を、基準電圧信号源と呼ぶ。以下において、基準電圧信号源は、グランドであるとする。
第1の交流電圧信号源110及び第2の交流電圧信号源120の周波数及び/又は振幅は、触覚提示フレーム内又は触覚提示フレーム間で変化してもよい。第1の交流電圧信号源110及び第2の交流電圧信号源120の間で、周波数と異なるパラメータの値が異なってもよい。第1の交流電圧信号源110及び第2の交流電圧信号源120の位相が異なっていてもよい。例えば、第1の交流電圧信号源110及び第2の交流電圧信号源120が同一の周波数を有し、さらに、逆位相を有していてもよい。電極駆動回路106は、1又は複数のチップ又はモジュールで構成することができる。例えば、X電極駆動回路161とY電極駆動回路162が異なるチップに実装されてもよく、一つのチップに実装されてもよい。
<触覚提示装置の動作>
図4を参照して、触覚提示装置100が対象領域においてテクスチャ感を提示するための動作の概略を説明する。図4は、選択された対象領域205においてテクスチャ感を提示する場合に、特定の交流電圧信号が与えられる領域(電極)を示す。図4の例において、X電極Xa〜Xl及びY電極Ya〜Ylが、支持基板101上に配置されている。
図4の例において、対象領域205は、X電極Xd〜Xh及びY電極Yd〜Yhが交差する領域である。支持基板101の面に垂直な方向においてみた場合に、X電極Xd〜Xh及びY電極Yd〜Yhが、対象領域205と重なる。制御部107は、外部から与えられた対象領域205の情報に基づいて、電極駆動回路106に制御信号を与える。電極駆動回路106は、制御部107からの制御信号に応じて、電極を駆動する。
図4の例において、電極駆動回路106は、X電極Xd〜Xhに、第1の交流電圧信号源110から、第1の交流電圧信号を印加する。電極駆動回路106は、Y電極Yd〜Yhに、第2の交流電圧信号源120から、第2の交流電圧信号を印加する。例えば、第1の交流電圧信号の周波数f1は1000Hzであり、第2の交流電圧信号の周波数f2は1240Hzである。電極駆動回路106は、他のX電極及びY電極を接地する。
対象領域205において、周波数f1交流電圧信号が印加されたX電極と、周波数f2の交流電圧信号が印加されたY電極とが互いに隣接している。そのため、周波数|f1−f2|(例えば240Hz)の電気的なうなり振動が発生する。このうなり振動が、人体の接触部、典型的には指に、テクスチャ感を与える。
使用者は、対象領域205においてのみテクスチャ感を知覚し、対象領域205外においてテクスチャ感を知覚しない。例えば、図4の例において、X電極Xd〜Xh及びY電極Yd〜Yhそれぞれの一部が、対象領域205に含まれ、他の部分が対象領域205の外に存在する。したがって、対象領域205外の領域において、X電極Xd〜Xh又はY電極Yd〜Yhに、テクスチャ感を提示するための交流信号電圧が印加される。
具体的には、対象領域205に隣接する領域201A、201Bにおいて、Y電極Yd〜Yhにのみ周波数f2の交流電圧信号が与えられ、X電極は接地されている。対象領域205に隣接する領域203A、203Bにおいて、X電極Xd〜Xhにのみ周波数f1の交流電圧信号が与えられ、Y電極は接地されている。このように、X電極又はY電極の一方のみにテクスチャ感を提示するための交流電圧信号が印加されている領域を単信号領域と呼ぶ。
人間の指は、所定周波数範囲の静電気力の振動に対して、テクスチャ感を知覚する。従って、電極駆動回路106は、単独では人の受容器が振動を感知しにくい周波数の信号を各電極に印加する。単信号領域において、電極に印加される交流電圧信号の周波数の2倍の周波数で振動する静電気力が発生する。さらに、電極駆動回路106は、二つの交流信号のうなりが感知されやすい周波数の信号を各電極に印加する。例えば、周波数f1、f2は、500Hzより大きい値であり、差分周波数|f1‐f2|は、10Hz以上、1000Hz以下の範囲である。
このように、対象領域にその一部が含まれるX電極及びY電極それぞれに、所定周波数範囲内の交流電圧信号を印加することで、対象領域においてのみテクスチャ感を提示する。なお、上述のように、電極駆動回路106は、他のX電極及びY電極を接地するかわりに、所定の直流電圧又はテクスチャ感を提示しない交流電圧を印加してもよい。
触覚提示装置100は、交流電圧信号を印加する電極を変更することで、対象領域の位置及び形状を変化させることができる。例えば、触覚提示装置100は、動画のように、連続的に対象領域を移動させることもできる。
例えば、支持基板101、X電極Xa〜Xl及びY電極Ya〜Ylが透明である場合、触覚提示パネル105は、視覚ディスプレイと重ね合わせて用いることができる。例えば、支持基板101はガラス又は樹脂で形成され、電極はITO(Indium Tin Oxide)で形成される。触覚提示装置100は、視覚ディスプレイで表示した画像に対応した触覚を提示する。触覚提示装置は、視覚ディスプレイと組み合わせていない形態であってもよい。例えば、触覚提示装置は、画像を表示することなく触覚を提示するタブレット装置であってもよい。
触覚提示装置100は、フレーム(触覚提示フレーム)単位で触覚を提示し、フレーム毎に対象領域を更新する。例えば、触覚提示装置100は、フレーム毎に対象領域を変化させ、1フレームにおいて対象領域を維持する。触覚提示装置100は、対象領域の変化に係らず、所定周期でフレームを遷移させてもよい。次のフレームで更新される対象領域は、前回フレームの対象領域と同一である場合もあり、異なる場合もある。
図5は、フレーム単位で触覚を提示する触覚提示装置100の動作のフローチャートを示す。制御部107は、N番目(Nは自然数)のフレーム(Nフレームと呼ぶ)を提示している間に、次のN+1フレームにおける対象領域の情報を受信する(S101)。電極駆動回路106は、制御部107からの指示に従って、全てのスイッチング回路112、122のスイッチング素子113、114、123、124を開放する。全X電極及びY電極は、フローティング状態になる(S102)。
電極駆動回路106は、全スイッチング素子113、114、123、124の解放を維持し、全電極のフローティング状態を、所定時間維持する(S103)。これにより、交流電圧信号源とグランド(基準電圧信号源)とが短絡し、回路が破損することを防止する。本開示は、フローティング状態を維持する時間に特徴を有する。この点の詳細は後述する。
スイッチング素子の開放から所定時間経過すると、制御部107は、各電極に所定の信号を印加する(S104)。具体的には、制御部107は、N+1フレームの対象領域に少なくとも一部が含まれるX電極及びY電極のスイッチング回路112及び122へ、制御信号を送信する。制御信号を受信した各スイッチング回路112は、スイッチング素子113を導通させる。選択されているX電極に、第1の交流電圧信号源110から、第1の交流電圧信号が印加される。
同様に、制御信号を受信した各スイッチング回路122は、スイッチング素子123を導通させる。選択されているY電極に、第2の交流電圧信号源120から、第2の交流電圧信号が印加される。
さらに、制御部107は、N+1フレームの対象領域外のX電極及びY電極のスイッチング回路112及び122へ、制御信号を送信する。制御信号を受信した各スイッチング回路112は、スイッチング素子114を導通させる。選択されているX電極は基準電圧信号源に接続される。同様に、制御信号を受信した各スイッチング回路122は、スイッチング素子124を導通させる。選択されているY電極は接地される。更に次のN+2フレームの情報が制御部107へ入力されるまで、N+1フレームの各電極の状態が保持される。
触覚提示装置100は、図5のフローチャートに示す処理を繰り返すことで、複数フレームを順次提示する。上述のように、触覚提示装置100は、対象領域に変化に応じて又は変化と独立に、フレームを遷移させる。なお、触覚提示装置100は、X電極及びY電極をグループ化してもよい。触覚提示装置100は、NフレームからN+1のフレームへの遷移において、グループ毎に印加電圧を切り替える。
<不要触覚の発生の課題>
触覚提示装置100は、対象領域においてのみテクスチャ感を提示し、対象領域外においては、実質的にテクスチャ感を提示しないことが望まれる。各電極に印加する電圧信号の周波数を所定の範囲内にすることで、1フレーム内において、対象領域においてのみテクスチャ感を提示することができる。
しかし、発明者らは、触覚提示装置100においてフレームが遷移する際に、単信号領域に不要なテクスチャ感(不要触覚)が提示される場合があることを見出した。1フレーム内において各電極の電圧信号が維持されている間、テクスチャ感は、単信号領域におい提示されない。しかし、フレームが遷移する場合、単信号領域において不要なテクスチャ感が提示されることが見出された。即ち、対象領域以外で不要な触覚が提示され、「触覚の局在化」が損なわれることが分かった。
図6を参照して不要なテクスチャ感の提示を説明する。図6は、NフレームとN+1フレームとの間の対象領域の変化の例を模式的に示す。Nフレームの対象領域は、領域215Aであり、N+1フレームの対象領域は、領域215Bである。対象領域は、領域215Aから領域215Bに変化する。図6は、対象領域の移動の例を示し、対象領域215A、215Bの外形は同一であり、それらの位置が異なる。領域217は、Nフレームの対象領域215AとN+1フレームの対象領域215Bとが重なる領域である。
領域213A及び213Bにおいては、Nフレーム及びN+1フレームの双方において、共通のX電極Xe〜Xhに第1の交流電圧信号が印加され、Y電極に第2の交流電圧信号は印加されない。領域211A及び211Bにおいては、Nフレーム及びN+1フレームの双方において、共通のY電極Ye〜Yhに第2の交流電圧信号が印加され、X電極に第1の交流電圧信号は印加されない。即ち、領域211A、211B、213A及び213Bは、Nフレーム及びN+1フレームの双方において、単信号領域である。
発明者らの研究によれば、領域211A、211b、213A及び213Bが、接触指に対して、不要なテクスチャ感を提示した。以下において、発明者らが突き止めた不要なテクスチャ感の原因を説明する。以下では、図7を参照して、領域211A、211Bにおける不要なテクスチャ感の原因を説明するが、同様の説明が、領域213A、213Bに適用できる。
図7は、領域211A、又は211Bにおける状態の変化を模式的に示している。グラフ501は、NフレームからN+1フレームへの遷移における、Y電極Ye〜Yhに印加される電圧信号を模式的に示す。状態A503Aは、Nフレームにおけるスイッチング回路122の状態並びに触覚提示パネル105及び指151の状態を示す。状態B503Bは、NフレームとN+1フレームとの間の遷移期間における、スイッチング回路122の状態並びに触覚提示パネル105及び指151の状態を示す。状態C503Cは、N+1フレームにおけるスイッチング回路122の状態並びに触覚提示パネル105及び指151の状態を示す。
Nフレームにおいて、Y電極Ye〜Yhそれぞれには、第2の交流電圧信号が印加されている。状態A503Aが示すように、スイッチング回路122におけるスイッチング素子123が、出力端子121を第2の交流電圧信号源120と接続している。スイッチング素子124は開放されている。触覚提示パネル105と指151との間には、振動する静電気力が発生している。上述のように、静電気力の周波数が所定範囲外であるため、指151はテクスチャ感を知覚しない。
NフレームとN+1フレームとの間の遷移期間において、Y電極Ye〜Yhそれぞれの電圧は一定である。状態B503Bが示すように、スイッチング回路122におけるスイッチング素子123及びスイッチング素子124は開放されている。これにより、第2の交流電圧信号源120とグランドとの間の短絡を防止する。
スイッチング素子123及びスイッチング素子124は開放されている間、Y電極Ye〜Yhはフローティング状態である。本開示において、フローティング状態の持続時間をデッドタイムと呼ぶ。デッドタイムとフレームの遷移時間が一致する。フローティング状態にある電極の電圧は0とは限らず、電極がフローティング状態に変化した時の電圧に依存する。デッドタイムにおいて、触覚提示パネル105と指151との間には、振動する静電気力が発生していない。
N+1フレームにおいて、Y電極Ye〜Yhそれぞれには、第2の交流電圧信号が印加されている。状態C503Cが示すように、スイッチング回路122におけるスイッチング素子123が、出力端子121を第2の交流電圧信号源120と接続している。スイッチング素子124は開放されている。触覚提示パネル105と指151との間には、振動する静電気力が発生している。上述のように、静電気力の周波数が所定範囲外であるため、指151はテクスチャ感を知覚しない。
以上の結果、発明者らは、デッドタイムを介したフレーム遷移における静電気力の変化が、ユーザが不要なテクスチャ感を知覚させることを突き止めた。たとえフレーム内でテクスチャ感を与えない周波数であっても、振動する静電気力の途切れは、不要なテクスチャ感を人に知覚させてしまう。
電極のフローティング状態が発生しない場合は、単信号領域にはテクスチャ感は発生しない。この場合、単信号領域には交流電圧信号が連続して印加され、振動の周波数スペクトルは交流電圧信号の周波数の2倍(例えば2000Hz)に集中する。2000Hz等の周波数は人体に感知されないので、テクスチャ感は発生しない。フローティング状態により発生する静電気力振動の途切れにより、単信号領域に生じる振動の周波数スペクトルは交流電圧信号の2倍を中心に幅広く分布し、人体に高い感度で知覚される10〜1000Hzの範囲内にも分布することになる。このため、単信号領域にテクスチャ感が提示されてしまうと考えられる。
<不要触覚を低減する制御>
そこで、発明者らは、デッドタイムを短縮することによって対象領域外での不要なテクスチャ感を低減する手法を新たに考案した。デッドタイムはスイッチング回路の短絡を防止するために必要である。したがって、スイッチング回路の短絡を防ぎつつ、不要なテクスチャ感を低減できるデッドタイムを設定することが要求される。
発明者らは、被験者3名による主観評価実験を行い、デッドタイムTdと不要なテクスチャ感(不要触覚)強度との関係を評価した。図8A及び図8Bは、測定結果を示している。測定は、図2に示す構造の触覚提示パネル105を使用した。図8Aのグラフ及び図8Bのテーブルは同一の測定結果を表している。
被験者は、不要触覚強度を主観的に評価した。不要触覚強度指標は、数値が大きい程、強い不要触覚強度を示す。図8A及び図8Bにおいて、最も強い不要触覚強度指標値は「4」であり、最も弱い不要触覚強度指標値は「1」である。不要触覚強度指標「1」は、不要触覚が略知覚されないことを意味する。図示していないが、発明者らは、5ms〜100msのデッドタイムTdにおける、不要触覚強度の主観評価実験も行った。デッドタイムのこの範囲では、いずれの被験者も、不要触覚強度指標値を「4」と評価した。
図8A及び図8Bが示す実験結果から理解されるように、いずれの被験者も、特定のデッドタイム以上では一定(指標値「4」)の不要触覚強度を知覚し、特定のデッドタイムTdth1において不要触覚強度の低下を知覚している。具体的には、被験者A、被験者B、被験者Cは、それぞれ、1.5ms、2.5ms、3.5ms以上のデッドタイムにおいて、一定(指標値「4」)の不要触覚強度を知覚している。さらに、被験者A、被験者B、被験者Cは、それぞれ、1.0ms、1.5ms、2.5msのデッドタイムにおいて、不要触覚強度の低下を知覚している。
さらに、全ての被験者は、それぞれ、当該特定のデッドタイム以下において、デッドタイムの短縮に応じて、不要触覚強度の低下を知覚している。つまり、被験者の知覚する不要触覚強度は、デッドタイムの短縮と共に、(増加することなく)低下する。例えば、被験者Bの知覚不要触覚強度は、1.0msのデッドタイムから、「3」、「2」、「2」、「1」と低下する。
つまり、触覚提示装置100の特性は、特定長さのデッドタイム(閾値Tdth1)より長いデッドタイムの範囲において略一定の不要触覚強度F1を提示し、当該特定長さのデッドタイムTdth1以下のデッドタイムの範囲において、不要触覚強度F1より低い不要触覚強度を提示する。従って、触覚提示装置100のこのような装置特性に従って、電極駆動回路106のデッドタイムTdを、0より長くデッドタイムTdth1以下の範囲に設定することで、不要触覚強度を効果的に低減することができる。
電極駆動回路106は、0より長くデッドタイムTdth1以下の範囲で設定された時間(デッドタイムTd)、電極をフローティング状態に維持する。電極駆動回路106は、電極に接続される二つのスイッチング素子を開放した後、デッドタイムTd経過後に、一方のスイッチング素子を導通状態に変化させる。
このように、電極をフローティング状態に維持するデッドタイムTdを、触覚提示装置100の装置特性で決まる、不要触覚強度が低下する値Tdth1、以下に設定することによって、効果的に不要触覚を低減できる。デッドタイムTdにおける不要触覚は、時間長Tdth1より長い任意の時間長(第1の時間長)における不要触覚よりも弱い。
図8A及び図8Bが示す実験結果から理解されるように、全ての被験者は、それぞれ、当該特定のデッドタイム以下において、不要触覚を知覚しない。具体的には、被験者A、被験者B、被験者Cは、それぞれ、0.4ms、0.3ms、1.0ms以下のデッドタイムにおいて、不要触覚を知覚していない(指標値「1」)。
つまり、触覚提示装置100の特性は、特定長さのデッドタイムTdth2以下のデッドタイムの範囲において、不要触覚を提示しない。従って、触覚提示装置100のこのような装置特性に従って、電極駆動回路106のデッドタイムTdを、0より長くデッドタイムTdth2以下の範囲に設定することで、不要触覚の発生を効果的に防ぐことができる。
例えば、触覚提示装置100の設計は、例えば、上記評価実験のように、サンプル装置の測定により、不要触覚強度とデッドタイムとの間の関係を特定する。設計者は、測定結果から、不要触覚強度が低下するデッドタイムTdth1又は不要触覚が提示されないデッドタイムTdth2を特定する。設計者は、電極駆動回路106における短絡防止の観点と、不要触覚の観点から、0より長く、Tdth1以下又はTdth2以下の範囲において、デッドタイムを決定する。
上述のように、被験者A、被験者B、被験者Cは、それぞれ、1.0ms、1.5ms、2.5msのデッドタイムにおいて、不要触覚強度の低下を知覚している。つまり、デッドタイムTdが1.0ms以下の範囲において、全ての被験者が、不要触覚強度の低下を知覚している。この時間長は、触覚提示の観点から通常の予想を超えて短いと理解される。短い電極駆動回路106のデッドタイムTdを、0より長く1.0ms以下の範囲に設定することで、不要触覚強度をより確実に低減することができる。
さらに、被験者A、被験者B、被験者Cは、それぞれ、0.4ms以下、0.3ms以下、1.0ms以下のデッドタイムにおいて、不要触覚を知覚していない。つまり、全ての被験者が、0.3ms以下のデッドタイムにおいて、不要触覚を知覚していない。電極駆動回路106のデッドタイムTdを、0より長く0.3ms以下の範囲に設定することで、不要触覚の発生をより確実に防止することができる。
制御部107は、デッドタイムTdが予め設定された長さとなるように、つまり、予め設定された期間、電極がフローティング状態となるように、電極駆動回路106を制御する。図9を参照して、制御部107による電極駆動回路106の制御を説明する。図9は、単信号領域における、スイッチング素子(スイッチング素子113、114、123、又は124)への制御信号と電極の電圧との関係を模式的に示している。
スイッチング素子には、その仕様により、ターンオフ時間Toffとターンオン時間Tonが定められている。ターンオフ時間は、スイッチング素子が、制御信号を導通状態で受信してから、開放状態へ遷移するために要する時間である。ターンオン時間は、スイッチング素子が、制御信号を開放状態で受信してから、導通状態へ遷移するために要する時間である。
図9の例において、スイッチング素子の制御信号の極性は、ノーマリーオープンである。制御信号がロウレベルのとき、スイッチング素子は開放され、制御信号がハイレベルのとき、スイッチング素子は導通する。
制御部107は、制御信号をハイレベルからロウレベルに変更した後、予め設定されたデットタイム設定時間Tsetの間、制御信号をロウレベルに維持する。制御部107は、制御信号をハイレベルからロウレベルに変更してからデットタイム設定時間Tsetが経過した後、制御信号をロウレベルからハイレベルに変更する。
スイッチング素子は、制御信号の立ち下りエッジからターンオフ時間Toffが経過した時に、導通状態から解放状態に変化する。従って、電極は、制御信号の立ち下りエッジからターンオフ時間Toffが経過した時に、交流電圧信号が印加されている状態からフローティング状態に変化する。
また、スイッチング素子は、制御信号の立ち上りエッジからターンオン時間Tonが経過した時に、解放状態から導通状態に変化する。従って、電極は、制御信号の立ち上りエッジからターンオン時間Tonが経過した時に、フローティング状態から交流電圧信号が印加されている状態に変化する。
デットタイム設定時間Tset、デットタイムTd、ターンオフ時間Toff、及びターンオン時間Tonは、以下の関係を満たす。
Tset=Td+Toff−Ton
ターンオフ時間Toff及びターンオン時間Tonは、電極駆動回路106の仕様により決定される。設計者は、上述のように、デットタイムTdを、スイッチング回路の短絡が発生せず、対象領域外の不要なテクスチャ感が効果的に低下している範囲で決定する。設計者は、決定されたデットタイムTd、ターンオフ時間Toff、及びターンオン時間Tonから、上記式に従って、デットタイム設定時間Tsetを決定する。デットタイム設定時間Tsetは、全てのスイッチング回路に共通でもよいし、異なるスイッチング回路にデットタイム設定時間Tsetが設定されてもよい。
以上、本発明の実施形態を説明したが、本発明が上記の実施形態に限定されるものではない。当業者であれば、上記の実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能である。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
100 触覚提示装置
101 支持基板
105 触覚提示パネル
106 電極駆動回路
107 制御部
110 第1の交流電圧信号源
111、211 出力端子
112、122 スイッチング回路
113、114、213、214 スイッチング素子
115、116、215、216 制御信号線
120 第2の交流電圧信号源
161 X電極駆動回路
162 Y電極駆動回路
205、215A、205B 対象領域
211A、211B、213A、213B 不要触覚が提示され得る領域
217 連続フレームの対象領域が重なる領域
X0〜Xm、Xa〜Xl X電極
Y0〜Yn、Ya〜Yl Y電極

Claims (10)

  1. 支持基板と、
    前記支持基板上において、互いに絶縁されて配置された複数の第1電極と、
    前記支持基板上において、前記複数の第1電極と絶縁され、互いに絶縁されて配置された複数の第2電極と、
    前記複数の第1電極と前記複数の第2電極とを駆動する、電極駆動回路と、を含み、
    前記電極駆動回路は、
    前記複数の第1電極と前記複数の第2電極の各電極に対して、交流電圧信号源及び基準電圧信号源を含む複数の電圧信号源から選択した一つを接続し、
    前記複数の第1電極と前記複数の第2電極とにおいて、対象領域に少なくとも一部が含まれる第1電極と第2電極とに、異なる交流電圧信号源を接続して、前記対象領域内において触覚を提示し、
    触覚提示フレームの遷移において、前記複数の第1電極と前記複数の第2電極とにおける各電極をフローティング状態にした後に、前記複数の電圧信号源から選択した一つを接続し、
    前記フローティング状態の持続時間は、前記対象領域の外における不要な触覚の強さが第1の時間長における強さより弱くなるように、前記第1の時間長よりも短い時間長に設定されている、触覚提示装置。
  2. 請求項1に記載の触覚提示装置であって、
    前記フローティング状態の持続時間は、前記対象領域の外における不要な触覚が提示されない時間長に設定されている、触覚提示装置。
  3. 請求項1に記載の触覚提示装置であって、
    前記フローティング状態の持続時間は、0より長く1.0ms以下の範囲において設定されている、触覚提示装置。
  4. 請求項1に記載の触覚提示装置であって、
    前記フローティング状態の持続時間は、0より長く0.3ms以下の範囲において設定されている、触覚提示装置。
  5. 請求項1に記載の触覚提示装置であって、
    前記異なる交流電圧信号源は、互いに異なる周波数の交流電圧信号を出力する、触覚提示装置。
  6. 触覚提示装置を制御する方法であって、
    前記触覚提示装置は、
    支持基板と、
    前記支持基板上において、互いに絶縁されて配置された複数の第1電極と、
    前記支持基板上において、前記複数の第1電極と絶縁され、互いに絶縁されて配置された複数の第2電極と、を含み、
    前記方法は、
    前記複数の第1電極と前記複数の第2電極の各電極に対して、交流電圧信号源及び基準電圧信号源を含む複数の電圧信号源から選択した一つを接続し、
    前記複数の第1電極と前記複数の第2電極とにおいて、対象領域に少なくとも一部が含まれる第1電極と第2電極とに、異なる交流電圧信号源を接続して、前記対象領域内において触覚を提示し、
    触覚提示フレームの遷移において、前記複数の第1電極と前記複数の第2電極とにおける各電極をフローティング状態にした後に、前記複数の電圧信号源から選択した一つを接続し、
    前記フローティング状態の持続時間は、前記対象領域の外における不要な触覚の強さが第1の時間長における強さより弱くなるように、前記第1の時間長よりも短い時間長に設定されている、方法。
  7. 請求項6に記載の方法であって、
    前記フローティング状態の持続時間は、前記対象領域の外における不要な触覚が提示されない時間長に設定されている、方法。
  8. 請求項6に記載の方法であって、
    前記フローティング状態の持続時間は、0より長く1.0ms以下の範囲において設定されている、方法。
  9. 請求項6に記載の方法であって、
    前記フローティング状態の持続時間は、0より長く0.3ms以下の範囲において設定されている、方法。
  10. 請求項6に記載の方法であって、
    前記異なる交流電圧信号源は、互いに異なる周波数の交流電圧信号を出力する、方法。
JP2016204707A 2016-09-29 2016-09-29 触覚提示装置及びその制御方法 Active JP6775774B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016204707A JP6775774B2 (ja) 2016-09-29 2016-09-29 触覚提示装置及びその制御方法
CN201710736827.2A CN107885321B (zh) 2016-09-29 2017-08-24 触觉提示装置及其控制方法
US15/715,269 US10096214B2 (en) 2016-09-29 2017-09-26 Tactile presentation device and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016204707A JP6775774B2 (ja) 2016-09-29 2016-09-29 触覚提示装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2018055659A true JP2018055659A (ja) 2018-04-05
JP6775774B2 JP6775774B2 (ja) 2020-10-28

Family

ID=61686576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016204707A Active JP6775774B2 (ja) 2016-09-29 2016-09-29 触覚提示装置及びその制御方法

Country Status (3)

Country Link
US (1) US10096214B2 (ja)
JP (1) JP6775774B2 (ja)
CN (1) CN107885321B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038620A (ja) * 2018-09-04 2020-03-12 Tianma Japan株式会社 触覚提示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874158A (zh) * 2018-09-04 2020-03-10 天马日本株式会社 触觉呈现设备
US11726598B2 (en) * 2021-06-24 2023-08-15 Shanghai Tianma Micro-electronics Co., Ltd. Tactile presentation device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097076A (ja) * 2013-10-10 2015-05-21 Nltテクノロジー株式会社 触覚提示装置、電子機器、および触覚提示方法
JP2016095832A (ja) * 2014-11-06 2016-05-26 Nltテクノロジー株式会社 電子機器、電子機器の操作制御方法および操作制御プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634917A (en) * 1984-12-26 1987-01-06 Battelle Memorial Institute Active multi-layer piezoelectric tactile sensor apparatus and method
US8482545B2 (en) * 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
FR2976675B1 (fr) * 2011-06-16 2013-07-12 Nanotec Solution Circuit integre de mesure capacitive a pont flottant.
US9235265B2 (en) * 2012-05-17 2016-01-12 Sharp Kabushiki Kaisha Touch-screen device including tactile feedback actuator
CN103870187B (zh) * 2012-12-17 2017-02-22 华为终端有限公司 控制具有触控屏的终端的方法及终端
US9285880B2 (en) 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
CN103729073B (zh) * 2013-12-20 2016-07-06 艾攀科技有限公司 主动式电容笔
WO2016072983A1 (en) * 2014-11-05 2016-05-12 Onamp Research Llc Common electrode driving and compensation for pixelated self-capacitance touch screen
JP6555608B2 (ja) * 2014-12-01 2019-08-07 Tianma Japan株式会社 ディスプレイ装置および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097076A (ja) * 2013-10-10 2015-05-21 Nltテクノロジー株式会社 触覚提示装置、電子機器、および触覚提示方法
JP2016095832A (ja) * 2014-11-06 2016-05-26 Nltテクノロジー株式会社 電子機器、電子機器の操作制御方法および操作制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038620A (ja) * 2018-09-04 2020-03-12 Tianma Japan株式会社 触覚提示装置
JP7438677B2 (ja) 2018-09-04 2024-02-27 Tianma Japan株式会社 触覚提示装置

Also Published As

Publication number Publication date
CN107885321B (zh) 2021-08-10
US10096214B2 (en) 2018-10-09
CN107885321A (zh) 2018-04-06
JP6775774B2 (ja) 2020-10-28
US20180089967A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
US9176587B2 (en) Tactile sense presentation device and tactile sense presentation method
KR102236314B1 (ko) 에너지 수확 기능을 갖는 터치 표시 장치
US20240045507A1 (en) Tactile presentation device and control method
US20110069026A1 (en) Touch panel module for providing electrically-stimulated sensation feedback
JP6775774B2 (ja) 触覚提示装置及びその制御方法
JP6284391B2 (ja) 静電容量型入力装置
US20160109996A1 (en) Liquid crystal display panel and liquid crystal display apparatus with integrated touch screen
CN110032300A (zh) 触摸面板及触摸面板装置
CN108089698B (zh) 触觉提示装置及电子设备
US10175758B2 (en) Tactile sense presentation device and method of driving tactile sense presentation device and electrode connection control
JP7438677B2 (ja) 触覚提示装置
JP2018073390A (ja) 触覚提示装置及び制御方法
JP2014203203A (ja) タッチスクリーン、及び、それを備えるタッチパネル
US20200125231A1 (en) Touch panel device, touch panel device control method, program, and storage medium storing the program
EP3147764B1 (en) Touch panel device
JP2010108314A (ja) 入力装置
CN205880838U (zh) 检测装置及触摸屏
JP2014052677A (ja) 触覚刺激発生装置および座標入力システム
CN107491195B (zh) 检测方法、检测装置及触摸屏
CN205193770U (zh) 一种电磁式触点装置
US10840905B2 (en) Tactile presentation device
CN104063103A (zh) 一种感应式触点装置
JP2019194833A (ja) 電子機器及び電子機器の制御方法
KR20140130923A (ko) 터치 패널
CN205880837U (zh) 检测装置及触摸屏

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190820

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200924

R150 Certificate of patent or registration of utility model

Ref document number: 6775774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250