JP2017220026A - コンテンツ提示装置 - Google Patents

コンテンツ提示装置 Download PDF

Info

Publication number
JP2017220026A
JP2017220026A JP2016113785A JP2016113785A JP2017220026A JP 2017220026 A JP2017220026 A JP 2017220026A JP 2016113785 A JP2016113785 A JP 2016113785A JP 2016113785 A JP2016113785 A JP 2016113785A JP 2017220026 A JP2017220026 A JP 2017220026A
Authority
JP
Japan
Prior art keywords
user
presentation
traction force
unit
exercise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016113785A
Other languages
English (en)
Other versions
JP6691434B2 (ja
Inventor
えりか 足利
Erika Ashikaga
えりか 足利
直人 的場
Naoto Matoba
直人 的場
英起 多田
Hideki Tada
英起 多田
玲志 相宅
Reishi OYA
玲志 相宅
彰久 小野
Akihisa Ono
彰久 小野
時朗 安藤
Tokio Ando
時朗 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nurve Co Ltd
NTT Docomo Inc
Original Assignee
Nurve Co Ltd
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nurve Co Ltd, NTT Docomo Inc filed Critical Nurve Co Ltd
Priority to JP2016113785A priority Critical patent/JP6691434B2/ja
Publication of JP2017220026A publication Critical patent/JP2017220026A/ja
Application granted granted Critical
Publication of JP6691434B2 publication Critical patent/JP6691434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザに対してより臨場感が高められたコンテンツを提示することを可能とする。【解決手段】コンテンツ提示装置1は、ユーザに対して、当該ユーザが所定のコースに沿って移動することを示す映像情報を提示する映像提示部12と、疑似牽引力をユーザに対して提示する疑似牽引力提示部13と、映像提示部12による映像情報の提示と、ユーザに対して提示する映像情報に対応した疑似牽引力提示部13による疑似牽引力の提示と、を制御するシステム制御部11と、を有する。【選択図】図1

Description

本発明は、コンテンツ提示装置に関する。
ユーザに対して動画等のコンテンツを提示する際に、臨場感を高める工夫が種々検討されている(例えば、特許文献1等)。
特開2013−174642号公報
近年、バーチャルリアリティ(Virtual Reality)技術が注目されることに伴って、ユーザに対してコンテンツを提示する際により高い臨場感を求められる場合がある。
本発明は上記を鑑みてなされたものであり、ユーザに対してより臨場感が高められたコンテンツを提示することが可能なコンテンツ提示装置を提供することを目的とする。
上記目的を達成するため、本発明の一形態に係るコンテンツ提示装置は、ユーザに対して、当該ユーザが所定のコースに沿って移動することを示す映像情報を提示する映像提示部と、疑似牽引力をユーザに対して提示する疑似牽引力提示部と、前記映像提示部による前記映像情報の提示と、前記ユーザに対して提示する前記映像情報に対応した前記疑似牽引力提示部による前記疑似牽引力の提示と、を制御するシステム制御部と、を有する。
上記のコンテンツ提示装置によれば、所定のコースに沿ってユーザが移動する映像情報をユーザに対して提示しながら、当該映像情報に対応した疑似牽引力を提示することで、臨場感が高められたコンテンツをユーザに対して提示することができる。
ここで、前記システム制御部は、前記映像情報に含まれる前記所定のコースに含まれて当該コースに変化が生じる変動区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示する間、前記疑似牽引力提示部が前記変動区間に対応した疑似牽引力を前記ユーザに対して提示するように、前記映像提示部と前記疑似牽引力提示部とを制御する態様とすることができる。
上記のように、所定のコースに含まれる変動区間に対応させて、疑似牽引力をユーザに対して提示する構成とすることで、映像情報内で特にユーザが変動区間を移動する際の臨場感が高められる。
また、前記疑似牽引力提示部は、前記変動区間がカーブ区間である場合に、当該カーブ区間に対応して、当該カーブの中心方向への疑似牽引力を前記ユーザに対して提示する態様とすることができる。
上記のように、変動区間がカーブ区間である場合に、カーブの中心方向への疑似牽引力をユーザに対して提示する構成とすることで、ユーザが実際にカーブ区間を移動しているような感覚を得ることができ、ユーザがカーブ区間を移動する状態の映像情報をユーザに提示する際の臨場感が高められる。
また、前記システム制御部は、前記疑似牽引力提示部による疑似牽引力の提示から前記ユーザが当該疑似牽引力を認識するまでの差分時間に基づいて、前記変動区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示開始するタイミングよりも前から、前記疑似牽引力提示部が前記変動区間に対応した疑似牽引力を前記ユーザに対して提示するように、前記映像提示部と前記疑似牽引力提示部とを制御する態様とすることができる。
上記のように、疑似牽引力提示部による疑似牽引力の提示からユーザが当該疑似牽引力を認識するまでの差分時間を考慮して、変動区間をユーザが移動する映像情報を提示する前から疑似牽引力提示部が疑似牽引力を提示することで、変動区間に入る際にユーザが受ける感覚をよりリアルに再現することができ、臨場感がさらに高められる。
また、前記ユーザが運動可能なユーザ運動部と、前記ユーザ運動部における前記ユーザの運動を検知する運動検知部と、を有し、前記システム制御部は、前記運動検知部が検知した前記ユーザの運動に連動させて、前記映像提示部による前記ユーザに対して提示する前記映像情報を制御する態様とすることができる。
上記のように、ユーザの運動を運動検知部が検知し、検知したユーザの運動に連動させて、映像提示部が提示する映像情報を制御する構成とすることで、ユーザの実際の運動と、映像情報におけるユーザの移動とを関連付けた状態でのコンテンツの提示が可能となるため、ユーザの臨場感を高めることができるコンテンツを提示することができる。
また、前記ユーザが運動可能なユーザ運動部と、前記ユーザ運動部における運動負荷を前記ユーザに対して提示する運動負荷提示部と、前記システム制御部は、前記システム制御部は、前記所定のコースに含まれる傾斜区間を前記ユーザが移動する映像情報を、前記映像提示部が前記ユーザに対して提示する間、前記運動負荷提示部が前記傾斜区間に対応した運動負荷を前記ユーザに対して提示するように、前記映像提示部と前記運動負荷提示部とを制御する態様とすることができる。
上記のように、所定のコースに含まれる傾斜区間に対応させて、運動負荷をユーザに対して提示する構成とすることで、映像情報内で特にユーザが傾斜区間を移動する際の臨場感が高められる。
また、前記システム制御部は、前記運動負荷提示部による運動負荷の提示から前記ユーザが当該運動負荷を認識するまでの差分時間に基づいて、前記傾斜区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示開始するタイミングよりも前から、前記運動負荷提示部が前記傾斜区間に対応した運動負荷を前記ユーザに対して提示するように、前記映像提示部と前記運動負荷提示部とを制御する態様とすることができる。
上記のように、運動負荷提示部による運動負荷の提示からユーザが当該運動負荷を認識するまでの差分時間を考慮して、傾斜区間をユーザが移動する映像情報を提示する前から運動負荷提示部が運動負荷を提示することで、傾斜区間に入る際にユーザが受ける感覚をよりリアルに再現することができ、臨場感がさらに高められる。
本発明によれば、ユーザに対してより臨場感が高められたコンテンツを提示することが可能なコンテンツ提示装置が提供される。
本発明の一形態に係るコンテンツ提示装置の機能ブロック図である。 コンテンツ提示装置の具体例を示す図である。 コンテンツ提示装置のハードウェア構成を説明する図である。 コンテンツ提示装置におけるコンテンツ提示方法を説明するフロー図である。 コンテンツ提示装置における映像情報と疑似牽引力及び運動負荷との対応付けを説明するフロー図である。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1は、本発明の一形態に係るコンテンツ提示装置の機能を説明する機能ブロック図である。また、図2は、コンテンツ提示装置の使用状態を模式的に示した図である。
本実施形態に係るコンテンツ提示装置1は、ユーザに対して、コンテンツとして、映像情報と共に疑似力覚及び運動負荷を提示する装置である。すなわち、本実施形態においてユーザに提示する「コンテンツ」とは、映像情報と、疑似力覚と、運動負荷とを組み合わせたものである。本実施形態においてユーザに対して提供するコンテンツの内容とは、ユーザが乗り物等に乗って予め決められたコースを移動する状況を示すものである。コンテンツ提示装置1は、ユーザに対して映像情報を提示することで、コンテンツに係る視聴覚での情報を提供する。また、コンテンツ提示装置1は、ユーザに対して映像情報に対応した疑似力覚を提供することで、映像情報により提示された状況に係るユーザの臨場感を高めることを特徴とする。
図2に示すように、本実施形態に係るコンテンツ提示装置1は、ユーザPが自転車様の装置(フィットネスバイク)に乗りペダルを漕ぐことで、ユーザがコンテンツに含まれるコース内を仮想的に移動することを模した装置である。すなわち、コンテンツ提示装置1は、ユーザPの運動をペダルの回転により検知し、ユーザPの運動に連動させた映像情報をユーザPに対して提示する。そして、コンテンツ提示装置1では、映像情報を提示する際にユーザPに対して牽引力がかかっている疑似力覚、すなわち、疑似牽引力を提示する。これにより、ユーザPは、コースに沿った移動を臨場感が高められた状態で体感することが可能となる。
そのため、図1及び図2に示すように、コンテンツ提示装置1は、システム制御部11と、映像提示部12と、疑似牽引力提示部13と、運動制御部14(運動検知部、運動負荷提示部)と、を有する。
また、物理的には、コンテンツ提示装置1は、図3に示すように、CPU101、主記憶装置であるRAM102及びROM103、データ送受信デバイスである通信モジュール104、ハードディスク、フラッシュメモリ等に例示される補助記憶装置105、入力デバイスであるタッチパネル及びキーボード等に例示される入力装置106、ディスプレイ等の出力装置107などを含むコンピュータシステムとして構成されている。コンテンツ提示装置1では、図4に示すCPU101、RAM102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで通信モジュール104、入力装置106、出力装置107を動作させるとともに、RAM102や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで、各装置における一連の機能が実現される。
図1に戻り、各部の機能について説明する。コンテンツ提示装置1のシステム制御部11は、ユーザに対するコンテンツの提示に係る一連の処理を制御する機能を有する。具体的には、システム制御部11は、ユーザに対して提示する映像情報に係る信号を後述の映像提示部12に対して送信する。また、システム制御部11は、疑似牽引力提示部13に対して、映像情報に対応した疑似牽引力の提示に係る疑似力制御信号を送信する。さらに、システム制御部11は、運動制御部14からユーザの運動に係る信号を受信すると共に、映像情報に対応してユーザの運動に負荷を与えるための運動負荷制御信号を送信する機能を有する。システム制御部11によるコンテンツ提示に係る一連の処理の詳細は後述する。システム制御部11は、図2に示すように、ユーザPに対して映像を提示する映像提示部12と一体化されていてもよい。また、他の機能部とは別の位置に制御装置として設けられていてもよい。システム制御部11は、映像提示部12と、疑似牽引力提示部13及び運動制御部14(ユーザ運動部、運動検知部、運動負荷提示部)との間で有線又は無線通信により、情報の送受信を行う。
コンテンツ提示装置1の映像提示部12は、システム制御部11からの指示に基づいてユーザに対してコンテンツに係る映像情報を提示する機能を有する。図2では、映像提示部12が、所謂ヘッドマウントディスプレイ(HMD)として実現された例を示している。図2に示す例では、映像提示部12は、ユーザの目に対応する位置に画像を表示するディスプレイを有すると共に、ユーザの耳に対応する位置にスピーカを有している。これにより、ユーザに対してコンテンツに係る映像情報及び音声情報を提供する。なお、映像提示部12は、上記のヘッドマウントディスプレイ型に限定されず、例えば、複数の面で構成されたCAVE型ディスプレイや、テレビやタブレット端末等に適用されている液晶ディスプレイであってもよい。また、ヘッドマウントディスプレイ型のように映像情報に対して音声情報を組み合わせて提示することで臨場感を高めることができるが、音声情報は提示しない構成であってもよい。
疑似牽引力提示部13は、システム制御部11からの指示に基づいて、映像情報に対応させてユーザに対して疑似力覚として所定の方向への疑似牽引力を提示する機能を有する。疑似牽引力が提示されると、ユーザは所定の方向へ引っ張られている感覚が与えられると疑似的に感じることができる。図2では、疑似牽引力提示部13が、ユーザの手により保持されている例を示している。図2に示す例では、疑似牽引力提示部13の動作により、疑似牽引力提示部13を保持しているユーザの手に対して疑似牽引力がかかるような感覚がユーザに対して提示され、ユーザは所定の方向に対して所定の大きさの力で引っ張られるように感じる。疑似牽引力提示部13がユーザに対して牽引力を発生させる方法については特に限定されない。正負に非対称な運動をユーザに対して提示すると、ユーザが牽引されているように錯覚をすることが知られていて、疑似牽引力を提示する装置ではこのような非対称な運動を発生させる機構を有していることが多い。本実施形態に係る疑似牽引力提示部13についても、上記のような非対称な運動をユーザに対して提示する構成を有している装置により実現することができる。
なお、疑似牽引力提示部13が、ユーザに与える疑似牽引力の大きさを変更可能な構成であると、ユーザに提示する疑似牽引力に係るより細かい制御が可能となることから、ユーザに対する臨場感をさらに高めることができる。ただし、ユーザに提示する疑似牽引力の大きさが一定であっても、疑似牽引力を発生するタイミング等を調整することで、ユーザの臨場感を高めることが可能となる。また、疑似牽引力提示部13が、ユーザに提示する疑似牽引力の方向を変更可能な構成であると、ユーザに提示する疑似牽引力に係るより細かい制御が可能となるため、ユーザに対する臨場感をさらに高めることができる。ただし、ユーザに与える疑似牽引力の方向が予め所定の方向に決められている場合であっても、疑似牽引力を発生するタイミングの調整、及び、ユーザによる疑似牽引力提示部13の保持の仕方を調整することでユーザに対して提示する疑似牽引力提示部13の提示方向を調整すること等により、ユーザの臨場感を高めることが可能となる。
運動制御部14は、映像提示部12により提示される映像情報内でのユーザの移動に対応して、ユーザが運動可能なユーザ運動部としての機能を有する。また、運動制御部14は、ユーザの運動を検知してシステム制御部11に対して通知をする運動検知部としての機能を有する。さらに、運動制御部14は、システム制御部11からの指示に基づいてユーザに対して運動負荷を提示する機能を有する運動負荷提示部としての機能を有する。運動制御部14は、コンテンツ内でのユーザの移動に対応した運動を行うことが可能な機能を有していることが好ましい。図2では、運動制御部14が、ユーザが自転車に乗って移動することを想定したコンテンツに対応させた、ユーザが漕ぐことができるペダルを有する装置である例を示している。すなわち、ユーザ運動部が自転車様の装置に相当する。また、図2に示す例では、ユーザがペダル(図示せず)の漕ぎ数や速度等をユーザの運動に係る情報として検知し、システム制御部11に対して通知する。また、運動制御部14は、システム制御部11からの指示に基づいて、映像情報に連動した運動負荷としてペダルの回転に係る負荷をユーザに与えることで、ユーザに対して運動負荷を提示する機能を有する。なお、運動制御部14は、自転車様の装置に限定されず、例えば、オートバイク様の装置や、自動車様の装置等でも実現することができる。すなわち、コンテンツ内においてユーザが所定のコースを移動する際に利用する移動手段に対応した装置であれば、その構成は特に限定されない。上記のように、コンテンツで想定されている移動手段に対応した装置を運動制御部14として設けることで、ユーザの臨場感が高められる。また、運動制御部14の装置構成に応じて、ユーザの運動の内容は変更されるため、その運動の内容に応じて、ユーザの運動量の検知の仕方やユーザに対する運動負荷の与え方も変更される。
上記のコンテンツ提示装置1では、運動制御部14により検知されるユーザの運動に基づいて、システム制御部11の制御によりユーザに対してコンテンツを提示する。具体的には、システム制御部11の制御により、ユーザの運動に対応させた映像情報を映像提示部12が提示すると共に、映像情報に対応させて、疑似牽引力提示部13がユーザに対して疑似牽引力を提示し、運動制御部14がユーザに対して運動負荷を提示する。これにより、ユーザは映像情報に対応した疑似牽引力及び運動負荷を受けながら、コンテンツを楽しむことが可能となる。
次に、コンテンツ提示装置1によるコンテンツ提示方法について説明する。コンテンツ提示装置1では、外部装置等からユーザが所定のコースを移動することを想定したコンテンツに係る映像情報を取得すると、映像情報と合わせて提示する疑似牽引力に係る情報及び運動負荷に係る情報を映像情報に対応付ける。その後、ユーザに対して映像情報、疑似牽引力及び運動負荷の一式をコンテンツとして提示する。ここでは、図4を参照しながら上記の一連の処理について説明する。上述したように、本実施形態のコンテンツ提示装置1が提示するコンテンツとは、所定のコースをユーザが自転車等の移動手段を利用して移動する状況を示すものである。そして、コンテンツ提示装置1では、ユーザが所定のコースに含まれる変動区間に差し掛かったときに、当該変動区間の状況及びユーザの移動状況に応じた疑似牽引力をユーザに提示する。
なお、本実施形態では、「変動区間」とは、コースに変化が生じる区間のことをいう。例えば、所定のコースが直線且つ水平なコースを前提としたコースである場合には、変動区間とは、直線且つ水平な状況から変化が発生した区間、すなわち、例えば、カーブや傾斜が発生した区間等が挙げられる。また、滑り台のように、直線且つ所定の傾斜での下降が前提となっているコースである場合には、傾斜の角度が変化した区間についても変動区間として取り扱うことができる。このように、変動区間とは、前提としているコース形状から変化が生じている区間を指す。前提としているコース形状をどのように設定するかに応じて、変動区間となる区間も変化する。以下で説明する本実施形態のコンテンツ提示装置1によるコンテンツ提示方法では、コース中でのカーブ区間を変動区間とし、ユーザが所定のコースに含まれるカーブ区間に差し掛かったときには、カーブの状況及びユーザの移動状況に応じた疑似牽引力をユーザに提示する場合について説明する。
また、コンテンツ提示装置1では、ユーザがコースの上り坂又は下り坂等の傾斜区間に差し掛かったときには、傾斜の形状等に応じた運動負荷をユーザに提示する。このように、コンテンツ提示装置1は、疑似牽引力及び運動負荷を利用して、ユーザが映像情報で提示されるコースをよりリアルに体感する状態を作り出すものである。
まず、コンテンツ提示装置1は、ユーザに対して提示するコンテンツに係る映像情報を外部装置等から取得する。コンテンツ提示装置1が取得する映像情報では、コースの形状(カーブ及び傾斜)が規定されているものである。ただし、映像情報には、コンテンツ提示装置1が提示する疑似牽引力等の情報については規定されていない。なお、映像情報にコースの形状に係る情報が含まれるということは、すなわち、コース上のカーブ区間については、曲率半径、方向、カーブの始点及び終点に係る情報が映像情報に含まれているということである。これらのカーブを特定する情報は、疑似牽引力の提示に関係する情報であるため、本実施形態では牽引力メタ情報と呼ぶ。同様、コース上の傾斜区間については、上り/下り、勾配角度、傾斜の始点及び終点を特定する情報が映像情報に含まれていることになる。これらの傾斜を特定する情報は、運動負荷の提示に関係する情報であるため、本実施形態では運動負荷メタ情報と呼ぶ。
コンテンツ提示装置1は、映像情報を取得すると、映像情報に含まれるコースの形状等の牽引力メタ情報に基づいて、牽引力制御信号を対応付ける(S01)。すなわち、疑似牽引力を発生させる区間を特定し、制御信号を対応付ける。また、牽引力制御信号には、疑似牽引力を発生させる方向及び大きさが含まれる必要があるため、これらについても、牽引力メタ情報に基づいて設定する(S02)。また、映像情報に含まれるコースの傾斜に対応した運動負荷メタ情報に基づいて、運動負荷制御振動の対応付けに係る同様の処理を行う(S03)。この牽引力制御信号及び運動負荷制信号の付与(S01〜S03)は、映像情報を取得した後、ユーザに対してコンテンツを提示する前に行われていればよい。したがって、一つの映像情報について少なくとも一度上記の処理(S01〜S03)を行えばよいが、ユーザに対してコンテンツを提示する度に処理を行う構成としてもよい。また、牽引力制御信号の付与(S01,S02)と運動負荷制信号の付与(S03)とは独立して行うことができるため、図4に示す順序で行う必要はなく、同時に行うこともできる。
映像情報に対して牽引力制御信号及び運動負荷制御振動を付与する処理は、コンテンツ提示装置1の使用者等が手作業で行うことも可能ではあるが、コンテンツ提示装置1が自動的に行うこともできる。コンテンツ提示装置1により処理を行う場合には、コンテンツ提示装置1では、図5に示すような順序で処理が行われる。
牽引力制御信号及び運動負荷制御振動の付与はそれぞれ独自に行うことができるので、図5を参照しながら個別に説明する。まず、映像情報に対応付けた牽引力制御信号の付与について説明する。システム制御部11では、映像情報から牽引力メタ情報を取得する(S11)。なお、上述したように、映像情報に含まれる所定のコースのカーブ毎に、牽引力メタ情報が予め対応付けられていれば、この牽引力メタ情報を利用することができる。ただし、映像情報に対して牽引力メタ情報が対応付けられていない場合は、映像情報に含まれる所定のコースを特定する情報から、カーブに係る牽引力メタ情報を生成する必要がある。
具体的には、映像情報に含まれる所定のコースの中から、まずカーブに相当する区間を抽出する。具体的には、ユーザが移動するコースが直進となっている場合当該区間はカーブ区間には含まれないので除外する。そして、コースがいずれかの方向に曲がっている際に、コースの内側となる側(右側にカーブしている場合には、右側)におけるコース端部のラインの接線の方向をユーザの進行方向としたときに、単位距離毎の進行方向の傾きの変化(差分)が所定の閾値以上となった場合に、当該区間をカーブ区間とし、カーブ開始地点とカーブ終了地点とを特定する。カーブ開始地点やカーブ終了地点は、コースのスタート地点からの距離を基準に求められる。カーブ開始地点とカーブ終了地点とを特定することで、当該区間のコースの情報から、曲率半径及び方向等の牽引力メタ情報に含まれる情報を求めることができる。
次に、映像情報におけるコースに含まれるカーブ毎に、疑似牽引力を付与するための設定を決める。まず、特定のカーブの牽引力メタ情報を参照し、カーブの向きを特定する情報に基づいて、疑似牽引力の方向を決定する(S12)。例えば、右側へ曲がるようなカーブでは、右向きの疑似牽引力(右側へ引っ張られるような牽引力)を発生させる。このように、カーブの向きに応じて、疑似牽引力の向きを決定する。なお、疑似牽引力を発生させる向きを、上記のようにカーブの中心方向となるように設定すると、実際にカーブ区間を移動する際にユーザにかかる力とより類似している力を疑似牽引力によりユーザに対して提示することができる。
次に、疑似牽引力を発生させる(ユーザに提示する)区間を決定する(S13)。疑似牽引力を発生させる区間は、単純には、コース上のカーブ区間とすることが考えられる。ただし、疑似牽引力をユーザに対して提示し始めるタイミングに対して、ユーザが疑似牽引力を認識するタイミングは若干遅延することが想定される。したがって、このタイミングの差分時間(ユーザが疑似牽引力を認識するまでの遅延時間)をt(秒)とし、差分時間tを考慮して疑似牽引力を提示するタイミング(特に疑似牽引力の提示を開始するタイミング)を決定することが好ましい。具体的には、カーブの開始地点の位置(スタート地点からの距離)をx1とすると、牽引力提示開始地点x10は、x10=x11−vt(v:ユーザの移動速度)という数式を利用して算出することが好ましい。この牽引力提示開始地点x10からカーブ終了地点までの区間をユーザが移動する際に、ユーザに対して疑似牽引力を提示する、と設定する態様が考えられる。
なお、ユーザが疑似牽引力を認識するまでの差分時間は、ユーザによって異なる可能性がある。したがって、差分時間tを定数として予め設定しておくことに代えて、ユーザに対してコンテンツを提示する度に、当該ユーザ毎に差分時間tを予め計測する態様としてもよい。例えば、コンテンツの提示を開始する前に、事前計測として、疑似牽引力提示部13が疑似牽引力をユーザに対して提示してからユーザそれを認識して何らかの応答(ボタンの押し下げ、発声等)をするまでの時間を計測し、必要に応じて平均値を算出することで、ユーザ毎の差分時間tを予め計測することができる。このような構成とした場合、ユーザに対する疑似牽引力の提示タイミングをより細かく且つ精度よく設定することが可能となる。
次に、上記で決定された疑似牽引力を発生させる区間においてユーザに対して提示する疑似牽引力の大きさを決定する(S14)。疑似牽引力の大きさは、疑似牽引力提示部13が提示する疑似牽引力の大きさを変更可能であれば、コースの牽引力メタ情報を利用して決定することができる。なお、疑似牽引力提示部13が提示する疑似牽引力の大きさが一定である(変更ができない)場合には、大きさの決定に係るプロセスは省略される。
疑似牽引力提示部13が提示する疑似牽引力の大きさの設定方法は種々考えられるが、例えば、コース上でのユーザの移動速度と、カーブの曲率半径とに基づいて設定することができる。ユーザがカーブを移動する際にユーザが受ける遠心力Fの最大値は、ユーザの移動速度をvとし、曲率半径をrとし、ユーザの重量をmとすると、F=mv/rと記述することができる。したがって遠心力Fに相当する疑似牽引力をユーザに対して提示することで、ユーザが遠心力に相当する力を受けたと錯覚することができる。遠心力Fの最大値を算出するタイミングは、理想的には、牽引力提示開始地点x10におけるユーザの移動速度を元に算出することが好ましい。しかしながら、コンテンツ提示装置1においてユーザの移動速度の検知をしてから疑似牽引力を提示するまでに、ユーザの移動速度の情報を取得する時間、及び、牽引力最大値を算出する時間、及び、牽引力制御信号を送信する時間の合計の分だけ処理が遅延すると考えられる。したがって、上記の遅延時間をΔtとした場合に、ユーザの現在地xがx=x10−v・Δt(ユーザの移動速度)となった地点で、運動制御部14からの情報に基づいて疑似牽引力の最大値の算出を開始する構成とすることが考えられる。
なお、疑似牽引力提示部13によりユーザに対して提示する疑似牽引力の大きさは、疑似牽引力の提示開始時からカーブ開始地点までが最も大きく、その後ユーザの進んだ距離に対して線形に牽引力を減少させていき、カーブ終了地点で0となるように設定する方法が考えられる。ただし、疑似牽引力の変化の手法は上記に限定されず、カーブの形状等に応じて適宜設定することができる。
このように、疑似牽引力提示部13が提示する疑似牽引力の提示タイミングや大きさは、映像情報に含まれる情報だけではなく、運動制御部14から提供されるユーザの運動に係るリアルタイムの情報を利用して設定される。したがって、システム制御部11では、事前の処理では、運動制御部14からリアルタイムで取得されるユーザの運動に係る情報から得られる情報と、映像情報に含まれるコースの情報とをどのように対応付けるか、を決め、これを映像情報に対応付けて保持しておく。
なお、上記の疑似牽引力の方向の決定(S12)、疑似牽引力を提示する区間の決定(S13)、及び、疑似牽引力の大きさの決定(S14)は、コース上に設けられたカーブ毎に行われる。したがって、次のカーブに係る牽引力メタ情報が有る場合、すなわち、メタ情報の終端ではない場合(S20−NO)には、上記の一連の処理(S12〜S14)が次のカーブを対象に繰り返される。また、次のカーブに係る牽引力メタ情報が無い場合、すなわち、メタ情報の終端である場合(S20−YES)には、処理が終了となる。
次に、運動負荷制御信号の付与について説明する。運動負荷制御信号の付与は、牽引力制御信号の付与と概ね同じ考え方で処理をすることができる。まず、システム制御部11では、映像情報から運動負荷メタ情報を取得する(S21)。なお、上述したように、牽引力メタ情報と同様に、コースの傾斜(坂道)毎に生成された運動負荷メタ情報が映像情報に予め対応付けられていれば、この運動負荷メタ情報を利用するが、運動負荷メタ情報が予め作成されていない場合は、映像情報に含まれるコースを特定する情報から、傾斜がある区間を特定して、運動負荷メタ情報を生成する必要がある。
具体的には、コース上において単位距離毎の傾斜の変化(差分)が所定の閾値以上となった場合に、当該区間を坂道区間とし、傾斜開始地点と傾斜終了地点とを特定する。傾斜開始地点や傾斜終了地点は、コースのスタート地点からの距離を基準に求められる。傾斜開始地点と傾斜終了地点とを特定することで、当該区間のコースの情報から、傾斜の向き(上り坂、下り坂)や実質的な傾斜の度合い等の運動負荷メタ情報に含まれる情報を求めることができる。
次に、映像情報に含まれるコースの特定の傾斜の運動負荷メタ情報を参照し、傾斜の向きを特定する情報に基づいて、運動負荷のプラス、マイナスを決定する(S22)。傾斜が上り坂となっている場合には、負荷を増加(プラス)させる。一方、下り坂では、負荷を減少(マイナス)させる。このように、傾斜の向きに応じて、運動負荷のプラス、マイナスを決定する。
次に、運動負荷をユーザに提示する区間を決定する(S23)。運動負荷を提示する区間は、単純には、前段階で特定された傾斜区間とすることが考えられる。ただし、疑似牽引力と同様に、運動負荷をユーザに対して提示し始めるタイミングに対して、ユーザが運動負荷の変化を認識するタイミングは若干遅延することが想定される。したがって、このタイミングの差分時間(ユーザが運動負荷を認識するまでの遅延時間)をt(秒)とし、差分時間tを考慮して運動負荷を提示する時間を決定することが好ましい。具体的には、傾斜の開始地点の位置をx11とすると、運動負荷提示開始地点x20はx20=x21−vt(v:ユーザの移動速度)という数式を利用して算出することが好ましい。この運動負荷提示開始地点x20から坂道終了地点までの区間をユーザが移動する際に、ユーザに対して運動負荷を提示する、と設定する態様が考えられる。
次に、上記で決定された運動負荷を発生させる区間においてユーザに対して提示する運動負荷の大きさを決定する(S24)。ユーザに対して提示する運動負荷の大きさは、運動制御部14が提示する運動負荷の大きさを変更可能であれば、コースの運動負荷メタ情報を利用して決定することができる。なお、運動制御部14が提示する運動負荷の大きさが一定である(変更ができない)場合には、大きさの決定に係るプロセスは省略される。運動制御部14が提示する運動負荷の大きさの設定方法は種々考えられるが、例えば、傾斜の大きさに基づいて設定することができる。なお、疑似牽引力と同様に、ユーザの移動速度を考慮して設定してもよい。
このように、運動制御部14が提示する運動負荷の提示タイミングや大きさは、映像情報に含まれる情報だけではなく、運動制御部14から提供されるユーザの運動に係るリアルタイムの情報を利用して設定される。したがって、システム制御部11では、事前の処理では、運動制御部14からリアルタイムで取得されるユーザの運動に係る情報から得られる情報と、映像情報に含まれるコースの情報とをどのように対応付けるか、を決め、これを映像情報に対応付けて保持しておく。
なお、上記の運動負荷のプラス、マイナスの決定(S22)、運動負荷を提示する区間の決定(S23)、及び、運動負荷の大きさの決定(S24)は、コース上の傾斜(坂道)毎に行われる。したがって、次の傾斜に係る運動負荷メタ情報が有る場合、すなわち、メタ情報の終端ではない場合(S20−NO)には、上記の一連の処理(S22〜S24)が次の傾斜を対象に繰り返される。また、次の傾斜に係る運動負荷メタ情報が無い場合、すなわち、メタ情報の終端である場合(S20−YES)には、処理が終了となる。
図4に戻り、上記のような手順で、牽引力制御信号及び運動負荷制信号の付与(S01〜S03)を事前に行う。その後、実際にユーザに対してコンテンツを提示する際には、以下のような手順で行う。
まず、ユーザの運動(本実施形態ではペダルを漕ぐこと)により、ユーザの運動に係る情報が運動制御部14からシステム制御部11へ送られる。この運動制御部14からの情報に基づいて、システム制御部11では、映像情報に含まれるコース上でのユーザの移動速度及び移動量(距離)が決まる。そして、このユーザの移動に応じた映像情報に係る信号がシステム制御部11から映像提示部12へ送られる。これに基づいて、映像提示部12が映像を表示することで、ユーザに対して映像情報が提示される(S04)。
ここで、ユーザの運動により、映像情報に含まれるコース上のカーブの近傍に事前に設定された牽引力提示開始地点x10にユーザが到達した状態になると、システム制御部11は、疑似牽引力提示部13に対して牽引力制御信号を送信する。また、ユーザがコース上の傾斜の近傍に事前に設定された運動負荷提示開始地点x20にユーザが到達すると、システム制御部11は、運動制御部14に対して運動負荷制御信号を送信する(S05)。牽引力制御信号を受信した疑似牽引力提示部13は、信号に含まれる指示に沿って、ユーザに対して所定の向き及び所定の大きさの疑似牽引力を提示する。同様に、運動負荷制御信号を受信した運動制御部14は、信号に含まれる指示に沿って、ユーザに対して所定の運動負荷を提示する(S06)。これにより、ユーザが、コースのカーブに応じた疑似牽引力や、傾斜に応じた運動負荷の提示を受けることになる。
牽引力制御信号は、疑似牽引力を提示する区間をユーザが移動する間、システム制御部11から疑似牽引力提示部13に対して連続して送信される構成としてもよいし、特定のカーブに対応して疑似牽引力を提示する区間にユーザが到達した際に、当該カーブ区間においてユーザに対して提示する疑似牽引力の情報をまとめた信号を疑似牽引力提示部13に対して送信する構成としてもよい。なお、システム制御部11は、運動制御部14から送信されるユーザの運動に係る情報(例えば、移動速度等)を利用して、疑似牽引力提示部13に対して送信する牽引力制御信号を作成する構成とされている場合には、運動制御部14から送信されるユーザの運動に係る情報を適宜使用して、疑似牽引力提示部13に対して送信する情報を作成する。
同様に、運動負荷制御信号は、運動負荷を提示する区間をユーザが移動する間、システム制御部11から運動制御部14に対して連続して送信される構成としてもよいし、特定の傾斜に対応して運動負荷を提示する区間にユーザが到達した際に、当該傾斜の区間においてユーザに対して提示する運動負荷の情報をまとめた信号を運動制御部14に対して送信する構成としてもよい。なお、システム制御部11は、運動制御部14から送信されるユーザの運動に係る情報(移動速度等)を利用して、運動制御部14に対して送信する運動負荷制御信号を作成する構成とされている場合には、運動制御部14からのユーザの運動に係る情報を適宜使用して、運動制御部14に対して送信する情報を作成する。
以上のように、本実施形態に係るコンテンツ提示装置1によれば、映像提示部12により、所定のコースに沿ってユーザが移動する映像情報をユーザに対して提示しながら、疑似牽引力提示部13により、当該映像情報に対応した疑似牽引力を提示することで、ユーザに対して臨場感が高められたコンテンツを提示することができる。
より具体的には、映像情報における所定のコースに含まれるカーブ区間に対応させて、疑似牽引力提示部13により疑似牽引力をユーザに対して提示する構成とすることで、ユーザがカーブ区間を移動する状態の映像情報をユーザに提示する際の臨場感が高められる。
また、コンテンツ提示装置1では、映像情報におけるカーブ区間において、カーブの中心方向への疑似牽引力をユーザに対して提示する構成とすることで、ユーザが実際にカーブ区間を移動しているような感覚を得ることができ、カーブ区間を移動する映像情報をユーザに提示している際のユーザの臨場感が高められる。
また、コンテンツ提示装置1において、疑似牽引力提示部13による疑似牽引力の提示からユーザが当該疑似牽引力を認識するまでの差分時間を考慮して、カーブ区間をユーザが移動する映像情報を提示する前から、疑似牽引力提示部13が疑似牽引力を提示するように制御することで、カーブ区間を移動する際、特にカーブ区間に入る際のユーザが受ける感覚をよりリアルに再現することができ、臨場感がさらに高められる。
また、コンテンツ提示装置1では、ユーザの運動を運動検知部としての運動制御部14が検知し、検知したユーザの運動に連動させて、映像提示部12が提示する映像情報が制御される。このような構成とすることで、ユーザの実際の運動と、映像情報におけるユーザの移動とを関連付けた状態でのコンテンツの提示が可能となるため、ユーザに対して臨場感が高められたコンテンツを提示することができる。
また、映像情報に含まれる所定のコースに含まれる傾斜区間に対応させて、運動負荷提示部としての運動制御部14が運動負荷をユーザに対して提示する構成とすることで、映像情報内で特にユーザが傾斜区間を移動する際の臨場感が高められる。
また、運動負荷提示部としての運動制御部14による運動負荷の提示からユーザが当該運動負荷を認識するまでの差分時間を考慮して、傾斜区間をユーザが移動する映像情報を提示する前から、運動負荷をユーザに対して提示することで、傾斜区間に入る際にユーザが受ける感覚をよりリアルに再現することができ、臨場感がさらに高められる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で以下のような様々な変形が可能である。
例えば、上記実施形態では、コンテンツ提示装置1は、運動制御部14からのユーザの運動に係る情報に基づいてユーザに対して提示する映像情報を制御している場合について説明したが、ユーザの運動とは連動しない構成であってもよい。すなわち、ユーザの運動と映像情報との対応関係を有することなくユーザに対して映像情報を提示する構成としてもよい。その場合でも、疑似牽引力を提示する構成を備えることで、映像情報のみをコンテンツとして提示する場合と比較して、ユーザの臨場感を高めることができる。また、コンテンツ提示装置1は、ユーザに対して運動負荷を提示しない構成であってもよい。
また、上記実施形態では、コンテンツ提示装置1は、映像情報における所定のコースのカーブ区間を変動区間と設定し、カーブ区間において疑似牽引力を提示する構成について説明したが、映像情報内で想定されるユーザの移動手段等によって、疑似牽引力を提示する区間を変更することができる。例えば、ユーザが上下方向に移動しながら所定のコースを移動するような状況を想定した映像情報をユーザに対して提示する場合には、ユーザが上下方向に移動する区間を変動区間として設定し、当該区間においては、映像情報をユーザに提示する際に、上方向又は下方向への疑似牽引力を組み合わせて提示することで、ユーザの上下方向への移動を感覚的に誘導することができる。このように、映像情報内で想定されるユーザの移動手段や移動方向に応じて、変動区間を適宜変更することができる。また、変動区間においてユーザに対して提示する疑似牽引力の方向や大きさ等を適宜変更することができる。
1…コンテンツ提示装置、11…システム制御部、12…映像提示部、13…疑似牽引力提示部、14…運動制御部。

Claims (7)

  1. ユーザに対して、当該ユーザが所定のコースに沿って移動することを示す映像情報を提示する映像提示部と、
    疑似牽引力をユーザに対して提示する疑似牽引力提示部と、
    前記映像提示部による前記映像情報の提示と、前記ユーザに対して提示する前記映像情報に対応した前記疑似牽引力提示部による前記疑似牽引力の提示と、を制御するシステム制御部と、
    を有するコンテンツ提示装置。
  2. 前記システム制御部は、前記映像情報に含まれる前記所定のコースに含まれて当該コースに変化が生じる変動区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示する間、前記疑似牽引力提示部が前記変動区間に対応した疑似牽引力を前記ユーザに対して提示するように、前記映像提示部と前記疑似牽引力提示部とを制御する請求項1に記載のコンテンツ提示装置。
  3. 前記疑似牽引力提示部は、前記変動区間がカーブ区間である場合に、当該カーブ区間に対応して、当該カーブの中心方向への疑似牽引力を前記ユーザに対して提示する請求項2に記載のコンテンツ提示装置。
  4. 前記システム制御部は、前記疑似牽引力提示部による疑似牽引力の提示から前記ユーザが当該疑似牽引力を認識するまでの差分時間に基づいて、前記変動区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示開始するタイミングよりも前から、前記疑似牽引力提示部が前記変動区間に対応した疑似牽引力を前記ユーザに対して提示するように、前記映像提示部と前記疑似牽引力提示部とを制御する請求項2又は3に記載のコンテンツ提示装置。
  5. 前記ユーザが運動可能なユーザ運動部と、
    前記ユーザ運動部における前記ユーザの運動を検知する運動検知部と、を有し、
    前記システム制御部は、前記運動検知部が検知した前記ユーザの運動に連動させて、前記映像提示部による前記ユーザに対して提示する前記映像情報を制御する請求項1〜4のいずれか一項に記載のコンテンツ提示装置。
  6. 前記ユーザが運動可能なユーザ運動部と、
    前記ユーザ運動部における運動負荷を前記ユーザに対して提示する運動負荷提示部と、を有し、
    前記システム制御部は、前記所定のコースに含まれる傾斜区間を前記ユーザが移動する映像情報を、前記映像提示部が前記ユーザに対して提示する間、前記運動負荷提示部が前記傾斜区間に対応した運動負荷を前記ユーザに対して提示するように、前記映像提示部と前記運動負荷提示部とを制御する請求項1〜5のいずれか一項に記載のコンテンツ提示装置。
  7. 前記システム制御部は、前記運動負荷提示部による運動負荷の提示から前記ユーザが当該運動負荷を認識するまでの差分時間に基づいて、前記傾斜区間を前記ユーザが移動する映像情報を前記映像提示部が前記ユーザに対して提示開始するタイミングよりも前から、前記運動負荷提示部が前記傾斜区間に対応した運動負荷を前記ユーザに対して提示するように、前記映像提示部と前記運動負荷提示部とを制御する請求項6に記載のコンテンツ提示装置。
JP2016113785A 2016-06-07 2016-06-07 コンテンツ提示装置 Active JP6691434B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016113785A JP6691434B2 (ja) 2016-06-07 2016-06-07 コンテンツ提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016113785A JP6691434B2 (ja) 2016-06-07 2016-06-07 コンテンツ提示装置

Publications (2)

Publication Number Publication Date
JP2017220026A true JP2017220026A (ja) 2017-12-14
JP6691434B2 JP6691434B2 (ja) 2020-04-28

Family

ID=60658062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016113785A Active JP6691434B2 (ja) 2016-06-07 2016-06-07 コンテンツ提示装置

Country Status (1)

Country Link
JP (1) JP6691434B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188106A (ja) * 2007-02-01 2008-08-21 Navitime Japan Co Ltd トレーニングシステム、サーバ及びトレーニングマシン
JP2011183374A (ja) * 2010-02-10 2011-09-22 Sanyo Electric Co Ltd 電子機器
US20140232646A1 (en) * 2011-10-21 2014-08-21 Bayer Intellectual Property Gmbh Dielectric elastomer membrane feedback apparatus, system and method
WO2016036447A2 (en) * 2014-09-02 2016-03-10 Apple Inc. Semantic framework for variable haptic output

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008188106A (ja) * 2007-02-01 2008-08-21 Navitime Japan Co Ltd トレーニングシステム、サーバ及びトレーニングマシン
JP2011183374A (ja) * 2010-02-10 2011-09-22 Sanyo Electric Co Ltd 電子機器
US20140232646A1 (en) * 2011-10-21 2014-08-21 Bayer Intellectual Property Gmbh Dielectric elastomer membrane feedback apparatus, system and method
WO2016036447A2 (en) * 2014-09-02 2016-03-10 Apple Inc. Semantic framework for variable haptic output

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020031497A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 触覚提示装置の事前駆動
JPWO2020031497A1 (ja) * 2018-08-10 2021-12-09 ソニーグループ株式会社 触覚提示装置の事前駆動
US11482086B2 (en) 2018-08-10 2022-10-25 Sony Corporation Drive control device, drive control method, and program
JP7380568B2 (ja) 2018-08-10 2023-11-15 ソニーグループ株式会社 触覚提示装置の事前駆動

Also Published As

Publication number Publication date
JP6691434B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
US10782779B1 (en) Feedback coordination for a virtual interaction
US20150302651A1 (en) System and method for augmented or virtual reality entertainment experience
JP6585358B2 (ja) 感覚データを触覚効果に変換するシステム及び方法
Schoop et al. Hindsight: enhancing spatial awareness by sonifying detected objects in real-time 360-degree video
US20070229397A1 (en) Virtual reality system
US10080955B2 (en) Data processing apparatus and method of controlling display
KR102142062B1 (ko) Vr 콘텐츠 연동 홈 트레이닝 장치
US20180182261A1 (en) Real Time Car Driving Simulator
KR20150131215A (ko) 3d 모바일 및 커넥티드 tv 광고 트래피킹 시스템
US20210056866A1 (en) Portable Reading, Multi-sensory Scan and Vehicle-generated Motion Input
JP6215366B2 (ja) 漫画データ生成装置、漫画データ表示装置及びその方法、並びにそのコンピュータープログラム
KR20230131385A (ko) 스마트폰을 이용한 가상현실 스피닝 게임 제공 방법 및 시스템
JP6691434B2 (ja) コンテンツ提示装置
CN110705063A (zh) 一种模拟震动方法、系统及存储介质
JP2017220224A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
US20170239550A1 (en) Training apparatus, training method, storage medium, and training system
KR102606116B1 (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
JP6290942B2 (ja) 漫画データ生成装置、その方法、そのコンピュータプログラム、及び漫画データ表示装置
CN108721890B (zh) Vr动作适配方法、装置及可读存储介质
JP5690580B2 (ja) 視聴覚端末、視聴覚認証システム及び制御プログラム
JPH11153949A (ja) 体感モーション装置
US11107364B2 (en) Method to enhance first-person-view experience
US20210223867A1 (en) Signal generation device, signal generation method, program, reproduction device
JP2006031229A (ja) 移動体シミュレーション装置及び移動体シミュレーションプログラム
CN112752190A (zh) 音频调整方法以及音频调整装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200410

R150 Certificate of patent or registration of utility model

Ref document number: 6691434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250