JP2019197479A - プログラム、及び情報処理装置 - Google Patents

プログラム、及び情報処理装置 Download PDF

Info

Publication number
JP2019197479A
JP2019197479A JP2018092246A JP2018092246A JP2019197479A JP 2019197479 A JP2019197479 A JP 2019197479A JP 2018092246 A JP2018092246 A JP 2018092246A JP 2018092246 A JP2018092246 A JP 2018092246A JP 2019197479 A JP2019197479 A JP 2019197479A
Authority
JP
Japan
Prior art keywords
user
target object
virtual space
belongings
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018092246A
Other languages
English (en)
Other versions
JP6731015B2 (ja
Inventor
眞晃 山際
Saneaki Yamagiwa
眞晃 山際
晃之 鳥山
Teruyuki Toriyama
晃之 鳥山
英高 宮崎
Hidetaka Miyazaki
英高 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2018092246A priority Critical patent/JP6731015B2/ja
Priority to US16/377,486 priority patent/US11086505B2/en
Publication of JP2019197479A publication Critical patent/JP2019197479A/ja
Application granted granted Critical
Publication of JP6731015B2 publication Critical patent/JP6731015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Abstract

【課題】仮想空間内でオブジェクトを取得する操作をユーザーにとって分かりやすい態様で実現することのできるプログラムを提供する。【解決手段】仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付けるためのプログラムであって、所与の視点の位置、及び向きに基づいて仮想空間内の様子を示す空間画像を描画し、対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付けた際に、対象オブジェクトが追加された所持品の一覧を、視点の位置、及び向きに応じて決定される仮想空間内の位置に配置する処理を情報処理装置に実行させるためのプログラムである。【選択図】図1

Description

本発明は、仮想空間内の様子を示す画像を描画するプログラム、情報処理装置、及びその制御方法に関する。
コンピュータゲームなどでは、仮想空間内に各種のオブジェクトを配置し、その様子を示す画像を描画してユーザーに提示することが行われている。このような技術においては、仮想空間内に設定された視点位置から所与の視線方向に向かって仮想空間の様子を見た様子が描画されることとなる。ユーザーの指示に応じてこの視点位置及び視線方向を変化させることによって、ユーザーはあたかも実際に仮想空間内を動き回っているかのような臨場感で、仮想空間の様子を観覧することができる。さらに、ユーザーは、自身が所持する操作デバイスを操作するなどして、仮想空間内に配置されたオブジェクトに対する操作を実現することができる。
上記従来例の技術においては、ユーザーが仮想空間内に配置されたオブジェクトを取得して自身の所持品に加えるなどの操作が受け付けられる場合がある。このような仮想空間内の操作に対応したユーザーインタフェースの実現方法については、まだ十分に検討されていない。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、仮想空間内でオブジェクトを取得する操作をユーザーにとって分かりやすい態様で実現することのできるプログラム、情報処理装置、及びその制御方法を提供することにある。
本発明に係るプログラムは、仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置を制御するためのプログラムであって、所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと、前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付ける受付ステップと、前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置する制御ステップと、を前記情報処理装置に実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明に係る情報処理装置は、仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置であって、所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する空間画像描画部と、前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付ける操作受付部と、前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置するオブジェクト制御部と、を含むことを特徴とする。
本発明に係る情報処理装置の制御方法は、仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置の制御方法であって、所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画するステップと、前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付けるステップと、前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置するステップと、を含むことを特徴とする。
本発明の実施の形態に係る情報処理装置を含む映像表示システムの全体概要を示す図である。 映像表示システムの構成ブロック図である。 情報処理装置の機能ブロック図である。 ユーザーが所持対象オブジェクトOを掴んでいる状態を示す図である。 所持品一覧が表示された状態を示す図である。 奥行方向に並んだ所持品一覧が表示された状態を示す図である。 奥行方向に並んだ所持品一覧を別の角度から見た様子を示す図である。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置10を含む映像表示システム1の全体概要図である。また、図2は映像表示システム1の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム1は、情報処理装置10と、カメラ20と、2個の操作デバイス30R及び30Lと、表示装置40と、を含んで構成されている。
情報処理装置10は、表示装置40が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図2に示されるように、情報処理装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。
制御部11は、CPU等であって、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、カメラ20、操作デバイス30R及び30L、並びに表示装置40との間のデータ通信のためのインタフェースである。情報処理装置10は、インタフェース部13を介して有線又は無線のいずれかでカメラ20、操作デバイス30R、操作デバイス30L、及び表示装置40のそれぞれと接続される。具体的にインタフェース部13は、情報処理装置10が供給する映像や音声を表示装置40に送信するために、HDMI(登録商標)(High-Definition Multimedia Interface)等のマルチメディアインタフェースを含むこととする。また、カメラ20によって撮像された映像データや、操作デバイス30R及び操作デバイス30Lに対するユーザーの操作入力の内容を示す信号を受信するために、USB(Universal Serial Bus)等のデータ通信インタフェースを含んでいる。
カメラ20は、映像表示システム1を利用するユーザーの前方に設置され、ユーザー及びその周辺を含んだ映像を撮像する。特に本実施形態では、カメラ20はステレオカメラであるものとし、所定距離離れて配置された2個の撮像素子を含んで構成される。この2個の撮像素子で同時に撮影された画像の差分(視差)を解析することによって、情報処理装置10は、カメラ20の視野内に存在する物体までの距離を測定することができる。すなわち、本実施形態においてカメラ20は、視野範囲内に存在する物体までの距離を検出可能な距離画像センサーとして機能する。情報処理装置10は、カメラ20の撮像画像を解析することによって、操作デバイス30R、操作デバイス30L、及び表示装置40の現実空間内における位置を特定する。
操作デバイス30R及び30Lは、ユーザーからの操作入力を受け付けるためのデバイスであって、それぞれの表面には操作ボタン等の操作部材が配置されている。ユーザーは、操作デバイス30R及び30Lを手で把持したり、手に装着したりして、操作部材に対する操作入力を行う。特に本実施形態では、ユーザーは操作デバイス30Rを右手で、操作デバイス30Lを左手で、それぞれ操作することとする。操作デバイス30R及び30Lは、それぞれ、ユーザーが行った操作入力の内容を示す操作信号を、情報処理装置10に送信する。
また、本実施形態において操作デバイス30R及び30Lのそれぞれには発光部が設けられており、発光部から光を発するように構成されている。カメラ20でこの発光部からの光を撮像することによって、情報処理装置10は操作デバイス30R及び30Lの現実空間内における位置を特定することができる。
表示装置40は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置10から送信される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、表示装置40は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に互いに独立に映像を表示するものとする。これにより表示装置40は、視差を利用した立体映像をユーザーに提示することができる。
また、操作デバイス30R及び30Lと同様、表示装置40の前面には発光部が設けられていることとする。この発光部からの光をカメラ20が撮像することによって、情報処理装置10は表示装置40の現実空間内における位置を特定できる。特に本実施形態では、表示装置40の前面に複数の発光部が設けられており、これらの発光部の位置関係を特定することによって、情報処理装置10は表示装置40の姿勢の変化を特定することとする。これにより、ユーザーが頭を動かして顔の向きを変化させたりした際に、情報処理装置10はその向きの変化を特定できる。
次に、情報処理装置10が実現する機能について図3を用いて説明する。図3に示すように、情報処理装置10は、機能的に、仮想空間構築部51と、操作受付部52と、オブジェクト制御部53と、空間画像描画部54と、を含んでいる。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
仮想空間構築部51は、各種のオブジェクトが配置された仮想空間を構築し、その内部に配置されたオブジェクトの挙動を制御する。本実施形態において情報処理装置10は、仮想空間内に配置された各種のオブジェクトをユーザーが観察したり操作したりしながら進行していくゲームを実現することとする。仮想空間構築部51は、このゲームに登場する人物や物などを表すオブジェクトを仮想空間内に配置する。また、仮想空間内には後述する空間画像を描画する際の基準位置となる視点が配置される。さらに、視点には視線方向が設定される。
特に本実施形態では、仮想空間内に配置されるオブジェクトのうち、一部のオブジェクトはユーザーが手で掴んで動かす操作を実行できるように設定されている。さらに、このような操作が可能なオブジェクトの一部、又は全部は、ユーザーがアイテム(所持品)として所持可能に設定されている。以下では、ユーザーが所持可能なオブジェクトを所持対象オブジェクトOという。ユーザーは仮想空間内に配置された所持対象オブジェクトOに対して後述する収納操作を行うことで、その所持対象オブジェクトOを自身の所持品に加えることができる。さらにユーザーは、所持品として収納されている所持対象オブジェクトOを取り出す取り出し操作を行うことで、その所持対象オブジェクトOを仮想空間内で再び操作することができる。これによりユーザーは、仮想空間内に配置されていた処理対象オブジェクトOを所持し、別の場所で使用するなどして、ゲームを進行させることができる。収納操作、及び取り出し操作の内容については、後に詳しく説明する。
操作受付部52は、ユーザーから所持対象オブジェクトOに対する指示操作を受け付ける。具体的に、本実施形態においてユーザーは、両手で保持した操作デバイス30R及び30Lを移動させたり、その表面に配置された操作部材を操作したりすることによって、指示操作を行う。前述したように、カメラ20の撮像画像を解析することによって、操作受付部52は操作デバイス30R及び30Lそれぞれの現実空間内における位置を特定できる。この位置の変化が、ユーザーによる指示操作の一種として受け付けられる。
また、操作受付部52は、仮想空間内に設定された視点の位置や向きを変化させる視点変更指示もユーザーから受け付けることとする。この視点変更指示は、操作デバイス30R又は30Lに設けられた所定の操作部材に対する操作によって実現されてよい。また、操作受付部52は、ユーザーが自分の顔を動かす操作を視点変更指示として受け付けてもよい。具体的に操作受付部52は、カメラ20の撮像画像を解析して特定される表示装置40の位置及び向きの変化を特定する。特定された内容は、ユーザーの顔の動きに対応していると想定される。この表示装置40の位置及び向きの変化が、視点変更指示の一種として受け付けられる。
オブジェクト制御部53は、操作受付部52が受け付けたユーザーからの操作内容に応じて、仮想空間内に配置された所持対象オブジェクトOを移動させたり、その状態を変化させたりする制御を実行する。
また、オブジェクト制御部53は、ユーザーの視点変更指示に応じて、仮想空間内に設定された視点の位置及び向きを変化させる。特に表示装置40の位置及び向きの変化に連動するように視点の位置及び向きを変化させることによって、ユーザーは実際に自分の周囲を見回す動きをすることで仮想空間内における周囲の様子を把握することができる。
空間画像描画部54は、オブジェクト制御部53によって位置及び向きが変化する視点から仮想空間内を見た様子を示す空間画像を描画し、表示装置40に対して出力する。この空間画像を表示装置40が表示することで、ユーザーは自身の視点変更指示に応じて移動する視点から仮想空間内を見た様子を観覧できる。なお、空間画像描画部54は、視点の位置を中心として左右に並んだ二つの視点カメラのそれぞれから仮想空間内を見た様子を示す二つの画像を描画することとする。これらの画像をそれぞれユーザーが左目、右目のそれぞれで見ることで、仮想空間内の様子を立体的に認識することができる。
以下、所持対象オブジェクトOに対するユーザーの操作内容、及びその内容に応じてオブジェクト制御部53が実行する制御の内容について、説明する。仮想空間内に配置された各種のオブジェクトをユーザーが操作できるようにするために、仮想空間内にはユーザーの両手に対応する手オブジェクトHR及びHLが配置されることとする。ユーザーが操作デバイス30R及び30Lを保持した状態で自身の手を動かすと、操作受付部52が操作デバイス30R及び30Lの動きを特定し、オブジェクト制御部53がその動きに連動するように仮想空間内の手オブジェクトHR及びHLを移動させる。これによりユーザーは、仮想空間内に配置された各種のオブジェクトに手オブジェクトHR又はHLを近づけたり、接触させたりすることができる。
手オブジェクトHRが所持対象オブジェクトOに近づいた状態で、ユーザーが操作デバイス30Rに配置された所定の操作ボタン(以下、トリガーボタンという)を押下する操作を行うと、所持対象オブジェクトOを掴むことができる。本実施形態では、ユーザーがトリガーボタンを押下している間、手オブジェクトHRは所持対象オブジェクトOを掴み続けることとし、その状態でユーザーが右手を動かすことによって、所持対象オブジェクトOを仮想空間内で移動させることができる。図4は、ユーザーが所持対象オブジェクトO(ここでは手紙)を手オブジェクトHRで掴んで動かしている状態を示している。なお、ここではユーザーは右手で操作デバイス30Rのトリガーボタンを操作して所持対象オブジェクトOを掴むこととしたが、操作デバイス30Lにも同様にトリガーボタンが設けられており、ユーザーは左手でもここで説明するのと同様の操作を実行できるものとする。
図4のマーカーMは、ユーザーが所持対象オブジェクトOを掴む直前にその所持対象オブジェクトOが配置されていた場所を示している。このマーカーMが表示されている位置の近傍でユーザーが所持対象オブジェクトOを離す解放操作を行うと、オブジェクト制御部53は、所持対象オブジェクトOをマーカーMが表示されていた場所に再び配置する。なお、マーカーMは、ユーザーが所持対象オブジェクトOを掴む操作を行ったタイミングで表示され始め、ユーザーが解放操作を行って所持対象オブジェクトOを元の位置に戻したタイミングで表示されなくなる。
この例における解放操作は、所持対象オブジェクトOを掴んでいる間押し続けていたトリガーボタンを解放する操作であってよい。つまり、ユーザーはトリガーボタンを押し続けながら操作オブジェクト30Rを現実空間内で動かすことで所持対象オブジェクトOを任意の場所に移動でき、マーカーMの近傍でトリガーボタンから指を離すことで所持対象オブジェクトOを手放し、元の場所に戻すことができる。これは、現実空間で実際に人が物を掴んだり置いたりする際の動作に近くなっている。そのため、このような操作方法によれば、ユーザーは違和感なく仮想空間内の所持対象オブジェクトOを操作することができる。
さらに、マーカーMの近傍以外の位置でユーザーが解放操作を行った場合、オブジェクト制御部53は、所持対象オブジェクトOをユーザーの所持品に加えることとする。つまり、マーカーMの近傍の所定範囲以外の場所でユーザーが所持対象オブジェクトOの解放操作を行うことが、前述した収納操作に該当する。オブジェクト制御部53は、解放操作が受け付けられた場合、その操作が行われた位置に応じて、所持対象オブジェクトOを仮想空間内に再配置するか、又は所持品に追加するかを決定することになる。
ユーザーが収納操作(すなわち、所持対象オブジェクトOの解放操作)を行うと、オブジェクト制御部53は、マーカーMを非表示にするとともに、所持品一覧を仮想空間内に配置する。本実施形態における所持品一覧は、所持品の収納場所を示すプレートP、及び所持品のそれぞれを示す小さなオブジェクト(サムネイルオブジェクト)が配列されて構成されている。さらにオブジェクト制御部53は、収納操作の対象となった所持対象オブジェクトOを表すサムネイルオブジェクトを、この所持品一覧に追加する。このような所持品一覧が配置された仮想空間の様子を空間画像描画部54が描画することによって、ユーザーは、所持対象オブジェクトOが自分の所持品に加えられたことを把握することができる。
図5は、図4に示す状態でユーザーが収納操作を行った場合の表示例を示している。この図においては、所持品の収納場所となるプレートPが縦方向に2行、横方向に3列で計6個並んで配置されており、そのうちの一部のプレートP上に所持品を表すサムネイルオブジェクトが配置されている。また、図4でユーザーが掴んでいた所持対象オブジェクトOである手紙を表すサムネイルオブジェクトが、所持品の一つとして表示されている。この状態でユーザーが顔を動かして仮想空間内の視点の位置を移動させた場合、所持品一覧は仮想空間内の最初に配置された位置に固定されたままとなる。そのため、ユーザーは仮想空間内の他のオブジェクトと同じように、所持品一覧を異なる角度から視認することもできる。
所持品一覧を仮想空間内に配置する際の配置位置は、少なくとも表示タイミングにおける視点の位置、及び向きに応じて決定される。より具体的に、オブジェクト制御部53は、視点の位置、及び向きを基準として、ユーザーから見やすい高さや距離で表示されるように、所持品一覧の位置、及び向きを決定する。図5では、視点の向きに対して交差する仮想空間内の平面に沿って、プレートP及び所持品を表すサムネイルオブジェクトが並んで配置されている。
さらにオブジェクト制御部53は、ユーザーが収納操作を行った時点における所持対象オブジェクトOの位置に応じて、所持品一覧の配置位置を決定してもよい。図5の例では、所持対象オブジェクトOの収納操作が受け付けられたタイミングにおいて、手オブジェクトHRが所持対象オブジェクトOを掴んでいた位置の近傍に、所持品一覧が表示されている。このように、収納操作が行われたタイミングにおける所持対象オブジェクトOの位置に対応する場所に所持品一覧を配置することで、収納操作によって所持対象オブジェクトOが所持品一覧に追加されたことをユーザーが把握しやすくなる。
また、オブジェクト制御部53は、ユーザーが収納操作を左右どちらの手で行ったかに応じて、所持品一覧の配置位置を決定してもよい。具体的には、右手で保持している操作デバイス30Rに対して収納操作が行われた場合、ユーザーから見て右方向の所定位置に所持品一覧を配置し、左手で保持している操作デバイス30Lに対して収納操作が行われた場合、ユーザーから見て左方向の所定位置に所持品一覧を配置する。
なお、オブジェクト制御部53は、所持品一覧を表示してから所定時間が経過したり、ユーザーが特に所持品一覧の消去に割り当てられた操作を行ったりした場合に、所持品一覧を消去してもよい。また、ユーザーが自分の頭を動かしたり視点変更指示を行ったりした結果、ユーザーの視界から所持品一覧が外れた場合に、所持品一覧を消去してもよい。
以上の説明では、ユーザーが収納操作を行うことで所持品一覧が表示されることとしたが、オブジェクト制御部53は、ユーザーが所持品一覧の表示に割り当てられた別の操作(例えば一覧表示用のボタンの押下操作)を行った場合にも、所持品一覧を表示してよい。
所持品一覧が表示された状態でユーザーが所持品一覧内のいずれかのサムネイルオブジェクトに手オブジェクトHR又はHLを近づけ、トリガーボタンを押下して掴む操作を行うと、そのサムネイルオブジェクトに対応する所持対象オブジェクトOを掴んだ状態にすることができる。すなわち、所持品一覧内のサムネイルオブジェクトを掴む操作が、前述した取り出し操作に該当する。さらに、取り出し操作の直後など、所持品一覧が表示されている状態でユーザーがいずれかの所持対象オブジェクトOを掴んでいる場合、ユーザーが表示中の空きプレートP(サムネイルオブジェクトが配置されていないプレートP)の近くで解放操作を行うと、そのプレートPに所持対象オブジェクトOを配置することができる。つまり、所持品一覧の表示中にも、所持品一覧が表示されていない場合と同様に、所持対象オブジェクトOの解放操作が、その所持対象オブジェクトOを所持品に加える収納操作となる。なお、ここでは空きプレートPの近くで解放操作を行うとそのプレートPに所持対象オブジェクトOに対応するサムネイルオブジェクトが配置されることとしたが、これに限らず、所定のルールに従って決定されたいずれかの空きプレートPにサムネイルオブジェクトを配置することとしてもよい。
以上説明したように、所持対象オブジェクトOを仮想空間内の元の場所に戻すための操作と自身の所持品に加える操作とを同じ解放操作にすることで、ユーザーは所持品一覧を表示させるために別途の操作を行ったりすることなく、簡単に仮想空間内のオブジェクトを自身の所持品に加えることができる。また、仮想空間内に配置された所持対象オブジェクトOを掴む操作と同じ操作で、所持品一覧の中から所持品を取り出すことができる。そのためユーザーは、所持対象オブジェクトOが自身の所持品に加えられる前であっても加えられた後であっても、同じ操作でそのオブジェクトを操作することができる。
また、以上の例では所持品一覧には所持品を配置する6個のプレートPが含まれることとした。一度に所有可能な所持対象オブジェクトOの数がこの数を超える場合、2次元の画面内に所持品一覧を表示するのであれば、画面をスクロールさせたり切替えたりして、一度に表示可能な数を超える所持品をユーザーに提示することが考えられる。しかしながら、所持品一覧を仮想空間内に配置してユーザーに提示する場合、このようなスクロールなどによる表示方法はユーザーに違和感を感じさせる場合がある。そこでオブジェクト制御部53は、所持品の数が同一平面内に一度に配置可能な数(ここでは6個)を超えた場合、視点から見て前後方向に並んで配置された複数の平面のそれぞれに沿って、所持品を配置することとする。
図6は、同一平面内に一度に配置可能な6個を超える8個の所持品をユーザーが所持している場合の所持品一覧の表示例を示している。ここでは、ユーザーから見て奥側の平面に沿って、取得した時期が古い順に6個の所持品を収納する6個のプレートP1が配置されている。そして、ユーザーから見て手前側(すなわち、視点により近い側)の平面に沿って、6個のプレートP2、及び比較的最近取得した2個の所持対象オブジェクトO(ここでは手紙、及び花)を表すサムネイルオブジェクトが配置されている。このように、奥行方向に並んだ複数の平面のそれぞれに所持品を並べて配置することによって、仮想空間内において違和感の少ない態様で多数の所持品を一覧表示することができる。
さらに、これまでの例では、同一平面に沿って配置された各プレートPは、互いに一定の間隔を空けて離れて配置されている。そのため、ユーザーは手前側の平面に沿って並んだプレートPの間から、奥側の平面に沿って並んだプレートP、及びサムネイルオブジェクトを閲覧することができる。なお、この図6の例では、奥行方向に並んだ複数の平面は、互いに平行な平面であって、かつ、所持品一覧を表示するタイミングにおける視線方向(視点の向き)に対して、交差するように配置されている。この場合に、視線方向から見て前後に並んだサムネイルオブジェクトが互いに重ならないように、プレートP、及びサムネイルオブジェクトの各平面内における配置位置は、手前側の平面と奥側の平面とでずれるようにしてもよい。こうすれば、奥側の平面に配置されているサムネイルオブジェクトが、手前側の平面に配置されているサムネイルオブジェクトの影に隠れて見えにくくなる状態を回避できる。
また、このように前後方向に並んだ複数の平面に沿って所持品一覧が配置された状態で、ユーザーが頭を動かして視点の位置、及び向きを変化させると、所持品が並んだ各平面を斜め方向から見ることができる。これによりユーザーは、奥側の平面内に配置されたサムネイルオブジェクトも容易に確認することができる。すなわち、本実施形態では所持品一覧を構成する各オブジェクトが仮想空間内に固定されるので、ユーザーは視点を動かすことで前後方向に並んだ所持品のそれぞれを把握しやすくなっている。図7は、図6に示した所持品一覧をこのように斜め方向から見た様子を示している。
以上説明したように、本実施形態に係る情報処理装置10によれば、所持対象オブジェクトOの収納操作が受け付けられた場合に、仮想空間内のユーザーの視点に応じた位置に所持品一覧を配置するとともにその所持品一覧に所持対象オブジェクトOを加えることで、仮想空間内において違和感が少ない方法で、かつ容易に、所持品への追加を行うことができる。また、収納操作をユーザーが仮想空間内でオブジェクトを置く(手放す)操作と同様の操作とすることで、収納操作を直感的に理解しやすくしている。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では、ユーザーは所持対象オブジェクトOを掴んだ後、その所持対象オブジェクトOを元の(掴む前の)位置に戻すか、所持品一覧に追加するかのいずれかの操作しか行えないこととしたが、所持対象オブジェクトOに対する操作はこのようなものに限られない。例えばユーザーは、所持対象オブジェクトOを仮想空間内における元の位置とは別の場所に置くことができてもよい。この場合、オブジェクト制御部53は、ユーザーが解放操作を行ったタイミングにおける所持対象オブジェクトOの位置が、他のオブジェクトの上など、その所持対象オブジェクトOを配置可能な位置か否かに応じて、処理内容を変化させてもよい。具体的に、所持対象オブジェクトOを配置可能な位置でユーザーが解放操作を行った場合にはその位置に所持対象オブジェクトOを配置することとし、それ以外の場所で解放操作が行われた場合には、所持品一覧を表示して所持対象オブジェクトOを所持品に追加することとしてもよい。
また、以上の説明ではユーザーがオブジェクトを掴む操作はトリガーボタンを押し続ける操作であって、解放操作はトリガーボタンから指を離す操作であることしたが、これらの操作は例示であって、情報処理装置10はユーザーからこれとは異なる内容の操作を受け付けてもよい。例えばオブジェクト制御部53は、ユーザーが所定のボタンを一度押す操作が受け付けられた場合に所持対象オブジェクトOを手オブジェクトHで掴むこととし、同じボタンがもう一度押された場合に、その操作を解放操作として受け付け、所持対象オブジェクトOを仮想空間内に配置したり所持品として収納したりしてもよい。また、以上の説明ではユーザーは両手で二つの操作デバイス30を保持し、そのそれぞれを操作することとしたが、いずれか一方の手だけで一つの操作デバイス30を保持し、指示操作を行うこととしてもよい。さらに、収納操作や取り出し操作は操作デバイス30に対する操作に限られず、手や指の動きによるジェスチャー操作などであってもよい。
また、以上の説明における所持品一覧の構成も例示であって、所持品一覧の内容は各種のものであってよい。例えば、一度に表示される所持品の数や配置は、これ以外のものであってもよい。また、以上の説明では一定の間隔で並んだプレートPの上にサムネイルオブジェクトを配置することで所持品を一覧表示することとしたが、プレートPは以上の例とは別の形状であってもよいし、また、そもそもプレートPを配置せずともよい。
また、以上の説明では操作デバイス30や表示装置40の位置の変化をカメラ20の撮像画像によって特定することとしたが、これに限らず、例えば操作デバイス30や表示装置40に内蔵されたモーションセンサーの検出結果を使用するなど、情報処理装置10は各種の方法でユーザーの顔や手の動きを検出してもよい。
1 映像表示システム、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、20 カメラ、30R,30L 操作デバイス、40 表示装置、51 仮想空間構築部、52 操作受付部、53 オブジェクト制御部、54 空間画像描画部。

Claims (7)

  1. 仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置を制御するためのプログラムであって、
    所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと、
    前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付ける受付ステップと、
    前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置する制御ステップと、
    を前記情報処理装置に実行させるためのプログラム。
  2. 請求項1に記載のプログラムにおいて、
    前記収納操作は、前記対象オブジェクトを掴んだ状態から解放する操作であって、
    前記制御ステップでは、前記解放する操作が行われた位置に応じて、前記対象オブジェクトを前記仮想空間内に配置するか、又は前記対象オブジェクトを所持品に追加するかを決定する
    ことを特徴とするプログラム。
  3. 請求項1又は2に記載のプログラムにおいて、
    前記制御ステップでは、前記所持品の一覧として、前記視点の向きと交差する平面に沿って、前記所持品を表すオブジェクトを配置する
    ことを特徴とするプログラム。
  4. 請求項3に記載のプログラムにおいて、
    前記制御ステップでは、前記所持品の数が所定数を超える場合、それぞれ前記視点の向きと交差し、かつ前記視点から見て前後方向に沿って並んだ複数の平面のそれぞれに沿って、前記所持品を表すオブジェクトを配置する
    ことを特徴とするプログラム。
  5. 請求項1から4のいずれかに記載のプログラムにおいて、
    前記制御ステップでは、前記収納操作が受け付けられた際における前記対象オブジェクトの前記仮想空間内における位置に応じて、前記所持品の一覧を配置する位置を決定する
    ことを特徴とするプログラム。
  6. 仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置において、
    所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する空間画像描画部と、
    前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付ける操作受付部と、
    前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置するオブジェクト制御部と、
    を含むことを特徴とする情報処理装置。
  7. 仮想空間内に配置された対象オブジェクトに対する操作をユーザーから受け付ける情報処理装置の制御方法であって、
    所与の視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画するステップと、
    前記対象オブジェクトを自身の所持品に追加する収納操作をユーザーから受け付けるステップと、
    前記収納操作が受け付けられた際に、前記対象オブジェクトが追加された所持品の一覧を、前記視点の位置、及び向きに応じて決定される前記仮想空間内の位置に配置するステップと、
    を含むことを特徴とする情報処理装置の制御方法。
JP2018092246A 2018-05-11 2018-05-11 プログラム、及び情報処理装置 Active JP6731015B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018092246A JP6731015B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置
US16/377,486 US11086505B2 (en) 2018-05-11 2019-04-08 Program, information processing device, and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018092246A JP6731015B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2019197479A true JP2019197479A (ja) 2019-11-14
JP6731015B2 JP6731015B2 (ja) 2020-07-29

Family

ID=68464772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018092246A Active JP6731015B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置

Country Status (2)

Country Link
US (1) US11086505B2 (ja)
JP (1) JP6731015B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138192A1 (zh) * 2022-01-24 2023-07-27 腾讯科技(深圳)有限公司 控制虚拟对象拾取虚拟道具的方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元cg操作方法および装置
JP2010176232A (ja) * 2009-01-28 2010-08-12 Kadokawa Marketing Co Ltd コンテンツ提供システム
JP2014071736A (ja) * 2012-09-28 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
US20170228130A1 (en) * 2016-02-09 2017-08-10 Unity IPR ApS Systems and methods for a virtual reality editor

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace
US5847709A (en) * 1996-09-26 1998-12-08 Xerox Corporation 3-D document workspace with focus, immediate and tertiary spaces
US20050144093A1 (en) * 2003-12-29 2005-06-30 Peter Kassan E-commerce shopping
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US10025486B2 (en) * 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
JP6721285B2 (ja) * 2013-08-21 2020-07-15 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元cg操作方法および装置
JP2010176232A (ja) * 2009-01-28 2010-08-12 Kadokawa Marketing Co Ltd コンテンツ提供システム
JP2014071736A (ja) * 2012-09-28 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
US20170228130A1 (en) * 2016-02-09 2017-08-10 Unity IPR ApS Systems and methods for a virtual reality editor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138192A1 (zh) * 2022-01-24 2023-07-27 腾讯科技(深圳)有限公司 控制虚拟对象拾取虚拟道具的方法、终端及存储介质

Also Published As

Publication number Publication date
JP6731015B2 (ja) 2020-07-29
US20190346984A1 (en) 2019-11-14
US11086505B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
WO2014147858A1 (ja) 3次元ロック解除装置、3次元ロック解除方法及びプログラム
EP3117290B1 (en) Interactive information display
US9064335B2 (en) System, method, device and computer-readable medium recording information processing program for superimposing information
CN108027700A (zh) 信息处理装置
JPWO2018198910A1 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US10296359B2 (en) Interactive system control apparatus and method
US10216357B2 (en) Apparatus and method for controlling the apparatus
JP2009169622A (ja) 画像処理装置、画像処理方法
WO2021152906A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2017025663A1 (en) Searching image content
JP6731015B2 (ja) プログラム、及び情報処理装置
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
WO2014054317A1 (ja) ユーザインタフェース装置及びユーザインタフェース方法
GB2525304B (en) Interactive information display
JP2018198025A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
EP2919094A1 (en) Interactive information display
JP2018025955A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
CN110888529B (zh) 虚拟现实场景控制方法、虚拟现实设备及其控制装置
CN105516815A (zh) 使用者通过动作控制显示装置的操作界面的方法
JP7115695B2 (ja) アニメーション制作システム
WO2016185634A1 (ja) 情報処理装置
JP2017040893A (ja) 頭部装着型表示装置に関するプログラム
GB2535730A (en) Interactive system control apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200703

R150 Certificate of patent or registration of utility model

Ref document number: 6731015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150