JP2020038698A - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2020038698A JP2020038698A JP2019202016A JP2019202016A JP2020038698A JP 2020038698 A JP2020038698 A JP 2020038698A JP 2019202016 A JP2019202016 A JP 2019202016A JP 2019202016 A JP2019202016 A JP 2019202016A JP 2020038698 A JP2020038698 A JP 2020038698A
- Authority
- JP
- Japan
- Prior art keywords
- user
- eyes
- operation mode
- screen
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法、及びプログラム
に関する。
The present invention relates to an information processing device, an information processing method, and a program.
従来では、HMD(Head Mounted Display)やFMD(Face Mounted Display)等の装着型の情報表示装置が普及し始めている。このような情報表示装置を装着することで、拡大光学系により視界全体に画像や映像を表示したり、VR(Virtual Reality、仮想現実)技術により、仮想空間上にいるような視界を提供することができる。 2. Description of the Related Art Conventionally, wearable information display devices such as a HMD (Head Mounted Display) and an FMD (Face Mounted Display) have begun to spread. By mounting such an information display device, an image or a video is displayed over the entire field of view by the magnifying optical system, or a field of view in a virtual space is provided by VR (Virtual Reality) technology. Can be.
また、情報表示装置を用いてユーザ(装着者)の顔の向きやまばたきを認識することで、ユーザの操作を簡略化する手法が存在する(例えば、特許文献1参照)。特許文献1では、遠隔にある複数の監視カメラから入力した映像を無線又は有線で受信して情報表示装置に表示すると共に、ユーザの顔の向きやまばたきにより監視カメラの切り替えや向き、視点の制御を行っている。 In addition, there is a method of simplifying the operation of the user (recognizing the orientation and blinking of the face of the user (wearer) using the information display device) (for example, see Patent Document 1). In Patent Literature 1, images input from a plurality of remote monitoring cameras are received wirelessly or by wire and displayed on an information display device, and switching of the monitoring cameras, control of the direction, and control of the viewpoint are performed according to the direction and blink of the user's face. It is carried out.
また、近年では、上述した情報表示装置を、ゲーム機器等にも装備し、ゲームプログラムで提供される仮想空間上に自分が参加しているような感覚をユーザに与え、ゲームへの没入感や娯楽性を向上させる試みが検討されている。 In recent years, the above-described information display device is also provided in a game device or the like to give a user a feeling that he or she is participating in a virtual space provided by a game program. Attempts to improve entertainment are being considered.
しかしながら、上述した従来手法では、情報表示装置における顔の向きやまばたきの検出を仮想空間上でどのように対応させるかについての提案はなく、情報表示装置から得た情報を仮想空間上で適切に反映させることができなかった。 However, in the above-mentioned conventional method, there is no proposal on how to detect the face direction and blinking in the information display device in the virtual space, and the information obtained from the information display device is appropriately displayed in the virtual space. Could not be reflected.
一側面では、情報表示装置から得た情報を用いて仮想空間に対する適切な制御を行うことを目的とする。 In one aspect, an object is to perform appropriate control on a virtual space using information obtained from an information display device.
一つの案では、ユーザの頭部に装着される情報表示装置に表示される画面を制御する情報処理装置が、前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段と、前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段と、を有する。 In one proposal, an information processing device that controls a screen displayed on an information display device worn on a user's head, an eye open / closed detecting unit that detects open / closed eyes of a user wearing the information display device, An operation mode changing unit configured to change an operation mode of an object displayed on the screen or the screen when the user detects that the user has closed one or both eyes by the eye open / close detection unit.
一側面によれば、情報表示装置から得た情報を用いて仮想空間に対する適切な制御を行うことができる。 According to one aspect, appropriate control for a virtual space can be performed using information obtained from an information display device.
以下、図面に基づいて実施形態を説明する。なお、以下の説明では、本実施形態の一態様として、所定のゲームプログラム(コンテンツの一例)等により提供される仮想空間上にユーザ(プレイヤー)が操作するキャラクタが存在する場合の例について説明するが、仮想空間は、ゲームプログラムにより提供されるものに限定されるものではない。 Hereinafter, embodiments will be described with reference to the drawings. In the following description, as an aspect of the present embodiment, an example in which a character operated by a user (player) exists in a virtual space provided by a predetermined game program (an example of content) or the like will be described. However, the virtual space is not limited to the one provided by the game program.
<情報処理装置の機能構成例>
図1は、情報処理装置の機能構成の一例を示す図である。図1に示す情報処理装置10は、通信手段11と、設定手段12と、記憶手段13と、目開閉検出手段14と、判断手段15と、動作モード変更手段16と、画面生成手段17と、制御手段18とを有する。なお、情報処理装置10は、例えばゲーム機器やPC(Personal Computer)、タブレット端末等であるが、これに限定されるものではない。
<Example of functional configuration of information processing device>
FIG. 1 is a diagram illustrating an example of a functional configuration of the information processing apparatus. The
通信手段11は、外部装置と有線又は無線により接続され、データの送受信を行う。通信手段11には、図1に示すように、情報表示装置(情報表示手段)の一例としてのHMD21と、操作装置(操作手段)の一例としてのコントローラ22とが接続されている。
The
HMD21は、例えば、眼鏡やゴーグル、ヘルメットのように、ユーザの頭部に装着可能な形状をした表示装置(装着型の情報提示装置)である。頭部に装着すると左右の目のすぐ前に画面が一つずつセットされる。単に画像を表示するだけでなく、左右のディスプレイに少しずつ違った映像を表示することで立体感を表現することができる。また、HMD21は、装着者の頭部の移動に応じて画面を変化させることで、仮想空間上の視界を提供することができる。 The HMD 21 is, for example, a display device (wearable information presentation device) shaped like a pair of glasses, goggles, and a helmet that can be worn on the user's head. When mounted on the head, the screens are set one by one in front of the left and right eyes. In addition to simply displaying images, stereoscopic effects can be expressed by displaying slightly different images on the left and right displays. The HMD 21 can provide a view in a virtual space by changing the screen according to the movement of the wearer's head.
また、HMD21は、単位時間毎に頭部の位置、顔の向き、加速度(速度も含む)に関する情報を検知し、その内容を情報処理装置10に送信してもよい。また、HMD21は、目の位置を検出する内向きのカメラ(撮像手段)等を設け、単位時間毎にユーザの目(黒目)の位置、方向から視点(注視点)を検出し、その内容を情報処理装置10に送信してもよい。
Further, the HMD 21 may detect information about the position of the head, the direction of the face, and the acceleration (including the speed) for each unit time, and may transmit the content to the
また、HMD21は、ユーザの発汗量を検知するセンサや体温を検知する体温センサ、心拍数を検知する心拍数検知センサを有していてもよく、これらの各センサから得られた情報のうち、少なくとも1つを情報処理装置10に送信してもよい。
Further, the HMD 21 may include a sensor for detecting the amount of sweating of the user, a body temperature sensor for detecting the body temperature, and a heart rate detection sensor for detecting the heart rate. Among the information obtained from these sensors, At least one may be transmitted to the
コントローラ22は、HMD21に表示する映像の設定や、本実施形態における動作制御処理における各種設定を行う。また、情報処理装置10がゲーム機器である場合には、コントローラ22は、ゲームの開始や終了、項目の選択、ゲーム実行時における動作制御等を行う。
The
また、通信手段11は、例えば、インターネットやLAN(Local Area Network)等に代表される通信ネットワークにより接続される外部装置とデータの送受信が可能な状態で接続され、例えば外部装置からゲームプログラムをダウンロードしたり、本実施形態における動作制御プログラムに関する各種データを受信したり、送信したりすることができる。
The
設定手段12は、目開閉検出手段14において、目が閉じていることを検出するための基準時間を設定する。また、設定手段12は、目開閉検出手段14により検出された片目又は両目を閉じている状態、又はその状態を継続している時間の長さに応じて、どのような動作モードの変更を行うかを設定する。設定手段12により設定された内容(設定情報)は、記憶手段13に記憶される。なお、設定手段12は、ユーザ毎に設定情報を登録することができる。
The setting means 12 sets a reference time for the eye opening / closing detecting means 14 to detect that the eyes are closed. The
記憶手段13は、本実施形態における動作制御処理に必要な各種データを記憶する。例えば記憶手段13は、設定手段12により設定される情報や、各種ゲームプログラム、ゲームプログラム等を実行するための各種設定情報、HMD21から取得したユーザの目の開閉状況等の情報を記憶する。なお、記憶する内容については、これに限定されるものではなく、目の開閉結果を示す履歴情報や他の実行履歴情報(ログ)等であってもよい。
The
目開閉検出手段14は、HMD21に設けられた内向きのカメラ(撮像手段)等から撮影されたユーザの左右の目付近の画像を解析し、目の開閉状況を検出する。例えば、目開閉検出手段14は、カメラの画像からユーザの眼球(白目と黒目)に相当する領域が存在するか否かを判断し、上記の領域(眼球領域)が存在する場合に目が開いていると判断し、領域が存在しない場合に目が閉じていることを検出する。
The eye opening /
判断手段15は、目開閉検出手段14による目の開閉の検出において、単なる「まばたき」を目を閉じている状態として検出されることがないように、基準時間等を用いて目を閉じている状態の判断を行う。 The determination means 15 closes the eyes using a reference time or the like so that the detection of eye open / closed by the eye open / close detection means 14 does not detect a mere “blink” as a closed state of the eyes. Determine the status.
例えば、判断手段15は、所定時間間隔で検出される目(片目又は両目)の開閉検出結果に対し、目を閉じたことを検出したことをトリガーとして時間のカウントを行い、その経過時間(カウント)が、設定手段12で設定された基準時間以上である場合に、目を閉じていると判断する。また、判断手段15は、カウントが基準時間以上になった場合であっても、目を開けていることを検出するまでカウントを行う。これにより、本実施形態では、上述したカウントの値に応じた動作モードに変更することができる。
For example, the judging means 15 counts the time of opening / closing detection of the eyes (one or both eyes) detected at predetermined time intervals, triggered by detecting that the eyes are closed, and counts the elapsed time (counting time). ) Is longer than the reference time set by the setting means 12, it is determined that the eyes are closed. Further, even when the count is equal to or longer than the reference time, the
なお、上述した目開閉検出手段14及び判断手段15においては、例えばHMD21が有するアイトラッキング機能を利用することで、ユーザが片目又は両目を閉じ続けていることを検出してもよい。例えば、目開閉検出手段14は、アイトラッキング機能により黒目の位置を検出し、その検出結果から、片目又は両目が閉じているかを検出してもよい。例えば目を閉じている場合に、黒目の位置の検出結果は、「不定の値」又は「最後に検出した値」となる。ここで、人間の目は、特性上凝視していても常に動き続けている。そのため、判断手段15は、黒目の位置が完全に停止している時間をカウントし、基準時間以上、黒目の位置が完全に停止している場合には、目を閉じていると判断してもよい。
Note that the eye opening /
動作モード変更手段16は、判断手段15による目の開閉検出結果に基づき、ユーザが片目又は両目を閉じ続けている状態に応じて、ゲーム上のプレイヤー(例えば、仮想空間上で動作するキャラクタ等のオブジェクト)、又は、HMD21の画面に表示される画像の動作モード(例えば、内部状態等)を変更する。この動作モードの変更を行うことで、例えば、実行中のゲームに対する様々な演出又は効果をユーザに提供することができる。
The operation mode changing means 16 determines a player in the game (for example, a character or the like operating in a virtual space) in accordance with a state in which the user keeps one or both eyes closed based on the result of the eye open / close detection by the determination means 15. The operation mode (for example, the internal state or the like) of the image displayed on the screen of the
動作モード変更手段16は、例えばパラメータ制御手段16−1と、表示制御手段16−2とを有する。パラメータ制御手段16−1は、例えば仮想空間上で動作するキャラクタに対する攻撃力や回復力等のパラメータ情報を、予め設定された通常設定時の2倍に増加したり、敵を攻撃したりパズルを揃えたりといった所定の動作を行うことで獲得できるポイントを増加させる等のパラメータ制御を行う。つまり、パラメータ制御手段16−1は、視界が狭まることをリスクとみなし、ゲームに対しリスクリターンを付与するパラメータ制御を行う。また、パラメータ制御手段16−1は、目を閉じ続けた時間に応じて追加ボーナスの付与やチャージ攻撃による効果等をユーザに提供するような制御を行ってもよい。
The operation
また、表示制御手段16−2は、例えばHMD21の画面に表示される内容を変更したり、画面生成における負荷を軽減するようなレンダリング処理に関する表示制御を行う。例えば、表示制御手段16−2は、判断手段15により片目を閉じている状態であると判断すると、ユーザが目を凝らしていることを直感的に表現するユーザインターフェース(例えば、ロックオンモード等)を画面に表示する。また、表示制御手段16−2は、判断手段15により両目を閉じている状態であると判断すると、ユーザが休息中又は集中していることを直感的に表現するユーザインターフェース(例えば「おやすみ中」又は「集中力アップ」等の文字表示等)を画面に表示する。
Further, the display control unit 16-2 performs display control relating to rendering processing such as changing the content displayed on the screen of the
また、表示制御手段16−2は、片目を閉じている状態である場合は、目を開けている方の映像を単純にコピーして、目を閉じている方に使用したり(描画負荷半減)、本来の映像を低解像度で描画して使用する等といった処理を行ってもよい。 When one eye is closed, the display control means 16-2 simply copies the image with the eye open and uses it for the one with the eye closed (drawing load is reduced by half). ), A process of drawing an original video at a low resolution and using the original video may be performed.
なお、動作モード変更手段16における動作モードの変更内容については、これに限定されるものではない。 The change of the operation mode in the operation mode changing means 16 is not limited to this.
画面生成手段17は、例えばHMD21の画面に表示する内容を生成する。例えば、画面生成手段17は、ユーザが実行指示したゲームプログラムが提供する仮想空間を表示し、その仮想空間上に、ユーザが操作するキャラクタを合成した映像を生成する。このとき、画面生成手段17は、動作モード変更手段16により変更された動作モードに基づいて対応する画面の生成を行ってもよい。
The
制御手段18は、情報処理装置10の各構成全体を制御する。制御手段18は、例えば通信手段11による各種装置とのデータの送受信、設定手段12による各種情報の設定、目開閉検出手段14による目の開閉検出、判断手段15による目を閉じている状態か否かの判断、動作モード変更手段16による動作モードの変更、画面生成手段17による画面生成等を制御するが、制御内容については、これに限定されるものではない。
The
例えば、制御手段18は、ゲーム処理の実行の開始や終了を制御したり、エラー発生時の処理等を制御する。また、制御手段18は、ユーザ毎にログイン認証時の処理を行い、認証成功時に、ユーザに対応するゲームの実行や動作制御処理等を行ってもよい。
For example, the
なお、上述の例では、HMD21と、情報処理装置10とが別体として構成されているが、これに限定されるものではなく、それぞれのHMD21に対して情報処理装置10が一体に構成されていてもよい。その場合、それぞれのHMD21が、情報処理装置10に相当する。また、本実施形態では、コントローラ22を設けない構成であってもよい。
In the above-described example, the
<情報処理装置10のハードウェア構成例>
次に、情報処理装置10のハードウェア構成例について、図を用いて説明する。図2は、情報処理装置のハードウェア構成の一例を示す図である。図2の例において、情報処理装置(コンピュータ)10は、入力装置31と、出力装置32と、ドライブ装置33と、補助記憶装置34と、主記憶装置35と、CPU(Central Processing Unit)36と、通信制御装置37とを有し、これらはシステムバスBで相互に接続されている。
<Example of hardware configuration of
Next, an example of a hardware configuration of the
入力装置31は、例えばユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置31は、上述したコントローラ22等の操作デバイスでもよい。
The
出力装置32は、本実施形態における処理を行うためのコンピュータ本体(情報処理装置10)を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置32は、CPU36が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。出力装置32は、上述したHMD21等の情報表示装置でもよい。
The
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体38等により提供される。記録媒体38は、ドライブ装置33にセット可能である。CPU36からの制御信号に基づき、記録媒体38に格納された実行プログラムが、記録媒体38からドライブ装置33を介して補助記憶装置34にインストールされる。
Here, in the present embodiment, for example, the execution program installed in the computer main body is provided by the
補助記憶装置34は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ手段等である。補助記憶装置34は、CPU36からの制御信号に基づき、本実施形態における実行プログラム(動作制御プログラム)や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置34は、CPU36からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
The
主記憶装置35は、CPU36により補助記憶装置34から読み出された実行プログラム等を格納する。主記憶装置35は、ROM(Read Only Memory)やRAM(Random Access Memory)等である。
The
CPU36は、OS(Operating System)等の制御プログラム、及び主記憶装置35に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置34から取得することができ、また実行結果等を格納することもできる。
Based on a control program such as an OS (Operating System) and an execution program stored in the
具体的には、CPU36は、例えば入力装置31から得られるプログラムの実行指示等に基づき、補助記憶装置34にインストールされたプログラムを実行させることにより、主記憶装置35上でプログラムに対応する処理を行う。例えば、CPU36は、動作制御プログラムを実行させることで、通信手段11による各種装置とのデータの送受信、設定手段12による各種情報の設定、目開閉検出手段14による目の開閉検出、判断手段15による目を閉じている状態か否かの判断、動作モード変更手段16による動作モードの変更、画面生成手段17による画面生成等の処理を行う。CPU36における処理内容は、これに限定されるものではない。CPU36により実行された内容は、必要に応じて補助記憶装置34等に記憶される。
More specifically, the
通信制御装置37は、上述した通信ネットワークを介して、他の外部装置との通信を行う。通信制御装置37は、CPU36からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、通信制御装置37は、プログラムを実行することで得られた実行結果を外部装置等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
The
記録媒体38は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体38は、例えばフラッシュメモリ等の半導体メモリやCD−ROM、DVD等の可搬型の記録媒体であるが、これに限定されるものではない。
The
図2に示すハードウェア構成に実行プログラム(例えば、動作制御プログラム等)をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における各種ゲーム処理、動作制御処理等を実現することができる。また、記録媒体38にインストールされているゲームプログラムを実行させることで、HMD21にゲーム画面を表示させて、ユーザの操作によりゲームを実行することができる。
By installing an execution program (for example, an operation control program, etc.) in the hardware configuration shown in FIG. 2, hardware resources and software cooperate to implement various game processes, operation control processes, and the like in the present embodiment. be able to. Further, by executing the game program installed in the
<動作制御処理>
次に、本実施形態における動作制御処理について説明する。なお、本実施形態における動作制御処理は、例えばゲームプログラムの実行前等に、ユーザの目の開閉検出時に動作モード等を事前に設定する「設定処理」と、設定処理により得られた設定情報に基づき、ユーザの目の開閉検出及び検出後の動作モードの変更を行う「動作モード変更処理」とに大別される。したがって、以下の説明では、上述の2つの処理を分けて説明する。
<Operation control processing>
Next, an operation control process according to the present embodiment will be described. The operation control process according to the present embodiment includes, for example, a “setting process” in which an operation mode and the like are set in advance when the user's eyes are opened and closed before execution of the game program, and a setting information obtained by the setting process. Based on this, it is roughly classified into “operation mode change processing” for detecting the opening and closing of the eyes of the user and changing the operation mode after the detection. Therefore, in the following description, the above two processes will be described separately.
<設定処理>
図3は、設定処理の一例を示すフローチャートである。図3の例において、設定手段12は、ユーザ情報を設定し(S01)、片目、両目の開閉を判断する基準時間を設定する(S02)。基準時間の設定内容としては、例えば「片目を閉じている状態の検出時間:3秒」、「両目を閉じている状態の検出時間:2秒」等であるが、これに限定されるものではなく、例えば片目と両目とで同じ基準時間を設定してもよく、また右目と左目とで異なる基準時間を設定してもよい。
<Setting process>
FIG. 3 is a flowchart illustrating an example of the setting process. In the example of FIG. 3, the setting
次に、設定手段12は、片目、両目を閉じたと判断された場合の動作モードを設定する(S03)。動作モードの内容としては、例えば上述したパラメータ制御又は表示制御等であるが、これに限定されるものではない。次に、設定手段12は、上述のS01〜S03で得られたユーザ情報に関連付けた設定情報を記憶手段13に記憶して登録を行う(S04)。
Next, the setting
なお、上述した設定処理は、後述する動作モード変更処理の実行前に少なくとも1度行われていればよく、動作モード変更処理が実行される度に実行されなくてもよい。また、図3の設定処理は、予め規定された値を用いることでユーザによる設定を省略してもよい。また、設定処理は、実行されるゲームの種類等に応じて設定を変更してもよい。 Note that the above-described setting process may be performed at least once before execution of an operation mode change process described later, and may not be performed each time the operation mode change process is executed. In the setting process of FIG. 3, the setting by the user may be omitted by using a predetermined value. In the setting process, the setting may be changed according to the type of the game to be executed.
<動作モード変更処理>
図4は、動作モード変更処理の一例を示すフローチャートである。図4の例において、情報処理装置10の目開閉検出手段14は、上述した設定処理により設定され、記憶手段13に記憶されている設定情報を取得する(S11)。
<Operation mode change processing>
FIG. 4 is a flowchart illustrating an example of the operation mode change process. In the example of FIG. 4, the eye opening /
次に、目開閉検出手段14は、HMD21に設けられたカメラ等により、ユーザの目付近の画像を取得する(S12)。次に、目開閉検出手段14は、目の開閉を検出する(S13)。なお、目開閉検出手段14は、S13の処理により、同時刻に閉じる動作が片目(右目又は左目)のみであるか、又は両目であるかを検出することができる。
Next, the eye opening /
次に、判断手段15は、閉じている目に対する時間をカウントし(S14)、カウントした時間が基準時間以上か否かを判断する(S15)。カウントした値が基準時間以上である場合(S15において、YES)、目を閉じている状態であると判断し、動作モード変更手段16は、実行中のゲーム等における動作モード等の変更処理を行う(S16)。なお、S16の変更処理の具体例については、後述する。
Next, the determination means 15 counts the time for the closed eyes (S14), and determines whether the counted time is equal to or longer than the reference time (S15). If the counted value is equal to or longer than the reference time (YES in S15), it is determined that the eyes are closed, and the operation
また、S15の処理において、カウントした時間が基準時間以上でない場合(S15において、NO)、又は、S16の処理後、画面生成手段17は、動作モード変更処理により変更された画像又は予め設定されたそのままの画像を生成し(S17)、生成画像をHMD21の画面に表示する(S18)。
Further, in the process of S15, when the counted time is not equal to or longer than the reference time (NO in S15), or after the process of S16, the
次に、情報処理装置10は、処理を終了するか否かを判断し(S19)、処理を終了しない場合(S19において、NO)、S12の処理に戻る。また、ユーザ指示やゲームの終了等によりゲーム等を終了する場合(S19において、YES)、動作モード変更処理を終了する。
Next, the
<S16;変更処理>
次に、上述したS16における変更処理の一例について、フローチャートを用いて説明する。図5は、変更処理の一例を示すフローチャートである。
<S16: Change processing>
Next, an example of the change processing in S16 described above will be described using a flowchart. FIG. 5 is a flowchart illustrating an example of the change process.
図5の例において、動作モード変更手段16は、ユーザが閉じている目が片目であるか両目であるかを判断する。例えば、動作モード変更手段16は、ユーザが閉じている目が片目が否かを判断し(S21)、片目を閉じている場合(S21において、YES)、表示制御手段16−2における表示制御を行う。また、S21の処理において、片目を閉じていない場合(S21において、NO)、両目を閉じている状態であるため、パラメータ制御を行う(S23)。
In the example of FIG. 5, the operation
上述した図5の例においては、両目を閉じることで視界が遮られるためパラメータ制御によるモード変更を行う。また、図5の例では、片目を閉じることで、通常表示とは異なる表示を演出できるため、表示制御によるモード変更を行う。 In the example of FIG. 5 described above, since the view is blocked by closing both eyes, the mode is changed by parameter control. In addition, in the example of FIG. 5, since a display different from the normal display can be produced by closing one eye, the mode is changed by the display control.
なお、図5に示す変更処理は、あくまでも一例であり、その他にも多数のバリエーションによる変更処理を行うことができる。例えば、上述したS22の処理と、S23の処理とを入れ替えてもよく、S22及びS23の各処理において、表示制御及びパラメータ制御を組み合わせた制御を行ってもよい。 Note that the change processing shown in FIG. 5 is merely an example, and other various change processing can be performed. For example, the process of S22 and the process of S23 described above may be interchanged, and control combining display control and parameter control may be performed in each of the processes of S22 and S23.
また、変更処理では、例えばS22,S23の処理の後、ユーザが両目を開けた状態になった場合に、すぐに元のモードに変更してもよく、また両目を開けた状態になったとしても所定時間(例えば、3〜5秒間程度)は、S22又はS23で処理した表示制御又はパラメータ制御を継続してもよい。上述した制御は、予め設定手段12により設定してもよく、ユーザが実行中のゲーム毎に設定されてもよい。
In the change processing, for example, when the user has opened both eyes after the processing of S22 and S23, the mode may be changed to the original mode immediately, or it is assumed that both eyes are opened. Alternatively, the display control or parameter control processed in S22 or S23 may be continued for a predetermined time (for example, about 3 to 5 seconds). The above-described control may be set in advance by the setting
<動作制御処理の具体例>
次に、本実施形態における動作制御処理の具体例について、図を用いて説明する。図6〜図10は、動作制御処理の具体例を説明するための図(その1〜その5)である。本実施形態において、ユーザ40は、例えば情報処理装置10と無線で接続されたHMD21を頭部に装着すること共に、情報処理装置10と無線で接続されたコントローラ22を用いて、所定のゲームの開始や終了、仮想空間上のキャラクタに対する操作を行う。
<Specific example of operation control processing>
Next, a specific example of the operation control process according to the present embodiment will be described with reference to the drawings. 6 to 10 are diagrams (parts 1 to 5) for describing a specific example of the operation control processing. In the present embodiment, the
図6の例では、HMD21の画面上に、ユーザが選択したゲームプログラム(コンテンツ)の実行により提供される仮想空間60が表示されている。また、図6の例では、仮想空間60上に、敵のキャラクタ61や、そのキャラクタ61が所持する武器62、扉63等が表示されている。上述したキャラクタ61、武器62、及び扉63は、オブジェクトの一例である。
In the example of FIG. 6, a
ユーザ40は、上述した画面50に対し、コントローラ22による操作指示を行うことで、操作対象のキャラクタを操作して、敵のキャラクタ61に攻撃を仕掛けたり、扉63から逃げるといった動作を実行させる。
The
また、本実施形態では、上述したようにゲームプレイ中に片目又は両目を閉じ続けていることを検出すると、ゲーム上の様々な演出や効果をユーザに提供するための動作制御(動作モードの変更)を行う。 Further, in the present embodiment, when it is detected that one or both eyes are kept closed during the game play as described above, the operation control (change of the operation mode) for providing the user with various effects and effects on the game is performed. )I do.
例えば、片目を閉じている状態の場合には、視界が狭くなったり、仮想空間上での距離感がつかめなくなる。例えば、片目を閉じることで、図7に示すように、HMD21の画面50−1に表示された仮想空間60のうち、領域70A(斜線領域)の視界が遮られ、領域70Bしか見えなくなる。そのような場合、動作モード変更手段16は、ユーザ40の視界がゲームの有利不利に直結するゲーム等でのリスクリターンとして、攻撃力を通常の2倍にする等のパラメータ制御を行う。なお、上記のパラメータ制御により動作モードが変更されたことをユーザ40に通知するため、画面生成手段17は、図7に示すように、その旨を示すメッセージ64−1を生成し、画面50−1上に表示してもよい。
For example, in a state where one eye is closed, the field of view is narrowed, and the sense of distance in the virtual space cannot be grasped. For example, by closing one eye, as shown in FIG. 7, in the
動作モードの変更により制御されるパラメータの一例としては、例えばFPS(First Person Shooter)等におけるパワーアップや、レーシングゲームにおける強烈な加速、音楽ゲーム等による得点ポイントの増加等があるが、これに限定されるものではない。 Examples of parameters controlled by changing the operation mode include, for example, power-up in an FPS (First Person Shoter), intense acceleration in a racing game, increase in score points in a music game, and the like, but are not limited thereto. It is not something to be done.
また、本実施形態では、目を閉じ続ける時間の長さに応じて、よりハイリターンとなるようにパラメータを制御してもよい。例えば、長時間目を閉じ続けることで、強力な溜め攻撃が繰り出せる等であるが、これに限定されるものではない。 In the present embodiment, the parameter may be controlled so as to obtain a higher return according to the length of time for which the eyes are kept closed. For example, by keeping eyes closed for a long time, a powerful reservoir attack can be executed, but the present invention is not limited to this.
また、本実施形態においては、複数人が同一のゲームを同時にプレイすることができ、相手ユーザが、上述したように片目又は両目を閉じている場合も考えられる。例えば、図8に示す敵のキャラクタ61を操作するユーザが両目を閉じている場合には、画面生成手段17は、動作モードが変更されていることを示す情報と、それによる効果を示す情報とを通知するためのメッセージ64−2を生成し、画面50−2上に表示してもよい。
In the present embodiment, a plurality of players can play the same game at the same time, and the opponent user may close one or both eyes as described above. For example, when the user operating the
また、本実施形態において、ユーザ40が片目を閉じている状態を検出すると、動作モード変更手段16の表示制御手段16−2は、相手のキャラクタを見る状態を直感的に表現するモードに変更する。
Further, in the present embodiment, when detecting the state in which the
例えば、図9に示すように、ユーザ40が片目を閉じることで、キャラクタ61に関するパラメータ情報を表示するパラメータ表示領域80が画面50−3上に表示され、相手の体力や攻撃力等を知ることができる。また同様に、表示制御手段16−2は、サーモグラフィー表示や透視表示等のように、特殊な映像モードに変更してもよく、通常では見えないキャラクタを表示させてもよい。また、表示制御手段16−2は、スナイパーライフルの用に部分的に拡大表示するモードに変更してもよい。
For example, as shown in FIG. 9, when the
なお、本実施形態では、動作モード変更手段16は、左右のどちらの目を閉じているかに応じてモードの内容を変更してもよい。左右のどちらの目を閉じているときに、どのようなモードの変更を行うかについては、予め設定手段12により設定されていてもよい。
In the present embodiment, the operation mode changing means 16 may change the contents of the mode according to which of the left and right eyes is closed. Which mode is to be changed when either the left or right eye is closed may be set in advance by the setting
また、表示制御手段16−2は、ユーザ40が両目を閉じていることを検出すると、感覚を研ぎ澄ませたり休息を取ることを表現する動作モードに変更してもよい。この場合、表示制御手段16−2は、「休息中」等のメッセージを生成し画面50上に表示してもよい。パラメータ制御手段16−1は、ユーザ40が両目を閉じていることを検出すると、休息を取ったとみなし体力等の回復ボーナスを付与する等のパラメータ制御を行ってもよい。本実施形態では、上述の例に示すように、ユーザが目を閉じている状態に応じて、表示制御及びパラメータ制御のうち、一方又は両方の制御を同時に行うことができる。つまり、本実施形態では、予め設定されている複数の表示制御及び複数のパラメータ制御のうち、1つの制御又は複数を組み合わせた制御を行うことができる。
Further, when detecting that the
また、動作モード変更手段16は、ユーザ40が両目を閉じていることを検出すると、サウンド表現を強化し、通常は聞こえない有用な音の情報が聞こえるようにモードを変更してもよい。サウンド表現の例としては、例えばユーザが操作するキャラクタの心の声(例えば「攻撃を受けて痛いよ〜」等)が音声出力されたり、相手のキャラクタが考えていること(例えば「かわいいなあ」等)が音声出力される等であるが、これに限定されるものではない。
When detecting that the
また、動作モード変更手段16は、ユーザ40が両目を閉じていることを検出すると、光による攻撃等を緩和することを表現する動作モードに変更してもよい。例えば、ユーザ40が両目を閉じている場合には、強烈な光による目くらまし攻撃に対する防御ができたり、ギリシャ神話に出てくるメデューサのように見た相手を石化してダメージを与えるキャラクタに対する防御等を行うことができる。
When detecting that the
また、本実施形態において、表示制御手段16−2は、ユーザ40が目を閉じたことを検出すると、画面生成における負荷を軽減するようなレンダリング処理を行ってもよい。例えば、動作モード変更手段16の表示制御手段16−2は、ユーザが右目又は左目を閉じていることを検知すると、目を閉じている側に、低負荷で作成したダミーの映像を表示させる。通常、人は閉じていても、外光がまぶたを透過した光は、無意識下で認識される。そのため、「ある程度正しい像」を表示しておくのが好ましい。
Further, in the present embodiment, upon detecting that the
例えば、表示制御手段16−2は、ダミー映像として、例えば片目を閉じている場合は、目を開けている方の映像を単純にコピーして、目を閉じている方に使用する。これにより、描画負荷を半減させることができる。また、表示制御手段16−2は、本来の映像を低解像度で描画して使用させるように制御してもよい。 For example, when one eye is closed as a dummy image, the display control unit 16-2 simply copies the image with the opened eye and uses it for the person with the closed eyes. As a result, the drawing load can be reduced by half. Further, the display control means 16-2 may perform control so that the original video is drawn at a low resolution and used.
例えば、図10の例では、左右それぞれの目に表示される画像の一例を示している。図10(A)は、左目用の表示画像90−1を示し、図10(B)は、右目用の表示画像90−2を示している。 For example, the example of FIG. 10 illustrates an example of an image displayed on each of the right and left eyes. FIG. 10A shows a display image 90-1 for the left eye, and FIG. 10B shows a display image 90-2 for the right eye.
例えば、ユーザ40が左目を閉じたことを検知すると、表示制御手段16−2は、表示画像90−1に対し、上述したように右目用の表示画像90−2を、左目用の画像に単純にコピーして使用する。また、表示制御手段16−2は、表示画像90−2を通常の解像度よりも低解像度にすることで、描画負荷を5〜30%削減することができる。
For example, when detecting that the
また、表示制御手段16−2は、目を閉じている側の画像は、ぼかして表示させてもよい。ぼかした画像を利用することで、目を開けて通常の処理に戻す際の切り替わりを緩和させることができる。例えば、表示制御手段16−2は、目を閉じた状態から目を開けたことを検出した場合に、「ぼかし+本来の映像」に表示を切り替える。また、表示制御手段16−2は、時間の経過毎にぼかしを徐々に弱めることで、0.5秒〜2秒程度かけて元の両眼の映像に戻す。 In addition, the display control unit 16-2 may display the image on the side where the eyes are closed in a blurred manner. By using the blurred image, switching when returning to normal processing after opening the eyes can be eased. For example, when the display control unit 16-2 detects that the eyes have been opened from the closed state, the display control unit 16-2 switches the display to “blur + original video”. Further, the display control unit 16-2 gradually returns to the original image of both eyes in about 0.5 to 2 seconds by gradually weakening the blur every time elapses.
上述したように、閉じた状態の目に対しても「ある程度正しい像」を表示することは効果的であるが、光がまぶたを透過する際に元の像は大きく乱れるため、ぼかしたても影響はない。もともと人間の目も、片目をある程度の時間閉じた後開くと映像が正しく認識できるまで、ある程度の時間がかかるため、その時間で従来の処理に戻せれば問題はない。 As described above, it is effective to display a “correct image to some extent” even for closed eyes, but the original image is greatly disturbed when light passes through the eyelids, so No effect. Originally, if the human eye closes and opens one eye for a certain period of time, it takes a certain amount of time until the image can be correctly recognized, so there is no problem if it is possible to return to the conventional processing in that time.
また、上述したように、片目を瞑った際にサーモグラフィー表現等のレンダリング負荷を引き上げる要因になるような高画質な表現に切り替える場合もあるため、上述した描画負荷を軽減する処理と組み合わせることで、画面生成時の負荷を軽減することができる。 In addition, as described above, when one eye is closed, there is a case where the expression is switched to a high-quality expression that is a factor that raises a rendering load such as a thermographic expression. The load at the time of screen generation can be reduced.
<まとめ>
上述したように、本発明によれば、情報表示装置から得た情報を用いて仮想空間に対する適切な制御を行うことができる。したがって、例えばユーザが実行中のゲームに対する様々な演出や効果をユーザに提供することができる。なお、上述した各実施形態におけるゲームの種類については、レーシングゲームやシューティングゲーム、格闘ゲーム、飛行機シミュレータ、恋愛ゲーム等の多種のゲームにおいて適用することができる。また、ゲームのカテゴリに属しないアプリケーション(プログラム)においても、本実施形態における動作制御処理を適用することができる。
<Summary>
As described above, according to the present invention, it is possible to appropriately control a virtual space using information obtained from an information display device. Therefore, for example, various effects and effects for the game being executed by the user can be provided to the user. The types of games in each of the above-described embodiments can be applied to various games such as a racing game, a shooting game, a fighting game, an airplane simulator, and a love game. The operation control processing according to the present embodiment can be applied to an application (program) that does not belong to the game category.
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。 Although the preferred embodiments of the present invention have been described in detail, the present invention is not limited to the specific embodiments, and various modifications and changes can be made within the scope of the present invention described in the appended claims. Changes are possible. Moreover, it is also possible to combine some or all of the embodiments described above.
10 情報処理装置
11 通信手段
12 設定手段
13 記憶手段
14 目開閉検出手段
15 判断手段
16 動作モード変更手段
17 画面生成手段
18 制御手段
21 HMD(情報表示手段の一例)
22 コントローラ(操作手段の一例)
31 入力装置
32 出力装置
33 ドライブ装置
34 補助記憶装置
35 主記憶装置
36 CPU
37 通信制御装置
38 記録媒体
40 ユーザ
50 画面
60 仮想空間
61〜63 オブジェクト
64 メッセージ
70 領域
80 パラメータ表示領域
90 表示画像
DESCRIPTION OF
22 Controller (an example of operation means)
37
Claims (7)
前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段と、
前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段と、を有する情報処理装置。 An information processing device that controls a screen displayed on an information display device worn on a user's head,
Eye opening and closing detection means for detecting opening and closing of the eyes of the user wearing the information display device,
An operation mode changing unit configured to change an operation mode of the object displayed on the screen or the screen when the user detects that the user closes one or both eyes by the eye open / close detection unit. Processing equipment.
前記目開閉検出手段により前記ユーザが片目のみを閉じていることを検出した場合に、画面に表示される敵のキャラクタに関するゲームにおけるパラメータを、前記敵のキャラクタに対応付けて表示させる動作モードに変更する、
請求項1に記載の情報処理装置。 The operation mode changing means includes:
When the eye opening / closing detection means detects that the user has closed only one eye, the operation mode is changed to an operation mode in which a parameter in a game relating to an enemy character displayed on a screen is displayed in association with the enemy character. Do
The information processing device according to claim 1.
前記目開閉検出手段により前記ユーザが両目を閉じていることを検出した場合に、前記ユーザにより操作されるキャラクタ、及び相手のキャラクタの少なくとも一方がゲームにおいて考えている音声を出力させる動作モードに変更する、
請求項1または2に記載の情報処理装置。 The operation mode changing means includes:
When the eye opening / closing detecting means detects that the user has closed both eyes, the operation mode is changed to an operation mode in which at least one of the character operated by the user and the opponent character outputs a sound considered in the game. Do
The information processing apparatus according to claim 1.
前記目開閉検出手段により前記ユーザが両目を閉じていることを検出した場合に、前記ユーザにより操作されるキャラクタに対するゲームにおける光による攻撃を緩和させる、
請求項1から3のいずれか一項に記載の情報処理装置。 The operation mode changing means includes:
Mitigating a light attack in a game against a character operated by the user when the eye open / close detection unit detects that the user has closed both eyes;
The information processing device according to claim 1.
前記目開閉検出手段により前記ユーザが両目を閉じていることを検出した場合に、前記ユーザにより操作されるキャラクタのゲームにおける体力を回復させる、
請求項1から4のいずれか一項に記載の情報処理装置。 The operation mode changing means includes:
When the user detects that the user has closed both eyes by the eye open / close detection means, recovers physical strength of the character operated by the user in a game.
The information processing apparatus according to claim 1.
前記情報表示装置を装着したユーザの目の開閉を検出する処理と、
前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う処理と、を実行する情報処理方法。 An information processing device that controls a screen displayed on an information display device worn on a user's head,
Processing for detecting the opening and closing of the eyes of the user wearing the information display device;
An information processing method for executing, when detecting that the user has closed one or both eyes, a process of changing an object displayed on the screen or an operation mode for the screen.
ユーザの頭部に装着される情報表示装置に表示される画面を制御する情報処理装置が、
前記情報表示装置を装着したユーザの目の開閉を検出する処理と、
前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う処理と、を実行させるプログラム。 On the computer,
An information processing device that controls a screen displayed on an information display device worn on a user's head,
Processing for detecting the opening and closing of the eyes of the user wearing the information display device;
A process for changing an operation mode of the object displayed on the screen or the screen when the user detects that one or both eyes are closed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202016A JP2020038698A (en) | 2019-11-07 | 2019-11-07 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019202016A JP2020038698A (en) | 2019-11-07 | 2019-11-07 | Information processing device, information processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015182035A Division JP2017058853A (en) | 2015-09-15 | 2015-09-15 | Information processing apparatus, operation control method, and operation control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020038698A true JP2020038698A (en) | 2020-03-12 |
Family
ID=69738572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019202016A Pending JP2020038698A (en) | 2019-11-07 | 2019-11-07 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020038698A (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003225463A (en) * | 2002-01-31 | 2003-08-12 | Konami Computer Entertainment Osaka:Kk | Rearing game program, video game machine and rearing game control method |
JP2005168715A (en) * | 2003-12-10 | 2005-06-30 | Konami Co Ltd | Game software and game device |
JP2008073184A (en) * | 2006-09-20 | 2008-04-03 | Namco Bandai Games Inc | Program, information storage medium and game device |
JP2010233654A (en) * | 2009-03-30 | 2010-10-21 | Namco Bandai Games Inc | Program, information storage medium and game device |
JP2013003647A (en) * | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus and program |
JP2013110662A (en) * | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | Device, head-mounted display device, control method for device, and control method for head-mounted display device |
-
2019
- 2019-11-07 JP JP2019202016A patent/JP2020038698A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003225463A (en) * | 2002-01-31 | 2003-08-12 | Konami Computer Entertainment Osaka:Kk | Rearing game program, video game machine and rearing game control method |
JP2005168715A (en) * | 2003-12-10 | 2005-06-30 | Konami Co Ltd | Game software and game device |
JP2008073184A (en) * | 2006-09-20 | 2008-04-03 | Namco Bandai Games Inc | Program, information storage medium and game device |
JP2010233654A (en) * | 2009-03-30 | 2010-10-21 | Namco Bandai Games Inc | Program, information storage medium and game device |
JP2013003647A (en) * | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus and program |
JP2013110662A (en) * | 2011-11-24 | 2013-06-06 | Seiko Epson Corp | Device, head-mounted display device, control method for device, and control method for head-mounted display device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017058853A (en) | Information processing apparatus, operation control method, and operation control program | |
US10029176B2 (en) | Data processing apparatus and method of controlling display | |
RU2661857C2 (en) | Camera based safety mechanisms for users of head mounted displays | |
ES2669869T3 (en) | User Tracking Feedback | |
US10080955B2 (en) | Data processing apparatus and method of controlling display | |
JP6470796B2 (en) | Information processing method, program, and computer | |
EP3263194B1 (en) | Display control program, dislay control device, and display control method | |
JP6257827B1 (en) | Method, program, and information processing apparatus executed by computer to provide virtual space | |
US9715266B2 (en) | Attention-based rendering and fidelity | |
US20180356880A1 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
JP7366821B2 (en) | Video display program | |
JP2019136066A (en) | Application processing system, application processing method, and application processing program | |
JP2019179433A (en) | Program, information processing device, and information processing method | |
CN117122890A (en) | Method and system for activating selective navigation or magnification of screen content | |
JP2020038698A (en) | Information processing device, information processing method, and program | |
KR102029201B1 (en) | Virtual reality game providing method and virtual reality game device for motion sickness decreasing | |
JP6966257B2 (en) | Information processing methods, programs, and computers | |
JP7016211B2 (en) | Production processing program and information processing equipment | |
US20180239420A1 (en) | Method executed on computer for providing virtual space to head mount device, program for executing the method on the computer, and computer apparatus | |
JP2019136068A (en) | Game processing system, game processing method, and game processing program | |
JP6815373B2 (en) | Game processing system, game processing method, and game processing program | |
JP7232765B2 (en) | Simulation method and system | |
JP7313523B1 (en) | Program and information processing system | |
JP2019032715A (en) | Information processing method, device, and program for causing computer to execute the method | |
CN117504282B (en) | Control method and system of AR wearing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |