JP2017054457A - 情報処理装置、表示制御方法、及び表示制御プログラム - Google Patents

情報処理装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP2017054457A
JP2017054457A JP2015180112A JP2015180112A JP2017054457A JP 2017054457 A JP2017054457 A JP 2017054457A JP 2015180112 A JP2015180112 A JP 2015180112A JP 2015180112 A JP2015180112 A JP 2015180112A JP 2017054457 A JP2017054457 A JP 2017054457A
Authority
JP
Japan
Prior art keywords
display control
screen
information
video
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015180112A
Other languages
English (en)
Inventor
健一 浅見
Kenichi Asami
健一 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koei Tecmo Holdings Co Ltd
Original Assignee
Koei Tecmo Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koei Tecmo Holdings Co Ltd filed Critical Koei Tecmo Holdings Co Ltd
Priority to JP2015180112A priority Critical patent/JP2017054457A/ja
Priority to US15/259,258 priority patent/US10080955B2/en
Publication of JP2017054457A publication Critical patent/JP2017054457A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/535Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for monitoring, e.g. of user parameters, terminal parameters, application parameters, network parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

【課題】適切に映像酔いを防止することができる。。【解決手段】装着型の情報表示装置に表示された画面を制御する情報処理装置において、前記情報表示装置から得られる情報と、予め設定された表示制御パターンとを照合して、前記画面に表示される映像の変化量を制御するか否かを判断する判断手段と、前記判断手段により得られる判断結果に応じて前記画面に表示される映像の変化量を制御する表示制御手段と、前記表示制御手段により設定された内容に基づいて前記画面に表示する内容を生成し、生成した内容を前記情報表示装置に出力する画面生成手段とを有することにより、上記課題を解決する。【選択図】図1

Description

本発明は、情報処理装置、表示制御方法、及び表示制御プログラムに関する。
従来では、HMD(Head Mounted Display)やFMD(Face Mounted Display)等の装着型の情報表示装置が普及し始めている。このような情報表示装置を装着することで、視界全体に画像や映像を表示したり、VR(Virtual Reality、仮想現実)技術により、仮想空間上にいるような視界を提供することができる。
また、近年では、上述した情報表示装置を、ゲーム機器等にも装備し、仮想空間上でのゲームに参加しているような感覚をユーザに与えることで、ゲームへの没入感や娯楽性を向上させる試みが検討されている。
しかしながら、仮想空間をより現実的に表現する場合、画面上の揺れや振動等が生じる場合がある。ユーザは、実際に移動等を行っていないため、その揺れ等を見たユーザがいわゆる「映像酔い」等のような状態になる恐れがある。そのため、従来では、HMD等による酔いを防止する手法が提案されている(例えば、特許文献1参照)。
特開2003−279882号公報
しかしながら、映像酔いは、各ユーザによって様々であり、ユーザのその時点の状態によっても異なるが、従来手法では、それぞれの状態に応じて適切に映像酔いを防止することができなかった。
本発明は、上述した課題に鑑みてなされたものであって、適切に映像酔いを防止することを目的とする。
本発明の一つの態様として、情報処理装置は、装着型の情報表示装置に表示された画面を制御する情報処理装置において、前記情報表示装置から得られる情報と、予め設定された表示制御パターンとを照合して、前記画面に表示される映像の変化量を制御するか否かを判断する判断手段と、前記判断手段により得られる判断結果に応じて前記画面に表示される映像の変化量を制御する表示制御手段と、前記表示制御手段により設定された内容に基づいて前記画面に表示する内容を生成し、生成した内容を前記情報表示装置に出力する画面生成手段とを有する。
本発明によれば、適切に映像酔いを防止することができる。
情報処理装置の機能構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 本実施形態における表示制御の概要例を示す図である。 表示制御処理の第1実施例を示すフローチャートである。 表示制御処理の第2実施例を示すフローチャートである。 表示制御処理の第3実施例を示すフローチャートである。 メッセージの表示例を示す図である。 表示制御パターンの一例を示す図である。
以下、図面に基づいて実施形態を説明する。
<情報処理装置の機能構成例>
図1は、情報処理装置の機能構成の一例を示す図である。図1に示す情報処理装置10は、通信手段11と、表示制御設定手段12と、記憶手段13と、検知手段14と、判断手段15と、表示制御手段16と、画面生成手段17と、制御手段18とを有する。なお、情報処理装置10は、例えばゲーム機器やPC(Personal Computer)、タブレット端末等であるが、これに限定されるものではない。
通信手段11は、外部装置と有線又は無線により接続され、データの送受信を行う。通信手段11には、図1に示すように、情報表示装置(情報表示手段)の一例としてのHMD21と、操作装置(操作手段)の一例としてのコントローラ22とが接続されている。
HMD21は、例えば、眼鏡やゴーグル、ヘルメットのように、ユーザの頭部に装着可能な形状をした表示装置(装着型の情報提示装置)である。頭部に装着すると左右の目のすぐ前に画面が一つずつセットされる。単に画像を表示するだけでなく、左右のディスプレイに少しずつ違った映像を表示することで立体感を表現することができる。また、HMD21は、装着者の頭の移動に応じて画面を変化させることで、仮想空間上の視界を提供することができる。
また、HMD21は、単位時間毎に頭の位置、向き、加速度(速度も含む)に関する情報を検知し、その内容を情報処理装置10に送信してもよい。また、HMD21は、単位時間毎にユーザの目(黒目)の位置、方向から視点(注視点)を検出し、その内容を情報処理装置10に送信してもよい。
また、HMD21は、ユーザの発汗量を検知するセンサや体温を検知する体温センサ、心拍数を検知する心拍数検知センサを有していてもよく、これらの各センサから得られた情報のうち、少なくとも1つを情報処理装置10に送信してもよい。
コントローラ22は、HMD21に表示する映像の設定や、本実施形態における表示制御処理における各種設定を行う。また、情報処理装置10がゲーム機器である場合には、コントローラ22は、ゲームの開始や終了、項目の選択、ゲーム実行時における動作制御等を行う。
また、通信手段11は、例えば、インターネットやLAN(Local Area Network)等に代表される通信ネットワークにより接続される外部装置とデータの送受信が可能な状態で接続され、例えば外部装置からゲームプログラムをダウンロードしたり、本実施形態における表示制御プログラムに関する各種データを受信したり、送信したりすることができる。
表示制御設定手段12は、HMD21に表示される内容の設定を行う。例えば、表示制御設定手段12は、映像酔いを防止する表示制御を行うか否かの設定、どのような条件のときにどのような表示制御を行うかを示した表示制御パターンの設定等を行うが、設定内容については、これに限定されるものではない。
なお、表示制御設定手段12は、例えば、ゲームを開始する前に実行してもよく、ゲーム実行中に実行してもよい。例えば、ユーザの表示制御設定として、ゲーム開始前に、コンフィグ画面で設定させてもよく、ゲーム中にボタンを押させることで、動的に変更させてもよい。また、酔いがひどい場合は、ユーザに酔っていることを示す所定のメッセージ(例えば、警告メッセージ等)を表示し、休憩を促すようにしてもよい。なお、メッセージは、文字表記に限定されるものではなく、図柄等でもよく、文字と図柄とを組み合わせてもよい。
記憶手段13は、本実施形態における表示制御処理に必要な各種データを記憶する。例えば記憶手段13は、表示制御設定手段12により設定された表示制御情報や、HMD21から取得した位置、向き、加速度情報、ユーザが実行する各種ゲーム内容等を記憶するが、記憶する内容については、これに限定されるものではない。
検知手段14は、HMD21から検知される頭部の動き又は映像情報の動きを検知する。例えば、検知手段14は、頭部の映像やカメラの動きを検知する。なお、検知手段14が検知する内容については、これに限定されるものではない。
判断手段15は、予め設定された「映像酔いが生じる可能性がある」又は「映像酔いが生じている」ことを判断するための判断基準と、検知手段14による検知結果とを比較して、映像酔いの判断を行う。例えば、判断手段15は、所定時間内に、所定量以上の動きがあった場合に、「映像酔いが生じる可能性がある」又は「映像酔いが生じている」と判断する。なお、判断内容については、これに限定されるものではない。
また、判断手段15は、「映像酔いが生じる可能性がある」又は「映像酔いが生じている」と判断した場合に、記憶手段13に記憶された表示制御パターンと照合して、画面に表示される映像の変化量を制御するか否かを判断する。
表示制御手段16は、判断手段15による判断結果に基づき、上述した表示制御パターンに対応させて、HMD21に表示される通常の映像に対する表示制御を行う。例えば、表示制御手段16は、HMD21や映像の変化量が一定量を超えた場合には、それ以降の映像を制御する。制御内容としては、例えば映像の変化量を制限したり、停止したりすることであるが、これに限定されるものではなく、例えば単位時間あたりの画像フレーム数を減らしたり、他の映像(例えば、映像酔いの状態が治りやすい映像)に切り替える等の表示制御を行ってもよい。
画面生成手段17は、例えばHMD21に表示する内容を生成する。例えば、画面生成手段17は、ユーザが実行指示したゲームの内容を表示する画面を生成する。また、画面生成手段17は、表示制御手段16により制御された動きの変化量が制限された映像等を生成する。生成した画面の内容は、通信手段11を介してHMD21に送信され、HMD21の画面に表示される。
制御手段18は、情報処理装置10の各構成全体を制御する。制御手段18は、例えば通信手段11による各種装置とのデータの送受信、表示制御設定手段12による表示制御設定、検知手段14による検知、判断手段15による映像酔いの判断、表示制御手段16による表示制御、画面生成手段17による画面生成等を制御するが、制御内容については、これに限定されるものではない。
例えば、制御手段18は、ゲーム処理の実行の開始や終了を制御したり、エラー発生時の処理等を制御する。また、制御手段18は、ユーザ毎にログイン認証時の処理を行い、認証成功時に、ユーザに対応するゲームの実行や表示制御処理等を行ってもよい。
なお、上述の例では、HMD21と、情報処理装置10とが別体として構成されているが、本実施形態においては、これに限定されるものではなく、一体に構成されていてもよい。その場合、HMD21が、情報処理装置10に相当する。また、本実施形態では、コントローラ22を設けない構成であってもよい。
<情報処理装置10のハードウェア構成例>
次に、情報処理装置10のハードウェア構成例について、図を用いて説明する。図2は、情報処理装置のハードウェア構成の一例を示す図である。図2の例において、情報処理装置(コンピュータ)10は、入力装置31と、出力装置32と、ドライブ装置33と、補助記憶装置34と、主記憶装置35と、CPU(Central Processing Unit)36と、通信制御装置37とを有し、これらはシステムバスBで相互に接続されている。
入力装置31は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置31は、上述したコントローラ22等の操作デバイスでもよい。
出力装置32は、本実施形態における処理を行うためのコンピュータ本体(情報処理装置10)を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置32は、CPU36が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。出力装置32は、上述したHMD21等の情報表示装置でもよい。
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体38等により提供される。記録媒体38は、ドライブ装置33にセット可能である。CPU36からの制御信号に基づき、記録媒体38に格納された実行プログラムが、記録媒体38からドライブ装置33を介して補助記憶装置34にインストールされる。
補助記憶装置34は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ手段等である。補助記憶装置34は、CPU36からの制御信号に基づき、本実施形態における実行プログラム(表示制御プログラム)や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置34は、CPU36からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
主記憶装置35は、CPU36により補助記憶装置34から読み出された実行プログラム等を格納する。主記憶装置35は、ROM(Read Only Memory)やRAM(Random Access Memory)等である。
CPU36は、OS(Operating System)等の制御プログラム、及び主記憶装置35に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置34から取得することができ、また実行結果等を格納することもできる。
具体的には、CPU36は、例えば入力装置31から得られるプログラムの実行指示等に基づき、補助記憶装置34にインストールされたプログラムを実行させることにより、主記憶装置35上でプログラムに対応する処理を行う。例えば、CPU36は、表示制御プログラムを実行させることで、通信手段11による各種装置とのデータの送受信、表示制御設定手段12による表示制御設定、検知手段14による検知、判断手段15による映像酔いの判断、表示制御手段16による表示制御、画面生成手段17による画面生成等の処理を行う。CPU36における処理内容は、これに限定されるものではない。CPU36により実行された内容は、必要に応じて補助記憶装置34等に記憶される。
通信制御装置37は、上述した通信ネットワークを介して、他の外部装置との通信を行う。通信制御装置37は、CPU36からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、通信制御装置37は、プログラムを実行することで得られた実行結果を外部装置等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
記録媒体38は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体38は、例えばフラッシュメモリ等の半導体メモリやCD−ROM、DVD等の可搬型の記録媒体であるが、これに限定されるものではない。
図2に示すハードウェア構成に実行プログラム(例えば、表示制御プログラム等)をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における各種ゲーム処理、表示制御処理等を実現することができる。また、記録媒体38にインストールされているゲームプログラムを実行させることで、HMD21にゲーム画面を表示させて、ユーザの操作によりゲームを実行することができる。
<本実施形態における表示制御の概要例>
次に、本実施形態における表示制御の概要例について、図を用いて説明する。図3は、本実施形態における表示制御の概要例を示す図である。図3の例において、ユーザ40は、HMD21を頭部に装着すると共に、コントローラ22を持っている。HMD21とコントローラ22とは、情報処理装置10に接続されており、データの送受信が可能な状態となっている。
また、図3の例では、HMD21の画面50にゲームにより演出された仮想空間60が存在し、そこに敵となるキャラクタ(オブジェクトの一例)61と、そのキャラクタ61が持つ武器(オブジェクトの一例)62と、扉(オブジェクトの一例)63とが表示されている。ここで、ユーザ40は、図3の矢印に示すように、頭部を左右に回転移動させたり、上下に動かすことで、HMD21は、その位置や向き、加速度を検知し、その情報を情報処理装置10に送信する。その送信は、所定のタイミングで繰り返し行われる。また、画面50に表示される映像についても、キャラクタ61との戦闘中や扉63へ走っていく等の場合等、ユーザ40のコントローラ22を用いたゲーム中のキャラクタの移動により画面上の映像に揺れや振動が発生する。
つまり、ユーザ40の頭部の動きだけでなく、映像の演出の動き(揺れや振動)等においても映像酔いが生じる。そのため、本実施形態では、上記の映像酔いが発生することを防止すべく、HMD21や映像の変化量を検知し、一定量を超えた場合には、それ以降の所定範囲(例えば、所定期間、又は酔いが軽減されたと判断された場合)まで、映像上の変化量を制限又は停止する等の制御を行う。
次に、本実施形態における表示制御処理の各実施例について、説明する。
<表示制御処理の第1実施例>
図4は、表示制御処理の第1実施例を示すフローチャートである。図4の例において、情報処理装置10の表示制御設定手段12は、本実施形態における映像酔いを防止するための表示制御情報の設定を行う(S01)。なお、S01の処理における設定情報の入力は、HMD21又はコントローラ22等を用いて行われるが、これに限定されるものではなく、音声により行わせてもよい。また、設定した内容は、記憶手段13に記憶される。
また、S01の処理は、ゲーム開始前に、コンフィグ画面等で設定させることがこれに限定されるものではなく、例えば、ゲーム実行中に、コントローラ22に予め割り当てられたボタンを押すことで、動的に設定を変更させてもよい。
次に、情報処理装置10は、HMD21の位置情報及びコントローラ22からの指示情報を取得する(S02)。位置情報とは、例えば、現実空間上の3次元位置、向きである。S02の処理では、単位時間における位置、向きの移動量から加速度等を測定することができ、この情報も上述した位置情報に含めてもよい。また、S02の処理において、情報処理装置10は、コントローラ22からゲーム中における操作指示の内容を取得する。
次に、検知手段14は、単位時間あたりのHMD22の位置又は加速度の変化量又は、表示されている映像上の変化量を検知する。次に、判断手段15は、変化量において、変化量の制御が必要であるか否かを判断する(S04)。なお、S04の処理では、予め設定された表示制御パターンと照合して、その表示制御パターンに記憶された制御条件に当て嵌まるか否かで変化量の制御が必要であるか否かを判断することができるが、判断手法については、これに限定されるものではない。
S04の処理において、変化量の制御が必要である場合(S04において、YES)、表示制御手段16は、画面の変化量を制御する(S05)。第1の実施例では、S05の処理において、例えば表示制御手段16は、視点、注視点の速度を制限する(速度のリミットを制限する)。また、表示制御手段16は、例えば視点、注視点の速度変化を制限する(速度変化を緩やかにする)。また、表示制御手段16は、例えば、映像上のズームイン、ズームアウト速度を制限する。また、表示制御手段16は、映像の解像度を上げて酔いづらくしてもよい。なお、解像度を上げるとハードウェア側の処理負荷が増える。そのため、第1の実施例において、表示制御手段16は、画像表現の一部をカットしてもよい。
また、表示制御手段16は、例えば映像の移動の激しいシーン、ステージをカット(シーンカット)を行い、ゲームを自動で先に進めてもよい。また、表示制御手段16は、例えば、一人称視点の歩行や乗り物のシーンで、上下の揺れをカットしてもよい。
なお、表示制御手段16は、上述した幾つかの表示制御パターンのうち、予め設定された条件に応じた制御を行ってもよい。この場合、表示制御パターンは、記憶手段13に記憶され、表示制御手段16における処理の際に参照されることで、表示制御パターンに応じた制御を行うことができる。また、表示制御パターンは、表示制御設定手段12により設定される。
また、S05の処理後、又はS04の処理において、変化量の変化が必要でない場合(S04において、NO)、対応する画面を生成し(S06)、その生成画面をHMD21上に表示する(S07)。
ここで、制御手段18は、処理を終了するか否かを判断し(S08)、処理を終了しない場合(S08において、NO)、S02の処理に戻る。また、ユーザ指示やゲームの終了等によりゲームを終了する場合(S08において、YES)、制御手段18は、処理を終了する。
上述したように第1実施例では、HMD21又は映像の変化量に基づいて、表示制御を行うため、ユーザ毎に適切に映像酔いを防止することができる。
<表示制御処理の第2実施例>
次に、表示制御処理の第2実施例について説明する。図5は、表示制御処理の第2実施例を示すフローチャートである。上述した第1実施例においては、HMD21や映像の変化量に基づいて、画面表示制御を行うか否かを判断したが、第2実施例では、ユーザの視点情報を取得し、その状態から映像の変化量の制御が必要か否かを判断する。
図5の例において、情報処理装置10の表示制御設定手段12は、本実施形態における映像酔いを防止するための表示制御情報の設定を行う(S11)。なお、S11の処理は、上述したS01の処理と同様の処理であるため、ここでの具体的な説明は省略する。
次に、情報処理装置10は、HMD21から、HMD21を装着したユーザの視点情報を取得する(S12)。S12の処理において、検知手段14は、ユーザの黒目の位置と、その時点で、ユーザに提示している映像の内容からユーザの視点を検出することができるが、検出手法はこれに限定されるものではない。また、検知手段14は、視点の位置等から視点状態を検知する(S13)。視点状態とは、例えば目の挙動(例えば、焦点が合っていない、視点が定まらない、目を閉じている時間が長い)である。また、第2実施例において、第1実施例と同様に、HMD21の位置、向き、加速度等を取得できる場合、検知手段14は、頭の挙動(例えば、ふらふらとして安定しない)等により視点状態を検知してもよい。
検知手段14は、これらの状態から映像酔いをしている状態だと検知することができる。更に、検知手段14は、例えばHMD21が、発汗、体温、心拍数等を取得できる場合には、それらの情報、又は単位時間における変化量を検知してもよい。
次に、判断手段15は、検知手段14による検出結果から、映像の変化量の制御が必要か否かを判断する(S14)。変化量の制御が必要な場合(S14において、YES)、表示制御手段16は、画面の変化量を制御する(S15)。なお、S15の処理においては、上述したS05と同様の制御を行うため、ここでの具体的な説明は省略する。
また、第2実施例におおけるS16〜S18の処理においては、上述したS06〜S08の処理と同様の処理を行うため、ここでの具体的な説明は省略する。
上述したように第2実施例では、ユーザの視点位置等に基づいて、表示制御を行うため、ユーザ毎に適切に映像酔いを防止することができる。
<表示制御処理の第3実施例>
次に、表示制御処理の第3実施例について説明する。図6は、表示制御処理の第3実施例を示すフローチャートである。上述した第1実施例においては、HMD21や映像の変化量に基づいて、画面表示制御を行うか否かを判断したが、第3実施例では、ゲームの実行を抑止するためのメッセージ等を表示するか否かを判断し、判断結果に応じて、休憩を促すメッセージや図柄、又はその組み合わせからなる情報を画面に表示させる。
図6の例において、S21〜S23の処理においては、上述したS01〜S03の処理と同様であるため、ここでの具体的な説明は省略する。検知手段14は、変化量を検知した後、その変化量からメッセージが必要か否かを判断する(S24)。メッセージが必要であるか否かの判断は、例えば上述した表示制御パターン等により設定することができるが、これに限定されるものではない。
S24の処理において、メッセージが必要であると判断した場合(S24において、YES)、表示制御手段16は、画面生成手段17に休憩を促すメッセージ等を生成させて、HMD21の画面に表示する(S25)。
ここで、図7は、メッセージの表示例を示す図である。なお、図7の例は、上述した図3に対応しているため、各符号は、図3に対応させて示している。第3実施例では、HMD21の画面50に表示された仮想空間60におけるゲームを実行中に、所定以上の変化量を検出した場合、図7に示すように、画面50上に「休憩して下さい」等のメッセージ70を表示する。なお、メッセージ70は、図7に示すように画面50の中央最前面に表示されるのが好ましいが、位置や大きさについては、これに限定されるものではない。また、表示制御手段16は、メッセージ70に示す文字表記の代わりに所定の図柄(例えば、警告マーク)等を表示してもよく、文字と図柄とを組み合わせたメッセージを表示してもよい。また、表示制御手段16は、メッセージ70の表示と共に警告音等を出力してもよく、「休憩して下さい」等の音声メッセージを表示してもよい。
また、S25の処理後又はS24の処理において、メッセージが必要でない場合(S24において、NO)、ゲームの画面生成を行う(S26)。なお、S26〜S28の処理は、上述したS06〜S08の処理と同様の処理を行うため、ここでの具体的な説明は省略する。
なお、上述した処理では、第1実施例と同様にHMD21の位置情報及びコントローラ22の変化量に基づいてメッセージが必要か否かを判断したが、これに限定されるものではなく、例えば上述した第2実施例と同様に、ユーザの視点情報等に基づいて、所定のメッセージの出力が必要か否かを判断してもよい。
上述した第3実施例によれば、映像酔いが生じる可能性がある又は実際に映像酔いが生じている場合に、メッセージを出力することで、休憩を促し、ユーザの映像酔いを適切に防止することができる。
<表示制御パターンの一例>
次に、上述した表示制御パターンの一例について、図を用いて説明する。図8は、表示制御パターンの一例を示す図である。図8の例において、表示制御パターンの項目としては、例えば「条件」、「範囲」、「制御内容」等があるが、これに限定されるものではない。
「条件」は、表示制御を行うか否かを制御するための制御情報の項目である。「範囲」は、表示制御を実施する条件の範囲である。「制御内容」は、表示制御を実施する内容である。
例えば、HMD21から取得した"視点、注視点の速度"が予め設定された閾値範囲(例えば、A(m/s))以上である場合、制御内容として、シーンカット、上下の揺れのカット等を行う。また、HMD21から取得した"視点、注視点位置の変化量"が予め設定された閾値範囲(例えば、B(m))以上である場合、制御内容として、警告メッセージ表示を行う。
このように、本実施形態では、条件に応じて表示制御する内容を1又は複数設定することができる。また、この表示制御内容は、ユーザ毎に設定することができる。
<まとめ>
上述したように、本発明によれば、適切に映像酔いを防止することができる。例えば、本実施形態では、HMD21や表示する映像の動きの変化量を検知し一定量を超えた場合は、それ以降の映像を制御する(例えば、映像の変化量を所定時間制限したり、停止したりする)ことで、映像酔いを防止することができる。また、本実施形態によれば、映像酔いの状態を早期に改善することができる。
例えば、本実施形態では、ユーザの目の挙動(焦点が定まっていない等)、動きの激しい映像で目を閉じる等を検出して、その動作が所定の条件を満たす場合に、映像の移動量の削減を行う。なお、本実施形態では、ゲームの開始前又は実行中に表示制御の設定をユーザに行わせることができる。
なお、上述した各実施形態におけるゲームの種類については、レーシングゲームやシューティングゲーム、格闘ゲーム、飛行機シミュレータ、恋愛ゲーム等の多種のゲームにおいて適用することができる。また、ゲームのカテゴリに属しないアプリケーション(プログラム)においても、本実施形態における映像制御を適用することができる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した第1〜第3実施例の一部又は全部を組み合わせることも可能である。
10 情報処理装置
11 通信手段
12 表示制御設定手段
13 記憶手段
14 検知手段
15 判断手段
16 表示制御手段
17 画面生成手段
18 制御手段
21 HMD(情報表示手段の一例)
22 コントローラ(操作手段の一例)
31 入力装置
32 出力装置
33 ドライブ装置
34 補助記憶装置
35 主記憶装置
36 CPU
37 通信制御装置
38 記録媒体
40 ユーザ
50 画面
60 仮想空間
61 キャラクタ
62 武器
63 扉
70 メッセージ

Claims (7)

  1. 装着型の情報表示装置に表示された画面を制御する情報処理装置において、
    前記情報表示装置から得られる情報と、予め設定された表示制御パターンとを照合して、前記画面に表示される映像の変化量を制御するか否かを判断する判断手段と、
    前記判断手段により得られる判断結果に応じて前記画面に表示される映像の変化量を制御する表示制御手段と、
    前記表示制御手段により設定された内容に基づいて前記画面に表示する内容を生成し、生成した内容を前記情報表示装置に出力する画面生成手段とを有することを特徴とする情報処理装置。
  2. 前記判断手段は、
    前記情報表示装置から得られる単位時間毎の位置情報、及びユーザの操作指示を受け付ける操作手段から得られる指示情報とに基づいて、前記映像の変化量を制御するが否かを判断することを特徴とする請求項1に記載の情報処理装置。
  3. 前記判断手段は、
    前記情報表示装置から得られるユーザの視点情報に基づいて、前記映像の変化量を制御するか否かを判断することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記表示制御手段は、
    前記画面に表示される映像の変化量を制限又は停止することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記表示制御手段は、
    前記映像の変化量を制御する必要がある場合に、メッセージを表示するか否かを判断し、判断結果に基づいて、前記画面に所定のメッセージを表示させる制御を行うことを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 装着型の情報表示装置に表示された画面を制御する情報処理装置における表示制御方法において、
    前記情報表示装置から得られる情報と、予め設定された表示制御パターンとを照合して、前記画面に表示される映像の変化量を制御するか否かを判断する判断ステップと、
    前記判断ステップにより得られる判断結果に応じて前記画面に表示される映像の変化量を制御する表示制御ステップと、
    前記表示制御ステップにより設定された内容に基づいて前記画面に表示する内容を生成し、生成した内容を前記情報表示装置に出力する画面生成ステップとを有することを特徴とする表示制御方法。
  7. コンピュータを、
    装着型の情報表示装置から得られる情報と、予め設定された表示制御パターンとを照合して、前記情報表示装置の画面に表示される映像の変化量を制御するか否かを判断する判断手段、
    前記判断手段により得られる判断結果に応じて前記画面に表示される映像の変化量を制御する表示制御手段、及び、
    前記表示制御手段により設定された内容に基づいて前記画面に表示する内容を生成し、生成した内容を前記情報表示装置に出力する画面生成手段として機能させるための表示制御プログラム。
JP2015180112A 2015-09-11 2015-09-11 情報処理装置、表示制御方法、及び表示制御プログラム Pending JP2017054457A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015180112A JP2017054457A (ja) 2015-09-11 2015-09-11 情報処理装置、表示制御方法、及び表示制御プログラム
US15/259,258 US10080955B2 (en) 2015-09-11 2016-09-08 Data processing apparatus and method of controlling display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015180112A JP2017054457A (ja) 2015-09-11 2015-09-11 情報処理装置、表示制御方法、及び表示制御プログラム

Publications (1)

Publication Number Publication Date
JP2017054457A true JP2017054457A (ja) 2017-03-16

Family

ID=58257384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015180112A Pending JP2017054457A (ja) 2015-09-11 2015-09-11 情報処理装置、表示制御方法、及び表示制御プログラム

Country Status (2)

Country Link
US (1) US10080955B2 (ja)
JP (1) JP2017054457A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008346A (ja) * 2017-06-20 2019-01-17 凸版印刷株式会社 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP2019017746A (ja) * 2017-07-18 2019-02-07 株式会社カプコン ゲームプログラム及びゲームシステム
WO2019087623A1 (ja) * 2017-11-02 2019-05-09 キヤノン株式会社 表示装置、表示装置の制御方法
WO2019207728A1 (ja) * 2018-04-26 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
JP2020004061A (ja) * 2018-06-27 2020-01-09 株式会社コロプラ 仮想体験を提供するためにコンピュータで実行される方法、プログラム、情報処理装置および情報処理システム
WO2021014673A1 (ja) * 2019-07-25 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
WO2023286343A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2024019002A1 (ja) * 2022-07-19 2024-01-25 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、及び情報処理プログラム
JP7467094B2 (ja) 2019-12-09 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275918B2 (en) * 2017-08-02 2019-04-30 Wipro Limited Method and system for detecting virtual reality sickness causing content in virtual reality motion simulators
EP3467617A1 (en) * 2017-10-03 2019-04-10 Nokia Technologies Oy Apparatus and associated methods for reducing a likely sickness of a viewer of immersive visual content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) * 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JPH11347249A (ja) * 1998-06-11 1999-12-21 Namco Ltd 画像生成装置及び情報記憶媒体
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2012157195A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 画像表示システムおよび3次元用メガネ
JP2013197771A (ja) * 2012-03-19 2013-09-30 I-Cubed Research Center Inc 画像出力装置、映像出力方法、およびプログラム
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968853B2 (ja) * 1998-02-26 2007-08-29 セイコーエプソン株式会社 画像表示装置
JP2003279882A (ja) 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
US20060007135A1 (en) * 2004-07-06 2006-01-12 Kazuyuki Imagawa Image display device and viewing intention judging device
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
KR20120019728A (ko) * 2010-08-26 2012-03-07 엘지전자 주식회사 영상표시장치 및 그 동작방법
JP5990998B2 (ja) * 2012-04-23 2016-09-14 セイコーエプソン株式会社 虚像表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07255669A (ja) * 1994-03-24 1995-10-09 Sony Corp 状態検出装置および表示装置
JPH11347249A (ja) * 1998-06-11 1999-12-21 Namco Ltd 画像生成装置及び情報記憶媒体
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Vr酔い低減方法
JP2010050645A (ja) * 2008-08-20 2010-03-04 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2012157195A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 画像表示システムおよび3次元用メガネ
JP2013197771A (ja) * 2012-03-19 2013-09-30 I-Cubed Research Center Inc 画像出力装置、映像出力方法、およびプログラム
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008346A (ja) * 2017-06-20 2019-01-17 凸版印刷株式会社 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
JP2019017746A (ja) * 2017-07-18 2019-02-07 株式会社カプコン ゲームプログラム及びゲームシステム
GB2582106B (en) * 2017-11-02 2022-12-14 Canon Kk Display device and display device control method
WO2019087623A1 (ja) * 2017-11-02 2019-05-09 キヤノン株式会社 表示装置、表示装置の制御方法
JP2019086592A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 表示装置、表示装置の制御方法
GB2582106A (en) * 2017-11-02 2020-09-09 Canon Kk Display device and display device control method
US11474595B2 (en) 2017-11-02 2022-10-18 Canon Kabushiki Kaisha Display device and display device control method
WO2019207728A1 (ja) * 2018-04-26 2019-10-31 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
JPWO2019207728A1 (ja) * 2018-04-26 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、画像提示方法、記録媒体及びプログラム
US11599192B2 (en) 2018-04-26 2023-03-07 Sony Interactive Entertainment Inc. Image presentation apparatus, image presentation method, recording medium, and program
JP2020004061A (ja) * 2018-06-27 2020-01-09 株式会社コロプラ 仮想体験を提供するためにコンピュータで実行される方法、プログラム、情報処理装置および情報処理システム
WO2021014673A1 (ja) * 2019-07-25 2021-01-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP2021022075A (ja) * 2019-07-25 2021-02-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11610343B2 (en) 2019-07-25 2023-03-21 Ntt Communications Corporation Video display control apparatus, method, and non-transitory computer readable medium
JP7467094B2 (ja) 2019-12-09 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023286343A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2024019002A1 (ja) * 2022-07-19 2024-01-25 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
US20170075417A1 (en) 2017-03-16
US10080955B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
JP2017054457A (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
JP6616361B2 (ja) ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
JP6706473B2 (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
CN109791440B (zh) 头戴式显示器中的虚拟现实内容的视场限制方法
US9984505B2 (en) Display of text information on a head-mounted display
US10933321B2 (en) Information processing device and information processing method
US10981052B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
JP6470796B2 (ja) 情報処理方法、プログラム及びコンピュータ
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
JP2017058853A (ja) 情報処理装置、動作制御方法、及び動作制御プログラム
US11642591B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US11161047B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
JP6096391B2 (ja) 注意にもとづくレンダリングと忠実性
JP6720339B2 (ja) バーチャルリアリティデバイスのロック解除方法及びそれを実行するバーチャルリアリティデバイス
JP6712865B2 (ja) 情報処理装置、設定画面表示方法及び設定画面表示プログラム
JP6592313B2 (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
JP7366821B2 (ja) 映像表示プログラム
JP6639563B2 (ja) 画像表示装置を介して仮想体験をユーザに提供するためのプログラム、コンピュータ及び方法
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6892262B2 (ja) ゲームプログラム、記録媒体、ゲーム処理方法
JP2020038698A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7440401B2 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
JP7232765B2 (ja) シミュレーション方法とシステム
US20230129718A1 (en) Biometric feedback captured during viewing of displayed content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200727

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200728

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200925

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200929

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210126

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210511

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210601

C28A Non-patent document cited

Free format text: JAPANESE INTERMEDIATE CODE: C2838

Effective date: 20210601

C19 Decision taken to dismiss amendment

Free format text: JAPANESE INTERMEDIATE CODE: C19

Effective date: 20210615

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210615

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210907

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211012

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211012