JP2017144038A - 情報処理プログラム及び情報処理装置 - Google Patents

情報処理プログラム及び情報処理装置 Download PDF

Info

Publication number
JP2017144038A
JP2017144038A JP2016028026A JP2016028026A JP2017144038A JP 2017144038 A JP2017144038 A JP 2017144038A JP 2016028026 A JP2016028026 A JP 2016028026A JP 2016028026 A JP2016028026 A JP 2016028026A JP 2017144038 A JP2017144038 A JP 2017144038A
Authority
JP
Japan
Prior art keywords
user
head
sleep state
orientation
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016028026A
Other languages
English (en)
Other versions
JP6322659B2 (ja
Inventor
峻 齋藤
Shun Saito
峻 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koei Tecmo Holdings Co Ltd
Original Assignee
Koei Tecmo Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koei Tecmo Holdings Co Ltd filed Critical Koei Tecmo Holdings Co Ltd
Priority to JP2016028026A priority Critical patent/JP6322659B2/ja
Priority to US15/409,804 priority patent/US9750452B1/en
Publication of JP2017144038A publication Critical patent/JP2017144038A/ja
Application granted granted Critical
Publication of JP6322659B2 publication Critical patent/JP6322659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A63B2071/0661—Position or arrangement of display arranged on the user
    • A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Abstract

【課題】仮想現実空間を用いて、装着型の表示装置を装着するユーザの睡眠状態を精度良く判定することを目的とする。【解決手段】ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、情報処理プログラムが提供される。【選択図】図６

Description

本発明は、情報処理プログラム及び情報処理装置に関する。
ゲーム機器に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）等の装着型の表示装置を装着して、ＨＭＤに表示されている画面を見ながらコントローラなどを操作してゲームをプレイすることが行われている。
ゲーム機器に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
しかしながら、ＨＭＤを装着したユーザが寝てしまった状態でゲームが進行すると、ユーザにとって不利なゲーム展開となったり、寝る直前のゲーム内容をセーブしたいにもかかわらず直前のデータがセーブできなかったりする。その結果、ユーザが起きたときには、意図しないゲームの結果となり得る。
そこで、ユーザの目の開閉状態に基づき、ユーザの睡眠状態を判定し、判定結果に応じて所定の処理を行う技術が知られている（例えば、特許文献１及び特許文献２参照）。例えば、特許文献１では、目の開閉情報から睡眠状態か否かを検知し、睡眠状態を検知したときから起床時までの画像を起床後に再表示させる。特許文献２では、視聴者の目に非可視光ビームを照射し、目が閉じているか否かで睡眠状態か注視状態かの判定を行う。睡眠状態であると判定された場合、警報を表示したりして電源を落とす。
特許第５２１２１５５号明細書 特開平１１−２４９０６４号公報
しかしながら、ユーザは、目が疲れた場合等にも目を閉じて所定時間過ごすことがある。よって、ユーザの目をトラッキングした結果のみからユーザが睡眠状態か否かを判定すると、誤判定が生じる可能性がある。
他方、ＨＭＤに表示される仮想空間の座標系と、ＨＤＭを装着するユーザの実空間の座標系とを一対一に対応付けて、ユーザの頭や顔の位置や姿勢を、ＨＭＤの仮想空間のキャラクタの位置や姿勢に連動させて表示する仮想現実（バーチャルリアリティ）の技術が知られている。これによれば、ＨＤＭを装着するユーザの頭等の位置や向きをトラッキングすることによって、ＨＭＤ内に表示するキャラクタの位置等をユーザＵの位置等に合わせてキャラクタを動かすことができる。
そこで、一側面では、本発明は、仮想現実空間を用いて、装着型の表示装置を装着するユーザの睡眠状態を精度良く判定することを目的とする。
一つの案では、ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、情報処理プログラムが提供される。
一側面によれば、仮想現実空間を用いて、装着型の表示装置を装着するユーザの睡眠状態を精度良く判定することができる。
一実施形態にかかる情報処理システムの全体構成の一例を示す図。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 一実施形態に係る情報処理装置の機能構成の一例を示す図。 一実施形態に係る仮想現実空間を実現する仮想カメラの一例を示す図。 一実施形態に係るゲーム処理の一例を示すフローチャート。 第１実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。 第１実施形態に係るＨＭＤに表示される画面の一例を示す図。 第１実施形態に係るＨＭＤに表示される画面の一例を示す図。 第２実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。 第２実施形態に係るＨＭＤに表示される画面の一例を示す図。 第３実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［情報処理システムの全体構成］
まず、本発明の一実施形態に係る情報処理システムの全体構成の一例について、図１を参照しながら説明する。本実施形態に係る情報処理システムは、ＨＭＤ（Head Mounted Display）１０及び情報処理装置２０を有する。本実施形態に係る情報処理システムでは、情報処理装置２０により実行される所定のゲームの画像がＨＭＤ１０に表示される。ユーザＵは、情報処理装置２０に接続されたＨＭＤ１０を頭に装着して、ＨＭＤ１０に表示される画像を見ながら、コントローラ４０を操作してゲームをプレイする。ユーザＵは、コントローラ４０を用いて、ゲームの開始や終了、項目の選択、ゲーム実行時におけるプレイヤーキャラクタＰＣ（Player Character）の操作を行う。ただし、情報処理装置２０により実行される所定の処理は、ゲーム処理に限らず、番組や映画の映像を再生する処理等であってもよい。
ユーザＵがＨＭＤ１０を装着すると、例えば、図１に示すようなＨＭＤ１０に表示される映像のみがユーザＵの視界に入り、その他の外界は視界に入らない。このため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高めることができる。
ＨＭＤ１０には、赤外線照射器１１、カラーイメージセンサ１２、６軸センサ１３、通信モジュール１４及びプロセッサ１５が内蔵または外付けされている。赤外線照射器１１は、赤外線（ＩＲ）をユーザＵ側に照射する。カラーイメージセンサ１２は、ユーザＵ側の頭等の物体からの赤外線反射画像を撮影する。プロセッサ１５は、赤外線反射画像を解析して物体までの画像認識処理を行う。例えば、プロセッサ１５は、ユーザＵの頭や顔の赤外線反射画像を解析して、ユーザＵの頭や顔までの画像認識処理を行う。カラーイメージセンサ１２は、赤外線を利用しているが、これに替えて又はこれに加えてカメラを使用してもよい。
カラーイメージセンサ１２で撮影した赤外線反射画像から、ユーザＵの頭等の身体の各部を画像認識して画像内のユーザＵの頭の位置、顔の位置、又は首の位置を判定する。これにより、実空間におけるユーザＵの頭等の位置からＨＭＤ１０の位置を特定することができる。カラーイメージセンサ１２やカメラで撮影したユーザＵの目の画像に基づき、ユーザＵの目をトラッキングし、ユーザの目の開閉を判定してもよい。
６軸センサ１３は、カラーイメージセンサ１２の光軸方向・左右・上下の３軸方向の移動や各軸周りの回転を検出するトラッキング（モーショントレース）のための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。情報処理装置２０は、６軸センサ１３による検出結果から、実空間におけるユーザＵの動きを算出する。情報処理装置２０は、トラッキングしている実空間におけるユーザＵの頭や顔等の位置及び向きと、仮想カメラが描画するＨＭＤ１０の画像におけるプレイヤーキャラクタＰＣの位置及び姿勢とを一致させるように仮想カメラを制御する。これにより、ユーザＵの頭等の位置及び向きに対応するＨＭＤ１０の仮想空間上の位置及び向きのゲーム画像を表示させることができる。
通信モジュール１４は、ゲーム処理等の所定の処理を実行する情報処理装置２０との無線通信接続を行う。情報処理装置２０は、例えばインターネットやＬＡＮ（Local Area Network）等のネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザＵがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２０に提供してもよい。
本実施形態に係る情報処理システムでは、上記センサ群により検出したセンサ値によってコントローラを操作せずにゲームプレイすることもできる。この場合、情報処理システムにコントローラを設けなくてもよい。
ＨＭＤ１０は、装着型の表示装置の一例である。装着型の表示装置の他の例としては、例えばＦＭＤ（Face Mounted Display）のように目鏡やゴーグル型やヘルメット型の、ユーザの頭や顔に装着可能な表示装置が挙げられる。
情報処理装置２０は、ゲームや映画の再生等の所定の処理を実行し、装着型の表示装置にて実行中の処理に関する画像の表示を制御する。情報処理装置２０は、ゲーム機器に限らず、例えば、ＰＣ（Personal Computer）、スマートフォン、ビデオカメラ、デジタルカメラ、ＰＤＡ（Personal Digital Assistants）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置等であってもよい。また、所定の処理は、ゲームや映画の再生処理に限られず、画像を表示するいずれの処理であってもよい。
また、本実施形態にかかる情報処理システムでは、ＨＭＤ１０と情報処理装置２０とが別体として構成されているが、これに限定されない。本実施形態に係る情報処理装置２０は、ＨＭＤ１０と一体となっていてもよい。この場合、情報処理装置２０は、進行中のゲームの画像等を表示するＨＭＤ１０として構成される。
［情報処理装置のハードウェア構成］
次に、本実施形態に係る情報処理装置２０のハードウェア構成の一例について、図２を参照しながら説明する。情報処理装置２０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Central Processing Unit）３６と、通信制御装置３７とを有する。各部は、システムバスＢで相互に接続されている。
入力装置３１は、キーボード、マウス等の操作デバイスを有し、操作デバイスのユーザＵによる操作に従い、ゲームの実行指示、設定画面の立上げ指示、その他の各種の入力を受け付ける。入力装置３１は、コントローラ４０を有してもよい。
出力装置３２は、ディスプレイを有し、ゲーム進行に応じた画像や設定画面を表示する。ＨＭＤ１０は、出力装置３２の一例である。
補助記憶装置３４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により実現される。補助記憶装置３４は、プログラムやデータを格納する。格納されるプログラムやデータには、情報処理装置２０の全体を制御するためのプログラムや所定のアプリケーションを実行するためのプログラムがある。
主記憶装置３５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）により構成されてもよい。ＣＰＵ３６は、補助記憶装置３４から、プログラムやデータを主記憶装置３５に読み出し、ゲームを実行することで、ゲームの進行を制御したり、情報処理装置２０に搭載されたその他の機能を実現する。
通信制御装置３７は、ＨＭＤ１０との無線通信や、ネットワークを介してサーバや他の外部装置との通信を行う。
情報処理装置２０は、ドライブ装置３３を介して記録媒体３８の読み取り及び書き込みを行うことができる。記録媒体３８には、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。
［情報処理装置の機能構成］
次に、本実施形態に係る情報処理装置２０の機能構成の一例について、図３を参照しながら説明する。情報処理装置２０は、通信部２１、記憶部２２、ＨＭＤ位置姿勢算出部２３、表示制御部２４、処理実行部２５、画像生成部２６及び睡眠状態判定部２７を有する。
通信部２１は、ネットワークを介して接続されるＨＭＤ１０及びコントローラ４０とデータを送受信する。また、例えば、通信部２１は、外部装置からゲームプログラムをダウンロードする際に使用する各種データを送受信する。
記憶部２２は、ゲームプログラム２２１、情報処理プログラム２２２及び各種データを記憶する。
ＨＭＤ位置姿勢算出部２３は、カラーイメージセンサ１２により撮影した画像を用いてＨＭＤ１０をトラッキングし、ユーザＵの頭、顔又は首の位置及び向き（角度）を算出する。ＨＭＤ位置姿勢算出部２３は、カラーイメージセンサ１２により撮影した画像を用いてユーザＵの目をトラッキングしてもよい。ユーザＵの目を、カラーイメージセンサ１２とは異なるカメラが撮影した画像を用いてトラッキングしてもよい。
画像生成部２６は、ＨＭＤ１０に表示するゲーム画像を生成する。画像生成部２６は、算出したユーザの頭又は顔の位置及び向きに対応したゲーム画像を生成する。表示制御部２４は、ＨＭＤ１０の仮想空間上に画像生成部２６が生成した画像を、ゲーム進行に応じて表示させる。
処理実行部２５は、所望のゲームを実行する。処理実行部２５は、ユーザが睡眠状態であると判定した結果に応じて、ゲームを一時停止したり、再開したりする。睡眠状態判定部２７は、算出したユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する。
なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。
かかる構成により、本実施形態に係る情報処理装置２０では、ＣＰＵ３６が、主記憶装置３５又は補助記憶装置３４に格納されたゲームプログラム、情報処理プログラム及び各種データを用いてゲーム処理及び睡眠判定処理を実行する。
［仮想現実空間（バーチャルリアリティ）］
実空間にあるユーザＵの頭等の位置や向きの座標系は、カラーイメージセンサ１２が撮像した画像から測定される。ＨＭＤ１０にて表示される仮想空間は、実空間の水平方向及び鉛直方向に沿って座標軸方向を定めた座標系で定義され、スケールも実空間と同様に設定される。
図４は、ＨＭＤ１０にて表示される仮想現実空間ＶＲ（バーチャルリアリティ）の一例を示す。仮想現実空間ＶＲに表示される画像は、仮想カメラＶＣにより撮影されている。仮想カメラＶＣは、実空間の座標系から仮想空間の座標系に適宜座標変換されたＨＭＤ１０の仮想空間の位置に配置される。仮想カメラＶＣの光軸Ｏ方向は、ＨＭＤ１０の６軸センサ１３にて検出されたユーザＵの頭の位置からユーザＵの正面方向に制御される。仮想カメラＶＣの光軸Ｏ周りの回転は、６軸センサ１３にて検出されたユーザＵの姿勢からユーザＵの頭の向きが光軸周りに回転する角度θに制御される。つまり、実空間におけるユーザＵの位置が移動すれば、これに従い、仮想空間における仮想カメラＶＣの位置が同じスケールで移動する。また。実空間におけるユーザＵの頭や首が所定の向きに傾けば、これに従い、仮想空間における仮想カメラＶＣの姿勢が所定の向きに傾く。このようにして仮想カメラＶＣは、ユーザＵの頭、顔又は首の動きをトレースするように制御される。本機能は、公知のＨＭＤに係るヘッドトラッキング技術を利用することができる。
＜第１実施形態＞
［ゲーム処理］
次に、第１実施形態に係るゲーム処理について図５を参照して説明する。図５は、第１実施形態に係るゲーム処理の一例を示したフローチャートである。本実施形態に係るゲーム処理は、主に処理実行部２５が、ゲームプログラム２２１を実行することにより実現される。また、ゲーム実行中に行われる睡眠状態判定処理（図６参照）は、主に睡眠状態判定部２７が、情報処理プログラム２２２を実行することにより実現される。
本処理が開始されると、処理実行部２５は、周辺機器（例えば、ＨＭＤ１０及びコントローラ４０）の認証を行う（ステップＳ１０）。機器認証が完了すると、通信部２１は、所定時間毎にカラーイメージセンサ１２が撮影した画像のデータを受信する。ＨＭＤ位置姿勢算出部２３は、受信した画像のデータに基づき、ＨＭＤ１０の位置及び姿勢のトラッキングを開始する（ステップＳ１２）。
次に、処理実行部２５は、コントローラ４０から所定のゲーム開始の操作が入力されると、これを検知し（ステップＳ１４）、ゲーム開始の意思確認の受け付けを開始する（ステップＳ１６）。処理実行部２５は、コントローラ４０からゲーム開始の意思確認を受け付けると、画像生成部２６は、仮想カメラＶＣを仮想現実空間ＶＲの初期位置に配置し、仮想カメラ１０で撮影した仮想現実空間ＶＲの画像を生成する。表示制御部２４は、生成した画像をＨＭＤ１０に表示させる制御を開始する（ステップＳ１８）。
次に、表示制御部２４は、ＨＭＤ１０のトラッキングに応じて、仮想カメラＶＣの位置及び姿勢を制御する（ステップＳ２０）。次に、処理実行部２５は、ゲームを開始するか否かを判定する（ステップＳ２２）。ユーザからゲーム開始の意思確認を受け付けると、処理実行部２５は、ゲームを開始すると判定し、図６のゲーム処理中の睡眠状態判定処理を実行し（ステップＳ２４）、実行後、本処理を終了する。
（ゲーム処理中の睡眠状態判定処理）
図６のゲーム処理中の睡眠状態判定処理が開始されると、ＨＭＤ位置姿勢算出部２３は、ＨＭＤ１０から受信した画像データに基づき、所定時間毎にＨＭＤ１０の位置及び向きを算出する（ステップＳ３０）。次に、睡眠状態判定部２７は、算出したＨＭＤ１０の位置をユーザＵの基準位置に設定し、算出したＨＭＤ１０の向き（角度）を、ユーザＵの基準姿勢に設定する（ステップＳ３２）。少なくともゲームの開始時にはユーザＵは寝ていないことを前提に、ゲームの開始時の頭の位置及び向きが、起きているときのユーザＵの基準位置及び基準姿勢として設定される。基準位置又は基準姿勢は、ゲームの途中にユーザＵが睡眠状態にあるか否かの判定の基準に用いられる。
画像生成部２６は、ＨＭＤ１０の位置及び向きに合わせて仮想カメラＶＣを制御し、仮想カメラＶＣが撮影した画像を生成する。表示制御部２４は、生成した画像を仮想現実空間ＶＲ上に表示する（ステップＳ３４）。
次に、睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態であって、その状態が所定時間以上続いたかを判定する（ステップＳ３６）。例えば、図７（ａ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ａ）に示すような画像になる。このとき、ユーザＵが操作するプレイヤーキャラクタＰＣは、馬に乗っている高さに位置する。これにより、ユーザＵは、ゲームのプレイヤーキャラクタＰＣと一体化して、仮想現実空間ＶＲでのホースレースに参加しているような気分でゲームへ没入することができる。図７（ａ）及び図８（ａ）に示すプレイヤーキャラクタＰＣの位置は、ユーザＵが起きているときの基準位置から所定範囲内であり、ユーザＵが起きている状態を示す。
この場合、図６に戻り、睡眠状態判定部２７は、ＨＭＤ１０の位置（つまり、算出したユーザの頭の位置）が基準位置から所定距離以上、下にある状態ではないと判定し、ステップＳ３８に進む。ＨＭＤ位置姿勢算出部２３は、ＨＭＤ１０から受信した画像データに基づき、ＨＭＤ１０の位置及び向きを算出する（ステップＳ３８）。画像生成部２６は、ＨＭＤ１０の位置及び向きに合わせて仮想カメラＶＣを制御し、仮想カメラＶＣが撮影した画像を生成する。表示制御部２４は、生成した画像を仮想現実空間ＶＲ上に表示する（ステップＳ４０）。次に、処理実行部２５は、ゲームを終了するかを判定する（ステップＳ４２）。処理実行部２５は、ゲームを終了しないと判定した場合、ステップＳ３６に戻り、ステップＳ３６以降の処理を実行する。
例えば、図７（ｂ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ｂ）に示すような画像になる。このとき、ユーザＵが操作するプレイヤーキャラクタＰＣは、馬に乗っている高さではなく、地面に近い高さに位置する。
この場合、図６のステップ３６において、睡眠状態判定部２７は、ＨＭＤ１０の位置（つまり、算出したユーザの頭の位置）が基準位置から所定距離以上、下にある状態であると判定し、この状態が所定時間以上続いているか否かを判定する(ステップＳ３６)。所定時間以上続いていると判定された場合、処理実行部２５は、ゲームの進行を一時停止する（ステップＳ４６）。ゲームの進行を一時停止後、睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離内にあるかを判定する（ステップＳ４８）。処理実行部２５は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態が続いていると判定している間、ゲームの進行を停止し、ＨＭＤ１０の位置が基準位置から所定距離内にあると判定したとき、ステップＳ３８に進み、ステップＳ３８以降の処理を実行してゲームを再開する。
以上に説明した第１実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０をトラッキングし、ユーザＵの頭の位置及び向きを算出する。そして、算出したユーザＵの頭の位置に対応するＨＭＤ１０の仮想現実空間ＶＲ上の位置に応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の位置が所定以上ずれている状態が所定時間以上続いているかを判定する。そして、ユーザの頭の位置が所定以上ずれている状態が所定時間以上続いていると判定された場合、ユーザは睡眠状態であると判定され、ゲームの進行を一時停止し、ユーザＵが起きたとき、ゲームの進行を再開する。以上により、仮想現実空間を用いてＨＭＤ１０を装着するユーザＵの睡眠状態を精度良く判定することができる。
＜第２実施形態＞
（ゲーム処理中の睡眠状態判定処理）
次に、第２実施形態に係るゲーム処理中の睡眠状態判定処理について図９を参照して説明する。第２実施形態に係るゲーム処理は、第１実施形態に係る図５のゲーム処理と同一であるため、ここでは省略する。
図９の第２実施形態に係るゲーム処理中の睡眠状態判定処理は、図６の第１実施形態に係るゲーム処理中の睡眠状態判定処理と比較すると、図６のステップＳ３６がステップＳ５０に変更され、図６のステップＳ４８がステップＳ５２に変更されている点で異なる。残りのステップは同一であるため、第１実施形態と異なるステップＳ５０及びステップＳ５２の処理のみ説明する。
ステップＳ５０において、睡眠状態判定部２７は、ＨＭＤ１０の向きが、標準姿勢から所定角度以上下に向いている状態が所定時間以上続いたかを判定する。例えば、図１０（ａ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ａ）に示すような画像になる。
この場合、図９に戻り、睡眠状態判定部２７は、ＨＭＤ１０の向き（つまり、算出したユーザの頭の向き）が基準姿勢から所定角度以上、下に向いている状態ではないと判定し、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
一方、図１０（ｂ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ｂ）に示すような画像になる。
この場合、図９に戻り、睡眠状態判定部２７は、ＨＭＤ１０の向き（つまり、算出したユーザの頭の向き）が基準姿勢から所定角度以上、下に向いている状態であると判定し、ユーザＵは睡眠状態にあると判定する（ステップＳ４４）。この結果、処理実行部２５は、ゲームの進行を一時停止する（ステップＳ４６）。
その後、睡眠状態判定部２７は、ＨＭＤ１０の向きが基準姿勢から所定角度内であるかを判定し（ステップＳ５２）、所定角度内であると判定した場合、ＨＭＤ位置姿勢算出部２３は、ステップＳ３８以降の処理を実行し、ゲームを再開する。
以上に説明した第２実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０をトラッキングし、ユーザＵの頭の位置及び向きを算出する。そして、算出したユーザＵの頭の向きに対応するＨＭＤ１０の仮想現実空間ＶＲ上の向きに応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の向きが所定角度以上、下に向いている状態が所定時間以上続いた場合、ユーザは睡眠状態であると判定される。そして、ユーザＵが睡眠状態にあると判定された場合、ゲームの進行を一時停止し、ユーザＵが起きたとき、ゲームの進行を再開する。これにより、第１実施形態と同様に、仮想現実空間ＶＲを用いて、ＨＭＤ１０を装着するユーザＵの睡眠状態を精度良く判定することができる。
＜第３実施形態＞
（ゲーム処理中の睡眠状態判定処理）
次に、第３実施形態に係るゲーム処理中の睡眠状態判定処理について図１１を参照して説明する。第３実施形態に係るゲーム処理は、第１実施形態に係る図５のゲーム処理と同一であるため、ここでは省略する。
図１１の第３実施形態に係るゲーム処理中の睡眠状態判定処理は、図６の第１実施形態に係るゲーム処理中の睡眠状態判定処理と比較すると、ステップＳ６０が追加されている点で異なり、残りのステップは同一である。よって、ステップＳ６０及びその前後処理についてのみ説明する。
ステップＳ３６では、ＨＭＤ１０の位置が、標準位置から所定距離以上、下にある状態が所定時間以上続いたかを判定する。睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態ではないと判定した場合、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
一方、睡眠状態判定部２７は、ＨＭＤ１０の位置が、所定距離以上、下にある状態が所定時間以上続いたと判定した場合、ユーザＵの目が所定時間以上閉じているかを判定する（ステップＳ６０）。睡眠状態判定部２７は、ユーザＵの目が開いていると判定した場合、ユーザＵは寝ていないと判定し、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
他方、睡眠状態判定部２７は、ユーザＵの目が閉じていると判定した場合、ユーザＵは睡眠状態にあると判定し（ステップＳ４４）、ゲームの進行を一時停止する（ステップＳ４６）。
以上に説明した第３実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０の頭と目とをトラッキングする。ユーザＵの頭の位置に対応するＨＭＤ１０の仮想現実空間ＶＲ上の位置に応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の位置が所定距離以上ずれている状態が所定時間以上続いた場合であって、かつ、ユーザの目が閉じている場合、ユーザは睡眠状態であると判定される。本実施形態では、頭のトラッキング結果と目のトラッキング結果に基づき、ＨＭＤ１０を装着するユーザＵの睡眠状態をさらに精度良く判定することができる。
（変形例）
以上、ゲーム処理中に実行する各実施形態の睡眠状態判定処理について説明した。第１〜第３実施形態に係る睡眠状態判定処理は、仮想空間上の仮想カメラＶＣと実空間上のカラーイメージセンサ１２との動きを一致させ、ＨＭＤ１０に仮想現実空間ＶＲを形成する。各実施形態では、カラーイメージセンサ１２で取得した画像の頭の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させることで、ユーザＵが実際に仮想空間内に入ったような感覚（バーチャルリアリティ）でゲームをプレイできる。
各実施形態では、主にユーザＵの頭の動きをＨＭＤ１０の動きとしたが、これに限らず、例えば、ユーザＵの顔の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させ、仮想現実空間ＶＲを実現してもよい。また、ユーザＵの首の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させ、仮想現実空間ＶＲを実現してもよい。
上記仮想現実空間ＶＲを実現する本実施形態に係る情報処理装置２０では、仮想空間上のプレイヤーキャラクタＰＣの位置及び姿勢は、ゲームを操作するユーザＵの位置及び姿勢と同一又は近似する。この原則を利用して、第１実施形態に係る睡眠状態判定処理は、ヘッドトラッキングに基づきＨＭＤ１０の位置（ユーザＵの頭の位置）を算出し、ユーザＵが起きているときの位置を示す基準位置と比較してユーザＵが睡眠状態にあるかを判定した。第２実施形態に係る睡眠状態判定処理は、ヘッドトラッキングに基づきＨＭＤ１０の向きを算出し、ユーザＵが起きているときの姿勢を示す基準姿勢と比較してユーザＵが睡眠状態にあるかを判定した。第３実施形態に係る睡眠状態判定処理は、第１実施形態に係るＨＭＤ１０の位置に基づく睡眠状態の判定と、ユーザＵの目の開閉に基づく睡眠状態の判定との両方を用いてユーザＵが睡眠状態にあるかを判定した。
しかしながら、睡眠状態判定処理は、これに限らず、例えば、ＨＭＤ１０の位置とＨＭＤ１０の姿勢とに基づきユーザＵの睡眠状態を判定してもよい。また、ＨＭＤ１０の姿勢と目の開閉とに基づきユーザＵの睡眠状態を判定してもよい。また、ＨＭＤ１０の位置とＨＭＤ１０の姿勢と目の開閉とに基づきユーザＵの睡眠状態を判定してもよい。
また、第１〜第３実施形態に係る睡眠状態判定処理では、ユーザＵが睡眠状態にあると判定した場合、ゲームの進行を一時停止させた。しかしながら、ユーザＵが睡眠状態にあると判定した場合に実行する所定の処理はこれに限らない。例えば、ユーザＵが睡眠状態にあると判定した場合、ゲームの内容をオートセーブし、ＨＭＤ１０の電源をオフしてもよい。これにより、ユーザは、睡眠状態になった直前の状態からゲームを再開することができる。
また、ユーザＵが睡眠状態にあると判定した場合、ＨＭＤ１０に設けられたスピーカ等から目覚まし音を鳴らしてユーザＵを起こすようにしてもよいし、ゲーム内のキャラクタが起こす言葉を発するようにしてもよい。
また、ユーザＵが睡眠状態にあると判定した場合、ユーザＵの操作に応じて動作していたプレイヤーキャラクタＰＣを情報処理装置２０が自動操作するノンプレイヤーキャラクタＮＰＣに切り替えてもよい。この場合、ユーザＵが起きたとき、再び、ノンプレイヤーキャラクタＮＰＣからプレイヤーキャラクタＰＣに切り替えて、ゲームを停止せずに続行することができる。これにより、特に、通信ゲーム等複数のユーザＵが通信を行いながら共にゲームを行っている等のマルチプレイ時にユーザＵの一人が睡眠状態になることでゲーム全体の進行を妨げることを回避できる。また、マルチプレイ時にユーザＵが睡眠状態にあると判定した場合、ユーザＵが睡眠状態にあることを、他ユーザＵに通知してもよい。
なお、ユーザＵが睡眠状態にあると判定する所定距離（ステップＳ３６）には、一般的な大きさ及び体格のユーザＵが起きている状態（例えば、座っている状態）と睡眠状態（例えば、寝ている状態）との位置の差異として５０ｃｍ以上の値が予め設定されていてもよい。
また、ユーザＵが睡眠状態にあると判定する所定角度（ステップＳ５０）には、一般的な大きさ及び体格のユーザＵが起きている状態（例えば、座っている状態）と睡眠状態（例えば、寝ている状態）との頭、顔、首等の角度の差異として３０度以上の値が予め設定されていてもよい。
また、ユーザＵが睡眠状態にあると判定する所定時間（ステップＳ３６、Ｓ５０）には、ユーザが目が疲れた場合等に目を閉じる時間よりも長い時間に設定される。例えば、ユーザＵが睡眠状態にあると判定する所定時間は、ユーザＵが睡眠状態であると判定されてから、１分〜５分程度の時間が予め設定されてもよい。
また、第１〜第３実施形態に係る睡眠状態判定処理は、ゲーム処理中に行われることに限らず、番組や映画の映像の再生処理やその他の画像を表示するいずれの処理においても、装着型の表示装置にて画像を表示する際に実行することができる。
以上、情報処理プログラム及び情報処理装置を上記実施形態により説明したが、本発明にかかる情報処理プログラム及び情報処理装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
１０ ＨＭＤ
１１ 赤外線照射器
１２ カラーイメージセンサ
１３ ６軸センサ
１４ 通信モジュール
１５ プロセッサ
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ ＨＭＤ位置姿勢算出部
２４ 表示制御部
２５ 処理実行部
２６ 画像生成部
２７ 睡眠状態判定部
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ 主記憶装置
３６ ＣＰＵ
３７ 通信制御装置
３８ 記録媒体
Ｕ ユーザ
ＶＲ 仮想空間
ＶＣ 仮想カメラ

Claims (6)

  1. ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、
    前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、
    算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、
    算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、
    前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、
    情報処理プログラム。
  2. 算出した前記ユーザの頭、顔又は首の位置が、設定した基準位置から所定距離以上下にある状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
    請求項１に記載の情報処理プログラム。
  3. 算出した前記ユーザの頭又は顔の向きが、設定した基準姿勢から所定角度以上下に向いている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
    請求項１又は２に記載の情報処理プログラム。
  4. 前記ユーザが睡眠状態であると判定した場合に実行する所定の処理は、前記ユーザが実行する処理の内容を示す情報を記憶部に格納する、前記ユーザが実行する処理を終了する、前記表示装置の電源をオフする、睡眠状態であることを前記ユーザに警告する、前記ユーザが実行する処理を一時停止する、前記ユーザが実行する処理を前記ユーザの指示に基づく制御から前記ユーザの指示に基づかない自動制御に切り替える、及び前記ユーザが睡眠状態にあることを通知する、の少なくともいずれかの処理である、
    請求項１〜３のいずれか一項に記載の情報処理プログラム。
  5. 算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態であって、かつ前記ユーザが目を閉じている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
    請求項１〜４のいずれか一項に記載の情報処理プログラム。
  6. ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる情報処理装置であって、
    前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出する位置姿勢算出部と、
    算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させる表示制御部と、
    算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する判定部と、
    前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する処理実行部と、
    を有する情報処理装置。
JP2016028026A 2016-02-17 2016-02-17 情報処理プログラム及び情報処理装置 Active JP6322659B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016028026A JP6322659B2 (ja) 2016-02-17 2016-02-17 情報処理プログラム及び情報処理装置
US15/409,804 US9750452B1 (en) 2016-02-17 2017-01-19 Technique for determining sleeping state of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016028026A JP6322659B2 (ja) 2016-02-17 2016-02-17 情報処理プログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2017144038A true JP2017144038A (ja) 2017-08-24
JP6322659B2 JP6322659B2 (ja) 2018-05-09

Family

ID=59559936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016028026A Active JP6322659B2 (ja) 2016-02-17 2016-02-17 情報処理プログラム及び情報処理装置

Country Status (2)

Country Link
US (1) US9750452B1 (ja)
JP (1) JP6322659B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225354A1 (ja) * 2018-05-22 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021044745A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 表示処理装置、表示処理方法及び記録媒体
JP2021089636A (ja) * 2019-12-05 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109833029B (zh) * 2017-11-27 2021-04-30 深圳创达云睿智能科技有限公司 一种睡眠分期方法、系统及终端设备
US11463663B2 (en) 2019-06-21 2022-10-04 Mindgam3 Institute Camera glasses for law enforcement accountability

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
JP2010187132A (ja) * 2009-02-10 2010-08-26 Brother Ind Ltd ヘッドマウントディスプレイ
JP2016002353A (ja) * 2014-06-18 2016-01-12 ソニー株式会社 検出装置および方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249064A (ja) 1998-03-04 1999-09-17 Omron Corp 頭部搭載型表示装置
KR102230076B1 (ko) * 2014-09-01 2021-03-19 삼성전자 주식회사 헤드 마운트 디스플레이 장치
US9952652B2 (en) * 2014-12-04 2018-04-24 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
JP2010187132A (ja) * 2009-02-10 2010-08-26 Brother Ind Ltd ヘッドマウントディスプレイ
JP2016002353A (ja) * 2014-06-18 2016-01-12 ソニー株式会社 検出装置および方法、並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225354A1 (ja) * 2018-05-22 2019-11-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2019225354A1 (ja) * 2018-05-22 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2021044745A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 表示処理装置、表示処理方法及び記録媒体
JP2021089636A (ja) * 2019-12-05 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7429416B2 (ja) 2019-12-05 2024-02-08 株式会社Agama-X 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US9750452B1 (en) 2017-09-05
JP6322659B2 (ja) 2018-05-09
US20170231554A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
JP6322659B2 (ja) 情報処理プログラム及び情報処理装置
EP3241088B1 (en) Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
JP7171766B2 (ja) チャレンジゲームシステム
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
US20170221264A1 (en) Methods and Systems for Navigation within Virtual Reality Space using Head Mounted Display
JP2010233958A (ja) プログラム、情報記憶媒体及びゲーム装置
JP6096391B2 (ja) 注意にもとづくレンダリングと忠実性
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
EP3600578B1 (en) Zoom apparatus and associated methods
JP7016211B2 (ja) 演出処理プログラム及び情報処理装置
JP6964302B2 (ja) アニメーション制作方法
JP2022020686A (ja) 情報処理方法、プログラム、およびコンピュータ
JP6826626B2 (ja) 視聴プログラム、視聴方法、および視聴端末
US20230129718A1 (en) Biometric feedback captured during viewing of displayed content
WO2022137375A1 (ja) 方法、コンピュータ可読媒体、および情報処理装置
JP2021051762A (ja) 視聴プログラム、視聴方法、および視聴端末
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171120

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171120

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R150 Certificate of patent or registration of utility model

Ref document number: 6322659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250