JP2019016316A - 表示システム、及び表示システムの表示制御方法 - Google Patents
表示システム、及び表示システムの表示制御方法 Download PDFInfo
- Publication number
- JP2019016316A JP2019016316A JP2017135288A JP2017135288A JP2019016316A JP 2019016316 A JP2019016316 A JP 2019016316A JP 2017135288 A JP2017135288 A JP 2017135288A JP 2017135288 A JP2017135288 A JP 2017135288A JP 2019016316 A JP2019016316 A JP 2019016316A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display device
- unit
- display
- terminal display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/403—Connection between platform and handheld device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
- A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/391—Resolution modifying circuits, e.g. variable screen formats
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
、現実世界とは全く異なるCGで生成された視覚体験を装着者に体感させることができる仮想現実(Virtual Reality, VR)の機能を実現するためのデバイスとして利用することが
できる。
らの覗き窓を提示することができる。この覗き窓からのビューは、多次元空間内での静止窓に対する可動窓の空間特性の向きに基づいて変化する。ディスプレイは、仮想空間の画像を提示することができ、追加の可動型ディスプレイは同一の仮想空間の追加の画像を提示することができるものである。
記情報オブジェクトに対する操作内容を対応づけて記憶している動作パターン記憶部と、各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記端末表示装置に対する操作内容を判定するための動作判定部と、前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行するための表示処理部とを備えている。
本発明の一実施形態に係る頭部装着型端末表示装置について、図1〜図7を参照して説明する。図1は、頭部装着型端末表示装置10の使用状態を例示する模式図である。なお、簡単のため、以下、本明細書において、人が頭部に装着することにより装着した人に対する画像あるいは映像表示機能を提供する装置である頭部装着型端末表示装置をHMDと
称することとする。HMDには通常の視力矯正のための眼鏡の形態を有するもの、眼の周りを覆うように装着するゴーグル様の形状を有するもの、あるいはヘルメットのように頭部全体を覆うもの等、種々の形状の装置が含まれる。
て図示しない媒体接続部を介してHMD10に係る装置にインストールされても良い。
PA(High Speed Packet Access)、EV−DO(Evolution Data Only)、及びWiM
AX等の無線通信機能、または、Ethernet(登録商標)等の有線通信機能を備え、各種の情報を送受信する。無線通信機能は、所要のアンテナ、及び変復調回路等を含む。有線通信機能は、所要のコネクタ、及び変復調回路等を含む。データの送受信には、ネットワークを介して行うネットワーク通信と、ネットワークを介さずに各機器間で直接通信を行う直接通信(例えばBluetooth(登録商標)、ワイヤレスUSB、Fel
ica(登録商標)、ZigBee(登録商標)、Z−WAVE(登録商標)、可視光通信、赤外線通信、NFC(Near Field Communication)(登録商標)を適宜切り替えて使用できる。通信部112は、複数の通信方式に対応するように構成されても良い。
ーザが何らかの操作を行ったと判断してS105の処理に移る。
タを用いる手段などが考えられ、これらのいずれかをセンサ出力に適用することができる。ノイズ出力の影響を除去するためにハードウェア的なフィルタを用いても良い。また前記の複数の手段から選択して組み合わせて用いても良い。本明細書では、各種センサによる条件判定はノイズ除去後の値を用いる前提で説明している。
、Ggが特定された場合、情報種別判定部1164が情報種別管理データベース1172と照合して、「Picture.jpg」アイコンから写真イメージデータに変更して表示し処理を
終了する(S107、S108)。アイコン20から画像に表示が変更されたときの、表示部115に表示される内容は図5の通りである。図5の作業結果写真画像21は、図8の情報オブジェクト番号90の11番に対応しており、実データ名93の「20170220_機
器Aパネル点検終了写真.jpg」を表示している。
次に、本発明の第2の実施形態について、図9〜図13を参照して説明する。
第1の実施形態では、HMD10の方位検出部113と加速度検出部114とによってユーザ11の動作を検出し、検出した動作に基づいて表示情報を制御する構成について説明した。本実施形態ではHMD10に撮像素子を設けており、撮像情報の変化によってユーザの動作を検出して表示されている情報オブジェクトを制御する構成を説明する。
れた場合、視差抽出部1167は特徴点の重心の座標の変化が基準値を超えたと判定する(S204、Yes)。以上の例のように、本実施形態ではセンサの出力値に代えてユーザ11が見ている方向、距離の変化を取得した映像における特徴点の情報変化として捉えている。動作判定部1161は、この特徴点の情報変化が所定の基準値を超えたと判定された場合、HMD10を装着したユーザ11が操作を目的とした動作を行ったと判断する。このため、本実施形態では、動作判定データベース1171内の各項目は、特徴点に関する情報変化の方向、大きさと変化率とに基づいて規定すればよい。
以上のように、本実施形態によれば、HMD10の動作の変化を映像データに基づいて
検出し、映像の解析結果により表示情報を制御することが可能になる。
次に、本発明の第3の実施形態について、図15〜図18を参照して説明する。実施形態1、2では、HMD10の処理によってユーザ11の動作を表示情報制御のための操作に割り当てる方式を説明した。本実施形態では、ユーザ11の動作を検出して操作に割り当てる処理を、ネットワーク上で実施する構成を説明する。
)、USB(Universal Serial Bus)、リモートUSB、無線LAN、Bluetooth(登録商標)、赤外線通信、ICタグ機能、TransferJET(登録商標)、LTE、HSPA(High Speed Packet Access)、またはEV−DO(Evolution Data Only)などで構成することができる。HMD10と管理サーバ15は、通信ネットワーク1
4を介して相互に接続可能とされている。
20 アイコン 21 写真画像
14 通信ネットワーク 15 管理サーバ
111 プロセッサ 112 通信部
113 方位検出部 114 加速度検出部
115 表示部 116 メモリ
117 ストレージ 118 入力部
119 電源供給部 120 バス
121 映像検出部 400 表示領域
1161、1561 動作判定部
1162、1562 方位処理部
1163、1563 加速度処理部
1164、1564 情報種別判定部
1165、1565 表示処理部
1166、1566 制御処理部
1167、1567 視差抽出部
1168、1568 映像処理部
1169、1569 通信処理部
1171、1571 動作判定データベース
1172、1572 情報種別管理データベース
1173、1573 操作対応データベース
Claims (15)
- ユーザが頭部に装着する端末表示装置を備える表示システムであって、
前記端末表示装置が、
前記ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、
前記端末表示装置の動きを検出するための動作検出部と、
前記端末表示装置の動作のパターンと前記表示部が表示している前記情報オブジェクトに対する操作内容を対応づけて記憶している動作パターン記憶部と、
各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、
前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記端末表示装置に対する操作内容を判定するための動作判定部と、
前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、
判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行するための表示処理部と、
を備えている表示システム。 - 請求項1に記載の表示システムであって、
前記動作検出部は、前記端末表示装置の動作による方位変化を検出するための方位検出部と、
前記端末表示装置の動作における加速度変化を検出するための加速度検出部とを含む、表示システム。 - 請求項1に記載の表示システムであって、
前記端末表示装置が前記表示部によって表示される映像情報を経時的に複数取得する映像検出部を備え、
前記端末表示装置の前記動作検出部が、各前記映像情報に含まれる複数の情報オブジェクトについて各情報オブジェクトの特徴点を検出し、複数の当該特徴点相互間の位置関係の変化によって前記端末表示装置の動作パターンを判定する、表示システム。 - 請求項1に記載の表示システムであって、
前記操作内容として、前記表示部によって表示されている複数の前記情報オブジェクトのうち、操作対象となる前記情報オブジェクトを選択することが含まれる、表示システム。 - 請求項1に記載の表示システムであって、
前記操作内容として、前記表示部によって解像度が低い小型の画像情報として表示されている前記情報オブジェクトを、当該情報オブジェクトのより解像度の大きい画像情報として表示することが含まれる、表示システム。 - ユーザが頭部に装着する端末表示装置と、前記端末表示装置と通信可能に接続されている管理計算機とを備える表示システムであって、
前記端末表示装置が、
前記ユーザの視界に重畳して情報オブジェクトを表示するための表示部と、
前記端末表示装置の動作を検出するための動作検出部と、を備え、
前記管理計算機が、
前記端末表示装置の動作のパターンと前記表示部が表示している前記情報オブジェクトに対する操作内容を対応づけて記憶している動作パターン記憶部と、
各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部と、
前記動作検出部が検出した前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記端末表示装置に対する操作内容を判定するための動作判定部と、
前記表示部の所定の位置に配置されている前記情報オブジェクトを特定するための情報種別判定部と、
前記操作内容と前記情報オブジェクトとに関する情報を含む操作指示情報を前記端末表示装置に送信する通信処理部と、を備え、
前記端末表示装置がさらに、
前記操作指示情報に基づく操作を前記表示部に表示されている前記特定された情報オブジェクトに対して実行するための表示処理部を備えている、
表示システム。 - 請求項6に記載の表示システムであって、
前記動作検出部は、前記端末表示装置の動作による方位変化を検出するための方位検出部と、
前記端末表示装置の動作における加速度変化を検出するための加速度検出部とを含む、表示システム。 - 請求項1に記載の表示システムであって、
前記端末表示装置が前記表示部によって表示される映像情報を経時的に複数取得する映像検出部を備え、
前記端末表示装置の前記動作検出部が、各前記映像情報に含まれる複数の情報オブジェクトについて各情報オブジェクトの特徴点を検出し、複数の当該特徴点相互間の位置関係の変化によって前記端末表示装置の動作パターンを判定する、表示システム。 - 請求項6に記載の表示システムであって、
前記操作内容として、前記表示部によって表示されている複数の前記情報オブジェクトのうち、操作対象となる前記情報オブジェクトを選択することが含まれる、表示システム。 - 請求項6に記載の表示システムであって、
前記操作内容として、前記表示部によって解像度が低い小型の画像情報として表示されている前記情報オブジェクトを、当該情報オブジェクトのより解像度の大きい画像情報として表示することが含まれる、表示システム。 - ユーザが頭部に装着する端末表示装置の表示制御方法であって、
前記ユーザの視界に重畳して情報オブジェクトを表示し、
前記端末表示装置の動作を検出し、
前記端末表示装置の動作のパターンと前記表示部が表示している前記情報オブジェクトに対する操作内容を対応づけて記憶している動作パターン記憶部と、各前記情報オブジェクトについての表示形態に関する情報を記憶している情報種別管理記憶部とを参照し、
前記検出された前記端末表示装置の動作と、前記動作パターン記憶部に記憶されている前記動作パターンと前記操作内容との関連付けに基づいて前記端末表示装置に対する操作内容を判定し、
前記表示部の所定の位置に配置されている前記情報オブジェクトを特定し、
判定された前記操作内容で特定される操作を前記特定された情報オブジェクトに対して実行する、
端末表示装置の表示制御方法。 - 請求項11に記載の端末表示装置の表示制御方法であって、
前記動作の検出処理は、前記端末表示装置の動作による方位変化を検出するための方位検出部と、前記端末表示装置の動作における加速度変化を検出するための加速度検出部とにより実行される、端末表示装置の表示制御方法。 - 請求項11に記載の端末表示装置の表示制御方法であって、
前記端末表示装置が表示される映像情報を経時的に複数取得し、
前記端末表示装置が、各前記映像情報に含まれる複数の情報オブジェクトについて各情報オブジェクトの特徴点を検出し、複数の当該特徴点相互間の位置関係の変化によって前記端末表示装置の動作パターンを判定する、端末表示装置の表示制御方法。 - 請求項11に記載の端末表示装置の表示制御方法であって、
前記操作内容として、前記表示部によって表示されている複数の前記情報オブジェクトのうち、操作対象となる前記情報オブジェクトを選択することが含まれる、端末表示装置の表示制御方法。 - 請求項11に記載の端末表示装置の表示制御方法であって、
前記操作内容として、前記表示部によって解像度が低い小型の画像情報として表示されている前記情報オブジェクトを、当該情報オブジェクトのより解像度の大きい画像情報として表示することが含まれる、端末表示装置の表示制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017135288A JP2019016316A (ja) | 2017-07-11 | 2017-07-11 | 表示システム、及び表示システムの表示制御方法 |
CN201810732796.8A CN109246456A (zh) | 2017-07-11 | 2018-07-05 | 显示系统以及显示系统的显示控制方法 |
US16/029,889 US11016559B2 (en) | 2017-07-11 | 2018-07-09 | Display system and display control method of display system |
JP2021081833A JP7064040B2 (ja) | 2017-07-11 | 2021-05-13 | 表示システム、及び表示システムの表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017135288A JP2019016316A (ja) | 2017-07-11 | 2017-07-11 | 表示システム、及び表示システムの表示制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021081833A Division JP7064040B2 (ja) | 2017-07-11 | 2021-05-13 | 表示システム、及び表示システムの表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019016316A true JP2019016316A (ja) | 2019-01-31 |
JP2019016316A5 JP2019016316A5 (ja) | 2020-01-30 |
Family
ID=64998885
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017135288A Pending JP2019016316A (ja) | 2017-07-11 | 2017-07-11 | 表示システム、及び表示システムの表示制御方法 |
JP2021081833A Active JP7064040B2 (ja) | 2017-07-11 | 2021-05-13 | 表示システム、及び表示システムの表示制御方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021081833A Active JP7064040B2 (ja) | 2017-07-11 | 2021-05-13 | 表示システム、及び表示システムの表示制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11016559B2 (ja) |
JP (2) | JP2019016316A (ja) |
CN (1) | CN109246456A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149594A (ja) * | 2019-03-15 | 2020-09-17 | Dynabook株式会社 | 電子装置および表示制御方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018020661A1 (ja) * | 2016-07-29 | 2018-02-01 | 三菱電機株式会社 | 表示装置、表示制御装置および表示制御方法 |
KR102374404B1 (ko) * | 2017-07-25 | 2022-03-15 | 삼성전자주식회사 | 콘텐트를 제공하기 위한 디바이스 및 방법 |
US20200089940A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Human behavior understanding system and method |
USD921691S1 (en) * | 2018-12-11 | 2021-06-08 | Lg Electronics Inc. | Display screen with graphical user interface |
US11308520B2 (en) * | 2019-06-11 | 2022-04-19 | Toyota Boshoku Kabushiki Kaisha | Vehicle advertisement display system |
EP3792817A1 (en) * | 2019-09-10 | 2021-03-17 | XRSpace CO., LTD. | Method and system for human behavior identification |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007134785A (ja) * | 2005-11-08 | 2007-05-31 | Konica Minolta Photo Imaging Inc | 頭部装着型の映像表示装置 |
US20120235902A1 (en) * | 2009-10-13 | 2012-09-20 | Recon Instruments Inc. | Control systems and methods for head-mounted information systems |
JP2013254251A (ja) * | 2012-06-05 | 2013-12-19 | Nec System Technologies Ltd | ヘッドマウントディスプレイ装置、制御方法、及びプログラム |
JP2015028654A (ja) * | 2014-09-24 | 2015-02-12 | ソニー株式会社 | 頭部装着型表示装置、表示方法 |
JP2015165437A (ja) * | 2015-06-24 | 2015-09-17 | セイコーエプソン株式会社 | 透過型頭部装着型表示装置 |
US20160187969A1 (en) * | 2014-12-29 | 2016-06-30 | Sony Computer Entertainment America Llc | Methods and Systems for User Interaction within Virtual Reality Scene using Head Mounted Display |
JP2017010120A (ja) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム |
JP2017021461A (ja) * | 2015-07-08 | 2017-01-26 | 株式会社ソニー・インタラクティブエンタテインメント | 操作入力装置および操作入力方法 |
KR20170016753A (ko) * | 2015-08-04 | 2017-02-14 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어방법 |
JP2017045296A (ja) * | 2015-08-27 | 2017-03-02 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御するプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305743A (ja) * | 1996-05-20 | 1997-11-28 | Toshiba Corp | 人物顔動作検出方式 |
JP2001325069A (ja) | 2000-03-07 | 2001-11-22 | Nikon Gijutsu Kobo:Kk | 位置検出装置およびその方法 |
JP4725526B2 (ja) | 2006-08-28 | 2011-07-13 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム |
JP5433935B2 (ja) | 2007-07-24 | 2014-03-05 | 日本電気株式会社 | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム |
WO2011096203A1 (ja) | 2010-02-03 | 2011-08-11 | 任天堂株式会社 | ゲームシステム、操作装置、およびゲーム処理方法 |
US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
EP2485119A3 (en) | 2011-02-02 | 2012-12-12 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
JP6011154B2 (ja) | 2012-08-24 | 2016-10-19 | 富士通株式会社 | 画像処理装置、画像処理方法 |
US9710057B2 (en) * | 2014-03-14 | 2017-07-18 | Sony Interactive Entertainment Inc. | Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments |
JP6534292B2 (ja) * | 2015-04-24 | 2019-06-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 |
CN106200899A (zh) * | 2016-06-24 | 2016-12-07 | 北京奇思信息技术有限公司 | 根据用户头部动作控制虚拟现实交互的方法及系统 |
-
2017
- 2017-07-11 JP JP2017135288A patent/JP2019016316A/ja active Pending
-
2018
- 2018-07-05 CN CN201810732796.8A patent/CN109246456A/zh active Pending
- 2018-07-09 US US16/029,889 patent/US11016559B2/en active Active
-
2021
- 2021-05-13 JP JP2021081833A patent/JP7064040B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007134785A (ja) * | 2005-11-08 | 2007-05-31 | Konica Minolta Photo Imaging Inc | 頭部装着型の映像表示装置 |
US20120235902A1 (en) * | 2009-10-13 | 2012-09-20 | Recon Instruments Inc. | Control systems and methods for head-mounted information systems |
JP2013254251A (ja) * | 2012-06-05 | 2013-12-19 | Nec System Technologies Ltd | ヘッドマウントディスプレイ装置、制御方法、及びプログラム |
JP2015028654A (ja) * | 2014-09-24 | 2015-02-12 | ソニー株式会社 | 頭部装着型表示装置、表示方法 |
US20160187969A1 (en) * | 2014-12-29 | 2016-06-30 | Sony Computer Entertainment America Llc | Methods and Systems for User Interaction within Virtual Reality Scene using Head Mounted Display |
JP2018508805A (ja) * | 2014-12-29 | 2018-03-29 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム |
JP2017010120A (ja) * | 2015-06-17 | 2017-01-12 | キヤノン株式会社 | 情報処理装置、映像処理装置、およびそれらの制御方法、ならびに映像処理システム |
JP2015165437A (ja) * | 2015-06-24 | 2015-09-17 | セイコーエプソン株式会社 | 透過型頭部装着型表示装置 |
JP2017021461A (ja) * | 2015-07-08 | 2017-01-26 | 株式会社ソニー・インタラクティブエンタテインメント | 操作入力装置および操作入力方法 |
KR20170016753A (ko) * | 2015-08-04 | 2017-02-14 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어방법 |
JP2017045296A (ja) * | 2015-08-27 | 2017-03-02 | 株式会社コロプラ | ヘッドマウントディスプレイシステムを制御するプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149594A (ja) * | 2019-03-15 | 2020-09-17 | Dynabook株式会社 | 電子装置および表示制御方法 |
JP7286357B2 (ja) | 2019-03-15 | 2023-06-05 | Dynabook株式会社 | 電子装置および表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190018477A1 (en) | 2019-01-17 |
CN109246456A (zh) | 2019-01-18 |
JP7064040B2 (ja) | 2022-05-09 |
JP2021114343A (ja) | 2021-08-05 |
US11016559B2 (en) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7064040B2 (ja) | 表示システム、及び表示システムの表示制御方法 | |
US11169600B1 (en) | Virtual object display interface between a wearable device and a mobile device | |
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
JP5869177B1 (ja) | 仮想現実空間映像表示方法、及び、プログラム | |
US20180018792A1 (en) | Method and system for representing and interacting with augmented reality content | |
CN109040600B (zh) | 全景景象拍摄及浏览的移动装置、系统及方法 | |
JP5966510B2 (ja) | 情報処理システム | |
US20150062164A1 (en) | Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus | |
EP3422153A1 (en) | System and method for selective scanning on a binocular augmented reality device | |
US20150170418A1 (en) | Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera | |
JP2011128220A (ja) | 情報提示装置、情報提示方法及びプログラム | |
US20150193977A1 (en) | Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces | |
JP5869712B1 (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
JP2021002301A (ja) | 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置 | |
US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
EP4172740A1 (en) | Augmented reality eyewear with speech bubbles and translation | |
US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
JP2017059196A (ja) | 仮想現実空間映像表示方法、及び、プログラム | |
US20230161959A1 (en) | Ring motion capture and message composition system | |
CN114201028B (zh) | 扩增实境系统与其锚定显示虚拟对象的方法 | |
KR20220026114A (ko) | 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법 | |
US11733789B1 (en) | Selectively activating a handheld device to control a user interface displayed by a wearable device | |
CN117897948A (zh) | 便携信息终端以及目标显示方法 | |
CN115981544A (zh) | 基于扩展现实的交互方法、装置、电子设备和存储介质 | |
KR20160096246A (ko) | 헤드 마운트 디스플레이 장치 및 그 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210406 |