CN107209959A - 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器 - Google Patents

图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器 Download PDF

Info

Publication number
CN107209959A
CN107209959A CN201680000071.9A CN201680000071A CN107209959A CN 107209959 A CN107209959 A CN 107209959A CN 201680000071 A CN201680000071 A CN 201680000071A CN 107209959 A CN107209959 A CN 107209959A
Authority
CN
China
Prior art keywords
image
wearer
information
head mounted
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680000071.9A
Other languages
English (en)
Other versions
CN107209959B (zh
Inventor
福田浩士
新木仁士
本木卓磨
太田直树
竹内强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kk Meleap
Meleap
Original Assignee
Kk Meleap
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kk Meleap filed Critical Kk Meleap
Publication of CN107209959A publication Critical patent/CN107209959A/zh
Application granted granted Critical
Publication of CN107209959B publication Critical patent/CN107209959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

应用了图像显示系统的游戏系统(100)具有：头戴式显示器(300)，其具有照相机和画面，所述照相机拍摄现实世界，所述画面使虚拟世界的影像信息与由该照相机拍摄的现实世界的影像信息融合并显示；运动传感器(400)，其将佩戴头戴式显示器(300)的佩戴者的身体的动作进行检测而作为动作信息；以及标记(200)，其用于检测佩戴者的位置信息，基于动作信息和位置信息控制虚拟世界的影像信息。由此，能够根据佩戴者的位置和动作控制显示于头戴式显示器的影像信息。另外，本发明提供图像显示系统的控制方法、图像分发系统以及头戴式显示器。

Description

图像显示系统、图像显示系统的控制方法、图像分发系统以及 头戴式显示器
技术领域
本发明涉及图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器。
背景技术
一直以来，作为能够使虚拟世界的影像信息与现实世界的影像信息实时融合的装置，已知有头戴式显示器(HMD)(例如参照专利文献1)。然而，在专利文献1的头戴式显示器中，即使能够显示虚拟世界的影像信息，也不能够使该影像信息与例如头戴式显示器的佩戴者的动作(特别是手或脚的动作)相匹配地变化，难以提高沉浸感(临场感)。
在先技术文献
专利文献
专利文献1：日本特开2015-226110号公报
发明内容
发明要解决的问题
本发明的目的在于提供一种能够根据佩戴者的位置和动作而控制显示于头戴式显示器的影像信息的图像显示系统和图像显示系统的控制方法。用于解决问题的手段
这样的目的通过下述的本发明来达成。
(1)一种图像显示系统，其特征在于，具有：头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作进行检测而作为动作信息；以及
位置信息检测部，其检测所述佩戴者的位置信息，
基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息。
(2)上述(1)所述的图像显示系统，所述位置信息检测部通过利用所述拍摄部对配置于空间的标记进行图像识别，能够得到所述佩戴者的所述位置信息。
(3)上述(1)或(2)所述的图像显示系统，所述位置信息检测部能够得到所述佩戴者的三维位置信息。
(4)上述(1)至(3)中任一项所述的图像显示系统，所述动作信息检测部具有佩戴在所述佩戴者上的运动传感器。
(5)上述(4)所述的图像显示系统，所述运动传感器佩戴在所述佩戴者的胳膊上。
(6)上述(1)至(5)中任一项所述的图像显示系统，所述头戴式显示器具有便携式终端和框架，所述便携式终端具备所述拍摄部和所述图像显示部，所述框架佩戴在所述佩戴者的头部，且可拆装所述便携式终端。
(7)上述(1)至(6)中任一项所述的图像显示系统，还具有：拍摄装置，其拍摄包含所述佩戴者的区域；和
图像显示装置，其显示使由所述拍摄装置拍摄到的现实世界的影像信息、以及从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的图像。
(8)一种图像显示系统的控制方法，其特征在于，所述图像系统具有：头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作检测作为动作信息；以及
位置信息检测部，其检测所述佩戴者的位置信息，
使图像显示系统基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息。
(9)上述(8)所述的图像显示系统的控制方法，所述图像显示系统还具有：
拍摄装置，其拍摄包含所述佩戴者的区域；和
图像显示装置，其显示影像信息，
在所述图像显示装置上显示使由所述拍摄装置拍摄到的现实世界的影像信息、从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的图像。
(10)一种图像分发系统，其特征在于，对图像显示系统分发图像信息，所述图像显示系统具有：
头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作检测作为动作信息；
位置信息检测部，其检测所述佩戴者的位置信息；以及
拍摄装置，其拍摄包含所述佩戴者的区域，
其中，所述图像显示系统构成为：基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息，
所述图像信息是使由所述拍摄装置拍摄到的现实世界的影像信息、以及从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的信息。
(11)一种具有便携式终端和框架的头戴式显示器，所述便携式终端具备图像显示部，所述框架可拆装地支承该便携式终端，其特征在于，
所述框架在佩戴于佩戴者的佩戴状态下，具有：
支承部，其位于所述佩戴者的眼前，在将所述图像显示部朝向所述佩戴者的眼睛侧的姿态下可拆装地支承所述便携式终端；和
能够目视现实世界的窗部，
所述窗部在所述佩戴状态下，
至少配置在：位于安装在所述支承部的所述便携式终端与所述佩戴者的眼睛之间的空间的所述佩戴者的脚下侧、以及所述空间的所述佩戴者的侧方侧。
发明的效果
根据本发明，由于能够根据佩戴者的位置和动作控制显示于头戴式显示器的虚拟世界的影像信息，所以能够提高便利性。另外，能够将佩戴者体验的虚拟影像作为从第三者看到的影像分发，第三者也能够一起体验虚拟影像。另外，也能够提供一种能够发挥高安全性的头戴式显示器。
附图说明
图1是表示应用了本发明的图像显示系统和图像显示系统的控制方法的游戏系统的第一实施方式的构成图。
图2是表示显示在头戴式显示器上的AR视野的一例的图。
图3是表示显示在头戴式显示器上的AR视野的一例的图。
图4是表示标记的配置的变形例的图。
图5是表示头戴式显示器的立体图。
图6是表示显示在头戴式显示器的便携式终端的画面上的图像的一例的图。
图7是图1所示的游戏系统的框图。
图8是表示应用了本发明的图像显示系统和图像显示系统的控制方法的游戏系统的第二实施方式的构成图。
图9是图8所示的游戏系统的框图。
具体实施方式
以下，基于附图所示的实施方式，详细说明本发明的图像显示系统和图像显示系统的控制方法。
<第一实施方式>
首先，说明本发明第一实施方式涉及的图像显示系统和图像显示系统的控制方法。
图1是表示应用了本发明的图像显示系统和图像显示系统的控制方法的游戏系统的第一实施方式的构成图。图2和图3分别是表示显示在头戴式显示器上的AR视野的一例的图。图4是表示标记的配置的变形例的图。图5是表示头戴式显示器的立体图。图6是表示显示在便携式终端的画面上的图像的一例的图。图7是图1所示的游戏系统的框图。此外，为了便于说明，在图2、图3以及图6中，省略了现实世界的影像信息的图示。
如图1所示，应用了本发明的图像显示系统和图像显示系统的控制方法的游戏系统100主要具有：设置于场地F的标记200、玩家(佩戴者)P佩戴的头戴式显示器300和运动传感器(动作信息检测部)400、拍摄玩家P的照相机(拍摄装置)500、显示由照相机500拍摄到的影像的显示器(图像显示装置)600以及服务器700。
在这样的游戏系统100中，在头戴式显示器300上显示将虚拟世界的影像信息与现实世界的影像信息融合而成的影像，虚拟世界的影像信息根据玩家P的位置(位置信息)、动作(动作信息)变化。即，游戏系统100构成为：基于玩家P的位置、动作，控制虚拟世界的影像信息。因此，根据游戏系统100，能够向玩家P提供体感型的AR(增强现实)。
接着，说明使用游戏系统100进行的游戏的一例。该游戏是与怪兽M战斗的对战型游戏，如图2所示的AR视野(玩家P能看见的图像)那样，通过CG(computer graphics：电脑绘图)生成的怪兽M(虚拟世界的影像信息)出现在佩戴了头戴式显示器300的玩家P的眼前(现实世界的影像信息中)。玩家P能够通过移动自己的身体，发出与该动作对应的指令(命令)。然后，玩家P能够运用指令与怪兽M战斗，通过使怪兽M的体力成为0而胜利。另外，在战斗期间，如图3所示的AR视野那样，玩家P和怪兽M的攻击图像、玩家P和怪兽M的体力值图像等通过CG而影像化，由此，给与怪兽M的战斗带来临场感。此外，作为所述命令，不特别限定，也会根据游戏内容人不同，但例如可列举攻击(必杀技、攻击魔法等)、防御(保护、避开、恢复魔法等)、武器的切换等。
另外，使用照相机500，从照相机500的视点将玩家P与怪兽M的战斗影像化，如图1所示，该影像显示在显示器600上。因此，玩家P以外的人(观众)也能够观看玩家P与怪兽M的战斗，能够增强玩家P与观众的一体感。此外，显示于显示器600的影像也可以经由互联网远程地分发。
以下，按顺序说明游戏系统100具有的各部。
[服务器]
服务器700是游戏系统100的游戏引擎，具有执行游戏系统100的游戏内容的功能。另外，服务器700连接头戴式显示器300和照相机500，在它们之间能够进行信息的收发。此外，作为与服务器700的连接方法，不管是有线、无线均可，但在本实施方式中通过Wi-Fi(注册商标)来连接。
此外，在本实施方式中，服务器700为配置在场地F旁边的所谓“物理服务器”，但作为服务器700，也可以是云服务器(web上的服务器)所代表的所谓“虚拟服务器”。
[标记]
如图1所示，标记200位于场地F的端部，配置在大致铅垂的一个面(例如，房间的壁面或设置在房间内的屏风等)上。该标记200具有预定图案。通过用设置于头戴式显示器300的照相机对该图案进行图像识别，能够取得头戴式显示器300(玩家P)的三维位置信息(与位置和姿势相关的信息)。
此外，作为标记200，只要能够用头戴式显示器300的照相机312进行图像识别，则不特别限定其图案、配置等，能够与目的相匹配地适当选择。例如，如图4所示，既可以将标记200在地面上，也可以跨越配置在朝向不同的两个以上的面(壁面、地面、顶面)上。另外，作为标记200，也可以是利用了造型物、摆设等立体物的立体标记。另外，例如，在室内游戏等情况下，也可以将房间的形状本身(特别是柱、窗等构造物、绘画、照明等室内装饰等容易图像识别的特征部分)利用作为标记200。该情况下，事前预先扫描房间的形状，并将该数据使用作为标记即可。因此，在无需准备标记这一点是有利的。
[运动传感器]
运动传感器400佩戴在玩家P的胳膊上，并能够检测胳膊的动作。在这样的运动传感器400中，内置有检测加速度的加速度传感器410、检测角速度的角速度传感器420。来自加速度传感器410和角速度传感器420的检测信号(动作信息)发送给头戴式显示器300。作为与运动传感器400和头戴式显示器300的连接方法，不管是有线、无线均可，但在本实施方式中通过Bluetooth(注册商标)来连接。
此外，作为运动传感器400的构成，只要能够检测胳膊的动作，不特别限定，例如，也可以是，还具有能够检测肌肉电位的肌肉电位传感器，利用该肌肉电位传感器，能够检测玩家P的手是否紧握、手指的动作(例如，石头、剪刀、布)或手腕的动作(手腕的弯曲伸展、扭转)。这样，只要能够检测手指的动作，则能够更丰富多彩地准备上述指令，并能够进行更紧密的战斗。另外，在本实施方式中，将运动传感器400佩戴于胳膊，但作为运动传感器400的佩戴位置，不限定于胳膊，例如也可以是腿、躯干、头等。另外，例如，也可以是，将运动传感器400佩戴于胳膊和腿双方，并能够分别检测胳膊和腿的动作。另外，运动传感器400也可以不佩戴在玩家P的身体上。例如，也可以在玩家P把持的道具(例如，选择为武器的剑或弓)、佩戴的附属物等之上组入运动传感器400。
另外，在本实施方式中，使用了运动传感器作为动作信息检测部，但作为动作信息检测部，只要能够检测玩家P的动作，则不限定于运动传感器。例如，动作信息检测部也可以是通过使用了照相机的图像识别来检测玩家P的动作的构成。另外，作为动作信息检测部，例如也可以是使用红外线深度传感器，根据该红外线深度传感器的距离信息识别玩家P，并检测玩家P的身体的动作的构成。
[头戴式显示器]
如图5所示，头戴式显示器300具有便携式终端310和可拆装便携式终端310的框架320。
便携式终端310具有配置在一个面(正面)上的画面(图像显示部)311和配置在另一个面(背面)上且拍摄与画面311相反一侧的现实世界的照相机(拍摄部)312。作为这样的便携式终端310，不特别限定，例如能够使用智能手机、平板终端等。另外，能够将玩家P拥有的智能手机等作为便携式终端310使用。因此，成为便利性高的头戴式显示器300。
另一方面，框架320具有框架本体330和将框架本体330固定于玩家P的头部的带340。另外，框架本体330形成覆盖玩家P的眼睛的箱状。框架本体330具有：在佩戴于头部的状态下位于玩家P的眼前的前面部331、位于上方的上面部332、位于下方(相对于位于便携式终端310与玩家P的眼睛之间的空间S，在玩家P的脚下侧)的下面部333、位于侧方(相对于空间S，在玩家的左右两侧)的侧面部334、335以及位于眼睛与前面部331之间(空间S内)的透镜部336。另外，在框架本体330的与头部接触的部分，设置有例如由海绵等构成的缓冲部337。
另外，在前面部331设置有安装便携式终端310的槽部(支承部)350和将便携式终端310固定于槽部350的锁定机构360。
槽部350能够可拆装地支承便携式终端310。这样的槽部350具有设置于前面部331的侧方的槽口351。能够从该槽口351向槽部350内插入便携式终端310。另外，在槽部350中设置有用于容许用照相机312的拍摄的窗部352。本实施方式的窗部352用开口构成。便携式终端310在将画面311朝向玩家P的眼睛侧，并将照相机312朝向玩家P的前方侧的状态下安装在这样的槽部350中。
另一方面，锁定机构360能够通过使锁定板361转动而开闭槽口351。通过打开槽口351而能够向槽部350插入便携式终端310，通过关闭槽口351而能够将便携式终端310固定于槽部350。另外，通过将设置于侧面部335的螺钉362插入设置于锁定板361的槽361a并拧紧螺钉362，能够维持槽口351关闭的状态。
另外，上面部332实质上不透光，作为遮蔽外部光(特别是太阳光或顶板照明光)的遮罩发挥功能。通过设置这样的上面部332，容易辨别显示在便携式终端310的画面311上的图像。另一方面，下面部333和侧面部334、335分别具有透光的窗部。由此，玩家P在佩戴状态下也能够经由窗部，从框架本体330的下方和侧方辨别(目视)外界(现实世界)。因此，佩戴时的安全性提高。此外，在本实施方式中，下面部333的窗部由实质上无色透明的板部件333a构成，侧面部334、335的窗部由开口(贯通孔)334a、335a构成。但是，作为窗部的结构，不特别限定，例如既可以是全部用开口构成下面部333、侧面部334、335的窗部，也可以用无色透明的板部件构成。另外，也可以使用镜部件(从亮的一侧(外侧)看起来是镜子，在暗的一侧(玩家P侧)能够透过看到外侧的部件)来代替无色透明的板部件。
另外，透镜部336具有玩家P的左眼用透镜336L和右眼用透镜336R。利用这样的透镜部336，能够放大显示便携式终端310的画面311。
在这样的头戴式显示器300中，由照相机312拍摄到的现实世界的影像信息显示在画面311上，玩家P能够通过显示在画面311上的影像辨别前方扩展的现实世界。另外，在画面311上，与上述现实世界的影像信息实时融合地显示虚拟世界的影像信息(上述怪兽M或指令)。由此，能够利用头戴式显示器300来实现AR。
在本实施方式中，如图6所示，通过将画面311分割为左眼用图像区域311L和右眼用图像区域311R，并在这些图像区域311L、311R显示没有视差的相同的图像，能够向玩家P提供影像作为2D平面视觉图像。但是，例如，也可以通过在图像区域311L、311R上显示有视差的立体图像，将虚拟世界的影像信息设为3D立体视觉图像。另外，例如，在便携式终端310能够根据来自照相机312的影像信息生成模拟性3D立体视觉图像的情况下或照相机312由立体照照相机构成且能够进行3D立体视觉拍摄的情况下，还可以通过将现实世界的影像信息显示作为立体图像，将其设为3D立体视觉图像。
在这里，如图7所示，便携式终端310具有动作判定部313、位置判定部(位置信息检测部)314以及影像信息生成部315。
动作判定部313接收来自运动传感器400的检测信号(动作信息)，并根据接收到的检测信号检测玩家P的胳膊的动作。另外，动作判定部313判定检测到的胳膊的动作是否与预先登记的胳膊的动作一致，如果该动作一致，则选择与该胳膊的动作对应的指令(命令)。例如，在动作判定部313中登记有多个指令，所述指令中，将两条胳膊在脸之前交叉的动作为“防御”，向前方快速地伸出胳膊的动作为“攻击”，快速地摇晃胳膊的动作为“武器的切换”等。在动作判定部313检测到的胳膊的动作与登记的“防御”指令一致的情况下，动作判定部313选择“防御”。
位置判定部314使用照相机312对标记200进行图像识别，并取得以标记200为基准的照相机312的位置坐标。具体而言，标记200的图像数据事前登记在便携式终端310中。位置判定部314对登记的所述图像数据和由照相机312捕捉到的标记200的图像(大小、倾斜等)进行比较，以标记位置为起点计算玩家P(照相机312)的位置信息。由此，能够得到玩家P的三维位置信息。在这里，由于事前登记在便携式终端310的标记200相对于场地信息(场地F的位置、形状、大小等)设定为切合现实的大小和位置，所以能够更正确地取得玩家P(照相机312)的位置信息。并且，位置判定部314基于玩家P的位置信息，实时进行例如技能(魔法)的发射位置的判定、技能的碰撞判定(是否碰到对方的技能的判定)。另外，位置判定部314例如使与玩家P对应的虚拟物体追随于玩家P，使用该虚拟物体进行技能与玩家P的碰撞判定。因此，能够进行精度更高的碰撞判定。此外，所述虚拟物体设定为无色透明，在画面311上无法由玩家P辨别。
此外，作为位置判定部314，至少取得玩家P的二维位置坐标即可。
影像信息生成部315基于从服务器700接收到的游戏信息、在动作判定部313的判定结果以及位置判定部314取得的位置信息，生成显示在画面311上的虚拟世界的影像信息(怪兽M、技能、魔法等)，并使生成的影像信息与现实世界的影像信息实时融合并显示在画面311上。
另外，显示在画面311上的影像保存在便携式终端310或服务器700中，玩家P能够在游戏结束后进行确认。另外，所述影像既可以实时显示在显示器600上，也可经由互联网从服务器700分发给远程的用户(便携式终端、个人电脑等)。此外，优选的是，该影像适当转换为显示器600用和用户用，例如，在显示器600用的影像中，由于无需分割为两个画面显示，所以优选设为用一个画面显示的2D平面视觉图像或3D立体视觉图像。
以上，说明了头戴式显示器300，但作为头戴式显示器300的构成，只要具有上述功能，不特别限定。例如，在框架本体330中，上面部332、下面部333以及侧面部334、335形成为平坦的板状，且相互大致呈直角连接，但它们也可以分别弯曲且作为整体呈卵形连接。另外，也可以是，上面部332、下面部333以及侧面部334、335的连接部(角部)被倒角而成为弯曲形状。另外，例如，在本实施方式中，成为利用了便携式终端310的构成，但也可以是不利用便携式终端的构成。即，作为头戴式显示器300，也可以使用在框架本体330中具备图像显示功能的、光学透过型或视频透过型的头戴式显示器。
[照相机]
照相机500固定配置在场地F外，能够拍摄场地F的整个区域。另外，照相机500基于从服务器700发送来的玩家P的位置信息、玩家P选择的指令(攻击、防御等)的种类等各种信息，生成将显示于头戴式显示器300的虚拟世界的影像信息(即，玩家P正在体验的虚拟世界的影像信息)置换为照相机500的视点而成的影像信息。然后，使生成的影像信息与用照相机500拍摄的现实世界的影像信息实时融合而生成观众用影像，并将该观众用影像显示在显示器600上。
此外，按上述方式生成的观众用影像保存在服务器700中，玩家P能够在游戏结束后进行确认。另外，观众用影像也可经由互联网从服务器700分发给远程的终端(用户)。因此，在远程也能够观看玩家P的比赛，能够一起体验游戏。
作为这样的照相机500，不特别限定，但例如使用了带照相机功能的便携式终端(智能手机、平板终端)。通过使用这样的便携式终端，例如，与上述便携式终端310同样地，由于能够在便携式终端内生成虚拟世界的影像信息，并也能够容易地进行与服务器700的通信，所以系统构成简单。另外，作为照相机500，例如也能够使用数码静态照相机、数字视频照相机等(以下称为“数码照相机”)。该情况下，也可以将数码照相机与个人电脑连接，并利用个人电脑进行上述虚拟世界的影像信息的生成和与服务器700的通信。通过使用数码照相机，例如与便携式终端相比，有时能够进行高分辨率、高帧数的拍摄，能够提高画质。
此外，在本实施方式中，将照相机500配置在场地F外，但作为照相机500的配置，不限定于此。例如，可以将照相机500配置在场地F内，例如，通过从顶板悬挂等从而配置在场地F上(场地的上空)。另外，在本实施方式中，将照相机500固定，但也可将照相机500设为可移动。当将照相机500设为可移动时，例如，也能够拍摄追随着玩家P的移动的影像，进一步提高显示在显示器600上的影像的临场感。
[显示器]
显示器600是观众(玩家P以外的人)用的显示器，例如设置在场地F的附近。如上所述，在该显示器600上显示观众用影像(使由照相机500拍摄到的现实世界的影像信息、将显示于头戴式显示器300的虚拟世界的影像信息置换为照相机500的视点而成的影像信息融合而成的影像)。通过配置这样的显示器600，观众也能够体验玩家P正在体验的AR，游戏的临场感增加。
此外，作为显示于显示器600的图像，既可以是2D平面视觉图像，也可以是3D立体视觉图像，但在本实施方式中显示2D平面视觉图像。
另外，作为显示器600，只要能够显示图像，则不特别限定，例如，能够设为使用投影仪将图像投影在屏幕或壁面上的构成。另外，作为显示器600，也可以使用观众的便携式终端(智能手机、平板终端等)，该情况下，从服务器700向各观众的便携式终端分发影像即可。
以上，说明了游戏系统100。此外，在本实施方式中，说明了玩家P为1名的情况，但玩家P的数量不特别限定，可以为两名以上，两名以上的玩家P可以相互合作与怪兽M战斗。在该情况下，各玩家P佩戴的头戴式显示器300(便携式终端310)能够接收与其他玩家P相关的各种信息(位置信息、动作信息等)。在各玩家P佩戴的头戴式显示器300中，除了怪兽M或自己选择的指令之外，其他玩家P选择的指令也显示作为影像。
<第二实施方式>
接着，说明本发明的第二实施方式涉及的图像显示系统和图像显示系统的控制方法。
图8是表示应用了本发明的图像显示系统和图像显示系统的控制方法的游戏系统的第二实施方式的构成图。图9是图8所示的游戏系统的框图。
以下，以与上述实施方式的不同点为中心说明本发明的第二实施方式涉及的图像显示系统和图像显示系统的控制方法，对于同样的事项，省略其说明。
第二实施方式涉及的图像显示系统和图像显示系统的控制方法除了游戏内容不同以外，与上述第一实施方式大致相同。此外，对与上述实施方式同样的构成，标注同一标号。
如图8和图9所示，本实施方式的游戏系统100主要具有：设置于场地F的一对标记200A、200B；第一玩家P1佩戴的头戴式显示器300A和运动传感器400A；第二玩家P2佩戴的头戴式显示器300B和运动传感器400B；拍摄第一、第二玩家P1、P2的照相机500；显示由照相机500拍摄的影像的显示器600以及服务器700。
使用本实施方式的游戏系统100进行的游戏是第一玩家P1与第二玩家P2对战的对战型游戏。第一玩家P1和第二玩家P2相互相对地定位，并能够通过移动自己的身体发出指令而攻击对方玩家、防御来自对方玩家的攻击而相互战斗。各玩家P1、P2发出的指令通过CG被影像化并显示在彼此的头戴式显示器300A、300B。另外，第一玩家P1与第二玩家P2的战斗由照相机500影像化，该影像显示在显示器600上。
[标记]
标记200A、200B位于场地F的两端，且相互相对地配置。另外，标记200A设置在第一玩家P1的正面(第二玩家P2的背后)，并使用作为用于取得第一玩家P1的位置信息的标记。相反地，标记200B设置在第二玩家P2的正面(第一玩家P1的背后)，并使用作为用于取得第二玩家P2的位置信息的标记。此外，标记200A、200B是与在上述第一实施方式中说明的标记200相同的结构。另外，作为标记200A、200B的配置，只要能够取得第一、第二玩家P1、P2的位置信息，则不限定于上述配置(例如参照图4)。
[运动传感器]
运动传感器400A佩戴在第一玩家P1的胳膊上，运动传感器400A的检测信号发送给第一玩家P1佩戴的头戴式显示器300A。另外，运动传感器400B佩戴在第二玩家P2的胳膊上，运动传感器400B的检测信号发送给第二玩家P2佩戴的头戴式显示器300B。此外，运动传感器400A、400B是与在上述第一实施方式中说明的运动传感器400相同的结构。
[头戴式显示器]
头戴式显示器300A通过对标记200A进行图像识别，取得第一玩家P1的位置信息。另外，头戴式显示器300A基于来自运动传感器400A的检测信号，检测第一玩家P1的胳膊的动作，选择与检测到的胳膊的动作对应的指令。然后，头戴式显示器300A基于第一玩家P1的位置信息、第一玩家P1选择的指令、从服务器700接收到的各种信息(游戏信息、第二玩家P2的位置信息、第二玩家P2选择的指令等)，生成虚拟世界的影像信息，并使生成的影像信息与现实世界的影像信息实时融合并显示。
另一方面，头戴式显示器300B通过对标记200B进行图像识别，取得第二玩家P2的位置信息。另外，头戴式显示器300B基于来自运动传感器400B的检测信号，检测第二玩家P2的胳膊的动作，选择与检测到的胳膊的动作对应的指令。然后，头戴式显示器300B基于第二玩家P2的位置信息、第二玩家P2选择的指令、从服务器700接收到的各种信息(游戏信息、第一玩家P1的位置信息、第一玩家P1选择的指令等)，生成虚拟世界的影像信息，并使生成的影像信息与现实世界的影像信息实时融合并显示。
这样的头戴式显示器300A、300B是与在上述第一实施方式中说明的头戴式显示器300相同的构成。
以上，说明了第二实施方式。此外，在本实施方式中，说明了一对一对战形式的游戏系统100，但玩家的数量不特别限定。游戏系统100的对战形式例如也可以是2对2、3对3等多个人对多个人的形式。
以上，基于图示的各实施方式说明了本发明的图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器，但本发明不限定于此，各部分的构成能够置换为具有同样功能的任意的构成。另外，也可以附加其他任意的构成物。另外，也可以适当组合各实施方式。
另外，在上述实施方式中，说明了将图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器应用于游戏系统的构成，但应用图像显示系统和图像显示系统的控制方法的领域不限定于游戏，例如也可以应用于家电、车、飞机等的设计模拟。
工业实用性
应用了本发明的图像显示系统的游戏系统100具有：头戴式显示器300，其具有照相机和画面，所述照相机拍摄现实世界，所述画面使虚拟世界的影像信息与由该照相机拍摄的现实世界的影像信息融合并显示；运动传感器400，其将佩戴头戴式显示器300的佩戴者的身体的动作进行检测而作为动作信息；以及标记200，其用于检测佩戴者的位置信息，基于动作信息和位置信息控制虚拟世界的影像信息。由此，能够根据佩戴者的位置和动作控制显示于头戴式显示器的影像信息。因此，本发明具有工业实用性。
标号说明
100…游戏系统，200、200A、200B…标记，300、300A、300B…头戴式显示器，310…便携式终端，311…画面，311L、311R…图像区域，312…照相机，313…动作判定部，314…位置判定部，315…影像信息生成部，320…框架，330…框架本体，331…前面部，332…上面部，333…下面部，333a…板部件，334、335…侧面部，334a、335a…开口，336…透镜部，336L、336R…透镜，337…缓冲部，340…带，350…槽部，351…槽口，352…窗部，360…锁定机构，361…锁定板，361a…槽，362…螺钉，400、400A、400B…运动传感器，410…加速度传感器，420…角速度传感器，500…照相机，600…显示器，700…服务器，F…场地，M…怪兽，P…玩家，P1…第一玩家，P2…第二玩家，S…空间。

Claims (11)

1.一种图像显示系统，其特征在于，具有：
头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作进行检测而作为动作信息；以及
位置信息检测部，其检测所述佩戴者的位置信息，
基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息。
2.根据权利要求1所述的图像显示系统，
所述位置信息检测部通过利用所述拍摄部对配置于空间的标记进行图像识别，能够得到所述佩戴者的所述位置信息。
3.根据权利要求1或2所述的图像显示系统，
所述位置信息检测部能够得到所述佩戴者的三维位置信息。
4.根据权利要求1至3中任一项所述的图像显示系统，
所述动作信息检测部具有佩戴在所述佩戴者上的运动传感器。
5.根据权利要求4所述的图像显示系统，
所述运动传感器佩戴在所述佩戴者的胳膊上。
6.根据权利要求1至5中任一项所述的图像显示系统，
所述头戴式显示器具有便携式终端和框架，所述便携式终端具备所述拍摄部和所述图像显示部，所述框架佩戴在所述佩戴者的头部，且可拆装所述便携式终端。
7.根据权利要求1至6中任一项所述的图像显示系统，还具有：
拍摄装置，其拍摄包含所述佩戴者的区域；和
图像显示装置，其显示使由所述拍摄装置拍摄到的现实世界的影像信息、以及从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的图像。
8.一种图像显示系统的控制方法，其特征在于，所述图像显示系统具有：
头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作进行检测而作为动作信息；以及
位置信息检测部，其检测所述佩戴者的位置信息，
使图像显示系统基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息。
9.根据权利要求8所述的图像显示系统的控制方法，
所述图像显示系统还具有：
拍摄装置，其拍摄包含所述佩戴者的区域；和
图像显示装置，其显示影像信息，
在所述图像显示装置上显示使由所述拍摄装置拍摄到的现实世界的影像信息、以及从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的图像。
10.一种图像分发系统，其特征在于，对图像显示系统分发图像信息，
所述图像显示系统具有：
头戴式显示器，其具有拍摄部和图像显示部，所述拍摄部拍摄现实世界，所述图像显示部使虚拟世界的影像信息与由所述拍摄部拍摄到的现实世界的影像信息融合并显示；
动作信息检测部，其将佩戴所述头戴式显示器的佩戴者的身体的动作检测作为动作信息；
位置信息检测部，其检测所述佩戴者的位置信息；以及
拍摄装置，其拍摄包含所述佩戴者的区域，
其中，所述图像显示系统构成为基于所述动作信息和所述位置信息控制所述虚拟世界的影像信息，
所述图像信息是使由所述拍摄装置拍摄到的现实世界的影像信息、以及从所述拍摄装置的视点观看显示于所述头戴式显示器的所述虚拟世界的影像信息时的影像信息融合而成的信息。
11.一种具有便携式终端和框架的头戴式显示器，所述便携式终端具备图像显示部，所述框架可拆装地支承该便携式终端，其特征在于，
所述框架在佩戴于佩戴者的佩戴状态下，具有：
支承部，其位于所述佩戴者的眼前，在将所述图像显示部朝向所述佩戴者的眼睛侧的姿态下可拆装地支承所述便携式终端；和
能够目视现实世界的窗部，
所述窗部在所述佩戴状态下，
至少配置在：位于安装在所述支承部的所述便携式终端与所述佩戴者的眼睛之间的空间的所述佩戴者的脚下侧、以及所述空间的所述佩戴者的侧方侧。
CN201680000071.9A 2016-01-15 2016-02-16 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器 Active CN107209959B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016006653A JP6362631B2 (ja) 2016-01-15 2016-01-15 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
JP2016-006653 2016-01-15
PCT/JP2016/054459 WO2017122367A1 (ja) 2016-01-15 2016-02-16 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
CN107209959A true CN107209959A (zh) 2017-09-26
CN107209959B CN107209959B (zh) 2019-07-23

Family

ID=59311108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680000071.9A Active CN107209959B (zh) 2016-01-15 2016-02-16 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器

Country Status (14)

Country Link
US (1) US10558048B2 (zh)
EP (2) EP3404624B1 (zh)
JP (1) JP6362631B2 (zh)
KR (1) KR102060453B1 (zh)
CN (1) CN107209959B (zh)
AU (1) AU2016386349B2 (zh)
CA (1) CA3010069C (zh)
ES (1) ES2935124T3 (zh)
IL (1) IL260534B (zh)
MY (1) MY189621A (zh)
PH (1) PH12018501504A1 (zh)
RU (1) RU2693684C1 (zh)
SG (1) SG11201805203YA (zh)
WO (1) WO2017122367A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
CN111936956A (zh) * 2018-04-09 2020-11-13 提姆拉博株式会社 基于特定出的拍摄范围控制显示装置的系统
CN111966213A (zh) * 2020-06-29 2020-11-20 青岛小鸟看看科技有限公司 图像处理方法、装置、设备及存储介质
CN112105326A (zh) * 2019-01-07 2020-12-18 株式会社ｍｅｄｉＶＲ 康复支援装置、康复支援系统、康复支援方法及康复支援程序
CN112614231A (zh) * 2019-10-04 2021-04-06 财团法人工业技术研究院 信息显示方法与信息显示系统
CN112753066A (zh) * 2019-07-25 2021-05-04 Ntt通信公司 影像显示控制装置、方法以及程序
CN112891921A (zh) * 2019-12-03 2021-06-04 史克威尔·艾尼克斯有限公司 游戏装置、游戏处理方法以及记录介质
CN112912824A (zh) * 2018-10-24 2021-06-04 株式会社阿尔法空间 与头戴式显示器相连接的智能终端及用于其的控制方法
CN113302677A (zh) * 2019-01-31 2021-08-24 戴尔产品有限公司 用增强现实与传感器数据于数据中心内执行硬件管理及配置的系统及方法
CN114253389A (zh) * 2020-09-25 2022-03-29 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
EP3316080B1 (en) 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR101869220B1 (ko) * 2018-03-28 2018-06-19 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
US10974134B2 (en) * 2018-06-15 2021-04-13 Incyte Corporation Advanced gaming visualization system
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
JP2021058482A (ja) * 2019-10-08 2021-04-15 聡 耿 コントローラを使用したゲーム方法
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
JP7000408B2 (ja) * 2019-12-24 2022-01-19 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US20230035962A1 (en) * 2020-01-09 2023-02-02 Maxell, Ltd. Space recognition system, space recognition method and information terminal
US11277597B1 (en) * 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
GB2598930A (en) * 2020-09-18 2022-03-23 Zappar Ltd Viewing equipment
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
RU2750848C1 (ru) * 2020-12-31 2021-07-05 Илья Викторович Осипов Способ управления группой электронных устройств
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技（上海）有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
CN101961554A (zh) * 2009-07-21 2011-02-02 科乐美数码娱乐株式会社 视频游戏装置、游戏图像显示方法、信息存储介质和网络游戏系统
CN104104862A (zh) * 2013-04-04 2014-10-15 索尼公司 图像处理装置和图像处理方法
JP2015049548A (ja) * 2013-08-29 2015-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
US8944928B2 (en) * 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5697487B2 (ja) * 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
RU2015145510A (ru) * 2013-03-26 2017-05-03 Сейко Эпсон Корпорейшн Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения
US9710057B2 (en) * 2014-03-14 2017-07-18 Sony Interactive Entertainment Inc. Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments
RU138628U1 (ru) * 2013-11-06 2014-03-20 Станислав Александрович Власов Очки дополненной реальности
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
EP2886172A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Mixed-reality arena
US10585484B2 (en) * 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6274971B2 (ja) 2014-05-26 2018-02-07 株式会社Ｎｔｔドコモ ヘッドマウントディスプレイ
JP6646659B2 (ja) * 2014-06-14 2020-02-14 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
CN101961554A (zh) * 2009-07-21 2011-02-02 科乐美数码娱乐株式会社 视频游戏装置、游戏图像显示方法、信息存储介质和网络游戏系统
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN104104862A (zh) * 2013-04-04 2014-10-15 索尼公司 图像处理装置和图像处理方法
JP2015049548A (ja) * 2013-08-29 2015-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111936956A (zh) * 2018-04-09 2020-11-13 提姆拉博株式会社 基于特定出的拍摄范围控制显示装置的系统
CN112912824A (zh) * 2018-10-24 2021-06-04 株式会社阿尔法空间 与头戴式显示器相连接的智能终端及用于其的控制方法
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
CN112105326A (zh) * 2019-01-07 2020-12-18 株式会社ｍｅｄｉＶＲ 康复支援装置、康复支援系统、康复支援方法及康复支援程序
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
CN113302677A (zh) * 2019-01-31 2021-08-24 戴尔产品有限公司 用增强现实与传感器数据于数据中心内执行硬件管理及配置的系统及方法
CN112753066A (zh) * 2019-07-25 2021-05-04 Ntt通信公司 影像显示控制装置、方法以及程序
CN112753066B (zh) * 2019-07-25 2024-03-22 Ntt通信公司 影像显示控制装置、方法以及程序记录介质
CN112614231A (zh) * 2019-10-04 2021-04-06 财团法人工业技术研究院 信息显示方法与信息显示系统
CN112891921A (zh) * 2019-12-03 2021-06-04 史克威尔·艾尼克斯有限公司 游戏装置、游戏处理方法以及记录介质
CN111966213A (zh) * 2020-06-29 2020-11-20 青岛小鸟看看科技有限公司 图像处理方法、装置、设备及存储介质
CN114253389A (zh) * 2020-09-25 2022-03-29 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法

Also Published As

Publication number Publication date
PH12018501504B1 (en) 2019-04-08
JP2017126302A (ja) 2017-07-20
CN107209959B (zh) 2019-07-23
AU2016386349A1 (en) 2018-07-05
CA3010069C (en) 2019-11-19
PH12018501504A1 (en) 2019-04-08
EP3496047B1 (en) 2022-11-02
US10558048B2 (en) 2020-02-11
KR20180103066A (ko) 2018-09-18
EP3404624A1 (en) 2018-11-21
AU2016386349B2 (en) 2019-04-18
ES2935124T3 (es) 2023-03-01
WO2017122367A1 (ja) 2017-07-20
KR102060453B1 (ko) 2019-12-30
US20190025595A1 (en) 2019-01-24
IL260534B (en) 2019-07-31
MY189621A (en) 2022-02-21
EP3496047A1 (en) 2019-06-12
SG11201805203YA (en) 2018-07-30
RU2693684C1 (ru) 2019-07-03
EP3404624A4 (en) 2019-04-17
JP6362631B2 (ja) 2018-07-25
EP3404624B1 (en) 2022-10-12
CA3010069A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN107209959B (zh) 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
KR101926178B1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
US9779633B2 (en) Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8884987B2 (en) Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image
US9196078B2 (en) System and methods for displaying virtual space including a silhouette image
JP2012068964A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US20180300926A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
US9737814B2 (en) Computer readable medium storing image processing program of synthesizing images
JP6321263B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2011212123A (ja) プログラム、情報記憶媒体、及び端末
JP7181148B2 (ja) システム、プログラム、方法、および情報処理装置
JP2019152899A (ja) シミュレーションシステム及びプログラム
CN111249729A (zh) 一种游戏角色的显示方法、装置、电子设备和存储介质
CN109445596A (zh) 一种一体式混合现实头戴显示系统
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP2018192238A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JPH07306956A (ja) 閉鎖空間施設を利用した仮想空間体験システム
JP2021190100A (ja) 方法、プログラム、情報処理装置
JP7111848B2 (ja) プログラム、情報処理装置、および方法
US10839607B2 (en) Systems and methods to provide views of a virtual space
CN110419062A (zh) 信息处理装置
JP2019166325A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant