CN108292490A - 显示控制装置和显示控制方法 - Google Patents

显示控制装置和显示控制方法 Download PDF

Info

Publication number
CN108292490A
CN108292490A CN201680069099.8A CN201680069099A CN108292490A CN 108292490 A CN108292490 A CN 108292490A CN 201680069099 A CN201680069099 A CN 201680069099A CN 108292490 A CN108292490 A CN 108292490A
Authority
CN
China
Prior art keywords
viewpoint position
head
mounted display
display control
control section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680069099.8A
Other languages
English (en)
Other versions
CN108292490B (zh
Inventor
掛智
掛智一
石田隆行
铃木章
亘理靖展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN202111534076.9A priority Critical patent/CN114296235A/zh
Publication of CN108292490A publication Critical patent/CN108292490A/zh
Application granted granted Critical
Publication of CN108292490B publication Critical patent/CN108292490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/064—Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source

Abstract

在本发明中，提供具有显示控制单元的显示控制设备，该显示控制单元用于设置视点位置和观看方向、生成在虚拟空间中的图像以及在头戴式显示器上显示该图像。在显示控制单元中，可以将虚拟空间中的多个位置设置为视点位置，并且可以根据头戴式显示器的取向将视点位置改变到从多个位置中确定的位置。当视点位置被改变时，显示控制单元将从改变的视点位置观看的虚拟空间中的第一位置的方向设置为观看方向。

Description

显示控制装置和显示控制方法
技术领域
本发明涉及显示控制技术，更具体地，涉及用于控制头戴式显示器上的显示的显示控制装置和显示控制方法。
背景技术
通过在头部穿戴连接到游戏控制台的头戴式显示器、观看在头戴式显示器上显示的画面以及操纵控制器或其他设备来玩游戏。在普通的固定式显示器中，用户的视场范围扩散到显示画面外部，可能使用户不能将注意力集中在显示画面上或导致沉浸感不足。在这方面，当穿戴头戴式显示器时，除了出现在头戴式显示器上的图像之外，用户看不到任何东西，由此增加了沉浸在图像世界中的感觉并进一步提高了游戏的娱乐性质。
发明内容
[技术问题]
发明人认识到需要更方便的显示控制技术来确保使用头戴式显示器的游戏可以被更多的用户群体所享用。
[问题的解决方案]
为了解决上述问题，根据本发明的模式的显示控制装置包括：显示控制部分，其通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上。显示控制部分可以将虚拟空间中的多个位置指定为视点位置，并且可以根据头戴式显示器的姿势将视点位置改变到从多个位置中确定的位置，并且当视点位置被改变时，显示控制部分将从改变的视点位置观看的虚拟空间中的第一位置的方向指定为视线方向。
本发明的另一模式是显示控制装置。该装置包括显示控制部分和视点位置控制部分。显示控制部分通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上。视点位置控制部分根据头戴式显示器的位置来移动视点位置。视点位置控制部分在头戴式显示器被水平移动时比在头戴式显示器被垂直移动时更大程度地移动视点位置。
应该注意的是，在方法、装置、系统、程序等之间，本发明的上述组件的任意组合和表达的转换作为本发明的模式也是有效的。
[发明的有益效果]
根据本发明，可以提高头戴式显示器用户的便利性。
附图说明
图1是示出使用根据实施例的游戏系统的环境的图。
图2是根据该实施例的头戴式显示器的外部视图。
图3是头戴式显示器的功能配置图。
图4是描绘示出输入装置的外部配置的图。
图5是示出输入装置的内部配置的图。
图6是示出游戏装置的配置的图。
图7是游戏装置的功能配置图。
图8的(a)至(c)是示出在头戴式显示器上显示的图像的示例的图。
图9是用于描述指定视点位置和视线方向的方法的示意图。
图10的(a)和(b)是示出在头戴式显示器上显示的图像的示例的图。
图11是用于描述由游戏控制部分提供的另一游戏的细节的示意图。
图12的(a)至(c)是示出在头戴式显示器上显示的图像的示例的图。
图13是用于描述根据实施例的移动游戏中的视点位置的方法的示意图。
具体实施方式
在本实施例中，将给出使用头戴式显示器(HMD)的显示技术的描述。头戴式显示器是以覆盖他或她的眼睛的方式穿戴在用户头上的显示装置，使得用户可以观看出现在用户眼睛前方提供的显示画面上的静止图像和视频。头戴式显示器上出现的内容可以是诸如电影和电视(TV)节目之类的内容。然而，在本实施例中，将给出使用头戴式显示器作为用于显示游戏图像的显示装置的示例的描述。
图1是示出使用根据实施例的游戏系统1的环境的图。游戏系统1包括游戏装置10、输入装置20、成像装置14、头戴式显示器100和显示装置12。游戏装置10执行游戏程序。输入装置20用于向游戏装置10输入用户指令。成像装置14对用户周围的真实空间进行成像。头戴式显示器100显示由游戏装置10生成的第一游戏图像。显示装置12显示由游戏装置10生成的第二游戏图像。
游戏装置10基于从输入装置20或头戴式显示器100提供的指令输入、输入装置20或头戴式显示器100的位置或姿势等执行游戏程序，生成第一游戏图像并将该图像传输到头戴式显示器100，并生成第二游戏图像并将该图像传输到显示装置12。
头戴式显示器100显示由游戏装置10生成的第一游戏图像。头戴式显示器100还向游戏装置10传输与向在头戴式显示器100上提供的输入装置的用户输入有关的信息。头戴式显示器100可以用有线电缆连接到游戏装置10。可替代地，头戴式显示器100可以通过无线局域网(LAN)或其他方式无线地连接。
显示装置12显示由游戏装置10生成的第二游戏图像。显示装置12可以是具有显示器和扬声器的TV。可替代地，显示装置12可以是计算机显示器或其他装置。
在本实施例中，输入装置20具有将用户指令输入传输到游戏装置10的功能，并被配置为能够与游戏装置10无线地通信的无线控制器。输入装置20和游戏装置10可以使用蓝牙(注册商标)协议建立无线连接。应该注意的是，输入装置20不限于无线控制器，并且可以是经由电缆连接到游戏装置10的有线控制器。
输入装置20由电池驱动，并被配置为具有用于进行指令输入以便进行游戏的多个按钮。当用户操作输入装置20上的按钮时，由操作生成的指令输入通过无线通信被发送到游戏装置10。
成像装置14是包括例如电荷耦合器件(CCD)成像设备或互补金属氧化物半导体(CMOS)成像设备、并且通过以给定间隔对真实空间进行成像来生成每个间隔的帧图像的摄像机。成像装置14经由通用串行总线(USB)或其他接口连接到游戏装置10。由成像装置14捕获的图像被游戏装置10用于导出输入装置20和头戴式显示器100的位置和姿势。成像装置14可以是能够获取距离的测距相机或立体相机。在这种情况下，成像装置14使得可以获取成像装置14与输入装置20或头戴式显示器100之间的距离。
在本实施例的游戏系统1中，输入装置20和头戴式显示器100具有配置为以多种颜色发光的发光部分。在游戏期间，发光部分以由游戏装置10指定的颜色发光并由成像装置14进行成像。成像装置14对输入装置20进行成像，生成帧图像，并将图像提供给游戏装置10。游戏装置10获取帧图像并从帧图像中的发光部分的图像的位置和尺寸中导出真实空间中的发光部分的位置信息。游戏装置10将位置信息作为游戏操作指令来对待，并在包括控制玩家的角色的动作的游戏处理中反映位置信息。
而且，输入装置20和头戴式显示器100具有加速度传感器和陀螺仪传感器。传感器检测值以给定间隔被发送到游戏装置10，并且游戏装置10获取传感器检测值并获取输入装置20和头戴式显示器100在真实空间中的姿势信息。游戏装置10将姿势信息作为游戏操作指令来对待，并在游戏处理中反映姿势信息。
图2是根据实施例的头戴式显示器100的外部视图。头戴式显示器100包括主体部分110、头部接触部分112和发光部分114。
主体部分110包括显示器、用于获取位置信息的全球定位系统(GPS)单元、姿势传感器、通信装置等。头部接触部分112可以包括能够测量诸如温度、脉搏、血液成分、汗液、脑电波和脑血流之类的用户的生物信息的生物信息获取传感器。如上所述，发光部分114以由游戏装置10指定的颜色发光，并用作用于计算由成像装置14捕获的图像中的头戴式显示器100的位置的标准。
可以在头戴式显示器100上进一步提供用于捕获用户眼睛的照相机。安装在头戴式显示器100上的照相机允许检测用户的视线、瞳孔的移动、眨眼等。
虽然将给出本实施例中的头戴式显示器100的描述，但是本实施例的显示控制技术不仅适用于狭义上的穿戴头戴式显示器100的情况，而且还适用于穿戴眼镜、眼镜式显示器、眼镜式照相机、头戴式耳机、耳机(带麦克风的耳机)、耳机(earphone)、耳环、耳戴式照相机、帽子、带照相机的帽子、或发带的情况。
图3是头戴式显示器100的功能配置图。头戴式显示器100包括输入接口122、输出接口130、背光132、通信控制部分140、网络适配器142、天线144、存储部分150、GPS单元161、无线单元162、姿势传感器164、外部输入/输出(I/O)端子接口170、外部存储器172、时钟部分180、显示装置190和控制部分160。这些功能块也可以仅通过硬件、仅通过软件或其组合来以各种形式实现。
控制部分160是处理和输出诸如图像信号和传感器信号、指令和数据之类的信号的主处理器。输入接口122从输入按钮等接受操作信号和设置信号，并将这些信号提供给控制部分160。输出接口130从控制部分160接收图像信号并将该信号显示在显示装置190上。背光132向组成显示装置190的液晶显示器提供背光。
通信控制部分140经由网络适配器142或天线144以有线或无线的通信方式将从控制部分160输入的数据发送到外部设备。通信控制部分140经由网络适配器142或天线144以有线或无线的方式从外部设备接收数据，并将数据输出到控制部分160。
存储部分150临时存储由控制部分160处理的数据和参数、操作信号等。
GPS单元161根据来自控制部分160的操作信号从GPS卫星接收位置信息，并将位置信息提供给控制部分160。无线单元162根据来自控制部分160的操作信号从无线基站接收位置信息，并将位置信息提供给控制部分160。
姿势传感器164检测诸如头戴式显示器100的主体部分110的取向和倾斜之类的姿势信息。姿势传感器164通过适当地组合陀螺仪传感器、加速度传感器、角加速度传感器等来实现。
外部I/O端子接口170是用于连接诸如USB控制器之类的外围设备的接口。外部存储器172是诸如闪存之类的外部存储器。
时钟部分180使用来自控制部分160的设置信号来指定时间信息，并将时间信息提供给控制部分160。
图4示出了输入装置20的外部配置，并且图4的(a)示出输入装置20的顶面配置，并且图4的(b)示出输入装置20的底面配置。输入装置20具有发光体22和手柄24。发光体22具有由形成为球形的透光树脂制成的外部发光设备以及其中的发光二极管或电灯泡。当其中的发光设备发光时，整个外部球体发光。操作按钮30、32、34、36和38被提供在手柄24的顶面上，操作按钮40被提供在其底面上。用户用拇指操作操作按钮30、32、34、36和38，并且用食指操作操作按钮40，同时用手握住手柄24的端部。操作按钮30、32、34、36和38包括按压钮并且在用户按压它们时进行操作。操作按钮40可以是允许输入模拟量的按钮。
用户在观看显示装置12上显示的游戏画面的同时玩游戏。成像装置14需要在执行游戏应用期间对发光体22进行成像。因此，其成像范围优选地被布置为面向与显示装置12相同的方向。通常，用户经常在显示装置12的前方玩游戏。因此，成像装置14被布置为使得其光轴匹配显示装置12的正面方向。具体地，成像装置14优选地布置在靠近显示装置12，使得其成像范围包括用户可以在视觉上识别显示装置12的显示画面的位置。这允许成像装置14对输入装置20进行成像。
图5示出了输入装置20的内部配置。输入装置20包括无线通信模块48、处理部分50、发光部分62以及操作按钮30、32、34、36、38和40。无线通信模块48具有向游戏装置10的无线通信模块发送数据和从游戏装置10的无线通信模块接收数据的功能。处理部分50执行在输入装置20中的预定处理。
处理部分50包括主控制部分52、输入接受部分54、三轴加速度传感器56、三轴陀螺仪传感器58和发光控制部分60。主控制部分52向无线通信模块48发送必要的数据和从无线通信模块48接收必要的数据。
输入接受部分54接受来自操作按钮30、32、34、36、38和40的输入信息，并将输入信息发送到主控制部分52。三轴加速度传感器56检测X、Y和Z的三个轴向的加速度分量。三轴陀螺仪传感器58检测XZ、ZY和YX平面上的角速度。应该注意的是，这里，输入装置20的宽度、高度和长度方向被指定为X、Y和Z轴。三轴加速度传感器56和三轴陀螺仪传感器58优选地布置在手柄24内并且靠近手柄24内的中心。无线通信模块48以给定间隔与来自操作按钮的输入信息一起向游戏装置10的无线通信模块发送由三轴加速度传感器56获得的检测值信息和由三轴陀螺仪传感器58获得的检测值信息。该发送间隔例如设置为11.25毫秒。
发光控制部分60控制发光部分62的发光。发光部分62具有红色发光二极管(LED)64a、绿色LED 64b和蓝色LED 64c，由此允许它们以多种颜色发光。发光控制部分60通过控制红色LED 64a、绿色LED 64b和蓝色LED 64c的发光使得发光部分62以期望的颜色发光。
当从游戏装置10接收到发光指令时，无线通信模块48将发光指令提供给主控制部分52。主控制部分52将发光指令提供给发光控制部分60。发光控制部分60控制红色LED64a、绿色LED 64b和蓝色LED 64c的发光，使得发光部分62以由发光指令指定的颜色发光。例如，发光控制部分60可以通过脉宽调制(PWM)控制来控制每个LED的发光。
图6示出了游戏装置10的配置。游戏装置10包括帧图像获取部分80、图像处理部分82、设备信息导出部分84、无线通信模块86、输入接受部分88、输出部分90和应用处理部分300。本实施例中的游戏装置10的处理能力通过中央处理单元(CPU)、存储器以及加载到存储器中的程序等来实现。这里，描绘了由以协调方式彼此协作的这些部件实现的配置。该程序可以被内置到游戏装置10中。可替代地，该程序可以从外部提供存储在记录介质中。因此，本领域技术人员应该理解，这些功能块可以仅通过硬件、仅通过软件或其组合来以各种方式实现。应该注意的是，从硬件配置的观点来看，游戏装置10可以具有多个CPU。
无线通信模块86建立与输入装置20的无线通信模块48的无线通信。这允许输入装置20以给定间隔将操作按钮状态信息以及三轴加速度传感器56和三轴陀螺仪传感器58的检测值信息发送到游戏装置10。
无线通信模块86接收从输入装置20发送的操作按钮状态信息和传感器检测值信息，并将它们提供给输入接受部分88。输入接受部分88分离按钮状态信息和传感器检测值信息，并将其交给应用处理部分300。应用处理部分300接收按钮状态信息和传感器检测值信息作为游戏操作指令。应用处理部分300将传感器检测值信息作为输入装置20的姿势信息来对待。
帧图像获取部分80被配置为USB接口，并且以给定成像速度(例如，30帧/秒)从成像装置14获取帧图像。图像处理部分82从帧图像中提取发光体图像。图像处理部分82识别帧图像中的发光体的位置和尺寸。例如，当输入装置20的发光体22以在用户环境中不太可能使用的颜色发光时，图像处理部分82可以高精度地从帧图像中提取发光体图像。图像处理部分82可以通过使用给定阈值对帧图像数据进行二值化来生成二值化图像。该二值化将具有亮度高于给定阈值的像素的像素值编码为“1”，并且将具有亮度等于或低于给定阈值的像素的像素值编码为“0”。通过使得发光体22以超过该给定阈值的亮度点亮时，图像处理部分82可以从二值化图像中识别发光体图像的位置和尺寸。例如，图像处理部分82识别帧图像中的发光体图像的重心和半径的坐标。
设备信息导出部分84根据由图像处理部分82识别的发光体图像的位置和尺寸，导出如从成像装置14看到的输入装置20和头戴式显示器100的位置信息。设备信息导出部分84从发光体图像的重心导出照相机坐标中的位置坐标，并且还从发光体图像的半径导出来自成像装置14的距离信息。位置坐标和距离信息组成输入装置20和头戴式显示器100的位置信息。设备信息导出部分84针对每个帧图像导出输入装置20和头戴式显示器100的位置信息，并将位置信息交给应用处理部分300。应用处理部分300接收输入装置20和头戴式显示器100的位置信息作为游戏操作指令。
应用处理部分300根据输入装置20的位置信息和姿势信息以及按钮状态信息来进行游戏，并且生成指示游戏应用的处理结果的图像信号。图像信号从输出部分90被发送到显示装置12，并作为显示图像输出。
图7是游戏装置10的功能配置图。游戏装置10的应用处理部分300包括控制部分310和数据保持部分360。控制部分310包括游戏控制部分311、指令输入获取部分312、HMD信息获取部分314、输入装置信息获取部分315、第一图像生成部分316和第二图像生成部分317。
数据保存部分360保持在游戏装置10中执行的游戏的程序数据、由游戏程序使用的各种数据等。
指令输入获取部分312从输入装置20或头戴式显示器100获取与由输入装置20或头戴式显示器100接受的用户指令输入有关的信息。
HMD信息获取部分314从头戴式显示器100获取与头戴式显示器的姿势有关的信息。而且，HMD信息获取部分314从设备信息导出部分84获取与头戴式显示器100的位置有关的信息。这些条信息被传送到游戏控制部分311。可以通过设备信息导出部分84分析头戴式显示器100的捕获图像来获取与头戴式显示器100的姿势有关的信息。
输入装置信息获取部分315获取与输入装置20的姿势有关的信息。而且，输入装置信息获取部分315从设备信息导出部分84获取与输入装置20的位置有关的信息。这些条信息被传送到游戏控制部分311。可以通过设备信息导出部分84分析输入装置20的捕获图像来获取与输入装置20的姿势有关的信息。
如果输入装置20移出成像装置14的成像范围，或者如果输入装置20隐藏在用户身体或障碍物后面并且不能由成像装置14进行成像，则输入装置信息获取部分315基于先前获取的输入装置20的位置以及与在该时间点之后获取的与输入装置20的姿势有关的信息，计算输入装置20的位置。例如，输入装置20的当前位置可以基于从输入装置20的加速度传感器获取的平移加速度数据，通过计算与先前获取的输入装置20的位置的偏差来计算。在输入装置20没有被成像装置14成像时，输入装置20的位置以相似的方式被连续地计算。当输入装置20被成像装置14再次成像时，由于累积漂移误差，存在从加速度数据连续计算的输入装置20的位置可能不指示正确位置的可能性。因此，由设备信息导出部分84新计算的输入装置20的位置可以被用作输入装置20的当前位置。头戴式显示器100也是如此。
游戏控制部分311基于由指令输入获取部分312获取的用户指令输入和与输入装置20或头戴式显示器100的位置或姿势有关的信息，执行游戏程序并进行游戏。游戏控制部分311基于由输入装置20的方向键或模拟棒进行的输入以及在由虚拟三维(3D)空间组成的游戏场中输入装置20或头戴式显示器100的位置改变来改变玩家的角色的位置、操作目标。
第一图像生成部分316生成要在头戴式显示器100上显示的图像。第一图像生成部分316通过基于由游戏控制部分311控制的操作目标的位置来指定视点位置、基于头戴式显示器100的姿势来指定视线的方向、并且呈现虚拟3D空间来生成游戏场图像。第一图像生成部分316在给定时间将头戴式显示器100的姿势与游戏场中的视线方向相关联，并且随后随着头戴式显示器100的姿势的改变来改变视线的方向。因此，用户可以通过实际地移动他或她的头部来查看游戏场，从而允许用户感觉他或她好像真的在游戏场中。第一图像生成部分316通过将与游戏有关的信息、要在头戴式显示器100上显示的图像等添加到所生成的游戏场图像来生成第一图像。由第一图像生成部分316生成的第一图像经由无线通信模块或有线通信模块被发送到头戴式显示器100。
第二图像生成部分317生成要在显示装置12上显示的图像。当在显示装置12上显示与在头戴式显示器100上显示的相同的图像时，由第一图像生成部分316生成的第一图像也被发送到显示装置12。当在显示装置12上显示与在头戴式显示器100上显示的图像不同的图像时，其中的一个示例是穿戴头戴式显示器100的用户和观看显示装置12的用户执行头对头游戏时，第二图像生成部分317通过指定与由第一图像生成部分316指定的视点位置和视线方向不同的视点位置和视线方向来生成游戏场图像。第二图像生成部分317通过将与游戏有关的信息、要在显示装置12上显示的图像等添加到所生成的游戏场图像来生成第二图像。由第二图像生成部分317生成的第二图像经由无线通信模块或有线通信模块被发送到显示装置12。
图8示出了在头戴式显示器上显示的图像的示例。游戏控制部分311提供在游戏场中指定的多个位置之间切换视点位置的功能。在图8的(a)所描绘的显示画面中，将在游戏场中指定的多个位置中的一个位置生成的游戏场图像显示为视点位置。在显示画面中，标记500和502进一步出现，其指示在游戏场中指定为视点位置的位置。当用户通过水平和竖直摇动他或她的头部来改变头戴式显示器100的姿势时，第一图像生成部分316根据头戴式显示器100的姿势改变视线的方向。当可能通过提供用于在头戴式显示器100内拍摄用户的眼球的照相机来检测用户的视线方向时，可以通过进一步考虑用户的视线来改变视线的方向。用户的视线可以通过使用已知和任意的视线追踪技术来检测。
在用户将他或她的面部或视线指向标记方向时，当标记进入靠近显示画面的中心指定的给定范围时，如图8的(b)所描绘的，游戏控制部分311使得第一图像生成部分316改变标记500的显示方式，由此指示由标记500所描绘的位置被选择为用于指定视点位置的候选。当用户发出改变视点位置的指令时，例如，通过按压给定按钮或者使用用于指定所选择的视点位置的候选执行给定手势，游戏控制部分311指示第一图像生成部分316将视点位置改变到由所选择的标记500所描绘的位置。如图8的(c)所描绘的，第一图像生成部分316生成并显示具有作为视点位置的标记500的位置的游戏场图像。在图8的(c)所描绘的显示画面中，出现标记504，其指示在图8的(a)所描绘的显示画面中指定为视点位置的位置。
图9是用于描述指定视点位置和视线方向的方法的示意图。在本实施例中，在具有中心位于靠近游戏场的中心的球体的表面上指定视点位置，并且视线的默认方向被指定在从视点位置看到靠近游戏场的中心的第一位置的方向上。结果，无论视点位置被指定在何处，都可以显示允许忽略(overlook)游戏场的图像。当改变视点位置时，第一图像生成部分316沿着球体表面平滑地移动视点位置，并且即使在移动视点位置的同时，通过指定从视点位置观看游戏场中的第一位置的方向上的视线方向来生成游戏场图像。结果，即使在改变视点位置的同时，也可以显示允许忽略游戏场的图像，由此使得能够即使视点位置移动到很大程度时，也以易于理解的方式向用户指示视点位置将要移动到哪里。应该注意的是，视点位置可以被提供在具有其中心位于游戏场中的任意点的球状体或球体的表面上或除此之外的曲面上。而且，当视点位置被改变时，视点位置可以从改变之前的视点位置到改变之后的视点位置以线性或曲线方式连续地被改变。在图8所描绘的示例中，下半球表面在地下。因此，只能在上半球的表面上指定视点位置。然而，当游戏场是例如外部空间时，可以在下半球的表面上指定视点位置。
图10示出了在头戴式显示器上显示的图像的示例。在从视点位置看到的游戏场图像被显示为如图10的(a)所描绘时，如果用户通过向前移动他或她的头部来向前移动头戴式显示器100，则游戏控制部分311使得第一图像生成部分316将视点位置移动到靠近游戏场中心的第二位置。当头戴式显示器100向前移动多达或多于给定的行进量时，游戏控制部分311可以移动视点位置。可替代地，当头戴式显示器100以等于或大于给定值的速度行进时，游戏控制部分311可以移动视点位置。结果，如图10的(b)所描绘的，视点位置可以从观看者的座位移动到靠近游戏场的中心。因此，例如从观看者的视点观看足球比赛的用户可以感觉好像他或她进入了正在进行比赛的场。而且，可以提供使用头戴式显示器100移动视点的易于理解的方法。
图11是用于描述由游戏控制部分提供的另一游戏的细节的示意图。在本图所描绘的游戏中，用户隐藏在具有孔512的盒子510内，并且从孔512弹出他或她的面部，同时注意不要被锤子514击中，并读取写在板516上的字母。游戏控制部分311基于头戴式显示器100的位置来变更视点位置。游戏控制部分311在给定时刻确定要由锤子514击中的孔512，并使锤子514向下摆动到所确定的孔512。我们假设，当用户的视点位置在孔512的上方和外部时，如果锤子514向下摆动到孔512中，则用户被锤子514击中。如果用户被锤子514击中给定次数或更多次数，则游戏结束。
图12描绘示出在头戴式显示器上显示的图像的示例的图。图12的(a)描绘了当用户从中孔向上看时的游戏画面。锤子正要向下摆动到中孔中。图12的(b)描绘了当用户通过将头戴式显示器100向右移动而将视点位置移动到右孔下方时的游戏画面。由于锤子正要向下摆动到中孔中，因此锤子一时将不会向下摆动到右孔中。此时，如果用户通过向上移动头戴式显示器100来从右孔向上移动视点位置，则用户可以在视觉上识别如图12的(c)所描绘的写在提供在盒外的板上的字母。
图13是用于描述根据实施例的移动游戏中的视点位置的方法的示意图。例如，当用户坐在椅子上玩游戏时，臀部位置是固定的。因此，用户在圆弧中移动他或她的头部。然而，不会妨碍游戏的头部运动的可能范围最多大约为100至120度。因此，为了有效地利用头戴式显示器100的可能的运动范围，游戏控制部分311在头戴式显示器100被水平移动时比在头戴式显示器100被垂直移动时更大程度地移动视点位置。而且，如果当头戴式显示器100向左或向右移动时行进量超过等于中孔的宽度的量，则中孔与左孔或右孔之间的区域被跳过，从而移动视点位置到左孔或右孔下方。具体地，如果在视点位置位于中孔的下方的同时使头戴式显示器100向右移动，并且当头戴式显示器100到达位置520时，则视点位置从中孔的右边缘位置跳到右孔的左边缘位置。而且，如果在视点位置位于右孔的下方的同时使头戴式显示器100向左移动，并且当头戴式显示器100到达位置522时，则视点位置从右孔的左边缘位置跳到中孔的右边缘位置。结果，视点位置不移动到游戏中没有或仅稍微需要移动视点位置的区域，而视点位置可以仅移动到需要移动视点位置或者视点位置经常移动到的给定区域，由此有效地利用头戴式显示器100的可能运动范围并移动视点位置。而且，即使不使用例如输入装置20，通过移动头戴式显示器100，也可以提供允许容易进行视点位置的移动的用户界面，由此确保改善的用户便利性。通过使用不同的位置(用于使得视点位置跳跃以向右移动的位置520以及用于使得视点位置跳跃以向左移动的位置522)来提供滞后，由此当头戴式显示器100处于与阈值附近的位置相等的角度时，减小了视点位置频繁地向左和右跳的可能性。
当试图将视点位置移动到左孔或右孔上方时，需要在保持头戴式显示器100向左或向右倾斜的同时向上移动头戴式显示器100。然而，用户在保持身体向左或向右倾斜的同时将他或她的头部向上移动并不容易。因此，在本实施例中，在使头戴式显示器100向左或右倾斜的位置上向上或下移动时，即使移动方向对角地倾斜，游戏控制部分311也使视点位置垂直地移动，而不是水平地移动。游戏控制部分311以与头戴式显示器100的移动矢量的垂直分量相等的行进量垂直地移动视点位置，并且可以忽略水平分量，或者以与头戴式显示器100的移动矢量的量级相等的行进量垂直地移动视点位置。因此，在响应于头戴式显示器100的移动而使视点位置改变的情况下，可以将视点位置的移动方向限制为给定方向并且通过将头戴式显示器100的移动矢量转换成在给定方向上的矢量来防止视点位置在不必要的方向上移动。而且，可以提供仅允许视点位置在必要方向上移动的用户界面，由此确保改善的用户便利性。
例如，这种技术可应用于其中玩家的角色隐藏在诸如墙壁之类的障碍物之后以抵御即将到来的子弹的游戏。
以上基于实施例描述了本发明。本实施例是说明性的，并且本领域技术人员应该理解，可以以各种方式修改组件和其处理的组合，并且这些修改示例也落入本发明的范围内。
在上述示例中，尽管在头戴式显示器100的显示装置190上显示了用于双目立体视觉的图像，但也可以在不同示例中显示用于单目立体视觉的图像。
尽管在上述示例中将头戴式显示器100用于游戏系统，但是本实施例中描述的技术也可以用于显示游戏以外的内容。
[附图标记列表]
10游戏装置、20输入装置、100头戴式显示器、190显示装置、311游戏控制部分、312指令输入获取部分、314HMD信息获取部分、315输入装置信息获取部分、316第一图像生成部分、317第二图像生成部分。
[工业实用性]
本发明可应用于用于控制向头戴式显示器的显示的显示控制装置。

Claims (10)

1.一种显示控制装置，包括：
显示控制部分，其适于通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上，其中，
所述显示控制部分能够将所述虚拟空间中的多个位置指定为视点位置，并且能够根据所述头戴式显示器的姿势将所述视点位置改变到从所述多个位置中确定的位置，并且当所述视点位置被改变时，所述显示控制部分将从改变的视点位置观看的所述虚拟空间中的第一位置的方向指定为视线方向。
2.根据权利要求1所述的显示控制装置，其中，
当所述视点位置被改变时，所述显示控制部分以线性或曲线方式连续地将所述视点位置从改变之前的所述视点位置移动到改变之后的所述视点位置。
3.根据权利要求1或2所述的显示控制装置，其中，
当所述头戴式显示器以等于或大于给定量的量或以等于或大于给定速度的速度移动时，所述显示控制部分将所述视点位置移动到所述虚拟空间中的第二位置。
4.一种显示控制方法，包括：
由显示控制部分通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上的步骤，其中，
所述显示控制部分能够将所述虚拟空间中的多个位置指定为视点位置，并且能够根据所述头戴式显示器的姿势将所述视点位置改变到从所述多个位置中确定的位置，并且当所述视点位置被改变时，所述显示控制部分将从改变的视点位置观看的所述虚拟空间中的第一位置的方向指定为视线方向。
5.一种记录显示控制程序的计算机可读记录介质，所述显示控制程序使得计算机用作：
显示控制部分，其适于通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上，其中，
所述显示控制部分能够将所述虚拟空间中的多个位置指定为视点位置，并且能够根据所述头戴式显示器的姿势将所述视点位置改变到从所述多个位置中确定的位置，并且当所述视点位置被改变时，所述显示控制部分将从改变的视点位置观看的所述虚拟空间中的第一位置的方向指定为视线方向。
6.一种显示控制装置，包括：
显示控制部分，其适于通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上；以及
视点位置控制部分，其适于根据所述头戴式显示器的位置来移动所述视点位置，其中，
所述视点位置控制部分在所述头戴式显示器被水平移动时比在所述头戴式显示器被垂直移动时更大程度地移动所述视点位置。
7.根据权利要求6所述的显示控制装置，其中，
当所述头戴式显示器以给定方向移动时，并且当所述头戴式显示器的位置到达第三位置时，所述视点位置控制部分使得所述视点位置从第四位置跳到第五位置，并且
当所述头戴式显示器以与所述给定方向相反的方向移动时，并且当所述头戴式显示器的位置到达第六位置时，所述视点位置控制部分使得所述视点位置从所述第五位置跳到所述第四位置。
8.根据权利要求6或7所述的显示控制装置，其中，
当所述头戴式显示器被移动时，所述视点位置控制部分将移动方向转换为给定方向，并且响应于转换方向上的行进量移动所述视点位置。
9.一种显示控制方法，包括：
由显示控制部分通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上的步骤；以及
由视点位置控制部分根据所述头戴式显示器的位置来移动所述视点位置的步骤，其中，
所述视点位置控制部分在所述头戴式显示器被水平移动时比在所述头戴式显示器被垂直移动时更大程度地移动所述视点位置。
10.一种记录显示控制程序的计算机可读记录介质，所述显示控制程序使得计算机用作：
显示控制部分，其适于通过指定视点位置和视线方向来生成虚拟空间图像，并将图像显示在头戴式显示器上；以及
视点位置控制部分，其适于根据所述头戴式显示器的位置来移动所述视点位置，其中，
所述视点位置控制部分在所述头戴式显示器被水平移动时比在所述头戴式显示器被垂直移动时更大程度地移动所述视点位置。
CN201680069099.8A 2015-12-02 2016-11-25 显示控制装置和显示控制方法 Active CN108292490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111534076.9A CN114296235A (zh) 2015-12-02 2016-11-25 显示控制装置和显示控制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015235897A JP6532393B2 (ja) 2015-12-02 2015-12-02 表示制御装置及び表示制御方法
JP2015-235897 2015-12-02
PCT/JP2016/084937 WO2017094607A1 (ja) 2015-12-02 2016-11-25 表示制御装置及び表示制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111534076.9A Division CN114296235A (zh) 2015-12-02 2016-11-25 显示控制装置和显示控制方法

Publications (2)

Publication Number Publication Date
CN108292490A true CN108292490A (zh) 2018-07-17
CN108292490B CN108292490B (zh) 2021-11-16

Family

ID=58796719

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111534076.9A Pending CN114296235A (zh) 2015-12-02 2016-11-25 显示控制装置和显示控制方法
CN201680069099.8A Active CN108292490B (zh) 2015-12-02 2016-11-25 显示控制装置和显示控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111534076.9A Pending CN114296235A (zh) 2015-12-02 2016-11-25 显示控制装置和显示控制方法

Country Status (5)

Country Link
US (3) US11042038B2 (zh)
EP (3) EP3474271B1 (zh)
JP (1) JP6532393B2 (zh)
CN (2) CN114296235A (zh)
WO (1) WO2017094607A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6518578B2 (ja) * 2015-12-02 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6495398B2 (ja) * 2017-09-04 2019-04-03 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
JP6964142B2 (ja) * 2017-11-10 2021-11-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP6388270B1 (ja) * 2018-01-17 2018-09-12 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP2019149122A (ja) 2018-02-28 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN112119451A (zh) 2018-05-22 2020-12-22 索尼公司 信息处理装置、信息处理方法和程序
JP7109540B2 (ja) * 2018-05-30 2022-07-29 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム
EP3588249A1 (en) * 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
JP6623431B2 (ja) * 2018-08-06 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP7384576B2 (ja) * 2019-06-06 2023-11-21 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、及び表示制御プログラム
JP6923964B2 (ja) * 2019-11-05 2021-08-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6707224B2 (ja) * 2019-11-05 2020-06-10 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
US11538265B2 (en) * 2020-03-11 2022-12-27 Universal City Studios Llc Orientation tag for providing orientation information

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020753A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 仮想空間制御装置
CN1409218A (zh) * 2002-09-18 2003-04-09 北京航空航天大学 虚拟环境生成方法
JP2004054590A (ja) * 2002-07-19 2004-02-19 Canon Inc 仮想空間描画表示装置、及び仮想空間描画表示方法
CN1529880A (zh) * 2001-06-25 2004-09-15 ���ء����߸� 带有力反馈和运动反馈的可编程关节模拟器
JP2004283521A (ja) * 2003-03-20 2004-10-14 Square Enix Co Ltd ビデオゲームシステム、記録媒体およびプログラム
CN1708982A (zh) * 2002-10-25 2005-12-14 索尼计算机娱乐公司 使用沿时间轴改变的图像数据产生新图像的方法和装置
US7298384B2 (en) * 2002-01-22 2007-11-20 Canon Kabushiki Kaisha Mixed reality presenting apparatus and image processing method
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor
US7479967B2 (en) * 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
CN101414383A (zh) * 2007-10-19 2009-04-22 佳能株式会社 图像处理设备和图像处理方法
US20100026714A1 (en) * 2008-07-31 2010-02-04 Canon Kabushiki Kaisha Mixed reality presentation system
CN101783967A (zh) * 2009-01-21 2010-07-21 索尼公司 信号处理设备、图像显示设备、信号处理方法和计算机程序
CN101970067A (zh) * 2008-03-26 2011-02-09 科乐美数码娱乐株式会社 游戏装置、游戏处理方法、信息记录介质以及程序
CN102317892A (zh) * 2009-11-10 2012-01-11 索尼计算机娱乐公司 控制信息输入装置的方法、信息输入装置、程序和信息存储介质
CN102566052A (zh) * 2010-12-29 2012-07-11 索尼公司 头戴式显示器
CN102860837A (zh) * 2011-07-08 2013-01-09 株式会社东芝 图像处理系统、装置、方法以及医用图像诊断装置
US20140354515A1 (en) * 2013-05-30 2014-12-04 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
CN104238665A (zh) * 2013-06-24 2014-12-24 佳能株式会社 图像处理装置及图像处理方法
CN104280882A (zh) * 2013-07-03 2015-01-14 索尼公司 显示系统和显示方法
CN104376194A (zh) * 2013-08-16 2015-02-25 迪士尼企业公司 用户生成的内容的交叉平台分享
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN104423041A (zh) * 2013-08-19 2015-03-18 精工爱普生株式会社 头部佩戴型显示装置及头部佩戴型显示装置的控制方法
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
JP2015182712A (ja) * 2014-03-26 2015-10-22 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JPH08202281A (ja) 1995-01-30 1996-08-09 Olympus Optical Co Ltd 頭部装着型映像表示装置システム
KR100491467B1 (ko) * 1996-05-02 2005-12-21 가부시키가이샤 세가 게임장치,그처리방법및기록매체
JPH10137445A (ja) * 1996-11-07 1998-05-26 Sega Enterp Ltd ゲーム装置、画像音響処理装置および記録媒体
US5907328A (en) 1997-08-27 1999-05-25 International Business Machines Corporation Automatic and configurable viewpoint switching in a 3D scene
JP2000250699A (ja) 1999-03-04 2000-09-14 Shimadzu Corp 視線入力装置
JP3310257B2 (ja) * 2000-03-24 2002-08-05 株式会社コナミコンピュータエンタテインメントジャパン ゲームシステム及びゲーム用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3437550B2 (ja) 2000-12-04 2003-08-18 キヤノン株式会社 情報提示装置及びその方法並びに記憶媒体
JP3611807B2 (ja) * 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP2005174021A (ja) 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
JP4412715B2 (ja) * 2004-05-07 2010-02-10 株式会社バンダイナムコゲームス プログラム、情報記憶媒体および画像生成システム
JP3883560B2 (ja) 2005-10-31 2007-02-21 株式会社バンダイナムコゲームス ゲーム装置及び情報記憶媒体
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
JP4847203B2 (ja) * 2006-04-27 2011-12-28 キヤノン株式会社 情報処理方法、情報処理装置
JP4810295B2 (ja) 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
JP4134198B2 (ja) 2006-05-24 2008-08-13 株式会社ソニー・コンピュータエンタテインメント ゲーム装置及びゲーム制御方法
US9327192B2 (en) * 2006-11-17 2016-05-03 Nintendo Co., Ltd. Game system and storage medium storing game program
US20090069096A1 (en) * 2007-09-12 2009-03-12 Namco Bandai Games Inc. Program, information storage medium, game system, and input instruction device
US7948514B2 (en) * 2008-06-02 2011-05-24 Panasonic Corporation Image processing apparatus, method and computer program for generating normal information, and viewpoint-converted image generating apparatus
JP5111312B2 (ja) * 2008-09-16 2013-01-09 任天堂株式会社 ３次元画像処理プログラム、３次元画像処理装置、３次元画像処理システムおよび３次元画像処理方法
JP5568230B2 (ja) * 2008-10-08 2014-08-06 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及びゲームシステム
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8206266B2 (en) * 2009-08-05 2012-06-26 David Hall Sensor, control and virtual reality system for a trampoline
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP2011212347A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、端末及びネットワークシステム
JP2012008745A (ja) 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
JP6056171B2 (ja) * 2012-03-29 2017-01-11 富士通株式会社 立体画像表示装置及び方法
EP2922049A4 (en) * 2012-11-13 2016-07-13 Sony Corp PICTURE DISPLAY DEVICE AND PICTURE DISPLAY METHOD, MOBILE BODY DEVICE, PICTURE DISPLAY SYSTEM AND COMPUTER PROGRAM
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9075514B1 (en) * 2012-12-13 2015-07-07 Amazon Technologies, Inc. Interface selection element display
JP2014127987A (ja) 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP6375591B2 (ja) 2013-01-15 2018-08-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
JP6283168B2 (ja) * 2013-02-27 2018-02-21 任天堂株式会社 情報保持媒体および情報処理システム
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10140767B2 (en) * 2013-04-24 2018-11-27 Kawasaki Jukogyo Kabushiki Kaisha Workpiece machining work support system and workpiece machining method
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US9630098B2 (en) * 2013-06-09 2017-04-25 Sony Interactive Entertainment Inc. Head mounted display
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
JP6271878B2 (ja) * 2013-06-25 2018-01-31 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、指示位置の算出方法
JP6182734B2 (ja) 2013-06-26 2017-08-23 国立大学法人佐賀大学 表示制御装置
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2015125502A (ja) * 2013-12-25 2015-07-06 ソニー株式会社 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム
JP5824537B2 (ja) * 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
WO2015174501A1 (ja) * 2014-05-16 2015-11-19 株式会社ユニモト 全周動画配信システム、全周動画配信方法、画像処理装置、通信端末装置およびそれらの制御方法と制御プログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6642432B2 (ja) * 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
KR20160033376A (ko) * 2014-09-18 2016-03-28 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US10551913B2 (en) * 2015-03-21 2020-02-04 Mine One Gmbh Virtual 3D methods, systems and software
US20160330376A1 (en) * 2015-05-06 2016-11-10 Otoy, Inc. Apparatus and method for spherical light field capture
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
JP6706473B2 (ja) * 2015-09-14 2020-06-10 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
KR102516096B1 (ko) * 2015-09-30 2023-03-31 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
US20190121515A1 (en) * 2015-10-15 2019-04-25 Sony Corporation Information processing device and information processing method
US20180321493A1 (en) * 2015-11-11 2018-11-08 Lg Electronics Inc. Hmd and method for controlling same
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020753A (ja) * 1998-07-07 2000-01-21 Mitsubishi Electric Corp 仮想空間制御装置
CN1529880A (zh) * 2001-06-25 2004-09-15 ���ء����߸� 带有力反馈和运动反馈的可编程关节模拟器
US7298384B2 (en) * 2002-01-22 2007-11-20 Canon Kabushiki Kaisha Mixed reality presenting apparatus and image processing method
JP2004054590A (ja) * 2002-07-19 2004-02-19 Canon Inc 仮想空間描画表示装置、及び仮想空間描画表示方法
CN1409218A (zh) * 2002-09-18 2003-04-09 北京航空航天大学 虚拟环境生成方法
CN1708982A (zh) * 2002-10-25 2005-12-14 索尼计算机娱乐公司 使用沿时间轴改变的图像数据产生新图像的方法和装置
CN101123692A (zh) * 2002-10-25 2008-02-13 索尼计算机娱乐公司 使用沿时间轴改变的图像数据产生新图像的方法和装置
JP2004283521A (ja) * 2003-03-20 2004-10-14 Square Enix Co Ltd ビデオゲームシステム、記録媒体およびプログラム
US7479967B2 (en) * 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor
CN101414383A (zh) * 2007-10-19 2009-04-22 佳能株式会社 图像处理设备和图像处理方法
CN101970067A (zh) * 2008-03-26 2011-02-09 科乐美数码娱乐株式会社 游戏装置、游戏处理方法、信息记录介质以及程序
US20100026714A1 (en) * 2008-07-31 2010-02-04 Canon Kabushiki Kaisha Mixed reality presentation system
CN101783967A (zh) * 2009-01-21 2010-07-21 索尼公司 信号处理设备、图像显示设备、信号处理方法和计算机程序
CN102317892A (zh) * 2009-11-10 2012-01-11 索尼计算机娱乐公司 控制信息输入装置的方法、信息输入装置、程序和信息存储介质
CN102566052A (zh) * 2010-12-29 2012-07-11 索尼公司 头戴式显示器
CN102860837A (zh) * 2011-07-08 2013-01-09 株式会社东芝 图像处理系统、装置、方法以及医用图像诊断装置
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20140354515A1 (en) * 2013-05-30 2014-12-04 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
CN104238665A (zh) * 2013-06-24 2014-12-24 佳能株式会社 图像处理装置及图像处理方法
CN104280882A (zh) * 2013-07-03 2015-01-14 索尼公司 显示系统和显示方法
CN104376194A (zh) * 2013-08-16 2015-02-25 迪士尼企业公司 用户生成的内容的交叉平台分享
CN104423041A (zh) * 2013-08-19 2015-03-18 精工爱普生株式会社 头部佩戴型显示装置及头部佩戴型显示装置的控制方法
JP2015182712A (ja) * 2014-03-26 2015-10-22 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备

Also Published As

Publication number Publication date
WO2017094607A1 (ja) 2017-06-08
CN108292490B (zh) 2021-11-16
EP3385942B1 (en) 2022-01-19
EP3385942A4 (en) 2019-02-27
EP3982355A1 (en) 2022-04-13
US20230408833A1 (en) 2023-12-21
EP3385942A1 (en) 2018-10-10
US11042038B2 (en) 2021-06-22
EP3474271A1 (en) 2019-04-24
JP2017102297A (ja) 2017-06-08
US20210223558A1 (en) 2021-07-22
US20180329215A1 (en) 2018-11-15
US11768383B2 (en) 2023-09-26
JP6532393B2 (ja) 2019-06-19
CN114296235A (zh) 2022-04-08
EP3474271B1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN108292490A (zh) 显示控制装置和显示控制方法
US10427033B2 (en) Display control apparatus and display control method
WO2017094608A1 (ja) 表示制御装置及び表示制御方法
JP2016158794A (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6203346B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US11794095B2 (en) Information processing apparatus and device information derivation method
US11951397B2 (en) Display control program, display control device, and display control method
JP6820299B2 (ja) プログラム、情報処理装置、および方法
JP7462591B2 (ja) 表示制御装置及び表示制御方法
JP6856572B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6683862B2 (ja) 表示制御装置及び表示制御方法
JP6891319B2 (ja) 表示制御装置及び表示制御方法
JP6711891B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6705929B2 (ja) 表示制御装置及び表示制御方法
JP7111848B2 (ja) プログラム、情報処理装置、および方法
JP2019032715A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6718930B2 (ja) プログラム、情報処理装置、および方法
JP2018038631A (ja) 表示制御プログラム、表示制御装置、及び表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant