CN108141558B - 控制装置、头戴式显示器、控制系统、控制方法 - Google Patents

控制装置、头戴式显示器、控制系统、控制方法 Download PDF

Info

Publication number
CN108141558B
CN108141558B CN201680057688.4A CN201680057688A CN108141558B CN 108141558 B CN108141558 B CN 108141558B CN 201680057688 A CN201680057688 A CN 201680057688A CN 108141558 B CN108141558 B CN 108141558B
Authority
CN
China
Prior art keywords
luminance
emitting unit
specifying
image
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057688.4A
Other languages
English (en)
Other versions
CN108141558A (zh
Inventor
明见武司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN108141558A publication Critical patent/CN108141558A/zh
Application granted granted Critical
Publication of CN108141558B publication Critical patent/CN108141558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在包括用于识别姿势的发光单元的头戴式显示器中，在不用提供用于测量发光单元的亮度的独立设备的情况下使发光单元的亮度可控。基于由照相机捕获的用于姿势识别的图像，并且该图像包括用与驱动电流对应的亮度发光的发光单元的图像，姿势识别单元(62)识别包括发光单元的HMD的姿势。亮度信息识别单元(64)基于由捕获用于姿势识别的图像的照相机捕获的用于亮度识别的图像以及包括发光单元的图像，识别指示发光单元的亮度的信息。驱动电流控制单元(66)基于指示发光单元的亮度的识别信息控制发光单元的驱动电流。

Description

控制装置、头戴式显示器、控制系统、控制方法
技术领域
本发明涉及控制装置、头戴式显示器、控制系统、控制方法和程序。
背景技术
例如，如专利文献1至3所述，已知有安装在用户头部以观看视频的头戴式显示器(HMD)。存在包括多个根据驱动电流以亮度发光的诸如发光二极管(LED)的发光单元的HMD，并且HMD的姿势可以基于由照相机拍摄的多个发光单元的图像来指定。
[引用列表]
[专利文献]
[PTL 1]
JP 2004-205711A
[PTL 2]
JP 2012-2889A
[PTL 3]
JP 2013-210588A
发明内容
[技术问题]
当基于由照相机拍摄的发光单元的图像指定HMD的姿势时，如果发光单元的亮度低，则指定HMD的姿势的准确度降低。另一方面，发光单元的功耗随着发光单元的亮度的增加而增加，并且希望发光单元的亮度尽可能低。此外，例如当HMD周围的环境明亮时，需要增加发光单元的亮度以指定HMD 的姿势。
这里，驱动电流和发光单元的亮度之间的关系取决于元件的特性、操作时间的长度、当使用发光单元时的周围环境的温度等，并且发光单元的亮度不是由驱动电流的大小唯一地确定。
因此，需要基于发光单元的亮度的测量结果来控制在发光单元中流动的驱动电流，以在一定程度上维持发光单元的亮度。然而，在过去，需要分开提供用于测量亮度的设备来执行控制。
本发明是鉴于这样的情况而完成的，本发明的目的在于在包括发光单元的头戴式显示器中，不用分开提供用于测量发光单元的亮度的设备，而能够控制用于指定姿势的发光单元的亮度。
[问题的解决方案]
为了解决上述问题，本发明提供了一种控制装置，包括：姿势指定单元、亮度信息指定单元和驱动电流控制单元。姿势指定单元指定头戴式显示器的姿势，该头戴式显示器包括以根据驱动电流的亮度发光的发光单元，该姿势基于由照相机拍摄的姿势指定图像指定，姿势指定图像包括发光单元的图像。亮度信息指定单元基于由拍摄姿势指定图像的照相机拍摄的亮度指定图像来指定指示发光单元的亮度的信息，亮度指定图像包括发光单元的图像。驱动电流控制单元基于指示发光单元的亮度的指定信息来控制发光单元的驱动电流。
在本发明的一个方面中，亮度信息指定单元基于由包括发光单元的图像的亮度指定图像中的发光单元占据的区域来指定指示发光单元的亮度的信息。
在本发明的一个方面中，姿势指定图像和亮度指定图像是相同的图像。
在本发明的一个方面中，进一步包括目标值确定单元，该目标值确定单元基于环境的明亮度来确定指示亮度的信息的目标值，其中驱动电流控制单元根据指示亮度的信息的目标值控制发光单元的驱动电流。
在本发明的一个方面中，当指示发光单元的亮度的信息不能被指定时，亮度信息指定单元通知信息不能被指定。
在该方面中，头戴式显示器可以包括多个发光单元，并且当指示多个发光单元中的一个的亮度的信息不能被指定时，亮度信息指定单元可以根据对于指示亮度的信息不能被指定的发光单元发布通知。
本发明提供了一种头戴式显示器，包括：姿势指定单元、亮度信息指定单元和驱动电流控制单元。姿势指定单元基于由照相机拍摄的姿势指定图像来指定头戴式显示器的姿势，姿势指定图像包括发光单元的图像。亮度信息指定单元基于由拍摄姿势指定图像的照相机拍摄的亮度指定图像来指定指示发光单元的亮度的信息，亮度指定图像包括发光单元的图像。驱动电流控制单元基于指示发光单元的亮度的指定信息来控制发光单元的驱动电流。
本发明提供了一种控制系统，包括：姿势指定单元、亮度信息指定单元和驱动电流控制单元。姿势指定单元指定头戴式显示器的姿势，该头戴式显示器包括以根据驱动电流的亮度发光的发光单元，该姿势基于由照相机拍摄的姿势指定图像指定，姿势指定图像包括发光单元的图像。亮度信息指定单元基于由拍摄姿势指定图像的照相机拍摄的亮度指定图像来指定指示发光单元的亮度的信息，亮度指定图像包括发光单元的图像。驱动电流控制单元基于指示发光单元的亮度的指定信息来控制发光单元的驱动电流。
本发明提供一种控制方法，包括：指定头戴式显示器的姿势的步骤，该头戴式显示器包括以根据驱动电流的亮度发光的发光单元，该姿势基于由照相机拍摄的姿势指定图像指定，该姿势指定图像包括发光单元的图像，基于由拍摄姿势指定图像的照相机拍摄的亮度指定图像来指定指示发光单元的亮度的信息的步骤，该亮度指定图像包括发光单元的图像，以及基于指示发光单元的亮度的指定信息来控制发光单元的驱动电流的步骤。
本发明提供一种程序，使计算机执行以下步骤：指定头戴式显示器的姿势的过程，该头戴式显示器包括以根据驱动电流的亮度发光的发光单元，该姿势基于由照相机拍摄的姿势指定图像指定，该姿势指定图像包括发光单元的图像，基于由拍摄姿势指定图像的照相机拍摄的亮度指定图像来指定指示发光单元的亮度的信息的过程，该亮度指定图像包括发光单元的图像，以及基于指示发光单元的亮度的指定信息来控制发光单元的驱动电流的过程。
附图说明
图1是描绘根据本发明实施例的视频显示系统的整体配置的示例的图。
图2A是描绘根据本发明实施例的头戴式显示器的配置的示例的图。
图2B是描绘根据本发明实施例的娱乐装置的配置的示例的图。
图3是描绘捕获图像的示例的图。
图4是描绘发光单元提取图像的示例的图。
图5是描述根据本发明实施例的发光单元的亮度调节的示例的说明视图。
图6是描述根据本发明实施例的发光单元的亮度调节的另一示例的说明视图。
图7是描绘根据本发明实施例的在头戴式显示器中提供的功能的示例的功能框图。
图8是描绘根据本发明实施例的由头戴式显示器执行的处理的流程的示例的流程图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
图1是描绘根据本发明实施例的视频显示系统10的整体配置的示例的图。图2A是描绘根据本实施例的HMD 12的配置的示例的图。图2B是描绘根据本实施例的娱乐装置14的配置的示例的图。
如图1所描绘的，根据本实施例的视频显示系统10包括HMD 12、娱乐装置14、中继装置16、显示器18、照相机麦克风单元20和控制器22。
例如，在图2A中所描绘的，根据本实施例的HMD 12包括控制单元30、存储单元31、输入-输出单元32、显示单元33、驱动电路34、多个发光单元 35、传感器单元36、和声音输出单元37。
控制单元30例如是根据安装在HMD 12上的程序而操作的程序控制设备，诸如微处理器。
存储单元31例如是诸如只读存储器(ROM)和随机存取存储器(RAM) 的存储元件。由控制单元30执行的程序等被存储在存储单元31中。
输入-输出单元32例如是诸如高清晰度多媒体接口(HDMI)(注册商标) 端口、通用串行总线(USB)端口和辅助(AUX)端口的输入-输出端口。
显示单元33例如是布置在HMD 12的前侧上的诸如液晶显示器和有机电致发光(EL)显示器的显示器，并且显示单元33显示由娱乐装置14产生的视频等。进一步，显示单元33容纳在HMD 12的壳体38中。显示单元33 可以例如接收由娱乐装置14输出并且由中继装置16中继的视频信号以输出由该视频信号指示的视频。根据本实施例的显示单元33可以显示例如用于左眼的图像和用于右眼的图像以显示三维图像。注意，显示单元33可以仅能够显示二维图像，并且可能不能显示三维图像。
驱动电路34例如是用于驱动多个发光单元35的电路，诸如LED驱动器。
发光单元35包括诸如LED的发光元件，并且根据由驱动电路34输出的驱动电流以亮度发光。根据本实施例的HMD 12包括多个发光单元35。多个发光单元35中的一个被布置在壳体38的前表面的中心处。发光单元35也被布置在前表面上的四个拐角处中的每个拐角处，以便在壳体38的前表面和侧表面上延伸。四个发光单元35中的每个都相对于壳体38的前表面对角地布置，以面向壳体38的前表面的外边缘的外侧。发光单元35也被布置在壳体38的左右侧表面中的每个上。两个发光单元35进一步被布置在支撑壳体38 的安装带39上。以这种方式，根据本实施例的HMD 12包括九个发光单元 35。根据本实施例的发光单元35发射蓝光。
传感器单元36例如是诸如加速度传感器和运动传感器的传感器。传感器单元36以预定帧速率向控制单元30输出诸如HMD 12的旋转量和移动量的测量结果。
声音输出单元37例如是耳机、扬声器等，并且声音输出单元37输出由娱乐装置14生成的声音数据所指示的声音等。声音输出单元37接收例如由娱乐装置14输出并由中继装置16中继的声音信号，并输出由该声音信号指示的声音。
根据本实施例的娱乐装置14例如是诸如游戏控制台、数字多功能盘 (DVD)播放器和蓝光(注册商标)播放器的计算机。根据本实施例的娱乐装置14通过例如执行存储的游戏程序或通过再现记录在光盘中的内容来产生视频或声音。根据本实施例的娱乐装置14通过中继装置16将指示产生的视频的视频信号或指示产生的声音的声音信号输出到HMD 12或显示器18。
例如，如在图2B中所描绘的，根据本实施例的娱乐装置14包括控制单元40、存储单元41、通信单元42和输入-输出单元43。
控制单元40例如是程序控制设备，诸如中央处理单元(CPU)，其根据安装在娱乐装置14上的程序进行操作。根据本实施例的控制单元40包括基于从CPU提供的数据或图形命令在帧缓冲器中绘制图像的图形处理单元 (GPU)。
存储单元41例如是诸如ROM和RAM的存储元件，或硬盘驱动器。由控制单元40执行的程序等被存储在存储单元41中。根据本实施例，用于GPU 绘制图像的帧缓冲区的区域也被保留在存储单元41中。
通信单元42例如是诸如以太网(注册商标)模块和无线局域网(LAN) 模块的通信接口。
输入-输出单元43是诸如HDMI(注册商标)端口和USB端口的输入- 输出端口。
根据本实施例的中继装置16是中继从娱乐装置14输出的视频信号或声音信号以将视频信号或声音信号输出到HMD 12或显示器18的计算机。
根据本实施例的显示器18例如是液晶显示器，并且显示器18显示由从娱乐装置14输出的视频信号指示的视频等。
根据本实施例的照相机麦克风单元20包括，例如，照相机20a，其将对象的拍摄图像输出到娱乐装置14；以及麦克风20b，其获取周围环境的声音以将声音转换为声音数据并且将声音数据输出到娱乐装置14。根据本实施例的照相机20a是立体照相机。
HMD 12和中继装置16通过例如HDMI电缆或USB电缆连接。娱乐装置14和中继装置16通过例如HDMI电缆或USB电缆连接。中继装置16和显示器18通过例如HDMI电缆连接。娱乐装置14和照相机麦克风单元20 通过例如AUX电缆连接。
根据本实施例的控制器22是用于输入对娱乐装置14的操作的操作输入装置。用户可以按压包括在控制器22中的箭头键或按钮或倾斜操作杆以通过使用控制器22来输入各种类型的操作。在本实施例中，控制器22将与操作输入相关联的输入数据输出到娱乐装置14。根据本实施例的控制器22还包括USB端口。控制器22可以通过USB电缆连接到娱乐装置14，以通过导线将输入数据输出到娱乐装置14。根据本实施例的控制器22进一步包括无线通信模块等，并且控制器22还可以将输入数据无线输出到娱乐装置14。
在本实施例中，照相机20a以预定帧速率拍摄图像。图3是描绘由照相机20a拍摄的图像的捕获图像50的示例的图。图3中所描绘的捕获图像50 包括布置在壳体38的右侧表面、前表面的中心、从前面观看的前表面的左上角、以及从前面观看的前表面的右上角处的发光单元35的图像。在本实施例中，基于图3所示的捕获图像50中的发光单元35的图像的位置来指定HMD 12的姿势，诸如HMD 12的位置和方向。注意，HMD 12的姿势可以基于捕获图像50中的发光单元35的图像的位置以及由传感器单元36检测到的移动量或旋转量的检测结果来指定。以这种方式，显示单元33上显示的视频和显示单元33上显示的对象根据HMD 12的指定姿势被控制。如上所述在本实施例中，由于发光单元35被以各种位置布置，无论用户面向哪个方向，捕获图像50可能都包括发光单元35中的一个的图像。
如果发光单元35的亮度太低，则指定捕获图像50中的发光单元35的图像的位置的准确度变低。另一方面，为了降低功耗，发光单元35的亮度较低是更好的。为此，理想的是，根据本实施例的HMD 12中包括的发光单元35 的亮度落入预定范围内。在根据本实施例的视频显示系统10中，也基于用于指定HMD的姿势的捕获图像50来指定其图像被包括在捕获图像50中的发光单元35的亮度。用于驱动发光单元35的驱动电流被控制，使得发光单元 35的亮度落入预定范围内。以这种方式，在根据本实施例的视频显示系统10 中，发光单元35的亮度落入预定范围内。
注意，可以提取由捕获图像50中的发光单元35占据的区域以生成图4 中示出的发光单元提取图像52。例如，提取满足诸如具有预定范围内的蓝色像素值的像素的预定条件的像素的图像处理可以被应用于捕获图像50，以生成图4中所示的发光单元提取图像52。基于以这种方式生成的发光单元提取图像52中的发光单元35所占据的区域，可以指定HMD 12的姿势，并且可以指定其图像包括在发光单元提取图像52中的发光单元35的亮度。
图3中所描绘的捕获图像50和图4中所描绘的发光单元提取图像52包括发光单元35的多个图像。在本实施例中，可以使用众所周知的图案识别技术来指定由发光单元的图像指示的每个发光单元35的位置。
根据本实施例的HMD 12也可以单独地开启或关闭多个发光单元35。因此，可以通过仅使指定的发光单元35发光来指定指定的发光单元35的位置。由发光单元35的图像指示的每个发光单元35的位置也可以以这种方式指定。
图5和图6的每个是描述根据本发明实施例的发光单元35的亮度调节的示例的说明视图。图5和6描绘了作为亮度目标的目标亮度Lt。目标亮度Lt 可以是预定亮度，或者可以是基于HMD 12的周围环境的明亮度或距照相机 20a的距离确定的亮度。在图5和6中，×标记指示四个发光单元35的亮度 L，发光单元35的图像被包括在图3中所描绘的捕获图像50中。
在本实施例中，HMD 12出货时的发光单元35的亮度L被设置为相对高的亮度，如图5中所描绘的。在这种情况下，四个发光单元35的驱动电流被降低以控制发光单元35的亮度，使得亮度落入目标亮度Lt周围的预定范围内。在本实施例中，例如，假定目标亮度Lt和亮度L之间的差的阈值是ΔL，则控制发光单元35的亮度，使得亮度为Lt+ΔL或小于Lt+ΔL。以这种方式，根据本实施例，可以降低发光单元35的功耗。
即使当通过恒定的驱动电流来驱动发光单元35时，亮度随着操作时间的增加而减小。发光单元35的亮度减小的速度也基于发光单元35周围的温度而变化。在图6的示例中，前表面的中心处的发光单元35和前表面的左上角的发光单元35的亮度低于Lt-ΔL。在这种情况下，增加两个发光单元35的驱动电流以控制发光单元35的亮度，使得亮度落入目标亮度Lt周围的预定范围内。在本实施例中，例如，假定目标亮度Lt和亮度L之间的差的阈值是ΔL，那么控制发光单元35的亮度使得亮度为Lt-ΔL或大于Lt-ΔL。以这种方式，根据本实施例，可以控制发光单元35的亮度，使得亮度例如大于允许基于捕获图像50指定HMD 12的姿势的最小亮度。
如上所述，用于指定HMD 12的姿势的捕获图像50也用于指定本实施例中的发光单元35的亮度，并且可以控制发光单元35的亮度而不分开提供用于测量发光单元35的亮度的设备。
在以上的描述中，尽管用于指定HMD 12的姿势的姿势指定图像和用于指定发光单元35的亮度的亮度指定图像是相同的图像，但姿势指定图像和亮度指定图像可以是不同图像。例如，照相机20a可以交替地拍摄姿势指定图像和亮度指定图像。
在下文中，将集中于发光单元35的亮度的控制来进一步描述根据本实施例的娱乐装置14的功能和由根据本实施例的娱乐装置14执行的处理。
图7是描绘根据本实施例的娱乐装置14中提供的功能的示例的功能框图。注意，根据本实施例的娱乐装置14可能不具有图7中所描绘的全部功能，并且还可能被提供有除了图7中所描绘的功能之外的功能。
如图7中所描绘的，根据本实施例的娱乐装置14在功能上包括，例如，捕获图像获取单元60、姿势指定单元62、亮度信息指定单元64和驱动电流控制单元66。捕获图像获取单元60、姿势指定单元62和驱动电流控制单元 66主要由控制单元40和输入-输出单元43构成。亮度信息指定单元64主要由控制单元40构成。根据本实施例的娱乐装置14起到控制发光单元35的亮度的控制装置的作用。
这些功能是由控制单元40执行安装在作为计算机的娱乐装置14上的程序来提供的，该程序包括对应于该功能的命令。通过例如诸如光盘、磁盘、磁带、磁光盘和闪存的计算机可读信息存储介质或者通过互联网等将该程序提供给娱乐装置14。
捕获图像获取单元60获取本实施例中由照相机20a拍摄的捕获图像50。
姿势指定单元62基于由照相机20a拍摄的捕获图像50来指定HMD 12 的姿势。姿势指定单元62可以从HMD 12接收指示由传感器单元36检测到的移动量或旋转量的检测结果的数据，并且基于接收到的数据和捕获图像50 指定HMD 12的姿势。
亮度信息指定单元64基于包括由照相机20a拍摄的发光单元35的图像的捕获图像50来指定指示发光单元35的亮度的信息。在本实施例中，亮度信息指定单元64指定，例如，其图像被包括在由捕获图像获取单元60获取的捕获图像50中的发光单元35的亮度。当根据本实施例的照相机20a具有指定捕获图像50中的像素的亮度的功能时，亮度信息指定单元64可以从照相机20a获取指示由照相机20a指定的亮度的信息。亮度信息指定单元64可以基于从照相机20a获取的指示亮度的信息来指定发光单元35的亮度。
亮度信息指定单元64还可以基于捕获图像50中的发光单元35占据的区域来指定发光单元35的亮度。例如，亮度信息指定单元64可以基于在发光单元提取图像52中提取作为由发光单元35占据的区域的区域中的像素来指定发光单元35的亮度。
注意，可以将与亮度相关联的多个参考图像存储在娱乐装置14中。在这种情况下，亮度信息指定单元64可以基于由捕获图像获取单元60获取的捕获图像50和多个参考图像中的每个的比较结果来指定发光单元35的亮度。特别地，例如，可以指定与捕获图像50最相似的参考图像，并且可以指定与参考图像相关联的亮度为发光单元35的亮度。
驱动电流控制单元66基于指定的发光单元35的亮度来控制发光单元35 的驱动电流。在本实施例中，例如，如果由亮度信息指定单元64指定的发光单元35的亮度L小于Lt-ΔL，那么驱动电流控制单元66增加发光单元35 的驱动电流。另一方面，如果由亮度信息指定单元64指定的发光单元35的亮度L大于Lt+ΔL，那么驱动电流控制单元66降低发光单元35的驱动电流。在本实施例中，驱动电流控制单元66将例如指示驱动电流的值的数据发送到HMD 12。HMD 12的控制单元30然后控制驱动电路34以设置由从娱乐装置 14接收的数据所指示的驱动电流的值。注意，驱动电流控制单元66可以将指示驱动电流的增加量或减小量的数据发送到HMD 12。HMD 12的控制单元 30可以控制驱动电路34以根据由从娱乐装置14接收的数据所指示的增加量或减小量来设置驱动电流的值。
这里，将参照图8所示的流程图描述根据本实施例的由娱乐装置14执行的布置在壳体38的前表面的中心处的发光单元35的亮度控制处理的流程的示例。
在本实施例中，图8中所示的亮度控制处理被重复执行。这里，可以在例如用于指定亮度的捕获图像50的成像间隔中重复执行亮度控制处理。例如，当照相机20a以1/60秒的间隔捕获捕获图像50，并且所有捕获图像50 都被用作亮度指定图像时，可以以1/60秒的间隔执行图8中所描绘的亮度控制处理。例如，当照相机20a以1/60秒的间隔捕获捕获图像50，并且交替地拍摄用于指定姿势的捕获图像50和用于指定亮度的捕获图像50时，可以以 1/30秒的间隔执行图8中所描绘的亮度控制处理。
首先，捕获图像获取单元60获取捕获图像50(S101)。然后，亮度信息指定单元64基于在S101中所描绘的处理中获取的捕获图像50来指定布置在壳体38的前表面的中心处的发光单元35的亮度L(S102)。在S102中所描绘的处理中，亮度信息指定单元64可以基于在上述S101中所描绘的处理中获取的捕获图像50中由发光单元35占据的区域中的像素来指定发光单元35 的亮度L。例如，亮度信息指定单元64可以基于在S101中所描绘的处理中获取的捕获图像50来生成发光单元提取图像52，并且基于在发光单元提取图像52中由发光单元35占据的区域中的像素来指定发光单元35的亮度L。
然后，驱动电流控制单元66检查在S102中所描绘的处理中亮度L是否可以被指定(S103)。在S102中所描绘的处理中，在某些情况下发光单元35 的亮度L不能被指定，诸如当捕获图像50不包括布置在壳体38的前表面的中心处的发光单元35的图像时。如果在S102中所描绘的处理中亮度L不能被指定(S103：否)，则处理返回到S101。在这种情况下，布置在壳体38的前表面的中心处的发光单元35的亮度L在帧内不发生变化。
如果能够在S102中所描绘的处理中亮度L可以被指定(S103：是)，则驱动电流控制单元66检查在S102中所描绘的处理中指定的亮度L是否大于 Lt+ΔL(S104)。如果在S102中所描绘的处理中指定的亮度L大于Lt+ΔL (S104：是)，则驱动电流控制单元66将布置在壳体38的前表面的中心处的发光单元35的驱动电流i降低Δi(S105)，并且处理返回到S101。在本实施例中，Δi例如是1mA。
如果在S102中所描绘的处理中指定的亮度L不大于Lt+ΔL(S104：否)，则驱动电流控制单元66检查在S102中所描绘的处理中指定的亮度L是否小于Lt-ΔL(S106)。如果在S102中所描绘的处理中指定的亮度L小于Lt-ΔL (S106：是)，则驱动电流控制单元66将布置在壳体38的前表面的中心处的发光单元35的驱动电流i增加Δi(S107)，并且处理返回到S101。
如果在S102所描绘的处理中指定的亮度L不小于Lt-ΔL(S106：否)，即，如果在S102中所描绘的处理中指定的亮度L是大于或等于Lt-ΔL以及小于或等于Lt+ΔL时，处理返回到S101。在这种情况下，布置在壳体38 的前表面的中心处的发光单元35的亮度L在帧内不发生变化。
注意，上述Δi可以是小于1mA的值，诸如0.1mA。尽管Δi的较小值允许对发光单元35的亮度进行更详细的控制，但是可以在图8中所描绘的处理的执行间隔处改变的亮度变小。
虽然在图8中示出了布置在壳体38的前表面的中心处的发光单元35的亮度控制处理的流程的示例，但针对HMD 12中包括的多个发光单元35中的每个独立地执行亮度控制处理。针对多个发光单元35中的每个，可以并行执行或者可以顺序地执行图8中所描绘的亮度控制处理。
以这种方式，根据本实施方式，控制发光单元35的亮度，使得每当执行图8所描绘的亮度控制处理时，亮度接近目标亮度Lt周围的预定范围。
注意，亮度信息指定单元64可基于在S101中所描绘的处理中获取的捕获图像50来指定，例如，环境的明亮度，诸如HMD 12周围的空间的明亮度。然后，亮度信息指定单元64可以基于指定的环境明亮度来确定指示发光单元 35的亮度的信息的目标值，诸如目标亮度Lt。这里，例如，指定的环境明亮度越高，确定的目标亮度Lt可能越高。注意，当HMD 12包括亮度传感器时，可以基于亮度传感器的测量结果来指定环境的明亮度。然后，驱动电流控制单元66可以根据指示由亮度信息指定单元64确定的指示发光单元35的亮度的信息的目标值来控制发光单元35的驱动电流。以这种方式，可以控制发光单元35的亮度以根据环境的明亮度来设置亮度。特别地，例如，可以将发光单元35的亮度控制为对于更高的环境明亮度处更高。
本实施例的照相机20a是立体照相机，并且可以测量从照相机20a到发光单元35的距离。因此，亮度信息指定单元64可以基于例如从照相机20a 到发光单元35的距离来确定目标亮度Lt。在这种情况下，例如，从照相机 20a到发光单元35的距离越长，所确定的目标亮度Lt可能越高。以这种方式，可以控制发光单元35的亮度以根据距照相机20a的距离来设置亮度。特别地，例如，可以将发光单元35的亮度控制为对于距照相机20a较远的距离处更高。
以这种方式，亮度信息指定单元64也可以起到作为基于环境的明亮度或距照相机20a的距离来确定目标亮度Lt的目标值确定单元的作用。注意，亮度信息指定单元64可以基于环境的明亮度和距照相机20a的距离的组合来确定目标亮度Lt。以这种方式确定的目标亮度Lt可以用于S104中所描绘的处理或者S106中所描绘的处理中。
此外，如果例如当驱动电流i增加Δi时驱动电流i超过预定的最大电流 (例如，30mA)，则在S107中所描绘的处理中，驱动电流控制单元66可以不增加驱动电流i。在这种情况下，驱动电流控制单元66可以输出消息。例如，驱动电流控制单元66可以将用于在显示单元33上显示和输出消息的指令发送到HMD 12，并且HMD 12可以在显示单元33上显示和输出该消息。另外，驱动电流控制单元66可以将用于输出预定声音的指令发送到HMD 12，并且HMD 12可以控制声音输出单元37输出预定声音。以这种方式，即使向发光单元35提供预定的最大电流，用户也可以识别出发光单元35由于例如寿命的终止而亮度没有落入预定范围内。
亮度信息指定单元64可以指定具有最低亮度的发光单元35。驱动电流控制单元66可以控制其他发光单元35的驱动电流，使得亮度接近最低亮度。以这种方式，控制其他发光单元35的亮度，使得亮度接近具有最低亮度的发光单元35的亮度。
例如，在玩游戏期间，即，在娱乐装置14执行游戏程序并且在显示单元 33上显示所生成的运动图像的期间，可以执行图8中所描绘的亮度控制处理，或者可以在开始玩游戏之前执行。
当在S102中所描绘的处理中发光单元35的亮度不能被指定时，亮度信息指定单元64可以通知亮度不能被指定。当多个发光单元35中的一个的亮度不能被指定时，亮度信息指定单元64可以根据亮度不能被指定的发光单元 35发布通知。例如，在开始玩游戏之前执行的亮度控制处理中存在亮度L不能被指定亮度的发光单元35时，亮度信息指定单元64可以输出提示用户旋转头部的通知，使得照相机20a能够对发光单元35进行成像。例如，当捕获图像50不包含从前面观看布置在前表面的右上角的发光单元35的图像时，亮度信息指定单元64也可以向HMD 12发送用于显示并输出“面向右”的消息。已经接收到该指令的HMD 12可以使显示单元33显示并输出消息。另外，在这种情况下，亮度信息指定单元64可以向HMD12发送用于输出消息“面向右”的声音的指令。已经接收到该指令的HMD 12可以控制声音输出单元 37输出该消息的声音。
尽管在上面的描述中发光单元35发出可见光(例如，蓝光)，但是发光单元35可以发出除可见光以外的光，诸如红外光。照相机20a可以是可以对红外线成像的照相机。
当例如存在其亮度不能由亮度信息指定单元64指定的发光单元35时，驱动电流控制单元66可以关闭发光单元35。
亮度信息指定单元64可代替发光单元35的亮度来指定诸如颜色的信息、像素值和发光单元35的区域之类的指示亮度的信息。驱动电流控制单元66 可以基于指定的颜色信息、像素值和发光单元35的区域来控制发光单元35 的驱动电流。
注意，本发明不限于上述实施例。
例如，HMD 12、娱乐装置14和中继装置16的角色不限于上述角色。例如，图7所示的部分或全部功能可以由HMD 12或中继装置16实现。另外，图7所示的功能可以由构成视频显示系统10的HMD 12、娱乐装置14或中继装置16分发和实现。
例如，图7所示的功能可以由控制单元30执行安装在作为计算机的HMD 12上的程序来实现，该程序包括对应于该功能的命令。可以通过例如诸如光盘、磁盘、磁带、磁光盘和闪存的计算机可读信息存储介质或者通过互联网等将该程序提供给娱乐装置14。
此外，图7所示的部分或全部功能可以由控制单元30执行安装在作为计算机的HMD12上的程序来实现，该程序包括对应于部分该功能的命令。可以通过例如诸如光盘、磁盘、磁带、磁光盘和闪存的计算机可读信息存储介质或者通过互联网等将该程序提供给HMD12。此外，控制单元40可以执行包括与图7所示的其余功能对应的命令的程序，以实现作为计算机的娱乐装置14中的其余功能。可以通过例如诸如光盘、磁盘、磁带、磁光盘和闪存的计算机可读信息存储介质或者通过互联网等将该程序提供给娱乐装置14。
此外，上述的特定字符串或数值以及附图中的特定字符串或数值是示例性的，并且字符串和数值不限于这些。

Claims (9)

1.一种控制装置，包括：
姿势指定单元，其指定头戴式显示器的姿势，所述头戴式显示器包括以根据驱动电流的亮度发光的发光单元，所述姿势基于由照相机拍摄的姿势指定图像指定，所述姿势指定图像包括所述发光单元的图像；
亮度信息指定单元，其基于由拍摄所述姿势指定图像的所述照相机拍摄的亮度指定图像，指定指示所述发光单元的亮度的信息，所述亮度指定图像包括所述发光单元的图像；以及
驱动电流控制单元，其基于指示所述发光单元的亮度的指定信息，控制所述发光单元的所述驱动电流，
其中，所述亮度信息指定单元基于多个参考图像的每个与所述亮度指定图像的比较结果，指定所述指示所述发光单元的亮度的信息，
其中，所述姿势指定图像和所述亮度指定图像是相同的图像。
2.根据权利要求1所述的控制装置，其中
所述亮度信息指定单元基于由包括所述发光单元的图像的所述亮度指定图像中由所述发光单元占据的区域，指定指示所述发光单元的亮度的信息。
3.根据权利要求1或2所述的控制装置，还包括：
目标值确定单元，其基于环境的明亮度，确定指示所述亮度的信息的目标值，其中
所述驱动电流控制单元根据指示所述亮度的信息的目标值，控制所述发光单元的所述驱动电流。
4.根据权利要求1或2所述的控制装置，其中
当指示所述发光单元的所述亮度的信息不能被指定时，所述亮度信息指定单元通知信息不能被指定。
5.根据权利要求4所述的控制装置，其中
所述头戴式显示器包括多个发光单元，并且
当指示所述多个发光单元中的一个的所述亮度的信息不能被指定时，所述亮度信息指定单元根据对于指示亮度的信息不能被指定的所述发光单元发布通知。
6.一种头戴式显示器，包括以根据驱动电流的亮度发光的发光单元，所述头戴式显示器包括：
姿势指定单元，其基于由照相机拍摄的姿势指定图像，指定所述头戴式显示器的姿势，所述姿势指定图像包括所述发光单元的图像；
亮度信息指定单元，其基于由拍摄所述姿势指定图像的所述照相机拍摄的亮度指定图像，指定指示所述发光单元的亮度的信息，所述亮度指定图像包括所述发光单元的图像；以及
驱动电流控制单元，其基于指示所述发光单元的亮度的指定信息，控制所述发光单元的所述驱动电流，
其中，所述亮度信息指定单元基于多个参考图像的每个与所述亮度指定图像的比较结果，指定所述指示所述发光单元的亮度的信息，
其中，所述姿势指定图像和所述亮度指定图像是相同的图像。
7.一种控制系统，包括：
姿势指定单元，其指定头戴式显示器的姿势，所述头戴式显示器包括以根据驱动电流的亮度发光的发光单元，所述姿势基于由照相机拍摄的姿势指定图像指定，所述姿势指定图像包括所述发光单元的图像；
亮度信息指定单元，其基于由拍摄所述姿势指定图像的所述照相机拍摄的亮度指定图像，指定指示所述发光单元的亮度的信息，所述亮度指定图像包括所述发光单元的图像；
驱动电流控制单元，其基于指示所述发光单元的亮度的指定信息，控制所述发光单元的所述驱动电流，
其中，所述亮度信息指定单元基于多个参考图像的每个与所述亮度指定图像的比较结果，指定所述指示所述发光单元的亮度的信息，
其中，所述姿势指定图像和所述亮度指定图像是相同的图像。
8.一种控制方法，包括：
指定头戴式显示器的姿势的步骤，所述头戴式显示器包括以根据驱动电流的亮度发光的发光单元，所述姿势基于由照相机拍摄的姿势指定图像指定，所述姿势指定图像包括所述发光单元的图像；
基于由拍摄姿势指定图像的所述照相机拍摄的亮度指定图像，指定指示所述发光单元的亮度的信息的步骤，所述亮度指定图像包括所述发光单元的图像；以及
基于指示所述发光单元的亮度的指定信息，控制所述发光单元的驱动电流的步骤，
其中，所述指定指示所述发光单元的亮度的信息的步骤基于多个参考图像的每个与所述亮度指定图像的比较结果，指定所述指示所述发光单元的亮度的信息，
其中，所述姿势指定图像和所述亮度指定图像是相同的图像。
9.一种计算机可读记录介质，其上记录计算机程序代码，当计算机运行所述计算机程序代码时，使所述计算机执行以下步骤：
指定头戴式显示器的姿势的过程，所述头戴式显示器包括以根据驱动电流的亮度发光的发光单元，所述姿势基于由照相机拍摄的姿势指定图像指定，所述姿势指定图像包括所述发光单元的图像；
基于由拍摄姿势指定图像的所述照相机拍摄的亮度指定图像，指定指示所述发光单元的亮度的信息的过程，所述亮度指定图像包括所述发光单元的图像；以及
基于指示所述发光单元的亮度的指定信息，控制所述发光单元的驱动电流的过程，
其中，所述指定指示所述发光单元的亮度的信息的过程基于多个参考图像的每个与所述亮度指定图像的比较结果，指定所述指示所述发光单元的亮度的信息，
其中，所述姿势指定图像和所述亮度指定图像是相同的图像。
CN201680057688.4A 2015-10-08 2016-10-05 控制装置、头戴式显示器、控制系统、控制方法 Active CN108141558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015200311 2015-10-08
JP2015-200311 2015-10-08
PCT/JP2016/079662 WO2017061488A1 (ja) 2015-10-08 2016-10-05 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108141558A CN108141558A (zh) 2018-06-08
CN108141558B true CN108141558B (zh) 2021-03-16

Family

ID=58487672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057688.4A Active CN108141558B (zh) 2015-10-08 2016-10-05 控制装置、头戴式显示器、控制系统、控制方法

Country Status (5)

Country Link
US (2) US10368007B2 (zh)
EP (1) EP3343906B1 (zh)
JP (2) JP6517358B2 (zh)
CN (1) CN108141558B (zh)
WO (1) WO2017061488A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061488A1 (ja) * 2015-10-08 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
JP6793372B2 (ja) * 2017-10-30 2020-12-02 ピクシーダストテクノロジーズ株式会社 網膜投影装置、網膜投影システム
JP6666504B1 (ja) 2019-06-20 2020-03-13 任天堂株式会社 装置、システム、ゲームシステム、および、装置セット
JP6666505B1 (ja) 2019-06-20 2020-03-13 任天堂株式会社 入力装置
USD949858S1 (en) * 2019-11-27 2022-04-26 Canon Kabushiki Kaisha Attachment member for head-mounted display
USD949857S1 (en) * 2019-11-27 2022-04-26 Canon Kabushiki Kaisha Attachment member for head-mounted display
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10226398B4 (de) * 2002-06-13 2012-12-06 Carl Zeiss Ag Verfahren und Vorrichtung zum Erfassen der Lage eines Objekts im Raum
JP2004205711A (ja) 2002-12-24 2004-07-22 Canon Inc 表示装置
JP2012002889A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd シースルー型画像表示装置
JP5336665B2 (ja) 2010-10-07 2013-11-06 株式会社ソニー・コンピュータエンタテインメント ３−ｄメガネと、カメラベースの頭部トラッキング
JP5505363B2 (ja) * 2011-04-21 2014-05-28 株式会社島津製作所 モーショントラッカ装置
JP5803784B2 (ja) 2012-03-30 2015-11-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN103778887B (zh) * 2013-03-21 2016-05-18 西安电子科技大学 Led显示装置的亮度校正方法及装置
US9710057B2 (en) * 2014-03-14 2017-07-18 Sony Interactive Entertainment Inc. Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
WO2014200779A2 (en) 2013-06-09 2014-12-18 Sony Computer Entertainment Inc. Head mounted display
US9600925B2 (en) 2014-01-06 2017-03-21 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
CN104616544A (zh) * 2015-03-12 2015-05-13 马盼盼 一种智能教学系统
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
CN204695329U (zh) * 2015-04-30 2015-10-07 朱中生 头戴式货物识别码扫描装置
WO2017061488A1 (ja) * 2015-10-08 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Also Published As

Publication number Publication date
US10488654B2 (en) 2019-11-26
US10368007B2 (en) 2019-07-30
JP6517358B2 (ja) 2019-05-22
JPWO2017061488A1 (ja) 2018-05-24
JP6762399B2 (ja) 2020-09-30
JP2019135873A (ja) 2019-08-15
US20180278825A1 (en) 2018-09-27
CN108141558A (zh) 2018-06-08
WO2017061488A1 (ja) 2017-04-13
EP3343906A4 (en) 2019-04-24
EP3343906B1 (en) 2022-04-06
US20190268523A1 (en) 2019-08-29
EP3343906A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
CN108141558B (zh) 控制装置、头戴式显示器、控制系统、控制方法
US10529074B2 (en) Camera pose and plane estimation using active markers and a dynamic vision sensor
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
KR102627636B1 (ko) 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
JP6973394B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6629055B2 (ja) 情報処理装置および情報処理方法
CN107615759B (zh) 头戴式显示器、显示控制方法以及程序
US9323339B2 (en) Input device, input method and recording medium
US9298246B2 (en) Information processing device, system, and information processing method
US10748341B2 (en) Terminal device, system, program and method for compositing a real-space image of a player into a virtual space
JP6650739B2 (ja) 発光デバイス調整装置および駆動電流調整方法
KR102563638B1 (ko) 전자 장치에서 디스플레이 번인 방지 방법 및 전자 장치
US20220152475A1 (en) Boundary display control device, boundary display control method, and program
KR102558472B1 (ko) 밝기 정보에 기반하여 콘텐트의 표시를 제어하는 전자 장치 및 그의 동작 방법
WO2017022769A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
US20120218399A1 (en) Electronic apparatus, controller of indicator, and control method of the same
JP6212845B2 (ja) 表示制御装置、表示装置、投影装置、システム及び表示制御方法
JP5670387B2 (ja) 発光色決定装置および発光色決定方法
WO2023181151A1 (ja) マーカー装置、コンピュータシステム、方法およびプログラム
JP6610635B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR20230056497A (ko) 디스플레이 장치 및 그 제어 방법
JP5237990B2 (ja) 情報処理装置、デバイスおよび情報処理システム
CN115842957A (zh) 显示设备、显示设备的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant