CN107615759A - 头戴式显示器、显示控制方法以及程序 - Google Patents

头戴式显示器、显示控制方法以及程序 Download PDF

Info

Publication number
CN107615759A
CN107615759A CN201680032213.XA CN201680032213A CN107615759A CN 107615759 A CN107615759 A CN 107615759A CN 201680032213 A CN201680032213 A CN 201680032213A CN 107615759 A CN107615759 A CN 107615759A
Authority
CN
China
Prior art keywords
camera
image
optical axis
user
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680032213.XA
Other languages
English (en)
Other versions
CN107615759B (zh
Inventor
中村勇郎
中村勇一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN107615759A publication Critical patent/CN107615759A/zh
Application granted granted Critical
Publication of CN107615759B publication Critical patent/CN107615759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种头戴式显示器，能够改变在显示单元上显示的视频中的相机的光轴附近的成像目标的图像的显示的位置；一种显示控制方法；以及一种程序。相机控制单元(62)控制相机的光轴的方向以捕获位于用户眼睛前方的显示单元前方的图像。显示控制单元(70)在显示单元上显示从由相机捕获的图像中切出并构成与相机的光轴的方向对应的部分的部分图像。

Description

头戴式显示器、显示控制方法以及程序
技术领域
本发明涉及头戴式显示器、显示控制方法以及程序。
背景技术
例如，如在专利文献1到3中所描述的，存在用于视觉欣赏而穿戴在用户的头部的头戴式显示器(HMD)。一些HMD配备有捕获HMD的显示部分前方的图像的相机，使得用户将使用正在显示的捕获图像来识别在显示部分之前正在发生的事情。
还存在一种用于视线跟踪的技术，允许使用虹膜检测来跟踪用户的视线方向。
引用列表
专利文献
[PTL 1]
JP 2004-205711 A
[PTL 2]
JP 2012-2889 A
[PTL 3]
JP 2013-210588 A
发明内容
技术问题
在相机捕获的图像中，目标越接近相机的光轴，目标显现的越清楚。因此，如果使得靠近相机的光轴的目标的图像显现在用户的视线的方向上的位置，那么用户能够观察到目标的清晰图像。
然而，对于现有的HMD，靠近相机的光轴的目标的图像以固定在显示部分上出现的图像的中心的方式显现。如果用户的视线偏离在显示部分上显示的图像的中心，那么妨碍用户观看清晰的图像。
本发明是基于上述情况而完成。因此，本发明的目的是提供一种头戴式显示器、显示控制方法以及程序，用于在显示部分上显示的图像内改变相机的光轴附近的目标图像的位置。
对于问题的解决方案
为了解决上述问题，根据本发明，提供了一种由用户穿戴的头戴式显示器，该头戴式显示器包括：显示部分，配置为设置在用户的眼睛的前方；相机，配置为捕获显示部分的前方的图像；相机控制部分，配置为控制相机的光轴的方向；以及显示控制部分，配置为使得显示部分显示从由相机捕获的图像中切出的部分图像，该部分图像构成与相机的光轴方向对应的部分。
本发明的一个实施例可以进一步包括配置为检测用户的视线的方向的检测部分。相机控制部分根据用户的视线方向来控制相机的光轴方向。
在本实施例中，如果相机的光轴方向改变，那么从中切出部分图像的捕获图像中的位置可能在与相机的改变的光轴方向相反的方向上改变。
可替代地，显示控制部分可以以使得相机的光轴上的目标的图像显示在用户的视线方向上的位置的方式执行控制。
同样在本实施例中，如果由相机捕获的图像包括预定的图像，则图像控制部分可以开始控制相机的光轴方向。
根据本发明，提供了一种显示控制方法，包括：控制安装到由用户穿戴的头戴式显示器上的相机的光轴的方向的步骤；以及使设置在用户的眼睛的前方的显示部分显示从由相机捕获的图像中切出的部分图像的步骤，该部分图像构成与相机的光轴方向对应的部分。
根据本发明，提供了一种程序，用于使得计算机执行：控制安装到由用户穿戴的头戴式显示器上的相机的光轴的方向的过程；以及使得设置在用户的眼睛的前方的显示部分显示从由相机捕获的图像中切出的部分图像的过程，该部分图像构成与相机的光轴方向对应的部分。
附图说明
图1是描绘体现本发明的图像显示系统的典型的整体配置的示意图。
图2是描绘体现本发明的头戴式显示器的典型配置的框图。
图3是描绘布置在真实空间中的椅子和填充玩具的示意图。
图4是描绘典型的捕获图像的示意图。
图5是描绘典型的部分图像的示意图。
图6是描绘另一个典型的捕获图像的示意图。
图7是描绘另一个典型的部分图像的示意图。
图8是描绘另一个典型的捕获图像的示意图。
图9是描绘另一个典型的部分图像的示意图。
图10是描绘由体现本发明的头戴式显示器实现的典型功能的功能框图。
图11是描绘由体现本发明的头戴式显示器执行的典型流程的流程图。
具体实施方式
下面参考附图描述本发明的一些实施例。
图1是描绘体现本发明的图像显示系统10的典型的整体配置的示意图。图2是描绘体现本发明的头戴式显示器(HMD)12的典型配置的框图。
如图1所示，体现本发明的图像显示系统10包括HMD 12、娱乐设备14、中继设备16、显示单元18、相机/麦克风单元20以及控制器22。
例如，如图2所示，体现本发明的HMD 12包括控制部分30、存储部分32、输入/输出部分34、显示部分36、音频输出部分38、传感器部分40、相机部分42以及驱动部分44。
例如，控制部分30可以是诸如根据安装在HMD 12中的程序进行操作的微处理器的程控设备。
存储部分32可以是诸如只读存储器(ROM)或随机存取存储器(RAM)的存储元件。存储部分32存储在其中由控制部分30执行的程序。
输入/输出部分34是诸如高分辨率多媒体接口(HDMI，注册商标)端口或通用串行总线(USB)端口的输入/输出端口。
显示部分是36是诸如液晶显示器或有机电致发光(EL)显示器的显示单元。显示部分36显示由娱乐设备14生成的或者由相机部分42捕获的图像。例如，在本实施例中的显示部分36被配置为通过呈现右眼用图像和左眼用图像来显示三维图像。可替代地，显示部分36可以被配置为只显示二维图像，而不呈现三维图像。
配置作为例如扬声器的音频输出部分38输出通常由娱乐设备14生成的音频数据表示的声音。
例如，本实施例中的传感器部分40可以包括视线传感器40a、运动/旋转传感器40b以及穿戴/卸除传感器40c。
例如，本实施例中的视线传感器40a可以是能够使用已知的虹膜检测技术，以预定帧速率(例如，以1/60秒的间隔)跟踪穿戴有HMD 12的用户的视线方向的相机。
例如，本实施例中的运动/旋转传感器40b可以是加速传感器或运动传感器。运动/旋转传感器40b测量HMD 12的姿态、旋转量和行进距离，并以预定帧速率将该测量输出到控制部分30。基于该测量，控制部分30识别每单位时间的HMD 12的行进距离和旋转量，即，HMD12的速度和角速度。
例如，穿戴/卸除传感器40c可以是红外线传感器，其能够检测HMD 12是穿戴在用户上或从用户上卸除。
传感器部分40可以包括除了视线传感器40a、运动/旋转传感器40b以及穿戴/卸除传感器40c之外的传感器。
例如，相机部分42可以是数字相机，其以预定帧速率捕获穿戴HMD 12的用户周围的图像。在本实施例中，相机部分42被配置为立体相机，其包括用于捕获左眼用图像的左眼相机42a和用于捕获右眼用图像的右眼相机42b。例如，左眼相机42a和右眼相机42b每个被配置为包括透镜和成像器件。在本实施例中，如图1所示，左眼相机42a和右眼相机42b并排设置在显示部分36的上方以捕获显示部分36的前方的图像。同样在本实施例中，左眼相机42a和右眼相机42b被配置为根据需要改变其光轴的方向。例如，安装在每个相机上的透镜的光轴方向可以根据需要改变。
驱动部分44可以是电动机装置。例如，驱动部分44依照从控制部分30接收的位置控制信号，改变在相机部分42中的左眼相机42a和右眼相机42b的方向。
例如，本实施例中的娱乐设备14可以是诸如游戏机、数字多功能盘(DVD)播放器或蓝光(注册商标)播放器的计算机。例如，本实施例中的娱乐设备14经由中继设备16向HMD12或显示单元18输出表示通过执行存储的游戏程序或通过再现记录在光盘上的内容而生成的图像的视频信号。
例如，本实施例中的显示单元18可以是液晶显示器，其显示由从娱乐设备14输出的视频信号表示的图像。
本实施例中的相机/麦克风单元20包括将目标的捕获图像输出到娱乐装设备14的相机20a，以及从周围获取声音、将获取的声音转换为音频数据以及将音频数据输出到娱乐设备14的麦克风20b。本实施例中的相机20a构成立体相机。
例如，HMD 12和中继设备16通过HDMI电缆或USB电缆相互连接。例如，娱乐设备14和中继设备16通过HDMI电缆或USB电缆相互连接。例如，中继设备16和显示单元18通过HDMI电缆相互连接。例如，娱乐设备14和相机/麦克风单元20通过辅助(AUX)电缆相互连接。
本实施例中的控制器22是允许对娱乐设备14进行操作输入的操作输入设备。用户可以通过操作箭头键或按钮或通过倾斜控制器22上操作杆来使用控制器22执行各种操作输入。本实施例中的控制器22将反应操作输入的输入数据输出到娱乐设备14。本实施例中的控制器22具有USB端口。USB端口允许控制器22使用USB电缆与娱乐设备14连接，使得输入数据可以以有线方式输出到娱乐设备14。例如，本实施例中的控制器22还包括无线通信模块，其将输入数据无线地输出到娱乐设备14。
在本实施例中，如上所述，显示部分36显示由娱乐设备14通过执行游戏程序或通过再现诸如记录在光盘上的电影等的内容而生成的图像。同样在本实施例中，如上所述，显示部分36显示在穿戴HMD 12的用户的前方正在发生的图像，该图像由相机部分42捕获。通过操作控制器22，穿戴HMD 12的用户可以根据需要选择由娱乐设备14生成的图像，或由相机部分42捕获的图像。
以下描述由相机部分42捕获的图像如何显示在显示部分36上。
图3是描绘布置在穿戴HMD 12的用户所在的真实空间中的目标的示意图。这里假定，在用户所在的现实空间中，如图3所示，有椅子50和在椅子50上放置的填充玩具52。
例如，在本实施例中，当穿戴有HMD 12的用户在其上放置有填充玩具52的情况下向椅子50的方向转动时，左眼相机42a捕获包括图4所示的捕获图像54-1的图像作为帧图像。图4所示的捕获图像54-1包括椅子50的图像和填充玩具52的图像。
在本实施例中，根据由视线传感器40a检测的用户的视线方向，捕获图像54-1中的部分区域被识别为切出区域56-1。图4描绘了在用户的左眼视线处于直线前进方向的情况下可用的典型的切出区域56-1。以这种方式，在本实施例中，当用户的左眼视线处于直线前进方向上时，捕获图像54-1的中心区域被识别为切出区域56-1。
在本实施例中，占据从图4中的捕获图像54-1中切出的切出区域56-1的图像作为图5所示的部分图像58-1显示在显示部分36上，该部分图像58-1构成左眼用图像。
在本实施例中，当用户改变左眼的视线方向时，左眼相机42a的光轴方向在改变的视线方向上改变。
假定视线传感器40a检测到用户左眼的视线从直线前进方向向上移动。在这种情况下，左眼相机42a的光轴被控制为根据改变的视线方向向上移动。图6描绘了由左眼相机42a捕获的典型图像54-2，其光轴如上所述地向上移动。在左眼相机42a的光轴向上移动的情况下，图6中的捕获图像54-2中的椅子50的图像和填充玩具52的图像被定位成相对低于图4中的捕获图像54-1中的椅子50以及填充玩具52对应的图像。
在本实施例中，将反映左眼相机42a的光轴方向的捕获图像54-2内的区域识别为切出区域56-2。例如，当左眼相机42a的光轴方向改变时，捕获图像54-2中的切出区域56-2沿着与左眼相机42a的改变的光轴方向相反的方向移动。例如，如果左眼相机42a的光轴根据被提升的用户的视线方向而向上移动，则位于图6中的捕获图像54-2的中心以下的区域被识别为切出区域56-2。
在本实施例中，显示部分36因此显示在图7中出现并且从图6中的捕获图像54-2切出的部分图像58-2，作为占据切出区域56-2的图像。
现在假设视线传感器40a检测到用户左眼的视线从直线前进方向向下移动。在这种情况下，左眼相机42a控制其光轴根据改变的视线方向而向下移动。图8描绘了如上所述由光轴向下移动的左眼相机42a捕获的典型的图像54-3。在左眼相机42a的光轴向下移动的情况下，图8中的捕获图像54-3中的椅子50的图像和填充玩具52的图像被定位成相对高于图4中的捕获图像54-1中的椅子50以及填充玩具52对应的图像。
如上所述，当左眼相机42a的光轴根据被降低的用户的视线方向而向下移动，则位于图8中的捕获图像54-3的中心以上的区域被识别为切出区域56-3。
如上所述，显示部分36然后显示在图9中出现并且从图8中的捕获图像54-3切出的部分图像58-3，作为占据切出区域56-3的图像。
在本实施例中，当捕获图像54-2或54-3时在显示部分36上显示的真实空间中的视野范围与当捕获图像54-1时在显示部分36上显示的真实空间中的视野范围相同。这意味着图5中描绘的部分图像58-1、图7中的部分图像58-2以及图9中的部分图像58-3实质相同。
在本实施例中，左眼的视线方向的改变导致左眼相机42a的光轴方向上的相应改变。改变的左眼的视线方向进一步导致切出区域56在捕获图像54中的位置如何改变。因此，即使当左眼的视线方向改变时，在本实施例中的显示部分36上显示的真实空间中的视野范围保持不变。
通常，诸如透镜之类的光学系统的特性决定了由相机部分42捕获其图像的目标越接近相机的光轴，目标的捕获图像越清晰。例如，目标越接近相机中的透镜的光轴，目标的图像分辨率越高。目标越接近左眼相机42a的光轴，目标的图像越接近捕获图像54的中心。因此，在图4的捕获图像54-1中、在图6的捕获图像54-2中或者在图8的捕获图像54-3中，捕获图像54的中心附近的目标的图像清楚地显现。
图4描绘了捕获图像54-1的中心位置P1。在图4的捕获图像54-1中，位于位置P1附近的目标的图像清楚地显现。图6描绘了捕获图像54-2的中心位置P2。位置P2位于高于捕获图像54-2中的切出区域56-2的中心。在图6的捕获图像54-2中，位于位置P2附近的目标的图像清楚地显现。图8描绘了捕获图像54-3的中心位置P3。位置P3位于低于捕获图像54-3中的切出区域56-3的中心。在图8的捕获图像54-3中，位于位置P3附近的目标的图像清楚地显现。
在本实施例中，位于捕获图像54的中心附近的目标的图像在部分图像58中位于用户的视线方向上。
例如，图5中描绘的部分图像58-1指示与图4中的捕获图像54-1中的位置P1对应的位置Q1。位置Q1位于部分图像58-1的中心。在本实施例中，当用户的左眼视线在直线前进方向上时，显示图5中的部分图像58-1。因而在部分图像58-1的中心的位置Q1附近的目标的清晰图像位于用户的左眼的视线方向上。
例如，图7中的部分图像58-2表示与图6中的捕获图像54-2中的位置P2对应的位置Q2。如上所述，因为位置P2位于高于图6的捕获图像54-2内的切出区域56-2的中心，所以位置Q2位于高于部分图像58-2的中心。在本实施例中，当用户的左眼的视线从直线前进方向向上移动时，显示图7中描绘的部分图像58-2。因而在部分图像58-2的中心向上的位置Q2附近的目标的清晰图像位于用户的左眼的视线方向上。
例如，图9中的部分图像58-3指示与图8中的捕获图像54-3中的位置P3对应的位置Q3。如上所述，因为位置P3位于低于图8的捕获图像54-3内的切出区域56-3的中心，所以位置Q3位于低于部分图像58-3的中心。在本实施例中，当用户的左眼的视线从直线前进方向向下移动时，显示图9中描绘的部分图像58-3。因而在部分图像58-3的中心下面的位置Q3附近的目标的清晰图像位于用户的左眼的视线方向上。
在本实施例中，如上所述，根据左眼相机42a的光轴方向改变从中切出部分图像58的捕获图像54的位置。以这种方式，本实施例允许在显示部分36上显示的图像内改变显示左眼相机42a的光轴附近的目标的图像的位置。
同样在本实施例中，根据用户的视线方向改变相机部分42中的相机的光轴方向。这使得可以在反映用户的视线方向的位置放置清晰的目标图像。当在本实施例的HMD 12上显示部分图像58时，目标的清晰图像位于用户的视线方向上。这允许用户查看清晰的图像。
尽管上述示例涉及用户的视线方向向上或向下移动的情况，但是对于用户的视线方向左移、右移或其他方式的情况也适用。
如上所述，控制左眼相机42a的光轴方向，并且根据左眼视线方向的改变来识别从中切出部分图像58作为左眼用图像的切出区域56的位置。以类似的方式，可以控制右眼相机42b的光轴方向，并且可以根据右眼视线方向的改变来识别从中切出部分图像58作为右眼用图像的切出区域56的位置。
本发明还可以应用到相机部分42只有一个相机，使得显示部分36仅能够显示二维图像的情况。例如，可以控制这样的相机的光轴方向，并且可以根据由视线传感器40a检测的两只眼睛或任一只眼睛的视线方向的改变来识别切出区域56。切出区域56的尺寸与捕获图像54的尺寸的比例不限于图4、图6或图8中所示的。
以下描述体现本发明的HMD 12的一些功能以及由此执行的处理。
图10是描绘由体现本发明的HMD 12实现的典型功能的功能框图。本实施例的HMD12不需要实现图10所示的全部功能。HMD 12也可以实现图10所示的那些功能以外的功能。
如图10所示，本实施方式的HMD 12在功能上例如包括检测部分60、相机控制部分62、捕获图像生成部分64、切出区域识别部分66、部分图像生成部分68以及显示控制部分70。检测部分60主要使用视线传感器40a来实现。相机控制部62主要使用控制部分30和驱动部分44来实现。捕获图像生成部分64主要使用相机部分42来实现。切出区域识别部分66和部分图像生成部分68主要使用控制部分30来实现。显示控制部分70主要使用控制部分30和显示部分36来实现。
上述功能通过控制部分30执行安装在充当计算机的HMD 12中并包括与这些功能对应的命令的程序来实施。该程序当被提供给HMD 12时被存储在诸如光盘、磁盘、磁带、磁光盘或闪存的计算机可读信息存储介质上；或通常通过互联网传输。
例如，本实施例中的检测部分60以预定帧速率检测用户的视线方向。
本实施例中的相机控制部分62以预定帧率控制相机部分42中的相机的光轴方向。本实施例中的相机控制部分62根据由检测部分60检测的用户的视线方向来控制相机的光轴方向。在本实施例中，相机控制部分62根据由检测部分60检测的用户的左眼的视线方向来控制左眼相机42a的光轴方向。相机控制部分62进一步根据由检测部分60检测的用户的右眼的视线方向来控制右眼相机42b的光轴方向。如上所述，相机控制部分62也可以在由检测部分检测到的用户的视线被转动的方向上改变相机的光轴方向。此时，相机的光轴改变的方向和角度可以布置成与用户的视线改变的方向和角度一致。可选地，用户的视线改变的方向和角度不需要与相机的光轴改变的方向和角度一致。
例如，本实施例中的捕获图像生成部分64生成捕获图像54。本实施例允许以上述方式以预定帧速率生成左眼用捕获图像54和右眼用捕获图像54。
例如，本实施例中的切出区域识别部分66识别切出区域56在捕获图像54中的位置。切出区域识别部分66可以以预定的帧率，基于相机部分42中的相机的光轴方向，来识别切出区域56在捕获图像54内的位置。或者，切出区域识别部分66可以根据由检测部分60检测到的视线方向以预定帧率识别切出区域56的位置。
在本实施例中，如上所述，当相机部分42中的相机的光轴改变时，在捕获图像54中的切出区域56的位置在与相机部分42中的相机的改变的光轴方向相反的方向上改变。
切出区域识别部分66可以识别切出区域56，该切出区域的视野范围与在先前帧中生成的捕获图像54内的切出区域56所占据的图像的视野范围相同。
切出区域识别部分66可以保持表示切出区域56的位置和相机的光轴方向之间的对应关系的数据或者切出区域56的位置和用户的视线方向之间的对应关系的数据。然后，切出区域识别部分66可以根据相机部分42中的相机的视线方向或光轴方向并且基于内部保存的数据来识别在捕获图像54中的切出区域56的位置。
例如，本实施例中的部分图像生成部分68生成部分图像58。部分图像生成部分68可以通过从捕获图像54中切出占据捕获区域56的图像作为部分图像58来生成部分图像58。
例如，本实施例中的显示控制部分70使得显示部分36显示部分图像58，部分图像58从由相机部分42中的相机捕获的图像54中切出并且是与相机部分42中的相机的光轴方向对应的部分。在本实施例中，显示控制部分70使得显示部分36显示由部分图像生成部分68生成的部分图像58。如上所述，当相机的光轴方向改变时，可以在与相机的改变的光轴方向相反的方向上改变从中切出部分图像58的捕获图像54中的切出区域56的位置。如上所述，显示控制部分70可以执行控制，以便将目标的图像显示在用户的视线方向上的位置中的相机的光轴上。
以下参考图11中的流程图描述的是由体现本发明的HMD 12以预定帧速率执行的显示控制处理的典型流程。随后的段落将说明用于使显示部分36以预定帧速率将部分图像58显示为左眼用图像的处理的示例。
首先，检测部分60检测用户的左眼的视线方向(S101)。
基于S101中的处理中检测的视线方向，相机控制部分62确定左眼相机42a的方向(S102)。
根据在S102的处理中确定的左眼相机42a的方向，切出区域识别部分66识别在捕获图像54中的切出区域56的位置(S103)。
然后图像控制部分62以左眼相机42a沿着在S102的处理中确定的方向转动的方式控制左眼相机42a的方向(S104)。
捕获图像生成部分64生成由其方向在S102的处理中被控制的左眼相机42a捕获的图像54(S105)。
部分图像生成部分68通过从在S105的处理中捕获的图像54中切出作为部分图像58来生成部分图像58，部分图像58是占据在S103的处理中确定位置的切出区域56的图像(S106)。
然后，显示控制部分70使显示部分36显示在S106的处理中生成的部分图像58(S107)。
在本处理示例中，如上所述以预定帧速率重复S101到S107的处理。
以与本处理示例相同的方式，作为右眼用图像的部分图像58以预定帧速率显示在显示部分58上。
尽管上面已经解释过，左眼相机42a和右眼相机42b的方向是独立控制的，但是两个相机的方向也可以或者以相互联系的方式进行控制。
以预定帧速率执行的显示控制处理的流程不限于图11所示的情况。或者，S103中的处理可以插入在S104中的处理与S105中的处理之间，或者S105中的处理与S106中的处理之间。
本发明不限于上述实施例。
例如，如果确定在由相机部分42中的相机捕获的图像54中包括特定图像，则相机控制部分62可以开始控制相机的光轴方向。在这种情况下，通过开始控制相机的光轴方向，也开始改变切出区域56的位置。这使得可以根据所捕获的图像来控制是否向用户呈现清晰点根据改变的视线方向而改变的图像。
具体地，例如，如果基于已知的形状识别技术确定捕获图像54包括诸如书籍的预定目标的图像，则相机控制部分62可以开始控制相机的光轴方向。作为另一个示例，如果基于已知的字符识别技术确定捕获图像54包括至少预定数量的字符的图像，则相机控制部分62可以开始控制相机的光轴方向。作为另一示例，如果确定捕获图像54包括智能手机的图像，则相机控制部分62可以开始控制相机的光轴方向。通常，当人们在智能手机或书本上视觉地跟随字符时，往往会不动头而大力移动视线方向。因此，如果用户的视线方向很可能快速移动，则本发明的上述变型可以向用户呈现清晰点根据改变的视线方向而改变的图像。
作为另一示例，如果确定穿戴HMD 12的用户正在俯视，则可以如上所述地开始相机的光轴方向的控制。因此，当用户阅读书籍、观看智能手机或者以其他方式向下看时，可以向用户呈现清晰点根据用户的视线方向改变而改变的图像。
穿戴HMD 12的用户是否正在俯视可以根据由相机部分42捕获的图像54或捕获图像54结合由传感器部分40检测的结果来确定。例如，已知图像分析技术可以用于识别捕获图像54中的地板的图像所位于的区域。如果识别区域的大小与捕获图像54的整体大小的比率大于预定比率，则可以确定穿戴HMD 12的用户正在俯视。作为另一示例，可以基于由运动/旋转传感器40b获取的测量来确定穿戴HMD 12的用户是否正在俯视。
作为另一示例，可以基于由相机20a捕获的图像来确定穿戴HMD 12的用户是否正在俯视。
作为另一个示例，当视线传感器40a检测到用户的视线从直线前进方向向下移动，并且视线方向相对于水平方向至少为45度时，可以开始控制相机的光轴方向。以这种方式，每当用户的视线向下移动时，可以向用户呈现清晰点根据改变的视线方向而改变的图像。
作为另一示例，基于由视线传感器40a识别的虹膜，可以识别穿戴HMD 12的用户，并且可以确定用户是否曾穿戴过HMD 12。如果确定所识别的用户以前从未穿戴过HMD 12，则可以针对该用户校准HMD 12，并且校准的结果可以被存储到存储部分32中。另一方面，如果确定识别的用户过去已经穿戴了HMD 12，则校准不需要重新进行，并且可以利用存储在存储部分32中的校准结果。
作为另一示例，HMD 12可以使显示部分36显示以由视线传感器40a检测的视线方向上的分辨率将增加的方式处理的图像。
要注意的是，HMD 12与娱乐设备14之间的角色划分不限于以上讨论的内容。例如，娱乐设备14可以基于捕获的图像54生成部分图像58。
在前方的描述中以及在附图中给出的具体字符串和值仅仅是示例，并且不是对本发明的限制。

Claims (7)

1.一种由用户穿戴的头戴式显示器，包括：
显示部分，配置为设置在用户的眼睛的前方；
相机，配置为捕获所述显示部分的前方的图像；
相机控制部分，配置为控制所述相机的光轴的方向；以及
显示控制部分，配置为使所述显示部分显示从由所述相机捕获的图像中切出的部分图像，所述部分图像构成与所述相机的光轴方向对应的部分。
2.根据权利要求1所述的头戴式显示器，还包括：
检测部分，配置为检测所述用户的视线的方向；
其中所述相机控制部分根据所述用户的视线方向来控制所述相机的光轴方向。
3.根据权利要求2所述的头戴式显示器，其中，如果所述相机的光轴方向改变，那么从中切出所述部分图像的捕获图像中的位置在与所述相机的改变的光轴方向相反的方向上改变。
4.根据权利要求2所述的头戴式显示器，其中所述显示控制部分以使得所述相机的光轴上的目标的图像显示在所述用户的视线方向上的位置的方式执行控制。
5.根据权利要求1至4的任一项所述的头戴式显示器，其中，如果由所述相机捕获的图像包括预定的图像，则所述图像控制部分开始控制所述相机的光轴方向。
6.一种显示控制方法，包括：
控制安装到由用户穿戴的头戴式显示器上的相机的光轴的方向的步骤；以及
使得设置在所述用户的眼睛的前方的显示部分显示从由所述相机捕获的图像中切出的部分图像的步骤，所述部分图像构成与所述相机的光轴方向对应的部分。
7.一种用于使得计算机执行以下步骤的程序：
控制安装到由用户穿戴的头戴式显示器上的相机的光轴的方向的过程；以及
使得设置在所述用户的眼睛的前方的显示部分显示从由所述相机捕获的图像中切出的部分图像的过程，所述部分图像构成与所述相机的光轴方向对应的部分。
CN201680032213.XA 2015-06-10 2016-06-06 头戴式显示器、显示控制方法以及程序 Active CN107615759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015117762 2015-06-10
JP2015-117762 2015-06-10
PCT/JP2016/066792 WO2016199731A1 (ja) 2015-06-10 2016-06-06 ヘッドマウントディスプレイ、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107615759A true CN107615759A (zh) 2018-01-19
CN107615759B CN107615759B (zh) 2020-09-01

Family

ID=57504774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032213.XA Active CN107615759B (zh) 2015-06-10 2016-06-06 头戴式显示器、显示控制方法以及程序

Country Status (5)

Country Link
US (1) US10715735B2 (zh)
EP (1) EP3310043B1 (zh)
JP (1) JP6348665B2 (zh)
CN (1) CN107615759B (zh)
WO (1) WO2016199731A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462942A (zh) * 2020-12-01 2021-03-09 苏州椒图电子有限公司 一种可穿戴设备及其使用方法
CN112526750A (zh) * 2019-09-19 2021-03-19 苹果公司 头戴式显示器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976719B2 (ja) * 2017-05-25 2021-12-08 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP7000066B2 (ja) * 2017-08-03 2022-01-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11057614B1 (en) * 2018-09-05 2021-07-06 Apple Inc. Motion blur compensation through display actuation
US11953809B2 (en) 2019-06-11 2024-04-09 Sony Interactive Entertainment Inc. Camera support structure and head-mounted display
JP2023114237A (ja) * 2022-02-04 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP7420441B2 (ja) * 2022-05-13 2024-01-23 Ｎｅｃプラットフォームズ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
US20140125579A1 (en) * 2012-11-06 2014-05-08 Sony Computer Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP4013100B2 (ja) * 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
JP2004205711A (ja) 2002-12-24 2004-07-22 Canon Inc 表示装置
FR2880762A1 (fr) * 2005-01-07 2006-07-14 France Telecom Terminal de visiophonie avec reglages intuitifs
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
JP5228354B2 (ja) * 2007-03-30 2013-07-03 株式会社ニコン ディジタルカメラ
JP5259172B2 (ja) * 2007-12-19 2013-08-07 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 手振れ補正制御回路およびそれを搭載した撮像装置
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US8896715B2 (en) * 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US10217264B2 (en) * 2010-06-01 2019-02-26 Vladimir Vaganov 3D digital painting
JP2012002889A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd シースルー型画像表示装置
TW201218761A (en) * 2010-10-27 2012-05-01 Hon Hai Prec Ind Co Ltd Image stabilization system and method
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US9516283B2 (en) * 2012-06-13 2016-12-06 Esight Corp. Apparatus and method for enhancing human visual performance in a head worn video system
WO2013125138A1 (ja) * 2012-02-22 2013-08-29 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP5803784B2 (ja) 2012-03-30 2015-11-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
BR112014029605B1 (pt) * 2012-06-01 2023-10-31 Ultradent Products Inc Sistema para gerar imagens de vídeo estereoscópicas de dispositivo de controle de gesto e sistemas para gerar imagens de vídeo estereoscópicas
JP6229260B2 (ja) * 2012-11-20 2017-11-15 セイコーエプソン株式会社 虚像表示装置
JP2014127744A (ja) 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
JP6115268B2 (ja) * 2013-04-05 2017-04-19 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
JP2015035039A (ja) * 2013-08-08 2015-02-19 ソニー株式会社 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム
JP2015066631A (ja) * 2013-09-27 2015-04-13 三菱マテリアル株式会社 硬質被覆層がすぐれた耐チッピング性を備える表面被覆切削工具
JP6176070B2 (ja) * 2013-11-13 2017-08-09 株式会社デンソー 視線方向検知装置
CN107329259B (zh) * 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US9961213B2 (en) * 2014-01-28 2018-05-01 Beijing Lenovo Software Ltd. Electronic device and image capturing apparatus
CA2939928C (en) * 2014-02-19 2021-06-22 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
US20170123491A1 (en) * 2014-03-17 2017-05-04 Itu Business Development A/S Computer-implemented gaze interaction method and apparatus
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
JP6707809B2 (ja) * 2015-03-27 2020-06-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
US10491828B2 (en) * 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
US20140125579A1 (en) * 2012-11-06 2014-05-08 Sony Computer Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526750A (zh) * 2019-09-19 2021-03-19 苹果公司 头戴式显示器
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
CN112462942A (zh) * 2020-12-01 2021-03-09 苏州椒图电子有限公司 一种可穿戴设备及其使用方法
CN112462942B (zh) * 2020-12-01 2023-05-16 苏州椒图电子有限公司 一种可穿戴设备及其使用方法

Also Published As

Publication number Publication date
US10715735B2 (en) 2020-07-14
EP3310043A1 (en) 2018-04-18
EP3310043A4 (en) 2019-01-16
WO2016199731A1 (ja) 2016-12-15
JP6348665B2 (ja) 2018-06-27
JPWO2016199731A1 (ja) 2017-09-28
EP3310043B1 (en) 2024-08-07
US20180295290A1 (en) 2018-10-11
CN107615759B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN107615759A (zh) 头戴式显示器、显示控制方法以及程序
JP5671349B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
CN103258184B (zh) 用于捕获场景的深度数据并且应用计算机动作的方法
JP5627973B2 (ja) ゲーム処理をするためのプログラム、装置、システムおよび方法
US9049428B2 (en) Image generation system, image generation method, and information storage medium
JP6112815B2 (ja) 表示装置、制御システムおよび制御プログラム
JP2012069074A (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP6762399B2 (ja) 制御装置、制御システム、制御方法及びプログラム
JP6675209B2 (ja) 情報処理装置およびユーザガイド提示方法
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
JP5572532B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
JP2022121443A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP7089114B2 (ja) 境界表示制御装置、境界表示制御方法及びプログラム
US9478068B2 (en) Computer-readable medium, image processing device, image processing system, and image processing method
US12100229B2 (en) Object scanning for subsequent object detection
CN110461427B (zh) 变焦设备和相关方法
JP2018061667A (ja) ゲームプログラム及びゲーム装置
KR102350349B1 (ko) 게임기, 게임 시스템, 컴퓨터 프로그램이 기억된 기억 장치, 및 제어 방법
US20230122636A1 (en) Apparatus and method for localisation and mapping
KR101378407B1 (ko) 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
JP5685079B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
JP2012141753A5 (zh)
JP2012130499A (ja) ゲーム装置、ゲームプログラム、ゲームシステム及びゲーム方法
JP2001148851A (ja) 画像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant