CN107562184A - 影像显示系统、影像显示方法、影像显示程序 - Google Patents

影像显示系统、影像显示方法、影像显示程序 Download PDF

Info

Publication number
CN107562184A
CN107562184A CN201710526918.3A CN201710526918A CN107562184A CN 107562184 A CN107562184 A CN 107562184A CN 201710526918 A CN201710526918 A CN 201710526918A CN 107562184 A CN107562184 A CN 107562184A
Authority
CN
China
Prior art keywords
image
mentioned
user
service
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710526918.3A
Other languages
English (en)
Inventor
洛克拉因·威尔逊
佐野源毅
金子大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Fove Inc
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN107562184A publication Critical patent/CN107562184A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供当显示存在移动的影像时显示成使用人员简单观看的状态而提高使用人员便利性的影像显示系统。影像显示系统包括：影像输出部，输出影像；视线检测部，检测相对于影像输出部输出的影像的使用人员的视线方向；影像生成部，在影像输出部输出的影像中，以使用人员对视线检测部检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出地执行影像处理；视线预测部，在影像输出部输出的影像为视频的情况下，预测使用人员的视线的移动方向；放大影像生成部，在影像输出部输出的影像为视频的情况下，除规定区域内的影像之外，以使用人员对视线预测部预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出地执行影像处理。

Description

影像显示系统、影像显示方法、影像显示程序
技术领域
本发明涉及影像显示系统、影像显示方法、影像显示程序，尤其，涉及使用人员在佩戴的状态下在显示器显示影像的影像显示系统、影像显示方法、影像显示程序。
背景技术
以往，显示器显示影像的影像显示器为如头戴式显示器或智能玻璃，使用人员在佩戴的状态下在显示器显示影像的影像显示系统被开发。此时，影像数据执行作为数值数据，通过计算与被提供的物体等相关的信息来进行影像化的渲染。由此，考虑使用人员的视点的位置、光源的数或位置、物体的形状、材质来执行阴面去除或阴影处理等。
这种头戴式显示器或智能玻璃中，在检测使用人员的视线的同时，从检测的视线来特定使用人员凝视显示器上的那个部分的技术也被开发。(例如，参照非专利文献1)
现有技术文献
专利文献
非专利文献：1:"GOOGLE'S PAY PER GAZE PATENT PAVES WAY FOR WEARABLE ADTECH"，URL(2016年3月16日当前)http://www.wired.com/insights/2013/09/how-googles-pay-per-gaze-patent-paves-the-way-for-wearable-ad-tech/
发明内容
但是，在非专利文献1中，例如，在显示如视频的移动的影像的情况下，使用人员的视线移动的可能性高。因此，当显示存在这种移动的影像时，只要显示成使用人员简单观看的状态，则可提高使用人员的便利性。其中，根据视频的种类或场面，存在使用人员的视线的移动变快的情况。在这种情况下，在处理图像数据的关系上，若移动的视线处的图像的像素变低，则画质或能见度会降低。因此，若通过渲染处理来预测视线的移动来提高画面整体或一部分的外观上的像素，提高能见度，则在画质或能见度的观点上，可降低所发生的使用人员的不便。此时，仅通过简单提高图像的像素，图像数据的传送量或处理量变大，因此，优选地，需要少量的数据。因此，优选地，将包括使用人员的凝视部分的规定区域变成高像素，并将除此之外的部分变成低像素，从而减少图像数据的传送量或处理量。
因此，本发明的目的在于，提供在显示器显示影像的影像显示系统中，当显示存在移动的影像时，显示成使用人员简单观看的状态，由此可提高使用人员的便利性的影像显示系统、影像显示方法、影像显示程序。
为了解决上述问题，本发明的影像显示系统包括：影像输出部，用于输出影像；视线检测部，用于检测相对于在上述影像输出部输出的影像的使用人员的视线方向；影像生成部，在上述影像输出部输出的影像中，以使使用人员对与上述视线检测部检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；视线预测部，在上述影像输出部输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及放大影像生成部，在上述影像输出部输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测部预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出的方式执行影像处理。
并且，上述放大影像生成部可以使上述预测区域位于与上述规定区域相邻的位置的方式执行影像处理，或可以在与上述规定区域共享一部分区域的状态形成上述预测区域的方式执行影像处理，或可以形成大于基于上述规定区域的形状的面积的上述预测区域的方式执行影像处理，或可通过将上述规定区域和上述预测区域形成为一个放大区域来执行影像处理。
并且，视线预测部根据在上述影像输出部输出的影像的影像数据中，可与使用人员识别上的移动物体对应的影像数据来预测使用人员的视线，也可根据按照与在上述影像输出部输出的影像有关的过去的时间顺序变化的积累数据来预测使用人员的视线。并且，视线预测部可在上述影像输出部输出的影像中的亮度等级的变化量为规定值以上的情况下，预测为使用人员的视线将会移动。
并且，影像输出部可配置于使用人员在头部所佩戴的头戴式显示器。
并且，本发明的影像显示方法包括：影像输出步骤，输出影像；视线检测步骤，检测相对于在上述影像输出步骤输出的影像的使用人员的视线方向；影像生成步骤，在上述影像输出步骤输出的影像中，以使使用人员对与上述视线检测步骤检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；视线预测步骤，在上述影像输出步骤输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及放大区域影像生成步骤，在上述影像输出步骤输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测步骤预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出方式执行影像处理。
并且，本发明的影像显示程序包括：影像输出功能，输出影像；视线检测功能，检测相对于在上述影像输出功能输出的影像的使用人员的视线方向；影像生成功能，在上述影像输出功能输出的影像中，以使使用人员对与上述视线检测功能检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；视线预测功能，在上述影像输出功能输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及放大区域影像生成功能，在上述影像输出功能输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测功能预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出的方式执行影像处理。
根据本发明，当显示存在移动的影像时，显示成使用人员简单观看的状态，由此可提高使用人员的便利性。
附图说明
图1为示出使用人员佩戴头戴式显示器的状态的外观图。
图2中，图2的(A)为示意性示出头戴式显示器的影像输出部的立体图，图2的(B)为示意性示出头戴式显示器的影像输出部的侧视图。
图3为影像显示系统结构的框图。
图4中，图4的(A)为说明用于检测视线方向的校准的说明图，图4的(B)为说明使用人员的角膜的位置坐标的示意图。
图5为示出影像显示系统的动作的流程图。
图6中，图6的(A)为影像显示系统所显示的影像处理之前的影像显示例的说明图，图6的(B)为影像显示系统所显示的视线检测状态的影像显示例的说明图。
图7中，图7的(A)为影像显示系统所显示的影像处理状态的影像显示例的说明图，图7的(B)为重叠规定区域的一部分和预测区域的一部分状态的放大区域的说明图，图7的(C)为将规定区域和预测区域形成为一个放大区域的状态的说明图，图7的(D)为将异型的预测区域邻接于规定区域的外侧的状态的放大区域的说明图，图7的(E)为不与规定区域重叠并使预测区域邻接的状态的放大区域的说明图。
图8为从影像数据的下载至画面显示的说明图。
图9为示出影像显示系统的电路结构的框图。
附图标记的说明
1：影像显示系统
100：头戴式显示器
140：影像输出部
143：光源(照明部)
144：显示器(影像输出部)
154：拍摄部
200：视线检测装置
213：视线检测部
214：影像生成部
215：声音生成部
216：视线预测部
217：放大影像生成部
具体实施方式
接着，参照附图，对与本发明的一实施形态相关的影像显示系统进行说明。并且，以下所示的实施形态为本发明影像显示系统中的适当具体例，存在附加技术方面优选的多种限定的情况，但是，只要没有限定本发明的记载，本发明的技术范围并不局限于这种实施形态。并且，以下所示的实施形态中的结构元素可进行适当、与以往的结构元素置换，并且，包括与其他以往的结构元素的组合的多种变异。因此，并非通过以下所示的实施形态的记载来限定发明要求保护范围所记载的发明的内容。
并且，以下所示的实施形态中，说明了在使用人员安装的状态下，向上述使用人员显示影像的影像显示器为头戴式显示器的情况，但并不局限于此，例如，也可以为智能玻璃等。
<结构>
图1中，影像显示系统1包括：头戴式显示器100，使用人员P在头部安装的状态下，可进行影像输出及声音输出；以及视线检测装置200，用于检测使用人员P的视线。头戴式显示器100和视线检测装置200可通过电信线路来相互通信。并且，在图1中，头戴式显示器100和视线检测装置200通过无线通信线路W来连接，也可为有线通信线路。作为基于头戴式显示器100和视线检测装置200的无线通信线路W的连接方式，可利用以往的近距离无线通信，例如，Wi-Fi(注册商标)或蓝牙(Bluetooth，注册商标)等的无线通信技术来实现。
并且，在图1所示的例中示出在头戴式显示器100和视线检测装置200为不同装置的情况下的例，例如，可将视线检测装置200内置于头戴式显示器100。
视线检测装置200通过检测安装头戴式显示器100的使用人员P的右眼及左眼中的至少一侧的视线方向来特定使用人员P的焦点位置。即，视线检测装置200对显示在头戴式显示器100的二维影像或三维影像特定使用人员P所凝视的位置。并且，视线检测装置200起到生成显示在头戴式显示器100的二维影像或三维影像的影像生成装置的功能。
虽然并未限定，作为一例，视线检测装置200为桌上型的游戏机、便携式游戏机、PC、平板电脑、智能手机、平板电脑、视频播放器、电视等的可播放影像的装置。此时，虽然并未限定，在头戴式显示器100和视线检测装置200之间，作为一例，影像的传送以Miracast(注册商标)或WiGig(注册商标)及WHDI(无线家庭数字接口；注册商标)等的规格来执行。并且，可以利用此外的电通信线路技术，例如，可以利用音波通信技术或光传送技术。视线检测装置200通过网络通信线路等的电通信线路来经过网络(云端300)，从服务器310下载影像数据(视频数据)。
头戴式显示器100包括本体部110、安装部120及头戴式耳机130。
本体部110由树脂等一体成型，本体部110包括：外壳部110A；翼部110B，从外壳部110A向使用人员P的左右后方延伸；以及凸缘部110C，从左右的各个翼部110B的中间向使用人员P的上方延伸。并且，翼部110B和凸缘部110C以朝向前端侧相互接近的方式弯曲。
在外壳部110A的内部，除用于向使用人员P提供影像的影像输出部140之外，还收容未图示的Wi-Fi(注册商标)或蓝牙(注册商标)的近距离无线通信用的无线传送模块等。当使用人员P佩戴头戴式显示器100时，外壳部110A位于覆盖使用人员P的两侧眼睛附近整体(脸部的上半部分)的位置。由此，当使用人员P佩戴头戴式显示器100时，本体部110隔断使用人员P的视野。
当使用人员P在头部安装头戴式显示器100时，安装部120在使用人员P的头部稳定佩戴头戴式显示器100。例如，安装部120可以为带子或具有伸缩性的带等。在图1的例中，安装部120包括：后侧安装部121，经过左右的翼部110B，以包围使用人员P的后头部附近的方式支撑；以及上侧安装部122，在经过左右的凸缘部110C，以包围使用人员P的头顶部附近的方式支撑。由此，与使用人员P的头部的大小无关，安装部120可稳定支撑头戴式显示器100。并且，在图1的例中，头戴式耳机130使用广泛使用的物品，因此，采用通过凸缘部110C和上侧安装部122支撑使用人员P的头顶部的结构，但也可以通过连接方法使头戴式耳机130的头带131以能够拆装的方式与翼部110B相结合，并废除凸缘部110C及上侧安装部122。
头戴式耳机130从声音输出部132(扬声器)输出视线检测装置200播放的影像的声音。头戴式耳机130无需固定于头戴式显示器100。由此，即使处于使用人员P利用安装部120来安装头戴式显示器100的状态，也可自由地拆装头戴式耳机130。此时，头戴式耳机130可以通过无线通信线路W从视线检测装置200直接接受声音数据，也可以通过头戴式显示器100的无线或有线的电通信线路间接接受声音数据。
如图2所示，影像输出部140包括凸镜141、镜头支撑部142、光源143、显示器144、波长控制部件145、摄像头146及第一通信部147。
如图2(A)所示，凸镜141包括当使用人员P安装头戴式显示器100时，本体部110中，与包括使用人员P的角膜C的两侧眼睛前眼部相向的左眼用凸镜141a、右眼用凸镜141b。
图2(A)的例中，当使用人员P佩戴头戴式显示器100时，左眼用凸镜141a位于与使用人员P的左眼用角膜CL相向的位置。同样，当使用人员P佩戴头戴式显示器100时，右眼用凸镜141b位于与使用人员P的右眼的角膜CR相向的位置。左眼用凸镜141a和右眼用凸镜141b分别在镜头支撑部142的左眼用镜头支撑部142a和右眼用镜头支撑部142b被支撑。
相对于波长控制部件145，凸镜141配置于显示器144的相反侧。换句话说，当使用人员P佩戴头戴式显示器100时，凸镜141位于波长控制部件145和使用人员P的角膜C之间。即，当使用人员佩戴头戴式显示器100时，凸镜141配置于与使用人员P的角膜C相向的位置。
凸镜141朝向使用人员P对从显示器144透过波长控制部件145的影像显示光进行聚光。由此，凸镜141起到通过放大显示器144生成的影像来向使用人员P提供的影像放大部的作用。并且，在说明的便利上，图2中，在左右位置分别呈现出一个凸镜141，凸镜141也可以为将多种镜头组合而成的镜头组，也可以为一侧为曲面，另一侧为平面的单凸透镜。
并且，在以下的说明中，除特殊区别使用人员P的左眼的角膜CL和使用人员P的右眼的角膜CR的情况之外，简单的称为“角膜C”。并且，在左眼用凸镜141a及右眼用凸镜141b中，除特殊区别的情况之外，简单称之为“凸镜141”。并且，在左眼用镜头支撑部142a及右眼用镜头支撑部142b中，除特殊区别的情况之外，称之为“镜头支撑部142”。
光源143为镜头支撑部142的剖面附近，沿着凸镜141的周围配置，作为包括不可视光线的照明光，照射近红外线光。光源143包括使用人员P的左眼用的多个光源143a和使用人员P的右眼用的多个光源143b。并且，在以下的说明中，除特殊区别使用人员P的左眼用光源143a和使用人员P的右眼用光源143b的情况之外，简单称之为“光源143”。在图2(A)的例中，左眼用镜头支撑部142a包括6个光源143a。同样，右眼用镜头支撑部142b包括6个光源143b。如上所述，光源143并非直接配置于凸镜141，而是配置于把持凸镜141的镜头支撑部142，对于镜头支撑部142的凸镜141及光源143的安装变得容易。通常，镜头支撑部142由树脂等形成，因此，与由玻璃等构成的凸镜141相比，用于安装光源143的加工简单。
如上所述，光源143配置于作为把持凸镜141的部件的镜头支撑部142。因此，光源143沿着形成于镜头支撑部142的凸镜141的周围配置。并且，其中，对使用人员P的各个眼睛照射近红外光的光源143为6个，上述数量并不局限于此，对应各个眼睛至少形成1个，优选地，配置2个以上。并且，在光源143配置4个以上(尤其，偶数)的情况下，优选地，在与通过凸镜141的中心的镜头光轴L直交的使用人员P的上下左右方向对称配置。并且，优选地，镜头光轴L为如经过使用人员P的左右眼睛的角膜顶点的视轴的轴。
光源143可通过能够照射近红外的波长频段的光的发光二极管或激光二极管来实现。光源143照射近红外光束(平行光)。此时，光源143的大部分为平行光束，一部分光束为扩散光。并且，光源143所照射的近红外光无需利用掩模或光圈或准直透镜等的光学部件来形成平行光，而是直接将整个光束利用为照明光。
通常，近红外光为在使用人员P的肉眼无法识别的非可视光区域中的近红外区域的波长。并且，近红外区域的具体波长的基准根据各国或各种团体而改变，在本实施形态中，利用接近可视光区域的近红外区域部分(例如，700nm左右)的波长。从光源143照射的近红外光的波长利用可通过摄像头146收光并不对使用人员P的眼睛产生负担的波长。例如，从光源143照射的光被使用人员P所识别，从而可妨碍显示在显示器144的影像的能见度，因此，优选选择不被使用人员P所识别的程度的波长。因此，发明要求保护范围中的不可视光线并非根据个人或国家等而不同的严密基准来具体限定。即，根据上述说明的利用形态，与无法被使用人员P识别，或者很难识别的700nm相比，可包括可视光区域侧的波长(例如，650nm～700nm)。
显示器144显示用于向使用人员P提供的影像。显示器144所显示的影像由后述的视线检测装置200的影像生成部214生成。例如，显示器144利用以往的液晶显示器(LCD)或有机电致发光显示器(有机EL)等来实现。由此，例如，显示器144起到输出根据从云端300的各种网站上的服务器310下载的视频数据的影像的影像输出部的作用。因此，头戴式耳机130起到按时间属性与上述各种影像对应来输出声音的声音输出部的作用。此时，视频数据可以从服务器310依次下载来显示，也可以暂时存储在各种记忆介质等之后播放。
当使用人员P安装头戴式显示器100时，波长控制部件145配置于显示器144和使用人员P的角膜C之间。波长控制部件145可利用透过显示器144所显示的可视光区域的波长的光束并反射不视光区域的波长的光束的光学特性的光学部件。并且，作为波长控制部件145，只要具有可视光透过、不可视光反射特性，可以使用光学滤光器、热反射镜或分色镜、分束器等。具体地，反射从光源143照射的近红外光并透过作为显示器144所显示的影像的可视光。
虽然未图示，影像输出部140在使用人员P的左右分别设置一个显示器144，可独立生成用于向使用人员P的右眼提供的影像和用于向使用人员P的左眼提供的影像。由此，头戴式显示器100可分别向使用人员P的右眼和左眼提供右眼用视差影像和左眼用视差影像。由此，头戴式显示器100可向使用人员P提供具有层次感的立体影像(三维影像)。
如上所述，波长控制部件145透过可视光线并反射近红外光。因此，根据显示器144所显示的影像的可视光区域的光束通过波长控制部件145来向使用人员P的角膜C传送。并且，从光源143照射的近红外线光中，上述说明的大部分的平行光束以在使用人员P的前眼部中形成亮点相的方式变为点型(束型)并向前眼部传送，在使用人员P的前眼部中反射并向凸镜141传送。另一方面，从光源143照射的近红外光中，扩散光束以在使用人员P的前眼部中形成前眼部相的方式扩散并向前眼部传送，在使用人员P的前眼部反射并向凸镜141传送。从使用人员P的前眼部反射并到达凸镜141的亮点相用的反射光束透过凸镜141之后，在波长控制部件145反射，由摄像头146收光。同样，从使用人员P的前眼部反射到达凸镜141的前眼部相用的反射光束也透过凸镜141之后在波长控制部件145反射，由摄像头146收光。
摄像头146不包括隔断可视光的隔断滤光器(未图示)，对从波长控制部件145反射的近红外光进行拍摄。即，摄像头146可以由能够进行从光源143照射并在使用人员P的前眼部反射的近红外光的亮点相的拍摄和可实现从使用人员P的前眼部反射的近红外光的前眼部相的拍摄的红外线摄像头实现。
摄像头146所拍摄的图像如下，根据从使用人员P的角膜C反射的近红外线光的亮点相和在近红外的波长频段观察的使用人员P的角膜C的前眼部。因此，摄像头146在显示器144显示影像期间，将光源143作为照明光，通过在长时间或规定间隔点火来获取亮点相及前眼部相。由此，摄像头可以为因在显示器144显示的影像变化等引起的使用人员P的按时间顺序变化的视线检测用摄像头。
并且，虽然未图示，摄像头146包括2个，即，对从包括使用人员P的右眼的角膜CR的周边的前眼部相反射的近红外线的图像进行拍摄的右眼用和对从包括使用人员P的左眼的角膜CR的周边的前眼部相反射的近红外线的图像进行拍摄的左眼用。由此，可获得用于检测使用人员P的右眼及左眼的双向的视线方向的图像。
根据摄像头146所拍摄的亮点相和前眼部相的图像数据向检测使用人员P的视线方向的视线检测装置200输出。基于视线检测装置200的视线方向检测功能的详细内容将后述，通过视线检测装置200的控制部(CPU)所执行的影像显示程序实现。此时，在头戴式显示器100具有控制部(CPU)或存储器等的计算源(计算机的功能)的情况下，头戴式显示器100的CPU可以执行实现视线方向检测功能的程序。
以上，在影像输出部140中，说明了主要向使用人员P的左眼提供影像的结构，在提供立体影像的情况下，除考虑视差的情况之外，用于向使用人员P的右眼提供影像的结构与上述相同。
图3为与影像显示系统1相关的头戴式显示器100和视线检测装置200的框图。
头戴式显示器100包括作为电路部件的光源143、显示器144、摄像头146及第一通信部147，还包括控制部(CPU)150、存储器151、近红外光照射部152、显示部153、拍摄部154、图像处理部155、倾斜检测部156。
另一方面，视线检测装置200包括控制部(CPU)210、存储部211、第二通信部212、视线检测部213、影像生成部214、声音生成部215、视线预测部216、放大影像生成部217。
第一通信部147为与视线检测装置200的第二通信部212执行通信的通信接口。第一通信部147通过有线通信或无线通信来与第二通信部212执行通信。并且，可使用的通信规格的例如上述说明相同。第一通信部147向第二通信部212传送用于从拍摄部154或图像处理部155传送的视线检测的影像数据。第一通信部147向第二通信部212传送根据摄像头146所拍摄的亮点相和前眼部相的图像数据。并且，第一通信部147向显示部153传送从视线检测装置200传送的影像数据或标记图像。作为一例，从视线检测装置200传送的影像数据为用于显示包括移动的人或事物的影像的视频等的数据。并且，影像数据可以为由用于显示三维影像的右眼用视差影像和左眼用视差影像形成的视差影像。
控制部150通过在存储器151存储的程序来控制上述说明的电路部件。因此，头戴式显示器100的控制部150可以根据存储于存储器151的程序来执行实现视线方向检测功能的程序。
存储器151除存储用于执行上述说明的头戴式显示器100的程序之外，根据需要，可暂时存储通过摄像头146拍摄的图像数据等。
近红外线光照射部152控制光源143的点灯状态，从光源143向使用人员P的右眼或左眼照射近红外线。
显示部153具有向显示器144显示第一通信部147传递的影像数据的功能。例如，显示部153除从云端300的视频网站下载的各种视频等的影像数据、从云端300的游戏网站下载的游戏视频等的影像数据之外，可显示在优先连接视线检查装置200的再生存储器(未图示)播放的视频影像、游戏影像、照片影像等的各种影像数据。并且，显示部153在影像生成部214输出的标记图像显示在显示部153的指定坐标。
拍摄部154利用摄像头146来使包括对使用人员P的左眼反射的近红外线光的图像拍摄。并且，拍摄部154对凝视后述的显示器144所显示的标记图像的使用人员P的亮点相及前眼部相进行拍摄。摄像头154向第一通信部147或图像处理部155出传递拍摄获得的图像数据。
图像处理部155根据需要来在拍摄部154拍摄的图像执行图像处理并向第一通信部147传递。
例如，倾斜检测部156根据加速度传感器或陀螺仪传感器等的倾斜传感器157的检测信号来将使用人员P的头部的倾斜算成为头戴式显示器100的倾斜。倾斜检测部156依次计算头戴式显示器100的倾斜，来向第一通信部147传递作为上述计算结果的倾斜信息。
控制部(CPU)210通过存储于存储部211的程序来执行上述说明的视线检测。控制部210根据存储部211所记忆的程序来控制第二通信部212、视线检测部213、影像生成部214、声音生成部215、视线预测部216、放大影像生成部217。
存储部211为记录视线检查装置200在动作上需要的各种程序或数据的记录介质。例如，存储部211可通过硬盘驱动器(HDD，Hard Disc Drive)、固态驱动器(SSD，SolidState Drive)等来实现。存储部211对应影像数据来存储与影像中的各个登场人物对应的显示器144的画面上的位置信息或各个登场人物的声音信息。
第二通信部212为具有与头戴式显示器100的第一通信部147执行通信的功能的通信接口。如上所述，第二通信部212通过有线通信或无线通信来与第一通信部147执行通信。第二通信部212向头戴式显示器100传送用于显示包括存在影像生成部214所传递的人物等的移动的图像的影像的影像数据或用于校准的标记图像等。并且，头戴式显示器你100向视线检测部213传递凝视通过所传递的拍摄部154拍摄的标记图像的使用人员P的亮点相、观看根据影像生成部214输出的影像数据来显示的影像的使用人员P的前眼部相、倾斜检测部156计算的倾斜信息。并且，第二通信部212连接外部的网络(例如，互联网)来去的在影像生成部214指定的视频网络网站的影像信息，并可向影像生成部214传递。并且，第二通信部212直接或通过第一通信部147向头戴式耳机130传送声音生成部215所传递的声音信息。
视线检测部213分析通过摄像头146拍摄的前眼部相来检测使用人员P的视线方向。具体地，从第二通信部212接收使用人员P的右眼的视线检测用的影像数据，检测使用人员P的右眼的视线方向。视线检测部213利用后述的方法来计算呈现出使用人员P的右眼的视线方向的右眼视线向量。同样，从第二通信部212接收使用人员P的右眼的视线检测用的影像数据来计算呈现出使用人员P的右眼的视线方向的右眼视线向量。而且，利用所计算的视线向量来特定使用人员P凝视显示在显示部153的影像的数量。视线检测部213向影像生成部214传递特定的凝视点。
影像生成部214生成显示在头戴式显示器100的显示部153的影像数据来向第二通信部212传递。影像生成部214生成用于检测视线的校准的标记图像，来与上述显示坐标位置一同传递第二通信部212并向头戴式显示器100传送。并且，影像生成部214根据视线检测部213检测的使用人员P的视线方向来生成改变影像的显示形态的影像数据。影像的显示形态的变更方法的详细说明将后述。影像生成部214根据视线检测部213所传递的凝视点来判断使用人员P是否凝视存在特定的移动的人或事物(以下，简单称为“人物”)，在凝视特定人物的情况下，特定上述人物。
影像生成部214根据使用人员P的视线方向生成使特定人物的至少一部分的规定区域内的影像比规定区域之外的影像更被简单凝视的影像数据。例如，使规定区域内的影像鲜明化，同时，使规定区域之外的其他区域的影像模糊或者进行烟雾处理，以此进行强调。并且，可在规定区域内的影像未被鲜明化，而是变为本来像素。并且，赋予根据影像的种类，以使特定人物位于显示器144的中央的方式进行移动或者推摄特定人物，或者当特定人物移动时进行追中等的附加功能。并且，影像的鲜明化(以下，称之为“鲜明化处理”)为并非简单提高像素，而是，只要通过提高包括使用人员的当前视线方向及后述的预测的视线方向来提高能见度，就不受限制。即，规定区域内的影像的像素不变，降低其他区域的像素，在使用人员观看的情况下，外观上的像素会提高。并且，这种鲜明化处理的调节过程中，需要调节作为单位时间内进行处理的帧数量的帧率，调节作为在单位时间内处理或传送的数据的比特数的图像数据的压缩比特率。由此，使数据的传送量变轻，对使用人员来说，可提高(降低)外观上的像素，从而可使在规定区域内的影像鲜明化。并且，在数据的传送过程中，可分别传送与规定区域内的影像对应的影像数据和与规定区域之外的影像对应的影像数据来进行合成，预先合成后传送。
声音生成部215以从头戴式耳机130输出与影像数据按时间顺序对应的声音数据的方式生成声音数据。
视线预测部216预测在视线检测部213中特定的人物在根据影像数据的显示器144上如何移动。并且，视线预测部216在显示器144输出的影像的影像数据中，根据与使用人员P的识别上的动体(特定人物)对应的影像数据来预测使用人员P的视线，根据按照与在显示器144输出的影像有关的过去的时间顺序变化的累积数据来预测使用人员P的视线。此时，累积数据为以表格方式相关的按时间顺序变化的影像数据和视线位置(XY坐标)的数据。例如，上述累积数据可回馈到云端300的各个网站，与影像数据的下载一同下载。并且，相同使用人员P观看相同影像的情况下，观看相同场面等的可能性高，因此，可将之前按时间顺序变化的影像数据和视线位置(XY坐标)通过表格方式相关的数据存储于存储部211或存储部151。
在显示器144输出的影像为视频的情况下，放大影像生成部217除规定区域内的影像之外，对与在视线预测部216预测的视线方向对应的预测区域内的影像，以使使用人员P的识别更突出(简单观看)的方式执行影像处理。并且，基于规定区域和预测区域的放大区域的详细将后述。
之后，说明与实施形态相关的视线方向的检测。
图4为说明用于检测与实施形态相关的视线方向的校准的示意图。使用人员P的视线方向可通过视线检测装置200内的视线检测部213对由拍摄部154拍摄来使第一通信部147向视线检测装置200输出的影像进行分析来实现。
如图4(A)所示，例如，影像生成部214生成点Q1～Q9的9个点(标记图像)来显示在头戴式显示器100的显示器144。此时，例如，影像生成部214从点Q1直至到达点Q9按顺序使使用人员P凝视。使用人员P不移动脖子或头部，尽可能仅通过移动眼球来凝视点Q1～Q9。当使用人员P凝视Q1～Q9时，摄像头146对包括使用人员P的角膜C的前眼部相和亮点相拍摄。
如图4(B)所示，视线检测部213分析包括摄像头146所拍摄的亮点相的前眼部相来检测源自近红外光的各个亮点相。当使用人员P通过眼球的移动来凝视各个点时，在使用人员P凝视任一点Q1～Q9的情况下，亮点相B1～B6的位置不会移动。因此，视线检测部213根据检测的亮点相B1～B6来对拍摄部154所拍摄的前眼部相设定二维坐标系。
视线检测部213也通过分析拍摄部154所拍摄的前眼部相来检测使用人员P的角膜C的顶点CP。例如，利用霍夫变换、边缘抽取处理等以往的图像处理来实现。由此，视线检测部213可获取在设定的二维坐标系中的使用人员P的角膜C的顶点CP的坐标。
在图4(A)中，在显示器144的显示画面中，设定的二维坐标系中的点Q1～Q9的坐标分别为Q1(x1、y1)T、Q2(x2、y2)T、…Q9(x9、y9)T。例如，各个坐标为位于各个点Q1～Q9的中心的像素的号码。并且，当使用人员P凝视点Q1～Q9时，将使用人员P的角膜C的顶点CP分别为点P1～P9。此时，二维坐标系中的点P1～P9的坐标分别为P1(X1、Y1)T、P2(X2、Y2)T、…P9(X9、Y9)T。并且，T为向量或矩阵的转置。
其中，将2×2的大小的矩阵M定义为如公式(1)。
[公式1]
此时，若矩阵M满足以下公式(2)，则矩阵M变为将使用人员P的视线方向摄影在显示器144的显示画面的矩阵。
PN＝MQN(N＝1，···，9)(2)
具体写出上述公式(2)如以下的公式(3)。
[公式2]
通过改公式(3)来获得以下的公式(4)。
[公式3]
若公式(4)为，
[公式4]
则获得以下的公式(5)。
Y＝Ax(5)
在公式(5)中，向量y的元素因视线检测部213显示在显示器144的点Q1～Q9的坐标，故为已知。并且，矩阵A的元素为使用人员P的角膜C的顶点CP的坐标，因此可取得。因此，视线检测部213可取得向量y及矩阵A。并且，罗列变换矩阵M的元素的向量的X为未知。因此，当向量y和矩阵A为已知时，推定矩阵M的问题为求出未知向量x的问题。
数学式5中，与未知数的数(即，向量x的元素数4)相比，若数学式的数(即，视线检测部213为校准时向使用人员P提出的点Q的数)多，则变为超定(overdetermined)问题。在数学式5中所示的例中，数学式的数为9个，因此为超定问题。
向量y和向量Ax的误差向量为向量e。即，e＝y-Ax。此时，在将向量e的元素的平方和为最小的含义上，最佳的向量Xopt通过以下的公式(6)求出。
Xopt＝(ATA)-1ATy(6)
其中，“-1”为逆矩阵。
视线检测部213利用所求出的向量Xopt的元素来构成公式1的矩阵M。由此，视线检测部23利用使用人员P的角膜C的顶点CP的坐标和矩阵M，并根据公式(2)来推定使用人员P的右眼凝视显示在显示器144的影像的哪个位置。其中，视线检测部213从头戴式显示器100接收使用人员P的眼睛和显示器144之间的距离信息，根据上述距离信息修改推定的使用人员P所凝视的坐标值。并且，基于使用人员P的眼睛和显示器144的之间的距离的凝视位置的推定的误差处于误差范围，因此省略即可。由此，视线检测部213可计算连接显示器144上的右眼的凝视点和使用人员P的右眼的角膜的顶点的右眼视线向量。同样，视线检测部213可计算连接显示器144上的左眼的凝视点和使用人员P的左眼的角膜的顶点的左眼视线向量。并且，可通过一只眼睛的视线向量来特定在二维平面上中的使用人员P的凝视点，获得两侧眼睛的视线向量，由此，可计算使用人员P的凝视点的深度方向的信息。如上所述，视线检测装置200可特定使用人员P的凝视点。并且，在此呈现的凝视点的特定方法为一例，可以利用上述方法之外的方法来特定使用人员P的凝视点。
<影像数据>
其中，对具体的影像数据进行说明。例如，在作为视频的赛车中，根据赛道上的摄像头的设置位置，特定哪个赛道为影像数据。并且，在赛道上行驶的机器(赛车)基本上在赛道上行驶，因此，可以一定程度特定(预测)行驶例程。并且，在比赛中的多个机器在赛道上行驶，但是通过机器号码或者渲染来特定机器。
并且，影像中存在观众席上的观众等的移动，在赛车视频的观点上，使用人员在观战赛车的目的上几乎完全不能被识别，因此，作为使用人员P的识别上的动体，可从执行视线预测的对象排出。由此，显示在显示器144的各个赛道上行驶的各个赛车中，可预测进行一定程度的移动。并且，这种“使用人员P的识别上的动体”为在影像上移动，且使用人员下意识识别的动体。换句话说，在发明要求保护范围中的“使用人员识别上的动体”为可成为视点检测及视线预测的对象的影像上移动的人或事物。
并且，基于编辑的赛车的影像数据中，并非在实时影像，各个机器包括是否照射显示器144，按时间顺序，可将各个机器和显示器144的位置通过表格方式对应。由此，可通过特定人物特定使用人员P观看哪个机器，同时，可确定特定机器如何移动，而并非进行简单预测。
并且，后述的规定区域的形状或大小也可根据各个位置的行驶位置(远近感)变更。
并且，赛车视频为影像数据的一例，此外的视频，例如，游戏视频等，根据游戏的种类设定人物的特征或规定区域。此时，例如，对战游戏的种类或场面、围棋或象棋等游戏、古典音乐会等，需要均匀显示整体影像的情况下，例如，即使是存在一种移动的影像，也可不包含在作为视线预测的视频。
<动作>
接着，根据图5的流程图，说明影像显示系统1的动作。并且，在以下的说明中，视线检测装置200的控制部210从第二通信部212向第一通信部147传送包含声音数据的影像数据。
(步骤S1)
在步骤S1中，控制部150使显示部153及声音输出部132动作来在显示器144显示输出影像并从头戴式耳机130的声音输出部132输出声音来执行步骤S2。
(步骤S2)
在步骤S2中，控制部210判断影像数据是否为视频。在影像数据为视频的情况下，控制部210执行步骤S3。在影像数据并非为视频的情况下，控制部210无需视线检测及视线预测，因此执行步骤S7。并且，在需要视线检测但无需视线预测的情况下，控制部210执行以下所示的视线预测来根据需要执行其他处理。并且，如上所述，其中的视频为判断是否称为“使用人员的识别上的动体”的基准。因此，无需将如简单行走的人的移动的视频作为视频。并且，因预先知道当影像数据的种类等，因此当播放影像数据时，这种视频基于种类等的初期设定来判断。并且，可包括在规定时间显示转换多个停止图像的滑动方式。因此，在步骤S2中，包括通常的视频的情况的场面转换过程中，执行判断“需要使规定区域内的影像鲜明化的视频”的判断步骤。
(步骤S3)
在步骤S3中，控制部210根据通过摄像头146拍摄的图像数据来通过视线检测部213来检测使用人员P凝视显示器144的点(视线位置)，特定上述位置来执行步骤S4。并且，在步骤S3中，当使用人员特定凝视点时，例如，在存在上述说明的场面的转换的情况下，包括使用人员所凝视的部分并未特定，即，使用人员寻找自己所凝视的位置的动作(视线徘徊的动作)。由此，若使用人员一个地方，为了搜索好位置，而提高画面整体的像素或者解除预先设定的规定区域等，使画面变简单之后检测凝视点。
(步骤S4)
在步骤S4中，控制部210判断使用人员P是否凝视特定人物。具体地，在按时间顺序变化的影像中的人物进行移动的情况下，控制部210在按时间变化的所检测的凝视点中，XY坐标轴的变化以最初特定的XY坐标轴为基点，与基于规定时间(例如，1秒钟)、时间表的影像上的XY坐标值一致，通过是否发生变化来判断使用人员P凝视特定人物。在判断为凝视特定人物的情况下，控制部210执行步骤S8。并且，在特定人物不移动的情况下，与上述特定顺序相同。并且，例如，如赛车，在比赛整体上，将特定1台(或特定队伍)的机器特定为对象，根据显示上的场面(路线)来特定机器。即，在赛车视频等中，无法限定在画面必须存在特定的1台(或特定的队伍)的机器，根据场面，观看整体或者观看对方队伍的行驶等多种活动。因此，在需要设定特定1台(人物)的情况下，可载入上述例程。并且，特定凝视点并不局限于检测使用人员当前观看的视线位置的眼动追踪的情况。即，如在画面显示全景影像的情况，使用人员的头部的移动，即，可包括检测如上下左右的旋转或前后左右的倾斜的头部位置的位置追踪(动作追踪)检测的情况。
(步骤S5)
在步骤S5中，控制部210实际上与上述步骤S6的例程并行，通过影像生成部214，以简单识别使用人员P所凝视的人的方式生成新的影像数据，上述生成之后的新的影像数据从第二通信部212向第一通信部147传送，并执行步骤S6。由此，例如，显示器144从图6(A)所示的通常的影像显示状态，如图6(B)所示，以直接呈现包括作为特定人物的机器F1的周围的影像的方式设定为规定区域E1，其他区域(画面整体为对象)以影像模糊的状态显示。即，与其他区域的影像相比，影像生成部214以简单凝视规定区域E1的影像的方式执行新生成影像数据的强调处理。
(步骤S6)
在步骤S6中，控制部210通过视线预测部216以使用人员P的当前的视线位置(凝视点)为基准判断特定人物(机器F1)是否为可预测移动体。在特定人物(机器F1)为可预测移动体的情况下，控制部210执行步骤S7。在特定人物(机器F1)并非判断为可预测的移动体的情况下，控制部210执行步骤S8。并且，对于上述凝视点的移动体的预测过程中，例如，可根据视频内容变更。具体地，可根据移动体的移动向量来预测。并且，在画面显示如声音的发生或人的脸部的使用人员注射的场面的情况下，向呈现发出上述声音的人物、脸部的人物移动视线。因此，可预测移动体可包括从这种当前凝视的特定人物转换凝视位置的情况。同样，在包括上述说明的位置跟踪的情况下，可将头部或身体整体移动的移动延伸线上的场面为预测对象。并且，例如，如上述说明的赛车视频，在一种程度的范围内，画面被中断，即，在确定全景角度的情况下，使用人员向逆向旋转头部，因此，可预测上述旋转。
(步骤S7)
在步骤S7中，如图7(A)所示，控制部210通过放大影像生成部217，除规定区域E1内的影像之外，设定与在视线预测部216中预测的视线方向对应的预测区域E2，对上述预测区域E2内的影像，与其他区域相比，以使使用人员P的识别提高的方式执行影像处理，以此执行步骤S8。此时，放大影像生成部217以接近规定区域E1的方式作为特定人物(机器F1)的预测移动方向，以包括至少特定人物(机器F1)的一部分的周边的影像比其他区域的影像更鲜明的方式设定预测区域E2。即，在头戴式显示器100中显示的影像在当传送影像时的数据量的关系上处于低像素的情况普遍。因此，通过提高包括使用人员P所凝视的特定人物的规定区域E1的像素来使其鲜明化，由此，对其部分可简单观看影像。
并且，如图7(B)所示，放大影像生成部217分别设定规定区域E1和预测区域E2之后，与规定区域E1共享一部分区域的状态下，以变为预测区域E2所在的放大区域E3的方式执行影像处理。由此，可简单设定规定区域E1和预测区域E2。
此时，放大影像生成部217以形成大于根据规定区域E1的形状(图示例中的横向椭圆)的面积的形状的预测区域E2的方式执行影像处理。由此，如机器F1的情况，随着特定人物的移动，在如显示器144中的显示尺寸变大的情况下，可准确显示机器F1的整体，实际上，当机器F1移动时，可直接将预测区域E2利用为下一个规定区域E1。并且，在图7(B)中，规定区域E1及预测区域E2的帧用于呈现形状，实际的区域设定过程中，并未在显示器144显示。
并且，如图7(C)所示，放大影像生成部217通过合成规定区域E1和预测区域E2的一个放大区域E3来执行影像处理。由此，可简单执行影像处理的鲜明化处理。
并且，如图7(D)所示，放大影像生成部217通过对规定区域E1的形状不与预测区域E2重叠的异型的放大区域E3执行影像处理。由此，可废除相互重叠的部分的影像处理的鲜明化。
并且，如图7(E)所示，放大影像生成部217中，规定区域E1和预测区域E2简单相邻。并且，各个区域的形状或大小均任意。
(步骤S8)
在步骤S8中，控制部210判断影像数据的播放是否结束。在判断为影像数据的生成完成的情况下，控制部210结构上述例程。在并未判断为影像数据的生成完成的情况下，控制部210回到步骤S3，之后，直至影像数据的播放的完成，反复上述各个例程。因此，例如，使用人员P在需要凝视强调状态的影像输出的情况下，通过所凝视的特定人的凝视的结束来判定为并非凝视主要特定人物(步骤S3的否)，从而强调显示被终止。并且，在上述说明的步骤S2中，控制部210在判断规定区域内的影像是否需要优先说明的视频的情况下，而并给判断是否为视频，为了将之后步骤作为对象，而并非将步骤S3作为对象，执行规定区域及视线预测而回到步骤S2。
但是，在向视线检测部213检测的使用人员P的视线方向，从显示器144输出的影像中具有画面上移动的人物的情况下，影像显示系统1特定上述人物并对应特定的人物来使从声音输出部132输出的声音(包括乐器演奏等)的输出状态与其他声音的输出状态不同，来以使使用人员能够识别的方式生成声音数据。
图8为在从上述说明的影像显示系统1中的服务器310下载影像数据来在显示器144显示影像的一例的说明。如图8所示，从头戴式显示器100向视频检测装置200传送用于检测当前的使用人员P的视线的图像数据。视线检测装置200根据上述图像数据来检测使用人员P的视线位置来向服务器310传送视线检测数据。服务器310根据视线检测数据来在下载的影像数据生成包括对规定区域E1和预测区域E2进行合成的放大区域E3的压缩数据并向视线检测装置200传送。视线检测装置200根据上述压缩数据来生成三维的立体图像(渲染)并向头戴式显示器100传送。通过依次反复上述顺序来观看使用人员P所需要的简单观看的影像。并且，从视线检测装置200向头戴式显示器100发送三维立体图像时，例如，可以利用高精密度媒体接口(HDMI(注册商标))电缆。因此，放大影像生成部可分为服务器310的功能(压缩数据的生成)和基于视线检测装置200的放大影像生成部217的功能(三维立体影像数据的渲染)。同样，放大影像生成部均在服务器310中执行，均在视线检测装置200中执行。
<补充>
并且，影像显示系统1并不局限于上述实施形态，通过其他手段实现，以下，说明除此之外的例。
(1)在上述实施形态中，以实际拍摄的视频影像为对象进行了说明，但虚拟现实空间内，在显示类似的人物等的情况下可适用。
(2)在上述实施形态中，为了检测使用人员P的视线，通过对使用人员P的眼睛进行拍摄的手段来使在波长控制部件145进行反射的影像拍摄，不通过波长控制部件145，而是直接对使用人员P的眼睛进行拍摄。
(3)在上述实施形态中，与视线检测相关的手段为一例，基于头戴式显示器100及视线检测装置200的视线检测方法并不局限于此。
首先，示出形成多个照射作为非可视光的近红外线光的近红外光照射部的例，但是，向使用人员P的眼睛照射近红外线光的方法并不局限于此。例如，对构成头戴式显示器100的显示器144的像素，形成具有仅红外线光的副像素的像素，选择性发出上述近红外线光的副像素，向使用人员P的眼睛照射近红外线光。并且，代替显示器144，可在头戴式显示器100形成视网膜投影显示器，以在该视网膜投影显示器显示来向使用人员P的视网膜投影的影像内形成发出近红外线光的像素，由此实现近红外线光的照射。在显示器144的情况下，或在视网膜投影显示器的情况下，发出近红外线光的副像素可定期改变。
并且，视线检测的算法并不局限于上述手段，只要可实现视线检测，则利用之外的算法。
(4)在上述实施形态中，示出在显示器144输出的影像为视频的情况下，根据是否存在使用人员P凝视规定时间以上的人物来执行特定人物的移动预测的例。在上述处理中，继续执行以下的处理。即，利用拍摄部154来对使用人员P的眼睛进行拍摄，视线检测装置200特定使用人员P的瞳孔的移动(打开状态的变化)。而且，视线检测装置200包括根据瞳孔的打开状态来特定使用人员P的感情的感情特定部。而且，影像生成部214根据感情特定部所特定的感情来变更各个区域的形状或大小。具体地，例如，如一个机器追上其他机器的情况，使用人员P的瞳孔变大的情况下，判断为使用人员P所观看的机器的移动特殊，从而可以推定为使用人员P对上述机器产生兴趣。同样，影像生成部214以进一步强调上述时期的影像的强调的方式(例如，使周围的流动变得紧)进行变化。
(5)在上述实施例中，示出了执行基于声音生成部215的声音形态的变更和基于影像生成部214的强调等的显示形态的变更，在显示形态的变更中，例如，将与凝视的机器相关的商品或其它的影像转换为其网络销售影像的CM影像。
(6)在上述实施形态中，示出了在视线预测部216以特定人物的之后的移动为对象进行预测，但在显示器144输出的影像中的亮度等离子的变化量为规定值以上的情况下，可预测使用人员P的视线移动。因此，影像中，可将显示对象的帧和上述帧之后中显示的帧之间，包括亮度等级的变化量为规定值以上的像素的规定范围特定为预测区域。并且，帧之间的多个数量中，在亮度等级的变化量为规定值以上的情况下，将包括最接近所检测的视线位置的数量的规定范围特定为预测区域。具体地，通过使用人员P的视线检测来特定规定区域E1的状态下，可意味着在显示器144中，新的动体进入到帧(frame in)的情况。即，上述新动体的亮度等级有可能大于在进入帧之前的相同部分的亮度等级，使用人员P的视线也容易朝向新的动体。因此，因这种新帧，在存在所有动体的情况下，若简单观看上述动体，则简单识别动体的种类等。这种视线诱导性视线预测尤其有用于射击游戏等的游戏视频。
(7)影像显示系统1可通过头戴式显示器100及视线检测装置200的程序执行程序等来实现，也通过在视线检测装置200形成集成线路(IC；Integrated Circuit)芯片、大规模集成电路(LSI，Large Scale Integration)等的逻辑电路(hardware)或专用电路来实现。并且，这种电路通过一个或多个集成电路来实现，在上述实施形态所示的多个功能部的功能通过一个集成电路实现。大规模集成电路根据集成度的差异来分为VLSI、超级LSI、超LSI。
即，如图9所示，头戴式显示器100包括声音输出电路133、第一通信电路147、控制电路150、存储电路151、近红外光照射电路152、显示电路153、拍摄电路154、图像处理电路155、倾斜检测电路156，各个功能与上述实施形态中示出的相同名称的各个部相同。并且，视线检测装置200包括控制电路210、第二通信电路212、视线检测电路213、影像生成电路214、声音生成电路215、视线预测电路216、放大影像生成电路217，各个功能通过具有与上述实施形态所示的形同名称的各个部相同。
并且，上述影像显示程序存储于程序可读取的记录介质，作为记录介质，“非暂时性类型的介质”，例如，磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。并且，搜索程序通过可传送上述搜索程序的任意的传送介质(通信网络或载波等)来向上述程序供给。并且，影像显示程序也可实现为包含在通过电子传送体现的载波的数据信号的形态。
并且，例如，上述检测程序利用ActionScript、JavaScript(注册商标)、Python、Ruby等的脚本语言、C语言、C++、C#、Objective-C、Java(注册商标)等的编译语言来安装。
(8)适当组合上述实施形态所示的结构及各个(补充)。
产业上的可利用性
上述本发明可适用于以下装置，在显示器显示影像的影像显示系统，当显示存在移动的影像时，通过显示成使用人员简单观看的形态，可提高使用人员的便利性，并在使用人员安装的状态下在显示器显示影像的影像显示系统、影像显示方法、影像显示程序。

Claims (11)

1.一种影像显示系统，其特征在于，包括：
影像输出部，用于输出影像；
视线检测部，用于检测相对于在上述影像输出部输出的影像的使用人员的视线方向；
影像生成部，在上述影像输出部输出的影像中，以使使用人员对与上述视线检测部检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；
视线预测部，在上述影像输出部输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及
放大影像生成部，在上述影像输出部输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测部预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出方式执行影像处理。
2.根据权利要求1所述的影像显示系统，其特征在于，上述放大影像生成部以使上述预测区域位于与上述规定区域相邻的位置的方式执行影像处理。
3.根据权利要求1或2所述的影像显示系统，其特征在于，上述放大影像生成部以在与上述规定区域共享一部分区域的状态形成上述预测区域的方式执行影像处理。
4.根据权利要求1至3中任一项所述的影像显示系统，其特征在于，上述放大影像生成部以形成大于基于上述规定区域的形状的面积的上述预测区域的方式执行影像处理。
5.根据权利要求1至4中任一项所述的影像显示系统，其特征在于，上述放大影像生成部通过将上述规定区域和上述预测区域形成为一个放大区域来执行影像处理。
6.根据权利要求1至5中任一项所述的影像显示系统，其特征在于，上述视线预测部根据在上述影像输出部输出的影像的影像数据中，根据与使用人员识别上的移动物体对应的影像数据来预测使用人员的视线。
7.根据权利要求1至6中任一项所述的影像显示系统，其特征在于，上述视线预测部根据按照与在上述影像输出部输出的影像有关的过去的时间顺序变化的积累数据来预测使用人员的视线。
8.根据权利要求1至6中任一项所述的影像显示系统，其特征在于，上述视线预测部在上述影像输出部输出的影像中的亮度等级的变化量为规定值以上的情况下，预测为使用人员的视线将会移动。
9.根据权利要求1至8中任一项所述的影像显示系统，其特征在于，上述影像输出部配置于使用人员在头部所佩戴的头戴式显示器。
10.一种影像显示方法，其特征在于，包括：
影像输出步骤，输出影像；
视线检测步骤，检测相对于在上述影像输出步骤输出的影像的使用人员的视线方向；
影像生成步骤，在上述影像输出步骤输出的影像中，以使使用人员对与上述视线检测步骤检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；
视线预测步骤，在上述影像输出步骤输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及
放大区域影像生成步骤，在上述影像输出步骤输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测步骤预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出的方式执行影像处理。
11.一种影像显示程序，其特征在于，用于在计算机执行如下功能：
影像输出功能，输出影像；
视线检测功能，检测相对于在上述影像输出功能输出的影像的使用人员的视线方向；
影像生成功能，在上述影像输出功能输出的影像中，以使使用人员对与上述视线检测功能检测的视线方向对应的规定区域内的影像的识别与其他区域相比更突出的方式执行影像处理；
视线预测功能，在上述影像输出功能输出的影像为视频的情况下，预测使用人员的视线的移动方向；以及
放大区域影像生成功能，在上述影像输出功能输出的影像为视频的情况下，除上述规定区域内的影像之外，以使使用人员对与上述视线预测功能预测的视线方向对应的预测区域内的影像的识别与其他区域相比更突出的方式执行影像处理。
CN201710526918.3A 2016-07-01 2017-06-30 影像显示系统、影像显示方法、影像显示程序 Pending CN107562184A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-131912 2016-07-01
JP2016131912A JP2018004950A (ja) 2016-07-01 2016-07-01 映像表示システム、映像表示方法、映像表示プログラム

Publications (1)

Publication Number Publication Date
CN107562184A true CN107562184A (zh) 2018-01-09

Family

ID=60807559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710526918.3A Pending CN107562184A (zh) 2016-07-01 2017-06-30 影像显示系统、影像显示方法、影像显示程序

Country Status (5)

Country Link
US (1) US20180004289A1 (zh)
JP (1) JP2018004950A (zh)
KR (1) KR20180004018A (zh)
CN (1) CN107562184A (zh)
TW (1) TW201804314A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458104A (zh) * 2019-08-12 2019-11-15 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
CN113615164A (zh) * 2019-03-26 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
WO2023071383A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 镜头模组及头戴式电子设备
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ773826A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
KR20230025933A (ko) 2015-06-15 2023-02-23 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
AU2017361424B2 (en) 2016-11-18 2022-10-27 Magic Leap, Inc. Spatially variable liquid crystal diffraction gratings
IL304304B2 (en) 2016-12-08 2024-08-01 Magic Leap Inc Light beam breaking devices based on cholesteric liquid crystal
CN110291453B (zh) 2016-12-14 2022-11-01 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
KR20180074180A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
IL268135B2 (en) 2017-01-23 2024-03-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
IL303471B2 (en) 2017-03-21 2024-08-01 Magic Leap Inc An eye imaging device that uses optical refractive elements
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
WO2019118930A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Eyepieces for augmented reality display system
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
JPWO2019171522A1 (ja) * 2018-03-08 2021-02-04 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
JP7444861B2 (ja) * 2018-09-26 2024-03-06 マジック リープ， インコーポレイテッド 屈折力を有する回折光学要素
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
JP6943913B2 (ja) * 2019-03-18 2021-10-06 Ｎｅｃプラットフォームズ株式会社 情報表示システムおよびウェアラブルデバイス
JP2022525922A (ja) 2019-03-20 2022-05-20 マジック リープ， インコーポレイテッド 光を収集するためのシステム
EP3987343A4 (en) 2019-06-20 2023-07-19 Magic Leap, Inc. EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM
US11195495B1 (en) * 2019-09-11 2021-12-07 Apple Inc. Display system with facial illumination
US11663739B2 (en) * 2021-03-11 2023-05-30 Microsoft Technology Licensing, Llc Fiducial marker based field calibration of a device
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
JP2023061262A (ja) * 2021-10-19 2023-05-01 キヤノン株式会社 画像表示システム
US20230381645A1 (en) * 2022-05-27 2023-11-30 Sony Interactive Entertainment LLC Methods and systems to activate selective navigation or magnification of screen content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
WO2016092698A1 (ja) * 2014-12-12 2016-06-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6632443B2 (ja) * 2016-03-23 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113615164A (zh) * 2019-03-26 2021-11-05 神钢建机株式会社 远程操作系统以及远程操作服务器
CN113615164B (zh) * 2019-03-26 2024-06-07 神钢建机株式会社 远程操作系统以及远程操作服务器
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method
CN110458104A (zh) * 2019-08-12 2019-11-15 广州小鹏汽车科技有限公司 人眼视线检测系统的人眼视线方向确定方法和系统
WO2023071383A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 镜头模组及头戴式电子设备

Also Published As

Publication number Publication date
JP2018004950A (ja) 2018-01-11
TW201804314A (zh) 2018-02-01
KR20180004018A (ko) 2018-01-10
US20180004289A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN107562184A (zh) 影像显示系统、影像显示方法、影像显示程序
US11536973B2 (en) Fixed-distance virtual and augmented reality systems and methods
WO2017090203A1 (ja) 視線検出システム、注視点特定方法及び注視点特定プログラム
CN106415444B (zh) 注视滑扫选择
JP7106706B2 (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
KR102393228B1 (ko) 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
US20160196603A1 (en) Product augmentation and advertising in see through displays
CN107005653B (zh) 进行虚拟聚焦反馈的装置、方法以及头戴式显示器
US20130194389A1 (en) Head-mounted display device to measure attentiveness
CN107547796A (zh) 外部拍摄系统、外部拍摄方法及外部拍摄程序
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
TW201802642A (zh) 視線檢測系統
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
CN109587471A (zh) 图像显示系统、图像显示方法及图像显示程序
CN113138664A (zh) 基于光场感知的眼球追踪系统、方法
JP2018107695A (ja) 推定システム、推定方法及び推定プログラム
US11747897B2 (en) Data processing apparatus and method of using gaze data to generate images
CN107665041A (zh) 信息处理系统、操作方法及操作程序
Conti et al. Adjusting stereoscopic parameters by evaluating the point of regard in a virtual environment
JP2020081557A (ja) 眼の角膜中心の位置を特定する装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180109

WD01 Invention patent application deemed withdrawn after publication