CN103559006A - 利用视线跟踪的自适应显示 - Google Patents

利用视线跟踪的自适应显示 Download PDF

Info

Publication number
CN103559006A
CN103559006A CN201310454920.6A CN201310454920A CN103559006A CN 103559006 A CN103559006 A CN 103559006A CN 201310454920 A CN201310454920 A CN 201310454920A CN 103559006 A CN103559006 A CN 103559006A
Authority
CN
China
Prior art keywords
subregion
concerned
image data
data frame
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310454920.6A
Other languages
English (en)
Other versions
CN103559006B (zh
Inventor
O.卡林利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN103559006A publication Critical patent/CN103559006A/zh
Application granted granted Critical
Publication of CN103559006B publication Critical patent/CN103559006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/121—Frame memory handling using a cache memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Liquid Crystal (AREA)

Abstract

本发明涉及用于基于显示器用户关注适配显示屏输出的方法和系统。采用视线方向跟踪来确定用户正关注的显示屏区的子区域。受关注的子区域的显示相对于显示屏的剩余部分被修改，例如，通过相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量。

Description

利用视线跟踪的自适应显示
本申请是申请日为2011年6月15日、申请号为201180059058.8、发明名称为“利用视线跟踪的自适应显示”的发明专利申请的分案申请。
技术领域
本发明涉及利用视线跟踪用于在计算平台的显示屏上以自适应的方式输出信息。
背景技术
随着在例如LCD屏、OLED屏等显示屏方面的现代技术进步，采用显示屏的计算平台的多样性以及向平台要求的功能性都在持续增加。例如，象征着手持式形状因素（handheld form factor）的有限的屏面积和电池寿命往往导致了显示屏的空间分辨率相对低，使得手持式设备的实用性经常受到限制，因显示屏无能力在没有连续积极用户干预（例如，屏幕点击，滑动，等等）情况下呈现足够的视场（FOV）以向终端用户展现最有关数据(例如，图像数据帧的子区域，GUI(图形用户接口)的子区域，等等)。对于另一示范性平台，象征着家用电视的大屏幕是针对比个人计算机或者手持式设备的视距长得多的视距所设计的。因而，通常有必要在具有独特接口（例如“10英尺接口”）的家用电视上呈现图形数据对象，要求用户学习导航（navigate）不同形状因素的设备之间的多个接口。
此外，某些计算平台提供显示视频（即图像数据帧流）的应用，该视频由集成有计算机渲染图形对像的视频图像传感器收集。例如，Sony Playstation® EyePetTM游戏应用程序与由耦合到计算平台的视频图像传感器所收集的应用程序用户与用户环境（例如，客厅）的视频一起渲染（render）虚拟宠物的图形图像。于是用户可以在显示器上观看他们与其虚拟宠物交互。由于对于这样的游戏应用程序典型的高清晰度显示分辨率（例如1080p），需要有效的带宽将视频数据从视频图像传感器传输到计算平台。该带宽限制或者降低在显示器上呈现的视频数据的质量，减少可用于渲染图形的处理器周期，或者显著提高视频图像传感器/传感器与计算平台之间的接口的制造成本。对于无线内联网传输模式与互联网传输模式两者，视频传输带宽均成为更多的问题。
附图说明
本发明的实施例在本说明书结束部分中被特别指出并且清楚地被要求保护。然而，关于组织和操作方法两者，连同目标、特征及其优点，本发明的实施例可能最好在借助附图阅读时通过参考以下详细说明来理解，其中：
图1示出按照实施例的示范性自适应显示系统的示意图；
图2A为按照实施例确定所显示的图像数据帧的受关注的子区域的示范性基于网格的方法的流程图；
图2B为按照实施例确定所显示的图像数据帧的受关注的子区域的示范性基于轮廓的方法的流程图；
图3A为按照实施例基于显示器用户关注适配要显示的数据的量的示范性方法的流程图；
图3B为按照实施例基于显示器用户关注适配要传输的数据的量的示范性方法的流程图；
图3C为按照实施例基于显示器用户关注适配数据压缩率的示范性方法的流程图；
图3D为按照实施例基于显示器用户关注适配接口数据压缩率的示范性方法的流程图；
图4示出按照本发明的一个实施例可被用于适配显示的用户接口和硬件；以及
图5示出按照本发明的一个实施例可被用于处理指令的附加硬件。
为了说明的清楚，图中示出的元件没有必要地按照比例绘制。另外，在被认为合适的地方，参考数字在图之中被重复以指示相应或相似的元件。
发明内容
此处描述了用于基于显示器用户关注适配显示屏输出的方法和系统。实施例采用视线跟踪（gaze tracking）来确定显示屏区的处于用户关注焦点的子区域，并且自适应地确定为显示屏的受关注的和不受关注的子区域提供的数据量，其方式是分别处理这两个组来改善应用程序/平台的功能性和/或者减少用于传输或处理所收集的图像数据帧所需的带宽。
尽管为彻底理解本发明的实施例陈述了很多具体细节，本领域技术人员将理解的是，在没有这些具体细节的情况下可以实施其他实施例。在其他实例中，并没有详细地描述众所周知的方法、进程、部件和电路，以便不使本发明不清楚。此处描述的某些部分根据算法和在计算机存储器内的数据比特或者二进制数字信号上的操作的符号表示来呈现。这些算法描述和表示可能是数据处理领域技术人员所使用的技术以将其工作的实质传达给本领域有些技术人员。
如此处所使用的算法是导致期望结果的行为或操作的自相一致序列。这些包括物理量的物理操纵。通常、可是并非必要地，这些量采取能够被存储、传递、组合、比较以及另外操纵的电或者磁信号的形式。主要出于习惯用语的原因，将这些信号称为比特、值、元素、符号、字符、术语、数字等等已经证明有时是方便的。
除非特别声明或者另外从以下讨论中为明显的，应当理解的是，在整个描述中，利用诸如“处理”、“计算”、“转换”、“调解”、“确定”、或者“识别”术语的讨论，均指计算平台的行为和处理，该计算平台是包含处理器的电子计算设备，该处理器将在处理器的寄存器和可访问的平台存储器内表示为物理（例如电子）量的数据操纵并变换为在计算机平台存储器、处理器寄存器或显示屏内类似地表示为物理量的其他数据。
计算机程序可以被存储在计算机可读的存储介质中，例如、但不限于，任意类型的磁盘，包括软盘、光盘（例如光盘只读存储器（CD-ROM），数字视频光盘（DVD），Blu-Ray DiscsTM（蓝光光盘）等等）和磁光盘、只读存储器（ROM）、随机存取存储器（RAM）、EPROM、EEPROM、磁或光卡，或者任意其他类型的适用于存储电子指令的非暂时介质。
术语“耦合”和“连接”，连同其衍生词，可以在此用来描述用于执行这里的操作的装置的部件之间的结构关系。要理解的是，这些术语并不意指为彼此的同义词。相反地，在特定的实施例中，“连接”可以用于指示两个或多个元件之间彼此直接物理或者电接触。“耦合”可用于指示两个或多个元件之间彼此或者直接或者间接（通过其之间的其他居间元件）物理或者电接触，以及/或者两个或多个元件彼此协作或者通信（例如，如在因果关系（cause an effect relationship）中）。
图1示出示范性自适应显示系统100，其包含耦合到显示屏110的计算平台105。计算平台105包含中央处理器，其至少负责为显示屏110生成输出106，并且可以进一步执行这里所述的视线跟踪、显示子区域确定以及视频解码/帧组装操作中的一个或多个。计算平台105可以为所要求的目的专门地被构造，或者可以包括通用计算机，该通用计算机通过在计算机中存储的计算机程序选择性地被激活或者重新配置。在一个实施例中，计算平台105是游戏控制台（例如，Sony Playstation®），其具有是任意常规显示器（例如LCD,OLED,CRT,等等）的显示屏110。在另一个实施例中，计算平台105是具有嵌入式显示屏110A（例如，LCD,OLED）的手持式游戏设备105A(例如，索尼便携式游戏机（Sony Playstation Portable）（PSP®）。在替换的实施例中，计算平台105是具有嵌入式显示屏110B（例如，LCD,OLED）的手持式电信设备105B（例如，索尼爱立信手机（Sony Ericsson mobile phone））。
图2A和2B示出两个用于确定在显示屏中所呈现的信息帧的受关注的子区域的示范性方法。这些方法可应用于渲染的图形对象（例如CGI）或者成流的多媒体（例如视频）。
图2A是说明用于确定图像数据帧的受关注的子区域的基于网格的方法200的实施例的流程图，该方法可以由自适应显示系统100执行。在操作205处，一个或多个对象被输出到显示屏110（图1）。例如，在图2A中进一步示出了显示区210中的对象206。对象206可以是被渲染的对象，例如游戏化身、网页块，其与由渲染引擎已知的显示区210的帧有位置关系。例如，在对象206是网页上的缩略图的地方，该缩略图对象在显示区210内将具有已知的位置。替换地，对象206可以是在显示区210内所呈现的视频帧的一部分，在该情况下计算平台205不能预先确定在显示区210内对象206与其他内容之间的逻辑关联。
在操作215处，跟踪观看显示屏110的用户的视线模式。图2A进一步描述了针对显示区210中的内容通过耦合到计算平台105（图1中所示）的视线跟踪器130确定的示范性视线模式208。通常，视线跟踪器130包含任意在本领域中已知的可操作来跟踪观看显示屏110的平台用户170的眼睛位置和/或眼睛运动的硬件和/或软件模块。在该示范性实施例中，视线跟踪器130是基于视频的系统，其聚焦于平台用户170的一只或者两只眼睛，并且当平台用户170观看显示屏110时记录眼睛运动。视线跟踪器130可以是头盔式的，或者是依赖视频图像传感器的远程系统，该视频图像传感器被定位在距平台用户170至少一臂长度处。在图1中所示的示范性实施例中，视线跟踪器130向视线方向分析器140输出眼睛视线方向模式131。在其他实施例中，视线跟踪器130是头盔式的，并且输出眼睛转动模式。在其他实施例中，用户可以佩戴放置在眼睛周围的皮肤上的电极来测量用于眼睛运动跟踪的眼电图（EOG）信号。该EOG信号对于测量由于视线偏移造成的眼睛扫视运动以及探测眨眼将是特别有用的；从而对于确定视线偏移以及眨眼是好的。EOG也对于不同的照明条件是稳健的，并且能被作为可穿戴系统实现。
在示范性实施例中，由视线跟踪器130所采用的视频图像传感器是专用摄像机（例如，红外（IR）敏感的），该专用摄像机被集成到视线跟踪器130中。替换地，视线跟踪器130可以被耦合到通用数字视频图像传感器120上，例如Sony PlayStation® Eye，其也被耦合到计算平台105上。在实施例中，数字视频图像传感器120以至少1920x1080像素的高清晰度（HD）分辨率利用足以至少捕捉平台用户170和用户直接环境（例如，客厅家具，地面，房间墙壁等等）的视场（FOV）122收集图像数据帧，并且可以进一步捕捉至少一个其他平台用户180以及旁观者185。
因为远场视线跟踪在技术上比近场视线跟踪更具有挑战性，所以视线跟踪实现可能取决于计算平台105的格式。例如，在游戏机格式中，视线跟踪器130优选地使用专用摄像机，其被优化用于眼睛/视线跟踪的目的并且与视频图像传感器120不同。可选地，可以通过拍摄一个/多个用户的头像来注册一个/多个用户来改善视线跟踪性能。
然而对于手持式游戏设备105A,嵌入式视频图像传感器120A可以可操作来向视线跟踪器130输出所收集的视频数据帧125，其包含平台用户170的（一只或两只）眼睛（eys(s)）或者脸部。对于这样的实施例，由嵌入式视频图像传感器120A所收集的图像数据可用于两个视线跟踪目的和一般用于在显示屏110A上显示。类似地，对于手持式电信设备105B，嵌入式视频图像传感器120B可操作来向视线跟踪器130输出所收集的聚焦于平台用户170的（一只或两只）眼睛或者脸部的视频数据帧125。在还有其他实施例中，可以不存在通用数字视频图像传感器120，而只有集成到视线跟踪器130中的专用摄像机。
回到图2A，在操作220处，视线模式（例如，视线模式208）通过视线方向分析器被映射到显示屏的子区域。例如，视线模式208被映射到子区域的m乘n网格。通常，为显示屏定义的数目m和n可以根据特定显示屏的物理尺寸以及分辨率而相当大地改变，并且要被最优化，例如用于提供最满意的用户体验。网格尺寸参数的优化可以通过研究设备尺寸与网格尺寸参数之间的关系而离线完成。于是，网格尺寸参数可以基于显示器特性而被自动设置/加载，所述显示器特性可以通过或者向系统注册显示器（即用户可以输入物理设备的规格或者选择预定义的选项中的一个）或者使用计算平台自动探测显示器类型、即它是PSP还是索尼爱立信手机（Sony Ericson phone）还是索尼LCD TV来获得。
在操作230处，视线方向分析器基于视线模式208确定对于用户有较大兴趣的子区域221中的一个或多个。例如，视线模式度量可被分配给子区域221，并且度量然后被取阈值或者在子区域中进行比较，来确定受关注的（一个或多个）子区域。例如，在图2A中的显示区210中，115和111分别是受关注以及不受关注的子区域。虽然任意常规视线模式度量都可以在操作230处被采用，但是在示范性实施例中，在每个子区域内多个眼睛注视或者视线模式扫描长度被确定。
图2B是确定图像数据帧的受关注的子区域的基于轮廓的方法201的实施例的流程图，该方法可以通过自适应显示系统100执行。在从视频图像传感器120接收的图像数据帧可能并不像渲染的GUI可能的那样有任意逻辑块层级的地方，轮廓算法可用于识别是平台用户关注的主题的对象。在特定的实施例中，新的轮廓探测过程周期性地或者被事件触发，例如当用户眨眼或者视线偏移时。
方法201开始于操作205，其中向显示屏210输出一个或多个对象（例如，由视频图像传感器收集的图像数据帧）。如之前在操作215处描述的那样，视线模式被跟踪，以生成在图2B中所表示的视线模式208。在操作223处，执行轮廓探测算法（例如，通过视线方向分析器140），以探测图像数据帧221内的轮廓。该轮廓探测算法可以基于视线模式在帧的特定位置被发起，或者轮廓探测算法可以被应用于整个帧。在第一种情况下，生成包含视线模式阈值量的轮廓，而在第二种情况下，基于视线模式与特定的一个/多个轮廓的重叠水平，从多个轮廓中选择一个或多个轮廓。例如，基于帧221和视线模式208生成轮廓251。在操作232处，于是确定受关注的子区域。该确定可能需要选择轮廓251，或进一步执行向上适化算法，用以将帧221的、接近轮廓251的像素包括在与受关注的子区域115对应的帧的第一部分中。该帧的剩余部分于是被指定为与不受关注的子区域111对应的帧的第二部分。
利用基于轮廓的方法201来使图像数据帧的部分与显示器的受关注的子区域相关可以相对于在显示器与图像数据帧之间m乘n网格的直接映射改善真实感。基于轮廓的方法201也可以减少传输带宽，其中在显示器与图像数据帧之间m乘n网格的直接映射情况下低于所述传输带宽是可能的，例如在网格尺寸与图像数据中对象的尺寸不是最佳匹配时。
图3A示出用于适配（adapte）显示的方法300，其中通过根据用户的关注焦点以可变的分辨率显示数据帧的部分，相对于不受关注的子区域中的对象修改用于表示受关注的子区域中的一个或多个对象所采用的数据量。在操作330处，从方法200或201接收至少一个受关注的子区域，例如图2A或图2B中的受关注的子区域115。在操作340处，表示在受关注的子区域内所显示的对象的数据量被修改，用以相对于在子区域确定之前由显示屏提供的数据量改变与受关注的区域内的对象有关系的数据量。在内容缩放（content zoom）实施例中，专用于受关注的子区域的显示屏分辨率的百分比可以随着与不受关注的子区域有关系的显示屏分辨率的百分比降低而增加，从而受关注的子区域的分辨率比不受关注的子区域分辨率高。例如，在操作330处接收到的受关注的子区域115，其为显示区210的25%，在操作340处被提高到显示区210的约67%。在操作345处，连同被放大的对象206显示修改后的输出。因而，对象206能以更高的分辨率被渲染，或者被扩张（例如，在对象206是缩略图的地方）。
如图1中进一步所示的，自适应显示系统100包含自适应显示处理器150，其被耦合到视线方向分析器140上。在该示范性实施例中，自适应显示处理器150是信号处理器，其以硬件、软件或者两者的组合的方式实现。对于自适应显示方法300，计算平台105的处理器从自适应显示处理器150接收输出151，用于修改被显示的数据。
图3B是用于适配显示的示范性方法301的流程图，其中通过根据用户的关注焦点以可变的分辨率将图像数据帧的部分（例如，由视频图像传感器（如视频图像传感器120）所收集的）传输给计算平台150，相对于不受关注的子区域中的对象修改表示受关注的子区域中的对象的数据量。在实施例中，受关注的子区域被以较高分辨率传输，而不受关注的子区域被以较低分辨率传输。由于图像数据帧将被以高速率传输，因此方法301可以被周期性地以低于在受关注的子区域情况下帧速率的频率执行，一旦被确定，被应用于多个帧。方法301可以基于事件来被触发，例如但不限于，预定数目的帧、确定眼睛视线是否偏离所选的（即受关注的）子区域的距离度量或者用户眨眼的指示，该指示是预期的眼睛视线偏移的可能标志。
从操作325开始，视频图像传感器120收集图像数据帧。对于图1中所示的实施例，视频图像传感器120具有FOV 122，其包括平台用户170、第二平台用户180以及旁观者185。
在操作330处，从视线方向分析器140接收受关注的子区域141。在操作365处，使显示器的受关注的子区域与所收集的（一个或多个）帧的部分相关，并且与受关注的子区域对应的所收集的（一个或多个）帧的第一部分以高分辨率（例如，视频图像传感器120的至少1920x1080像素的HD分辨率）被传输到计算平台。在操作370处，与不受关注的子区域对应的所收集的（一个或多个）帧的第二部分以低分辨率被传输到计算平台，该分辨率低于第一部分的分辨率。例如，在视频图像传感器120以高分辨率收集的地方，自适应显示处理器150使用任意的常规比特率整形技术降采样所收集的（一个或多个）帧的第二部分以减少表示第二部分的数据量。因而，使比特率整形算法取决于对所显示的输出的用户关注。在一个实施例中，自适应显示处理器150相对于第一部分减少第二部分的空间（水平和/或垂直）分辨率，减少传输带宽需求。举一个例子来说，其中第一部分以对应于每扫描线1920个样本的采样的分辨率被传输，第二部分被降采样到每扫描线1440或1280个样本的采样。在另一个实施例中，自适应显示处理器150相对于第一部分减少第二帧部分的时间分辨率，以减少传输带宽需求。例如，可以相对于第一部分在第二部分内减少帧速率。显示屏部分然后例如在图1中通过链接161被传输到计算平台105的处理器。在操作375处，计算平台处理器利用任意常规方法将第一和第二部分聚集成重构帧，用于输出给显示屏110。
在一些实施例中，其中由视频图像传感器所收集的图像数据帧被输出到显示屏，通过可变比特率压缩，表示受关注的子区域中的对象的数据量相对于不受关注的子区域中的那些被修改。对于这样的实施例，图像传感器本地的压缩引擎用于接收来自自适应显示处理器150的输出。例如，参照图1，压缩引擎160是硬件或者软件，其可操作用于压缩从视频图像传感器120接收的图像数据帧125。压缩引擎160可以执行本领域中已知的任意（一个或多个）压缩算法，例如执行一个或多个专有的或者标准兼容的编解码器（例如，MPEG-4）用以执行帧内（空间）压缩和帧间（动作）压缩中的至少一个。在该示范性实施例中，压缩引擎160用于执行对所收集的图像数据帧125的帧内和帧间压缩两者。
图3C是用于适配显示的示范性方法350的流程图，其中压缩引擎基于视线跟踪信息应用所收集的图像数据帧的可变比特率压缩。再次从操作325开始，视频图像传感器收集图像数据帧。如图1中所示，视频图像传感器120具有FOV 122,其包括平台用户170、第二平台用户180以及旁观者185。
在操作380处，可变比特率压缩算法被应用于所收集的图像数据帧上。在一个实施例中，与受关注的子区域对应的所收集的帧的第一部分以高比特率被压缩（空间地和/或时间地），而与不受关注的子区域对应的所收集的帧的第二部分以低比特率（即低于第一部分）被压缩（空间地和/或时间地）。
在操作390处，被压缩的帧例如被传输到计算平台105。在操作395处，计算平台105上的与压缩引擎160耦合的处理器然后用适当的解码算法（例如，如应用于每个部分）对帧的第一和第二部分解码，以将传输的（一个或多个）图像数据帧聚集成重构帧，用以在显示屏110上显示。
图3D是进一步示出示范性可变比特率压缩方法377的流程图，其可以在方法350（图3C）的操作380处被执行。方法377从在操作330处接收（一个或多个）受关注的子区域开始。（一个或多个）受关注的子区域可以基本上如对于图2A中的方法200所述的或者参照图2B的方法201所述那样被识别/确定。例如，在图2A中的方法200的情况中，显示屏100被划分成由m乘n个子区域的网格。数目m和n可以被优化用以最大化显示器感知质量与传输带宽降低的组合。视线方向分析器140将来自视线跟踪器130的眼睛视线方向模式输出131映射到此m乘n子区域。视线模式准则横越子区域被应用，并且受关注的子区域115被识别。
回到图3D，在操作378处，压缩引擎160确定要首先基于标准压缩算法被压缩的像素或图像部分。例如，在帧之间变化的图像部分利用帧间压缩算法来识别。在操作382处，压缩引擎160确定那些具有差异的图像部分中的哪些位于受关注的子区域115内，并且在操作384处，那些差异以高比特率被发送（例如，至计算平台105）。在操作386处，针对不受关注的子区域111的差异以低比特率（例如，比受关注的子区域低）被发送（例如，至计算平台105）。类似地，压缩引擎160可以按根据由视线方向分析器140识别的子区域的方式来执行帧内压缩算法。例如，压缩引擎160可以以以下方式在空间冗余算法中应用不同的阈值，所述方式在受关注的子区域115和不受关注的子区域111之间进行区别。在另一实施例中，在操作380处执行的可变比特率压缩可以在与显示器的受关注的和不受关注的子区域对应的所收集的帧的部分之间辨别I帧处理法。例如，对于与不受关注的子区域对应的帧部分，防止I帧从其他帧复制数据的规则可以是不严格的。
在一些实施例中，可以采用具有包含至少平台用户170的FOV的视频图像传感器120。然而，在其他实施例中，如由图2B中的帧221所示，所收集的帧不包含平台用户170。对于这样的实施例，所收集的图像数据帧源自（source by）远离平台用户位置的视频图像传感器（例如，在图1中，被联网到计算平台105上的远程视频图像传感器128），或者之前收集的图像数据帧的服务器（例如，通过互联网127联网的视频存档站点129）。对于这样的实施例，远程压缩引擎165可以被用于响应从自适应显示处理器150接收的信息实现此处所述的依赖视线的压缩算法。也应注意的是，方法301，350和377都类似地可应用于从视频归档站点129或者远程视频图像传感器128传输图像数据帧。
在另外的实施例中，针对多个用户中的每一个跟踪视线模式。例如，参考回图1，可以针对平台用户170和平台用户180中的每一个跟踪视线模式。由多个用户中的每一个关注的显示屏子区域的单独确定于是可以被确定（例如，在操作215处）。例如，视线171的方向可以被跟踪并且受关注的子区域115被识别，并且视线181的方向也被跟踪并且受关注的子区域116被识别。于是，遵循此处所述的方法适配显示屏输出，以相对于不受关注的子区域修改受关注的子区域内的数据量。虽然这些方法可以以该方式被扩展到多个用户，当用户数目增加时，带宽减少率可能下降。然而，这将取决于所显示的信息的性质。例如，在一些游戏应用程序中，用户的视线可能由于任务驱动关注而相当多地重叠。例如，在网球游戏中，两个用户的视线在游戏中将处于网球上是非常有可能的。
在其他多用户实施例中，例如其中在平台用户170和平台用户180之间轮流游戏玩法，可能只针对与输入设备（例如Sony PlayStation® Move Motion Controller（动作控制器））关联的用户执行视线跟踪和/或视线方向分析。在图1所示的示范性实施例中，例如基于由视频图像传感器120所收集的图像帧，平台用户170与动作控制器190关联，并且当所关联的动作控制器190处在激活的游戏玩法模式中时，只针对平台用户170执行视线模式跟踪。当游戏玩法转移到动作控制器195时，于是只对与该控制器相关联的平台用户180执行视线跟踪。任意在此描述的显示适配方法于是都可以跨多个用户被个性化。
图4根据本发明的一个实施例进一步示出硬件和用户接口，其可用于基于视线跟踪适配显示。图4示意性示出Sony®Playstation®3娱乐设备的总系统架构，即可以是兼容的用于实现此处所述的自适应显示方法的控制台。提供平台单元1400，连同可连接到平台单元1400的不同外围设备。该平台单元包括：Cell处理器1428；Rambus®动态随机存取存储器(XDRAM)单元1426；具有专用视频随机存取存储器（VRAM）单元1432的真实仿真器图形单元1430；以及I/O桥1434。平台单元1400也包含用于从盘1440A读取的Blu Ray®Disk BD-ROM®光盘读取器1440和可移动吸入式（slot-in）硬盘驱动器（HDD）1436，其通过I/O桥1434可访问。可选择地，平台单元1400还包含存储卡读取器1438用于读取快闪存储卡（compact flash memory card）、Memory Stick®存储卡等等，其类似地可通过I/O桥1434访问。
I/O桥1434也连接到多 通用串行总线（USB）2.0端口1424；千兆位以太网端口1422；IEEE 802.11b/g无线网络（Wi-Fi）端口1420；能支持高达7个蓝牙连接的Bluetooth®无线链接端口1418。
在操作中，I/O桥1434处理所有无线、USB和以太网数据，其包括来自一个或多个游戏控制器1402的数据。例如，当用户在玩游戏时，I/O桥1434通过蓝牙链接从游戏（动作）控制器1402接收数据，并将其引导给Cell处理器1428，该处理器相应地更新游戏的当前状态。
无线、USB和以太网端口除了游戏控制器1402之外还为诸如远程控制装置1404；键盘1406；鼠标1408；便携式娱乐设备1410如Sony Playstation®便携式娱乐设备；视频图像传感器如Playstation®眼睛视频图像传感器1412；麦克风耳机1414；麦克风或麦克风阵列1415或者视线跟踪器130的其他外围设备提供连通性。因此这样的外围设备原则上可以无线地连接到平台单元1400上；例如便携式娱乐设备1410可以通过Wi-Fi ad-hoc连接通信，而麦克风耳机1414可以通过蓝牙链接通信。
提供这些接口意味着Playstation 3设备也可能与例如数字视频记录机（DVR），机顶盒，数字视频图像传感器，便携式媒体播放器，IP电话上的语音，移动电话，打印机以及扫描仪的其他外围设备兼容。
游戏控制器1402可操作用于通过蓝牙链接与平台单元1400无线通信，或者与USB端口连接，从而也提供用于给游戏控制器1402的电池充电的功率。游戏控制器1402也可以包含存储器，处理器，存储卡读取器，永久性存储器如闪存，光发射器如LED或者红外光，麦克风和扬声器，声室，数字视频图像传感器，内部时钟，可辨认/可识别的形状如面向游戏控制台的球形部分，以及采用如Bluetooth®、WiFiTM等协议的无线通信。
游戏（动作）控制器1402是被设计用双手使用的控制器。除了一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器容许三维位置确定。因此，除了或者代替常规按钮和操纵杆命令，游戏控制器用户的姿势和运动可以被转化为游戏输入。可选地，其他无线使能外围设备，例如PlaystationTM便携式设备，可以被用作控制器。在PlaystationTM便携式设备的情况下，可以在设备的屏幕上提供附加的游戏或者控制信息（例如，控制指令或者生命数）。其他替换的或者补充的控制设备也可以被使用，例如跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出）等等。
远程控制器1404也可操作用于通过蓝牙链接与平台单元1400无线通信。远程控制器1404包含控制装置，其适用于Blu RayTM Disk BD-ROM读取器1440的操作以及盘内容的导航。
除了常规的预录式和可录的CD以及所谓的超音频CD之外，Blu RayTM Disk BD-ROM读取器1440可操作用于读取兼容于Playstation和PlayStation 2设备的CD-ROM。除了常规的预录式和可录的DVD之外，读取器1440也可操作用于读取兼容于Playstation 2和Playstation 3设备的DVD-ROM。进一步地，读取器1440可操作用于读取兼容于Playstation 3设备以及常规的预录式和可录的蓝光盘的BD-ROM。
平台单元1400可操作用于通过音频和视频连接器将经由真实合成器图形单元1430由Playstation 3设备生成或者解码的音频和视频提供给显示器和声音输出设备，例如显示屏110。音频连接器1450可以包含常规的模拟和数字输出，而视频连接器1452可以多方面地包含分量视频，S视频，复合视频，以及一个或者多个高清晰度多媒体接口（HDMI）输出。因此，视频输出可以处于诸如PAL或NTSC的格式,或者处于720p，1080i或1080p高清晰度。
在一个实施例中，视频图像传感器1412包含单独的电荷耦合器件（CCD）以及LED指示器。传感器1412可以进一步包含基于软件或硬件的数据压缩和编码装置，以便压缩的视频数据能够以合适的格式被传输，例如用于由平台单元1400解码的基于图像内MPEG( 活动图像专家组（motion picture expert group）)标准。视频图像传感器LED指示器被设置用于响应于来自平台单元1400的适当的控制数据照亮，例如用于表示不利的照明条件。视频图像传感器1412的实施例可以多方面地通过HDMI,USB,蓝牙或者Wi-Fi通信端口连接到平台单元1400。视频图像传感器的实施例可以包含一个或多个相关联的麦克风，并且也可以能够用于传输音频数据。在视频图像传感器的实施例中，CCD可以具有适用于高清晰度视频捕捉的分辨率。在使用中，由视频图像传感器捕捉到的图像可以例如被合并到游戏内或者被解释为游戏控制输入。在另一实施例中，视频图像传感器是红外视频图像传感器，其适用于探测红外光。
图5根据本发明的一个实施例示出可用于处理指令的附加硬件。图4的Cell处理器1428如在图5中进一步所示，具有包含4个基本部件的架构：外部输入和输出结构，其包含存储器控制器1560和双总线接口控制器1570A,B；主处理器，其被称为主处理元件（Power Processing Element）1550；8个协处理器，其被称为协同处理元件（SPE）1510A-H；以及连接以上部件的循环数据总线，其被称为元件互连总线（EIB）1580。相比于Playstation 2设备的情感引擎的6.2 GFLOP，Cell处理器的总浮点性能为218 GFLOPS。
主处理元件（PPE）1550基于双向同时多线程电源（Power）1470，其适应以3.2 GHz的内部时钟运行的PowerPC核（PPU）1555。它包含512 kB 2级(L2)缓存1552和32 kB 1级(L1)缓存1551。PPE 1550能够实现每时钟循环8个单独的位置操作，转变为3.2 GHz处的25.6 GFLOP。PPE 1550的主要任务是充当用于SPE 1510A-H的控制器，其处理大部分的计算工作量。在操作中，PPE 1550维持工作队列，为SPE 1510A-H调度任务并且监控其进展。因此，每个SPE 1510A-H运行内核，该内核的作用是取得工作，执行工作，并且与PPE 1550同步。
每个协同处理元件（SPE）1510A-H均包含相应的协同处理单元（SPU）1520A-H，以及相应的存储流控制器（MFC）1540A-H，所述存储流控制器依次包含相应的动态存储器存取控制器（DMAC）1542A-H，相应的存储器管理单元（MMU）1544A-H，以及总线接口（未示出）。每个SPU 1520A-H是RISC处理器，其以3.2GHz被时钟控制并包含256kB本地RAM 1530A-H，原则上可扩展为4GB。每个SPE给出单精度性能的理论25.6 GFLOPS。SPU在单个时钟循环内可以对4个单精度浮点成员，4个32比特数字，8个16比特整数，或者16个8比特整数操作。在相同的时钟循环内，该SPU还能执行存储操作。SPU 1520A-H不直接访问系统存储器XDRAM 1426；由SPU 1520A-H形成的64比特地址被传递给MFC 1540A-H，该MFC指示其DMAC控制器1542A-H通过EIB 1580和存储器控制器1560访问存储器。
元件互连总线（EIB）1580是Cell处理器1428内部的逻辑循环通信总线，其连接以上处理器元件，即PPE 1550，存储器控制器1560，双总线接口控制器1570A,B以及8个SPE 1510A-H，总计12个参与者。参与者可以以每时钟循环8字节的速率对总线同时地读和写。如前所注释的，每个SPE 1510A-H包含DMAC 1542A-H，用于调度较长的读或写序列。EIB包含4个通道，其中两个分别沿顺时针方向和逆时针方向。因此对12个参与者，任意两个参与者之间最长的逐步数据流在适当方向上是6步。因此，在通过在参与者之间仲裁的充分利用事件中，用于12槽的理论峰值瞬时EIB带宽为每时钟96B。这等于在3.2GHz时钟速率时307.2GB/s（每秒千兆字节）的理论峰值带宽。
存储器控制器1560包含由Rambus公司开发的XDRAM接口1378。存储器控制器以25.6GB/s的理论峰值带宽与Rambus XDRAM 1426相连。
双总线接口控制器1570A，B包含Rambus FlexIO®系统接口1572A，B。接口被组织成12个通道，每个通道为8比特宽，其中5个路径是入站，7个是出站。
要理解的是以上描述意图是说明性的，而不是限制性的。例如，尽管图中的流程图示出由本发明的某些实施例执行的特定操作顺序，应当理解的是，这样的顺序并不是需要的（例如，替换的实施例可以以不同的顺序执行操作，组合某些操作，重叠某些操作，等等）。此外，在阅读和理解以上描述时，许多其他的实施例将对于本领域技术人员是显而易见的。虽然参照具体示范性实施例描述了本发明，但将认识到，本发明并不局限于所述的实施例，而是可以在所附的权利要求的精神和范围内以修改与改动来实施。因此，本发明的范围应当参照所附的权利要求连同这样的权利要求所授权给的等价物的全部范围来确定。

Claims (23)

1.一种适配显示的方法，包括：
在显示屏上呈现输出；
对观看显示屏输出的用户的视线模式进行跟踪；
基于所呈现的输出和所跟踪的视线模式生成轮廓，
基于所生成的轮廓，确定显示屏的被用户正关注的子区域；以及
通过相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量来修改显示屏输出。
2.权利要求1的方法，其中通过将不受关注的子区域的分辨率改变为低于受关注的子区域分辨率来修改显示屏输出，或者通过将受关注的子区域的分辨率改变为高于不受关注的子区域分辨率来修改。
3.权利要求1的方法，其中生成轮廓包括以下之一：
基于所跟踪的视线模式在图像数据帧的特定位置处发起轮廓探测算法，并且生成轮廓，所述轮廓包含所跟踪的视线模式的阈值量；和
对图像数据帧发起轮廓探测算法并且基于在所跟踪的视线模式和多个轮廓之一之间的重叠水平来选择所述多个轮廓之一。
4.权利要求1的方法，进一步包括：
利用视频图像传感器收集图像数据帧；和
其中通过相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量来修改显示屏输出包括：
以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率将所收集的图像数据帧传输给计算平台；
利用计算平台将所收集的图像数据帧的第一和第二部分聚集成重构图像数据帧；并且
在显示屏上显示重构图像数据帧。
5.权利要求4的方法，其中以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率将所收集的图像数据帧传输给计算平台包括：
对于所收集的图像数据帧的第一部分比对于所收集的图像数据帧的第二部分应用较低的帧内或帧间压缩；或者
对所收集的图像数据帧的第二部分进行次采样。
6.权利要求4的方法，其中图像数据帧以至少1920x1080像素的HD分辨率被收集，并且其中与受关注的子区域对应的重构图像数据帧以HD分辨率被显示，而不受关注的子区域以低于HD分辨率的分辨率被显示。
7.权利要求4的方法，其中基于所收集的图像数据帧跟踪用户的视线模式。
8.权利要求4的方法，其中通过对所收集的图像帧执行轮廓探测算法来确定与受关注的子区域对应的所收集的图像数据帧的部分。
9.权利要求8的方法，其中新的轮廓探测算法或者周期性地或者响应于接收到指示用户眨眼或者视线偏移高于阈值而被发起。
10.权利要求1的方法，其中针对多个用户中的每一个跟踪视线模式，其中确定由多个用户中的每一个关注的显示屏的子区域，并且其中针对每一个受关注的子区域修改显示屏输出。
11.权利要求10的方法，进一步包括，基于所收集的图像帧，将多个用户中的用户与输入设备关联，并且
其中只针对与输入设备相关联的用户执行视线模式跟踪。
12.一种非暂时计算机可读介质，具有其上所存储的一组指令，所述指令在被处理系统执行时，使处理系统执行权利要求1的方法。
13.一种自适应显示系统，包括：
具有显示屏的计算平台；
视线跟踪器，用于跟踪观看来自显示屏的输出的用户的视线模式；
视线方向分析器，用于基于所述输出和所跟踪的视线模式生成轮廓并且基于所生成的轮廓确定被用户正关注的显示屏的子区域；以及
自适应显示处理器，用于相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量。
14.权利要求13的系统，其中自适应显示处理器用于通过将不受关注的子区域的分辨率改变为低于受关注的子区域分辨率，或者通过将受关注的子区域的分辨率改变为高于不受关注的子区域分辨率来修改显示屏输出。
15.权利要求13的系统，其中视线方向分析器用于通过以下方式生成轮廓：
基于所跟踪的视线模式在图像数据帧的特定位置处发起轮廓探测算法，并且生成轮廓，所述轮廓包含所跟踪的视线模式的阈值量；和
对图像数据帧发起轮廓探测算法并且基于在所跟踪的视线模式和多个轮廓之一之间的重叠水平来选择所述多个轮廓之一。
16.权利要求13的系统，进一步包括视频图像传感器，用来收集图像数据帧，并且其中自适应显示处理器用于相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量包括：
自适应显示处理器，用于以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率使所收集的图像数据帧传输给计算平台，并且
其中计算平台用于将所收集的图像数据帧的第一和第二部分聚集成重构图像数据帧，并且
其中显示屏用于显示重构图像数据帧。
17.权利要求16的系统，其中自适应显示处理器，用于以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率使所收集的图像数据帧传输给计算平台，包括：
压缩引擎，用于对于所收集的图像数据帧的第一部分比对于所收集的图像数据帧的第二部分应用较低的帧内或帧间压缩；或者
其中自适应显示处理器用于对所收集的图像数据帧的第二部分进行次采样。
18.权利要求16的系统，其中视频图像传感器用于以至少1920x1080像素的HD分辨率收集图像数据帧，并且其中显示屏用于以HD分辨率显示与受关注的子区域对应的重构图像数据帧并且以低于HD分辨率的分辨率显示不受关注的子区域。
19.权利要求13的系统，其中视线跟踪器用于基于所收集的图像数据帧跟踪用户的视线模式。
20.权利要求16的系统，其中视线方向分析器用于通过对所收集的图像帧执行轮廓探测算法来确定与受关注的子区域对应的所收集的图像数据帧的部分。
21.权利要求20的系统，其中视线方向分析器用于或者周期性地或者响应于接收到指示用户眨眼或者视线偏移高于阈值而发起新的轮廓探测算法。
22.权利要求13的系统，其中视线跟踪器用于对于多个用户中的每一个跟踪视线模式，其中视线方向分析器用于确定由多个用户中的每一个关注的显示屏的子区域。
23.权利要求22的系统，进一步包括可被计算平台识别的用户输入设备，并且其中视线跟踪器用于只跟踪基于所收集的图像数据帧与输入设备相关联的用户的视线模式。
CN201310454920.6A 2010-12-08 2011-06-15 利用视线跟踪的自适应显示 Active CN103559006B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US12/963,100 US8493390B2 (en) 2010-12-08 2010-12-08 Adaptive displays using gaze tracking
US12/963100 2010-12-08
US12/963,100 2010-12-08
CN201180059058.8A CN103249352B (zh) 2010-12-08 2011-06-15 利用视线跟踪的自适应显示

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180059058.8A Division CN103249352B (zh) 2010-12-08 2011-06-15 利用视线跟踪的自适应显示

Publications (2)

Publication Number Publication Date
CN103559006A true CN103559006A (zh) 2014-02-05
CN103559006B CN103559006B (zh) 2017-11-07

Family

ID=46198842

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180059058.8A Active CN103249352B (zh) 2010-12-08 2011-06-15 利用视线跟踪的自适应显示
CN201310454920.6A Active CN103559006B (zh) 2010-12-08 2011-06-15 利用视线跟踪的自适应显示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180059058.8A Active CN103249352B (zh) 2010-12-08 2011-06-15 利用视线跟踪的自适应显示

Country Status (5)

Country Link
US (1) US8493390B2 (zh)
EP (1) EP2648604B1 (zh)
JP (1) JP6034799B2 (zh)
CN (2) CN103249352B (zh)
WO (1) WO2012078207A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
CN105635624A (zh) * 2014-10-27 2016-06-01 华为技术有限公司 视频图像的处理方法、设备及系统
CN106164818A (zh) * 2014-03-20 2016-11-23 微软技术许可有限责任公司 使用随着时间的眼睛注视评估进行选择
CN107431805A (zh) * 2014-12-22 2017-12-01 三星电子株式会社 编码方法和装置以及解码方法和装置
CN107548557A (zh) * 2015-04-22 2018-01-05 三星电子株式会社 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
CN107870671A (zh) * 2017-10-26 2018-04-03 广东欧珀移动通信有限公司 显示处理方法及相关产品
CN109587344A (zh) * 2018-12-28 2019-04-05 北京七鑫易维信息技术有限公司 基于移动终端的通话控制方法、装置、移动终端及介质
CN110023881A (zh) * 2016-12-01 2019-07-16 上海云英谷科技有限公司 基于区域的显示数据处理和传输
CN110809889A (zh) * 2018-06-04 2020-02-18 京东方科技集团股份有限公司 处理具有减小的传输带宽的图像数据的方法和显示设备
WO2020206647A1 (zh) * 2019-04-11 2020-10-15 华为技术有限公司 跟随用户运动控制播放视频内容的方法和装置
CN112558902A (zh) * 2019-09-26 2021-03-26 苹果公司 用于动态中央凹显示器的与注视无关的抖动

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
KR20120058763A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US9454765B1 (en) * 2011-03-28 2016-09-27 Imdb.Com, Inc. Determining the effects of modifying a network page based upon implicit behaviors
US9442565B2 (en) 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US9098069B2 (en) 2011-11-16 2015-08-04 Google Technology Holdings LLC Display device, corresponding systems, and methods for orienting output on a display
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
US8988349B2 (en) * 2012-02-28 2015-03-24 Google Technology Holdings LLC Methods and apparatuses for operating a display in an electronic device
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US9239956B2 (en) * 2012-06-28 2016-01-19 Oliver Hein Method and apparatus for coding of eye and eye movement data
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US9131266B2 (en) 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users
US9245497B2 (en) 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
WO2014115387A1 (ja) * 2013-01-28 2014-07-31 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9912930B2 (en) * 2013-03-11 2018-03-06 Sony Corporation Processing video signals based on user focus on a particular portion of a video display
US9418617B1 (en) * 2013-03-13 2016-08-16 Google Inc. Methods and systems for receiving input controls
US9131989B2 (en) * 2013-03-23 2015-09-15 Controlrad Systems, Inc. Operating room environment
US9047042B2 (en) * 2013-04-19 2015-06-02 Qualcomm Incorporated Modifying one or more session parameters for a coordinated display session between a plurality of proximate client devices based upon eye movements of a viewing population
EP2804093A1 (en) 2013-05-13 2014-11-19 Sony Corporation A method for stabilization and a system thereto
WO2014188727A1 (ja) 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
US9544682B2 (en) * 2013-06-05 2017-01-10 Echostar Technologies L.L.C. Apparatus, method and article for providing audio of different programs
CA2913604A1 (en) 2013-06-05 2014-12-11 Thomson Licensing Method and apparatus for content distribution for multiscreen viewing
EP3005717B1 (en) * 2013-06-05 2020-05-27 InterDigital CE Patent Holdings Method and apparatus for content distribution for multiscreen viewing
EP3005707B1 (en) 2013-06-05 2017-10-04 Thomson Licensing Method and apparatus for content distribution for multiscreen viewing
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
WO2015027241A1 (en) 2013-08-23 2015-02-26 Tobii Technology Ab Systems and methods for providing audio to a user based on gaze input
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
CN103440038B (zh) * 2013-08-28 2016-06-15 中国人民大学 一种基于眼部识别的信息采集系统及其应用
TWI524211B (zh) * 2013-09-11 2016-03-01 萬國商業機器公司 電子裝置及其顯示角度調整方法
KR102081935B1 (ko) * 2013-09-30 2020-02-26 엘지전자 주식회사 멀티 시선 인식 장치 및 방법
WO2015065478A1 (en) * 2013-11-01 2015-05-07 Intel Corporation Gaze-assisted touchscreen inputs
KR20150054413A (ko) * 2013-11-12 2015-05-20 삼성전자주식회사 시선 데이터에 따라 컨텐츠의 위치를 결정하는 전자 장치 및 방법
US9219967B2 (en) 2013-11-25 2015-12-22 EchoStar Technologies, L.L.C. Multiuser audiovisual control
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9746941B2 (en) 2013-12-26 2017-08-29 Intel Corporation Sensors-based automatic reconfiguration of multiple screens in wearable devices and flexible displays
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
CN104932668A (zh) * 2014-03-20 2015-09-23 冠捷投资有限公司 显示系统的播放内容驱动装置及方法
EP3872767A1 (en) 2014-04-05 2021-09-01 Sony Interactive Entertainment LLC Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
CN103974115B (zh) * 2014-04-23 2017-07-11 京东方科技集团股份有限公司 一种高分辨率显示方法和系统
US10424103B2 (en) 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US10206568B2 (en) * 2014-05-23 2019-02-19 Natus Medical Incorporated Head mountable device for measuring eye movement
WO2015190093A1 (ja) * 2014-06-10 2015-12-17 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
US9958947B2 (en) * 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
CN104238751B (zh) 2014-09-17 2017-06-27 联想(北京)有限公司 一种显示方法及电子设备
US9977495B2 (en) * 2014-09-19 2018-05-22 Utherverse Digital Inc. Immersive displays
US10452136B2 (en) * 2014-10-13 2019-10-22 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
US9535497B2 (en) * 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
CN104461432B (zh) * 2014-12-19 2017-09-15 南京奥拓电子科技有限公司 一种增加led显示屏同步显示区间的方法
EP3040893B1 (en) * 2014-12-30 2019-01-30 Nokia Technologies OY Display of private content
CN104901939B (zh) * 2014-12-30 2019-01-08 腾讯科技（北京）有限公司 多媒体文件播放方法和终端及服务器
WO2016112531A1 (en) * 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
US11263794B2 (en) 2015-01-21 2022-03-01 Chengdu Idealsee Technology Co., Ltd. Binocular see-through AR head-mounted display device and information displaying method thereof
WO2016139532A1 (en) * 2015-03-03 2016-09-09 Alcatel Lucent Method and apparatus for transmitting a video
CN106162363B (zh) * 2015-03-03 2019-07-02 上海诺基亚贝尔股份有限公司 传输视频的方法和装置
US9704217B2 (en) 2015-04-20 2017-07-11 Intel Corporation Apparatus and method for non-uniform frame buffer rasterization
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
EP3104621B1 (en) * 2015-06-09 2019-04-24 Wipro Limited Method and device for dynamically controlling quality of a video
IN2015CH02866A (zh) * 2015-06-09 2015-07-17 Wipro Ltd
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US9900602B2 (en) 2015-08-20 2018-02-20 Citrix Systems, Inc. Optimizing remote graphics delivery and presentation
US10542315B2 (en) * 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
US10643381B2 (en) * 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10643296B2 (en) 2016-01-12 2020-05-05 Qualcomm Incorporated Systems and methods for rendering multiple levels of detail
US10810701B2 (en) 2016-02-09 2020-10-20 Sony Interactive Entertainment Inc. Video display system
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
GB2548151B (en) * 2016-03-11 2020-02-19 Sony Interactive Entertainment Europe Ltd Head-mountable display
US9990035B2 (en) 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze
US10460704B2 (en) * 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
EP3474276A4 (en) * 2016-06-15 2019-07-31 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US10678063B2 (en) * 2016-06-20 2020-06-09 Sharp Kabushiki Kaisha Image processing device, display device, control method for image processing device, and control program
US10805592B2 (en) 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US10440366B2 (en) 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
CN105979286A (zh) * 2016-07-05 2016-09-28 张程 一种复合分辨率的视频传输播放系统及方法
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
CN106095118B (zh) * 2016-08-18 2019-06-04 青岛海信医疗设备股份有限公司 一种用于医疗显示的光标移动方法、装置和医疗设备
CN106131693A (zh) * 2016-08-23 2016-11-16 张程 一种模块化的视频传输播放系统及方法
EP3516481B1 (en) * 2016-09-20 2022-01-19 Tobii AB Gaze and saccade based graphical manipulation
JP2019530928A (ja) * 2016-09-22 2019-10-24 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． グラフィカルユーザインタフェースに影響する情報の状態変化の不注意状態期間までの延期
KR102650215B1 (ko) 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
CN109863502A (zh) * 2016-11-10 2019-06-07 纽诺创科技术公司 将图像拍摄设备与人类用户相关联以分析认知能力的方法和系统
CN106802714A (zh) * 2016-12-08 2017-06-06 珠海格力电器股份有限公司 终端及其控制方法和装置
US11290699B2 (en) 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
US10123020B2 (en) * 2016-12-30 2018-11-06 Axis Ab Block level update rate control based on gaze sensing
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
CN107342047B (zh) 2017-01-03 2020-06-23 京东方科技集团股份有限公司 像素电路及其驱动方法、以及显示面板
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
JP6862202B2 (ja) 2017-02-08 2021-04-21 キヤノン株式会社 画像処理装置、撮像装置および制御方法
CN106899766A (zh) * 2017-03-13 2017-06-27 宇龙计算机通信科技(深圳)有限公司 一种安全提示方法及其装置及移动终端
US9986215B1 (en) 2017-03-23 2018-05-29 Microsoft Technology Licensing, Llc Laser scan beam foveated display
US11054886B2 (en) * 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10764552B2 (en) 2017-05-26 2020-09-01 Google Llc Near-eye display with sparse sampling super-resolution
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统
CN107333119A (zh) 2017-06-09 2017-11-07 歌尔股份有限公司 一种显示数据的处理方法和设备
CN107065197B (zh) * 2017-06-20 2020-02-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN107277474B (zh) * 2017-06-26 2019-06-25 深圳看到科技有限公司 全景画面生成方法及生成装置
CN107277419A (zh) * 2017-07-28 2017-10-20 京东方科技集团股份有限公司 一种显示装置及其显示方法
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
CN109426473B (zh) * 2017-08-25 2023-07-28 微软技术许可有限责任公司 无线可编程媒体处理系统
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
CN107977560B (zh) * 2017-11-23 2021-04-13 北京航空航天大学 基于视线追踪的身份认证方法及装置
US11221669B2 (en) * 2017-12-20 2022-01-11 Microsoft Technology Licensing, Llc Non-verbal engagement of a virtual assistant
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
CN108665521B (zh) * 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN110545430A (zh) * 2018-05-28 2019-12-06 北京松果电子有限公司 视频传输方法和装置
US11684305B2 (en) 2018-06-02 2023-06-27 Seyedhesam Sadeghian-Motahar Electrode array configuration on a flexible substrate for electro-oculogram recording
US11949943B2 (en) * 2018-07-16 2024-04-02 Arris Enterprises Llc Gaze-responsive advertisement
FR3090256B1 (fr) * 2018-12-12 2021-07-02 Orange Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants
US12003846B2 (en) 2019-02-12 2024-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Method, computer program, and devices for image acquisition
US11145844B2 (en) * 2019-02-27 2021-10-12 Int Tech Co., Ltd. Method for manufacturing electroluminescent device
CN113853598A (zh) * 2019-05-27 2021-12-28 索尼集团公司 人工智能信息处理装置及人工智能信息处理方法
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
CN110611815A (zh) * 2019-09-26 2019-12-24 深圳市半冬科技有限公司 一种视频输出方法、装置以及存储装置
JP7208128B2 (ja) * 2019-10-24 2023-01-18 キヤノン株式会社 撮像装置およびその制御方法
US10928904B1 (en) * 2019-12-31 2021-02-23 Logitech Europe S.A. User recognition and gaze tracking in a video system
US11163995B2 (en) 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
JP7380299B2 (ja) * 2020-02-18 2023-11-15 株式会社デンソー 表示制御装置および表示装置
US11625973B2 (en) * 2020-04-22 2023-04-11 Igt Multi-user gaze detection at electronic gaming devices
JP7542994B2 (ja) * 2020-05-26 2024-09-02 キヤノン株式会社 電子機器
US11822715B2 (en) 2020-07-09 2023-11-21 Apple Inc. Peripheral luminance or color remapping for power saving
CN112463090B (zh) * 2020-10-30 2024-06-07 维沃软件技术有限公司 分辨率调整方法、装置、设备及介质
US20230409111A1 (en) * 2020-11-18 2023-12-21 Magic Leap, Inc. Eye tracking based video transmission and compression
US20240036643A1 (en) * 2020-12-07 2024-02-01 Viewpointsystem Gmbh Method for implementing a zooming function in an eye tracking system
CN114935971B (zh) * 2021-02-05 2024-08-20 京东方科技集团股份有限公司 显示装置和显示驱动方法
KR102464735B1 (ko) * 2021-04-21 2022-11-09 충남대학교산학협력단 가상현실 기반의 양방향 척추 내시경 수술 트레이닝 시스템
US11620000B1 (en) * 2022-03-31 2023-04-04 Microsoft Technology Licensing, Llc Controlled invocation of a precision input mode
US12053699B2 (en) * 2022-04-26 2024-08-06 Sony Interactive Entertainment Inc. Foveated enhancement of non-XR games within a HMD system
US20230381645A1 (en) * 2022-05-27 2023-11-30 Sony Interactive Entertainment LLC Methods and systems to activate selective navigation or magnification of screen content

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US20040103111A1 (en) * 2002-11-25 2004-05-27 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US7508545B2 (en) * 2004-09-27 2009-03-24 Eastman Kodak Company Color contour detection and correction
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
JPH1185442A (ja) * 1997-09-03 1999-03-30 Sanyo Electric Co Ltd 情報出力装置
US6182114B1 (en) 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
JP2000132152A (ja) * 1998-10-27 2000-05-12 Sharp Corp 表示装置
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
JP4585380B2 (ja) * 2005-06-03 2010-11-24 日本電信電話株式会社 次発言者検出方法、装置、およびプログラム
JP5115151B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
JP2010263394A (ja) * 2009-05-07 2010-11-18 Panasonic Corp 映像信号処理装置
US20130125155A1 (en) * 2010-07-26 2013-05-16 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US20060187305A1 (en) * 2002-07-01 2006-08-24 Trivedi Mohan M Digital processing of video images
US20040103111A1 (en) * 2002-11-25 2004-05-27 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US7508545B2 (en) * 2004-09-27 2009-03-24 Eastman Kodak Company Color contour detection and correction
CN101588445A (zh) * 2009-06-09 2009-11-25 宁波大学 一种基于深度的视频感兴趣区域提取方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164818A (zh) * 2014-03-20 2016-11-23 微软技术许可有限责任公司 使用随着时间的眼睛注视评估进行选择
CN106164818B (zh) * 2014-03-20 2019-04-26 微软技术许可有限责任公司 使用随着时间的眼睛注视评估进行选择
CN105635624A (zh) * 2014-10-27 2016-06-01 华为技术有限公司 视频图像的处理方法、设备及系统
CN105635624B (zh) * 2014-10-27 2019-05-03 华为技术有限公司 视频图像的处理方法、设备及系统
CN107431805A (zh) * 2014-12-22 2017-12-01 三星电子株式会社 编码方法和装置以及解码方法和装置
US11310514B2 (en) 2014-12-22 2022-04-19 Samsung Electronics Co., Ltd. Encoding method and apparatus using non-encoding region, block-based encoding region, and pixel-based encoding region
CN107431805B (zh) * 2014-12-22 2020-08-18 三星电子株式会社 编码方法和装置以及解码方法和装置
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示系统及影像低频宽传输方法
US11050810B2 (en) 2015-04-22 2021-06-29 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
CN107548557A (zh) * 2015-04-22 2018-01-05 三星电子株式会社 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
CN110023881B (zh) * 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
CN110023881A (zh) * 2016-12-01 2019-07-16 上海云英谷科技有限公司 基于区域的显示数据处理和传输
CN107870671A (zh) * 2017-10-26 2018-04-03 广东欧珀移动通信有限公司 显示处理方法及相关产品
CN107870671B (zh) * 2017-10-26 2021-04-16 Oppo广东移动通信有限公司 显示处理方法及相关产品
CN110809889B (zh) * 2018-06-04 2022-01-18 京东方科技集团股份有限公司 处理具有减小的传输带宽的图像数据的方法和显示设备
US11295709B2 (en) 2018-06-04 2022-04-05 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing image data with reduced transmission bandwidth for display
CN110809889A (zh) * 2018-06-04 2020-02-18 京东方科技集团股份有限公司 处理具有减小的传输带宽的图像数据的方法和显示设备
CN109587344A (zh) * 2018-12-28 2019-04-05 北京七鑫易维信息技术有限公司 基于移动终端的通话控制方法、装置、移动终端及介质
WO2020206647A1 (zh) * 2019-04-11 2020-10-15 华为技术有限公司 跟随用户运动控制播放视频内容的方法和装置
CN112558902A (zh) * 2019-09-26 2021-03-26 苹果公司 用于动态中央凹显示器的与注视无关的抖动
CN112558902B (zh) * 2019-09-26 2024-09-24 苹果公司 用于动态中央凹显示器的与注视无关的抖动

Also Published As

Publication number Publication date
EP2648604A1 (en) 2013-10-16
EP2648604A4 (en) 2014-11-26
CN103559006B (zh) 2017-11-07
WO2012078207A1 (en) 2012-06-14
CN103249352A (zh) 2013-08-14
JP6034799B2 (ja) 2016-11-30
JP2014508311A (ja) 2014-04-03
US20120146891A1 (en) 2012-06-14
CN103249352B (zh) 2015-06-17
EP2648604B1 (en) 2021-12-22
US8493390B2 (en) 2013-07-23

Similar Documents

Publication Publication Date Title
CN103249352B (zh) 利用视线跟踪的自适应显示
EP3749427B1 (en) Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
US8142288B2 (en) Base station movement detection and compensation
JP5654430B2 (ja) 家庭用ゲームシステムにおいて実行中のゲーム又はアプリケーションをリアルタイムに記録又は変更するための携帯型ゲーム装置の使用
CN104010706B (zh) 视频游戏的方向输入
CN111801147B (zh) 机器人的社交媒体连接
WO2010151436A2 (en) Configuration of display and audio parameters for computer graphics rendering system having multiple displays
GB2476711A (en) Using multi-modal input to control multiple objects on a display
CN103404169A (zh) 采用基于图像的源位置的麦克风阵列转向
CN103390287A (zh) 用于增强现实的装置和方法
CN102027434A (zh) 具有集成摄像头的控制器以及和交互式应用相接口的方法
TW201544996A (zh) 用於一或更多使用者的凝視追蹤
US20120293630A1 (en) Method and apparatus for multi-camera motion capture enhancement using proximity sensors
CN104935926A (zh) 用于估计压缩的动态视频质量的技术
JP5396486B2 (ja) 画像内の形状のブルーミングの補償
KR102165026B1 (ko) 360도 ar 입체영상 체험 시스템
CN202838442U (zh) 一种全景视频的展示与交互系统
WO2010116171A1 (en) Transmission of video images modified based on stereoscopic video image acquisition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant