CN110140353A - 用于适用于人类视觉机制的头戴式显示器的系统和方法 - Google Patents

用于适用于人类视觉机制的头戴式显示器的系统和方法 Download PDF

Info

Publication number
CN110140353A
CN110140353A CN201780027205.0A CN201780027205A CN110140353A CN 110140353 A CN110140353 A CN 110140353A CN 201780027205 A CN201780027205 A CN 201780027205A CN 110140353 A CN110140353 A CN 110140353A
Authority
CN
China
Prior art keywords
central fovea
frame buffer
display
pixel
exterior domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780027205.0A
Other languages
English (en)
Inventor
D·莫洛尼
B·巴里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movidius Co Ltd
Original Assignee
Linear Algebra Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linear Algebra Technologies Ltd filed Critical Linear Algebra Technologies Ltd
Publication of CN110140353A publication Critical patent/CN110140353A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

提供了用于渲染双眼特定的显示器的系统和方法。在一些实现方式中，系统基于用户的脑电图(EEG)跟踪用户的眼部移动和/或位置，以正确地标记显示器的中心(中央凹)区和外围(中央凹外)区。中央凹数据完全渲染，而中央凹外数据的分辨率降低，并且在一些实现方式中，中央凹外数据在两个显示器之间共享。

Description

用于适用于人类视觉机制的头戴式显示器的系统和方法
技术领域
本申请总体上涉及计算机视觉处理，并且更具体地，涉及头戴式显示器中的高效图像模拟。
背景技术
计算机(特别是与图形硬件和软件相关的计算机)的速度和敏锐度的持续进步最近已经关于沉浸式计算机生成的环境产生了实际上数十年的愿望。现在正在开发具有肢体跟踪、触觉反馈和头戴式感测设备的虚拟现实设备以供消费者使用。随着尖端系统尝试提供更令人印象深刻和真实的人工环境，对图形系统的需求仍然很强烈。另外，以硬件和软件两者的高效渲染和显示仍然至关重要。
计算机图形和图像技术的进步已经产生了新一代头戴式显示设备，其意图是为用户提供尽可能真实的视觉体验。用于这些设备的典型方法是使用由帧缓冲器支持的常规LCD显示面板，帧缓冲器表示输出帧中的每个像素。
这种方法在功率和面积方面是浪费的，因为该方法没有考虑人类视觉系统。人类视网膜在中心或中央凹处具有高分辨率，中心或中央凹是密集地填充有感光体并且负责视神经中一半的神经纤维的小区域。视网膜的其余部分提供较低的分辨率和降低的感光体密度。人类视觉系统通过使中央凹围绕场景进行扫描并且在视觉皮层中维持场景的内部心理模型来给出均匀高分辨率的幻像。
发明内容
根据所公开的主题，提供了用于渲染双眼特定的显示器的系统和方法。意识到中央凹外人类视觉的分辨率限制提供了通过使花费在中央凹外渲染上的资源最小化来节省资源的机会。在一些实现方式中，系统基于用户的脑电图(EEG)跟踪用户的眼部移动和/或位置，以正确地标记显示器的中心(中央凹)区和外围(中央凹外)区。中央凹数据完全渲染，而中央凹外数据的分辨率降低，并且在一些实现方式中，中央凹外数据在两个显示器之间共享。
根据所公开的主题，提供了适用于人类视觉机制的头戴式显示器的系统和方法。在一个实施例中，本公开涉及一种具有对用户的双眼的眼部跟踪的头戴式显示设备。该设备包括用于左眼的第一显示器和用于右眼的第二显示器。该设备还可以包括耦合到第一显示器和第二显示器的存储器。存储器可以包括用于第一显示器的第一帧缓冲器和用于第二显示器的第二帧缓冲器，并且第一帧缓冲器可以包括第一中央凹帧缓冲器和第一中央凹外帧缓冲器，并且第二帧缓冲器可以包括第二中央凹帧缓冲器和第二中央凹外帧缓冲器。该设备还可以包括耦合到存储器的一个或多个处理器。一个或多个处理器可以被配置为接收佩戴头戴式显示器的用户的眼部跟踪信息。眼部跟踪信息可以包括用户的眼部移动和眼部位置中的至少一个。一个或多个处理器还可以被配置为基于眼部跟踪信息来确定第一显示器的第一中央凹区域、第一显示器的第一中央凹外区域、第二显示器的第二中央凹区域以及第二显示器的第二中央凹外区域。一个或多个处理器还可以被配置为将第一中央凹区域的第一中央凹区域像素、第一中央凹外区域的第一中央凹外区域像素、第二中央凹区域的第二中央凹区域像素、第二中央凹外区域的第二中央凹外区域像素加载到存储器中。第一中央凹区域像素可以以全分辨率表示并被加载到第一中央凹帧缓冲器中。第一中央凹外区域像素可以以降低的分辨率表示并被加载到第一中央凹外帧缓冲器中。第二中央凹区域像素可以以全分辨率表示并被加载到第二中央凹帧缓冲器中。第二中央凹外区域像素可以以降低的分辨率表示并被加载到第二中央凹外帧缓冲器中。
根据该实施例的其他方面，眼部跟踪信息可以基于直接或倾斜地到用户的眼部上的红外光投射。
根据该实施例的其他方面，眼部跟踪信息可以基于用户的脑电图(EEG)。
根据该实施例的其他方面，第一中央凹区域、第一中央凹外区域、第二中央凹区域或第二中央凹外区域中的至少一个是可调整的。
根据该实施例的其他方面，为了以降低的分辨率表示第一中央凹外区域像素和第二中央凹外区域像素，一个或多个处理器可以被配置为复制像素值。
根据该实施例的其他方面，一个或多个处理器还可以被配置为跨2×2像素、3×3像素、4×4像素或5×5像素中的至少一个复制像素值。
根据该实施例的其他方面，该设备还可以包括耦合到存储器以及第一显示器或第二显示器中的至少一个的显示串行接口。一个或多个处理器可以被配置为在从显示串行接口接收到像素值之后复制像素值。
根据该实施例的其他方面，该设备还可以包括多个显示串行接口。多个显示串行接口中的一些串行显示接口被配置为并行地传送与第一中央凹区域或第二中央凹区域中的至少一个相对应的显示数据。
根据该实施例的其他方面，第一中央凹外帧缓冲器和第二中央凹外帧缓冲器可以是共享的。
根据该实施例的其他方面，一个或多个处理器还可以被配置为以不同的速率对第一中央凹帧缓冲器和第一中央凹外帧缓冲器进行加载，并且以不同的速率对第二中央凹帧缓冲器和第二中央凹外帧缓冲器进行加载。
根据该实施例的其他方面，一个或多个处理器还可以被配置为在第一中央凹区域像素的深度平面与第一中央凹外区域像素的深度平面之间，以及在第二中央凹区域像素的深度平面与第二中央凹外区域像素的深度平面之间，应用阿尔法混合。
在另一实施例中，本公开涉及一种用于具有对用户的双眼的眼部跟踪的头戴式显示设备的方法。根据该方法，可以接收佩戴头戴式显示器的用户的眼部跟踪信息。眼部跟踪信息可以包括用户的眼部移动和眼部位置中的至少一个。基于眼部跟踪信息，可以确定用于左眼的第一显示器的第一中央凹区域、第一显示器的第一中央凹外区域、用于右眼的第二显示器的第二中央凹区域以及第二显示器的第二中央凹外区域。可以将第一中央凹区域的、以全分辨率表示的第一中央凹区域像素加载到用于第一显示器的第一帧缓冲器的第一中央凹帧缓冲器中。可以将第一中央凹外区域的、以降低的分辨率表示的第一中央凹外区域像素加载到用于第一显示器的第一帧缓冲器的第一中央凹外帧缓冲器中。可以将第二中央凹区域的、以全分辨率表示的第二中央凹区域像素加载到用于第二显示器的第二帧缓冲器的第二中央凹帧缓冲器中。可以将第二中央凹外区域的、以降低的分辨率表示的第二中央凹外区域像素加载到用于第二显示器的第二帧缓冲器的第二中央凹外帧缓冲器中。
在又一实施例中，本公开涉及一种存储计算机可读程序的非暂时性计算机可读介质，该计算机可读程序用于具有对用户的双眼的眼部跟踪的头戴式显示设备。该程序可以包括用于接收佩戴头戴式显示器的用户的眼部跟踪信息的计算机可读指令。眼部跟踪信息可以包括用户的眼部移动和眼部位置中的至少一个。该程序可以包括用于基于眼部跟踪信息来确定用于左眼的第一显示器的第一中央凹区域、第一显示器的第一中央凹外区域、用于右眼的第二显示器的第二中央凹区域以及第二显示器的第二中央凹外区域的计算机可读指令。该程序可以包括用于将第一中央凹区域的、以全分辨率表示的第一中央凹区域像素加载到用于第一显示器的第一帧缓冲器的第一中央凹帧缓冲器中的计算机可读指令。该程序可以包括用于将第一中央凹外区域的、以降低的分辨率表示的第一中央凹外区域像素加载到用于第一显示器的第一帧缓冲器的第一中央凹外帧缓冲器中的计算机可读指令。该程序可以包括用于将第二中央凹区域的、以全分辨率表示的第二中央凹区域像素加载到用于第二显示器的第二帧缓冲器的第二中央凹帧缓冲器中的计算机可读指令。该程序可以包括用于将第二中央凹外区域的、以降低的分辨率表示的第二中央凹外区域像素加载到用于第二显示器的第二帧缓冲器的第二中央凹外帧缓冲器中的计算机可读指令。
现在将参考如附图中所示的本发明的特定实施例更详细地描述本发明。尽管下面参考特定实施例描述了本公开，但是应该理解，本公开不限于此。能够获得本文的教导的本领域普通技术人员将认识到另外的实现方式、修改和实施例，以及其他使用领域，这些都在如本文描述的本公开的范围内，并且关于其而言本公开可能具有重要的实用性。
附图说明
当结合以下附图考虑时，参考以下对所公开的主题的详细描述，可以更全面地理解所公开的主题的各种目的、特征和优点，在附图中相同的附图标记标识相同的元素。附图是示意性的，而并非旨在按比例绘制。为清楚起见，并非每个组件在每幅图中都标记。在说明对于允许本领域普通技术人员理解所公开的主题而言不是必需的情况下，不会示出所公开的主题的每个实施例的每个组件。
图1示出了具有中央凹区域和中央凹外区域的示例场景。
图2示出了示例现有技术实现方式中的头戴式显示器。
图3是示出根据本公开的实施例的改进的头戴式显示器设计的框图。
图4是示出根据本公开的实施例的改进的头戴式显示器设计的框图。
图5是示出根据本公开的实施例的中央凹深度平面与中央凹外深度平面之间的阿尔法混合的框图，该阿尔法混合用于产生合成图像以用于到(多个)显示面板的传输。
图6是示出根据本发明的实施例的显示串行接口的输出的数据处理的框图。
图7示出了根据本公开的实施例的用于图形渲染的流程图。
具体实施方式
在以下描述中，阐述了关于所公开的主题的系统和方法以及这些系统和方法可以在其中操作的环境等的许多具体细节，以便提供对所公开的主题的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的主题，并且没有详细描述本领域公知的某些特征以避免使所公开的主题复杂化。另外，应当理解，下面提供的示例是示例性的，并且设想存在落入所公开的主题的范围内的其他系统和方法。
本发明利用具有眼部跟踪的头戴式显示器。支持帧缓冲器的显示面板用于渲染输出帧中的每个像素。测量眼部/瞳孔移动和/或位置，并将信息馈送到帧缓冲器管理器以控制帧缓冲器的加载，以及控制帧缓冲器中数据的表示。在中央凹区域中，像素以全精度表示，而在中央凹外区域中，进行细节上的折衷以提高效率。
中央凹外渲染技术可以包括降低的分辨率、降低的帧速率以及两个显示器之间的复制。显著地，这些技术应用于被识别为外围(中央凹外)的区域，而每个显示器的中心(中央凹)区域包括更详细的渲染。
在使用智能面板而不是在显示器的中央凹外区域中在帧缓冲器的输出处复制像素的情况下，可以跨接口传输压缩的表示，从而节省功率。然后可以在DSI接收器的输出上提供复制像素所要求的逻辑。
图1示出了具有中央凹区域和中央凹外区域的示例场景。区域100表示示例场景。区域100可以是虚拟现实场景的图像。区域104表示中央凹外区域。如上面描述的，视野的该部分投射到具有降低的受体和神经节密度的视网膜区域。人类可能会以低分辨率看到该部分。区域104可以是区域100内的一部分。人类典型地可以垂直地看到约135度，并且水平地约160度。因此，对象106和108的部分可能对于用户而言不在虚拟现实图像中渲染。区域102表示中央凹区域。视野的该部分(例如，5度或其他度数的中心圆)投射到称为中央凹的视网膜区域，中央凹紧密地填充有色锥受体。如上面描述的，区域102是用户可以非常详细地看到的区域。
图2示出了示例现有技术实现方式中的头戴式显示器。在图2中，示出了现有技术的头戴式显示器，其中由观察者的左眼和右眼解译的图像以全像素分辨率从一对显示缓冲器输出。如图2所示，头戴式显示器200包括用于用户左眼的显示面板201，用于用户右眼的显示面板202，经由串行/并行接口208连接到显示面板202的帧缓冲器203，经由串行/并行接口210连接到显示面板202的帧缓冲器204，包括帧缓冲器203和帧缓冲器204的存储器205，以及可以控制向帧缓冲器203/204加载像素/图像数据的处理器206。在该实施例中，以相同的分辨率渲染显示面板201和202的所有像素。在一些实施例中，显示面板201和202的所有像素以全分辨率渲染。该方法的一个缺点是存储要输出到两个显示器的像素所要求的数据存储器的量很大，尤其是在这些显示器的分辨率快速攀升到4k并且更高的情况下。另一个缺点是：由于经由串行/并行接口208/210传输大量数据，因此经由串行/并行接口208/210的传输可能成为性能瓶颈。
图3是示出根据本公开的实施例的改进的头戴式显示器设计的框图，其中利用阿尔法混合将单独的左中央凹显示器和右中央凹显示器与较低分辨率的中央凹外显示缓冲器组合，其中每个缓冲器通过使用红外投影和检测或基于EEG的眼部跟踪中的至少一个的眼部跟踪来控制。如图3所示，头戴式显示器300包括用于跟踪佩戴头戴式显示器的用户的眼部移动和/或位置的设备301/302。在一些实施例中，设备301/302将红外光投射到用户的眼部上以跟踪用户的眼部移动和位置。在一些实施例中，设备使用相机拍摄用户眼部的图片或视频。在其他实施例中，设备301/302检测用户的脑电图以跟踪用户的眼部移动和/或位置。设备301/302可以跟踪并记录脑波模式。例如，用户可以将电极附接到他/她的头皮，然后电极将信号发送到处理器304以记录信号并检测用户眼部的移动和/或位置(例如，检测瞳孔的移动和/或位置)。在一些实施例中，基于红外光跟踪和EEG跟踪两者来跟踪用户的眼部移动和位置。换言之，对两个结果进行组合以更准确地检测用户的眼部移动和/或位置。基于眼部跟踪信息，处理器304可以将对应于用户可以看到的内容的图像加载到存储器306中。在一个实施例中，与用户左眼的中央凹外区域相对应的像素被加载到中央凹外帧缓冲器308中并且以较低分辨率(例如，与可用图像数据的原始分辨率相比较低的分辨率)加载。与用户左眼的中央凹区域相对应的像素被加载到中央凹帧缓冲器310中并且以全分辨率(例如，可用图像数据的原始全分辨率)加载。与用户右眼的中央凹外区域相对应的像素被加载到中央凹外帧缓冲器312中并且以较低分辨率加载。与用户右眼的中央凹区域相对应的像素被加载到中央凹帧缓冲器314中并且以全分辨率加载。
在一些实施例中，将阿尔法混合316/318应用于相应帧缓冲器308/310/312/314中的像素，以创建部分透明度或全透明度的外观。阿尔法混合用于显示阿尔法位图，阿尔法位图是具有透明或半透明像素的位图。除了红色通道、绿色通道和蓝色通道外，阿尔法位图中的每个像素还具有被称为其阿尔法通道的透明度组件。阿尔法通道典型地包含与颜色通道一样多的位。例如，8位阿尔法通道可以表示256个透明度级别，从0(整个位图是透明的)到255(整个位图是不透明的)。
显示面板320/322可以显示包括较低分辨率像素和全分辨率像素的图像。
在一些实施方案中，如关于图1描述的，中央凹外区域的视野投射到具有降低的受体和神经节密度的视网膜区域。人类可能会以低分辨率看到该部分。中央凹区域的视野投射到称为中央凹的视网膜区域，中央凹紧密地填充有色锥受体。人类可能会以高分辨率看到该部分。中央凹区域可以是5度或其他度数的中心圆。人类典型地可以垂直地看到约135度，并且水平地约160度。中央凹外区域可以在中央凹区域之外，并且垂直地在135度内且水平地在160度内。在一些实施例中，中央凹区域和/或中央凹外区域的范围可以凭经验确定和/或经由硬件中的寄存器来编程。换言之，可能不需要在设计时确定中央凹区域和/或中央凹外区域。可以将硬件设计为使得中央凹区域可以延伸到整个视野，这可能是最坏的情况。在一些实施例中，可以实现软件，其控制确定中央凹区域和中央凹外区域的范围和/或其相对帧速率的寄存器。
在一些实施例中，系统可以逐渐测试并将中央凹区域调整到用户满意的点(例如，其不会使用户体验降级)。在其他实施例中，可以自动调整中央凹区域，例如，以节省电池能量。有一些显示而不是由于电池耗尽而无显示可能更好。
例如，在虚拟现实应用中，其中所有图像数据已经可用(例如，所有图像数据可用的游戏虚拟现实应用)，对应于(多个)中央凹区域的像素以全分辨率(即，可用图像数据的原始分辨率)被加载到(多个)中央凹帧缓冲器中。对应于(多个)中央凹外区域的像素以降低的分辨率被加载到(多个)中央凹外帧缓冲器中。例如，如下面详细描述的，并非来自可用图像数据的所有像素都被加载到中央凹外帧缓冲器中。而是，例如，对于与中央凹外区域相对应的可用图像数据的每个3×3像素，仅将一个像素加载到中央凹外帧缓冲器中，并且将该像素的值复制到其相邻的8个像素。换言之，像素的尺寸已经增加并且分辨率已经降低。在一些实施例中，降低的分辨率是低于原始全分辨率的分辨率。
中央凹区域的分辨率和/或帧速率可以与中央凹外区域的分辨率和/或帧速率不同。在一些实施例中，中央凹外区域可以以较低分辨率和/或较低帧速率表示。
在一些实施例中，可以并行使用多个显示串行接口。显示串行接口中的一些可以被配置为：与可以以相对较低的帧速率和/或分辨率传输的中央凹外数据相比，以相对较高的帧速率和/或分辨率并行地传送与中央凹区域相对应的显示数据。显示串行接口中的一些可以被配置为并行地传送与中央凹外区域相对应的显示数据。
在一些实现方式中，像素分辨率以各种(例如，多于两个)分辨率表示。例如，中央凹区域的像素(例如，5度或其他度数的中心圆)可以以全分辨率(例如，可用图像数据的原始全分辨率)来表示。接近中央凹区域的中央凹外区域的像素可以以中等分辨率表示，中等分辨率可以是仅略低于全分辨率的分辨率。并且，不接近中央凹区域的中央凹外区域的像素(例如，图像的外围部分或边缘)可以以较低分辨率表示，该较低分辨率可以是与中等分辨率相比更低的分辨率。
在一些实现方式中，处理器304可以是执行存储在有形计算机可读介质上的计算机可执行指令的通用处理器。在一些实现方式中，处理器304可以是或可以包括专用电路，例如，专用集成电路(ASIC)或现场可编程门阵列(FPGA)。在一些实现方式中，处理器304是用于加速图形处理的硬件的一部分。在一些实现方式中，处理器304是片上系统——将计算机或其他电子系统的所有组件集成到单个芯片中的集成电路(IC)。处理器304可以集成所有组件以实现帧缓冲器的高效图形处理和加载。
在一些实现方式中，对于中央凹外帧缓冲器308/312，跨2×2像素、3×3像素、4×4像素、5×5像素或其他多个像素复制像素值。换言之，不是将每个像素加载到中央凹外帧缓冲器308/312中，而是处理器304可以将与中央凹外区域相对应的像素子集加载到中央凹外帧缓冲器308/312中，并且复制像素值作为其相邻像素值并存储在中央凹外帧缓冲器中。在一些实施例中，中央凹外帧缓冲器308/312和中央凹帧缓冲器310/314以不同的速率(例如，不同的帧速率)被加载。例如，可以以60Hz对中央凹外帧缓冲器308/312进行加载，并且可以以120Hz对中央凹帧缓冲器310/314进行加载。可以以任何其他合适的速率对中央凹外帧缓冲器308/312和中央凹帧缓冲器310/314进行加载。
在一些实现方式中，显示面板320/322可以是LCD面板、LED面板或使用其他显示技术的显示面板。
图4是示出根据本公开的实施例的改进的头戴式显示器设计的框图，其具有单独的全分辨率左中央凹帧缓冲器和右中央凹帧缓冲器以及共享的较低分辨率中央凹外帧缓冲器。头戴式显示器400包括眼部跟踪设备401/402、处理器404、存储器406、中央凹帧缓冲器410/414、共享的中央凹外帧缓冲器408以及阿尔法混合416/418。眼部跟踪设备401/402、处理器404、存储器406、中央凹帧缓冲器410/414、共享的中央凹外帧缓冲器408以及阿尔法混合416/418类似于图3中的眼部跟踪设备301/302、处理器304、存储器306、中央凹帧缓冲器310/314以及阿尔法混合316/318。如图4所示，不是使用两个单独的中央凹外帧缓冲器(一个中央凹外帧缓冲器用于左眼的显示面板，并且另一中央凹外帧缓冲器用于右眼的显示面板)，在该实施例中，在两个显示面板之间共享中央凹外帧缓冲器。换言之，与针对中央凹外区域的图像数据的单元相对应的像素可以被分配单个对应的存储器空间，而不是一个存储器空间用于左眼的显示面板，并且另一个存储器空间用于右眼的显示面板。共享的中央凹外帧缓冲器410可以减少存储器空间要求。
图5是示出根据本公开的实施例的中央凹深度平面与中央凹外深度平面之间的阿尔法混合的框图，该阿尔法混合用于产生合成图像以用于到(多个)显示面板的输出。如图5所示，层502包括中央凹区域的以全分辨率的像素。层504包括中央凹外区域的以较低分辨率的像素。在一些实施例中，层502和层504彼此重叠。换言之，中央凹区域在层502中以全分辨率渲染并且在层504中以较低分辨率渲染。在该实施例中，层502中的像素的深度平面经由阿尔法混合503与层504中的像素的深度平面组合，以产生要传输到(多个)显示面板的图像501。这种混合可以实现平滑-阶梯转变，使得用于显示面板的包括中央凹区域和中央凹外区域的图像被平滑地合成。Smoothstep是插值函数。
图6是示出根据本公开的实施例的显示串行接口的输出的数据处理的框图。在该实施例中，并非对应于中央凹外区域的所有像素都被加载到中央凹外帧缓冲器602中。例如，对于每个3×3像素620，仅将像素622的一个像素值“x”加载到中央凹外帧缓冲器602中。作为另一示例，对于每个2×2像素、4×4像素或5×5像素，仅将一个像素值加载到中央凹外帧缓冲器中。在一些实现方式中，可以针对每个2×2像素、4×4像素或5×5像素将2个或更多个像素加载到中央凹外缓冲器中。像素数据/值经由串行/并行接口604传输到显示面板610。串行/并行接口604可以是显示串行接口。
在一些实施例中，处理器608接收串行/并行接口604的输出。过程608可以将像素值复制到其相邻像素。例如，如图6所示，可以将像素622的值“x”复制到相邻像素620，并且复制的像素值可以用于在显示面板610上渲染图像。因此，并非所有像素都需要存储在存储器中。换言之，存储器仅需要存储图像的压缩表示。例如，如图6所示，如果对于每个3×3像素，仅将一个像素加载到存储器中，则存储器仅需要存储总像素的1/9，并且针对每个3×3像素的9个像素中的8个可以由处理器608复制。
图7示出了根据本公开的实施例的用于图形渲染的流程图。
方法700可以包括接收佩戴头戴式显示器的用户的眼部跟踪信息(702)；基于眼部跟踪信息确定用于左眼的第一显示器的第一中央凹区域、第一显示器的第一中央凹外区域、用于右眼的第二显示器的第二中央凹区域以及第二显示器的第二中央凹外区域(704)；并且以全分辨率将第一中央凹区域的第一中央凹区域像素，以降低的分辨率将第一中央凹外区域的第一中央凹外区域像素，以全分辨率将第二中央凹区域的第二中央凹区域像素，以降低的分辨率将第二中央凹外区域的第二中央凹外区域像素加载到存储器中(706)。
方法700可以包括接收佩戴头戴式显示器的用户的眼部跟踪信息(702)。在一些实现方式中，如上面描述的，眼部跟踪信息可以基于到用户瞳孔上的红外光投射。在其他实现方式中，眼部跟踪信息可以基于用户的EEG(例如，可以将电极附接到用户的头皮，该电极然后可以将信号发送到处理器)。在另外的实现方式中，眼部跟踪信息可以从具有用户佩戴的嵌入式镜子或磁场传感器的特殊隐形眼镜获得。
在步骤704处，基于眼部跟踪信息，可以确定用于用户的左眼的显示面板的中央凹区域和中央凹外区域以及用于用户的右眼的显示面板的中央凹区域和中央凹外区域。
在步骤706处，可以将对应于中央凹区域的像素加载到一个或多个中央凹帧缓冲器中，并且可以以全分辨率来表示这些像素；可以将对应于中央凹外区域的像素加载到一个或多个中央凹外帧缓冲器中，并且可以以降低的分辨率来表示这些像素。如上面描述的，可以在用于左眼的显示面板与用于右眼的显示面板之间共享中央凹外缓冲器。像素值可以跨包括但不限于2×2像素、3×3像素、4×4面板或5×5像素被复制。其他多个像素是可能的。在一些实施例中，复制的值可以存储在帧缓冲器(例如，中央凹外帧缓冲器)中。在其他实施例中，可以处理显示串行接口的输出以复制像素值，这可以在存储器中实现压缩的存储。
应认识到，虽然本文已经描述了若干不同的布置，但是每个布置的特征可以有利地以各种形式组合在一起以实现优点。
在前述说明书中，已经参考具体示例描述了本申请。然而，显而易见的是，在不脱离如所附权利要求中阐述的本发明的更广泛的精神和范围的情况下，可以在其中进行各种修改和改变。例如，连接可以是适合于例如经由中间设备从相应节点、单元或设备或向相应节点、单元或设备传送信号的任何类型的连接。因此，除非暗示或另有说明，否则连接可以是例如直接连接或间接连接。
应理解，本文描绘的架构仅仅是示例性的，并且实际上可以实现许多实现相同的功能的其他架构。在抽象但仍然明确的意义上，实现相同功能的任何组件布置高效地“关联”，使得实现期望的功能。因此，本文中组合以实现特定功能的任何两个组件可以被视为彼此“相关联”，使得实现期望的功能，而不管架构或中间组件如何。同样地，如此关联的任何两个组件还可以被视为彼此“可操作地连接”或“可操作地耦合”，以实现期望的功能。
此外，本领域技术人员将认识到，上面描述的操作的功能之间的界限仅仅是说明性的。多个操作的功能可以组合成单个操作，和/或单个操作的功能可以分布在附加操作中。此外，替代实施例可以包括特定操作的多个实例，并且可以在各种其他实施例中改变操作的次序。
然而，其他修改、变化和替代也是可能的。因此，说明书和附图应被视为说明性的而非限制意义的。
在权利要求中，放在括号内的任何参考符号不应被解释为对权利要求的限制。“包括”一词不排除存在除权利要求中列出的元素或步骤之外的其他元素或步骤。此外，如本文使用的术语“一”或“一个”被定义为一个或多于一个。另外，在权利要求中使用诸如“至少一个”和“一个或多个”之类的引言短语不应被解释为暗示由不定冠词“一”或“一个”对另一权利要求元素的引入将包含这种引入的权利要求元素的任何特定的权利要求限制为仅包含一个这样的元素的发明，即使当相同的权利要求包括引言短语“一个或多个”或“至少一个”以及诸如“一”或“一个”之类的不定冠词时。对于使用定冠词同样如此。除非另有说明，否则诸如“第一”和“第二”之类的术语用于任意区分这些术语描述的元素。因此，这些术语不一定旨在指示这些元素的时间的或其他的优先次序。在彼此不同的权利要求中引述某些措施的不争事实并不指示这些措施的组合不能用于获益。

Claims (20)

1.一种具有对用户的双眼的眼部跟踪的头戴式显示设备，包括：
用于左眼的第一显示器；
用于右眼的第二显示器；
存储器，其耦合到所述第一显示器和所述第二显示器，包括用于所述第一显示器的第一帧缓冲器和用于所述第二显示器的第二帧缓冲器，其中，所述第一帧缓冲器包括第一中央凹帧缓冲器和第一中央凹外帧缓冲器，并且所述第二帧缓冲器包括第二中央凹帧缓冲器和第二中央凹外帧缓冲器；以及
一个或多个处理器，其耦合到所述存储器，被配置为：
接收佩戴所述头戴式显示器的所述用户的眼部跟踪信息，其中，所述眼部跟踪信息包括所述用户的眼部移动和眼部位置中的至少一个，
基于所述眼部跟踪信息，确定所述第一显示器的第一中央凹区域、所述第一显示器的第一中央凹外区域、所述第二显示器的第二中央凹区域以及所述第二显示器的第二中央凹外区域，以及
将所述第一中央凹区域的第一中央凹区域像素、所述第一中央凹外区域的第一中央凹外区域像素、所述第二中央凹区域的第二中央凹区域像素、所述第二中央凹外区域的第二中央凹外区域像素加载到所述存储器中，
其中：
所述第一中央凹区域像素是以全分辨率表示并被加载到所述第一中央凹帧缓冲器中的，
所述第一中央凹外区域像素是以降低的分辨率表示并被加载到所述第一中央凹外帧缓冲器中的，
所述第二中央凹区域像素是以全分辨率表示并被加载到所述第二中央凹帧缓冲器中的，并且
所述第二中央凹外区域像素是以降低的分辨率表示并被加载到所述第二中央凹外帧缓冲器中的。
2.根据权利要求1所述的设备，其中，所述眼部跟踪信息是基于到所述用户的双眼上的红外光投射或所述用户的脑电图(EEG)中的至少一个的。
3.根据权利要求1所述的设备，其中，所述第一中央凹区域、所述第一中央凹外区域、所述第二中央凹区域或所述第二中央凹外区域中的至少一个是可调整的。
4.根据权利要求1所述的设备，其中，为了以降低的分辨率表示所述第一中央凹外区域像素和所述第二中央凹外区域像素，所述一个或多个处理器被配置为复制像素值。
5.根据权利要求4所述的设备，其中，所述一个或多个处理器还被配置为跨2×2像素、3×3像素、4×4像素或5×5像素中的至少一个复制所述像素值。
6.根据权利要求4所述的设备，还包括：显示串行接口，其耦合到所述存储器以及所述第一显示器或所述第二显示器中的至少一个，其中，所述一个或多个处理器被配置为在从所述显示串行接口接收到所述像素值之后复制所述像素值。
7.根据权利要求1所述的设备，还包括：多个显示串行接口，其中，所述多个显示串行接口中的一些显示串行接口被配置为并行地传送与所述第一中央凹区域或所述第二中央凹区域中的至少一个相对应的显示数据。
8.根据权利要求1所述的设备，其中，所述第一中央凹外帧缓冲器和所述第二中央凹外帧缓冲器是共享的。
9.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：以不同的速率对所述第一中央凹帧缓冲器和所述第一中央凹外帧缓冲器进行加载，并且以不同的速率对所述第二中央凹帧缓冲器和所述第二中央凹外帧缓冲器进行加载。
10.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置为：在所述第一中央凹区域像素的深度平面与所述第一中央凹外区域像素的深度平面之间，以及在所述第二中央凹区域像素的深度平面与所述第二中央凹外区域像素的深度平面之间，应用阿尔法混合。
11.一种用于具有对用户的双眼的眼部跟踪的头戴式显示设备的方法，包括：
接收佩戴所述头戴式显示器的所述用户的眼部跟踪信息，其中，所述眼部跟踪信息包括所述用户的眼部移动和眼部位置中的至少一个；
基于所述眼部跟踪信息，确定用于左眼的第一显示器的第一中央凹区域、所述第一显示器的第一中央凹外区域、用于右眼的第二显示器的第二中央凹区域以及所述第二显示器的第二中央凹外区域；
将所述第一中央凹区域的、以全分辨率表示的第一中央凹区域像素加载到用于所述第一显示器的第一帧缓冲器的第一中央凹帧缓冲器中；
将所述第一中央凹外区域的、以降低的分辨率表示的第一中央凹外区域像素加载到用于所述第一显示器的所述第一帧缓冲器的第一中央凹外帧缓冲器中；
将所述第二中央凹区域的、以全分辨率表示的第二中央凹区域像素加载到用于所述第二显示器的第二帧缓冲器的第二中央凹帧缓冲器中；以及
将所述第二中央凹外区域的、以降低的分辨率表示的第二中央凹外区域像素加载到用于所述第二显示器的所述第二帧缓冲器的第二中央凹外帧缓冲器中。
12.根据权利要求11所述的方法，其中，所述眼部跟踪信息是基于到所述用户的眼部上的红外光投射或所述用户的脑电图(EEG)中的至少一个的。
13.根据权利要求11所述的方法，其中，所述第一中央凹区域、所述第一中央凹外区域、所述第二中央凹区域或所述第二中央凹外区域中的至少一个是可调整的。
14.根据权利要求11所述的方法，其中，为了以降低的分辨率表示所述第一中央凹外区域像素和所述第二中央凹外区域像素，还包括复制像素值。
15.根据权利要求14所述的方法，还包括：还包括在从显示串行接口接收到所述像素值之后复制所述像素值，其中，所述显示串行接口耦合到存储器以及所述第一显示器或所述第二显示器中的至少一个。
16.根据权利要求11所述的方法，其中，所述第一中央凹外帧缓冲器和所述第二中央凹外帧缓冲器是共享的。
17.根据权利要求11所述的方法，还包括：以不同的速率对所述第一中央凹帧缓冲器和所述第一中央凹外帧缓冲器进行加载，并且以不同的速率对所述第二中央凹帧缓冲器和所述第二中央凹外帧缓冲器进行加载。
18.根据权利要求11所述的方法，还包括：在所述第一中央凹区域像素的深度平面与所述第一中央凹外区域像素的深度平面之间，以及在所述第二中央凹区域像素的深度平面与所述第二中央凹外区域像素的深度平面之间，应用阿尔法混合。
19.根据权利要求11所述的方法，还包括：并行地传送与所述第一中央凹区域或所述第二中央凹区域中的至少一个相对应的显示数据。
20.一种存储计算机可读程序的非暂时性计算机可读介质，所述计算机可读程序用于具有对用户的双眼的眼部跟踪的头戴式显示设备，包括：
用于接收佩戴所述头戴式显示器的所述用户的眼部跟踪信息的计算机可读指令，其中，所述眼部跟踪信息包括所述用户的眼部移动和眼部位置中的至少一个；
用于基于所述眼部跟踪信息来确定用于左眼的第一显示器的第一中央凹区域、所述第一显示器的第一中央凹外区域、用于右眼的第二显示器的第二中央凹区域以及所述第二显示器的第二中央凹外区域的计算机可读指令；以及
用于将所述第一中央凹区域的、以全分辨率表示的第一中央凹区域像素加载到用于所述第一显示器的第一帧缓冲器的第一中央凹帧缓冲器中的计算机可读指令；
用于将所述第一中央凹外区域的、以降低的分辨率表示的第一中央凹外区域像素加载到用于所述第一显示器的所述第一帧缓冲器的第一中央凹外帧缓冲器中的计算机可读指令；
用于将所述第二中央凹区域的、以全分辨率表示的第二中央凹区域像素加载到用于所述第二显示器的第二帧缓冲器的第二中央凹帧缓冲器中的计算机可读指令；以及
用于将所述第二中央凹外区域的、以降低的分辨率表示的第二中央凹外区域像素加载到用于所述第二显示器的所述第二帧缓冲器的第二中央凹外帧缓冲器中的计算机可读指令。
CN201780027205.0A 2016-04-01 2017-03-10 用于适用于人类视觉机制的头戴式显示器的系统和方法 Pending CN110140353A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/088,816 2016-04-01
US15/088,816 US10460704B2 (en) 2016-04-01 2016-04-01 Systems and methods for head-mounted display adapted to human visual mechanism
PCT/IB2017/000283 WO2017168229A1 (en) 2016-04-01 2017-03-10 Systems and methods for head-mounted display adapted to human visual mechanism

Publications (1)

Publication Number Publication Date
CN110140353A true CN110140353A (zh) 2019-08-16

Family

ID=58692528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027205.0A Pending CN110140353A (zh) 2016-04-01 2017-03-10 用于适用于人类视觉机制的头戴式显示器的系统和方法

Country Status (6)

Country Link
US (2) US10460704B2 (zh)
EP (1) EP3437317A1 (zh)
JP (1) JP2019512750A (zh)
KR (1) KR102140389B1 (zh)
CN (1) CN110140353A (zh)
WO (1) WO2017168229A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN115032797A (zh) * 2022-06-30 2022-09-09 恒玄科技(上海)股份有限公司 用于无线智能眼镜的显示方法和无线智能眼镜

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
CN104469344B (zh) * 2014-12-03 2017-03-01 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备
US10353202B2 (en) * 2016-06-09 2019-07-16 Microsoft Technology Licensing, Llc Wrapped waveguide with large field of view
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
IL307594A (en) * 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
US10262387B2 (en) 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10553010B2 (en) 2017-04-01 2020-02-04 Intel IP Corporation Temporal data structures in a ray tracing architecture
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
GB2568261B (en) * 2017-11-08 2022-01-26 Displaylink Uk Ltd System and method for presenting data at variable quality
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US10977859B2 (en) 2017-11-24 2021-04-13 Frederic Bavastro Augmented reality method and system for design
US10580207B2 (en) * 2017-11-24 2020-03-03 Frederic Bavastro Augmented reality method and system for design
GB2569176B (en) * 2017-12-08 2022-04-13 Displaylink Uk Ltd Processing visual information for display on a screen
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN110858896B (zh) * 2018-08-24 2021-06-08 东方梦幻虚拟现实科技有限公司 一种vr图像处理方法
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
WO2020185219A1 (en) 2019-03-13 2020-09-17 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
GB2583741B (en) * 2019-05-08 2022-03-16 Univ Newcastle Kinase screening assays
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
US11307655B2 (en) * 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
US11093033B1 (en) * 2019-10-28 2021-08-17 Facebook, Inc. Identifying object of user focus with eye tracking and visually evoked potentials
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
US11568783B1 (en) * 2021-08-17 2023-01-31 Varjo Technologies Oy Display drivers, apparatuses and methods for improving image quality in foveated images
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
WO2024084819A1 (ja) * 2022-10-21 2024-04-25 パナソニックＩｐマネジメント株式会社 画像生成装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020158888A1 (en) * 1999-12-17 2002-10-31 Shigeru Kitsutaka Image generating system and program
CN101147174A (zh) * 2004-10-15 2008-03-19 微软公司 用于管理图像数据的传送和/或存储的系统和方法
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering
CN104956252A (zh) * 2012-11-28 2015-09-30 微软公司 用于近眼显示设备的外围显示器
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB710876A (en) 1951-04-27 1954-06-23 Chamberlain & Hookham Ltd Protective apparatus for electricity distributing systems
US3553651A (en) 1967-12-06 1971-01-05 Singer General Precision Memory storage system
US3919534A (en) 1974-05-17 1975-11-11 Control Data Corp Data processing system
US4281312A (en) 1975-11-04 1981-07-28 Massachusetts Institute Of Technology System to effect digital encoding of an image
GB1488538A (en) 1975-11-28 1977-10-12 Ibm Compressed refresh buffer
JPS6015771A (ja) 1983-07-08 1985-01-26 Hitachi Ltd ベクトルプロセッサ
US5081573A (en) 1984-12-03 1992-01-14 Floating Point Systems, Inc. Parallel processing system
US5226171A (en) 1984-12-03 1993-07-06 Cray Research, Inc. Parallel vector processing system for individual and broadcast distribution of operands and control information
CA1236584A (en) 1984-12-03 1988-05-10 William E. Hall Parallel processing system
US4850027A (en) 1985-07-26 1989-07-18 International Business Machines Corporation Configurable parallel pipeline image processing system
US5021945A (en) 1985-10-31 1991-06-04 Mcc Development, Ltd. Parallel processor system for processing natural concurrencies and method therefor
JPH0731669B2 (ja) 1986-04-04 1995-04-10 株式会社日立製作所 ベクトル・プロセツサ
GB2190560B (en) 1986-05-08 1990-06-20 Gen Electric Plc Data compression
JPH02290626A (ja) 1989-04-27 1990-11-30 Nhk Spring Co Ltd 金属ベローズの製造方法および製造装置
US5434623A (en) 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
US5262973A (en) 1992-03-13 1993-11-16 Sun Microsystems, Inc. Method and apparatus for optimizing complex arithmetic units for trivial operands
JPH05297853A (ja) * 1992-04-16 1993-11-12 Hitachi Ltd 表示制御装置
US5861873A (en) 1992-06-29 1999-01-19 Elonex I.P. Holdings, Ltd. Modular portable computer with removable pointer device
US5586300A (en) 1994-07-20 1996-12-17 Emc Corporation Flexible addressing memory controller wherein multiple memory modules may be accessed according to comparison of configuration addresses
FI97096C (fi) 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä
JP3727961B2 (ja) * 1994-10-28 2005-12-21 キヤノン株式会社 頭部装着型表示装置
GB2311882B (en) 1996-04-04 2000-08-09 Videologic Ltd A data processing management system
JPH1091441A (ja) 1996-09-13 1998-04-10 Sanyo Electric Co Ltd プログラム実行方法およびその方法を利用した装置
US5963642A (en) 1996-12-30 1999-10-05 Goldstein; Benjamin D. Method and apparatus for secure storage of data
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6009511A (en) 1997-06-11 1999-12-28 Advanced Micro Devices, Inc. Apparatus and method for tagging floating point operands and results for rapid detection of special floating point numbers
JPH1185512A (ja) 1997-09-03 1999-03-30 Fujitsu Ltd 命令圧縮格納および命令復元機能を有するデータ処理装置
US6173389B1 (en) 1997-12-04 2001-01-09 Billions Of Operations Per Second, Inc. Methods and apparatus for dynamic very long instruction word sub-instruction selection for execution time parallelism in an indirect very long instruction word processor
US6366999B1 (en) 1998-01-28 2002-04-02 Bops, Inc. Methods and apparatus to support conditional execution in a VLIW-based array processor with subword execution
US6717578B1 (en) 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
WO2000004484A2 (en) 1998-07-17 2000-01-27 Intergraph Corporation Wide instruction word graphics processor
WO2000013136A1 (en) 1998-08-31 2000-03-09 Digital Video Express, L.P. Watermarking system and methodology for digital multimedia content
US6839728B2 (en) 1998-10-09 2005-01-04 Pts Corporation Efficient complex multiplication and fast fourier transform (FFT) implementation on the manarray architecture
EP1190571A1 (en) 1999-04-08 2002-03-27 New York University Extremely high resolution foveated display
GB2348971B (en) 1999-04-09 2004-03-03 Pixelfusion Ltd Parallel data processing systems
US20080007562A1 (en) 1999-04-09 2008-01-10 Dave Stuttard Parallel data processing apparatus
US6535644B1 (en) * 1999-07-01 2003-03-18 Koninklijke Philips Electronics N.V. Hierarchical foveation based on wavelets
US6591019B1 (en) 1999-12-07 2003-07-08 Nintendo Co., Ltd. 3D transformation matrix compression and decompression
US6859870B1 (en) 2000-03-07 2005-02-22 University Of Washington Method and apparatus for compressing VLIW instruction and sharing subinstructions
US6779066B2 (en) 2000-05-01 2004-08-17 Matsushita Electric Industrial Co., Ltd. Module having application-specific program stored therein
WO2001084849A1 (en) 2000-05-03 2001-11-08 Clearstream Technologies Limited Video data transmission
GB2362055A (en) 2000-05-03 2001-11-07 Clearstream Tech Ltd Image compression using a codebook
GB2366643B (en) 2000-05-25 2002-05-01 Siroyan Ltd Methods of compressing instructions for processors
CA2357236C (en) 2000-10-17 2011-09-06 Spx Development Corporation Plug-in module for portable computing device
JP4046969B2 (ja) 2000-11-09 2008-02-13 キヤノン株式会社 画像処理装置、及びその方法、並びにプログラム、記憶媒体
US7305092B2 (en) 2000-12-19 2007-12-04 Qualcomm Incorporated Method and system to accelerate cryptographic functions for secure e-commerce applications
EP1241892A1 (de) 2001-03-06 2002-09-18 Siemens Aktiengesellschaft Hardware-Accelerator eines Systems zur Videoverarbeitung
US7395297B2 (en) 2001-05-25 2008-07-01 Sun Microsystems, Inc. Floating point system that represents status flag information within a floating point operand
US20030005261A1 (en) 2001-06-29 2003-01-02 Gad Sheaffer Method and apparatus for attaching accelerator hardware containing internal state to a processing core
US20030149822A1 (en) 2002-02-01 2003-08-07 Bryan Scott Method for integrating an intelligent docking station with a handheld personal computer
KR100464406B1 (ko) 2002-02-08 2005-01-03 삼성전자주식회사 가변길이 ｖｌｉｗ 명령어를 위한 디스패치 장치 및 방법
US7088777B2 (en) 2002-11-22 2006-08-08 Microsoft Corp. System and method for low bit rate watercolor video
US7038687B2 (en) 2003-06-30 2006-05-02 Intel Corporation System and method for high-speed communications between an application processor and coprocessor
US20080074431A1 (en) 2003-11-19 2008-03-27 Reuven Bakalash Computing system capable of parallelizing the operation of multiple graphics processing units (GPUS) supported on external graphics cards
US7050068B1 (en) * 2003-12-02 2006-05-23 Nvidia Corporation Generation of jittered sub-pixel samples using programmable sub-pixel offsets
US8028164B2 (en) 2004-03-19 2011-09-27 Nokia Corporation Practical and secure storage encryption
JP2005321479A (ja) * 2004-05-06 2005-11-17 Olympus Corp 頭部装着型表示装置
US20070291571A1 (en) 2006-06-08 2007-12-20 Intel Corporation Increasing the battery life of a mobile computing system in a reduced power state through memory compression
KR100828128B1 (ko) 2006-07-20 2008-05-09 에이디반도체(주) 시분할 복수 주파수를 이용하는 정전용량 검출방법 및검출장치
JP2008085388A (ja) 2006-09-25 2008-04-10 Fujifilm Corp 撮像装置
JP2010530087A (ja) * 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ
GB0700877D0 (en) 2007-01-17 2007-02-21 Linear Algebra Technologies Lt A device
GB2447494A (en) 2007-03-15 2008-09-17 Linear Algebra Technologies Lt A method and circuit for compressing data using a bitmap to identify the location of data values
GB2447428A (en) 2007-03-15 2008-09-17 Linear Algebra Technologies Lt Processor having a trivial operand register
US7755671B2 (en) 2007-04-23 2010-07-13 Hewlett-Packard Development Company, L.P. Correcting a captured image in digital imaging devices
JP2008277926A (ja) 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
US7884823B2 (en) 2007-06-12 2011-02-08 Microsoft Corporation Three dimensional rendering of display information using viewer eye coordinates
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
GB2457303A (en) 2008-02-11 2009-08-12 Linear Algebra Technologies Randomly accessing elements of compressed matrix data by calculating offsets from non-zero values of a bitmap
US7502918B1 (en) 2008-03-28 2009-03-10 International Business Machines Corporation Method and system for data dependent performance increment and power reduction
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP5079589B2 (ja) * 2008-04-30 2012-11-21 パナソニック株式会社 表示制御装置及び表示制御方法
US8200594B1 (en) 2008-09-10 2012-06-12 Nvidia Corporation System, method, and computer program product for accelerating a game artificial intelligence process
WO2010062481A1 (en) 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
US8130292B2 (en) 2008-12-31 2012-03-06 Aptina Imaging Corporation Scene illumination adaptive lens shading correction for imaging devices
FR2944662B1 (fr) * 2009-04-20 2011-06-03 Stmicroelectronics Wireless Sas Transmisssion video sur une interface serie
JP5169997B2 (ja) 2009-05-29 2013-03-27 ソニー株式会社 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011124954A (ja) 2009-12-14 2011-06-23 Canon Inc 画像処理方法及び画像処理装置
GB2476800A (en) 2010-01-07 2011-07-13 Linear Algebra Technologies Ltd Sparse matrix vector multiplier using a bit map of non-zero elements to control scheduling of arithmetic operations
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8464190B2 (en) 2011-02-17 2013-06-11 Maxeler Technologies Ltd. Method of, and apparatus for, stream scheduling in parallel pipelined hardware
US8711268B2 (en) 2011-05-17 2014-04-29 Samsung Electronics Co., Ltd. Methods and apparatuses for anti-shading correction with extended color correlated temperature dependency
JP2012256202A (ja) 2011-06-09 2012-12-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
US8914262B2 (en) 2011-11-08 2014-12-16 The Mathworks, Inc. Visualization of data dependency in graphical models
EP2786196A4 (en) * 2011-12-02 2015-11-11 Jerry G Aguren 3D STEREO VISION PLATFORM WITH OUTSTANDING VIEW AND DYNAMIC CONTROL OF THE OPERATION OF A DISPLAY UNDER OR ABOUT WATER
US9080916B2 (en) 2012-08-30 2015-07-14 Apple Inc. Correction factor for color response calibration
US9300846B2 (en) 2012-09-10 2016-03-29 Apple Inc. Signal shaping for improved mobile video communication
US9934043B2 (en) 2013-08-08 2018-04-03 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing computational imaging pipeline
US9196017B2 (en) 2013-11-15 2015-11-24 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing noise from an image
US9270872B2 (en) 2013-11-26 2016-02-23 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing shading effect from image
US9905046B2 (en) 2014-04-03 2018-02-27 Intel Corporation Mapping multi-rate shading to monolithic programs
JP2015222470A (ja) * 2014-05-22 2015-12-10 ソニー株式会社 映像表示装置、情報処理装置、及び映像表示システム
WO2016094928A1 (en) 2014-12-18 2016-06-23 Halgo Pty Limited Replicating effects of optical lenses
WO2016102365A1 (en) 2014-12-22 2016-06-30 Thomson Licensing Method and apparatus for generating an extrapolated image based on object detection
KR20170097745A (ko) 2014-12-22 2017-08-28 톰슨 라이센싱 재귀적 계층적 프로세스를 사용하여 외삽된 이미지를 생성하기 위한 장치 및 방법
US10152764B2 (en) 2015-03-24 2018-12-11 Intel Corporation Hardware based free lists for multi-rate shader
US11010956B2 (en) 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US10109039B1 (en) 2017-04-24 2018-10-23 Intel Corporation Display engine surface blending and adaptive texel to pixel ratio sample rate system, apparatus and method
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020158888A1 (en) * 1999-12-17 2002-10-31 Shigeru Kitsutaka Image generating system and program
CN101147174A (zh) * 2004-10-15 2008-03-19 微软公司 用于管理图像数据的传送和/或存储的系统和方法
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
CN104956252A (zh) * 2012-11-28 2015-09-30 微软公司 用于近眼显示设备的外围显示器
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110855972B (zh) * 2019-11-21 2021-07-27 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN115032797A (zh) * 2022-06-30 2022-09-09 恒玄科技(上海)股份有限公司 用于无线智能眼镜的显示方法和无线智能眼镜
CN115032797B (zh) * 2022-06-30 2023-12-08 恒玄科技(上海)股份有限公司 用于无线智能眼镜的显示方法和无线智能眼镜

Also Published As

Publication number Publication date
US10460704B2 (en) 2019-10-29
EP3437317A1 (en) 2019-02-06
WO2017168229A1 (en) 2017-10-05
US20200160818A1 (en) 2020-05-21
US20170287447A1 (en) 2017-10-05
KR20180131594A (ko) 2018-12-10
KR102140389B1 (ko) 2020-08-03
JP2019512750A (ja) 2019-05-16
WO2017168229A8 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN110140353A (zh) 用于适用于人类视觉机制的头戴式显示器的系统和方法
JP7506126B2 (ja) 仮想現実、拡張現実、および複合現実システムおよび方法
CN105992965B (zh) 响应于焦点移位的立体显示
CN108051925A (zh) 具有焦点可调透镜的眼镜设备
CN107430785A (zh) 用于显示三维对象的方法和系统
CN104167196B (zh) 一种背光亮度的调节方法、装置及电子设备
CN102813500A (zh) 基于双眼融合知觉矫治和训练系统
CN102813499B (zh) 基于双眼同时视知觉矫治和训练系统
US11640201B2 (en) Virtual reality-based eyeball tracking method and system
CN202776260U (zh) 基于双眼融合知觉矫治和训练系统
CN113611181B (zh) 一种虚拟仿真场景的立体显示方法及装置
McCann Naturalistic depth perception
Aranha et al. Perceived Rendering Thresholds for High-Fidelity Graphics on Small Screen Devices.
NZ791441A (en) Virtual, augmented, and mixed reality systems and methods
Riener et al. Visual Aspects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191021

Address after: Holland North Holland

Applicant after: Movidius Co., Ltd.

Address before: Ai Er Landubailin

Applicant before: Linear Algebra Technologies

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190816