CN113825003B - 帧速率同步的显示系统、显示器及显示接收帧的视频流的方法 - Google Patents

帧速率同步的显示系统、显示器及显示接收帧的视频流的方法 Download PDF

Info

Publication number
CN113825003B
CN113825003B CN202110472937.9A CN202110472937A CN113825003B CN 113825003 B CN113825003 B CN 113825003B CN 202110472937 A CN202110472937 A CN 202110472937A CN 113825003 B CN113825003 B CN 113825003B
Authority
CN
China
Prior art keywords
clock
frame
display system
video stream
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110472937.9A
Other languages
English (en)
Other versions
CN113825003A (zh
Inventor
S.M.科林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dualitas Ltd
Original Assignee
Daqri Holographics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daqri Holographics Ltd filed Critical Daqri Holographics Ltd
Publication of CN113825003A publication Critical patent/CN113825003A/zh
Application granted granted Critical
Publication of CN113825003B publication Critical patent/CN113825003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024—Hologram nature or properties
    • G03H1/0248—Volume holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0088—Adaptation of holography to specific applications for video-holography, i.e. integrating hologram acquisition, transmission and display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2223—Particular relationship between light source, hologram and observer
    • G03H2001/2231—Reflection reconstruction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/20—Nature, e.g. e-beam addressed
    • G03H2225/22—Electrically addressed SLM [EA-SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Systems (AREA)

Abstract

显示系统布置成接收帧的视频流以供显示。视频流的帧速率由包括(在帧之间的)多个第一时钟重置信号的第一时钟信号定义。显示系统的子帧速率由第二时钟信号定义，第二时钟信号包括(在子帧之间的)多个第二时钟重置信号。第二时钟重置信号为视频流的每个帧定义n个子帧。也就是说，显示系统的子帧速率比视频流的帧速率快n倍。显示系统被布置为使得每第n个第二时钟重置信号的持续时间与其他第二时钟重置信号的持续时间不同，从而保持视频流的帧与显示设备的子帧之间的同步。

Description

帧速率同步的显示系统、显示器及显示接收帧的视频流的 方法
技术领域
本公开涉及帧速率同步。更具体地，本公开涉及以第一帧速率接收的输入图像/视频流的帧与以大于第一帧速率的第二帧速率提供给显示设备的输出图像/视频流的帧的同步。帧速率同步技术可以用于将输入视频流同步到具有高帧速率的全息投影仪。
背景技术
从对象散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如光敏板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用适当的光照射来重建全息图，以形成代表原始对象的二维或三维全息重建或重放图像。
计算机生成全息术可以在数值上模拟干涉过程。可以通过基于诸如菲涅耳或傅立叶变换的数学变换的技术来计算计算机生成的全息图。这些类型的全息图可以被称为菲涅耳/傅立叶变化全息图，或简单称为菲涅耳/傅立叶全息图。傅立叶全息图可以被认为是对象的傅立叶域/平面表示或对象的频域/平面表示。例如，也可以通过相干射线追踪或点云技术来计算计算机生成的全息图。
计算机生成的全息图可以在空间光调制器上编码，该空间光调制器被布置成调制入射光的振幅和/或相位。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
空间光调制器通常包括多个可单独寻址的像素，这些像素也可以称为单元(cell)或元素。光调制方案可以是二进制、多级或连续的。可替代地，设备可以是连续的(即，不包括像素)，因此光调制可以在整个设备上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射方式输出。空间光调制器同样可以是透射的，这意味着调制光以透射方式输出。
可以使用本文所描述的系统来提供全息投影仪。例如，这种投影仪已经应用于平视显示器“HUD”和头戴显示器“HMD”，包括近眼设备。
在诸如全息投影仪之类的使用相干光的设备中，可以使用移动漫射器来改善图像质量。
在常规的显示系统中，第一子系统(例如，图像源)可以向第二子系统(例如，显示设备)提供视频流。通常，显示设备向图像源提供有关其优选显示设置和/或时钟的信息，并且图像源相应地适应视频流。然后，显示设备根据其自身的时钟(即，以其自身的帧刷新速率)简单地处理和显示输入视频流的图像帧。因此，图像源适应于显示设备的帧速率。
但是，最好改为使显示设备适应于图像源的帧速率。特别地，可以根据预定协议来接收数据作为视频流，该预定协议定义可接受的参数范围，例如帧速率、传输速度、数据有效载荷和定义的同步信号。但是，显示设备可以使用不同的协议，通常是供应商定义的数据传输协议，该协议为帧速率/刷新速率、传输速度等定义了不同的参数范围。
因此，第一子系统(图像源)使用第一同步系统或方案以第一时钟速率(帧速率)提供数据帧，第二子系统(显示设备)使用第二同步系统或方案以第二(不同的)时钟速率(帧速率/刷新速率)处理并显示数据帧。
对于本文所述的某些显示设备，可以将第二子系统(显示设备)的时钟/帧速率能被(例如，由供应商)定义为快速的--例如，比第一子系统(图像源)提供数据采用的时钟/帧速率快6到16倍。因此，输入图像/视频流的每一帧作为同一帧的多个连续子帧的序列被多次显示。然而，在显示设备上处理并显示的帧的最后一个子帧的结束时间需要与图像源提供下一帧的时间同步。传统上，这是通过所谓的“丢帧”来处理的。在丢帧方案中，允许图像源和显示设备的帧/时钟速率相对于彼此以异步模式进行操作，但是系统会检测到两个帧/时钟速率何时彼此不同步已超过阈值时间(例如，超出定义的时间窗口)。发生这种情况时，显示设备通常无法处理和显示来自图像源的下一帧，以显示为下一个子帧。根据丢帧方案，从图像源传输的下一帧将被全部丢掉，并再次显示当前帧。下一帧的丢弃使同步得以恢复。例如，通过丢弃每第m帧，并且可选地，每第m帧添加任何必要的时间延迟，可以恢复同步。此后，在丢弃的帧之后的帧的显示可以继续进行，直到需要下一次丢帧为止。两次丢帧之间的时间(或帧数)将取决于图像源和显示设备的时钟/帧速率的相互关系。
丢帧是不希望的，因为视频序列的某些帧根本没有显示给观看者。因此，寻求用于帧速率同步的改进技术。
发明内容
本公开的各方面在所附的独立权利要求中定义。
提供了一种显示系统，其布置成接收帧的视频流以供显示。视频流的帧速率由包括(在帧之间)多个第一时钟重置信号的第一时钟信号定义。显示系统的子帧速率由第二时钟信号定义，第二时钟信号包括(在子帧之间)多个第二时钟重置信号。第二时钟重置信号为视频流的每个帧定义n个子帧。也就是说，显示系统的子帧速率比视频流的帧速率快n倍。显示系统被布置为使得每第n个第二时钟重置信号的持续时间与其他第二时钟重置信号的持续时间不同，从而保持视频流的帧与显示系统的子帧之间的同步。
本文公开了一种显示系统，其布置成接收帧的视频流以供显示。该显示系统可以包括诸如全息显示设备的显示设备(例如空间光调制器)。视频流具有由第一时钟信号(例如，垂直同步或“V-Sync”信号)定义的帧速率。第一时钟信号包括多个第一时钟重置信号(例如，第一V-Sync重置信号)。在每个第一时钟重置信号之后提供视频流的下一帧。显示系统具有子帧速率，其中，子帧速率大于帧速率。子帧速率由第二时钟信号定义。第二时钟信号包括多个第二时钟重置信号。在每个第二时钟重置信号之后，显示设备显示下一个子帧。第二时钟重置信号为视频流的每一帧定义n个子帧。也就是说，显示系统的子帧速率比视频流的帧速率快n倍。根据第二时钟信号，视频流的每一帧由显示设备在多个(n个)子帧中多次显示。
在一些实施例中，每个帧的n个子帧被均匀地间隔开。换句话说，每个帧的n个显示事件(子帧)在时间上是均匀隔开的。可以说，在同一帧的子帧之间的(n-1)第二时钟重置信号中的每个的持续时间是恒定的。帧的最后一个子帧的显示事件和下一帧的第一个子帧的显示事件在时间上被不同地隔开。特别地，不同帧的子帧之间的每第n个第二时钟重置信号的持续时间是不同的(例如，增加的)。因此，一帧的最后一个子帧和下一帧的第一个子帧之间的时间间隔是不同的(例如，增加)。
如本领域技术人员将理解的，时钟重置信号具有(有限的)持续时间t，其可以被视为重置时间间隔。在重置时间间隔内，时钟以及帧处理和输出会暂时停止或中断。
根据本公开，视频流的帧的最后一个子帧与视频流的下一帧的第一个子帧在显示设备的(处理和)显示之间的时间间隙不同于在视频流的同一帧的连续子帧的(处理和)显示之间的时间间隙。特别地，每第n个第二时钟重置信号的持续时间与(n-1)个其他第二时钟重置信号的持续时间不同。可以说，视频流的帧的最后一个子帧和视频流的下一帧的第一个子帧之间的重置时间间隔不同于视频流的同一帧的子帧之间的重置时间间隔。因此，可以实现视频流的帧和显示设备的子帧之间的连续同步。使用帧之间的时钟重置信号(例如，垂直重置信号)的持续时间来实现两个不同时钟之间的同步在本领域中是非常规的。使用不同长度的时钟重置信号来解决同步问题尤其不常规。
在一些实施例中，每个第二时钟重置信号包括数据暂停信号分量和数据非暂停信号分量，它们之间限定了第二时钟重置信号的持续时间(即信号暂停时间窗口)。在其他实施例中，多个第二时钟重置信号中的每个第二时钟重置信号包括具有脉冲宽度的时钟脉冲，其限定了第二时钟重置信号的持续时间。具有与重置时间间隔相对应的持续时间的其他类型的时钟重置信号是可能的。
每个第一/第二时钟信号(例如，V-Sync信号)是控制信号或控制线，其包括以周期性时钟速率的周期性第一/第二时钟重置信号，每个信号定义帧重置。在实施例中，第一时钟重置信号包括具有脉冲宽度的时钟脉冲(V-Sync脉冲)。在实施例中，第二时钟重置信号包括定义信号暂停时间窗口的数据暂停/非暂停信号对。每个第一/第二时钟重置信号指示或发信号通知何时已经传送了完整的图像帧并且可以接收下一图像帧(例如，关于帧缓冲器)。可以根据像素阵列的光栅扫描或逐行扫描来传递每个图像帧的像素值。因此，第一/第二时钟重置信号有效地为其所管理的系统或子系统或协议设置了时钟速率。根据本公开，一方面的视频流和另一方面的显示系统具有不同的时钟(例如时钟重置信号的周期性)。可以说视频流和显示系统具有不同的时钟或不同的时钟速率或不同的帧/帧刷新速率。
根据本公开，相对快时钟的显示系统的第二时钟重置信号在相对慢时钟的视频流的图像帧之间被延长(相对于其他第二时钟重置信号)，以便永久地保持视频流和显示系统之间的同步。换句话说，在显示系统的第二时钟信号中，延长了帧之间的时钟重置信号的持续时间(例如，数据暂停和数据非暂停信号之间的时间或时钟脉冲的脉冲宽度)，以保持显示系统和视频流(的帧之间)的同步。因此，不需要诸如丢帧之类的常规技术来使视频流和显示系统不时地回到同步状态。
在一些实施例中，多个第一时钟重置信号中的每个第一时钟重置信号包括具有脉冲宽度的时钟脉冲(例如，V-Sync脉冲)。可以说，每个第一时钟重置信号是一个脉冲，其上升沿指示时钟重置的开始，而下降沿指示时钟重置的结束。例如，第一时钟信号或控制线的第一时钟重置信号具有指示垂直重置开始的上升沿和指示垂直重置结束的下降沿。
在实施例中，每个第一时钟重置信号在相应的第n个第二时钟重置信号期间开始和结束。特别地，跟随视频流中的帧的第一时钟重置信号的定时与跟随显示系统显示对应于该帧的n个子帧的第n个第二时钟重置信号的定时一致(即，与之同步)。可以说，每个第一时钟重置信号(例如，时钟脉冲)都落在相应的第n个第二时钟重置信号的延长的持续时间内(例如，数据暂停和数据非暂停信号之间的时间窗或时钟脉冲的脉冲宽度)。
在一些实施例中，显示系统显示对应于视频流的每个帧的n个子帧。具体地，跟随每个指示视频信号的新图像帧的开始的第一时钟重置信号，显示设备显示由(n-1)第二时钟重置信号定义的其n个子帧。在示例中，系统显示对应于视频流的每帧的n个子帧，使得不存在丢帧/子帧。
在实施例中，第二时钟重置信号的延长的持续时间(例如，数据暂停和数据非暂停信号之间的时间窗或时钟脉冲的脉冲宽度)使得在每个帧期间定义最大子帧数。
在一些实施方式中，由显示系统显示的每个子帧的持续时间是恒定的。每个帧的多个(n个)子帧在时间上均匀地间隔开。特别地，在每个帧的显示期间的其他第二时钟重置信号具有相同的(未延长的)持续时间。
在一些示例中，每帧的子帧的数量n是大于1的整数，例如1<n<13或3<n<9。可以说显示设备的子帧/刷新速率在视频流的帧速率的一到三倍之间，可选地在三到九倍之间。
第一时钟信号或控制线可以在第一时钟重置信号之间处于恒定电平。第二时钟信号或控制线可以在第二时钟重置信号之间处于恒定电平。
术语“子帧”是指显示系统的帧，因为显示系统的帧速率(或刷新速率)大于视频流的帧速率。视频流的帧速率可以是60Hz。换句话说，视频流以每秒60帧(“FPS”)的速率传递图像帧。显示系统的帧速率或刷新速率可能大于200Hz。换句话说，显示系统以200FPS的速率显示图像帧。因此，术语“子帧”反映了视频流的每个帧可以在接收到视频流的下一帧之前被显示系统多次显示(即，作为多个连续的子帧)。该显示系统可以包括显示设备和显示驱动器。在一些实施例中，显示设备是空间光调制器“SLM”，例如硅基液晶“LCoS”空间光调制器。显示驱动器可以是集成电路，例如现场可编程门阵列“FPGA”或专用集成电路“ASIC”。
术语“时钟信号”在本文中用于指代同步系统的同步信号。同步系统可以实现用于传输数据帧的定义的协议，并具有系统时钟。时钟信号是包括用于根据系统时钟进行同步的周期信号(例如，时钟脉冲或等效物)的控制信号。周期性信号可以是时钟重置信号。因此，“时钟信号”也可以被称为“时钟同步信号”。在实施例中，至少一个时钟信号可以是垂直同步“V-Sync”信号。
为了简单起见，术语“帧”和“子帧”在本文中用于指代表示图像帧或子帧的数据。术语“视频流”类似地是指代表图像帧序列的图像数据流。
术语“全息图”用于指包含关于对象的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的对象的光学重建。本文公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“重放场”用于指代在其中形成全息重建并完全聚焦的2D区域。如果将全息图显示在包括像素的空间光调制器上，则重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。零阶重放场通常对应于优选或主要重放场，因为它是最亮的重放场。除非另有明确说明，否则术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”是指重放场的被全息重建的光照射的区域。在一些实施例中，“图像”可包括离散点，其可被称为“像点”，或仅出于方便起见，被称为“图像像素”。
术语“编码”、“写入”或“寻址”用于描述为SLM的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，SLM的像素被配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说SLM“显示”了全息图，并且全息图可以被认为是光调制值或水平的阵列。
已经发现，可以由仅包含与原始对象的傅里叶变换有关的相位信息的“全息图”来形成可接受质量的全息重建。这样的全息记录可以被称为纯相位全息图。实施例涉及纯相位全息图，但是本公开同样适用于纯振幅全息图。
本公开也同样适用于使用与原始对象的傅里叶变换有关的振幅和相位信息来形成全息重建。在一些在实施例中，这是通过使用所谓的完全复合全息图的合成调制来实现的，该全息图包含与原始对象有关的振幅和相位信息。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可以被称为完全复合全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算完全复合的计算机生成的全息图。
可以参考相位值、相位分量、相位信息或者简单地参考计算机生成的全息图或空间光调制器的像素的相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位阻滞的数字(例如，在0至2π的范围内)。例如，描述为具有相位值π/2的空间光调制器的像素会将接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如，相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制级。例如，术语“灰度级”可以为了方便而用于指代纯相位调制器中的多个可用相位级，即使不同的相位级不提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复合调制器中的多个可用复合调制水平。
因此，全息图包括灰度级阵列，即光调制值阵列，例如相位延迟值或复数调制值的阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并用波长可比(通常小于)空间光调制器的像素间距的光进行照射时引起衍射的图案。本文中将全息图与其他衍射图案(例如，起到透镜或光栅作用的衍射图案)组合在一起进行参考。例如，可以将起到光栅作用的衍射图案与全息图组合以在重放平面上平移重放场，或者可以将起到透镜作用的衍射图样与全息图组合以将全息重建聚焦在近场中的重放平面上。
尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但是任何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中公开的特征的所有可能的组合和置换。
附图说明
仅参考以下附图以示例的方式描述具体实施例：
图1是示出在屏幕上产生全息重建的反射式SLM的示意图；
图2是反射式LCOS SLM的示意图；
图3是根据实施例的全息显示系统的框图；并且
图4示出了根据实施例的示例帧速率同步技术的定时图。
在整个附图中将使用相同的附图标记指代相同或相似的部件。
具体实施方式
本发明不限于下面描述的实施例，而是延伸到所附权利要求的全部范围。也就是说，本发明可以以不同的形式实施，并且不应该被解释为限于所描述的实施例，这些实施例是为了说明的目的而阐述的。
除非另有说明，否则单数形式的术语可以包括复数形式。
被描述为形成在另外的结构的上部/下部或者在其他结构之上/之下的结构应当被解释为包括结构彼此接触的情况，并且此外包括第三结构设置在它们之间的情况。
在描述时间关系时，例如，当事件的时间顺序被描述为“之后”、“后续”、“下一个”、“之前”等时，除非另有说明，否则本公开应当被认为包括连续和非连续事件。例如，除非使用“就在”、“立即”或“直接”等措辞，否则描述应理解为包括不连续的情况。
虽然术语“第一”、“第二”等可以在此用于描述各种元素，这些元素不受这些术语的限制。这些术语仅用于区分一种元件和另外的种元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
不同实施例的特征可以部分或全部彼此耦合或组合，并且可以彼此不同地相互操作。一些实施例可以彼此独立地执行，或者可以以相互依赖的关系一起执行。
光学配置
图1示出了一个实施例，其中计算机生成的全息图被编码在单个空间光调制器上。计算机生成的全息图是用于重建的对象的傅里叶变换。因此，可以说全息图是对象的傅里叶域或频域或谱域表示。在该实施例中，空间光调制器是反射式硅基液晶“LCOS”设备。全息图被编码在空间光调制器上，并且全息重建形成于重放场上，例如如屏幕或漫射体的光接收表面上。
光源110，例如激光器或激光二极管，被设置成通过准直透镜111照射SLM 140。准直透镜使得光的总体上平面的波前入射到SLM上。在图1中，波前的方向是偏离法线的(例如，偏离与透明层平面真正正交两到三度)。然而，在其他实施例中，总体上平面的波前以垂直入射提供，并且分束器布置被用于分离输入和输出光学路径。在图1所示的实施例中，该布置使得来自光源的光从SLM的镜射后表面反射，并与光调制层相互作用以形成出射波前112。出射波前112被应用于包括傅里叶变换透镜120的光学器件，其焦点在屏幕125上。更具体地，傅里叶变换透镜120接收来自SLM 140的调制光束，并执行频率空间变换以在屏幕125上产生全息重建。
值得注意的是，在这种全息术中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)和特定光调制元件(或全息像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光在整个重放场上分布。
在这些实施例中，全息重建在空间中的位置由傅里叶变换透镜的屈光(聚焦)度决定。在图1所示的实施例中，傅里叶变换透镜是物理透镜。即，傅里叶变换透镜是光学傅里叶变换透镜，并且傅里叶变换是光学地执行的。任何透镜都可以充当傅里叶变换透镜，但是透镜的性能会限制其执行傅里叶变换的精度。本领域技术人员理解如何使用透镜来执行光学傅里叶变换。
在一些实施例中，提供了一种实时引擎，该实时引擎被布置为接收图像数据并使用该算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频流。与图像帧或视频流相对应的全息图可以被实时计算，或者可以预先被计算并预先存储在计算机内存中，并根据需要调用以显示在SLM上。
一些实施例涉及傅立叶全息术，并且使用Gerchberg-Saxton型算法来计算傅立叶全息图。本公开同样适用于可以通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还适用于通过其他技术(例如基于点云方法的技术)计算的全息图。
光调制
空间光调制器可用于显示包括计算机生成的全息图的衍射图案。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是完全复合的全息图，可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
在一些实施例中，空间光调制器的光调制元件(即，像素)是包含液晶的多个盒。也就是说，在一些实施例中，空间光调制器是液晶设备，其中光学活性部件是液晶。每个液晶盒被配置成选择性地提供多个光调制级别。也就是说，每个液晶盒在任一时间被配置成在从多个可能的光调制级别中选择的一个光调制级别下操作。每个液晶盒可动态地重新配置成与多个光调制级别不同的光调制级别。在一些实施例中，空间光调制器是反射式硅基液晶(LCOS)空间光调制器，但是本公开并不限制于这种类型的空间光调制器。
LCOS设备在小孔径(例如几厘米宽)内提供密集的光调制元件阵列或像素阵列。像素通常约为10微米或更小，这样会得到几度的衍射角，这意味着光学系统可以是紧凑的。与其他液晶设备的大孔径相比，更容易充分照射LCOS SLM的小孔径。LCOS设备通常是反射式的，这意味着驱动LCOS SLM的像素的电路可以埋在反射表面之下。这样得到较高的孔径比。换句话说，像素密集排列，意味着像素之间几乎没有死空间。这是有利的，因为它减少了重放场中的光学噪声。LCOS SLM使用硅背板，其优点是像素是光学平坦的。这对相位调制设备尤其重要。
下面参考图2，仅通过示例的方式描述合适的LCOS SLM。使用单晶硅基板202形成LCOS设备。它具有方形平面铝电极201的2D阵列，由间隙201a隔开，布置在基板的上表面上。每个电极201可以通过埋在基板202中的电路202a寻址。每个电极形成各自的平面镜。取向层203设置在电极阵列上，液晶层204设置在取向层203上。第二取向层205设置在例如玻璃的平面透明层206上。例如ITO的单个透明电极207设置在透明层206和第二取向层205之间。
每个电极201与透明电极207的覆盖区域和中间的液晶材料一起限定可控相位调制元件208，通常将其称为像素。考虑到像素之间的空间201a，有效像素面积或填充因子是光学上有效的总像素的百分比。通过相对于透明电极207控制施加到每个电极201的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射到其上的光提供可变延迟。其效果是为波前提供纯相位调制，即没有振幅效应发生。
所描述的LCOS SLM以反射方式输出空间调制光。反射式LCOS SLM的一个优点在于信号线、栅极线和晶体管位于镜面之下，这样得到高填充因子(通常大于90％)和高分辨率。使用反射式LCOS空间光调制器的另外的个优点是，液晶层的厚度可以是使用透射式设备时所需厚度的一半。这大大提高了液晶的切换速度(这是投影运动视频图像的关键优点)。然而，本公开的教导同样可以使用透射式LCOS SLM来实现。
全息显示系统–系统图
图3是示出根据实施例的全息显示系统的示意图。系统包括全息投影仪，该全息投影仪包括SLM 340、光源310和重放平面325，重放平面325包括光接收表面，例如漫射器的屏幕。特别地，SLM 340被布置为显示从控制器330接收的全息图。在操作中，光源310照射在SLM 340上显示的全息图，并且在重放平面325上的重放场中形成全息重建。控制器330接收一个或多个来自图像源320的图像。例如，图像源320可以是图像捕获设备，例如摄像机，其被布置为捕获运动图像或图像帧的视频序列。图像源320被布置为根据相应的数据传输协议将图像帧的视频流提供给控制器330。如下面进一步描述的，图像源320可以包括第一同步系统或方案(例如，第一数据传输协议)，用于根据系统时钟定义的第一时钟速率(时钟频率)来控制视频流中提供的图像帧的速率。
控制器330包括图像处理引擎350、全息图引擎360、数据帧生成器380和显示引擎390。图像处理引擎350包括数据流引擎352，该数据流引擎352被安排为依次接收视频流的每个图像帧，并提供同步的数据流。在所示的实施例中，图像处理引擎350包括可选的次级图像生成器355，其被布置为基于控制信号生成表示所接收的图像帧的多个次级图像帧。图像处理引擎350将图像帧(可选地，多个次级图像帧)传递给全息图引擎360。在一些实施方式中，图像处理引擎350可以将帧的像素值实时地流传输到全息图引擎360。
全息图引擎360被布置为确定与从图像处理引擎350接收的每个帧相对应的全息图。全息图引擎360将多个全息图传递给数据帧生成器380。数据帧生成器380被布置为生成数据帧(例如HDMI帧)。特别地，数据帧生成器380生成包括针对视频流的每一帧的全息图数据的数据帧(可选地，包括次级图像帧的多个全息图和指示每个全息图的开始的指针)。数据帧生成器380将数据帧传递给显示引擎390。数据帧生成器380和显示引擎390依次可以通过数据流操作。
显示引擎390被布置为在SLM 340上显示每个全息图(对应于帧或次级图像帧)作为帧和子帧的序列。显示引擎390包括全息图提取器392、平铺引擎370和软件光学元件394。显示引擎390使用全息图提取器392从数据帧中提取全息图，并根据平铺引擎370生成的平铺方案来平铺全息图，如本领域中已知的那样。特别地，平铺引擎370可以接收控制信号以确定平铺方案，或者可以另外基于全息图确定用于平铺的平铺方案。显示引擎390可以可选地使用软件光学元件394添加相位斜坡功能(软件光栅功能，也称为软件透镜)，以在重放平面上平移重放场的位置。因此，对于每个全息图，显示引擎390被布置为根据对应的平铺方案将驱动信号输出到SLM 340以依次显示多个全息图中的每个全息图作为子帧。
数据帧生成器380可以以与从图像源320接收的视频流相同的速率生成数据帧。因此，数据帧生成器380可以根据第一同步系统或方案(例如第一数据传输协议)的时钟/帧速率，将每个数据帧提供为数据帧(包括子帧)的流。然而，如本文所述，SLM 340可以根据第二同步系统或方案(例如，第二数据传输协议)以更快的帧速率(或刷新速率)显示图像帧。如下面进一步描述的，该方案可以使用根据本公开的帧速率同步技术，以根据所需的更快的子帧/时钟速率(例如，如第二数据传输协议所定义的)向SLM 340提供子帧的流。
如本领域技术人员将理解的，控制器330的上述特征可以以软件、固件或硬件及其任意组合来实现。
帧速率同步
可以使用上述系统来提供诸如全息投影仪的全息显示系统。特别地，全息显示系统可以在空间光调制器上显示与视频流的帧相对应的全息图序列，并且照射空间光调制器以在用于投影和/或显示的重放平面上形成其全息重建。因此，根据视频流向观看者显示全息图像序列。
如上所述，在全息显示系统中，经常需要使显示设备(空间光调制器(或等效物)和/或显示驱动器)适应图像源的帧速率。例如，根据定义的数据传输协议，通常是视频协议或诸如HDMI的标准，可以从摄像机或其他图像源接收图像数据作为视频流。因此，根据预定的数据传输协议，全息投影仪将数据作为视频流接收，该预定的数据传输协议定义了参数(诸如帧速率、传输速度、数据有效负载和定义的同步信号)的可接受范围。全息投影仪的控制器计算代表来自图像源的视频流的每一帧的全息图，并以与视频流相同的帧速率生成数据帧序列。因此，图像源使用第一同步系统或方案以第一时钟/帧速率提供数据帧的视频流。然而，显示设备(更具体地，显示设备的驱动引擎)以第二不同时钟速率(子帧/刷新速率)使用第二同步系统或方案以在每个数据帧中显示多个子帧。例如，可能需要根据供应商定义的数据传输协议将图像数据提供给SLM，该协议定义了与第一数据传输协议定义的参数的可接受范围不同的参数的可接受范围，这些参数诸如帧/刷新速率、传输速度、数据有效负载和定义的同步信号。通常，帧/刷新速率比视频流的帧速率快。
图4示出了根据实施例的示例帧速率同步技术的定时图。特别地，示例技术使具有第一时钟/帧速率(例如，第一数据传输协议)的视频流的帧与由显示设备(例如，空间光调制器)显示的子帧同步，显示设备具有比第一时钟/帧速率快的第二时钟/子帧速率(或刷新速率)(例如第二数据传输协议)。
特别地，图4示出了第一时钟信号401，其以第一同步系统或方案(例如，第一数据传输协议)的第一时钟/帧速率来控制视频流的图像帧420、430、440的速率。特别地，根据第一同步系统或方案的第一时钟速率(时钟频率)，第一时钟信号401以周期性的第一时间间隔401b包括多个第一时钟重置信号401a。在由第一时钟速率/频率定义的两个连续的时钟重置信号401a之间的恒定时间间隔401b期间，在视频流中提供每个图像帧420、430、440。可以说，视频流中每个帧的持续时间是恒定的。因此，视频流中图像帧的帧速率(可以以赫兹或每秒帧数测量)通常对应于时钟重置信号401a定义的时钟速率。在所示的示例中，第一时钟信号401在第一时间间隔401b期间(即，在帧的传输期间)连续处于第一电平。每个周期性时钟重置信号401a是在其上升沿和下降沿之间限定的处于低于第一电平的第二电平的时钟脉冲。特别是，时钟脉冲信号的上升沿以信号通知时钟重置的开始，而下降沿以信号通知时钟重置的结束。在一些实施例中，第一同步系统或方案可以是常规视频流(例如HDMI视频流)中的所谓的垂直同步(“V-Sync”)系统或方案，并且时钟重置信号401a包括如本领域通常已知的垂直重置信号/脉冲(“V-Sync脉冲”)。如本文所述，可以从图像源接收图像帧420、430、440的视频流，以由全息显示设备进行显示。
图4还示出了第二时钟信号402，该第二时钟信号402根据包括显示设备的刷新速率的数据传输协议来控制提供用于显示的图像帧的速率。特别地，第二时钟信号402以第二同步系统或方案的第二时钟/帧速率控制图像帧414、421、422…433的流。第二同步系统的第二时钟/帧速率比第一同步系统的第一时钟/帧速率快n倍。因此，需要提高帧速率以使视频流的帧数据适应显示设备的更快的帧/刷新速率。因此，为了实现所需的帧速率提高，视频流的每个接收到的图像帧420、430、440被显示设备显示了多(n)次，特别是作为多(n)个子帧。在一些实施例中，第二同步系统或方案可以是与空间光调制器的控制器相关联的更快的同步系统或方案(例如，如本文所述，与FPGA控制器/LCoS SLM相关联的相对快速的供应商定义的数据传输协议)。
第二时钟信号402根据第二同步系统或方案(例如，第二数据传输协议)的第二时钟速率(时钟频率)，以周期性的第二时间间隔402b包括多个(子帧)第二时钟重置信号402a。例如，如图4所示，响应于视频流的帧420之后的第一时钟重置信号401a，提供了与帧420相对应的多个四个子帧421、422、423和424，以用于根据第二同步系统或方案来显示。因此，在所示的示例中，n＝4。每个子帧421、422、423、424被提供用于在由第二时钟速率/频率限定的两个连续的第二时钟重置信号402a之间的恒定的第二时间间隔402b期间显示。可以说每个子帧的显示的持续时间(子帧显示事件)是恒定的。根据帧速率同步技术，视频流的每个帧被显示为显示设备的n个子帧(例如，在示例中为4个子帧)。特别地，不需要丢帧(或子帧)来实现所需的同步。
根据本公开，在完成与用于显示的帧相对应的n个子帧的序列的数据传输之后，延长第二时钟重置信号402a。如图4中的放大图所示，每n个第二时钟重置信号402a'的持续时间t2被延长为长于其他第二时钟重置信号402a的持续时间t1。每个第一时钟重置信号401a与相应的第n个第二时钟重置信号402a'同步。因此，在不同帧的子帧之间(即，一帧的最后一个子帧和下一帧的第一子帧)之间提供了较长持续时间t2的延长的第二时钟重置信号402a'，并且在同一帧的子帧之间提供较短持续时间t1的其他第二时钟重置信号402a。可以说，与视频流的帧相对应的最后一个子帧和与视频流的下一帧相对应的第一子帧之间的第二时钟重置信号402a'的重置时间间隔t2大于在视频流的同一帧的子帧之间的第二时钟重置信号402a的重置时间间隔t1。在示出的示例中，在同一帧的子帧之间提供的所有第二时钟重置信号402a具有相同的持续时间t1。这确保了每个帧的子帧在时间上均匀地间隔开。
在所示的实施例中，第二时钟信号402在第二时间间隔402b期间(在子帧的(处理和)传送期间)处于恒定的信号电平。第二时钟重置信号402a，402a'各自包括数据暂停信号分量和数据非暂停信号分量，其定义了数据暂停时间窗口或简称为“暂停时间窗”。特别地，暂停信号分量中断或停止第二时钟信号402，并且非暂停信号分量继续或重启第二时钟信号402。如本领域技术人员将理解的，在其他实施例中，第二时钟重置信号可各自包括时钟脉冲，其具有由脉冲宽度定义的持续时间，其中脉冲的上升沿和下降沿限定其时间窗口。如本文所述，暂停时间窗或脉冲宽度可以被视为时钟重置信号的重置时间间隔。
为了实现视频流的帧和相应的显示子帧之间的同步，第一时钟重置信号401a应完全落入由相应的第二时钟重置信号402a'定义的时间窗口内。因此，每个第一时钟重置信号401a在相应的第n个第二时钟重置信号402a'期间开始和结束。可以说，每个第一时钟重置信号401a应与第二时钟重置信号402a′相一致或同步。相应地，延长由在不同帧的子帧之间提供的每第n个第二时钟重置信号所定义的时间窗口的持续时间，使得能够与第一时钟重置信号401a同步。
在一些实施例中，每第n个第二时钟重置信号的较长持续时间可以通过使其他(n-1)个第二时钟重置信号的持续时间尽可能地接近由(第二)数据传输协议的参数定义的正常持续时间来实现，并通过使周期性(第二时钟速率/频率)稍快(但在(第二数据传输协议)的参数范围内)来补偿更长的持续时间，从而略微缩短子帧持续时间(对于所有子帧)。可以选择每第n个第二时钟重置信号的延长持续时间，以与接收到的视频流的(第一)数据传输协议的参数相关联，以确保连续同步而无需丢帧。特别地，尽管供应商定义的SLM数据传输协议可能针对某些参数的有限范围是严格的，但如本文所述由于更灵活的范围，有可能调整时钟信号的持续时间。如本领域技术人员将理解的，第二时钟重置信号的延长的持续时间和定时仍应当与(第二)数据传输协议的定义一致。
如上所述，在图4所示的示例中，每帧的子帧的数量为n＝4(四个)。在其他示例中，n是>1的整数，例如1<n<13或3<n<9。可以说显示设备的子帧/刷新速率在视频流的帧速率的一到三倍之间，可选地是在三到九倍之间。在一些应用中，例如本文所述的全息应用，期望将每个帧的最大数目n的子帧提供给显示器以优化所显示图像(全息重建)的质量。因此，可以选择第二时钟重置信号402a和402a'的持续时间(以及可选地，还包括第二时钟速率/频率)以使得能够在第一时间间隔401b(根据第一时钟速率/频率)的持续时间内提供每帧的最大子帧数量。可以说，第二同步系统可以根据视频流和显示设备的第一和第二同步系统或方案(例如，定义的第一和第二数据传输协议)来提供每帧可能的最大子帧数量。
因此，提供了一种显示系统方法。显示系统以由第一时钟信号定义的帧速率接收图像帧的视频流。第一时钟信号包括多个第一时钟重置信号。显示系统以由第二时钟信号定义的子帧速率处理并显示与视频流的每一帧相对应的n个均匀间隔的子帧。第二时钟信号包括多个第二时钟重置信号。相对于其他第二时钟重置信号的持续时间，显示系统改变(例如延长)每第n个第二时钟重置信号的持续时间，从而保持视频流的帧与显示设备系统的子帧之间的同步。
附加特征
实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。例如，本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，诸如任何电激活的SLM、光激活的SLM、数字微镜设备或微机电设备。
在一些实施例中，光源是诸如激光二极管的激光器。在一些实施例中，光接收表面是漫射表面或屏幕，例如漫射器。本公开的全息投影系统可以用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供HUD的全息投影系统。车辆可以是诸如汽车、卡车、厢式货车、货车、摩托车、火车、飞机、船或轮船的机动车辆。
全息重建的质量可能受到所谓的零阶问题的影响，这是使用像素化空间光调制器的衍射性质的结果。这样的零阶光可以被认为是“噪声”，并且包括例如镜面反射光以及来自SLM的其他不需要的光。
在一些实施例中，全息图的尺寸(每个方向上的像素数)等于空间光调制器的尺寸，使得全息图填充空间光调制器。即，全息图使用空间光调制器的所有像素。在其他实施例中，全息图小于空间光调制器。更具体地，全息图像素的数量小于空间光调制器上可用的光调制像素的数量。在这些其他实施例的一些中，在未使用的像素中重复全息图的一部分(即，全息图的像素的连续子集)。该技术可以被称为“平铺”，其中空间光调制器的表面区域被划分为多个“平铺块”，每个“平铺块”代表全息图的至少一个子集。因此，每个平铺块的尺寸小于空间光调制器的尺寸。在一些实施例中，实施“平铺”技术以提高图像质量。具体地，一些实施例实现了平铺技术以最小化图像像素的尺寸，同时最大化进入全息重建的信号内容的量。在一些实施例中，写入空间光调制器的全息图案包括至少一个完整的平铺块(即，完整的全息图)和平铺块的至少一小部分(即，全息图的像素的连续子集)。
在实施例中，仅利用主要重放场，并且系统包括物理块，例如挡板，其被布置为限制通过系统的更高阶重放场的传播。
在实施例中，全息重建物是彩色的。在一些实施例中，一种被称为空间分离颜色的方法，“SSC”，被用于提供彩色全息重建。在其他实施例中，使用被称为帧顺序颜色“FSC”的方法。
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括被布置成临时或永久地存储数据的介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，以使得当指令被一个或多个处理器执行时，使得该机器全部或部分执行本文所述的任何一种或多种方法。
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于固态存储器芯片、光盘、磁盘或其任何合适组合的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传达。这样的载体介质的示例包括瞬态介质(例如，传达指令的传播信号)。
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。

Claims (14)

1.一种显示系统，其被布置为接收帧的视频流以进行显示，其中：
视频流的帧速率由包括多个第一时钟重置信号的第一时钟信号定义；
显示系统的子帧速率由包括多个第二时钟重置信号的第二时钟信号定义，所述多个第二时钟重置信号在视频流的每个帧内定义n个子帧，其中n是＞1的整数并且其中每个帧的n个子帧均匀地间隔开；和
每第n个第二时钟重置信号的持续时间大于其他第二时钟重置信号的持续时间，从而保持所述视频流的帧与所述显示系统的子帧之间的同步。
2.根据权利要求1所述的显示系统，其中，每个第一时钟重置信号在相应的第n个第二时钟重置信号期间开始和结束。
3.根据权利要求1或2所述的显示系统，其中，每个第二时钟重置信号包括在其间限定第二时钟重置信号的持续时间的暂停信号分量和非暂停信号分量。
4.根据权利要求1或2所述的显示系统，其中，所述显示系统的每个子帧的持续时间是恒定的。
5.根据权利要求1或2所述的显示系统，其中：
所述第二时钟重置信号的持续时间使得在视频流的每个帧期间定义显示系统的子帧最大数量。
6.根据权利要求1或2所述的显示系统，其中，每个其他第二时钟重置信号的持续时间是相同的。
7.根据权利要求1或2所述的显示系统，其中，1＜n＜13。
8.根据权利要求1或2所述的显示系统，其中，3＜n＜9。
9.根据权利要求1或2所述的显示系统，其中，每个第一时钟重置信号是脉冲，其具有指示时钟重置的开始的上升沿和指示时钟重置的结束的下降沿。
10.根据权利要求1或2所述的显示系统，其中，所述第一时钟信号是垂直同步“V-Sync”信号。
11.根据权利要求1或2所述的显示系统，其中，所述视频流由第一数据传输协议定义，并且所述显示系统被配置为适应一个或多个第二时钟信号和每帧的子帧数n,以保持所述视频流的所述第一时钟信号与所述显示系统的子帧的所述第二时钟信号之间的同步。
12.根据权利要求1或2所述的显示系统，其包括全息投影仪，所述全息投影仪包括空间光调制器和显示驱动器，其中，所述第二时钟信号与所述显示驱动器相关联。
13.一种包括权利要求1或2所述的显示系统的平视显示器或头戴式显示器。
14.一种显示接收帧的视频流的方法，包括：
由显示系统，以包括多个第一时钟重置信号的第一时钟信号所定义的帧速率接收图像帧的视频流；
由所述显示系统，以包括多个第二时钟重置信号的第二时钟信号所定义的子帧速率，处理和显示与所述视频流的每个帧对应的n个均匀间隔的子帧其中n是＞1的整数；和
由所述显示系统，相对于其他第二时钟重置信号的持续时间，增加每第n个第二时钟重置信号的持续时间，从而保持所述视频流的帧与显示设备系统的子帧之间的同步。
CN202110472937.9A 2020-06-18 2021-04-29 帧速率同步的显示系统、显示器及显示接收帧的视频流的方法 Active CN113825003B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2009298.7 2020-06-18
GB2009298.7A GB2596111B (en) 2020-06-18 2020-06-18 Frame rate synchronization

Publications (2)

Publication Number Publication Date
CN113825003A CN113825003A (zh) 2021-12-21
CN113825003B true CN113825003B (zh) 2024-02-13

Family

ID=71838285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110472937.9A Active CN113825003B (zh) 2020-06-18 2021-04-29 帧速率同步的显示系统、显示器及显示接收帧的视频流的方法

Country Status (6)

Country Link
US (1) US11758075B2 (zh)
EP (1) EP3926964B1 (zh)
KR (1) KR102495291B1 (zh)
CN (1) CN113825003B (zh)
GB (1) GB2596111B (zh)
MX (1) MX2021006377A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2587400B (en) * 2019-09-27 2022-02-16 Dualitas Ltd Hologram display using a liquid crystal display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901615A (zh) * 2005-07-18 2007-01-24 易视达科技股份有限公司 用于产生锁定到输入帧速率的像素时钟的装置
CN101385070A (zh) * 2005-09-20 2009-03-11 Nxp股份有限公司 保持视频流的重采样或重格式化的关于帧速率的装置和方法
WO2014151877A1 (en) * 2013-03-14 2014-09-25 The Board Of Trustees Of The Leland Stanford Junior University Holographic head-mounted display
CN106537903A (zh) * 2014-08-11 2017-03-22 精工爱普生株式会社 拍摄装置、拍摄显示装置以及车辆
CN111199697A (zh) * 2018-11-16 2020-05-26 瑞昱半导体股份有限公司 降低动态模糊的显示装置及显示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091967B2 (en) * 2003-09-01 2006-08-15 Realtek Semiconductor Corp. Apparatus and method for image frame synchronization
GB0512179D0 (en) * 2005-06-15 2005-07-20 Light Blue Optics Ltd Holographic dispaly devices
US8254755B2 (en) * 2009-08-27 2012-08-28 Seiko Epson Corporation Method and apparatus for displaying 3D multi-viewpoint camera video over a network
JP2012042815A (ja) * 2010-08-20 2012-03-01 Canon Inc 画像表示装置及びその制御方法
CN102654697B (zh) * 2012-04-25 2015-04-15 北京京东方光电科技有限公司 一种全息液晶显示器、立体显示方法及立体显示系统
TWI514152B (zh) * 2013-04-16 2015-12-21 Novatek Microelectronics Corp 可動態調整畫面更新頻率之顯示方法及顯示系統
US9973795B2 (en) * 2014-08-27 2018-05-15 ClearOne Inc. Method for video synchronization in video distribution systems
US9905199B2 (en) * 2014-09-17 2018-02-27 Mediatek Inc. Processor for use in dynamic refresh rate switching and related electronic device and method
JP6589360B2 (ja) * 2015-05-01 2019-10-16 株式会社Ｊｖｃケンウッド 表示装置および表示装置の駆動方法
US10429639B2 (en) * 2016-01-31 2019-10-01 Paul Lapstun Head-mounted light field display
US10380968B2 (en) * 2016-12-19 2019-08-13 Mediatek Singapore Pte. Ltd. Method for adjusting the adaptive screen-refresh rate and device thereof
GB2574058B (en) * 2018-05-25 2021-01-13 Envisics Ltd Holographic light detection and ranging
JP7379961B2 (ja) * 2019-09-04 2023-11-15 株式会社Ｊｖｃケンウッド 表示システム、及び表示方法
CN113132553B (zh) * 2020-01-16 2022-07-29 京东方科技集团股份有限公司 一种新型源端同步显示方法及装置
US11457173B2 (en) * 2020-02-21 2022-09-27 Mediatek Inc. Dynamic frame rate adjustment mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901615A (zh) * 2005-07-18 2007-01-24 易视达科技股份有限公司 用于产生锁定到输入帧速率的像素时钟的装置
CN101385070A (zh) * 2005-09-20 2009-03-11 Nxp股份有限公司 保持视频流的重采样或重格式化的关于帧速率的装置和方法
WO2014151877A1 (en) * 2013-03-14 2014-09-25 The Board Of Trustees Of The Leland Stanford Junior University Holographic head-mounted display
CN106537903A (zh) * 2014-08-11 2017-03-22 精工爱普生株式会社 拍摄装置、拍摄显示装置以及车辆
CN111199697A (zh) * 2018-11-16 2020-05-26 瑞昱半导体股份有限公司 降低动态模糊的显示装置及显示方法

Also Published As

Publication number Publication date
EP3926964A1 (en) 2021-12-22
US11758075B2 (en) 2023-09-12
KR20210156739A (ko) 2021-12-27
EP3926964B1 (en) 2024-02-21
GB2596111B (en) 2023-03-22
KR102495291B1 (ko) 2023-02-06
GB202009298D0 (en) 2020-08-05
US20210400169A1 (en) 2021-12-23
GB2596111A (en) 2021-12-22
CN113825003A (zh) 2021-12-21
MX2021006377A (es) 2022-02-21

Similar Documents

Publication Publication Date Title
CN109388016B (zh) 全息投影仪
TWI659235B (zh) 全像投影系統及在具有矩形形狀的全像的重放場中形成全像的重建之方法
CN111176092B (zh) 全息投影显示设备上的像素映射
CN112558452B (zh) 全息投影
TWI745782B (zh) 全像投影的空間光調變器
US11480919B2 (en) Holographic projector
CN111694254B (zh) 激光调制
CN111722511B (zh) 全息投影仪
KR102481541B1 (ko) 홀로그램 프로젝터
CN113009710A (zh) 用于在多个平面上形成图像的投影仪
CN113448144B (zh) 投影仪
CN113825003B (zh) 帧速率同步的显示系统、显示器及显示接收帧的视频流的方法
JP7439175B2 (ja) 液晶表示装置を使用するホログラム表示
US20240077833A1 (en) Display device and method
EP4050423B1 (en) Holographic projection
EP4242738A1 (en) Light shuttering for waveguide pupil expansion
CN115113509A (zh) 图像投影
CN113766207A (zh) 显示装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant