CN108965838A - 高动态范围景象生成方法、装置及系统 - Google Patents

高动态范围景象生成方法、装置及系统 Download PDF

Info

Publication number
CN108965838A
CN108965838A CN201810713288.5A CN201810713288A CN108965838A CN 108965838 A CN108965838 A CN 108965838A CN 201810713288 A CN201810713288 A CN 201810713288A CN 108965838 A CN108965838 A CN 108965838A
Authority
CN
China
Prior art keywords
dmd
bit
image
images
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810713288.5A
Other languages
English (en)
Other versions
CN108965838B (zh
Inventor
潘越
乔杨
徐熙平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201810713288.5A priority Critical patent/CN108965838B/zh
Publication of CN108965838A publication Critical patent/CN108965838A/zh
Application granted granted Critical
Publication of CN108965838B publication Critical patent/CN108965838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3138Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using arrays of modulated light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Abstract

本申请公开了一种高动态范围景象生成方法、装置及系统。其中,该方法包括:将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像;基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像;根据三幅黑白图像对应的视频信号,由第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线进行空间光调制,即同时显示每个2位位平面图像对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;按照脉冲宽度调制的时序,利用上述三个DMD对所有2位位平面图像连续投影,以生成待生成景象的灰度图像。本申请解决了帧频与动态范围制约的问题。

Description

高动态范围景象生成方法、装置及系统
技术领域
本申请涉及图像处理领域,具体而言,涉及一种高动态范围景象生成方法、装置及系统。
背景技术
高动态范围景象生成一直是半实物仿真投影系统中的一个研究重点。根据生成景象的显示波段,可以分为红外景象生成和可见光景象生成两大类。红外景象生成主要用于红外成像制导导弹的半实物仿真测试,如红外目标模拟器。可见光景象生成主要用于模拟深空环境,以测试空间成像系统的性能,如星模拟器。现阶段的可见光景象生成器件主要有数字微镜器件(Digital Micromirror Device,DMD)和硅基液晶(Liquid Crystal onSilicon,LCoS)两种,两种技术均可用于红外景象生成,其中,DMD只需更换窗口玻璃即可,其光调制方式与工作波段无关。
目前,市场上研制的半实物仿真投影系统主要采用DMD作为景象生成器件,少部分可见光半实物仿真投影系统采用LCOS。DMD是数字光处理(Digital Light Processing,DLP)投影系统的核心器件,由数十万个微镜片构成的阵列组成,每个微镜片对应于投影图像中的一个像元(增加一个DMD内包含的微镜片的数量,可以提高产品的分辨率)。每个微镜片相当于一个光开关,当处于投影状态时,微镜片开关示为“开”,通过微镜片反射的光线通过投影装置将影像投影到屏幕上,屏幕上出现亮态;当处于非投影状态时,微镜片开关示为“关”,通过微镜片反射的光线不能进入投影装置,屏幕上出现暗态。通过控制DMD上各个微镜片亮暗的位置,从而实现影像的投影显示。可以看出,DMD是一个二进制景象生成器件,在探测器的积分时间内,通过灰度调制方法,利用“视觉残留特性”形成伪灰度图像。传统的灰度调制方法有三种,分别为空间灰度调制、帧灰度调制、脉冲宽度调制。
其中,空间灰度调制是将DMD中相邻的几个微镜片组成一个基本像元,控制像元中处于“开”或“关”状态的微镜片的数目来形成灰度图像,但灰度等级越高合成基本像元所需的微镜片的数目越多,显著降低图像分辨率。
帧灰度调制是将全局微镜片的一次翻转作为DMD的一帧,把连续的一定数量的帧作为一个单元,根据所要生成灰度图像每个像元的灰度值,设定对应微镜片在翻转过程中需要“开”或“关”状态的次数,每帧显示时间相同,但灰度等级越高,单元内的帧数越多,数据加载时间越长,严重制约图像帧频。
脉冲宽度调制是将一副灰度图像进行位平面分解,并在时序调制过程中引入权重的概念。以一副8位灰度图像为例,如图1所示,经位平面分解后,可以获得8个1位位平面图像(黑白图像),其中,位平面7由图像数据最高有效位(MSB)组成,包含主要信息;位平面0由图像数据最低有效位(LSB)组成,包含细节信息。灰度等级可以用20,21,22,…,27这8个值的和线性表示。假设最低位面0的显示时间为基底时间t0,每个高位面的显示时间是前一个位面的2倍,则一帧灰度图像的显示时间T可以表示为:
由图1可以看出,脉冲宽度调制虽然实现了高帧频、高分辨率显示,但仍无法解决帧频和图像动态范围之间的相互制约关系。假设生成一副16位的高动态灰度图像,需要将其分解成16个1位位平面图像,若基底时间仍为t0,则最高位面的显示时间为215t0,极大的延长了灰度帧时间的周期长度,表1中数据为常规脉冲宽度调制的DMD帧频与图像动态范围的近似对应关系。从表中可以看出当DMD生成13位灰度图像时,其帧频已经下降到7.5Hz。
表1常规脉冲宽度调制的DMD帧频(Hz)与动态范围对应关系
目前,国内外研究工作多集中于改进一种灰度调制算法或将两种灰度调制算法相结合进行扩展DMD动态范围的分析和研究。为了生成高动态范围景象,现有扩展DMD动态范围的方法主要有五种:第一种是在脉宽调制基础上引入帧调制方法,其缺点是每提升一个图像显示的位深就要多使用一个DMD,扩展动态范围能力有限;第二种是光源调制法,其缺点是要求光源在极短的时间内迅速改变光强且与各位面的显示时间同步,基于结构光照明的光源调制法需要进行图像复原,复原图像较原始图像有一定失真;第三种是在脉宽调制基础上引入空间灰度调制方法,其缺点是显著降低图像分辨率且扩展动态范围能力有限;第四种是改进型脉冲宽度调制法,其缺点是压缩基底时间后较低位面的显示时间变短,导致探测器接收低位面的能量过小,容易被噪声湮灭,实际的图像动态范围小于理论值。
针对上述的现有基于DMD的扩展生成景象动态范围技术存在帧频与动态范围相互制约的的技术问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种高动态范围景象生成方法、装置及系统,以至少解决现有基于DMD的扩展生成景象动态范围技术存在帧频与动态范围相互制约的的技术问题。
根据本申请实施例的一个方面,提供了一种高动态范围景象生成方法,包括:将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态;基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,黑白图像是指每个像元只有2个灰度值的图像;根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
进一步地,在根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制之前,方法还包括:确定三个DMD的空间分布位置,其中,三个DMD中的一个DMD与投影装置的主光轴重合,另外两个DMD位于主光轴的两侧;基于象限莫尔条纹法,对空间分布的三个DMD的图像进行图像配准,使得三个DMD上相应位置的微镜片一一对应,构成一个基本像元。
进一步地,根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像,包括:将每个2位位平面图像对应的3幅黑白图像转换为对应的三个视频图像信号,分别发送给每个DMD;三个DMD同时根据各自接收到的视频图像信号对三个照明装置的入射光线进行空间光调制,调制后的光线进入投影装置并投影,其中,三幅黑白图像的调制后光线在投影装置的出瞳位置叠加,以生成每个2位位平面图像。
进一步地,按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像,包括:每个2位位平面图像按照脉冲宽度调制的时序,由三个DMD共同生成,由投影装置分别连续投影,并在投影装置的出瞳位置叠加,以生成待生成景象的灰度图像。
进一步地,三个DMD同时根据各自接收到的视频图像信号对三个照明装置的入射光线进行空间光调制,调制后的光线进入投影装置并投影,包括:通过空间分布的三个照明装置分别投射光线进入到三个DMD,使得三个DMD同时根据各自接收到的视频图像信号,对相应照明装置的入射光线进行空间光调制,其中,三个照明装置的出瞳位于对应DMD的靶面并且与投影装置的入瞳重合,其中,投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件;将三个DMD调制的相应照明装置的光线通过合束棱镜进行光学合束,以使合束后的光线进入投影装置。
根据本申请实施例的另一方面,还提供了一种高动态范围景象生成系统,包括:控制器,用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,根据每个2位位平面图像对应的3幅黑白图像,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线进行空间光调制,以投影生成每个2位位平面图像,并按照一定的脉冲宽度调制的时序,遍历N/2个2位位平面图像;三个DMD分别与控制器通信,用于接收控制器根据每个2位位平面图像对应的3幅黑白图像生成的视频信号,并根据相应的视频信号调制三个照明装置的入射光线以投影生成每个2位位平面图像,其中,三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
进一步地,系统还包括:合束棱镜,用于将三个DMD的调制后光线进行光学合束;投影装置,用于接收合束棱镜合束后的光线并投影。
进一步地,系统还包括:三个照明装置,分别投射光线进入到三个DMD,其中,三个照明装置的出瞳位于对应DMD的靶面并且与投影装置的入瞳重合,其中,投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件。
进一步地,投影装置的接收装置包括如下任意之一:投影屏幕、成像系统的探测器,其中,在接收装置为成像系统的探测器的情况下,探测器在探测器的积分时间内,将接收到的N/2个2位位平面图像的光线进行叠加,以便成像系统根据探测器接收到的光线生成待生成景象的灰度图像。
根据本申请实施例的另一方面,还提供了一种高动态范围景象生成装置,包括:第一处理单元,用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态;第二处理单元,用于基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,黑白图像是指每个像元只有2个灰度值的图像;控制单元,用于根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;生成单元,用于按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
在本申请实施例中,利用三个DMD组成景象生成模块,将空间灰度调制、帧灰度调制与脉冲宽度调制(PWM)结合起来,提出了一种综合的灰度调制算法,实现了在保证高帧频及不损失图像分辨率的前提下,扩大生成景象的动态范围的技术效果,进而解决了现有基于DMD的扩展生成景象动态范围技术存在帧频与动态范围相互制约的的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据现有技术的一种脉冲宽度调制的示意图;
图2是根据本申请实施例的一种高动态范围景象生成系统示意图;
图3是根据本申请实施例的一种高动态范围景象生成方法流程图;
图4是根据本申请实施例的一种高动态范围景象生成装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
目前,现有技术中,多集中于改进一种灰度调制方法或将两种灰度调制方法相结合进行扩展DMD显示动态范围的研究,无论哪种方法都无法解决帧频与动态范围间的矛盾,扩展动态范围的能力十分有限。
为了解决帧频与动态范围之间的矛盾,本申请实施例提出了一种高动态范围景象生成系统,利用三个DMD组成景象生成模块,将空间灰度调制、帧灰度调制与脉冲宽度调制(PWM)结合起来,给出综合的灰度调制算法,在保证高帧频及不损失图像分辨率的前提下,大幅提高生成景象的动态范围。
图2是根据本申请实施例的一种高动态范围景象生成系统示意图,包括三个照明装置和一个投影装置,具有三通道、共口径的特点。如图2所示,该系统包括:控制器1、第一DMD2-1、第二DMD2-2、第三DMD2-3、第一照明装置3-1、第二照明装置3-2、第三照明装置3-3、投影装置4和合束棱镜5。
其中,控制器1用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,基于每个位平面图像对应的3幅黑白图像,同时控制三个DMD对入射光线进行空间光调制,以投影生成每个位平面图像对应的图像,并按照脉冲宽度调制的时序,遍历N/2个2位位平面图像。
第一DMD2-1、第二DMD2-2、第三DMD2-3分别与控制器通信,用于接收控制器根据每个2位位平面图像对应的3幅黑白图像生成的控制信号,并根据相应的控制信号调制入射光线以投影生成每个2位位平面图像,其中,N/2个2位位平面图像对应的调制后光线投影生成的图像叠加生成待生成景象的灰度图像。其中,合束棱镜5可以将三个DMD调制的光线进行光学合束,合束后的光线进入投影装置4。
需要说明的是,空间分布的三个DMD(即第一DMD2-1、第二DMD2-2、第三DMD2-3)组成了一个四进制的景象生成模块。
具体地,可以利用象限莫尔条纹法对三个DMD(即第一DMD2-1、第二DMD2-2、第三DMD2-3)进行图像配准,使三个DMD对应位置的微镜片一一对应,以组合为一个基本像元,根据基本像元内微镜片“开”、“关”个数的不同,每一个基本像元都具有四种状态,分别为:“关、关、关”,“开、关、关”,“开、开、关”,“开,开,开”,分别对应了4个不同的灰度等级,相当于利用空间灰度调制方式,在没有降低图像的空间分辨率的情况下,将三个DMD组成的景象模块升级为一个四进制空间光调制器,以便通过该四进制空间光调制器生成2位位平面图像(即每个像元具有4个灰度值的图像)。容易注意的是,单个DMD只能生成黑白图像(即每个像元只有2个灰度值的图像)。
对于每一个2位位平面图像上的每个像元均包含了4个不同的灰度值,根据像元灰度值不同进行帧分解,可以将每个2位位平面图像拆分为3幅黑白图像(即每个像元只有2个灰度值的图像),将每幅黑白图像转化为相应的视频图像信号上传到第一DMD2-1、第二DMD2-2、第三DMD2-3的控制电路,可以使得第一DMD2-1、第二DMD2-2、第三DMD2-3分别根据接收到的视频图像信号,对第一照明装置3-1、第二照明装置3-2、第三照明装置3-3的入射光束进行空间光调制,分别生成带有黑白图像信息的图像光。其中,三个照明装置(即第一照明装置3-1、第二照明装置3-2、第三照明装置3-3)的出瞳位于对应DMD的靶面并且与投影装置的入瞳重合,其中,投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件。
容易注意的是,由于所述高动态范围景象生成系统不适用TIR棱镜或场镜分离照明光路和投影光路,因而,由第一照明装置3-1、第二照明装置3-2、第三照明装置3-3分别构成的三通道照明装置以平行光直接照明对应DMD靶面,采用空间立体布局来避免不同光路间干扰。
另外,通过同步控制程序实现空间光调制过程的同步性,使得第一DMD2-1、第二DMD2-2、第三DMD2-3可以分别生成每个2位位平面图像进行帧分解得到的3幅黑白图像,使得由第一DMD2-1、第二DMD2-2、第三DMD2-3组成的景象生成模块具备了生成2位位平面图像的功能。也即,将单DMD的二进制空间光调制器扩展为四进制空间光调制器,该四进制空间光调制器根据脉冲宽度调制的时序将所有2位位平面连续显示,则生成了待生成景象的灰度图像。
此处需要说明的是,本申请实施例提供的高动态范围景象生成系统实际上就是一个投影系统,由于投影系统投出的景物必须有一个接收端,对于普通的投影仪,接收端就是投影屏幕,而对于用于半实物仿真的投影系统而言,接收端就是待检成像系统,待检成像系统是通过探测器在积分时间内接收到的总能量来生成图像的,因此,通过三个DMD生成每个2位位平面图像后,需要保证所有2位位平面图像能够在探测器的积分时间内被成像系统接收即可,从而可以生成待生成景象的灰度图像,这就是所谓的“视觉残留特性”。
第一DMD2-1、第二DMD2-2、第三DMD2-3通过调制第一照明装置3-1、第二照明装置3-2、第三照明装置3-3的入射光束生成的三路图像光进入合束棱镜5进行光学合束,再进入投影装置4进行投影,从而在高动态范围景象生成装置的出瞳处复原所要生成的2位位平面图像。
根据本申请实施例,提供了一种高动态范围景象生成方法的实施例,本方法实施例可以应用但不限于上述高动态范围景象生成系统中。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。图3是根据本申请实施例的一种高动态范围景象生成方法流程图,如图3所示,该方法包括如下步骤:
步骤S301,将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态。
作为一种可选的实施例,上述待生成景象的灰度图像可以是半实物仿真系统中待生成的景象的灰度图像。随着计算成像、空间光调制等成像技术的不断成熟,一些高性能成像系统可以实现高动态范围成像,半实物仿真系统作为检定设备必须要提升自身动态范围才能满足测试需求。
本申请利用三个DMD组成一个四进制景象生成模块,由三个DMD对应位置的微镜片构成该四进制景象生成模块的基本像元,由于每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态,每种状态代表2位位平面图像上每个像元的一个灰度值。
需要说明的是,可以通过图像配准方法,来辅助装调三个DMD的空间位置,从而实现三个DMD上相应位置的微镜片一一对应。由此,作为一种可选的实施方式,上述方法还可以包括如下步骤:确定三个DMD的空间分布位置,其中,三个DMD中的一个DMD与投影装置的主光轴重合,另外两个DMD位于主光轴的两侧;基于象限莫尔条纹法,对空间分布的三个DMD的图像进行图像配准,使得三个DMD上相应位置的微镜片一一对应,构成一个基本像元。
步骤S302,基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,黑白图像是指每个像元只有2个灰度值的图像。
具体地,上述黑白图像为每个像元具有2个灰度值的二值图像。由于基本像元具有四种状态,即分别为:“关、关、关”,“开、关、关”,“开、开、关”,“开,开,开”,可以分别对应每个2位位平面图像内每个像元的4个不同的灰度值,然后可以根据像元灰度值的不同,利用帧灰度调制,将每个2位位平面图像进行帧分解处理,得到的3幅黑白图像。
步骤S303,根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面图像对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像。
具体地,在投影生成每个2位位平面图像的时候,将每个2位位平面图像对应的3幅黑白图像转换为对应的三个视频图像信号,分别发送给每个DMD;DMD根据接收到的视频信号对照明装置的入射光线进行空间光调制,并由投影装置对调制后光线进行投影生成每个2位位平面图像;按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,将对应的调制后光线投射到接收装置上。
可选地,上述接收装置包括但不限于如下任意之一:投影屏幕、成像系统的探测器,其中,在接收装置为成像系统的探测器的情况下,探测器在探测器的积分时间内,将接收到所有2位位平面图像的光线,以便成像系统根据探测器接收到的光线的叠加生成待生成景象的灰度图像。
具体地,在控制三个DMD同时根据各自接收到的每个位平面图像对应的视频图像信号,将对应的调制后光线投射到投影装置上的时候,可以通过空间分布的三个照明装置分别投射光线进入到三个DMD,使得三个DMD同时根据各自接收到的视频图像信号,调制相应照明装置的光线,其中,三个照明装置的出瞳位于DMD的靶面并且与投影装置的入瞳重合,其中,投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件;将三个DMD调制的相应照明装置的光线通过合束棱镜进行光学合束,以将合束后的光线投射到投影装置。
步骤S304,按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
本申请上述步骤S301至S304公开的方案,利用三个DMD组成四进制景象生成模块,将空间灰度调制、帧灰度调制与脉冲宽度调制(PWM)结合起来,提出了一种综合的灰度调制算法,实现了在保证高帧频及不损失图像分辨率的前提下,扩大生成景象的动态范围的技术效果,进而解决了现有基于DMD的扩展生成景象动态范围技术存在帧频与动态范围相互制约的的技术问题。
容易注意的是,单DMD只能显示1位图像(即黑白图像),因此,需要通过位平面分解方式将N位灰度图像分解为N个1位图像,而本申请实施例提供的由三个DMD组成的四进制景象生成模块,可以显示2位图像(即2位图像上的每个像元具有4个灰度等级),因此可以通过位平面分解方式将N位灰度图像分解为N/2个2位图像,可以看出,本申请使得位平面个数减少一半,可以理解为位平面个数越少,显示一幅N位图像的显示时间越短,也就提高了帧频,从而解决了帧频和图像动态范围间制约的问题。
本申请通过降低原灰度图像位平面分解的个数来解决DMD帧频与动态范围间矛盾的问题,具体地,将位平面的位深提升至2位,下面以生成一副16位的灰度图像为例简述新灰度调制算法的可行性。
首先,通过位平面分解将16位的原灰度图像分解为8个2位位平面图像,分解原理与二进制位平面分解原理相同。然后,根据每个2位位平面图像像元的灰度值将其进行帧分解处理,得到三幅二值图像(黑白图像),并由第一DMD、第二DMD、第三DMD分别同时显示。由于所述三个DMD组成的景象生成模块通过基本像元中微镜片“开”或“关”状态的个数来表达四个灰度值,无需特殊指定某个微镜片状态,这极大降低了位平面图像的帧分解难度。最后,保证三个DMD的同步控制,每个DMD按照脉冲宽度时序分别显示不同2位位平面图像的帧分解得到的8个黑白图像,此步骤可理解为三个DMD组成的景象生成模块按照脉冲宽度时序依次显示8个2位位平面图像,通过8个2位位平面图像的投影叠加即可生成16位灰度图像。由于位平面的位深由1位提升为2位,显著减少了位平面分解后获得的位平面个数,由此极大提升了显示帧频。
根据本申请实施例,还提供了一种用于实现上述高动态范围景象生成方法的装置实施例,图4是根据本申请实施例的一种高动态范围景象生成装置示意图,如图4所示,该装置包括:第一处理单元401、第二处理单元402、控制单元403和生成单元404。
其中,第一处理单元401,用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态;
第二处理单元402,用于基于每个2位位平面图像内每个像元的灰度值,将每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,黑白图像是指每个像元只有2个灰度值的图像;
控制单元403,用于根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;
生成单元404,用于按照脉冲宽度调制的时序,利用三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
此处需要说明的是,上述第一处理单元401、第二处理单元402、控制单元403和生成单元404对应于方法实施例中的步骤S301至S304。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种高动态范围景象生成方法,其特征在于,包括:
将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,所述2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,所述基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态;
基于每个2位位平面图像内每个像元的灰度值,将所述每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,所述黑白图像是指每个像元只有2个灰度值的图像;
根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;
按照脉冲宽度调制的时序,利用所述三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
2.根据权利要求1所述的方法,其特征在于,在根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制之前,所述方法还包括:
确定所述三个DMD的空间分布位置,其中,所述三个DMD中的一个DMD与投影装置的主光轴重合,另外两个DMD位于所述主光轴的两侧;
基于象限莫尔条纹法,对空间分布的所述三个DMD的图像进行图像配准,使得所述三个DMD上相应位置的微镜片一一对应,构成一个基本像元。
3.根据权利要求1所述的方法,其特征在于,根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由所述三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像,包括:
将每个2位位平面图像对应的3幅黑白图像转换为对应的三个视频图像信号,分别发送给每个DMD;
所述三个DMD同时根据各自接收到的视频图像信号对所述三个照明装置的入射光线进行空间光调制,调制后的光线进入投影装置并投影,其中,三幅黑白图像的调制后光线在所述投影装置的出瞳位置叠加,以生成每个2位位平面图像。
4.根据权利要求3所述的方法,其特征在于,按照脉冲宽度调制的时序,利用所述三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像,包括:
每个2位位平面图像按照脉冲宽度调制的时序,由所述三个DMD共同生成,由所述投影装置分别连续投影,并在所述投影装置的出瞳位置叠加,以生成待生成景象的灰度图像。
5.根据权利要求3所述的方法,其特征在于,所述三个DMD同时根据各自接收到的视频图像信号对所述三个照明装置的入射光线进行空间光调制,调制后的光线进入投影装置并投影,包括:
通过空间分布的所述三个照明装置分别投射光线进入到所述三个DMD,使得所述三个DMD同时根据各自接收到的视频图像信号,对相应照明装置的入射光线进行空间光调制,其中,所述三个照明装置的出瞳位于对应DMD的靶面并且与投影装置的入瞳重合,其中,所述投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件;
将所述三个DMD调制的相应照明装置的光线通过合束棱镜进行光学合束,以使合束后的光线进入所述投影装置。
6.一种高动态范围景象生成系统,其特征在于,包括:
控制器,用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,基于每个2位位平面图像内每个像元的灰度值,将所述每个2位位平面图像进行帧分解处理,得到3幅黑白图像,根据每个2位位平面图像对应的3幅黑白图像,同步控制第一DMD、第二DMD、第三DMD对第一照明装置、第二照明装置、第三照明装置的入射光线进行空间光调制,以投影生成每个2位位平面图像,并按照一定的脉冲宽度调制的时序,遍历所述N/2个2位位平面图像;
所述三个DMD,分别与所述控制器通信,用于接收所述控制器根据每个2位位平面图像对应的3幅黑白图像生成的视频信号,并根据相应的视频信号调制所述三个照明装置的入射光线以投影生成每个2位位平面图像,其中,所述三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:
合束棱镜,用于将所述三个DMD的调制后光线进行光学合束;
投影装置,用于接收所述合束棱镜合束后的光线并投影。
8.根据权利要求7所述的系统,其特征在于,所述投影装置的接收装置包括如下任意之一:投影屏幕、成像系统的探测器,其中,在所述接收装置为成像系统的探测器的情况下,所述探测器在所述探测器的积分时间内,将接收到的N/2个2位位平面图像的光线进行叠加,以便所述成像系统根据所述探测器接收到的光线生成所述待生成景象的灰度图像。
9.根据权利要求6所述的系统,其特征在于,所述系统还包括:
所述三个照明装置,分别投射光线进入到所述三个DMD,其中,所述三个照明装置的出瞳位于对应DMD的靶面并且与投影装置的入瞳重合,其中,所述投影装置满足大入瞳距条件,照明装置满足柯勒远心光路条件。
10.一种高动态范围景象生成装置,其特征在于,包括:
第一处理单元,用于将待生成景象的N位灰度图像进行位平面分解,得到N/2个2位位平面图像,其中,所述2位位平面图像上的每个像元具有4个灰度值,每个灰度值对应基本像元的一种状态,所述基本像元是由空间分布的第一DMD、第二DMD、第三DMD上一一对应的微镜片构成,每个微镜片具有开、关两种状态,使得每个基本像元具有四种状态;
第二处理单元,用于基于每个2位位平面图像内每个像元的灰度值,将所述每个2位位平面图像进行帧分解处理,得到3幅黑白图像,其中,所述黑白图像是指每个像元只有2个灰度值的图像;
控制单元,用于根据3幅黑白图像对应的视频信号,同步控制第一DMD、第二DMD、第三DMD分别对第一照明装置、第二照明装置、第三照明装置的入射光线分别进行空间光调制,即由三个DMD分别同时显示每个2位位平面对应的3幅黑白图像,通过3幅黑白图像的叠加以投影生成每个2位位平面图像;
生成单元,用于按照脉冲宽度调制的时序,利用所述三个DMD对所有2位位平面图像连续投影,通过每幅2位位平面图像的叠加以生成待生成景象的灰度图像。
CN201810713288.5A 2018-06-29 2018-06-29 高动态范围景象生成方法、装置及系统 Active CN108965838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810713288.5A CN108965838B (zh) 2018-06-29 2018-06-29 高动态范围景象生成方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810713288.5A CN108965838B (zh) 2018-06-29 2018-06-29 高动态范围景象生成方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108965838A true CN108965838A (zh) 2018-12-07
CN108965838B CN108965838B (zh) 2020-04-03

Family

ID=64485083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810713288.5A Active CN108965838B (zh) 2018-06-29 2018-06-29 高动态范围景象生成方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108965838B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634334A (zh) * 2020-12-24 2021-04-09 长春理工大学 基于融合像素调制的超高动态投影显示方法和系统
CN112788315A (zh) * 2019-11-04 2021-05-11 波音公司 用于将图像投影在屏幕上的方法及系统
CN113029525A (zh) * 2021-03-18 2021-06-25 哈尔滨新光光电科技股份有限公司 一种红外场景模拟系统、红外场景模拟方法以及dmd控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664888A (zh) * 2004-03-05 2005-09-07 精工爱普生株式会社 光调制装置和光学显示装置以及它们的控制方法和程序
CN101692696A (zh) * 2009-10-12 2010-04-07 哈尔滨工业大学 一种基于dmd的宽波段动态光学景象生成方法和系统
US20130222403A1 (en) * 2012-02-28 2013-08-29 Texas Instruments Incorporated Spatial and temporal pulse width modulation method for image display
CN104917977A (zh) * 2015-06-02 2015-09-16 中国科学院上海技术物理研究所 一种驱动dmd超高帧频显示高动态图像的方法
CN105120187A (zh) * 2015-08-20 2015-12-02 深圳创维-Rgb电子有限公司 一种激光电视的图像处理方法、系统及激光电视
WO2016062785A2 (en) * 2014-10-21 2016-04-28 University College Cork - National University Of Ireland, Cork Smart photonic imaging method and apparatus
CN105571726A (zh) * 2014-10-17 2016-05-11 哈尔滨新光光电科技有限公司 一种六套dmd叠加成像的高灰度红外景象生成方法和系统
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664888A (zh) * 2004-03-05 2005-09-07 精工爱普生株式会社 光调制装置和光学显示装置以及它们的控制方法和程序
CN101692696A (zh) * 2009-10-12 2010-04-07 哈尔滨工业大学 一种基于dmd的宽波段动态光学景象生成方法和系统
US20130222403A1 (en) * 2012-02-28 2013-08-29 Texas Instruments Incorporated Spatial and temporal pulse width modulation method for image display
CN105571726A (zh) * 2014-10-17 2016-05-11 哈尔滨新光光电科技有限公司 一种六套dmd叠加成像的高灰度红外景象生成方法和系统
WO2016062785A2 (en) * 2014-10-21 2016-04-28 University College Cork - National University Of Ireland, Cork Smart photonic imaging method and apparatus
CN104917977A (zh) * 2015-06-02 2015-09-16 中国科学院上海技术物理研究所 一种驱动dmd超高帧频显示高动态图像的方法
CN105120187A (zh) * 2015-08-20 2015-12-02 深圳创维-Rgb电子有限公司 一种激光电视的图像处理方法、系统及激光电视
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾法权,等: "基于DMD的红外目标模拟器光学系统的设计", 《长春理工大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112788315A (zh) * 2019-11-04 2021-05-11 波音公司 用于将图像投影在屏幕上的方法及系统
CN112634334A (zh) * 2020-12-24 2021-04-09 长春理工大学 基于融合像素调制的超高动态投影显示方法和系统
CN112634334B (zh) * 2020-12-24 2023-09-01 长春理工大学 基于融合像素调制的超高动态投影显示方法和系统
CN113029525A (zh) * 2021-03-18 2021-06-25 哈尔滨新光光电科技股份有限公司 一种红外场景模拟系统、红外场景模拟方法以及dmd控制方法

Also Published As

Publication number Publication date
CN108965838B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN105612737B (zh) 在增强动态范围投影仪上显示数字电影倡导联盟及其他内容
JP6634012B2 (ja) 光照射野プロジェクタおよび方法
US9979953B1 (en) Reflector-based depth mapping of a scene
CN108965838A (zh) 高动态范围景象生成方法、装置及系统
CN105527789A (zh) 一种投影显示方法及系统
CN108965841B (zh) 一种投影光学系统及投影显示方法
CN108737799A (zh) 一种投影方法、装置及系统
CN103777453A (zh) 真三维图像显示系统及显示方法
JP2008113176A (ja) 映像表示システムの調整システム
CN113744354B (zh) 一种基于灰度值调节亮度的方法、装置、设备及可读介质
CN110824699A (zh) 一种近眼显示设备的眼球追踪系统及近眼显示设备
WO2020244952A1 (en) System and method for projecting images through scattering media
CN202975583U (zh) 真三维图像显示系统
CN103713463A (zh) 真三维图像显示系统及显示方法
Koutaki Binary continuous image decomposition for multi-view display
CN103713462A (zh) 真三维图像显示系统及显示方法
WO2021128406A1 (zh) 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN203217233U (zh) 真三维图像显示系统
CN109100740B (zh) 一种三维图像成像装置、成像方法及系统
CN102722031B (zh) 激光真三维显示器的光学系统
CN110225329A (zh) 一种无赝像单元图像合成方法及系统
CN103809364B (zh) 真三维图像显示系统及真三维图像显示方法
CN104717486A (zh) 一种基于DMD芯片的DLP Link 3D投影仪
CN110221505A (zh) 投影装置及投影方法
CN203217232U (zh) 真三维图像显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant