CN111866588A - 图像拆分方法与图像显示方法 - Google Patents

图像拆分方法与图像显示方法 Download PDF

Info

Publication number
CN111866588A
CN111866588A CN201910360885.9A CN201910360885A CN111866588A CN 111866588 A CN111866588 A CN 111866588A CN 201910360885 A CN201910360885 A CN 201910360885A CN 111866588 A CN111866588 A CN 111866588A
Authority
CN
China
Prior art keywords
resolution
low
image
frame
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910360885.9A
Other languages
English (en)
Other versions
CN111866588B (zh
Inventor
陈晨
胡飞
郭祖强
余新
杨开宇
张贤鹏
李屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Appotronics Corp Ltd
Original Assignee
Appotronics Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Appotronics Corp Ltd filed Critical Appotronics Corp Ltd
Priority to CN202210880772.3A priority Critical patent/CN115243103A/zh
Priority to CN202210860946.XA priority patent/CN115278367A/zh
Priority to CN201910360885.9A priority patent/CN111866588B/zh
Priority to PCT/CN2020/086237 priority patent/WO2020221083A1/zh
Publication of CN111866588A publication Critical patent/CN111866588A/zh
Application granted granted Critical
Publication of CN111866588B publication Critical patent/CN111866588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明提供一种图像拆分方法,应用于显示设备中,所述显示设备在投影屏幕上形成投影画面,所述图像拆分方法包括以下步骤:获得待显示图像,所述待显示图像包括像素分布的多个待显示像素,所述待显示图像的分辨率为第一分辨率;将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,所述第二分辨率小于所述第一分辨率,所述多个低分辨率子帧图像均包括像素分布的多个低分辨率子帧像素,根据每个待显示像素的像素灰度值以及所述多个低分辨率子帧图像的显示时间占空比,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,从而得到每个低分辨率子帧图像的调制数据,本发明还提供一种包括上述图像拆分方法的图像显示方法。

Description

图像拆分方法与图像显示方法
技术领域
本发明涉及显示技术领域,尤其涉及一种图像拆分方法与图像显示方法。
背景技术
本部分旨在为权利要求书中陈述的本发明的具体实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
对于投影仪等图像显示设备而言,高分辨率意味着更多的可区分的细节,一直以来都是显示领域追求的目标。在显示由数字微镜器件(Digital Micro-mirror Device,DMD)、薄膜晶体管液晶显示器(Thin-Film-Transistor Liquid Crystal Display,TFT-LCD)或硅基液晶(Liquid Crystal on Silicon,LCoS)等空间光调制器形成的图像的情况下,在屏幕等中显示的显示图像的像素数量通常与空间光调制器的像素数量相同。当空间光调制器的分辨率越高,显示图像的分辨率也越高,但相应的制造成本和对应的光机和投影元件成本会显著增加。
作为一种替代方案,即使不提高空间光调制器本征的分辨率,可以将高分辨率待显示图像拆分为多个低分辨率子帧图像,低分辨率子帧图像均由多个低分辨率子帧像素构成,多个低分辨率子帧图像的成像位置相互偏移非整数个低分辨率子帧像素,将多个低分辨率子帧图像进行叠加得到该高分辨率待显示图像(即重建图像),从而显著提高显示的分辨率。
常见的将高分辨率图像拆为多个低分辨率子帧图像的算法有两种:加权平均法和内部取样法。加权平均法的核心思想在于将相邻几个高分辨率像素灰度值的某种加权平均(通常使用像素面积比为权重)赋值给低分辨率子帧图像中的对应像素。内部取样法直接在原高分辨率的信号源中取样某个高分辨率像素,实际上,内部取样法是将对角线方向相邻两个高分辨率像素平均得到低分辨率子帧像素。
请参阅图1A、图1B与图1C,其中图1A为原图,利用内部取样法将多个低分辨率子帧图像叠加后得到如图1B的重建图像,从图1C中可以看出,内部取样法得到的重建图像与原图相比锐度明显下降,锐利变化的边缘都被过滤了出来,也就是说,空间高频信息被选择性过滤了出来,内部取样法本质上是一种空间低通滤波操作,与原图之间的差别包含高频边缘部分。
请参阅图1D与图1E,图1D是根据图1A所示的原图采用加权平均法得到的重建图像,由于加权平均法中每个低分辨率子帧像素是对应像素位置的相邻的四个高分辨率像素平均的结果,也是一种空间低通滤波,从图1E中可以看出,加权平均法得到的重建图像与原图相比差别同样在于锐利变化的高频边缘信息。
发明内容
本发明提供一种图像拆分方法与图像显示方法,应用于显示设备中,所述显示设备在投影屏幕上形成投影画面,所述图像拆分方法包括以下步骤:
获得待显示图像,所述待显示图像包括像素分布的多个待显示像素,所述待显示图像的分辨率为第一分辨率;
将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,所述第二分辨率小于所述第一分辨率,所述多个低分辨率子帧图像均包括像素分布的多个低分辨率子帧像素,根据每个待显示像素的像素灰度值以及所述多个低分辨率子帧图像的显示时间占空比,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,从而得到每个低分辨率子帧图像的调制数据。
一种图像显示方法,包括如上所述的图像拆分方法的步骤,在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,控制所述多个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及/或列方向偏移1/n个低分辨率子帧像素,n>1。
一种图像显示方法,包括如上所述的图像拆分方法的步骤,
所述第一分辨率为所述第二分辨率的二倍,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,具体为:
将每帧待显示图像拆分为具有第二分辨率的四个低分辨率子帧图像;
在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,控制所述多个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及/或列方向偏移1/2个低分辨率子帧像素。
一种图像显示方法,包括如上所述的图像拆分方法的步骤,
所述第一分辨率为所述第二分辨率的二倍,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,具体为:
将每帧待显示图像拆分为具有第二分辨率的两个低分辨率子帧图像;
在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述个低两分辨率子帧图像的图像光至所述投影屏幕,控制所述两个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及列方向偏移1/2个低分辨率子帧像素。
本发明每个待显示像素的像素灰度值与所述多个低分辨率子帧图像的显示时间占空比计算得到的低分辨率子帧图像的调制数据的方法可以较好地重现高分辨率的待显示图像,多个低分辨率子帧图像叠加得到的重建图像与原图区别较小,并且可以有效避免图像拆分再重组过程中产生的高频滤波现象。
附图说明
为了更清楚地说明本发明实施例/方式技术方案,下面将对实施例/方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例/方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为原图。
图1B为利用内部取样法得到的重建图像。
图1C为图1A与图1B中对应像素之间的差别。
图1D为利用加权平均法得到的重建图像。
图1E为图1A与图1D中对应像素之间的差别。
图2A为本发明第一实施方式中相邻四个待显示像素与对应第一低分辨率子帧像素的对应关系示意图。
图2B为图2A所示的相邻四个待显示像素与对应低分辨率子帧像素的对应关系示意图。
图3A为本实施方式中第一低分辨率子帧图像。
图3B为本实施方式中第二低分辨率子帧图像。
图3C为本实施方式中第三低分辨率子帧图像。
图3D为本实施方式中第四低分辨率子帧图像。
图4为显示设备的结构示意图。
图5A为原图。
图5B为利用图3A-图3D得到的重建图像。
图5C为图5A与图5B中对应像素之间的差别。
图6A为第二实施方式中相邻四个待显示像素与对应第一低分辨率子帧像素的对应关系示意图。
图6B为图6A所示的相邻四个待显示像素与对应低分辨率子帧像素的对应关系示意图。
图7A为以图5A为原图,在本实施方式中对灰度值进行限幅后得到的第一低分辨率子帧图像。
图7B为以图5A为原图,在本实施方式中对灰度值进行限幅后得到的第二低分辨率子帧图像。
图7C为将图7A与图7B进行叠加得到的重建图像。
图7D为图7C与原图之间的差别。
图8A为原图。
图8B为本实施方式中利用对角线位置与非对角线位置的待显示像素的灰度值获得的第一低分辨率子帧图像。
图8C为本实施方式中利用对角线位置与非对角线位置的待显示像素的灰度值获得的第二低分辨率子帧图像。
图8D为根据图8B与图8C以及本实施方式中提供的图像拆分方法与图像显示方法得到的重建图像。
图8E为8A与图8D的差别。
主要元件符号说明
第一显示区域 p
第一低分辨率子帧像素 a
第二低分辨率子帧像素 b
第三低分辨率子帧像素 c
第四低分辨率子帧像素 d
显示设备 100
光源系统 101
光调制装置 102
光路平移系统 103
投影光学系统 104
投影屏幕 105
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明提供一种图像拆分方法以及包括该图像拆分方法的图像显示方法,应用于显示设备中,显示设备出射的图像光在投影屏幕上形成投影画面,本发明提供的图像拆分方法用于提高显示设备的分辨率,可以在图像显示的过程中促进空间光调制装置突破研发周期的限制实现分辨率的提高,也可以在由于经费的限制不能购置高分辨率的空间光调制装置时,使用本发明提供的方法将每帧带显示图像拆分为多个低分辨率子帧图像,再将多个低分辨率子帧图像进行叠加得到高分辨率的待显示图像,本方法有利于提高显示设备的分辨率,将极大程度促进投影产业的发展,将会带来巨大的经济效益。
第一实施方式
显示设备根据待显示图像的原始图像数据(比如视频片源)出射图像光并在投影屏幕上形成连续显示的多帧投影画面,本发明中以其中多帧投影画面中的一帧待显示图像的拆分方法与显示方法为例进行说明,具体地,本发明提供的图像拆分方法具体包括以下步骤:
S101:获得待显示图像,待显示图像包括像素分布的多个待显示像素,待显示图像的分辨率为第一分辨率。
请参阅图2A,待显示图像由像素分布的待显示像素构成,一般地,多个待显示像素沿行方向与列方向排布呈矩形,不同待显示像素之间用地址区分,比如待显示图像为标准4K格式的图像,则第一分辨率为4096*2160,每个像素的行地址用m表示,列地址用n表示,则像素地址为(m,n),m与n皆为整数,并且,0≤m<4096,0≤n<2160。
另外,待显示图像的原始图像数据中包括每个待显示像素的各种基色灰度值,一般地,原始图像数据的各种基色的灰度值为RGB格式,并包括RGB三种基色各自的灰度值,以某个待显示像素为例,50、100、150为某个待显示像素的三基色灰度值。本发明中,待显示像素的灰度值记为Hm,n,需要说明的是,每个待显示像素的灰度值可以是该待显示像素任一基色的灰度值,也可以是该待显示像素的多种基色的灰度值组合。相邻的呈“田”形分布的四个待显示像素的地址可以分别表示为(2i-1,2j-1),(2i-1,2j),(2i,2j-1),(2i,2j),上述四个地址对应的待显示像素的灰度值分别记为H2i-1,2j-1,H2i-1,2j,H2i,2j-1,H2i,2j
S102:将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,其中,第二分辨率小于第一分辨率,多个低分辨率子帧图像均包括像素分布的多个低分辨率子帧像素,其中,待显示图像中每个待显示像素显示在投影屏幕上的一个显示区域,根据每个待显示像素的像素灰度值以及该每个待显示像素拆分得到的多个低分辨率子帧图像的显示时间占空比,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,从而得到每个低分辨率子帧图像的调制数据。
进一步地,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,包括:
根据每个待显示像素的像素灰度值求解得到对应低分辨率子帧像素的加权灰度值,利用对应低分辨率子帧像素的加权灰度值,以及该对应低分辨率子帧像素所属低分辨率子帧图像的显示时间占空比,计算得到该对应低分辨率子帧像素的像素灰度值。
本发明中的低分辨率子帧像素的加权灰度值可为该低分辨率子帧像素的一种基色的加权灰度值,也可以是该低分辨率子帧像素的多种基色的加权灰度值的组合。低分辨率子帧像素的加权灰度值与该低分辨率子帧像素对应基色的灰度值以及该低分辨率子帧像素的显示时间占空比有关,该低分辨率子帧像素的显示时间占空比即为该低分辨率子帧像素所属的低分辨率子帧图像的显示时间占空比。具体地,本发明中的低分辨率子帧像素的加权灰度值等于该低分辨率子帧像素的对应基色的灰度值以及该对应低分辨率子帧图像的显示时间占空比的乘积。
根据光通量守恒原则,根据每个待显示像素的像素灰度值求解得到对应低分辨率子帧像素的加权灰度值,具体为,每个待显示像素的像素灰度值等于多个低分辨率子帧图像中的对应低分辨率子帧像素的加权灰度值之和。
理论上任意相邻低分辨率子帧图像成像位置的偏移量可以是等间距的,比如相邻低分辨率子帧图像之间相互偏移1/n个低分辨率子帧像素,在本实施方式中n=2,即待显示的高分辨图像确定的情况下,可以利用成像位置相互偏移的多个低分辨率子帧图像相互叠加实现高分辨率图像显示相同的显示效果。可以理解的是,n不需要限定一定为整数,n越大,代表需要的低分辨率子帧像素越少,成本越低,但带来的问题是图像拆分会更难,芯片可靠性要求高;另外一种是非等距偏移量,相邻的低分辨率子帧图像之间偏移的距离不同。
本发明提供的图像拆分方法,根据每个待显示像素的像素灰度值以及该多个低分辨率子帧图像的显示时间占空比,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,可以较好地重现高分辨率的待显示图像,多个低分辨率子帧图像叠加得到的重建图像与原图区别较小,利用本发明提供的图像拆分方法得到的多个低分辨率子帧图像相互叠加,得到重建图像,并且重建图像的分辨率与待显示图像的分辨率相同。
其中,采用基于光通量守恒的原则将高分辨率的待显示图像拆分为多个与显示设备分辨率匹配的低分辨率子帧图像。第二分辨率可以为显示设备的本征分辨率,第二分辨率小于第一分辨率,即待显示图像的分辨率高于显示设备的本征分辨率,若显示设备不对待显示图像的原始图像数据进行处理,直接根据每帧待显示图像的原始图像数据对基色光进行调制并得到一幅投影图像,则投影图像的分辨率与显示设备的本征分辨率相同,进而没有利用到原始图像数据的高分辨率得到投影图像的高清晰度显示,从而限制了显示设备的广泛应用。可以理解的是,第二分辨率还可以小于显示设备的本征分辨率,重建图像的分辨率等于第一分辨率。
请参阅图2A与图2B,本实施方式中,第一分辨率为第二分辨率的二倍,即在投影屏幕上,每个低分辨率子帧像素与四个相邻的呈“田”形分布的待显示像素照射至投影屏幕上的相同显示区域中,即每个低分辨率子帧像素的面积为每个待显示像素的4倍。本实施方式中,以将每帧待显示图像拆分为具有第二分辨率的四个低分辨率子帧图像为例进行说明,可以理解的是,还可以将每帧待显示图像拆分为四个以外其他数量的低分辨率子帧图像。
具体地,四个低分辨率子帧图像分别为第一低分辨率子帧图像、第二低分辨率子帧图像、第三低分辨率子帧图像与第四低分辨率子帧图像,第一低分辨率子帧图像、第二低分辨率子帧图像、第三低分辨率子帧图像与第四低分辨率子帧图像分别包括像素分布的多个第一低分辨率子帧像素、第二低分辨率子帧像素、第三低分辨率子帧像素与第四低分辨率子帧像素。地址为(2i-1,2j-1),(2i-1,2j),(2i,2j-1),(2i,2j)的四个待显示像素显示在投影屏幕上的第一显示区域p,即第一显示区域p用于显示地址为(2i-1,2j-1),(2i-1,2j),(2i,2j-1),(2i,2j)的四个待显示像素的画面,第一显示区域p还用于接收第一低分辨率子帧像素a、第二低分辨率子帧像素b、第三低分辨率子帧像素c、第四低分辨率子帧像素d的光线,即第一低分辨率子帧像素a、第二低分辨率子帧像素b、第三低分辨率子帧像素c、第四低分辨率子帧像素d进行叠加得到地址为(2i-1,2j-1)、(2i-1,2j)、(2i,2j-1)、(2i,2j)的四个待显示像素的画面。由于每帧待显示图像拆分得到的多个低分辨率子帧图像的叠加方式会影响到具体的图像的拆分方法与待显示像素灰度值的表达形式,所以在这里说明下本实施方式中采用的图像显示方法,具体涉及到上述提到的多个低分辨率子帧图像的叠加方法。可以理解的是,在本发明的精神或基本特征的范围内,本发明提供的图像拆分方法还适用于其他图像叠加方法,在采用其他低分辨率子帧图像进行叠加得到高分辨率待显示图像的方法的基础上,利用本发明提供的图像拆分方法得到的每个待显示像素的灰度值表达方式会有所区别。
本实施方式中,图像显示方法包括上述图像拆分方法的步骤,在计算得到每个低分辨率子帧图像的调制数据后,在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,控制每帧待显示图像拆分得到的多个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在行方向及/或列方向偏移1/n个低分辨率子帧像素,其中n>1,从而保证多个低分辨率子帧图像的成像位置具有重叠部分,本实施方式中n=2。进一步地,还可以控制多个低分辨率子帧图像的出射时序,比如,在本实施方式中,控制连续出射的任意两个低分辨率子帧图像的成像位置在行方向或列方向偏移1/n个低分辨率子帧像素。
具体地,行方向与列方向均包括正方向与负方向,如图2A所示,行方向为图中的水平方向,列方向为图中的垂直方向,行的正方向为图中沿水平向右的方向,行的负方向为图中沿水平向左的方向,列的正方向沿图中垂直向下的方向,列的负方向沿图中垂直向上的方向。在本实施方式中,利用光调制装置周期性出射第一低分辨率子帧图像、第二低分辨率子帧图像、第三低分辨率子帧图像以及第四低分辨率子帧图像,并控制第二低分辨率子帧图像的成像位置相对于第一低分辨率子帧图像的成像位置沿行方向的正方向偏移1/2个低分辨率子帧像素;控制第三低分辨率子帧图像的成像位置相对于第二低分辨率子帧图像的成像位置沿列方向的正方向偏移1/2个低分辨率子帧像素;控制第四低分辨率子帧图像的成像位置相对于第三低分辨率子帧图像的成像位置沿行方向的负方向偏移1/2个低分辨率子帧像素,即第四低分辨率子帧图像的成像位置相对于第一低分辨率子帧图像的成像位置沿行的正方向偏移1/2个低分辨率子帧像素。在一种实施方式中,连续出射的不同低分辨率子帧图像偏移的低分辨率子帧像素的数量不等,比如控制第二低分辨率子帧图像的成像位置相对于第一低分辨率子帧图像的成像位置沿行方向的正方向偏移1/2个低分辨率子帧像素;控制第三低分辨率子帧图像的成像位置相对于第二低分辨率子帧图像的成像位置沿列方向的正方向偏移1/4个低分辨率子帧像素。
根据上述图像显示方法,继续说明本发明提到的图像拆分方法,根据光通量守恒原则,根据每个待显示像素的像素灰度值计算得到四个低分辨率子帧图像中对应第一低分辨率子帧像素的加权灰度值、对应第二低分辨率子帧像素的加权灰度值、对应第三低分辨率子帧像素的加权灰度值与对应第四低分辨率子帧像素的加权灰度值。进一步地,每个待显示像素的像素灰度值等于上述四个低分辨率子帧图像中投影至第一显示区域p中的对应第一低分辨率子帧像素的加权灰度值、对应第二低分辨率子帧像素的加权灰度值、对应第三低分辨率子帧像素的加权灰度值与对应第四低分辨率子帧像素的加权灰度值之和。每个低分辨率子帧像素的加权灰度值等于所属低分辨率子帧图像的显示时间占空比DT与该每个低分辨率子帧像素的像素灰度值Lm,n的乘积。
具体地,每个待显示像素的灰度值与对应低分辨率子帧像素的加权灰度值的关系满足公式1-4:
H2i-1,2j-1=L1 i,jDT1 (公式1),
H2i-1,2j=L1 i,jDT1+L2 i,jDT2 (公式2),
H2i,2j-1=L1 i,jDT1+L4 i,jDT4 (公式3),
H2i,2j=L1 i,jDT1+L2 i,jDT2+L3 i,jDT3+L4 i,jDT4 (公式4)。
其中,Lk i,j代表第k个低分辨率子帧图像中地址为(i,j)的低分辨率子帧像素的灰度值。具体地,L1 i,j代表第一低分辨率子帧图像中地址为(i,j)的第一低分辨率子帧像素的灰度值,L2 i,j代表第二低分辨率子帧图像中地址为(i,j)的第二低分辨率子帧像素的灰度值,L3 i,j代表第三低分辨率子帧图像中地址为(i,j)的第三低分辨率子帧像素的灰度值,L4 i,j代表第四低分辨率子帧图像中地址为(i,j)的第四低分辨率子帧像素的灰度值。
DTk代表第k个低分辨率子帧图像的显示时间占空比。具体地,DT1、DT2、DT3与DT4分别代表第一低分辨率子帧图像、第二低分辨率子帧图像、第三低分辨率子帧图像与第四低分辨率子帧图像的显示时间占空比。本实施方式中,各个低分辨率子帧图像的显示时间相同,故DT1=DT2=DT3=DT4=1/4,在其他实施方式中,各个低分辨率子帧图像的显示时间可以不同,即DT1、DT2、DT3与DT4可以根据需要设置为不完全相等的比例数据。
Lk i,j*DTk代表第k个低分辨率子帧图像中地址为(i,j)的低分辨率子帧像素的加权灰度值。
公式1-4只有在i=j=1时才严格成立,因为当i>1或者j>1时,Lk i,j(k=2,3,4)所对应的低分辨率子帧像素会显示在与第一显示区域p相邻的其他待显示区域中,因此需要考虑相邻的低分辨率子帧像素之间的影响,上述公式1-4可一般性地表示为公式5-8:
H2i-1,2j-1-L2 i,j-1DT2-L3 i-1,j-1DT3-L4 i-1,jDT4=L1 i,jDT1=K2i-1,2j-1 (公式5),
H2i-1,2j-L3 i-1,jDT3-L4 i-1,jDT4=L1 i,jDT1+L2 i,jDT2=K2i-1,2j (公式6),
H2i,2j-1-L2 i-1,jDT2-L3 i,j-1DT3=L1 i,jDT1+L4 i,jDT4=K2i,2j-1 (公式7),
H2i,2j=L1 i,jDT1+L2 i,jDT2+L3 i,jDT3+L4 i,jDT4=K2i,2j (公式8)。
公式1-8的表示方式与多个低分辨率子帧的叠加方法密切相关,在采用其他的图像叠加/显示方式方法的基础上,公式1-8的表现形式会有所区别。
公式5-8中定义了与每个待显示像素一一对应的修正因子,记为K,通过修正因子取值范围的限定尽可能保证计算得到的每个低分辨率子帧像素的灰度值都在0-1的范围内。令L0,0=L0,j=Li,0=0(0≤j<2048,0≤j<1080),依次求解修正因子K2i-1,2j-1、K2i-1,2j、K2i,2j-1与K2i,2j,若K2i-1,2j-1、K2i-1,2j、K2i,2j-1或K2i,2j中的任意一个为0,则令其值为0,从而增大低分辨率子帧图像中的低分辨率子帧像素的灰度值Li,j≥0的几率。
根据每个待显示像素对应的修正因子(K2i-1,2j-1、K2i-1,2j、K2i,2j-1与K2i,2j)的最小值,与第一低分辨率子帧图像的显示时间占空比DT1,计算得到每个待显示像素对应的第一低分辨率子帧像素的像素灰度值L1 i,j,进而有利于求解得到的L2 i,j、L3 i,j、L4 i,j均为非负数。
判断第一低分辨率子帧像素的像素灰度值L1 i,j是否大于1,若是,则设置第一低分辨率子帧像素的像素灰度值L1 i,j=1。在此基础上依次求解L2 i,j、L3 i,j与L4 i,j,并判断每个低分辨率子帧像素的像素灰度值Li,j是否大于1,若是,则设置每个低分辨率子帧像素的像素灰度值Li,j为1。请参阅图3A-3D,根据以上方法得到的多个低分辨率子帧图像中每个低分辨率子帧像素的像素灰度值均在[0,1]的物理限制内。
根据以上步骤求解出每个低分辨率子帧图像中的每个低分辨率子帧像素的像素灰度值,从而得到了每个低分辨率子帧图像的调制数据,调制数据由构成相应低分辨率子帧像素图像的全部低分辨率子帧像素的像素灰度值组成。
在图像显示的过程中,根据每个低分辨率子帧图像的调制数据,依序出射第一低分辨率子帧图像、第二低分辨率子帧图像、第三低分辨率子帧图像与第四低分辨率子帧图像至投影屏幕,或者依序出射第四低分辨率子帧图像、第三低分辨率子帧图像、第二低分辨率子帧图像与第一低分辨率子帧图像至投影屏幕。
在实际应用中,根据每个低分辨率子帧图像的调制数据,可以利用具有本征分辨率的光调制装置时序出射多个低分辨率子帧图像至投影屏幕。
请参阅图4,显示设备100包括光源系统101、光调制装置102、光路平移系统103、投影光学系统104与投影屏幕105。其中,光源系统101用于产生各种基色光,光调制装置102的本征分辨率为显示设备100的本征分辨率,光调制装置102用于根据每个低分辨率子帧图像的调制数据对基色光进行调制得到每个低分辨率子帧图像的图像光,光路平移系统103时序调节每个低分辨率子帧图像的图像光的传输方向,使得一帧待显示图像拆分得到的不同低分辨率子帧图像在投影屏幕105上的成像位置保持预设偏移量,预设偏移量为1/n个低分辨率子帧像素,比如本实施方式中的1/2个低分辨率子帧像素。投影光学系统104用于将光路平移系统103出射的具有二维灰度分布的光场映射到投影屏幕105上,投影光学系统104可以为投影镜头。
根据上述求解过程得到的每个低分辨率子帧图像的调制数据,利用光调制装置102对基色光进行调制,并得到不同低分辨率子帧图像的图像光。
在一种实施方式中,在图像拆分方法的步骤S102之前,将每帧待显示图像拆分为多个基色子帧图像,每个基色子帧图像包括像素分布的基色子帧像素,比如将每帧待显示图像拆分为红色、绿色与蓝色基色子帧图像。
根据由待显示图像获得的多个基色子帧图像,将每个基色子帧图像拆分为多个低分辨率子帧图像,每个基色子帧图像中的每个基色子帧像素与拆分得到的低分辨率子帧图像中的对应低分辨率像素显示在投影屏幕上的相同显示区域中。每个基色子帧图像拆分得到的多个低分辨率子帧图像相互叠加得到对应基色子帧图像的重建图像。每个待显示图像中的每个待显示像素的像素灰度值等于多个基色子帧图像中对应基色子帧像素的基色灰度值的组合,比如,一个待显示像素的三基色灰度值为50,100,150,则该待显示像素在红、绿、蓝基色子帧图像中的对应基色子帧像素的灰度值分别为50、100、150。根据每个基色子帧图像中的每个基色子帧像素的基色灰度值计算得到多个低分辨率子帧图像中的每个低分辨率子帧像素的加权灰度值与灰度值(根据公式5-8),从而得到每个基色子帧图像拆分得到的多个低分辨率子帧图像的调制数据。
显示设备100中,光源系统101用于发出红绿蓝三种基色光,或其他颜色的基色光的组合,在每种基色光照射至光调制装置102的时段中,根据每种基色子帧图像拆分得到的多个低分辨率子帧图像的调制数据,分别对同种基色光进行调制得到一种基色对应的多个低分辨率子帧图像。控制光调制装置102分时调制不同基色子帧图像对应的低分辨率子帧图像,即控制光调制装置102在一个时刻仅出射一个基色子帧图像拆分得到的的一个低分辨率子帧图像。
利用光路平移系统103时序调节光调制装置102出射的图像光的传输方向,并引导不同低分辨率子帧图像的图像光投射到投影屏幕105上的不同位置。为表示清晰起见,图4中示出了两个低分辨率子帧图像分别对应的两束图像光Ray1与Ray2在投影屏幕105上照射至不同的成像位置,本实施方式中另外的两个低分辨率子帧图像对应的图像光在图中未做表示。
为了实现一帧待显示图像对应的多个低分辨率子帧图像在投影屏幕105上成像位置相互偏移,可以使用多个显示设备同时显示,每个显示设备用于出射一帧待显示图像对应的一个低分辨率子帧图像,也可以在同一个显示设备中装配多个光调制装置同时显示。本实施方式中,光调制装置102时序出射一帧待显示图像对应的多个低分辨率子帧图像,即采用时间分割的方式使用同一个光调制装置102在一帧待显示图像的显示周期中时序显示多个低分辨率子帧图像。从成本上来讲,使用同一个光调制装置102进行时序显示较有优势,因为将图像像素整体平移在光学上存在成本较低的方法。这些方法大致上可以分为机械式、双折射式和混合式。
机械式多采用调整透明平板相对于图像光的偏转角的方式实现,由于透明平板(多采用玻璃材料)的折射率不同于空气,光线经过透明平板时会发生多次折射而使得图像光出射点位置相对于入射点有一定偏移,偏移量与平板的折射率和偏转角度有关。双折射式多结合偏振光进行控制,当图像光入射到晶轴沿某个特定取向的双折射材料时,不同偏振态的光从双折射材料的出射点会发生偏移。从而可以通过时序控制入射到双折射材料的偏振光的偏振方向而实现对出射光的位置的控制,因此此类元件中多有电控偏振转换元件,电控偏振转换元件可以是非线性光学晶体或者液晶。混合式则利用旋转含有不同折射率的透明平板,使得不同低分辨率子帧图像的图像光照射至不同折射率的透明平板上,使得不同低分辨率子帧图像在投影屏幕105的成像位置不同。
在一种实施方式中,光调制装置102设置于显示设备100内部的预设成像面上,预设成像面上包括第一位置与第二位置,在每帧待显示图像的显示周期中,控制光调制装置102处于第一位置或第二位置,以及控制光调制装置102在第一位置与第二位置上均至少调制得到至少一低分辨率子帧图像。在其他实施方式中,还可以控制光调制装置102在预设成像面上的多于两个的不同位置上分别出射至少一低分辨率子帧图像的图像光。利用时序控制光调制装置102所处位置的方式实现不同低分辨率子帧图像成像的位置不同的实施方式中,可以配合光路平移系统103,也可以省略光路平移系统103。
请参阅图5A-图5C,从图中可以看出,利用本实施方式中的图像拆分方法与图像显示方法得到的重建图像与原图区别较小,本发明中的基于光通量守恒原则计算得到的低分辨率子帧图像的调制数据的方法可以较好地重现高分辨率的待显示图像,并且可以有效避免图像拆分再重组过程中产生的高频滤波现象。
从技术上来讲,利用存在1/n(其中n>1)个低分辨率子帧像素偏移的多个低分辨率子帧图像叠加得到重建图像,使得重建图像的分辨率可以显著提高。从成本上讲,在原显示设备的基础上只需加入低成本的光路平移系统103就能显著提高出射图像的分辨率,因此这种方案具有较好的投入产出比。
可以理解的是,在实际应用中,可以将每帧待显示图像拆分为其他数量的多个低分辨率子帧图像,多个低分辨率子帧图像在投影屏幕上的成像位置可以相互偏移1/2以外的非整数个低分辨率子帧像素。
需要说明的上,上述步骤标号S101与S102用于区分各个步骤并使得引用简便,步骤标号S101与S102不用于限定步骤实施的先后顺序。
第二实施方式
本实施方式中提供的图像显示方法与第一实施方式中提供的图像显示方法主要区别在于,将“任意两个低分辨率子帧图像的成像位置在行方向及/或列方向偏移1/n个低分辨率子帧像素,n>1。”替换为“任意两个低分辨率子帧图像的成像位置在所述行方向及列方向偏移1/n个低分辨率子帧像素,n>1。”。
相应地,在一种实施方式中,在图像拆分方法中的步骤S102具体是将每帧待显示图像拆分为具有第二分辨率的两个低分辨率子帧图像,分别为第一低分辨率子帧图像与第二低分辨率子帧图像。第一低分辨率子帧图像包括像素分布的多个第一低分辨率子帧像素,第二低分辨率子帧图像包括像素分布的多个第二低分辨率子帧像素。
请参阅图6A-图6B,由于第二分辨率为第一分辨率的2倍,故每个第一/第二低分辨率子帧像素对应四个“田”形分布的相邻待显示像素。第二低分辨率子帧图像相对于第一低分辨率子帧图像沿低分辨率子帧像素的对角线方向偏移非整数个低分辨率子帧像素。在本实施方式中,控制每帧待显示图像拆分得到的两个低分辨率子帧图像的成像位置在所述行方向与列方向均偏移1/n个低分辨率子帧像素,n>1,即第二低分辨率子帧图像相对于第一低分辨率子帧图像沿低分辨率子帧像素的对角线方向偏移1/n个低分辨率子帧像素。在本实施方式中,n=2,在其他实施方式中,可控制每帧待显示像素拆分得到的多个低分辨率子帧图像的成像位置在行方向与列方向均偏移1/2以外的其他非整数个低分辨率子帧像素,即第二低分辨率子帧图像相对于第一低分辨率子帧图像沿低分辨率子帧像素的对角线方向偏移1/2以外的其他非整数个低分辨率子帧像素。在一种实施方式中,第二低分辨率子帧图像的成像位置相对于第一低分辨率子帧在行方向与列方向偏移的低分辨率子帧像素的数量不等,即第二低分辨率子帧图像沿第一低分辨率子帧图像的非对角线方向偏移。
根据光通量守恒原则,根据每个待显示像素的像素灰度值计算得到两个低分辨率子帧图像中的对应第一低分辨率子帧像素的加权灰度值与对应第二低分辨率子帧像素的加权灰度值之和。每个低分辨率子帧像素的加权灰度值等于其所属低分辨率子帧图像的显示时间占空比DT与该低分辨率子帧像素的像素灰度值Lm,n的乘积。
具体地,每个待显示像素的灰度值与对应低分辨率子帧像素的关系满足公式9-10:
H2i-1,2j-1=L1 i,jDT1 (公式9),
H2i,2j=L1 i,jDT1+L2 i,jDT2 (公式10)。
其中,Lk i,j代表第k个低分辨率子帧图像中地址为(i,j)的低分辨率子帧像素的灰度值。具体地,L1 i,j代表第一低分辨率子帧图像中地址为(i,j)的第一低分辨率子帧像素的灰度值,L2 i,j代表第二低分辨率子帧图像中地址为(i,j)的第二低分辨率子帧像素的灰度值。
DTk代表第k个低分辨率子帧图像的显示时间占空比。具体地,DT1与DT2分别代表第一低分辨率子帧图像与第二低分辨率子帧图像的显示时间占空比。本实施方式中,两个低分辨率子帧图像的显示时间相同,故DT1=DT2=1/2,可以理解的是,在其他实施方式中,多个低分辨率子帧图像的显示时间可以不同,即不同低分辨率子帧图像的显示时间占空比可以不同。
公式9-10只有在i=j=1时才严格成立,因为当i>1或者j>1时,Lk i,j(k=2)所对应的低分辨率子帧像素会显示在第一显示区域p的相邻的显示区域中,因此需要考虑相邻的低分辨率子帧像素之间的影响,公式9-10可一般性地表示为公式11-12,
H2i-1,2j-1-L2 i-1,j-1DT2=L1 i,jDT1=K2i-1,2j-1 (公式11),
H2i,2j=L1 i,jDT1+L2 i,jDT2=K2i,2j (公式12)。
公式11与公式12中定义了与待显示像素一一对应的修正因子,记为K,令L0,0=L0,j=Li,0=0(0≤j<2048,0≤j<1080),依次求解修正因子K2i-1,2j-1与K2i,2j。根据求解得到的K2i-1,2j-1与K2i,2j与公式11-12即可计算得到低分辨率子帧图像中的每个低分辨率像素的灰度值。
通过修正因子取值范围的限定尽可能保证计算得到的每个低分辨率子帧像素的灰度值都在0-1的范围内,从而有利于提高图像重建的品质。对Li,j进行限幅,具体地,判断至少一修正因子是否小于0,若是,则设置小于0的修正因子为0。具体地,若K2i-1,2j-1或K2i,2j中的任意一个小于0,则令其值为0,从而增大低分辨率子帧图像中的低分辨率子帧像素的灰度值Li,j≥0的几率。在一种实施方式中,仅判断K2i-1,2j-1是否小于0,若是,则设置其为0。
在一种实施方式中,根据每个待显示像素对应的修正因子(K2i-1,2j-1与K2i,2j)的最小值,与第一低分辨率子帧图像的显示时间占空比DT1,计算得到每个待显示像素对应的第一低分辨率子帧像素的像素灰度值L1 i,j,进而有利于求解得到的L2 i,j为非负数。
在一种实施方式中,可以判断第一低分辨率子帧像素的像素灰度值L1 i,j是否大于1,若是,则设置第一低分辨率子帧像素的像素灰度值L1 i,j=1。在此基础上根据公式12求解L2 i,j,并判断第二低分辨率子帧像素的像素灰度值L2 i,j是否大于1,若是,则设置第二低分辨率子帧像素的像素灰度值L2 i,j=1。
请参阅图7A-图7D,根据上述灰度值的求解方法得到如图7A与图7B所示的两个低分辨率子帧图像,将图7A与图7B沿对角线方向偏移后进行叠加,得到图如7C所示的重建图像,从图7D可以看出,重建图像与原图在对角线两侧具有明显缺陷,上述缺陷存在的原因在于,前述求解的过程中只考虑了待显示图像中处在对角线位置(像素地址为(i,j))的待显示像素,H2i-1,2j和H2i,2j-1所对应的待显示像素实际上也是两个低分辨率子帧像素合成,如果低分辨率子帧像素值选择不合适,就会产生重组的待显示像素点之间很大的不连续性,导致图像缺陷,为近一步解决图像缺陷的问题,需要考虑待显示图像中的非对角线位置的高分辨率像素点的灰度值。
具体地,根据公式11-12以及下述公式13-14,利用对角线位置与非对角线位置的待显示像素的灰度值计算得到对应低分辨率子帧像素的灰度值,
H2i-1,2j-L2 i-1,jDT2=L1 i,jDT1=K2i-1,2j (公式13),
H2i,2j-1-L2 i,j-1DT2=L1 i,jDT1=K2i,2j-1 (公式14)。
根据公式11-14,即根据对角线位置与非对角线位置上的待显示像素分别对应的修正因子K2i-1,2j-1、K2i-1,2j、K2i,2j-1,具体地利用处于对角线位置与非对角线位置的待显示像素对应的修正因子K2i-1,2j-1、K2i-1,2j、K2i,2j-1的平均值,与第一低分辨率子帧图像的显示时间占空比DT1,计算得到每个待显示像素的对应第一低分辨率子帧像素的像素灰度值L1 i,j。采用对角线位置与非对角线位置上的待显示像素分别对应修正因子K2i-1,2j-1、K2i-1,2j、K2i,2j-1的平均值计算得到第一低分辨率子帧像素的像素灰度值L1 i,j的过程中,考虑到非对角线位置的低分辨率子帧像素对相邻显示区域的影响,从而有利于避免产生重建图像中的高分辨率待显示像素的灰度值之间不连续性的图像缺陷。可以理解的是,在求解L1 i,j与L2 i,j的过程中,可以对L1 i,j与L2 i,j采用本实施方式提到的方法进行限幅,使得L1 i,j与L2 i,j均在[0,1]范围内。
根据以上步骤求解出两个低分辨率子帧图像中的每个低分辨率子帧像素的像素灰度值,从而得到了每个低分辨率子帧图像的调制数据,调制数据由构成相应低分辨率子帧像素图像的全部低分辨率子帧像素的像素灰度值组成。
本实施方式中的显示设备的结构与第一实施方式中的显示设备100相同,并如图4所示。本实施方式中,在每帧待显示图像的显示周期中,时序控制光路平移系统103用于将光调制装置102出射的两个不同低分辨率子帧图像对应的图像光引导照射至投影屏幕105上的不同位置,光路平移系统103的具体实现方式与第一实施方式相同,在这里不做赘述。
请参阅图8A-图8E,从图8E中可以看出采用本实施方式中利用对角线位置与非对角线位置的待显示像素的灰度值获得的的重建图像与原图差距较小,本发明中的基于光通量守恒原则计算得到的低分辨率子帧图像的调制数据的方法可以较好地重现高分辨率的待显示图像,并且可以有效避免图像拆分再重组过程中产生的高频滤波现象,重建效果较好,重建图像中相邻高分辨率像素的灰度值连续性较佳。
需要说明的是,在本发明的精神或基本特征的范围内,适用于不同实施方式中的各具体方案也可以相互适用,为节省篇幅及避免重复起见,在此就不再赘述。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个装置也可以由同一个装置或系统通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (13)

1.一种图像拆分方法,应用于显示设备中,所述显示设备在投影屏幕上形成投影画面,其特征在于,所述图像拆分方法包括以下步骤:
获得待显示图像,所述待显示图像包括像素分布的多个待显示像素,所述待显示图像的分辨率为第一分辨率;
将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,所述第二分辨率小于所述第一分辨率,所述多个低分辨率子帧图像均包括像素分布的多个低分辨率子帧像素,根据每个待显示像素的像素灰度值以及所述多个低分辨率子帧图像的显示时间占空比,计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,从而得到每个低分辨率子帧图像的调制数据。
2.如权利要求1所述的图像拆分方法,其特征在于,所述待显示图像中的每个待显示像素与多个低分辨率子帧图像中的对应低分辨率子帧像素显示在所述投影屏幕上的相同显示区域中;
所述计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,包括:
根据每个待显示像素的像素灰度值求解得到对应低分辨率子帧像素的加权灰度值,利用所述对应低分辨率子帧像素的加权灰度值,以及所述对应低分辨率子帧像素所属低分辨率子帧图像的显示时间占空比,计算得到所述对应低分辨率子帧像素的像素灰度值。
3.如权利要求2所述的图像拆分方法,其特征在于,所述根据每个待显示像素的像素灰度值求解得到对应低分辨率子帧像素的加权灰度值,包括:
每个待显示像素的像素灰度值等于所述多个低分辨率子帧图像中的对应低分辨率子帧像素的加权灰度值之和。
4.如权利要求2所述的图像拆分方法,其特征在于,
所述根据每个待显示像素的像素灰度值求解得到对应低分辨率子帧像素的加权灰度值,包括:
判断与至少一低分辨率子帧像素的加权灰度值有关的修正因子是否小于0,若是,则设置所述修正因子为0。
5.如权利要求4所述的图像拆分方法,其特征在于,所述计算得到所述对应低分辨率子帧像素的像素灰度值,包括:
判断每个低分辨率子帧像素的像素灰度值是否大于1,若是,则设置所述每个低分辨率子帧像素的像素灰度值为1。
6.如权利要求5所述的图像拆分方法,其特征在于,所述计算得到所述对应低分辨率子帧像素的像素灰度值,包括:
根据多个修正因子的最小值或平均值,与一个低分辨率子帧图像的显示时间占空比,计算得到所述一个低分辨率子帧图像中的所述对应低分辨率子帧像素的像素灰度值。
7.如权利要求1-6中任意一项所述的图像拆分方法,其特征在于,所述第一分辨率为所述第二分辨率的二倍,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,具体为:
将每帧待显示图像拆分为具有第二分辨率的两个或四个低分辨率子帧图像。
8.如权利要求1-6任意一项所述的图像拆分方法,其特征在于,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像之前,包括:
将每帧待显示图像拆分为多个基色子帧图像,每个基色子帧图像包括像素分布的基色子帧像素;
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,包括:
根据由待显示图像获得的多个基色子帧图像,将每个基色子帧图像拆分为多个低分辨率子帧图像,每个基色子帧图像中每个基色子帧像素与拆分得到的低分辨率子帧图像中的对应低分辨率像素显示在所述投影屏幕上的相同显示区域中;
所述计算得到每个低分辨率子帧图像中任一低分辨率子帧像素的像素灰度值,包括:
根据每个待显示图像中的每个待显示像素的像素灰度值得到所述多个基色子帧图像中每个基色子帧像素的基色灰度值,以及所述每个基色子帧像素的对应低分辨率子帧像素的加权灰度值。
9.一种图像显示方法,其特征在于,包括如权利要求1-8任意一项所述的图像拆分方法的步骤,在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,控制所述多个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及/或列方向偏移1/n个低分辨率子帧像素,n>1。
10.如权利要求9所述的图像显示方法,其特征在于,所述根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,包括:
根据每个低分辨率子帧图像的调制数据,利用光调制装置对基色光进行调制,并得到不同低分辨率子帧图像的图像光;
利用光路平移系统时序调节所述光调制装置出射的图像光的传输方向,并引导所述任意一帧待显示图像拆分得到的多个低分辨率子帧图像的图像光投射到所述投影屏幕上的不同位置。
11.如权利要求10所述图像显示方法,其特征在于,所述光调制装置设置于所述显示设备内部的预设成像面上,所述预设成像面上包括第一位置与第二位置,
所述根据每个低分辨率子帧图像的调制数据,利用光调制装置对基色光进行调制,并得到不同低分辨率子帧图像的图像光,包括:
在每帧待显示图像的显示周期中,控制所述光调制装置处于所述第一位置或所述第二位置,以及控制所述光调制装置在所述第一位置与所述第二位置上均至少调制得到至少一低分辨率子帧图像。
12.一种图像显示方法,其特征在于,包括如权利要求1-6或8中任意一项所述的图像拆分方法的步骤,
所述第一分辨率为所述第二分辨率的二倍,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,具体为:
将每帧待显示图像拆分为具有第二分辨率的四个低分辨率子帧图像;
在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述多个低分辨率子帧图像的图像光至所述投影屏幕,控制所述多个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及/或列方向偏移1/2个低分辨率子帧像素。
13.一种图像显示方法,其特征在于,包括如权利要求1-6或8中任意一项所述的图像拆分方法的步骤,
所述第一分辨率为所述第二分辨率的二倍,
所述将每帧待显示图像拆分为具有第二分辨率的多个低分辨率子帧图像,具体为:
将每帧待显示图像拆分为具有第二分辨率的两个低分辨率子帧图像;
在所述得到每个低分辨率子帧图像的调制数据之后,所述图像显示方法还包括以下步骤:
在每帧待显示图像的显示周期中,根据每个低分辨率子帧图像的调制数据时序出射所述个低两分辨率子帧图像的图像光至所述投影屏幕,控制所述两个低分辨率子帧图像的行方向相互平行,以及控制任意一帧待显示图像拆分得到的多个低分辨率子帧图像中,任意两个低分辨率子帧图像的成像位置在所述行方向及列方向偏移1/2个低分辨率子帧像素。
CN201910360885.9A 2019-04-30 2019-04-30 图像拆分方法与图像显示方法 Active CN111866588B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210880772.3A CN115243103A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN202210860946.XA CN115278367A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN201910360885.9A CN111866588B (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
PCT/CN2020/086237 WO2020221083A1 (zh) 2019-04-30 2020-04-23 图像拆分方法与图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910360885.9A CN111866588B (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210860946.XA Division CN115278367A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN202210880772.3A Division CN115243103A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法

Publications (2)

Publication Number Publication Date
CN111866588A true CN111866588A (zh) 2020-10-30
CN111866588B CN111866588B (zh) 2022-08-12

Family

ID=72966470

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910360885.9A Active CN111866588B (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN202210880772.3A Pending CN115243103A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN202210860946.XA Pending CN115278367A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210880772.3A Pending CN115243103A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法
CN202210860946.XA Pending CN115278367A (zh) 2019-04-30 2019-04-30 图像拆分方法与图像显示方法

Country Status (2)

Country Link
CN (3) CN111866588B (zh)
WO (1) WO2020221083A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333676A (zh) * 2021-12-31 2022-04-12 武汉天马微电子有限公司 显示面板的驱动方法、显示面板及显示装置
CN114999419A (zh) * 2022-07-07 2022-09-02 苏州华星光电技术有限公司 显示装置及电子设备
CN115134566A (zh) * 2021-03-29 2022-09-30 精工爱普生株式会社 图像生成装置以及图像生成方法
WO2023051479A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 一种显示模组及成像控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093894A1 (en) * 2003-10-30 2005-05-05 Tretter Daniel R. Generating an displaying spatially offset sub-frames on different types of grids
CN101217625A (zh) * 2008-01-11 2008-07-09 清华大学 超分辨率成像的装置及方法
US20140112394A1 (en) * 2012-10-22 2014-04-24 Microsoft Corporation Band separation filtering / inverse filtering for frame packing / unpacking higher-resolution chroma sampling formats
CN104077103A (zh) * 2014-07-09 2014-10-01 上海天奕达电子科技有限公司 一种低分辨率平台支持高分辨率显示装置的方法和装置
US20150310798A1 (en) * 2014-03-18 2015-10-29 Nvidia Corporation Superresolution display using cascaded panels
CN106507075A (zh) * 2016-11-18 2017-03-15 海信集团有限公司 一种投影图像处理方法、装置及投影显示系统
CN107820096A (zh) * 2017-11-09 2018-03-20 京东方科技集团股份有限公司 图像处理装置及方法、图像处理系统及训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093894A1 (en) * 2003-10-30 2005-05-05 Tretter Daniel R. Generating an displaying spatially offset sub-frames on different types of grids
CN101217625A (zh) * 2008-01-11 2008-07-09 清华大学 超分辨率成像的装置及方法
US20140112394A1 (en) * 2012-10-22 2014-04-24 Microsoft Corporation Band separation filtering / inverse filtering for frame packing / unpacking higher-resolution chroma sampling formats
US20150310798A1 (en) * 2014-03-18 2015-10-29 Nvidia Corporation Superresolution display using cascaded panels
CN104077103A (zh) * 2014-07-09 2014-10-01 上海天奕达电子科技有限公司 一种低分辨率平台支持高分辨率显示装置的方法和装置
CN106507075A (zh) * 2016-11-18 2017-03-15 海信集团有限公司 一种投影图像处理方法、装置及投影显示系统
CN107820096A (zh) * 2017-11-09 2018-03-20 京东方科技集团股份有限公司 图像处理装置及方法、图像处理系统及训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈湘骥: "基于多尺度相似学习的图像超分辨率重建算法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134566A (zh) * 2021-03-29 2022-09-30 精工爱普生株式会社 图像生成装置以及图像生成方法
CN115134566B (zh) * 2021-03-29 2024-04-09 精工爱普生株式会社 图像生成装置以及图像生成方法
WO2023051479A1 (zh) * 2021-09-30 2023-04-06 华为技术有限公司 一种显示模组及成像控制方法
CN114333676A (zh) * 2021-12-31 2022-04-12 武汉天马微电子有限公司 显示面板的驱动方法、显示面板及显示装置
CN114333676B (zh) * 2021-12-31 2023-12-15 武汉天马微电子有限公司 显示面板的驱动方法、显示面板及显示装置
CN114999419A (zh) * 2022-07-07 2022-09-02 苏州华星光电技术有限公司 显示装置及电子设备
CN114999419B (zh) * 2022-07-07 2023-08-01 苏州华星光电技术有限公司 显示装置及电子设备

Also Published As

Publication number Publication date
WO2020221083A1 (zh) 2020-11-05
CN115243103A (zh) 2022-10-25
CN115278367A (zh) 2022-11-01
CN111866588B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN111866588B (zh) 图像拆分方法与图像显示方法
KR100567513B1 (ko) 이미지 디스플레이 방법 및 시스템, 광 변조기를 이용한이미지 디스플레이 방법 및 이미지 프레임 디스플레이시스템
JP4777675B2 (ja) 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体
US9838655B2 (en) Projector and image displaying method
US7973781B2 (en) Image display device and projector
JP2009139968A (ja) スクローリングカラーおよびウォブルデバイスを備えた表示システム
US20170214885A1 (en) Image processing method, system for laser tv and the laser tv set thereof
EP1557817A2 (en) Display system
JP2006330070A (ja) 多原色表示方法および装置
US20060023003A1 (en) Color display apparatus
JP2004242136A (ja) 投写型表示装置及び画像信号の変換方法
JP4095824B2 (ja) 投射システム
US7172288B2 (en) Display device including a spatial light modulator with plural image regions
KR20200065101A (ko) 멀티-하프-톤 이미징 및 이중 변조 투사/이중 변조 레이저 투사
JP2006162639A (ja) 液晶表示装置およびプロジェクタ
WO2020153026A1 (ja) 表示装置
EP1526496A2 (en) Display system for an interlaced image frame with a wobbling device
WO2018179996A1 (ja) 照明装置、およびプロジェクタ
JP2004151649A (ja) プロジェクタ
JP2008076746A (ja) プロジェクタ
JP2021026195A (ja) 投射型ディスプレイ装置
JP2021081666A (ja) 投射型ディスプレイ装置
JP2004012548A (ja) 液晶表示装置
JP2011128528A (ja) 映像表示装置
JP2013050627A (ja) 投射型画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant