CN109389559A - 通过移位叠加的基于空间的实时分辨率增强 - Google Patents
通过移位叠加的基于空间的实时分辨率增强 Download PDFInfo
- Publication number
- CN109389559A CN109389559A CN201810884779.6A CN201810884779A CN109389559A CN 109389559 A CN109389559 A CN 109389559A CN 201810884779 A CN201810884779 A CN 201810884779A CN 109389559 A CN109389559 A CN 109389559A
- Authority
- CN
- China
- Prior art keywords
- projector
- resolution
- resolution signal
- low
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 25
- 238000006073 displacement reaction Methods 0.000 title claims description 4
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 58
- 230000004044 response Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 8
- 230000004075 alteration Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种用于投影具有增强可见分辨率的图像的投影系统。所述投影系统包括至少一个投影仪、重采样器模块和反卷积模块。重采样器模块用于对接收到的高分辨率信号进行上采样,对信号进行整数移位操作和下采样,得到至少两个低分辨率信号。反卷积模块用于使用空间域反卷积操作过滤所述上采样后的高分辨率信号,所述空间域反卷积操作基于至少一个投影仪的特征近似于频域光学校正。优选地,空间域反卷积操作使用从维纳滤波器的空间域近似中提取的N×N空间核。
Description
技术领域
本申请涉及投影系统,特别涉及一种基于空间的滤波器,用于增强投影系统的分辨率。
背景技术
高清(High definition,HD)视频已在消费者和企业中被广泛使用。例如,在家庭娱乐行业,对新的超高清/4K视频技术的消费需求较大。但是,高分辨率的投影仪价格较昂贵。另外,超分辨率(Super-Resolution,SR)是图像处理的研究领域,其通过一系列低分辨率图像得到高分辨率图像。
例如,可以通过相机获得高分辨率的图像和视频。相比之下,目前使用的显示投影仪的显示分辨率十分有限。因此,需要增加投影仪的可见显示分辨率。一种增强投影仪分辨率的典型模型为:将高分辨率信号分解为多个较低分辨率信号,然后采用不同的偏移量和较高的帧速率(如播放视频时)显示这些低分辨率信号。
关于SR的问题,即通过一系列低分辨率图像得到较高分辨率图像,有关文献已多有研究并且已经提出了不同的实现方法。
一种SR方法是采用傅立叶变换解决SR问题。基于频率的SR方法依赖于三个基本前提条件,1)输入图像是频带限制的,2)连续傅立叶变换(Continuous Fourier Transform,CFT)和离散傅立叶变换(Discrete Fourier Transform,DFT)之间存在混叠关系,3)傅立叶变换存在移位特性。CFT和DFT之间的混叠关系可以通过最小二乘法解出。基于频率的SR模型往往对模型错误很敏感。此外,这类模型可以处理平移运动,而非平移运动会显著降低模型效果。此外,基于频率的SR方法只限于空间不变退化模型,这就限制了这类方法在许多真实世界场景中的应用,因为在真实世界场景中,退化模型会发生空间上的变化(例如,空间变换点扩散函数(Point Spread Function,PSF))。通常,基于频率的SR方法对运用空间域的先验知识进行问题正则化的能力有限。
另一种SR方法是在空间域中解决SR问题。空间域SR方法可以解决更复杂的SR问题,例如全局运动和局部运动、空间变化的PSF、运动模糊、压缩失真等。空间域SR方法可以包括,如迭代反投影、非迭代空间域和混合方法。在随机方法,特别是基于贝叶斯的方法中,SR问题可以被视为统计估计问题,这类方法由于能够包含先验约束(例如,保留先前图像的边缘)从而实现令人满意的SR问题解决方案,因而很快受到了SR领域的研究人员的关注。另一方面,空间域方法计算量很大,因此不适合实时应用。特别地,若采用迭代反投影相关的方法,则不容易包含先验约束。即使是随机方法(一种根据先验SR约束建模的灵活方便的方法),也存在不能重建图像的高频组分的限制。
此外,大多数SR方法(不论是基于频率的还是空间的)都是很耗时的,因此不能满足基于SR的应用的实时限制。
已开发出各种图像恢复技术用于校正光学像差并恢复出近似的原始图像。传统方法主要是通过在显示前用过滤器对源图像进行转换。但在大多数现有方法中,是在频域中进行过滤操作,这需要复杂的硬件设备。由于商用投影仪的处理能力有限,实现实时频域光学像差校正目前不可行。
发明内容
本申请提供了一种投影具有增强可见显示分辨率的图像的系统和方法。该系统包括至少一个投影仪、重采样器模块和反卷积模模块。在一些实施例中,反卷积模块使用N×N空间核,该空间核包括用于光学校正的频域维纳反卷积滤波器的空间近似,该空间近似基于该至少一个投影仪的特征近似于该维纳反卷积滤波器,其中N可以是小的奇数(例如,3、5、7......)。在重采样器模块处接收高分辨率信号,对该高分辨率信号进行上采样,得到的分辨率是该至少一个投影仪的分辨率的两倍。反卷积模块使用N×N空间核过滤所述信号。重采样器模块对过滤信号下采样,得到至少两个低分辨率信号。所述至少一个投影仪接收至少两个低分辨率信号,并叠加所述至少两个低分辨率信号以投影具有增强可见显示分辨率的图像。
在一些实施例中,一个投影仪可以通过偏移投影图像的光学机械移位器显示所述至少两个低分辨率信号。在另一些实施例中,可以使用多个投影仪,每个投影仪接收并叠加所述至少两个低分辨率信号中的一个。
在本申请中,组件可以被描述为“被配置为”执行至少一个功能或“被配置用于”至少一个功能。通常,被配置用于执行或配置用于执行功能的组件能够执行该功能,或者适合于执行该功能,或者被调整为执行该功能,或者可操作以执行该功能,或者有执行该功能的能力。
根据本申请的一个方面,提供了一种投影具有增强可见显示分辨率的图像的系统。该系统包括重采样器模块、至少一个投影仪和反卷积模块。重采样器模块用于接收高分辨率信号,对该高分辨率信号上采样,进行整数移位操作和下采样,得到至少两个低分辨率信号。反卷积模块用于使用空间域反卷积操作过滤所述高分辨率信号,所述空间域反卷积操作基于该至少一个投影仪的特征近似于频域光学校正。至少一个投影仪用于接收所述至少两个低分辨率信号,并叠加所述至少两个低分辨率信号以投影具有增强可见显示分辨率的图像。
在一些实施例中,所述空间域反卷积操作使用空间核,所述空间核包括用于光学校正的频域维纳反卷积滤波器的空间近似,所述空间近似基于该至少一个投影仪的特征近似于该维纳反卷积滤波器。
在一些实施例中,所述空间核可以是N×N空间核,其中N可以是奇数。
在一些实施例中,所述至少一个投影仪包括一个用于接收所述至少两个低分辨率信号的投影仪,所述投影仪具有光学机械移位器以偏移该投影图像。
在一些实施例中,所述至少一个投影仪包括至少两个投影仪,每个该投影仪用于接收所述至少两个低分辨率信号中的一个低分辨率信号并投影该图像。
根据本申请的另一方面,提供了使用至少一个投影仪投影具有增强可见显示分别率的图像的方法,该方法包括:接收高分辨率信号;对高分辨率信号进行上采样;采用空间域反卷积操作对所述上采样的高分辨率信号滤波,所述空间域反卷积操作基于所述至少一个投影仪的特征近似于频域光学校正;下采样所述高分辨率信号,得到第一低分辨率信号;对所述高分辨率信号进行整数移位操作和下采样,得到第二低分辨率信号;以及所述至少一个投影仪接收并叠加该第一低分辨率信号和该第二低分辨率信号以投影具有增强可见显示分辨率的图像。
在一些实施例中,该空间域反卷积操作使用反卷积空间核,所述反卷积空间核包括用于光学校正的频域维纳反卷积滤波器的空间近似,所述空间近似基于该至少一个投影仪的特征近似于所述维纳反卷积滤波器。
在一些实施例中,通过以下方式生成反卷积空间核:估算所述至少一个投影仪的点扩散函数;基于所述点扩散函数构造维纳滤波器;以及通过对所述维纳滤波器进行逆傅里叶变换生成空间域维纳滤波器并提取空间核。
在一些实施例中,该方法还包括在进行逆傅里叶变换之前,对该维纳滤波器进行频带限制。
在一些实施例中,所述空间核是N×N空间核,其中N是奇数。
在一些实施例中,该方法还包括:针对具体内容的使用情况,改变该维纳滤波器频带限制的截止频率。
在一些实施例中,估算所述至少一个投影仪的点扩散函数包括:捕获所述至少一个投影仪的单个像素响应。
在一些实施例中,该方法还包括预处理,对所述至少两个投影仪中的每一个投影仪进行几何、光度和颜色校准。
在一些实施例中,进行上采样,得到所述至少一个投影仪的分辨率两倍的分辨率。
在一些实施例中,使用两个投影仪,所述低分辨率信号中的每个都包含所述高分辨率信号的一半像素。
在一些实施例中,所述两个投影仪以两倍速度接收和叠加所述第一低分辨率信号和所述第二低分辨率信号。
在一些实施例中,使用四个投影仪,并且该方法还包括:对所述高分辨率信号进行整数移位操作和下采样,得到第三低分辨率信号;对所述高分辨率信号进行整数移位操作和下采样,得到第四低分辨率信号;其中,所述低分辨率信号中的每个都包含所述高分辨率信号的四分之一像素。
在一些实施例中,所述四个投影仪以四倍速度接收并叠加所述低分辨率信号。
附图说明
为了更好地理解本申请的各种实施例,更清楚地展示如何实施各种实施例,下面将对实施例描述中所需要的附图做简要介绍,其中:
图1是根据本申请的一些实施例所示的一种通过使用两个低分辨率信号投影具有增强可见显示分辨率的图像的投影系统;
图2是根据本申请的一些实施例所示的一种投影具有增强可见显示分别率的图像的方法;
图3是根据本申请的一些实施例所示的点扩散函数的傅立叶变换的示例性图示;
图4是根据本申请的一些实施例所示的维纳滤波器的示例性图示;
图5是根据本申请的一些实施例所示的频带限制的如图4所示的维纳滤波器的示例性图示;
图6是根据本申请的一些实施例所示的频带限制的空间域维纳滤波器的示例性图示;
图7是根据本申请的一些实施例所示的示例性空间域维纳滤波器;
图8是根据本申请的一些实施例所示的示例性N×N频带限制的空间域维纳滤波器;
图9是根据本申请的一些实施例所示的示例性N×N空间域维纳滤波器。
具体实施方式
图1是根据本申请的一些实施例所示的一种通过使用两个低分辨率信号投影具有增强可见显示分辨率的图像的系统100。系统100可以包括重采样器模块102、反卷积模块104和至少一个投影仪,如投影仪106。重采样器模块102、反卷积模块104和投影仪106可以相互连接,从而发送和接收图像或视频信号以进行处理和投影。
在详细讨论系统100的操作之前,将先进一步描述系统100的组件。
投影仪106可以包括任何合适类型的投影仪或投影仪的组合,例如但不限于数字微镜装置(Digital Micromirror Device,DMD)、硅基液晶(Liquid Crystal on Silicon,LCOS)装置等。投影仪106可以包含至少一个光源、用于调制光源的光以产生所需的图像的至少一个调制元件,和用于引导调制光的镜头组件。
重采样器模块102通常可以用于接收高分辨率信号108,对高分辨率信号上采样获得上采样的高分辨率信号109a,对反卷积模块104输出的信号109b执行整数移位操作,并对反卷积模块104输出的信号109b下采样,获得至少两个低分辨率信号110a和110b。
反卷积模块104通常可以用于使用空间域反卷积操作过滤上采样的高分辨率信号109a,然后输出滤波的上采样信号109b,空间域反卷积操作基于投影仪106的特征近似于频域光学校正。空间域反卷积操作可以预补偿图像以校正光学模糊。在此情况下,模糊可以是由投影仪镜头以及投影仪106的像素大于图像像素(例如,高分辨率信号108的像素)引起的。
优选地,重采样器模块102和反卷积模块104可以内置于投影仪106中,例如,可以通过配置现有的现场可编程门阵列(Field-programmable Gate Array,FPGA)硬件以执行重采样器模块102和反卷积模块104的功能。
以上描述了系统100的组件。关于系统100操作的详细描述,可以参考图2的相关描述。图2是根据本申请的一些实施例所示的一种投影具有增强可见显示分别率的图像的方法200。为了方便说明方法200,可以假设方法200是通过系统100来执行的,但是方法200也可以通过其他合适的系统执行。
在步骤202中,重采样器模块102可以接收高分辨率信号108。
在步骤204中,重采样器模块102可以对高分辨率信号108进行上采样。
优选地,对高分辨率信号上采样后得到的分辨率是投影仪106的分辨率的两倍,使得上采样后的高分辨率信号109a与反卷积模块104生成的空间核的分辨率匹配,如下文所述。
在步骤206中,反卷积模块104可以使用空间反卷积操作过滤上采样后的高分辨率信号109a,该空间反卷积操作基于该投影仪106的特征近似于频域光学校正。
优选地,空间反卷积操作可以使用空间核,该空间核通过如下方式生成:估算投影仪106的点扩散函数(PSF),基于该点扩散函数构造维纳滤波器,并通过对维纳滤波器进行逆傅里叶变换或者逆快速傅里叶变换(Inverse Fast Fourier Transform,IFFT)生成空间域维纳滤波器,从而提取出空间核。得到的空间核是频域光学像差校正滤波器的空间近似,也称为空间域维纳滤波器。
确定空间域维纳滤波器的第一步是估算点扩散函数(PSF),PSF可以描述投影仪106和光学系统如何响应点源或脉冲响应。为了精确估算投影仪106的PSF,可以使用无镜头相机。无镜头相机可以被配置为捕获投影仪的单像素响应。具体地,可以将单个像素直接投射到无镜头相机中互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)有源像素传感器(Active-Pixel Sensor,APS)里。
当使用单个投影仪时,可以假设在PSF空间不变的情况下估算:单个像素响应在投影区域内是均匀的。当使用质量相似的多个投影仪时,可以假设每个投影仪的PSF空间不变且一致。或者,可以为每个投影仪估算单独的PSF,并为每个投影仪生成不同的空间域维纳滤波器。
可以将PSF和投影仪视频内容配准。如上所述,优选地,高分辨率信号(即投影仪的视频内容)经过上采样后的分辨率是投影仪的分辨率的两倍。由于捕获投影仪PSF的相机通常具有比投影仪更高的分辨率,因此对相机拍摄的PSF图像进行下采样,从而使得该PSF图像的像素尺寸与上采样后的高分辨率信号109a(即内容像素)相匹配。
在获得投影仪106的PSF之后,可以构造频域维纳滤波器。维纳滤波器是基于估算的PSF和假设的全局加性噪声水平n(i,j),如以下等式所述:
其中,X(u,v)、H(u,v)和N(u,v)分别代表原始信号x(i,j)、PSF h(i,j)和加性噪声n(i,j)的傅里叶变换。N/X可以降低为恒定的加性噪声比n。当n值较小时,维纳滤波器几乎与频域PSF成反比。
图3和4分别描述了示例性的3×3PSF的H(PSF的傅里叶变换)和3×3PSF的G(维纳滤波器),其中n=0.0001。
如图4所述,维纳滤波器中大部分内容处于高频,高频项对应于上采样后的高分辨率信号109在像素尺度上的强特征。这些高频项通常没有物理意义,需要通过图像处理获得更多项,以此完全消除高频项的影响。对维纳滤波器进行IFFT会生成一个空间核,空间核的中心包含很多能量。因此,生成的空间域维纳滤波器可以具有过度锐化效果。此外,获得的空间核的能量可能不位于中心,使得难以通过使用空间上较小的核来近似。
为了改进结果,可以在维纳滤波器中添加频带限制以衰减高频分量。图5是在图4的维纳滤波器中增加频带限制,该频带限制为一定半径的圆形,其中项设置为1并在频带限制圆外。通过设置适当的频带限制,可以减少高频内容,以此可以保证维纳滤波器的效果。可以根据具体内容,改变该维纳滤波器频带限制的截止频率。例如,可以将频带限制参数设置为可获得良好增强分辨率且具有零或接近零伪像的第一值。或者,频带限制参数可以设置为可获得改善的增强分辨率具且有轻微伪像的第二值。因此,应用于维纳滤波器的频带限制圆的大小可以用作性能调整参数。
通过计算频带限制维纳滤波器的IFFT并提取空间核,可以找到与频带限制维纳滤波器在空间中的等同物。
图6和图7分别显示了频带限制的维纳滤波器的IFFT结果和非频带限制的维纳滤波器的IFFT结果。水平面的增量对应于1/2成像器像素(即上采样后的高分辨率信号109的像素)。空间核的项被限制在少量1/2成像像素中。图7中的非频带限制空间域维纳滤波器具有更多项,并且具有更大的正负值。空间核中的更多项需要更多的图像处理资源,并且项中的大幅波动会增加图像出现伪影的风险。
由于空间域维纳滤波器在很大程度上是集中式的,因此可以控制空间核的尺寸。图8和9分别示出了从图6频带限制的维纳滤波器的IFFT和图7非频带限制的维纳滤波器的IFFT提取的示例性N×N空间核。通常,N可以是奇数,使得滤波器可以以一个像素为中心。
空间核可以应用于上采样后的高分辨率信号109中的每个像素,应用方式为:使空间核以所述像素为中心,将空间核值与相应的附近像素值相乘并对结果求和。
再次参见图2,在步骤208中,重采样器模块102可以直接下采样高分辨率信号109b,获得第一低分辨率信号110a。
在步骤210中,重采样器模块102可以执行整数移位操作,并且对经滤波后的上采样的高分辨率信号109b下采样,获得第二低分辨率信号110b。
在一些实施例中,可以执行双向分辨率增强。在一些实施例中,重采样器模块102可以对经滤波的上采样高分辨率信号109b进行下采样操作,获得第一低分辨率信号110a和第二低分辨率信号110b,每个低分辨率信号包含上采样的高分辨率信号的一半像素。在另一些实施例中,可以执行四向分辨率增强,其中重采样器模块102可以执行进一步整数移位和下采样操作,得到第三低分辨率信号和第四低分辨率信号。在一些实施例中,四个低分辨率信号中的每一个低分辨率信号可以包含上采样的高分辨率信号的像素的四分之一。
在图2中的步骤212,投影仪106可以接收第一低分辨率信号110a和第二低分辨率信号和110b,并将它们叠加,以投影具有增强可见显示分辨率的图像。
在双向分辨率增强的实施例中,投影仪106可以以高分辨率信号速度两倍的速度接收和叠加第一低分辨率信号110a和第二低分辨率信号110b。在四向分辨率增强的实施例中,投影仪106可以以高分辨率信号速度的四倍的速度接收和叠加第一低分辨率信号、第二低分辨率信号、第三低分辨率信号和第四低分辨率信号。
在一些实施例中,至少一个投影仪可以包括一个投影仪106,该投影仪106通过使用偏移投影图像的光学机械移位器来接收和投射至少两个低分辨率信号。由低分辨率信号产生的子帧,在给定高帧速率的情况下,可以被人类视觉系统(Human Visual System,HVS)合并为单个高分辨率图像,从而使得观察者看到近似于原始高分辨率源的高分辨率投影。
在另一实施例中,至少一个投影仪可包括至少两个投影仪106,每个投影仪被配置用于接收至少两个低分辨率信号中的一个并投影图像。在一些实施例中,所有偏移子帧可以同时被投影。使用多个低分辨率投影仪可能需要进行预处理以校准几何、光度和颜色。
例如,在双向分辨率增强中,可以使用两个投影仪106。每个投影仪106被配置为接收两个低分辨率信号中的一个分辨率信号并叠加投影图像。在另一个例子中,四向分辨率增强实施例中,可以使用四个投影仪106。每个投影仪106被配置为接收四个低分辨率信号中的一个分辨率信号并叠加投影图像。
当只使用一个投影仪,光学机械图像移位器不需要校准颜色和投影位置,但是不能同时投影多个子帧。当多个低分辨率投影仪融合时,需要校准其中所有在使用的投影仪的位置和颜色,但是所有子帧都可以同时被投影。
因此,如上所述,系统100和方法200允许投影具有增强可见显示分辨率的图像。与计算成本昂贵的传统的基于空间的方法和基于频率的方法不同,使用N×N空间域维纳滤波器简化了对2D卷积操作的滤波,可以使用现有的FPGA资源实时实现。此外,该方法的空间性质可以克服许多基于频率的限制。例如,可以避免问题正则化所需的先验知识。
以上描述的系统和方法可以在使用光学机械移位器的单个投影仪上实现,并且还可以扩展到多个投影仪系统。将系统和方法扩展到多个投影仪系统需要进行简单的预处理,对投影仪的几何、光度和颜色校准,并且不需要对重采样器模块、反卷积模块或空间核的计算进行实质性改变。
本领域技术人员可以理解,本申请可能存在更多替代实施例和进行各种修改,上述描述仅是至少一个实施例的说明。因此,本申请的范围仅受权利要求的限制。
Claims (18)
1.一种投影具有增强可见显示分辨率的图像的系统,其特征在于,包括:
重采样器模块,用于接收高分辨率信号,对所述高分辨率信号上采样,进行整数移位操作和下采样,得到至少两个低分辨率信号;
至少一个投影仪,用于接收所述至少两个低分辨率信号,并叠加所述至少两个低分辨率信号以投影具有增强可见显示分辨率的图像;以及
反卷积模块,用于使用空间域反卷积操作过滤所述高分辨率信号,所述空间域反卷积操作基于所述至少一个投影仪的特征近似于频域光学校正。
2.根据权利要求1所述的系统,其特征在于,所述空间域反卷积操作使用空间核,所述空间核包括用于光学校正的频域维纳反卷积滤波器的空间近似,所述空间近似基于所述至少一个投影仪的特征近似于所述维纳反卷积滤波器。
3.根据权利要求2所述的系统,其特征在于,所述空间核是N×N的空间核,其中N是奇数。
4.根据权利要求1所述的系统,其特征在于,所述至少一个投影仪包括一个用于接收所述至少两个低分辨率信号的投影仪,所述投影仪具有光学机械移位器以偏移所述投影图像。
5.根据权利要求1所述的系统,其特征在于,所述至少一个投影仪包括至少两个投影仪,每个所述投影仪用于接收所述至少两个低分辨率信号中的一个低分辨率信号并投影所述图像。
6.一种使用至少一个投影仪投影具有增强可见显示分别率的图像的方法,其特征在于,所述方法包括:
接收高分辨率信号;
对所述高分辨率信号上采样;
采用空间域反卷积操作对所述上采样的高分辨率信号滤波,所述空间域反卷积操作基于所述至少一个投影仪的特征近似于频域光学校正;
下采样所述高分辨率信号,得到第一低分辨率信号;
对所述高分辨率信号进行整数移位操作和下采样,得到第二低分辨率信号;以及
所述至少一个投影仪接收并叠加所述第一低分辨率信号和所述第二低分辨率信号以投影具有增强可见显示分辨率的图像。
7.根据权利要求6所述的方法,其特征在于,所述空间域反卷积操作使用反卷积空间核,所述反卷积空间核包括用于光学校正的频域维纳反卷积滤波器的空间近似,所述空间近似基于所述至少一个投影仪的特征近似于所述维纳反卷积滤波器。
8.根据权利要求7所述的方法,其特征在于,
通过估算所述至少一个投影仪的点扩散函数生成所述反卷积空间核;
基于所述点扩散函数构造维纳滤波器;以及
通过对所述维纳滤波器进行逆傅里叶变换生成空间域维纳滤波器并提取空间核。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括,在进行所述逆傅里叶变换之前,对所述维纳滤波器进行频带限制。
10.根据权利要求9所述的方法,其特征在于,所述空间核是N×N空间核,其中N是奇数。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括,针对具体内容的使用情况,改变所述维纳滤波器频带限制的截止频率。
12.根据权利要求8所述的方法,其特征在于,估算所述至少一个投影仪的点扩散函数包括:捕获所述至少一个投影仪的单个像素响应。
13.根据权利要求6所述的方法,其特征在于,所述方法还包括预处理,对至少两个投影仪中的每一个投影仪进行几何、光度和颜色校准。
14.根据权利要求6所述的方法,其特征在于,进行所述上采样得到的分辨率是所述至少一个投影仪的分辨率的两倍。
15.根据权利要求14所述的方法,其特征在于,所述方法使用两个投影仪,每个所述低分辨率信号包含所述高分辨率信号的一半像素。
16.根据权利要求15所述的方法,其特征在于,所述两个投影仪以两倍速度接收和叠加所述第一低分辨率信号和所述第二低分辨率信号。
17.根据权利要求14所述的方法,其特征在于,所述方法使用四个投影仪,所述方法还包括:
对所述高分辨率信号进行整数移位操作和下采样,得到第三低分辨率信号;以
及
对所述高分辨率信号进行整数移位操作和下采样,得到第四低分辨率信号;
其中,每个所述低分辨率信号包含所述高分辨率信号的四分之一像素。
18.根据权利要求17所述的方法,其特征在于,所述四个投影仪以四倍速度接收并叠加所述低分辨率信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/676,394 US10009587B1 (en) | 2017-08-14 | 2017-08-14 | Real-time spatial-based resolution enhancement using shifted superposition |
US15/676,394 | 2017-08-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109389559A true CN109389559A (zh) | 2019-02-26 |
CN109389559B CN109389559B (zh) | 2023-10-27 |
Family
ID=62599006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810884779.6A Active CN109389559B (zh) | 2017-08-14 | 2018-08-06 | 通过移位叠加的基于空间的实时分辨率增强 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10009587B1 (zh) |
EP (1) | EP3445047B1 (zh) |
JP (1) | JP7278726B2 (zh) |
CN (1) | CN109389559B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179883A (zh) * | 2020-01-03 | 2020-05-19 | 云谷(固安)科技有限公司 | 图像显示方法和装置、移动终端、计算机设备、存储介质 |
CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064414B (zh) * | 2018-07-06 | 2020-11-10 | 维沃移动通信有限公司 | 一种图像去噪方法及装置 |
US11109005B2 (en) | 2019-04-18 | 2021-08-31 | Christie Digital Systems Usa, Inc. | Device, system and method for enhancing one or more of high contrast regions and text regions in projected images |
KR102677172B1 (ko) * | 2020-12-18 | 2024-06-20 | 한국전자통신연구원 | 영상 해상도 개선 방법 및 장치 |
CN113945544B (zh) * | 2021-10-13 | 2023-10-17 | 天津大学 | 面向空间频域测量的动态单像素成像及退化图像复原方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060209057A1 (en) * | 2005-03-15 | 2006-09-21 | Niranjan Damera-Venkata | Projection of overlapping sub-frames onto a surface |
US20070286514A1 (en) * | 2006-06-08 | 2007-12-13 | Michael Scott Brown | Minimizing image blur in an image projected onto a display surface by a projector |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
US20160037147A1 (en) * | 2014-07-29 | 2016-02-04 | Texas Instruments Incorporated | Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6340994B1 (en) | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
US6937772B2 (en) * | 2000-12-20 | 2005-08-30 | Eastman Kodak Company | Multiresolution based method for removing noise from digital images |
US7228005B1 (en) * | 2002-06-17 | 2007-06-05 | National Security Technologies, Llc | Adaptive wiener image restoration kernel |
WO2005031645A1 (en) | 2003-10-02 | 2005-04-07 | Commonwealth Scientific And Industrial Research Organisation | Enhancement of spatial resolution of imaging systems by means of defocus |
CA2570090C (en) * | 2006-12-06 | 2014-08-19 | Brightside Technologies Inc. | Representing and reconstructing high dynamic range images |
US8508672B2 (en) | 2006-12-28 | 2013-08-13 | Texas Instruments Incorporated | System and method for improving video image sharpness |
JP2008268557A (ja) | 2007-04-20 | 2008-11-06 | Sony Corp | 画像生成装置及び方法、プログラム、並びに記録媒体 |
US7974498B2 (en) * | 2007-08-08 | 2011-07-05 | Microsoft Corporation | Super-resolution in periodic and aperiodic pixel imaging |
JP4458159B2 (ja) | 2007-12-11 | 2010-04-28 | セイコーエプソン株式会社 | 信号変換装置、映像投影装置及び映像投影システム |
JP5606054B2 (ja) | 2009-12-16 | 2014-10-15 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
US20140267286A1 (en) * | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Systems and Methods for Providing an Array Projector |
US9692939B2 (en) * | 2013-05-29 | 2017-06-27 | Yeda Research And Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
JP6242157B2 (ja) * | 2013-10-30 | 2017-12-06 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
-
2017
- 2017-08-14 US US15/676,394 patent/US10009587B1/en active Active
-
2018
- 2018-07-18 EP EP18184254.3A patent/EP3445047B1/en active Active
- 2018-07-31 JP JP2018144344A patent/JP7278726B2/ja active Active
- 2018-08-06 CN CN201810884779.6A patent/CN109389559B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060209057A1 (en) * | 2005-03-15 | 2006-09-21 | Niranjan Damera-Venkata | Projection of overlapping sub-frames onto a surface |
US20070286514A1 (en) * | 2006-06-08 | 2007-12-13 | Michael Scott Brown | Minimizing image blur in an image projected onto a display surface by a projector |
CN101980289A (zh) * | 2010-10-25 | 2011-02-23 | 上海大学 | 基于频域配准和凸集投影的多帧图像超分辨率重建方法 |
CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
US20160037147A1 (en) * | 2014-07-29 | 2016-02-04 | Texas Instruments Incorporated | Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179883A (zh) * | 2020-01-03 | 2020-05-19 | 云谷(固安)科技有限公司 | 图像显示方法和装置、移动终端、计算机设备、存储介质 |
CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7278726B2 (ja) | 2023-05-22 |
CN109389559B (zh) | 2023-10-27 |
US10009587B1 (en) | 2018-06-26 |
EP3445047B1 (en) | 2022-01-26 |
EP3445047A1 (en) | 2019-02-20 |
JP2019036952A (ja) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389559A (zh) | 通过移位叠加的基于空间的实时分辨率增强 | |
US9998666B2 (en) | Systems and methods for burst image deblurring | |
US8405763B2 (en) | Video camera for reconstructing varying spatio-temporal resolution videos | |
CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
US7609906B2 (en) | Method and system for acquiring and displaying 3D light fields | |
US9576401B2 (en) | Methods and systems of reducing blurring artifacts in lenticular printing and display | |
Delbracio et al. | Removing camera shake via weighted fourier burst accumulation | |
Dodgson | Image resampling | |
EP3281400A1 (en) | Automated generation of panning shots | |
US20150042844A1 (en) | Dynamic color shading correction | |
EP2759982A2 (en) | Image processing apparatus, image pickup apparatus, image processing method, image processing program, and storage medium | |
US9445007B1 (en) | Digital zoom methods and systems | |
Hardie et al. | Fusion of interpolated frames superresolution in the presence of atmospheric optical turbulence | |
Simpkins et al. | An introduction to super-resolution imaging | |
Parker et al. | Digital video processing for engineers: A foundation for embedded systems design | |
Tsai et al. | Adaptive fuzzy color interpolation | |
Bonanomi et al. | I3D: a new dataset for testing denoising and demosaicing algorithms | |
Ma et al. | 63‐3: Real‐time Spatial‐based Projector Resolution Enhancement | |
Thurow | Depth-of-field reduction due to blurring in a relayed plenoptic camera and mitigation via deconvolution | |
Salem et al. | Non-parametric super-resolution using a bi-sensor camera | |
Zhao et al. | Objective assessment of perceived sharpness of projection displays with a calibrated camera | |
Popovic et al. | FIR filters for hardware-based real-time multi-band image blending | |
Trimeche | Color demosaicing using multi-frame super-resolution | |
Gohshi et al. | 42.2 L: Late‐News Paper: Real‐Time Up‐Converter from HDTV to 4K with Super Resolution‐Breaking the Nyquist Frequency Barrier‐ | |
Stump | MTF, Resolution, Contrast, and Nyquist Theory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40002058 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |