CN103974011A - 一种投影图像模糊消除方法 - Google Patents

Abstract

本发明公开了一种基于多尺度卷积核的投影图像模糊消除方法，该方法首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行投影图像模糊消除计算，最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。使用本发明公开的基于多尺度卷积核的投影图像模糊消除方法，可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰，最终实现观察者视觉上对图像分辨率和细节识别度的提升。

Description

一种投影图像模糊消除方法

技术领域

本发明涉及一种在会议（讲稿演示）和娱乐（电影放映）、科研教育领域（科学可视化）、各类仿真领域（虚拟现实）、以及气象交通的大屏幕监控展示等领域中应用的一种基于多尺度卷积核的投影图像模糊消除方法。

背景技术

传统投影设备需要在使用前根据投影仪与投影显示表面之间的距离等因素进行校正，其中一个需要解决的重要难题就是投影仪的光学聚焦校正。但是，目前对于投影聚焦校正必须使用人工手动进行机械聚焦，同时受限于手动聚焦不完全以及投影仪和投影显示表面的位置不固定等原因，投影图像很难进行精确对焦获得具有最适宜清晰度的投影图像。

对于投影图像模糊消除技术的研究，目前仅限于国外少数几所大学研究所机构。其中，Bimber等人提出一种多投影仪组成的多焦距投影系统，该硬件系统克服了传统投影仪单一投影焦距的问题，但在使用中该硬件系统安装和配置复杂、成本大幅提升，不能满足日常生活中的实际使用需要。哥伦比亚大学的Zhang和Nayar等人从软件开发的角度进行研究，他们将投影聚焦模型进行参数模拟，并使用多次计算的方法进行精确度提升，但是该方法的计算效率很低，不能在实时投影过程中进行使用。日本的Yuji Oyamada等人提出了另一种方法将投影图像的模糊程度进行分布式分析，针对不同投影区域计算出不同的投影图像模糊消除模型，但是该方法没有解决投影环境的光照、投影表面的反射率等干扰因素，同时仍然不能实现实时模糊校正。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多尺度卷积核的投影模糊消除方法。该方法首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算，最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。应用本发明公开的基于多尺度卷积核的投影模糊消除方法，可以有效消除投影设备手工对焦不充分以及复杂投影环境对投影图像的聚焦干扰，最终实现观察者视觉上对图像分辨率和细节识别度的提升。

本发明的目的是通过以下技术方案来实现的：一种投影图像模糊消除方法，包括以下步骤：

（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。

（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。

（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。

（4）使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数，对投影图像进行多尺度卷积模板计算。

（5）使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除。

本发明的有益效果是：

1.可以有效消除投影仪等投影设备由于机械光学对焦不充分导致的图像模糊问题，实现观察者视觉上对图像分辨率和细节识别度的提升。

2.可以有效消除日常生活环境中光照等因素对投影图像颜色、亮度等的干扰，使得投影图像可以适应日常投影显示环境，让观察者可以获得接近于原始图像画质的视觉体验。

3.具有独立的实时在线校正系统，投影校正过程无需人工参与，极大简化了投影仪的安装调节过程。

4.基于软件进行系统控制，极大的降低了硬件成本。

5.采用计算机视觉方法对采集数据处理和分析，极大的降低了投影系统运行成本。

附图说明

图1为投影仪模糊模型计算示图；

图2为编码特征图采集示图；

图3为5x5X/Y方向Sobel算子模型示图；

图4为改进的Sobel-Tenengrad聚焦评价函数分析示图；图中，（a）为改进X方向S-T方法对比示图，（b）为改进Y方向S-T方法对比示图；

图5为聚焦参考模板示图；

图6为基于Sobel-Tenengrad聚焦评价方法的亮度均衡示图；图中，（a）为原始投影采集图像示图，（b）为亮度均衡图像示图；

图7为多尺度高斯模糊卷积模板示图；图中，（a）-(h)分别为高斯模糊卷积Sigma参数为0.5、1、1.5、2、2.5、3、3.5、4的模板图像示图；

图8为图7所示的8组模糊模板对应的sigma值生成的整幅原始图像的维纳滤波图像Iwiener；

图9为投影模糊补偿图像计算示图；图中，（a）为原始投影图像示图，（b）为投影模糊补偿图像示图；

图10为投影模糊消除方法效果1实施例示图；

图11为投影模糊消除方法效果2实施例示图。

具体实施方式

1.系统安装：首先，将一个摄像头安装在一台投影仪上，并保证摄像头镜头与投影仪的镜头同轴方向；然后将摄像头输出端口连接到计算机，并安装相应的驱动程序，同时将计算机显卡的第二个输出口连接到投影仪。

2.本发明提出的投影图像模糊消除方法,具体包括以下步骤：

（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。

摄像头标定采用的是张正友提出的相机平面标定法，使用计算得到的摄像头内部参数对摄像头的径向畸变和切向畸变进行校正。标定后的摄像头实时获取投影显示图像并反馈投影环境信息。

（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。

（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。

（3.1）计算投影图像模糊模型

首先，对于应用DLP技术的主流投影设备可以将投影模糊理想化估计为某种单一模糊核进行卷积滤波计算的结果（公式（1））。投影成像过程是从投影机内部成像单元的图像空间中单个子像素经过投影透镜投射到投影屏幕，经过对平面、弧幕等常规投影环境多次实验，可以将投影系统的模糊核近似为高斯模糊模型（公式（2）），如图1所示，即投影表面的投影图像是原始图像经过高斯模糊模型h卷积计算得到的退化图像。

I_blur=I_oriοh_σ (1)

$h_{\mathrm{\σ}}(x,y)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}}---\left(2\right)$

（公式（1）中，I_blur表示模糊退化图像，I_ori表示原始图像，h_σ表示模糊卷积核。公式（2）中，h_σ(x,y)表示在点象素(x,y)处的高斯卷积计算。）

对投影模糊图像进行模糊消除，在数学模型上是使用估计得到的模糊核对模糊图像进行反卷积，在实际投影系统的模糊消除中是对原始投影图像在成像空间应用模糊消除函数（公式（3）），最终可以投射到投影表面在视觉上呈现出锐利度增强的清晰图像。

I_deblur=F_deblur(I_ori) (3)

（公式（3）中，I_deblur表示模糊消除图像，F_deblur表示模糊消除函数，I_ori表示原始图像。）

（3.2）计算投影模糊图像锐利度

首先，对捕获的投影特征图像进行均匀分割，得到以特征点（N个）为中心的子图像区域并组建成一个特征子图像集合（图2），然后通过聚焦评价函数分别计算出每个子图像区域的图像锐利度。在传统的图像模糊消除方法中，常用的空间域聚焦评价方法有灰度差分法、拉普拉斯算子法等，实验表明这两种方法的精度不高、鲁棒性不佳并不适用于投影模糊的聚焦评价，最终选取基于Sobel-Tenengrad函数的聚焦评价方法针对投影模糊捕捉图像进行图像锐利度计算。

常用的Sobel梯度算子扩展核具有有1x1、3x3、5x5、7x7等形式，考虑到主流投影机的投影比参数（Throw Ratio）并结合多次实验计算，最终采用3x3和5x5两种Sobel梯度算子扩展核对子图像集合在空间域进行分析，图3所示为针对模糊消除方法设计的5x5Sobel算子。

首先，设置Tx和Ty分别表示子图像中每一个像素点在水平方向和垂直方向使用Sobel算子（x方向，y方向）计算求梯度，则在图像空间域中可以参数化为如公式（4）和公式（5）所示使用Sobel算子进行卷积滤波计算（“o”表示卷积滤波）。

T_x=I_sub(x,y)οS_x (4)

T_y=I_sub(x,y)οS_y (5)

（公式（4）和公式（5）中，T_x和T_y分别表示x方向和y方向的Sobel算子梯度计算，S_x和S_y表示x方向和y方向的Sobel算子，I_sub(x,y)表示子图像集合中某一图像区域。）

然后，需要使用本文提出的一种改进Tenengrad评价函数对Tx和Ty进行聚焦评估。经典的Tenengrad评价函数精度高但是计算量大，不能满足实时投影图像校正的需要，将经典公式（6）进行改进可以近似等价为公式（7），对公式（7）拆分为x方向和y方向两部分，可以得到公式（8）和公式（9）。

$F_{\mathrm{st}}=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{T_x^2+T_y^2}---\left(6\right)$

$F_{\mathrm{st}-\mathrm{abs}}=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\left(\right|T_x|+|T_y\left|\right)---\left(7\right)$

$F_{\mathrm{st}-x}=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\left|T_x\right|---\left(8\right)$

$F_{\mathrm{st}-y}=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}\left|T_y\right|---\left(9\right)$

（公式（6）中，F_st表示经典Tenengrad评价函数计算，T_x和T_y分别表示x方向和y方向的Sobel算子梯度计算；公式（7）中，F_st-abs表示简化的经典Tenengrad评价函数计算；公式（8）中，F_st-x表示x方向的改进Tenengrad评价函数计算；公式（9）中，F_st-y表示y方向的改进Tenengrad评价函数计算。）

使用这种新型X/Y方向Tenengrad评价函数分别计算投影模糊捕捉图像区域得聚焦评估值，图4子图像区域聚焦评估曲线分析可以看到，使用这种X/Y方向改进聚焦评价方法和经典方法是高度吻合的，但是显著的提高了计算效率，符合实时计算的需要。所有子图像集合使用这种改进的X/Y方向Tenengrad评价函数进行计算，可以找到子图像集合中图像锐利值最大的子图像区域，并标记为“I_ref”作为聚焦参考模板。

（3.3）基于改进的Sobel-Tenengrad图像锐利评价函数的亮度均衡

由于投影机成像系统的限制，投影图像在投影表面的中心区域光流明度最高，而四周的光流明度逐渐降低，这种光流明度的不均匀分布对于模糊消除函数的计算影响很大，现使用（3.2）提出的改进Sobel-Tenengrad评价函数对投影捕获图像进行亮度均衡。

第一步，公式（10）将聚焦参考模板I_ref使用快速傅立叶变换，从空间域转换到频域图像I_FFT-ref进行分析：

I_FFT-ref=FFT(I_ref) (10)

（公式（10）中，I_FFT-ref为聚焦参考模板的频域图像计算，I_ref为聚焦参考模板，FFT为快速傅里叶变换函数。）

第二步，由于图像在空间域和频域进行转换时具有频率谱的“直流数据”即图像原点像素值数值不变的性质，同时以高斯滤波函数公式（11）为例进行分析，可以推导出当u和v为0即在图像原点位置时的该原点的频域空间数值为原始图像的平均灰度值（公式（12）），则将I_FFT-ref的直流部分进行提取即计算出I_FFT-ref(0,0)的数值（如公式（13））。

$F(u,v)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)}---\left(11\right)$

$F(0,0)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)---\left(12\right)$

$I_{\mathrm{FFT}-\mathrm{ref}}(0,0)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{I}_{\mathrm{ref}}(x,y)---\left(13\right)$

（公式（11）中，F(u,v)为在点象素(u,v)处的高斯滤波计算；公式（12）中，F(0,0)表示图像原点位置的频域空间数值计算，可以通过等式右边原始图像的平均灰度值计算得到；公式（13）中，I_FFT-ref(0,0)表示在频域图像空间中原点的图像灰度值计算，即如等式右边所示将I_FFT-ref的直流部分进行提取计算。）

第三步，将子图像集合的所有子图像区域I_n进行快速傅立叶变得到频域图像集合I_FFT-n，使用第二步计算得到的I_FFT-ref(0,0)替换所有I_FFT-n(0,0)，然后对频域子图像集合I_FFT-n进行逆傅立叶变换得到空间域中新的子图像集合I’_n，对新的子图像集合I’_n按照像素对应关系进行组合，最终得到的组合图像就是经过亮度均衡的投影特征采集图像（如图6所示）。

I′_n=invFFT(I_FFT-n) (14)

（公式（14）中，I’_n表示对频域子图像集合I_FFT-n进行逆傅立叶变换得到的空间域中新的子图像集合，I_FFT-n表示子图像区域I_n进行快速傅立叶变得到的频域图像集合，_invFFT表示逆快速傅里叶变换计算。）

（4）使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数，对投影图像进行多尺度卷积模板计算。

首先，将（3.2）计算得到的参考图像区域I_ref作为卷积参考图像，并使用多尺度高斯卷积核进行高斯滤波处理。在此处进行多尺度高斯卷积滤波计算中，公式（2）高斯卷积核的sigma取值为0.5、1、1.5、2、2.5、3、3.5、4共8种情况，可以得到如图7所示多尺度高斯卷积模板。

然后，以这8组高斯卷积模糊模板作为模糊模板，使用（3.2）改进的Sobel-Tenengrad聚焦评价函数计算出各自图像锐利度，并将所有子图像集合与之比较得到各自的锐利度最接近的模板，完成与模糊模板的最相似清晰度匹配并标记模板序号。

最后，对原始子图像集合进行多尺度维纳滤波计算并重组投影图像。使用经典的维纳滤 波方法对原始投影图像进行模糊核反卷积计算，首先将原始图像使用公式（15）进行频域转换，然后使用公式（16）进行维纳滤波计算，其中，公式（15）中H(u,v)为公式（1）的高斯滤波核，sigma的数值选择之前的8组模糊估计值，公式（16）的SNR为信噪比。

I_freg(u,v)=I(u,v)H(u,v) (15)

$I_{\mathrm{wiener}}=\frac{H*(u,v)I_{\mathrm{freg}}(u,v)}{|H{(u,v)}^2+1/\mathrm{SNR}|}---\left(16\right)$

（公式（15）中，I_freg(u,v)表示原始图像频域转换计算结果，I(u,v)为原图像在(u,v)处的图像灰度值，H(u,v)为公式（1）的高斯滤波核；公式（16）中，I_wiener为对I_freg(u,v)进行维纳滤波计算的结果，SNR为信噪比。）

（5）使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除。

将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据，然后在显卡的第二个通道中将所有子图像各自最相似模板中的sigma值分别使用维纳滤波进行处理，使用得到的子图像集合维纳滤波图像集合进行重组，8组模糊模板对应的sigma值生成整幅原始图像的维纳滤波图像I_wiener（图8）。然后依次遍历原始投影图像重所有子图向区域的像素点，在相应子图像区域坐标范围内使用对应维纳滤波图像I_wiener的像素值进行替换，同时在相邻子图像的边缘区域进行双线性插值计算以保证重组图像的平滑，最终得到的重组图像（图9）就是投影模糊消除图像。使用该图像作为最终的图形数据由显卡的第二个通道输出到投影仪，处于投影显示环境中的观察者可以在视觉上获得近似于原始图像清晰度的投影模糊消除图像。

本发明中，所说的系统标定是使用张正友提出的相机平面标定法对摄像头进行校准，消除摄像头的径向畸变和切向畸变。

本发明中，所说的投影图像模糊消除是首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算，完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。

本发明中，所说的GPU的图形绘制是将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据，然后使用投影模糊消除方法对该图像数据进行计算，并将经过多尺度卷积核处理的投影模糊消除图像输入第二个通道，然后在显卡的第二个通道进行像素重映射并最终绘制完成一帧新的图像，这帧图像通过第二个通道的输出端口输入给投影仪进行投影。

本发明中，所说的投影仪可采用DLP投影仪。

本发明中，所说的摄像头可采用普通网络摄像头。

本发明中，所说的计算机可以是具有独立图形显卡的计算机系统。

以下通过实施例对本发明做进一步说明：

实施例

本实施例中，设计并实现了一套可以自适应投影颜色补偿的智能投影系统进行实验。原型系统使用Lenovo T151DLP投影仪作为放映设备，并安装Logitech c905摄像头完成图像获取和环境监控，最后连接一部商务笔记本作为计算单元运行图像校正方法和设备通信。校正方法采用Matlab和C++两种编程语言混合编程进行实现，同时使用图形程序库OpenGL辅助图形绘制。

实验使用分辨率分别为1024x768、800x600、640x480等彩色图像进行分析。首先，将投影系统完成系统标定，并使用离散集合映射方法完成投影图像的几何校正。然后，使用改进的Sobel-Tenengrad聚焦评价函数进行图像锐利度估计，并对原始投影图像进行亮度均衡。接下来，使用多尺度高斯卷积模板建立模糊模板集合，并采用映射多尺度模糊模板的方法重组原始投影图像，最终应用基于改进朗伯特光照模型的颜色补偿方法优化原始投影模糊消除图像，实现自适应环境的投影模糊消除。系统标定时间为5-10秒，计算单帧图像的模糊校正需要0.2-0.4秒。

实验1可以看到未进行模糊校正的测试图像（图10（a））直接投影，图像产生明显模糊并且具有亮度偏暗以及偏色的视觉效果，经过投影模糊校正后（图10（b））整体图像的清晰度明显提升，其中“狮子”的鬃发以及“老虎”的胡须部分在细节上明显改善，整个图像的锐利度接近于原始图像。实验2可以得到相同的模糊消除结果，将投影模糊消除前后捕捉的投影图像局部放大进行分析，可以看到在校正前捕捉投影图像中“小女孩”的眼睛区域和头发区域明显模糊很难分辨，在校正后捕捉投影图像中这两个部分增加了大量细节，眉毛和睫毛的纹路以及头发发丝都可以清晰呈现（图11）。

Claims (7)

1.一种投影图像模糊消除方法，其特征是，包括以下步骤：

（1）使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。

（2）使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。

（3）使用计算机视觉方法并结合摄像头采集的图像数据，首先计算投影仪的投影图像锐利度评价指数，然后对摄像头采集的原始聚焦参考图像进行亮度均衡。

（4）使用计算机视觉方法并结合摄像头采集的图像数据和图像锐利度评价指数，对投影图像进行多尺度卷积模板计算。

（5）使用投影图像的多尺度卷积核模板计算结果并基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除。

2.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所述步骤1中，所述系统标定是使用相机平面标定法对摄像头进行校准，消除摄像头的径向畸变和切向畸变。

3.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所述投影图像模糊消除方法首先使用离散集合映射方法进行几何校正，并提出一种改进的Sobel-Tenengrad聚焦评价方法计算图像锐利度来进行投影捕捉图像的亮度均衡，然后使用具有多尺度卷积核模糊模板的维纳滤波图像重组方法进行原始投影图像模糊消除计算，最终完成投影机自身散焦以及投影环境影响造成的投影图像模糊消除。

4.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所述步骤5中，所述基于GPU图形渲染方法，对经过计算的投影模糊消除图像进行绘制，最终完成投影图像模糊消除是将预投影图像在显卡的第一个通道进行绘制得到一帧原始图像数据，然后使用投影模糊消除方法对该图像数据进行计算，并将经过多尺度卷积核处理的投影模糊消除图像输入第二个通道，然后在显卡的第二个通道进行像素重映射并最终绘制完成一帧新的图像，这帧图像通过第二个通道的输出端口输入给投影仪进行投影。

5.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所述步骤1中，所述投影仪可采用DLP投影仪。

6.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所述步骤1中，所述摄像头可采用网络摄像头。

7.根据权利要求1所述的基于多尺度卷积核的投影图像模糊消除方法，其特征在于，所说的计算机可以是具有独立图形显卡的计算机系统。