CN103716503A - 图像处理装置和投影仪 - Google Patents

Abstract

本发明提供图像处理装置和投影仪。本发明的目的是进行更合适的图像修正处理。以如下方式构成投影仪、显示装置或摄像装置等图像处理装置：包括将输入图像信号输入的输入部、和修正上述输入图像信号的图像修正部，上述图像修正部从输入图像信号抽取镜面反射成分和漫反射成分，根据对该抽取的上述镜面反射成分和上述漫反射成分的运算结果生成修正图像信号。

Description

图像处理装置和投影仪

技术领域

本发明涉及图像处理技术。

背景技术

作为本技术领域的背景技术，有日本特开2005-004506号公报（专利文献1）。专利文献1在其摘要中公开了：为了“提供能够不依赖于作为处理对象的原图像的内容而进行良好的MultiScale Retinex处理（多尺度Retinex处理）的图像处理程序”，“在Multi Scale Retinex处理中，对每个像素，根据作为处理对象的原图像D2的像素值水平，从根据尺度不同的多个周边函数D3-1～D3-3生成的模糊程度不同的多个模糊图像D4-1～D4-3中选择任一个，由此生成合成模糊图像D6。通过对合成模糊图像D6施加低通滤波器410，防止不自然的边界的不连续的产生，进行Retinex处理。”。

现有技术文献

专利文献

专利文献1：日本特开2005-004506号公报

然而，在专利文献1公开的技术中，虽然考虑了图像对多个尺度的贡献，但是没有考虑对反射性质的贡献。因此，不论图像中的被拍摄体的材质如何，都进行同样的修正，存在被拍摄体的材质的质感的表现不充分的技术问题。

发明内容

本发明鉴于上述技术问题而做出，其目的在于进行更合适的图像修正处理。

为了解决上述技术问题，本发明例如以如下方式构成即可：包括将输入图像信号输入的输入部、和修正上述输入图像信号的图像修正部，上述图像修正部从输入图像信号抽取镜面反射成分和漫反射成分，根据对该抽取的上述镜面反射成分和上述漫反射成分的运算结果生成修正图像信号。

发明效果

根据本发明，能够进行更合适的图像修正处理。

附图说明

图1是基于本发明的图像处理装置的结构图的例子（实施例1）。

图2是说明图像修正部的处理的图。

图3是说明反射光检测部的处理的图。

图4A是说明反射光控制部的处理的图。

图4B是说明在反射光控制部中增加了亮度特性的处理的图。

图5是说明基于Phong反射模型的反射光的性质的图。

图6是说明基于现有技术的反射光检测处理的图。

图7是说明基于现有技术的反射光控制处理的图。

图8A是说明高斯分布的图。

图8B是说明基于余弦的亮度分布的图。

图8C是说明基于余弦的乘方的亮度分布的图。

图9A是说明基于图像亮度值的镜面反射光修正增益的图。

图9B是说明基于图像亮度值的漫反射光修正增益的图。

图10是基于本发明的图像处理装置的结构图的例子（实施例2）。

图11是说明基于噪声和外部光的自适应控制的例子的图。

图12是说明边缘量与增益的关系的图。

图13是基于本发明的图像处理装置的结构图的例子（实施例3）。

图14是基于本发明的图像处理装置的结构图的例子（实施例4）。

符号说明

11   输入信号处理部

14   时序控制部

41   记录再现部

100  图像修正部

120  反射光检测部

121  基于尺度1的滤波器部

123  基于尺度2的滤波器部

125、126 对数变换部

130  反射光控制部

132  指数变换部

150  反射光检测部

151  镜面反射光滤波器部

153  漫反射光滤波器部

155  环境光滤波器部

157、159、161 函数变换部

163  镜面反射光检测部

164  漫反射光检测部

180  反射光控制部

182  反函数变换部

183  镜面反射光修正增益

184  漫反射光修正增益

200  光学系单元

201  投射透镜

202  显示元件

203  光源

302  边缘信号

403  图像

500  图像显示部

501  面板

1000 图像处理装置

1001 图像处理装置

具体实施方式

以下，基于附图对本发明的实施方式进行说明，但本发明并不限定于这些实施方式。此外，在对实施方式进行说明的各附图中，对同一部件赋予同一符号，省略其重复说明。

【实施例1】

作为按光的每种反射性质将图像分解来进行图像修正的本发明的图像处理装置的例子，在本实施例中说明作为投影仪而构成的例子。

图1是本实施例的具有图像处理功能的图像处理装置1000（投影仪）的结构图的例子。

本图像处理装置包括：以图像输入信号10作为输入，通过例如压缩图像信号的解码、IP变换、缩放等变换成内部图像信号12的输入信号处理部11；以内部图像信号12作为输入的图像修正部100；以修正图像信号13作为输入，基于修正图像信号的显示画面的水平/垂直同步信号生成显示控制信号15的时序控制部14；和显示图像的光学系单元200等。

光学系单元200包括：产生光束的光源203；通过显示控制信号15控制，按每个像素对来自光源203的光束的灰度等级进行调整而生成图像的显示元件202；和用于将透过显示元件202的光束或在显示元件202反射的光束出射到屏幕等的投射透镜201等。此外，在光源203与显示元件202之间的光路、以及显示元件202与投射透镜201之间的光路中，可以根据规格适当配置必要的透镜、反射镜、光学滤波器等光学元件。显示元件202可以为反射来自光源的光的数字微镜器件（Digital Mirror Device，DMD），也可以为反射来自光源的光的反射型液晶元件，也可以为透过来自光源的光的透过型液晶元件。另外，显示元件202不需要为1个元件，可以由设置有例如与多种光的颜色（例如R、G、B三色）分别对应的元件的多个元件构成。

图像修正部100由以下部件构成：以内部图像信号12作为输入信号，通过进行基于Retinex理论的图像处理，检测2个反射光成分101和102的反射光检测部150；和以检测出的2个反射光成分作为输入，在对反射光进行调整后，进行再合成而输出修正图像信号13的反射光控制部180。

在对反射光检测部150和反射光控制部180的结构进行说明之前，对以往的基于Retinex理论的图像修正处理进行说明。此外，在此说明的处理是为了与本实施例的处理进行比较而说明的，除了本实施例的图像修正处理的说明所参照的部分以外，与本实施例的图像修正处理没有直接的关系。

根据Retinex理论，图像I由照明光L与反射光r的积表示，因此能够记为I＝L·r。在此，推定局部的照明光成分服从高斯分布，在作为抽取反射光成分的Retinex的Center/Surround（中心/环绕，以下记为C/S）Retinex中，推定L服从以图像中的关注像素为中心的高斯分布，通过对数空间中的高斯分布与关注像素的差求得对数空间的反射光R。在此，当将关注像素的亮度值设为I(x,y)，将高斯分布设为F(x,y)时，用以下的公式表示。

【公式1】

$R(x,y)=\log I(x,y)-\log \[F(x,y)\⊗I(x,y)\]$

在公式1中，以二维空间上的原点为中心的方差σ的高斯分布用以下的公式表示。

【公式2】

$\mathrm{Gauss}(x,y,\mathrm{\σ})=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

另外，图8A是说明以亮度水平为纵轴、以一维位置坐标为横轴表示的高斯分布的图。这样可知，距离中心越远，水平越低。

另外，F(x,y)与I(x,y)的积称为卷积，用如下的公式表示。

【公式3】

$\begin{array}{c}f(x,y)\⊗g(x,y)\mathrm{\≡}\underset{\mathrm{\Ω}}{\∫}\∫f(\mathrm{\σ},\mathrm{\τ})g(x-\mathrm{\σ},y-\mathrm{\τ})\mathrm{d\σd\τ}\\ \≈\underset{s=-L}{\overset{L}{\mathrm{\Σ}}}\underset{t=-L}{\overset{L}{\mathrm{\Σ}}}f(s,t)g(x-s,y-t)\end{array}$

在此，如公式1那样以1个尺度表示的模型称为Single ScaleRetinex模型（单尺度Retinex模型，以下称为SSR），以多个尺度表示的模型称为Multi-Scale Retinex模型（多尺度Retinex模型，以下称为MSR）。SSR是从图像中抽取相对于一个尺度的反射光的亮度成分的模型。将SSR扩展，从图像中抽取相对于多个尺度的反射光的亮度成分的模型是MSR。在此，N个尺度的MSR，如果假设将第i个SSR的反射光成分以权重W合成，则用以下的公式表示。

【公式4】

$R_{\mathrm{SSR},i}(x,y)=\log I(x,y)-\log \[F_i(x,y)\⊗I(x,y)\]$

$R_{\mathrm{MSR}}(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i{R}_{\mathrm{SSR},i}(x,y)$

使用结构图6和结构图7对公式4进行说明。此外，为了简化，考虑n＝2、即由2个SSR构成的MSR。另外，结构图6和结构图7是用于说明使用以往的基于Retinex理论的图像修正处理将输入图像信号12B变换成修正图像信号13B的结构的图。在此说明的结构，是为了与本实施例的结构进行比较而说明的，与作为实施例的结构的图1、图2没有直接的关系。

图6是对MSR的反射光检测部的处理进行说明的图。反射光检测部120由2个SSR构成，具体地说，由基于尺度1的滤波器部121、基于尺度2的滤波器部123、对数变换部125和127构成。

基于尺度1的滤波器部121输出对处理对象的图像信号12B以公式3表示的卷积进行处理后的结果的信号。对数变换部125对卷积的结果信号122进行对数变换。经对数变换后的信号126，通过与原图像信号的差，输出基于尺度1的反射光成分101B。即，这是公式4中的i＝1的SSR的反射光成分。

基于尺度2的滤波器部123输出对图像信号12B以与基于尺度1的滤波器部121不同的尺度、例如比尺度1更大的尺度的卷积进行处理后的结果信号。对数变换部127对卷积的结果信号123进行对数变换。经对数变换后的信号128，通过与原图像信号的差，输出基于尺度2的反射光成分102B。即，这是公式4中的i＝2的SSR的反射光成分。

图7是对使用从图6的反射光检测部输出的反射光成分101B和反射光成分102B生成修正图像信号13B的MSR的反射光控制部的处理进行说明的图。反射光控制部可以由基于权重W1和W2的加权平均构成，也可以由指数变换部132、基于权重W1和W2的加权平均以及增益G构成。尤其将前者作为MSR的结果的情况很多，但在本实施例中使用后者的同态滤波器的结果。另外，增益G例如可以根据输入到输入信号处理部11中的图像输入信号10的格式和图像内容的种类而改变。

反射光成分101和102分别以权重W1和W2进行加权平均而生成对数空间中的反射光131。即，这是以SSR的加权平均表示的一般的MSR的公式4。在此，通过公式4用增益G对信号131进行图像调整，通过指数变换部132从对数亮度空间返回到线性亮度空间，求得反射光r。

在以上说明的以往的基于Retinex理论的图像修正处理中，能够使用MSR除去照明光成分的影响，抽取反射光成分。但是，在像该MSR那样仅调整多个尺度来进行动态范围压缩的高性能化的技术中，虽然考虑了图像对多个尺度的贡献，但是没有考虑对反射性质的贡献。因此，不论图像中的物体的材质如何，都进行同样的修正。接下来，对本实施例的图像处理的反射光检测部和反射光控制部进行说明。在本实施例的图像处理中，用以下那样的想法处理反射光。

光的反射，根据性质的不同，例如可分类为在光滑的表面进行像镜子那样的镜面反射的光（以下称为镜面反射光（Specular））、由粗糙的表面的细小的凹凸进行漫反射的光（以下称为漫反射光（Diffuse））、和作为相对于周围的环境反复进行反射等而散射的光的环境光（以下称为环境光（Ambient））等。

例如，在三维计算机图形学领域中，使用这3种光的性质表现物体表面的阴影的反射模型中有Phong反射模型。根据Phong反射模型，材质能够通过光的反射情况来表现。

例如，在对塑料球体照射聚光灯的情况下，会出现亮度高的小的圆形的高光（最亮处，high-light）。另外，在橡胶状的球体中，与塑料球体相比，高光的半径扩大，但亮度降低。该高光的部分为镜面反射光。另外，漫反射光和环境光的亮度也根据材质而不同。

因此，以下说明的本发明，在抽取反射光成分时，按光的每种反射性质将图像分解，根据各自的性质改变修正方法，由此，提供考虑了图像中的被拍摄体的材质的、高画质的图像修正处理。例如，在抽取反射光成分时，将图像分解为镜面反射光、漫反射光、环境光的成分，将有光泽的金属或玻璃表面等的镜面反射光调整得较强、将橡胶或粘土表面的镜面反射光调整得较弱，由此，提供考虑了被拍摄体的材质的图像修正处理。

图5是说明Phong反射模型的例子的图。图由光源和从光源延伸的光线、光线到达的球体和放置球体的地板、以及观测该情况的观测者构成。观测在视点的位置进行，在实际中可以用眼来观测，也可以使用摄像机等观测设备来观测。

在图5中，镜面反射光是光线在作为被拍摄体的球体表面向视线方向反射的光501。这是光源映在球体表面的映像，图中的圆形的高光504是镜面反射光的范围。例如，在塑料球体的情况下，会产生亮度高的小的圆形的高光。另外，在橡胶状的球体中，与塑料球体相比，高光的半径扩大，但亮度降低。在Phong反射模型中，假定镜面反射光服从视线与反射光的余弦的乘方。

在图5中，漫反射光是光线照射到球体表面的光进行漫反射的光502。漫反射光的亮度由光线和球体表面的方向、即光线与法线的余弦决定，因此，在球体表面，光直接照射的部分是漫反射光的范围。

在图5中，环境光是绕到成为阴影的部分的光503。这是在周围多次反射、散射的光被环境整体平均化而得到的，因此，在光不直接到达的阴影部分也有一定的亮度。

通过以上所述，Phong反射模型用以下的公式表示。

【公式5】

$I=k_d\underset{j=1}{\overset{l}{\mathrm{\Σ}}}(\stackrel{\→}{N}\·\stackrel{\→}{L})m_d+k_s\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{(\stackrel{\→}{R}\·\stackrel{\→}{V})}^n{I}_j+I_a$

因此，本实施例的反射光检测部中的反射光由环境光、漫反射光和镜面反射光构成，假设图像中的环境光服从大尺度的高斯分布，漫反射光服从基于余弦的亮度分布，镜面反射光服从基于余弦的乘方的亮度分布。当将环境光的滤波器设为Fa(x,y)，将漫反射光的滤波器设为Fd(x,y)，将镜面反射光的滤波器设为Fs(x,y)时，各滤波器为下式。

【公式6】

$F_a(x,y)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

【公式7】

$F_d(x,y)=\cos \left(\frac{\mathrm{\π}\sqrt{x^2+y^2}}{k}\right)/N$

【公式8】

$F_s(x,y)={\cos }^n\left(\frac{\mathrm{\π}\sqrt{x^2+y^2}}{k}\right)/N^n$

另外，图8A、图8B、图8C分别是说明以亮度水平为纵轴、以一维位置坐标为横轴表示的环境光、漫反射光、镜面反射光的分布的图。这样可知，与环境光的高斯分布相比，漫反射光、镜面反射光的分布中，水平急剧地下降。

在此，由环境光的滤波器产生的图像Ia，将整体平均化，因此，几乎仅成为环境光成分。由漫反射光的滤波器产生的图像Id，镜面反射光的成分被滤波器平均化，几乎仅成为环境光成分和漫反射光成分。由镜面反射光的滤波器产生的图像Is，几乎没有被平均化，因此，环境光成分、漫反射光成分和镜面反射光成分全部留下。将其表示在公式9中。

【公式9】

Ambient＝I_a,Diffuse＝I_d-I_a,Specular＝I_s-I_d

其中，Ambient为环境光，Diffuse为漫反射光，Specular为镜面反射光。

当与MSR同样地对其求出基于对数空间的反射成分时，成为公式10。

【公式10】

R_Phong,i(x,y)＝W_dR_Diffuse,i(x,y)+W_sR_Specular,i(x,y)

$R_{\mathrm{Specular},i}(x,y)=\log {\stackrel{-}{I}}_{s,i}(x,y)-\log {\stackrel{-}{I}}_{d,i}(x,y)=\log \[F_s(x,y)\⊗I(x,y)\]-\log \[F_d(x,y)\⊗I(x,y)\]$

$R_{\mathrm{Diffuse},i}(x,y)=\log {\stackrel{-}{I}}_{d,i}(x,y)-\log {\stackrel{-}{I}}_{a,i}(x,y)=\log \[F_d(x,y)\⊗I(x,y)\]-\log \[F_a(x,y)\⊗I(x,y)\]$

另外，镜子或金属等的镜面反射光可认为是全反射，因此，余弦的乘方为无穷大。此时，基于镜面反射光的反射成分可以使用公式11。

【公式11】

$R_{\mathrm{Specular},i}(x,y)=\log I(x,y)-\log \[F_d(x,y)\⊗I(x,y)\]=\log I_i(x,y)-\log {\stackrel{-}{I}}_{d,i}(x,y)$

另外，环境光是环境整体的平均的光，因此，可以使用平均值滤波器或平均亮度代替高斯滤波器。例如，当使用平均亮度时，成为公式12。

【公式12】

$R_{\mathrm{Diffuse},i}(x,y)=\log {\stackrel{-}{I}}_{d,i}(x,y)-\log \[\mathrm{\ΣI}(x,y)/\mathrm{num}\]=\log {\stackrel{-}{I}}_{d,i}(x,y)-\log {\stackrel{-}{I}}_{a,i}(x,y)$

另外，镜面反射光显眼的部分多是高亮度的高光，漫反射光多是中低亮度的情况。因此，例如，可以对公式10的镜面反射光R_Specular增加如图9A所示的高亮度区域的增益，对漫反射光R_Diffuse增加如图9B所示的中低亮度区域的增益。在此，当将图9A的输入输出曲线设为g(I)时，输入亮度I为低亮度时增益为0，从中亮度开始增益逐渐变高，到达高亮度时增益成为1。图9B的输入输出曲线为1-g(I)，低亮度时增益为1，从中亮度开始增益逐渐变低，在高亮度增益成为0。

另外，与MSR的例子同样，公式10在加权平均后加入增益和指数函数时成为同态滤波器。对于该同态滤波器，可以用例如使用乘方的函数及其反函数近似对数函数和指数函数。在该情况下，当设为函数f时，成为公式13。

【公式13】

R_Phong,i(x,y)＝W_dR_Diffuse,i(x,y)+W_sR_Specular,i(x,y)

$R_{\mathrm{Specular},i}(x,y)=f(F_s(x,y)\⊗I(x,y))-f(F_d(x,y)\⊗I(x,y))=f\left({\stackrel{-}{I}}_{s,i}(x,y)\right)-f\left({\stackrel{-}{I}}_{d,i}(x,y)\right)$

$R_{\mathrm{Diffuse},i}(x,y)=f(F_d(x,y)\⊗I(x,y))-f(F_a(x,y)\⊗I(x,y))=f\left({\stackrel{-}{I}}_{d,i}(x,y)\right)-f\left({\stackrel{-}{I}}_{a,i}(x,y)\right)$

通过进行以上的处理，在本实施例的图像处理中，能够进行考虑了反射的性质的修正。即，在本实施例的图像处理中，与仅考虑不同的多个尺度来处理反射光的图像处理不同，将性质不同的多种反射光成分分别分离，来进行考虑了它们的性质的图像处理。由此，能够更合适地表现图像中的物体的材质的质感。

对于用于实现上述图像处理的结构，使用图3和图4进行说明。

图3是对基于实施例1的反射光检测部的处理进行说明的图。反射光检测部150包括：镜面反射光滤波器部151；漫反射光滤波器部153；环境光滤波器部155；函数变换部157、159、161；镜面反射光检测部163；和漫反射光检测部164。镜面反射光滤波器部151例如利用公式8所示的滤波器进行处理。漫反射光滤波器部153例如利用公式7所示的滤波器进行处理。环境光滤波器部155例如利用公式6所示的滤波器进行处理。接着，使用由函数变换部157、159、161进行了函数变换的反射光成分，镜面反射光检测部163检测公式10所示的R_Specular。此时，如上所述，根据需要也可以采用检测公式11所示的R_Specular的结构。另外，漫反射光检测部164同样地计算出公式10所示的R_Diffuse。此外，如上所述，对于环境光成分，在环境光滤波器部155中，使用平均值滤波器或平均亮度代替高斯滤波器的情况下，由漫反射光检测部164检测出的R_Diffuse成为公式12。此外，函数变换部也可以如上述的公式所示为对数函数，也可以用乘方函数近似。

图4A是对基于实施例1的反射光控制部的处理进行说明的图。反射光控制部180包括基于权重W1和W2的加权平均。该加权平均为与公式10的R_Phong的计算处理对应的处理。对反射光控制部180的输出，在反函数变换部182中利用在函数变换部中使用的函数的反函数进行变换处理，由此求出反射光r。在本实施例的图像处理装置中，将该反射光r作为修正图像信号13输出。此外，可以如图4A所示设置增益G进行增益调整。增益G例如可以根据输入到输入信号处理部11中的图像输入信号10的格式和图像内容的种类而改变。

另外，可以如图4B所示，在图4A的结构中增加图9A的在高亮度区域中具有高增益的镜面反射光修正增益183和图9B的在中低亮度区域中具有高增益的漫反射光修正增益184。

根据以上的结构，在抽取反射光成分时，按光的每种反射性质、即按镜面反射光、漫反射光、环境光将图像分解，根据各自的性质改变修正量，由此提供考虑了图像中的物体的材质的图像修正处理。

因此，根据以上说明的本发明的实施例1的图像处理装置，在抽取反射光成分时，按光的每种反射性质将图像分解，根据各自的性质改变修正方法。由此，能够进行考虑了图像中的物体的材质的高画质的图像修正处理。即，能够进行比以往更合适的图像修正处理。

【实施例2】

在实施例1中说明了按光的每种反射性质将图像分解进行图像修正的图像处理装置的例子。在实施例2中，作为本发明的应用，说明基于图像中的噪声和/或外部光的自适应控制的例子。

图10是本实施例的图像处理装置1001（投影仪）的结构图的例子。被赋予与图1相同的符号的要素具有与图1同样的动作、结构。这些要素的动作、结构与在实施例1中说明的同样，因此省略详细说明。

本图像处理装置具有：以图像输入信号10作为输入，通过例如压缩图像信号的解码、IP变换、缩放等变换成内部图像信号12的输入信号处理部11；以外部光作为输入，输出例如256阶的照度水平信号32的照度传感器31；以内部图像信号12和照度水平信号32作为输入的图像修正部300；以修正图像信号33作为输入，基于修正图像信号的显示画面的水平/垂直同步信号生成显示控制信号15的时序控制部14；和包括显示图像的显示元件202、光源203和投射透镜203的光学系单元200等。

接着，对表示本实施例的发明的图像修正部300的结构的图11进行说明。图像修正部300由以下部件构成：以内部图像信号12作为输入信号，检测2个反射光成分101和102的反射光检测部150；以检测出的2个反射光成分作为输入，在对反射光进行调整后，进行再合成而输出修正图像信号13的反射光控制部180；以内部图像信号12作为输入信号，以边缘信号302作为输出信号的边缘检测部301；和以修正图像信号13、边缘信号302、内部图像信号12和照度水平信号32作为输入信号，利用照度水平和边缘信号进行自适应控制的自适应控制部304。

边缘检测部301，例如，当将对象像素与其相邻像素的差的绝对值按每个相邻像素相加而得到的值作为边缘量时，小振幅的粒状噪声那样的高频区域中边缘量变小。因此，在这样的情况下，不进行修正即可。由此能够防止噪声被强调。

图12是以边缘量为横轴、以对修正值进行控制的增益为纵轴，说明边缘量与增益的关系的图。如该图所示，直到设定为中心值的边缘量为止增益为0，当边缘量增大时，增益到达上限值后固定。例如，通过以该特性曲线作为边缘信号302，能够对修正值进行控制。

在此，边缘检测部301取得边缘量，但也可以使用高通滤波器，也可以在图12中以频谱量代替边缘量来控制修正值。

自适应控制部304，当将关注像素的内部图像信号12设为I_in(x,y)，将对反射光进行调整后的信号13设为r(x,y)，将边缘信号302设为G_edge，将基于照度水平信号32的增益设为G_1m，将输出的修正图像信号33设为I_out(x,y)时，成为公式14。

【公式14】

I_out(x,y)＝Ｉ_in(x,y)+G_edge·Ｇ_lm·[r(x,y)-I_in(x,y)]

在此，基于照度水平信号32的增益G_1m，在例如照度水平为256阶时，为照度水平信号/256。

根据公式14，对原图像用增益调整了修正量，但本公式表示的是一个例子，并不限于本公式。例如，可以使用在实施例1中所示的作为Retinex理论的原理的、图像I由照明光L与反射光r的积表示的关系式I＝L·r，在反射光r上加上增益，由此调整相对于原图像的修正量。在此，照明光L可以根据环境光滤波器部155的输出和漫反射光滤波器部153的输出来计算。无论是在基于公式14的处理的情况下，还是在基于关系式I＝L·r的处理的情况下，本实施例的自适应控制部304都能够输出考虑了照明光成分的修正图像信号。

这样，外部光的照度水平越高，越强调修正，由此，能够防止投影到屏幕上的图像中的被拍摄体的光泽感因外部光而降低。

此外，在上述的例子中说明了使用照度水平和边缘信号两者的自适应控制，利用仅基于任一方的自适应控制也能够获得各自的效果。在该情况下，公式14中的增益仅为一方的增益就足够，另一方的增益不需要。同时不需要的结构可以从图11中除去。

根据以上的结构，在包含小振幅的粒状噪声的区域中能够进行不强调噪声的自适应控制。另外，能够进行在外部光强的情况下根据照度水平较强地修正、在没有外部光的情况下不进行修正的基于外部光的自适应控制。或者，能够进行将它们组合的应用处理。

由此，根据实施例2的图像处理装置，能够进行比实施例1的图像修正处理更合适的图像修正处理。

【实施例3】

在实施例1和2中，作为本发明的结构例的一个例子，对使用投影仪的图像处理装置的例子进行了说明。

在本实施例中，作为投影仪以外的实施例，对作为显示面板一体型显示装置的图像处理装置的例子进行说明。

图13是本实施例的图像处理装置的结构图的例子。

与图1同样，具有：以图像输入信号10作为输入，通过例如压缩图像信号的解码、IP变换、缩放等变换成内部图像信号12的输入信号处理部11；和以内部图像信号12作为输入的图像修正部100。另外，具有以由图像修正部100输出的修正图像信号13作为输入的图像显示部500。图像显示部500由以下部件构成：基于输入的修正图像信号13的显示画面的水平/垂直同步信号生成显示控制信号15的时序控制部14；和接收显示控制信号15而在对应的像素区域中显示图像的面板23。面板23可以为按每个像素对来自背光源的光的透过进行控制的液晶面板，也可以为按每个像素进行自发光的等离子体显示面板或有机EL面板。视听者直接观赏显示在面板23上的图像。

图像修正部100，如在实施例1中说明的那样，与现有技术相比，能够进行更合适的图像修正处理。因此，通过图13的结构，能够提供具有实施例1的效果的显示面板一体型显示装置。

另外，图13的结构中，在图像修正部100前的各处理部可以变更为图10所示的实施例2的结构。在该情况下，还能够提供具有实施例2的效果的显示面板一体型显示装置。

另外，在这些显示面板一体型显示装置中，如果在输入信号处理部11中增加电视调谐功能，并使图像输入信号10为电视广播信号，则能够提供能够进行更合适的图像修正处理的电视接收装置。

根据以上说明的本发明的实施例3的图像处理装置，能够提供具有实施例1或实施例2的效果的显示面板一体型显示装置。

【实施例4】

在本实施例中，作为本发明的其它实施例，对作为摄像装置的图像处理装置的例子进行说明。

图14是本实施例的图像处理装置的结构图的例子。

本图像处理装置由以下部件构成：摄像光学系单元400；以由摄像光学系单元400输出的图像信号12作为输入的图像修正部100；以由图像修正部100输出的修正图像信号13作为输入的图像显示部500；和同样以修正图像信号13作为输入，存储图像的、在例如非易失性存储器、光盘、硬盘等记录介质上记录图像的记录再现部41。

在此，图像修正部100具有与实施例1同样的结构。

光学系装置400例如为Charge Coupled Device（电荷耦合器件，以下称为CCD）图像传感器，由使光线会聚的透镜401、根据会聚后的光线输出图像403的CCD402、和控制CCD并输出图像信号12的CCD驱动器404构成。

图像显示部500由以下部件构成：基于输入的修正图像信号13的显示画面的水平/垂直同步信号生成显示控制信号15的时序控制部14；和接收显示控制信号15而在对应的像素区域中显示图像的面板23。此外，在图像显示部500中显示的图像，可以为来自CCD驱动器404的实时的摄像图像，也可以为在记录再现部41将图像记录在记录介质中后从该记录介质再现的图像。

图像修正部100，如在实施例1中说明的那样，能够进行比现有技术更合适的图像修正处理。因此，通过采用图14那样的结构的摄像装置，对于摄像图像，也能够进行考虑了图像中的被拍摄体的材质的图像修正。

另外，能够利用记录部41记录进行了该图像修正的摄像图像。在记录部41采用在可读取的记录介质中记录进行了该图像修正的摄像图像的结构的情况下，能够在其它装置中再现记录在该记录介质中的摄像图像，观赏进行了基于本发明的比现有技术更合适的图像修正的图像。

另外，用户能够通过图像显示部500观赏进行了该图像修正的摄像图像。对用户来说，具有能够观赏质感表现得更合适的图像、更易于观看的优点。另外，具有能够确认已拍摄或记录了质感表现得更合适的图像的优点。

Claims (14)

1.一种图像处理装置，其特征在于，包括：

将输入图像信号输入的输入部；和

修正所述输入图像信号的图像修正部，

所述图像修正部从输入图像信号抽取镜面反射成分和漫反射成分，根据对该抽取的所述镜面反射成分和所述漫反射成分的运算结果生成修正图像信号。

2.如权利要求1所述的图像处理装置，其特征在于：

所述图像修正部对抽取的所述镜面反射成分和抽取的所述漫反射成分进行加权而合成，根据该合成结果生成修正图像信号。

3.如权利要求2所述的图像处理装置，其特征在于：

所述图像修正部在对抽取的所述镜面反射成分和抽取的所述漫反射成分进行加权之前，进行各自不同的增益调整处理。

4.如权利要求1所述的图像处理装置，其特征在于：

所述图像修正部进行从所述输入图像信号获得环境光成分的第一滤波处理；从所述输入图像信号获得包含环境光成分和漫反射成分的成分的第二滤波处理；和从所述输入图像信号获得包含环境光成分、漫反射成分和镜面反射成分的成分的第三滤波处理，根据该三个滤波处理的结果抽取所述镜面反射成分和所述漫反射成分。

5.如权利要求1所述的图像处理装置，其特征在于：

所述图像修正部具有检测所述输入图像中的边缘的边缘检测部，并根据所述边缘检测部的检测结果改变图像修正处理。

6.如权利要求1所述的图像处理装置，其特征在于：

具有测量外部光照度的照度传感器，

所述图像修正部根据该照度传感器测量的外部光的照度改变图像修正处理。

7.如权利要求1所述的图像处理装置，其特征在于：

还具有根据所述图像修正部生成的修正图像信号显示图像的显示面板来构成显示装置。

8.如权利要求1所述的图像处理装置，其特征在于：

所述输入部为具有摄像透镜和传感器的摄像光学单元，所述输入图像信号为基于来自所述传感器的输出信号而生成的信号，构成摄像装置。

9.一种投影仪，其特征在于，包括：

将输入图像信号输入的输入部；

修正所述输入图像信号的图像修正部；

光源；

根据所述图像修正部生成的修正图像信号控制来自光源的光束的透过或反射的显示元件；和

输出透过该显示元件的光束或在该显示元件反射的光束的投射透镜，

所述图像修正部从输入图像信号抽取镜面反射成分和漫反射成分，根据对该抽取的所述镜面反射成分和所述漫反射成分的运算结果生成修正图像信号。

10.如权利要求9所述的投影仪，其特征在于：

所述图像修正部对抽取的所述镜面反射成分和抽取的所述漫反射成分进行加权而合成，根据该合成结果生成修正图像信号。

11.如权利要求10所述的投影仪，其特征在于：

所述图像修正部在对抽取的所述镜面反射成分和抽取的所述漫反射成分进行加权之前，进行各自不同的增益调整处理。

12.如权利要求9所述的投影仪，其特征在于：

所述图像修正部进行从所述输入图像信号获得环境光成分的第一滤波处理；从所述输入图像信号获得包含环境光成分和漫反射成分的成分的第二滤波处理；和从所述输入图像信号获得包含环境光成分、漫反射成分和镜面反射成分的成分的第三滤波处理，根据该三个滤波处理的结果抽取所述镜面反射成分和所述漫反射成分。

13.如权利要求9所述的投影仪，其特征在于：

所述图像修正部具有检测所述输入图像中的边缘的边缘检测部，并根据该边缘检测部的检测结果改变图像修正处理。

14.如权利要求9所述的投影仪，其特征在于：

具有测量外部光照度的照度传感器，

所述图像修正部根据该照度传感器测量的外部光的照度改变图像修正处理。

Images