CN104954710B - 影像处理装置和使用它的投影仪装置 - Google Patents

影像处理装置和使用它的投影仪装置 Download PDF

Info

Publication number
CN104954710B
CN104954710B CN201510035960.6A CN201510035960A CN104954710B CN 104954710 B CN104954710 B CN 104954710B CN 201510035960 A CN201510035960 A CN 201510035960A CN 104954710 B CN104954710 B CN 104954710B
Authority
CN
China
Prior art keywords
image
signal
retinex
ingredient
resolution ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510035960.6A
Other languages
English (en)
Other versions
CN104954710A (zh
Inventor
福田伸宏
中嶋满雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN104954710A publication Critical patent/CN104954710A/zh
Application granted granted Critical
Publication of CN104954710B publication Critical patent/CN104954710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2053—Intensity control of illuminating light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种影像显示装置和投影仪装置，能够同时实现Retinex处理和反卷积处理，在基于梯形畸变修正的几何变换中也能够抑制模糊和对比度降低。在包括将输入影像信号输入的输入部和修正所述输入影像信号的影像修正部的影像处理装置中，所述影像修正部利用共用的电路进行Retinex处理的一部分和分辨率复原(反卷积)处理的一部分，基于使用了对输入影像信号实施镜面反射成分(specular成分)滤波后的第一输出、实施漫反射成分(diffuse成分)滤波后的第二输出和实施环境光成分(ambient成分)滤波后的第三输出的运算结果来进行Retinex处理，通过至少基于所述第一输出和所述第二输出的运算处理来进行所述分辨率复原(反卷积)处理。

Description

影像处理装置和使用它的投影仪装置
技术领域
本发明涉及用于对画面整体或一部分的视认性低的影像提高其视认性的影像处理装置，特别涉及在投影显示影像的影像显示装置中，进行适于投影面的影像修正的影像处理装置和使用它的投影仪装置。
背景技术
近年来，投影仪的小型化正在发展，由此，例如在视听室和大厅等固定设置的对屏幕进行投影的投影仪变得能够携带搬运，能够自由地移动设置。作为这样的携带型的投影仪的用途，有在会议室中利用白板或墙壁简便地投影影像这样的业务需求，使用场景正在多样化。
此外，作为本发明的背景技术，已知以下的专利文献。即，该专利文献1中，公开了对于梯形畸变修正时的放大/缩小操作的几何模糊，用锐化处理使其减少的技术。
现有技术文献
专利文献
专利文献1：日本特开2011-77971号公报
发明内容
发明要解决的课题
此处，可携带的投影仪中，因为可以自由改变其设置位置，所以投影的影像的画质发生问题。
即，该问题之一在于投影仪与投影面的位置关系。
在从投影仪对屏幕等投影影像时，光线相对于投影面垂直，即相对于投影仪的光轴垂直地投影的影像，一般成为矩形影像，但是例如加上仰角投影的影像成为梯形畸变的影像。
于是，在投影仪中，进行称为梯形畸变修正(或者keystone修正)的几何变换，将投射的影像从梯形影像修正为矩形影像。此时，因各影像位置而发生分辨率劣化的弊病，因此会在局部产生模糊。
但是，上述梯形畸变修正时的几何变换因为改变从投影仪对投影面照射的单位面积的光束，所以也对投影的影像的对比度造成影响。结果，例如加上仰角投影的影像中，存在影像的上部的对比度降低的课题。
此外，实现减少模糊并且提高对比度的技术时，产生电路规模增大、成本增大和影响基板的小型化设计这样的不适于可携带的投影仪的课题。
用于解决课题的技术方案
本发明是鉴于上述现有技术中的课题而达成的，具体而言，目的在于提供一种适当地抑制模糊和对比度降低的影像处理装置和使用它的投影仪装置。
为了达成上述目的，本发明例如提供一种影像处理装置，包括将输入影像信号输入的输入部和修正所述输入影像信号的影像修正部，所述影像修正部利用共用的电路进行Retinex处理的一部分和分辨率复原(反卷积)处理的一部分。其中，在该结构中，基于使用了对输入影像信号实施镜面反射成分(specular成分)滤波后的第一输出、实施漫反射成分(diffuse成分)滤波后的第二输出和实施环境光成分(ambient成分)滤波后的第三输出的运算结果来进行所述Retinex处理，通过至少基于所述第一输出和所述第二输出的运算处理来进行所述分辨率复原(反卷积)处理。
此外，本发明提供一种投影仪装置，包括光源、影像处理装置和基于来自所述影像处理装置的显示控制信号生成并投射影像的影像显示装置，所述影像处理装置是上述记载的影像处理装置，在所述Retinex处理和反卷积处理中进行所述投影仪进行的梯形畸变修正，根据所述梯形畸变修正中的影像几何变换来调整Retinex处理和反卷积处理中的修正强度。
发明效果
根据本发明，提供一种能够同时实现提高视认性的Retinex(视网膜大脑皮层理论)处理和反卷积处理的小规模电路的影像处理装置；和在梯形畸变修正的几何变换中，使用该影像处理装置适当地抑制模糊和对比度降低的影像显示装置和使用它的投影仪装置。
此外，上述以外的课题、结构和效果将通过以下的实施方式的说明而说明。
附图说明
图1是表示本发明的影像处理装置和影像显示装置的结构图的一例的框图。
图2是表示实施例1中的影像处理装置的影像修正部的一例的框图。
图3是说明高斯分布的图。
图4是说明一般的Retinex部中的处理的功能框图。
图5是说明使用Phong反射模型的反射光的性质的图。
图6是说明使用影像的亮度值的镜面反射修正增益和漫反射修正增益的图。
图7是说明使用Phong反射模型的Retinex部的处理的图。
图8是说明实施例1中的分辨率复原部的功能框图。
图9是表示实施例2中的影像处理装置的影像修正部的一例的框图。
图10是说明实施例2中的分辨率复原部的功能框图。
图11是说明投影仪的内部影像信号、使投影仪对与光轴垂直的平面投影的影像、对投影仪的光轴加上仰角投影的影像的图。
图12是说明进行了梯形畸变修正后的投影仪的内部影像信号、对投影仪应用了梯形畸变修正并投影的影像的图。
图13是说明使投影仪对与光轴垂直的平面投影时的光线、对投影仪的光轴加上仰角而投影时的光线的图。
图14是说明加上仰角投影时的轮廓影像的像素、加上仰角投影时的轮廓影像的亮度的图。
图15是说明对与光轴垂直的平面投影时的像素位置和差、对光轴加上仰角而投影时的像素位置和差的图。
图16是说明实施例2中的调整增益计算部的功能框图。
具体实施方式
以下参考附图详细说明本发明的实施方式。但是，本发明不限定于这些实施方式，此外，在以下说明实施方式的各图中，对于相同的部件附加相同符号，省略其反复的说明。
【实施例1】
本实施例(实施例1)对于能够同时实现提高视认性的Retinex(视网膜大脑皮层理论)处理和分辨率复原(Deconvolution：反卷积)处理的小规模电路的影像处理装置和影像显示装置，用液晶投影仪的结构作为其一例进行说明。
图1是表示本实施例的液晶投影仪(即影像处理装置和影像显示装置)的结构的一例的框图，由图中可知，影像装置10包括用广播信号或从PC输出的影像输入信号11作为输入来进行影像信号系统的处理的影像处理装置100；和用控制液晶面板的液晶的显示控制信号12作为输入来进行用于生成投射影像13的光学系统处理的影像显示装置200。
影像处理装置100包括：用影像输入信号11作为输入、例如通过压缩影像信号的解码、IP变换、缩放、梯形畸变修正等将其变换为内部影像信号102的输入信号处理部101；用内部影像信号102作为输入来生成提高视认性的修正影像信号103的影像修正部300；和用修正影像信号103作为输入、对于修正影像信号基于显示画面的水平/垂直同步信号生成显示控制信号12的时序控制部104。
影像显示装置200包括生成光线202的光源201；用上述影像处理装置100输出的显示控制信号12作为输入、按每个像素调整来自上述光源的光线202的灰度等级而生成投射影像的液晶面板203；和调整透过了液晶面板203的光线204的焦点的镜头205。
图2是说明本发明的影像处理装置中的影像修正部300的图。
影像修正部300例如具有大小2种尺度(Scale)的滤波器，设其中小尺度的滤波器为滤波器1部301，另一个大尺度的滤波器为滤波器2部302。
此外，该影像修正部300包括用内部影像信号102、滤波器1输出信号303和滤波器2输出信号304作为输入、按照Retinex理论进行局部对比度修正而生成Retinex修正信号305的Retinex部500；和用内部影像信号102、上述Retinex修正信号305、用选择器310选择滤波器1的输出信号303或滤波器2的输出信号304得到的滤波器信号306作为输入来进行减少模糊和提高对比度的分辨率复原(反卷积)部600。
接着，在说明Retinex部500的结构之前，说明现有的基于Retinex理论的影像修正处理。
根据现有的对比度的修正方法，对于包括从低亮度至高亮度的区域的影像，在为了以一部分亮度区域为对象提高视认性而进行修正的情况下，对象以外的某一个亮度区域中，可能发生灰度等级损失。例如，拍摄了同时映出明亮的室外到阴暗的室内的影像的情况下，要通过对比度修正提高室内拍摄到的被摄体的视认性时，室外影像的亮度区域有损失。
于是，作为解决该问题的方法有局部地对影像的对比度进行修正的技术，作为其中之一可以举出Retinex理论。
此处，Retinex理论是表示色彩恒常性和明亮度恒常性这样的人眼的视觉特性的理论。根据该理论，通过从影像分离照明光成分能够抽出反射光成分。因此，通过基于Retinex理论的影像修正处理，阴暗的室内和明亮的逆光下的影像，都可以通过除去使该影像中的被拍摄体看不清的原因的照明光成分的影响，抽出反射光成分，从而得到视认性高的影像。因此，能够用数字灰度等级适当地压缩为人观看感觉自然的动态范围的影像。
此处，根据Retinex理论，影像I用照明光L与反射率r的积表达，所以能够记作I＝L·r。C/S Retinex(Center/Surround Retinex：中央/环绕Retinex)中，推测L符合以影像中的关注像素为中心的高斯分布(Gaussian Distribution)，通过对数空间中的高斯分布与关注像素的差求出对数空间的反射光成分R。此处，设关注像素的亮度值为I(x，y)，高斯分布为F(x，y)时，用下式记载。
【式1】
数式1中，以二维空间中的原点为中心的标准差σ的高斯分布用下式记载(此处标准差表示高斯分布的幅度，所以以下称为尺度)。
【式2】
此外，图3是说明用纵轴表示亮度水平、用横轴表示一维位置坐标的高斯分布的图。这样，可知远离中心时亮度水平降低。
进而，F(x，y)与I(x，y)的积称为卷积，用下式表示。
【式3】
此处，将如式1所示用1个尺度表达的模型称为SSR(Single Scale Retinex：单尺度Retinex)，将用多个尺度表达的模型称为MSR(Multiscale Retinex：多尺度Retinex)。如果设N个尺度的MSR是对于第i个SSR的反射光成分以权重W合成的，则用下式表达。
【式4】
接着，用图4和图2说明包括上述数式4的Retinex部500。以下，为了简单，考虑由2个SSR构成的MSR。
图4是说明MSR的处理的图。Retinex部500包括：将内部影像信号102、滤波器1输出信号303、滤波器2输出信号304作为输入，同样将内部影像信号102、滤波器1输出信号303和滤波器2输出信号304作为输入的反射光成分生成部520；和将反射光成分501、滤波器1输出信号303和滤波器2输出信号304作为输入而输出Retinex修正信号305的照明光累加部502。
此处，上述图2中的滤波器1部和滤波器2部分别是尺度1(i＝1)和尺度2(i＝2)的高斯分布与影像I的卷积。
此外，图4中的反射光成分生成部520是在与2个尺度对应的MSR、即式4中加上增益G521的结构。此外，照明光累加部502是对将反射光成分501进行指数变换后的反射率和照明光进行累加，即求出L·r的结构。作为本实施例的结构，也可以是以上所述的反射光成分生成部520的结构。
接着说明本发明的反射光成分生成部550。
图5是说明Phong反射模型的例子的图。图中的模型由光源和从光源延伸的光线、光线到达的球体和载置球体的底面、观测该状况的观测者构成。观测在视点的位置进行，可以实际用眼观测，也可以使用摄像机等观测设备。
该图5中，镜面反射光(specular)是光线在球体表面向视线方向反射的光701。这是光源映入球体表面的光，图中的圆形的高光部704是镜面反射光的范围。例如，塑料球体的情况下出现亮度高的较小圆形的高光部。此外，橡胶球体中，高光部的半径比塑料的更大，但亮度更低。该Phong反射模型中，假定镜面反射光取决于视线与反射光的余弦的乘方。
此外，在该图5中，漫反射光(diffuse)是光线照射到球体表面的光702漫反射的光。漫反射光的亮度由光线与球体表面的方向、即光线与法线的余弦决定，所以在球体表面光直接照射到的部分是漫反射的范围。
进而，在该图5中，环境光(ambient)是进入了成为阴影的部分的光703。这是在周围多次反射、散射的光在环境整体中平均化而保留的光，所以光没有直接到达的阴影的部分也有一定的亮度。成为阴影的漫反射的光，明亮度由光线与球体表面的方向、光线矢量即与法线的余弦决定。
根据以上所述，Phong反射模型可以用下式表达。
【式5】
此处，设反射光成分生成部中的输入由环境光、漫反射光、镜面反射光构成，影像中的环境光的分布符合宽尺度的高斯分布，漫反射光的分布符合基于对光线的余弦的亮度分布，镜面反射光的分布符合基于对视线的余弦的乘方的亮度分布，但此处该分布与高斯分布近似。
由此，设环境光的滤波器为Fa(x，y)，漫反射光的滤波器为Fd(x，y)，镜面反射光的滤波器为Fs(x，y)时，各滤波器如下式所述。
【式6】
【式7】
【式8】
此处，基于环境光的滤波器的影像Ia因为对整体平均化，所以几乎仅有环境光成分。基于漫反射光的滤波器的影像Id中，镜面反射光的成分被滤波器平均化，几乎仅有环境光成分和漫反射成分。基于镜面反射光的滤波器的影像Is因为几乎没有被平均化，所以环境光成分、漫反射成分和镜面反射成分全部残留。对其用以下式9表示。
【式9】
Ambient＝Ia Diffuse＝Id-Ia Specular＝Is-Id
对其与MSR同样地求出对数空间的反射成分时，得到以下式10。
【式10】
RPhong,i(x,y)＝WdRDiffuse,i(x,y)+WsRSpecular,i(x,y)
此外，镜面和金属等的镜面反射光可以考虑为全反射，所以余弦的乘方无穷大。此时，镜面反射光的反射成分可以使用以下式11。
【式11】
以下，使用上述式11，设Fs(x，y)是δ函数δ(x，y)进行说明。
此外，镜面反射光多为显眼的高亮度的高光部，漫反射光多为中低亮度。于是，例如可以对上述式10的镜面反射光Rspecular，施加如图6(A)所示的高亮度区域的增益，另一方面，对漫反射光Rdiffuse，施加如图6(B)所示的中低亮度区域的增益。
此处，设图6(A)的输入输出曲线为g(I)时，输入亮度I是低亮度时增益是0，从中亮度起增益逐渐提高，到达高亮度时增益成为1。图6(B)的输入输出曲线是1-g(I)，低亮度时增益是1，从中亮度起增益逐渐降低，在高亮度时增益成为0。
此外，与MSR的例子同样，上述式10在加权平均后施加增益和指数函数时成为同态滤波器。对于该同态滤波器，也可以将对数函数和照明光累加部的指数函数近似为例如使用幂的函数及其反函数。该情况下，设函数为f时，得到以下式12。
【式12】
RPhong,i(x,y)＝WdRDiffuse,i(x,y)+WsRSpecular,i(x,y)
根据以上所述，可以使用Phong反射模型进行考虑了反射的性质的修正。
此处，使用图7和上述图2说明上述式12。
图7是说明实施例1的Retinex部的处理的图，是将上述图4的反射光成分生成部520置换为反射光成分生成部550的结构。
具体而言，Retinex部500包括：用内部影像信号102、滤波器1输出信号303和滤波器2输出信号304作为输入，由同样用内部影像信号102、滤波器1输出信号303和滤波器2输出信号304作为输入的反射光成分生成部550；和用反射光成分501、滤波器1输出信号303、滤波器2输出信号304作为输入来输出Retinex修正信号305的照明光累加部502构成。
此处，上述图2的滤波器1部和滤波器2部分别是尺度1(i＝1)和尺度2(i＝2)的高斯分布与影像I的卷积，滤波器1部是漫反射光的分布，滤波器2部是环境光的分布。
另一方面，图7的反射光成分生成部550是对上述式12施加了增益G558的结构，包括将根据内部影像信号102用对数函数或者幂的函数f生成的镜面反射光的对数分布551和用函数f生成的漫反射光的对数分布552作为输入来检测镜面反射光的检测1部554；和将用函数f生成的漫反射光的对数分布552与用函数f生成的环境光的对数分布553作为输入来检测漫反射光的检测2部555，还包括使用算子Ws和Wd的镜面反射成分556和漫反射成分557的乘积累加运算器以及增益乘法器。此处，检测部1中也可以包括上述图6(A)所示的亮度特性，检测部2中也可以包括上述图6(B)所示的亮度特性。
此外，照明光累加部502是对于用函数f的反函数(指数变换或幂)对反射光成分501变换后的反射率和照明光进行累加、即求出L·r的结构。
接着说明本发明的分辨率复原部600。
首先说明模糊导致的一般的劣化影像的复原技术。设观测到的模糊影像为I(x，y)，理想图像为Ir(x，y)，噪声为w(x，y)，模糊的过程为Kt时，可以用以下式13表达。此处，将该模糊的过程称为散射过程。
【式13】
I(x,y)＝KtI0(x,y)+w(x,y)
观测到的劣化(模糊)影像，通过对上述式13的散射过程反向回溯而复原为理想的影像，结果得到以下式14。此处，将对散射过程反向回溯的过程称为逆散射过程。
【式14】
I(x,y)＝K-tIr(x,y)+K-tw(x,y)
散射过程符合上述式2的高斯分布的情况下，上述式13成为以下式15。
【式15】
此处，进行Q.Li、Y.Yoshida等提出的Multiscale Decomposition(多尺度分解)(Q.Li,Y.Yoshida,N.Nakamori,"A Multiscale Antidiffusion and RestorationApproach for Gaussian Blurred Images(用于高斯模糊图像的多尺度反扩散和恢复方法)",Proc.IEICE Trans.Fundamentals,1998.)时，上述式15被分解为如以下式16所示。
【式16】
此处，将高斯分布的二阶微分称为LoG(Laplacian of Gaussian：高斯拉普拉斯)。
接着，设尺度符合以下式17。
【式17】
σn+1＝κσn＝κnσ1
将其代入上述式14时，逆散射过程成为以下式18。
【式18】
以上是一般方法的分辨率复原技术之一。此外，将如上所述对于用卷积表达的模糊影像进行复原的方法称为反卷积。
进而说明本发明的分辨率复原技术。
上述式18中，如果可以得到理想影像Ir，则两边是恒等式。进而，上述式18的展开式中的第一项是高斯分布的卷积。
此处，对于该恒等式，设观测到的模糊影像I为内部影像信号102，理想影像Ir为Retinex修正信号305，上述式18的展开式中的第一项为滤波器信号306，并且设理想影像Ir与模糊影像的差信号为ΔI，则上述式18可以表达为以下式19。
【式19】
由此，差信号ΔI成为有助于分辨率复原的项。此外，因为差信号ΔI中也包括Retinex修正信号，所以也有助于局部对比度修正的效果。
接着用图8说明分辨率复原部600。
分辨率复原部600包括通过切换滤波器信号306和内部影像信号102而对分辨率复原功能进行开(306侧)关(102侧)的选择器601；和用由选择器选择的信号602与Retinex修正信号306的差信号603、增益G604与内部影像信号102作为输入的乘积累加运算器。
此处，选择器601在306侧的情况、即分辨率复原功能开启的情况下，差信号603成为上述式19，增益信号309调整右边近似展开式的增量、即复原强度和对比度强度。此外，选择器601在102侧的情况、即分辨率复原功能关闭的情况下，差信号603成为Retinex修正量，增益G604仅调整对比度强度。
接着说明控制Retinex和分辨率复原处理的参数设定。
Retinex处理中的反射光成分的强度的控制，在使用MSR的Retinex处理的情况下，用图4的增益(MSR)521进行，另一方面，在使用Phong模型的Retinex处理的情况下，用图7的增益(Phong模型)558进行。
此外，Retinex处理中的修正效果的波段调整，在使用MSR的Retinex处理的情况下，用权重W1、W2进行，另一方面，在使用Phong模型的Retinex处理的情况下，用权重Ws、Wd进行。
分辨率复原处理中的强度的控制，在图8的选择器601是分辨率复原功能开启(306侧)的情况下，与Retinex修正强度一起用增益604进行。另一方面，分辨率复原功能关闭的情况下(102侧)，仅有Retinex修正强度的控制。
分辨率复原处理中的修正效果的波段调整用图2的选择器310进行。例如，如果Retinex处理部是N个尺度的MSR，则选择器(多路复用器)的输入有N个，能够选择N个波段。
此外，以上的增益设定，可以用OSD等例如直接输入数值，也可以用10级操作杆进行。选择器的设定可以用OSD等例如进行开、关(ON、OFF)的显示且进行操作杆切换。权重的设定可以用OSD等例如从预先调整后的数个项目中选择。
此外，以上设定也可以根据DVD(SD)、BD(FullHD)、广播信号、PC等的输入影像信号的种类而变更。
即，根据以上结构，能够提供一种能够同时实现提高视认性的Retinex处理和反卷积处理的小规模电路的影像处理装置。
【实施例2】
上述实施例1中，对于能够同时实现提高视认性的Retinex处理和分辨率复原(反卷积)处理的小规模电路的影像处理装置和影像显示装置的例子进行了说明。此处，本实施方式2中，说明应用了本发明的上述实施例1的、抑制梯形畸变修正引起的模糊和对比度劣化的影像处理装置和影像显示装置。
本实施例2的影像处理装置和影像显示装置的结构与上述图1所示的结构同样，此处省略其详细叙述。此外，本影像装置10包括用广播信号或从PC输出的影像输入信号11作为输入来进行影像信号系统的处理的影像处理装置100；和用控制液晶面板的液晶的显示控制信号12作为输入来进行用于生成投射影像13的光学系统处理的影像显示装置200构成。
图9是说明影像处理装置的影像修正部300的图，是在上述实施例1的图2中追加了调整增益计算部的结构，在以下说明。
影像修正部300例如具有大小2种尺度的滤波器，设其中小尺度的滤波器为滤波器1部301，大尺度的滤波器为滤波器2部302。
此外，影像修正部300包括用内部影像信号102、滤波器1输出信号303和滤波器2输出信号304作为输入来按照Retinex理论进行局部对比度修正的Retinex部500，用从内部影像信号102抽出的表示影像坐标位置的地址信号307和梯形畸变修正的水平垂直修正量308作为输入来计算对比度和分辨率复原的强度的调整增益计算部400，用内部影像信号102、从Retinex部输出的Retinex修正信号305、用选择器310选择滤波器1输出信号303或滤波器2输出信号304后的滤波器信号306和从调整增益计算部输出的增益信号309作为输入来根据增益进行模糊减少和对比度提高的分辨率复原(反卷积)部600。
此外，作为Retinex部500的结构，本实施例2的结构可以用说明MSR的上述图4中的反射光成分生成部520构成，也可以用说明Phong反射模型的上述图7的反射光成分生成部550构成。
接着用图10说明本实施例2的分辨率复原部600。
分辨率复原部600包括通过切换滤波器信号306和内部影像信号102而对分辨率复原功能进行开(306侧)关(102侧)的选择器601；和将由选择器选择的信号602与Retinex修正信号306的差信号603、增益信号309、内部影像信号102作为输入的乘积累加运算器构成。
此处，选择器601在306侧的情况、即分辨率复原功能开启的情况下，差信号603成为上述式19，增益信号309调整右边近似展开式的增量、即复原强度和对比度强度。此外，选择器601在102侧的情况、即分辨率复原功能关闭的情况下，差信号603成为Retinex修正量，增益信号309仅调整对比度强度。
接着说明本实施例2的调整增益计算部400。
首先，对于关于梯形畸变修正的课题，用图11(A)～(C)和图12(A)、(B)进行说明。
图11(A)是说明投影仪的内部影像信号102的图。将该内部影像信号对与光轴垂直的平面投影的影像是图11(B)。该情况下，投影的影像与该内部影像信号同样为矩形地被投影。接着，图11(C)是说明将该内部影像信号对投影仪的光轴加上仰角投影的影像的图。该情况下，成为上部梯形状地扩大、向上方伸长的影像。
于是，对于该内部影像信号，使影像纵方向缩小，并且几何变换为与投影面相反的梯形影像。该修正称为梯形畸变修正或者基础(keystone)修正。
图12(A)是说明实施梯形畸变修正后的内部影像信号102的图。对于该内部影像信号，对投影仪的光轴加上仰角投影的影像是图12(B)。此处，图12(A)的影像边缘的斜线区域是黑色。投影仪中，黑色亮度是0，所以该区域理想情况下是没有投射光的区域。因此，如图12(B)所示，投影的影像能够显示为正确的矩形影像。
接着，对于梯形畸变修正引起的课题，用图13(A)、(B)和图14(A)、(B)进行说明。
图13(A)是说明使投影仪对与光轴垂直的平面投影时的光线的图。如该图所示，与平面垂直的投影的情况下，可以适当地投射光线。图13(B)是说明使投影仪对光轴加上仰角而投影时的光线的图。如该图所示，可知在加上仰角的情况下的投影面上，越向上方光线的间隔越扩大。
接着，考虑大致分为2色的区域的轮廓影像。
图14(A)是说明使投影仪对光轴加上仰角而投影时的影像下部和影像上部的轮廓部放大影像的像素的不同的图。这样，因为在影像上部单位面积的像素数减少，所以分辨率降低，影像中发生模糊。
图14(B)是说明使投影仪对光轴加上仰角投影时的影像下部和影像上部的轮廓部的亮度特性的图。这样，因为在影像上部单位面积的光束减少，所以亮度降低，进而轮廓的倾斜也变得平缓，所以对比度和清晰感降低。
以上是梯形畸变修正中的课题。
接着，用图15(A)、(B)说明调整增益计算部400中的增益计算方法。
图15(A)是表示用于解决上述梯形畸变修正的课题的增益计算方法的一例的图，是说明对与光轴垂直的平面投影时的像素位置和差的图。该图15(A)中，设投影仪与投影面的距离为L，投影仪与对投影面照射的关注像素的距离为r0，射向关注像素的光线与光轴的角度为高度为d0，关注像素与关注像素的上一个像素的光线所成的角度为高度的差为Δd0。此时，d0、Δd0和r0成为以下式20。
【式20】
接着，图15(B)是表示用于解决上述梯形畸变修正的课题的增益计算方法的一例的图，是说明对光轴加上仰角而投影时的像素位置和差的图。该图15(B)中，设投影仪与投影面的距离为L，与光轴的仰角为θ，投影仪与对投影面照射的关注像素的距离为r，射向关注像素的光线与光轴的角度为高度为d，关注像素与关注像素的上一个像素的光线所成的角度为高度的差为Δd。此时，d、Δd和r成为以下式21。
【式21】
此处，亮度和放大率取决于加上仰角前后的面积比率，所以考虑图15(A)与图15(B)的关注像素位置上的面积变化率。
相对于Δd0的Δd的比率，成为以下式22，可以求出关注像素位置上的垂直方向的变化率。
【式22】
接着，关于水平方向的变化率，虽然没有水平角度成分的变化，但是与关注像素的距离成比例，所以求出相对于r0的r的比率时，得到以下式23。
【式23】
此处，假设在对与光轴垂直的平面投影的情况下，不存在水平方向的变化率，则得到以下式24。
【式24】
由此，加上仰角θ的情况下的面积变化率是垂直方向的变化率与水平方向的变化率的积，即得到以下式25。
【式25】
进而，在水平方向上存在角度偏差的情况、即加上方位角的情况下，也是同样的计算。于是，设与投影仪的光轴的方位角为θh，仰角为θv，与关注像素所成的角为水平方向垂直方向时，得到以下式26，即可以求出面积比率。
【式26】
用图7说明调整增益计算部400。
调整增益计算部400包括用从水平垂直修正量308抽出的水平修正量401和从地址信息307抽出的水平坐标位置402作为输入来计算水平变化率407的水平变化率计算部405；用从水平垂直修正量308抽出的垂直修正量403和从地址信号307抽出的垂直坐标位置404作为输入来计算垂直变化率408的垂直变化率计算部406；和通过水平变化率407与垂直变化率408的相乘求出面积变化率409的乘法器。此外，本调整增益计算部400在不进行梯形畸变修正的情况下，也可以设为与上述实施例1的增益604同样的设定值，即加上用于施加局部对比度修正和分辨率复原的修正效果的偏移量B410。
此处，水平垂直修正量308是关于投影仪的光轴的方位角为θh、仰角为θv的修正量，面积比率的计算方法是上述式26。
以上表示了增益计算方法的一例，但求出面积变化率的方法不限定于本方法。
根据以上结构，提供一种能够同时实现提高视认性的Retinex处理和反卷积处理的小规模电路的影像处理装置；和在梯形畸变修正进行的几何变换中，使用该影像处理装置适当地抑制模糊和对比度降低的影像显示装置。
此外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例为了易于理解地说明本发明而对系统整体进行了详细说明，并不限定于必须具备说明的所有结构。此外，能够将某个实施例的结构的一部分置换为其他实施例的结构，或者在某个实施例的结构上添加其他实施例的结构。此外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
此外，上述各结构、功能、处理部、处理单元等的一部分或全部，例如可以通过集成电路设计等而用硬件实现。此外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息能够保存在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等记录装置、或者IC卡、SD卡、DVD等记录介质中。
符号说明
10……影像装置，11……影像输入信号，12……内部影像信号，13……投射影像，100……影像处理装置，101……输入信号处理部，102……内部影像信号，103……修正影像信号，104……时序控制部，200……影像显示装置，201……光源，202……光线，203……液晶面板，204……透过液晶面板后的光线，205……镜头，300……影像修正部，301……滤波器1部(尺度小)，302……滤波器2部(尺度大)，303……滤波器1输出信号，304……滤波器2输出信号，305……Retinex修正信号，306……滤波器信号(选择滤波器1输出信号或滤波器2输出信号)，307……地址信号，308……水平垂直修正量，309……增益信号，310……选择器，400……调整增益计算部，401……水平修正量，402……水平坐标位置，403……垂直修正量，404……垂直坐标位置，405……水平变化率计算部，406……垂直变化率计算部，407……水平变化率，408……垂直变化率，409……面积变化率，410……偏移量，500……Retinex部，501……反射光成分，502……照明光累加部，520……反射光成分生成部(MSR)，521……增益(MSR)，550……反射光成分生成部(关于发明的方法)，551……镜面反射的对数分布，552……漫反射的对数分布，553……环境光的对数分布，554……检测1部(镜面反射检测)，555……检测2部(漫反射检测)，556……镜面反射成分，557……漫反射成分，558……增益(Phong模型)，600……分辨率复原(反卷积)部(实施例1)，601……选择器(分辨率复原技术的开/关)，602……用选择器选择的信号，603……差信号，604……增益(实施例1)，650……分辨率复原(反卷积)部(实施例2)，701……镜面反射光(specular)，702……漫反射光(diffuse)，703……环境光(ambient)，704……照射球体的圆形的高光部。

Claims (9)

1.一种影像处理装置，包括将输入影像信号输入的输入部和修正所述输入影像信号的影像修正部，其特征在于：
在所述影像修正部中，以所述输入影像信号和对所述输入影像信号分别进行不同尺度的滤波处理的多个滤波器各自的输出信号为输入来进行Retinex处理，以所述输入影像信号、所述Retinex处理得到的修正信号和从所述多个滤波器的输出信号中选择的信号作为输入来进行分辨率复原处理，
基于使用了对输入影像信号实施镜面反射成分滤波后的第一输出、实施漫反射成分滤波后的第二输出和实施环境光成分滤波后的第三输出的运算结果来进行所述Retinex处理，
通过至少基于所述第一输出和所述第二输出的运算处理来进行所述分辨率复原处理。
2.如权利要求1所述的影像处理装置，其特征在于：
所述Retinex处理中的环境光成分具有对以关注像素为中心的周围像素的亮度值使用正态分布进行卷积而得到的亮度值。
3.如权利要求1所述的影像处理装置，其特征在于：
所述Retinex处理中的包括漫反射成分和环境光成分的影像的亮度分布，具有使用由余弦表示的分布进行卷积运算而得到的亮度值，从所述亮度值减去环境光成分后的结果是漫反射成分。
4.如权利要求1所述的影像处理装置，其特征在于：
所述Retinex处理中的包括镜面反射成分、漫反射成分和环境光成分的影像的亮度分布，具有使用由余弦乘方表示的亮度分布进行卷积运算而得到的亮度值，从所述亮度值减去使用由余弦表示的亮度分布进行卷积运算而得到的亮度值的结果是镜面反射成分。
5.如权利要求1所述的影像处理装置，其特征在于：
所述Retinex处理中的包括镜面反射成分、漫反射成分和环境光成分的影像由关注像素的亮度值表示。
6.如权利要求1所述的影像处理装置，其特征在于：
所述分辨率复原处理使用了多个标准差的高斯分布的分解影像。
7.一种投影仪装置，包括光源、影像处理装置和基于来自所述影像处理装置的显示控制信号生成并投射影像的影像显示装置，所述投影仪装置的特征在于：
所述影像处理装置是权利要求1所述的影像处理装置，
所述投影仪进行梯形畸变修正，所述梯形畸变修正在所述Retinex处理和分辨率复原处理中进行，
根据所述梯形畸变修正中的影像几何变换来调整Retinex处理和分辨率复原处理中的修正强度。
8.如权利要求7所述的投影仪装置，其特征在于：
在所述Retinex处理和分辨率复原处理中，根据所述梯形畸变修正中的影像几何变换而进行调整的所述修正强度，是所述梯形畸变修正前后的由所述投影仪装置所投影的像素位置的面积变化率。
9.如权利要求8所述的投影仪装置，其特征在于：
将所述梯形畸变修正的水平的参数和垂直的参数变换为角度，来进行所述面积变化率的计算。
CN201510035960.6A 2014-03-27 2015-01-23 影像处理装置和使用它的投影仪装置 Active CN104954710B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014066378A JP6371092B2 (ja) 2014-03-27 2014-03-27 映像処理装置及びそれを用いたプロジェクタ装置
JP2014-066378 2014-03-27

Publications (2)

Publication Number Publication Date
CN104954710A CN104954710A (zh) 2015-09-30
CN104954710B true CN104954710B (zh) 2018-09-14

Family

ID=52347262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510035960.6A Active CN104954710B (zh) 2014-03-27 2015-01-23 影像处理装置和使用它的投影仪装置

Country Status (4)

Country Link
US (1) US9538151B2 (zh)
EP (1) EP2924651B1 (zh)
JP (1) JP6371092B2 (zh)
CN (1) CN104954710B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565388B2 (en) * 2013-04-03 2017-02-07 Hitachi Maxell, Ltd. Video display device
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
JP2017181588A (ja) * 2016-03-28 2017-10-05 大日本印刷株式会社 投影装置、遮蔽物、投影方法及び投影用プログラム
CN105913455A (zh) * 2016-04-11 2016-08-31 南京理工大学 基于局部图像增强的目标跟踪方法
CN109993274B (zh) * 2017-12-29 2021-01-12 深圳云天励飞技术有限公司 人工智能计算装置及相关产品
CN110996082B (zh) * 2019-12-17 2021-11-09 成都极米科技股份有限公司 投影调节方法、装置、投影仪及可读存储介质
CN112819941B (zh) * 2021-03-05 2023-09-12 网易（杭州）网络有限公司 渲染水体面的方法、装置、设备和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013047935A (ja) * 2011-07-22 2013-03-07 Hitachi Consumer Electronics Co Ltd 映像処理装置、映像表示装置、及び映像処理方法
CN103533275A (zh) * 2012-07-02 2014-01-22 精工爱普生株式会社 投影机及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298917B2 (en) * 2002-11-11 2007-11-20 Minolta Co., Ltd. Image processing program product and device for executing Retinex processing
US8989516B2 (en) * 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7760943B2 (en) * 2003-10-02 2010-07-20 Hewlett-Packard Development Company, L.P. Method to speed-up Retinex-type algorithms
JP4387907B2 (ja) * 2003-11-21 2009-12-24 キヤノン株式会社 画像処理方法及び装置
JP2005182232A (ja) * 2003-12-17 2005-07-07 Matsushita Electric Ind Co Ltd 輝度補正装置および輝度補正方法
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP4687667B2 (ja) * 2006-03-07 2011-05-25 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
US9349153B2 (en) * 2007-04-25 2016-05-24 Digimarc Corporation Correcting image capture distortion
JP5504806B2 (ja) 2009-10-01 2014-05-28 セイコーエプソン株式会社 画像処理装置、プロジェクター、画像処理方法およびプログラム
JP5392560B2 (ja) * 2009-10-13 2014-01-22 株式会社Ｊｖｃケンウッド 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013047935A (ja) * 2011-07-22 2013-03-07 Hitachi Consumer Electronics Co Ltd 映像処理装置、映像表示装置、及び映像処理方法
CN103533275A (zh) * 2012-07-02 2014-01-22 精工爱普生株式会社 投影机及其控制方法

Also Published As

Publication number Publication date
US9538151B2 (en) 2017-01-03
EP2924651A3 (en) 2016-02-17
CN104954710A (zh) 2015-09-30
EP2924651B1 (en) 2019-01-16
JP2015192203A (ja) 2015-11-02
JP6371092B2 (ja) 2018-08-08
US20150281663A1 (en) 2015-10-01
EP2924651A2 (en) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104954710B (zh) 影像处理装置和使用它的投影仪装置
US20210272251A1 (en) System and Method for Real-Time Tone-Mapping
JP6030396B2 (ja) 映像処理装置
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
Nemoto et al. Visual attention in LDR and HDR images
US9485435B2 (en) Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
US20200211257A1 (en) Photometric image processing
US20030128337A1 (en) Dynamic shadow removal from front projection displays
CN108076384B (zh) 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN109817170B (zh) 像素补偿方法、装置和终端设备
WO2014066364A1 (en) Low-frequency compression of high dynamic range images
US20180286301A1 (en) Image display device
JP2011257609A (ja) 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム
CN110022473A (zh) 全景视频图像的显示方法
JP6046238B2 (ja) 映像表示装置
CN110782400A (zh) 一种自适应的光照均匀实现方法和装置
WO2018167898A1 (ja) 映像表示装置
TW201526640A (zh) 基於個別像素進行曝光映射之高動態範圍影像合成裝置及其方法
Zhao et al. Measuring the relative image contrast of projection displays
JP6270448B2 (ja) 画像処理装置、画像処理方法及びプログラム
Huo et al. Evaluation of HDR tone mapped image and single exposure image
JP2024050089A (ja) 画像処理装置および画像処理装置の制御方法
Sujatha et al. Analysis And Epigrammatic Study Of Various Tone Mapping Operators For High Dynamic Range Images
Grosse et al. Adaptive coded aperture projection
Zhao et al. Paper E

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180713

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Osaka Japan

Applicant before: Hitachi Maxell, Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220601

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.