CN112189337A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN112189337A
CN112189337A CN201980034077.1A CN201980034077A CN112189337A CN 112189337 A CN112189337 A CN 112189337A CN 201980034077 A CN201980034077 A CN 201980034077A CN 112189337 A CN112189337 A CN 112189337A
Authority
CN
China
Prior art keywords
image
blur
projection
image projection
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980034077.1A
Other languages
English (en)
Other versions
CN112189337B (zh
Inventor
铃木孝明
高桥纪晃
三森晴香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112189337A publication Critical patent/CN112189337A/zh
Application granted granted Critical
Publication of CN112189337B publication Critical patent/CN112189337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明旨在使得能够搜索可以通过模糊校正处理提供良好的模糊校正效果的调整值作为图像投影装置的光学调整值,并且在借助于信号处理执行对投影图像中出现的聚焦模糊的校正时,提高模糊校正性能。根据本技术的图像处理装置设置有:模糊校正单元,其基于测量的模糊特性使输入图像经过用于聚焦模糊校正的模糊校正处理,模糊特性是在已经将预定候选值设置为图像投影装置的光学调整值的情况下、在图像投影装置的投影图像中出现的聚焦模糊的特性;以及使用确定单元,其对通过借助于图像投影装置投影经过模糊校正处理的图像而获得的投影图像执行与聚焦模糊相关的评估,并且基于评估结果确定是否可以使用候选值。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置及其方法,尤其涉及校正在投影图像中出现的聚焦模糊的技术领域。
背景技术
在诸如屏幕的投影目标上投影并显示图像的图像投影装置(例如,液晶投影仪装置)是众所周知的。作为使用这样的图像投影装置的图像投影,例如出于获得亮度的目的,执行投影以使得多个图像投影装置将目标图像叠加在投影目标上(所谓的叠加投影)。
在执行叠加投影的情况下,为了便于安装,难以将所有图像投影装置相对于投影目标布置在适当位置处。为此,由于焦偏而引起的图像模糊(聚焦模糊)可能出现在通过至少布置在不适当位置的图像投影装置的投影图像中,并且使得叠加投影图像的图像质量下降。
在下面的专利文献1中,公开了反馈型图像校正技术,其顺序地改变由每个图像投影装置投影的图像的像素值,使得叠加投影图像的像素的像素值与对应于叠加投影图像的像素的输入图像的像素的像素值之间的差减小。通过使用校正技术,可以校正在叠加投影图像中出现的聚焦模糊。
此外,为了校正聚焦模糊,还存在以下方法:使用由输入图像上的模糊的反函数设计的滤波器来执行模糊校正处理(过增强处理),以获得模糊校正图像,并投影该模糊校正图像。
引用列表
专利文献
专利文献1:日本专利申请特许公开第2009-8974号
发明内容
本发明要解决的问题
这里,在执行叠加投影的情况下,需要使各个图像投影装置的图像投影范围均匀,并且为此,使用图像投影装置中包括的透镜移位机构(用于在平行于投影平面的方向上使投影图像的位置移位(平行移动)的机构),或者对图像投影装置的安装角度(在平移或倾斜方向上的旋转角度)执行调整。即,通过设置图像投影装置的光学调整值——例如透镜移位机构的透镜移位量以及图像投影装置在平移或倾斜方向上的旋转角度——来调整每个图像投影装置的图像投影范围。
然而,当图像投影装置的光学调整值(例如,上述透镜移位量以及在平移或倾斜方向上的旋转角度)改变时,在投影图像中出现的聚焦模糊的特性(模糊状态)也发生改变。
关于上述图像投影范围的调整,可以存在用于使各个图像投影装置的图像投影范围均匀的光学调整值的多个组合,但是此时,如果设置了鉴于聚焦模糊的特性为不利的调整值的组合,则存在即使执行了通过信号处理的模糊校正(例如使用上述模糊的反函数的方法)也不能充分提高图像质量的可能性。
鉴于上述情况做出了本技术,并且本技术的目的是使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值作为图像投影装置的光学调整值,并且在通过信号处理执行对投影图像中出现的聚焦模糊的校正的情况下,提高模糊校正性能。
问题的解决方案
根据本技术的图像处理装置包括:模糊校正单元,其基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,所述模糊特性是在图像投影装置的投影图像中出现的聚焦模糊的特性,在将预定候选值设置为所述图像投影装置的光学调整值的状态下测量所述模糊特性;以及使用确定单元,其对通过使所述图像投影装置投影经过所述模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于所述评估的结果执行关于所述候选值是否可用的确定。
因此,使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值作为图像投影装置的光学调整值。
在上述根据本技术的图像处理装置中,期望的是,模糊校正单元基于多个图像投影装置中的每一个的模糊特性,通过针对图像投影装置中的每一个对输入图像执行模糊校正处理来获得各个图像投影装置的模糊校正图像,模糊特性是在设置了与图像投影装置中的每一个对应的候选值的状态下单独执行图像投影时测量的;以及使用确定单元对通过使多个图像投影装置对模糊校正图像进行叠加和投影而获得的叠加投影图像执行关于聚焦模糊的评估,并且基于评估的结果来执行确定。
因此,使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值,作为执行叠加投影的图像投影装置中的每一个的光学调整值。
在上述根据本技术的图像处理装置中,期望的是,模糊校正单元基于图像投影装置中的每一个的滤波器系数,针对图像投影装置中的每一个执行模糊校正处理,滤波器系数是通过推导公式获得的,根据推导公式推导出与图像投影装置中的每一个对应的模糊校正的滤波器系数,并且在推导公式中,图像投影装置中的每一个的模糊特性被共同并入一个集合中。
通过如上求解将各个图像投影装置的模糊特性共同并入的推导公式,图像投影装置中的每一个的校正滤波器系数不仅可以收敛为具有模糊本身被消除的倾向(即,增加在模糊大的方向上的增强的倾向),而且还具有在模糊大的方向上的增强被减小并且在模糊小的方向上的增强被增加的倾向。
在上述根据本技术的图像处理装置中,期望是的,使用确定单元在设置了候选值的状态下,使图像投影装置投影预定图像,以评估预定图像的投影范围,并且在投影范围不满足预定范围条件的情况下,从关于聚焦模糊的评估的目标中排除候选值与图像投影装置的组合。
例如,在增加候选值的摆动宽度以放宽用于获得调整值的最佳点的搜索范围的情况下,可能存在图像投影范围不满足预定范围条件的情况,例如,在某个候选值和图像投影装置的组合中,图像的投影范围大大偏离指定投影范围等。由于图像投影范围不满足预定范围条件的事实是图像质量提高之前的问题,因此在调整值搜索中,从聚焦模糊的评估目标中排除这些候选值和图像投影装置的组合。
在上述根据本技术的图像处理装置中,期望的是,使用确定单元从关于聚焦模糊的评估的目标中排除与作为关于聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置。
布置位置彼此接近的图像投影装置具有将接近值设置为调整值(例如,平移或倾斜角度、透镜移位量等)的倾向。因此,从评估的目标减少与作为用于确定调整值的关于聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置,由此减少针对调整值搜索的处理的次数。
在上述根据本技术的图像处理装置中,期望的是,使用确定单元基于用于作为评估的目标的图像投影装置中的、被定位成最接近作为从评估的目标排除的图像投影装置的非目标装置的图像投影装置的调整值,来获取用于非目标装置的调整值。
因此,使得能够通过使用取决于布置位置的接近度的调整值的接近度来适当地获取从用于调整值搜索的评估目标中排除的图像投影装置的调整值。
在上述根据本技术的图像处理装置中,期望的是,调整值包括关于图像投影装置在平移或倾斜方向上的旋转角度的调整值。
图像投影装置在平移或倾斜方向上的旋转角度是改变在投影图像中出现的聚焦模糊的特性的因素之一。
在上述根据本技术的图像处理装置中,期望的是,调整值包括关于图像投影装置的透镜移位量的调整值。
图像投影装置的透镜移位量是改变在投影图像中出现的聚焦模糊的特性的因素之一。
在上述根据本技术的图像处理装置中,期望的是,调整值包括关于图像投影装置的聚焦位置的调整值。
图像投影装置的聚焦位置是改变在投影图像中出现的聚焦模糊的特性的因素之一。
在上述根据本技术的图像处理装置中,期望的是,使用确定单元基于关于聚焦模糊的评估的结果通过确定聚焦模糊的程度是否低于预定程度来确定候选值是否可用。
因此,当搜索满足预定模糊校正性能条件的调整值时,使得不必尝试所有候选值。
在上述根据本技术的图像处理装置中,期望的是,使用确定单元基于针对多个候选值相对地评估聚焦模糊的结果来执行要使用的候选值的确定。
因此,使得能够在多个候选值中搜索给出最佳评估结果的候选值作为要使用的调整值。
在上述根据本技术的图像处理装置中,期望的是,使用确定单元基于由检测图像投影装置的温度的温度检测单元进行的温度检测结果,再次执行针对图像投影装置的并且关于聚焦模糊的评估,并且基于再次执行的评估的结果再次执行确定。
因此,使得能够对应于最佳调整值取决于温度而改变的情况再次搜索调整值。
此外,根据本技术的图像处理方法包括:模糊校正过程,基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,所述模糊特性是在图像投影装置的投影图像中出现的聚焦模糊的特性,在将预定候选值设置为所述图像投影装置的光学调整值的状态下测量所述模糊特性;以及使用确定过程,对通过使所述图像投影装置投影经过所述模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于所述评估的结果执行关于所述候选值是否可用的确定。
利用这样的图像处理方法,还可以获得与上述根据本技术的图像处理装置的功能类似的功能。
本发明的效果
根据本技术,使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值,作为图像投影装置的光学调整值,并且可以在通过信号处理来执行对投影图像中出现的聚焦模糊的校正的情况下提高模糊校正性能。
注意,这里描述的效果不必受限制,并且可以是本公开内容中描述的任何效果。
附图说明
图1是示出作为实施方式的包括图像处理装置的图像投影系统的配置示例的图。
图2是示出第一实施方式中的图像投影装置的内部配置示例的框图。
图3是通过透镜移位机构调整投影图像位置的说明图。
图4是通过聚焦位置调整机构调整聚焦位置的说明图。
图5是用于说明第一实施方式的图像处理装置的配置示例的框图。
图6是合成模糊的说明图。
图7是作为先前示例的模糊校正方法的说明图。
图8是示出要执行以实现作为第一实施方式的调整参数搜索方法的特定处理过程的流程图。
图9是候选参数的设置条件的说明图。
图10是用于说明用于确定图像投影范围是否满足预定范围条件的方法的示例的图。
图11是用于说明用于确定图像投影范围是否满足预定范围条件的方法的另一示例的图。
图12是实施方式中的滤波器系数获取处理的流程图。
图13是用于说明模糊的简化模型的数据的示例的图。
图14是关于聚焦模糊的评估值的示例的说明图。
图15是候选值评估的修改的说明图。
图16是示出第二实施方式中的图像投影装置的内部配置示例的框图。
图17是用于说明第二实施方式的图像处理装置的配置示例的框图。
图18是示出要执行以实现作为第二实施方式的调整参数搜索方法的特定处理过程的流程图。
具体实施方式
在下文中,将参照附图按以下顺序描述根据本技术的实施方式。
<1.第一实施方式>
[1-1.图像投影系统的概述]
[1-2.图像投影装置和图像处理装置的配置]
[1-3.模糊校正处理]
[1-4.作为实施方式的光学调整值搜索方法]
[1-5.候选值评估的修改]
<2.第二实施方式>
[2-1.作为第二实施方式的图像投影装置和图像处理装置的配置]
[2-2.处理过程]
<3.修改>
<4.实施方式的概要>
<5.本技术>
<1.第一实施方式>
[1-1.图像投影系统的概述]
图1示出了包括作为根据本技术的实施方式的图像处理装置1的图像投影系统(作为实施方式的图像投影系统)的配置示例。
作为实施方式的图像投影系统包括图像处理装置1、n个投影仪装置2(n是大于或等于2的自然数)和成像装置3。在附图中,例示了包括四个投影仪装置2(n=4)的图像投影系统的配置。
每个投影仪装置2被配置为透射式液晶投影仪装置。具体地,投影仪装置2被配置为包括分别与红(R)色、绿(G)色和蓝(B)色对应的液晶面板的所谓的三片式液晶投影仪装置。
图像处理装置1包括计算机装置,例如,中央处理器(CPU)、数字信号处理器(DSP)等,并且能够对数字数据的图像执行各种信号处理(图像处理),并且将图像分配并输出到每个投影仪装置2。
在本实施方式的图像投影系统中,每个投影仪装置2将由图像处理装置1分配并输出的图像投影到公共屏幕S上。此时,执行图像的投影,使得各个投影仪装置2的投影图像在屏幕S上彼此交叠(所谓的“叠加投影”)。具体地,在本实施方式中,为了提高在屏幕S上显示的图像的亮度,执行叠加投影,使得各个投影仪装置2的投影图像的像素位置彼此一致。
注意,投影仪装置2的图像的投影目标不限于屏幕S,并且可以是除了屏幕S之外的投影目标,例如,房间中的墙壁表面等。
这里,在下文中,通过叠加投影显示在投影目标上的图像被称为“叠加投影图像Pp”。
成像装置3被配置为包括成像元件的数字摄像装置,成像元件例如电荷耦合装置(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。使得成像装置3能够与图像处理装置1进行通信,并且将捕获图像发送到图像处理装置1。在本示例中,成像装置3被图像处理装置1用来获得投影仪装置2的投影图像的观察图像,并且被布置在屏幕S上的图像的整个投影范围落在视角内的位置处。
[1-2.图像投影装置和图像处理装置的配置]
图2是示出投影仪装置2的内部配置示例的框图。
如图所示,投影仪装置2包括图像处理单元21、调制器驱动单元22、光学系统23、安装角度调整单元24、控制单元25和无线通信单元26。
图像处理单元21对输入图像执行预定图像信号处理,并且将图像输出到调制器驱动单元22。调制器驱动单元22响应于从图像处理单元21输入的图像来驱动布置在光学系统23中的空间光调制器23a。在本示例中,空间光调制器23a是透射式液晶面板。实际上,在本示例的投影仪装置2中,与R、G和B各个颜色对应地设置三个空间光调制器23a,并且图像处理单元21基于输入图像生成与R、G和B各个颜色对应的R图像、G图像和B图像,并且将图像输出到调制器控制单元22。调制器控制单元22通过分别基于输入的R图像、G图像和B图像的驱动信号来驱动对应的颜色的空间光调制器23a。
光学系统23包括光源(未示出)、诸如偏振片和波片的各种光学元件、以及诸如投影透镜的各种透镜,并且通过空间光调制器23a调制从光源发射的光,并且通过投影透镜输出光。
本示例的光学系统23包括光学调整机构23b和致动器23c。光学调整机构23b概括地表示透镜移位机构和聚焦位置调整机构。透镜移位机构是用于使投影图像的位置移位(平行移动)的机构。聚焦位置调整机构是用于调整投影图像中聚焦的位置的机构。
致动器23c概括地表示用于驱动上述透镜移位机构和聚焦位置调整机构的致动器。
这里,将参照图3和图4描述通过透镜移位机构对投影图像位置的调整以及通过聚焦位置调整机构对聚焦位置的调整。
如图3所示,取决于透镜移位机构,可以使投影图像的位置在与屏幕S上的投影平面平行的方向上移位(参见图中由粗虚线指示的投影图像位置与由粗实线指示的投影图像位置之间的差异)。
此外,如图4所示,取决于聚焦位置调整机构,可以在图中由粗实线指示的投影图像中调整聚焦的位置(图中由黑色圆圈指示)。
返回参照图2,将继续进行描述。
安装角度调整单元24概括地表示调整投影仪装置2的安装角度的机构以及用于机构的致动器。使得安装角度调整单元24能够调整投影仪装置2在平移或倾斜方向上的至少旋转角度。在本示例中,使得安装角度调整单元24能够调整投影仪装置2在平移和倾斜方向中的每一个上的旋转角度。
注意,安装角度调整单元24可以被设置在投影仪装置2的外部。
此外,在使得能够调整投影仪装置2在平移和倾斜方向中的每一个上的旋转角度时,不一定要设置安装角度调整单元24。在不设置安装角度调整单元24的情况下,手动设置投影仪装置2在平移方向和倾斜方向上的旋转角度(即,人移动投影仪装置2以设置在平移方向和倾斜方向上的旋转角度,即布置角度)。在如上所述手动调整投影仪装置2的安装角度的情况下,图像处理装置1被配置成向人指示稍后关于安装角度描述的候选参数的值。具体地,可以想到采用例如以下方法:图像处理装置1设置有通过图像显示或语音输出来呈现信息的信息呈现单元,并且候选参数的值由呈现单元呈现。
控制单元25包括微型计算机,微型计算机包括例如CPU、只读存储器(ROM)、随机存取存储器(RAM)等,并且控制单元25根据存储在例如ROM中的程序执行处理,从而执行投影仪装置2的各种类型的操作控制。具体地,控制单元25执行图像处理单元21、致动器23c和安装角度调整单元24的操作控制。
无线通信单元26连接到控制单元25。无线通信单元26根据预定无线通信系统例如蓝牙(注册商标)、WiFi(注册商标)等与外部装置进行无线通信。
使得控制单元25能够经由无线通信单元26与外部的预定装置——特别是本示例中的图像处理装置1——传送各种数据。
图5是用于说明图像处理装置1的内部配置示例的框图,并且还与图像处理装置1的内部配置示例一起示出了图1中示出的成像装置3。
使得图像处理装置1能够对要投影的图像执行用于模糊校正的信号处理(滤波处理),以校正在叠加投影图像Pp中出现的合成模糊,即,其中在各个投影仪装置2的投影图像中出现的模糊被合成的模糊,并且将经过信号处理的图像分配并输出到每个投影仪装置2,以使图像被投影。
此外,图像处理装置1被配置成在执行实际图像内容的叠加投影之前的阶段使预定图像针对每个投影仪装置2被投影作为校准,并且基于此时由成像装置3获得的每个捕获图像来执行用于优化每个投影仪装置2的光学调整值的处理。
如图所示,图像处理装置1包括图像输入单元5、控制单元6、模糊校正单元7、图像输出单元8和无线通信单元9。
图像输入单元5输入由投影仪装置2投影的图像(即,要投影的图像)。图像的输入可以从例如图像处理装置1的外部装置执行,或者可以进行这样的配置:读取和输入存储在图像处理装置1中设置的存储装置(例如,硬盘驱动器(HDD)、固态驱动器(SSD)等)中的图像数据,并且特定输入方法没有特别限制。
模糊校正单元7基于用于由控制单元6(稍后描述的系数获取单元11)给出指示用于模糊校正的滤波器系数,针对每个投影仪装置2对由图像输入单元5输入的图像执行模糊校正处理,并且获得每个投影仪装置2的模糊校正图像。具体地,本示例中的模糊校正单元7包括与投影仪装置2相同数目的模糊校正滤波器7a,并且模糊校正滤波器7a各自通过使用针对对应的投影仪装置2获取的滤波器系数对输入图像执行模糊校正处理。因此,获得每个投影仪装置2的模糊校正图像。
在本示例中,对于模糊校正处理采用使用由模糊的反函数设计的滤波器的信号处理。
注意,由于上述滤波器系数是基于由稍后描述的模糊测量单元10测量的模糊特性来获取的,因此可以说,模糊校正单元7基于测量的模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理。
图像输出单元8单独输出由模糊校正单元7获得的多个模糊校正图像。具体地,本示例的图像输出单元8针对每个投影仪装置2输出对应的一个模糊校正图像。
投影仪装置2各自投影对应的模糊校正图像,由此可以消除叠加投影图像Pp中的聚焦模糊。
注意,使得本示例中的模糊校正单元7能够在不执行模糊校正处理的情况下从图像输入单元5输出输入图像。此外,使得图像输出单元8能够基于来自控制单元6的指令,在连接的投影仪装置2(这里,作为示例,连接了四个装置)中选择要向其输出图像的投影仪装置2。
控制单元6包括微型计算机,该微型计算机包括例如CPU、ROM、RAM等,并且根据存储在例如ROM中的程序执行处理,从而执行图像处理装置1的各种类型的操作控制。
本示例的控制单元6可以被表示为包括图中的模糊测量单元10、系数获取单元10和使用确定单元12,作为其功能单元。
模糊测量单元10基于从成像装置3输入的捕获图像来测量在投影仪装置2的投影图像中出现的聚焦模糊的特性(在下文中被称为“模糊特性”)。
这里,对于投影图像的每个像素,关于在投影仪装置2的投影图像中出现的聚焦模糊的模糊特性可能是不同的。为此,模糊测量单元10在图像中的多个位置(多个图像区域)处执行对从成像装置3输入的捕获图像的模糊特性的测量。
系数获取单元11基于由模糊测量单元10测量的各个投影仪装置2的模糊特性来获取用于模糊校正的滤波器系数。如稍后将描述的,在本示例中,滤波器系数的获取是通过使用预定推导公式的计算来执行的,该预定推导公式被设计成使得从模糊特性获得对应的滤波器系数。
注意,稍后将再次描述在实施方式中采用的用于模糊校正的信号处理方法的细节,包括上述推导公式。
使用确定单元12搜索用于增强校正在投影图像中出现的聚焦模糊的效果的调整值,作为投影仪装置2的光学调整值,并且执行要使用的调整值的确定。具体地,使用确定单元12使投影仪装置2在投影仪装置2中设置了光学调整值的候选值的状态下投影经过模糊校正单元7的模糊校正处理的图像,对由此获得的投影图像执行关于聚焦模糊的评估,并且基于评估的结果执行关于候选值是否可用的确定。
这里,在本实施方式中作为目标的上述“光学调整值”是在投影图像中出现的聚焦模糊的模糊特性取决于值改变的事实而改变的调整值。具体地,调整值包括上述投影仪装置2的安装角度(在平移方向上的旋转角度、在倾斜方向上的旋转角度)、通过透镜移位机构的投影图像的移位量(在下文中被成为(“透镜移位量”)、以及关于对由聚焦位置调整机构调整的聚焦位置的调整的值。
注意,在下文中,关于对在平移方向上的旋转角度、在倾斜方向上的旋转角度、透镜移位量和聚焦位置中的每一个的调整的值也被称为“调整参数”。
稍后将再次描述由控制单元6执行以实现作为使用确定单元12的功能的特定处理。
无线通信单元9根据预定无线通信系统(例如,蓝牙、WiFi等)执行与外部装置的无线通信。
无线通信单元9连接到控制单元6,使得控制单元6能够经由无线通信单元9与外部的预定装置——特别是本示例中的投影仪装置2(控制单元25)——传送各种数据。例如,使得能够将诸如由上述使用确定单元12确定的调整参数的数据发送到投影仪装置2。
[1-3.模糊校正处理]
将描述实施方式中采用的模糊校正处理方法。
首先,将参照图6描述在叠加投影图像Pp中出现的合成模糊。
图6A例示了在叠加投影图像Pp中的两个不同的图像区域A1和A2。纸面的水平方向和竖直方向分别对应于图像的水平方向和竖直方向,并且假定图像区域A1是叠加投影图像Pp的左上角的区域,并且图像区域A2是叠加投影图像Pp的右上角的区域。
如图6B所示,为说明起见,考虑通过两个投影仪装置2的图像投影获得叠加投影图像Pp的情况。
由于在叠加投影期间不能将两个投影仪装置2布置在同一位置处,因此,在各投影仪装置2的投影图像中出现分别具有不同特性的模糊聚焦主要是由于到投影平面的光程长度的不同等原因引起的。此时,在叠加投影图像Pp中出现的聚焦模糊是由于在每个投影仪装置2的投影图像中出现的聚焦模糊而引起的;然而,仅在投影仪装置2的投影图像中,聚焦模糊的特性对于每个像素(图像中的每个区域)可能是不同的。这是由于在图像中的每个区域的光路长度中出现差异的事实而引起的。
这里,例如,在两个投影仪装置2如图6B所示在左右彼此分开布置的情况下,在左侧的投影仪装置2的投影图像中的图像区域A1中出现的聚焦模糊的特性被设置为模糊特性C1L。此外,在左侧的投影仪装置2的投影图像中的图像区域A2中出现的聚焦模糊的特性被设置为模糊特性C2L。此外,在右侧的投影仪装置2的投影图像中的图像区域A1和A2中出现的聚焦模糊的特性分别被设置为模糊特性C1R和C2R。
图6C示意性地示出了这些模糊特性C1L、C2L、C1R和C2R的示例。这里,作为每个模糊特性C的可视化模型,示出了点扩散函数(PSF)的可视化模型。
如图所示,关于由于左侧的投影仪装置2而引起的模糊特性C1L和C2L,模糊特性C1L具有图像在水平方向上的模糊小而在竖直方向上的模糊大的倾向,而相反,模糊特性C2L具有在竖直方向上的模糊小而在水平方向上的模糊大的倾向。
此外,关于由于右侧的投影仪装置2而引起的模糊特性C1R和C2R,模糊特性C1R具有在竖直方向上的模糊小而在水平方向上的模糊大的倾向,并且模糊特性C2R具有在水平方向上的模糊大而在竖直方向上的模糊小的倾向。
聚焦于图像区域A1,由于从左侧的投影仪装置2到图像区域A1的水平方向上的光程长度相对短,因此左侧的投影仪装置2的模糊特性C1L具有在水平方向上的模糊小的倾向。另一方面,由于从右侧的投影仪装置2到图像区域A1的水平方向上的光程长度相对长,因此右侧的投影仪装置2的模糊特性C1R具有在水平方向上的模糊大的倾向。由于类似的原因,聚焦于图像区域A2,左侧的投影仪装置2的模糊特性C2L具有在水平方向上的模糊大的倾向,相反的,右侧的投影仪装置2的模糊特性C2R具有在水平方向上的模糊小的倾向。
如上所述,在执行叠加投影的情况下,对于图像中的每个区域,每个投影仪装置2的模糊特性可能是不同的。
这里,作为用于校正在叠加投影图像Pp中出现的模糊的方法,存在如下所述的作为先前示例的方法。
图6是作为先前示例的模糊校正方法的说明图。
注意,这里,为了便于说明,还假定由两个投影仪装置2执行叠加投影。此外,这里,考虑针对图像中的单个区域的模糊校正处理。通过以与下述的方法类似的方法对图像中的每个区域执行模糊校正,可以实现整个叠加投影图像Pp的模糊校正。
作为先前示例的模糊校正方法在校正模糊时使用由模糊的反函数设计的滤波器。即,使用上述模糊校正滤波器7a。在图中,与由两个投影仪装置2执行叠加投影的情况对应地设置两个模糊校正滤波器7a。
这里,在一个投影仪装置2的投影图像(这里为图像中的单个区域)中出现的模糊的特性被设置为模糊特性
Figure BDA0002789104650000143
并且在另一投影仪装置2的投影图像(类似地,为图像中的单个区域)中出现的模糊的特性被设置为模糊特性Φ。
此外,用于校正由于模糊特性
Figure BDA0002789104650000144
而引起的模糊的滤波器系数是w1,并且用于校正由于模糊特性Φ而引起的模糊的滤波器系数是w2。
这里,用于模糊校正的滤波处理是强调(增强)边缘的处理,并且通过在一个集合(例如,5×5滤波器等)中使用多个滤波器系数来执行。即,上述滤波器系数w1和w2包括多个滤波器系数。
对于每个投影仪装置2,通过由模糊校正滤波器7a对输入图像执行用于模糊校正的滤波处理并且由投影仪装置2投影图像而获得的图像的像素值可以由下面的[公式1]或[公式2]表示。
[表达式1]
Figure BDA0002789104650000141
[表达式2]
Figure BDA0002789104650000142
即,在该情况下,如在[公式1]中,一个投影仪装置2的投影图像的值可以被表示为通过对输入图像的像素值x执行基于模糊特性
Figure BDA0002789104650000145
的模糊相加处理和基于滤波器系数w1的模糊校正处理而获得的值。此外,在该情况下,如在[公式2]中,另一投影仪装置2的投影图像的值可以被表示为通过对像素值x执行基于模糊特性Φ的模糊相加处理和基于滤波器系数w2的模糊校正处理而获得的值。
在先前示例中,基于下面的[公式3]和[公式4]中指示的推导公式获得用于模糊校正的滤波器系数w1和w2。
[表达式3]
Figure BDA0002789104650000151
[表达式4]
Figure BDA0002789104650000152
这里,在[公式3]和[公式4]中,“y”是叠加投影图像Pp的像素值的理想值,并且具体地,表示在不出现聚焦模糊的理想状态下叠加投影图像Pp的像素值。
在先前示例中,基于由[公式3]表示的Q1来获得与一个投影仪装置2对应的滤波器系数w1,即,通过对像素值x执行基于模糊特性
Figure BDA0002789104650000153
的模糊相加处理和基于滤波器系数w1的模糊校正处理而获得的值与预定理想值(这里为y/2)之间的误差的值。具体地,获得使误差Q1尽可能小的滤波器系数w1。
此外,在先前示例中,基于由[公式4]表示的Q2来获得与另一投影仪装置2对应的滤波器系数w2,即,通过对像素值x执行基于模糊特性Φ的模糊相加处理和基于滤波器系数w2的模糊校正处理而获得的值与预定理想值(y/2)之间的误差的值。具体地,获得使误差Q2尽可能小的滤波器系数w2。
然而,根据上述先前示例的方法,由于针对每个投影仪装置2的滤波器系数w是单独获得的,以消除由于单个特性而引起的模糊(
Figure BDA0002789104650000154
或Φ),在出现的模糊大的情况下,存在不能完全校正模糊的可能性。
例如,假定模糊特性
Figure BDA0002789104650000155
具有如上所述模糊特性C1L那样在竖直方向上的模糊大而在水平方向上的模糊小的特性,并且模糊特性Φ具有如模糊特性C1R那样在水平方向上的模糊大而在竖直方向上的模糊小的特性。
在该情况下,在如[公式3]中那样获得消除由于
Figure BDA0002789104650000156
而引起的模糊的滤波器系数w1的情况下,获得增加在模糊大的竖直方向上的增强的滤波器系数w1。此外,在如[公式4]中那样获得消除由于Φ而引起的模糊的滤波器系数w2的情况下,获得增加在模糊大的水平方向上的增强的滤波器系数w2。
此时,滤波器系数w具有导出绝对值较大的系数以消除大的模糊的倾向,但是在要消除的模糊较大并且获得绝对值较大的系数的情况下,存在模糊校正之后的像素值超过动态范围并且校正的效果不能反映在投影图像中的可能性。
因此,在具有如上所述增加在模糊大的方向上的增强的倾向的先前示例的方法中,对于可以消除的模糊的大小存在限制。
因此,在本实施方式中,如在下面的[公式5]中,基于将多个模糊特性共同并入一个集合中的推导公式来获得滤波器系数w1、w2。
[表达式5]
Figure BDA0002789104650000161
具体地,获得使[公式5]中的误差Q尽可能小的滤波器系数w1和w2。
可以说,误差Q是通过针对每个模糊特性
Figure BDA0002789104650000162
对像素值x执行基于模糊特性的模糊相加处理和基于滤波器系数(w1,w2)的模糊校正处理而获得的值的总和与预定理想值(y)之间的差。
简而言之,可以说,[公式5]不是如先前示例中那样基于仅单个模糊特性,而是基于多个模糊特性来获得滤波器系数w1和w2。
对于多个模糊特性,如果如先前示例中那样针对每个单个模糊特性求解推导公式(即,如果求解被并入了仅单个模糊特性的推导公式),则仅获得消除由于该模糊特性而引起的模糊的滤波器系数w。即,例如,如果在竖直方向上的模糊大,则仅获得执行在竖直方向上的增强的滤波器系数w。
另一方面,如果如[公式5]中那样基于多个模糊特性来获得每个滤波器系数,即,通过共同并入了多个模糊特性的推导公式来获得,则针对每个模糊特性的滤波器系数w不仅可以收敛成具有如先前示例中那样消除了单个模糊的倾向(增加在模糊大的方向上的增强的倾向),而且还可以收敛成具有减小在模糊大的方向上的增强并且增加在模糊小的方向上的增强的倾向。即,例如,如图3中示出的图像区域A1的模糊特性C1L那样,对于在竖直方向上的模糊大而在水平方向上的模糊小的左侧的投影仪装置2所使用的滤波器系数w,可以收敛成使得在竖直方向上的增强变小并且使得在水平方向上的增强变小的滤波器系数w。此外,如图像区域A1的模糊特性C1R那样,对于在水平方向上的模糊大而在竖直方向上的模糊小的右侧的投影仪装置2所使用的滤波器系数w,可以收敛成使得在竖直方向上的增强变大并且使得在水平方向上的增强变小的滤波器系数w。作为通过滤波器系数w对校正进行求和的结果,针对图像区域A1适当地校正由于两个模糊特性而引起的合成模糊。即,左侧的投影仪装置2的水平方向上的增强用作对右侧的投影仪装置2的投影图像中出现的水平方向模糊的校正,并且右侧的投影仪装置2的竖直方向上的增强用作对左侧的投影仪装置2的投影图像中出现的竖直方向模糊的校正,并且由两个校正之和适当地执行对合成模糊的校正。
如上所述,如果可以共同地针对每个模糊特性执行在模糊小的方向上的增强,并且通过这些校正之和来校正合成模糊,则与采用如先前示例中的执行在模糊大的方向上的增强的方法的情况相比,可以更多地增加可以校正的模糊量。即,可以提高针对合成模糊的校正性能,并且还可以提高图像质量。
注意,以上,在两个投影仪装置2执行叠加投影的情况下,针对合成模糊已例示了推导公式;然而,对于在n个投影仪装置2执行叠加投影的情况下的推导公式,使用共同并入了各个投影仪装置2的模糊特性即n个模糊特性的推导公式。
此外,上述推导公式是得到针对在一个图像区域中出现的模糊的校正滤波器系数的公式,并且为了在叠加投影图像Pp的整个区域中执行模糊校正,对于图像中的多个所需图像区域中的每一个,通过类似的推导公式获得每个投影仪装置2的滤波器系数w。
基于由模糊测量单元11测量的每个投影仪装置2的每个图像区域的模糊特性,本示例中的系数获取单元11通过使用将各个投影仪装置2的模糊特性共同并入如上述[公式5]的一个集合中的推导公式,获得每个投影仪装置2的每个图像区域的滤波器系数w。
[1-4.作为实施方式的光学调整值搜索方法]
将参照图8至图14描述作为第一实施方式的调整参数搜索方法。
图8是示出要由控制单元6中的CPU执行以实现作为第一实施方式的调整参数搜索方法的特定处理过程的流程图。在对上述实际图像内容执行叠加投影之前的阶段,在校准时执行图8中示出的处理。
作为粗略的处理流程,首先,对于每个投影仪装置2,在设置了调整参数的预定候选值(在下文中被称为“候选参数”)的状态下执行图像投影,并且此时,基于由成像装置3获得的捕获图像针对每个投影仪装置2测量模糊特性,并且获取基于测量的模糊特性的滤波器系数w(步骤S102和S110)。然后,使用获取的滤波器系数w通过模糊校正处理来获得各个投影仪装置2的模糊校正图像,使模糊校正图像被叠加和投影,基于此时获得的成像装置3的捕获图像来执行关于聚焦模糊的评估,并且基于评估结果执行调整参数的确定(步骤S111至S116)。
将描述特定处理。
首先,在步骤S101中,控制单元6将设置条件标识符M设置为“1”,并且在步骤S102中,执行用于在每个投影仪装置2中设置第M设置条件的候选参数的处理。设置条件标识符M是用于标识每个投影仪装置2的候选参数的设置条件的标识符。
在本示例中,如图9所例示的,预定从第1到第m的m个设置条件(m为大于或等于2的自然数)作为候选参数的设置条件。
如图所指示的,每个设置条件限定了要为n个投影仪装置2中的每一个设置的候选参数的组合。在本示例中,在每个设置条件下针对每个投影仪装置2设置了四种类型的候选参数——平移方向上的旋转角度(图中的“平移”)、倾斜方向上的旋转角度(图中的“倾斜”)、透镜移位量(图中的“透镜移位”)和聚焦位置。
在本示例中,图像处理装置1在预定存储装置(例如,控制单元6中包括的诸如ROM的存储装置)中存储限定了如图9所指示的候选参数的多个设置条件的表信息。
在图8中的步骤S102中,控制单元6从上述表信息中读取第M设置条件的候选参数,并且经由无线通信单元9将候选参数发送到对应的投影仪装置2,以关于设置指示控制单元25。
响应于上述指令,每个投影仪装置2中的控制单元25根据接收的候选参数分别向致动器23c和安装角度调整单元24给出光学调整机构23b的驱动指令和旋转角度设置指令。因此,将每个投影仪装置2的调整值、平移方向和倾斜方向上的旋转角度、透镜移位量和聚焦位置设置为调整值作为候选参数。
步骤S102之后的步骤S103至S109的处理是用于确定在每个投影仪装置2中设置的候选参数是否适合作为评估目标的处理。具体地,该处理基于在设置了候选参数的状态下投影仪装置2的图像投影范围是否满足预定范围条件来确定候选参数是否适合作为评估目标。
图10A例示了投影仪装置2的投影图像Pa落在由成像装置3捕获的图像Pi内的状态,图10B例示了投影图像Pa未完全落在捕获图像Pi内的状态。
在设置了候选参数的情况下,还可以假定投影图像Pa的位置如图10B所示明显偏离适当位置。在甚至存在具有如上所述的不适当的图像投影位置的一个投影仪装置2的情况下,也不再可能适当地执行叠加投影。为此,在该情况下,从关于聚焦模糊的评估的目标中排除候选参数。
在图8中的步骤S103中,控制单元6将投影仪标识符N设置为“1”。投影仪标识符N是用于表示投影仪装置2的标识符。
在随后的步骤S104中,控制单元6使第N投影仪装置2投影全白图像。即,指示图像输入单元5将所有像素均以白色显示的全白图像输入到模糊校正单元7。此时,指示模糊校正单元7关闭模糊校正功能,使得输入的全白图像被输入到图像输出单元8,而不经过模糊校正处理。此外,此时,指示图像输出单元8将全白图像仅输出到第N投影仪装置2。
在步骤S104之后的步骤S105中,控制单元6执行获取投影图像(Pa)的捕获图像(Pi)的处理,即,获取成像装置3的捕获图像的处理。
接下来,在步骤S106中,控制单元6基于获取的捕获图像执行用于确认图像投影范围的处理,作为投影状态确认处理。具体地,作为确认处理,控制单元6执行以下处理:获得捕获图像中的亮度值大于或等于预定阈值THl的像素数(在下文中,被称为“像素数V”)。
在随后的步骤S107中,控制单元6确定投影状态是否不合适。具体地,在本示例中,确定上述像素数V是否小于预定阈值THv。如果像素数v大,则可以估计在捕获图像中显示的投影图像的面积大,并且因此,确定像素数v是否小于阈值THv,对应于确定图像投影范围是否满足预定范围条件,具体地,图像投影范围是否大大偏离指定范围。
注意,用于确定图像投影范围是否满足预定范围条件的方法不限于以上例示的方法。
例如,尽管针对捕获图像Pi的所有像素计算像素数v,但是也可以如图11所示在捕获图像Pi中限定目标区域At,并且获得目标区域At中的像素数v。
此外,不限于使用像素数v的确定方法,还可以采用其他确定方法,例如,基于检测投影图像的边缘的结果的确定等。
此外,在确定图像投影范围是否满足预定范围条件时投影的图像不一定要是全白图像。
在步骤S107中,在确定像素数V小于预定阈值THv并且投影状态不适当的情况下,控制单元6行进至步骤S115,并且将设置条件标识符M增加1(M←M+1),并且然后返回到步骤S102。因此,在每个投影仪装置2中设置与下一设置条件对应的候选参数。即,对于包括使投影状态不适当的候选参数的设置条件,不执行步骤S110和随后的步骤中的处理,并且从关于聚焦模糊的评估的目标中排除该设置条件。换言之,从关于聚焦模糊的评估的目标中至少排除使投影状态不适当的候选参数与投影仪装置2的组合。
此外,在步骤S107中,在确定像素数V不小于预定阈值THv并且投影状态不适当的情况下,控制单元6行进至步骤S108,以确定投影仪标识符N是否大于或等于n(N≥n),并且,如果不满足N≥n,则返回到步骤S104。因此,对于下一投影仪装置2,执行在步骤S104至S107中描述的处理,即,用于确定设置的候选参数与投影仪装置2的组合是否适合作为评估目标的处理。
另一方面,在步骤S108中确定满足N≥n的情况下,控制单元6执行步骤S110的滤波器系数获取处理。滤波器系数获取处理是基于针对每个投影仪装置2测量的投影图像的模糊特性来获取用于模糊校正处理的滤波器系数w的处理。
图12是示出步骤S110的滤波器系数获取处理的流程图。在图12中,在步骤S201中,控制单元6将投影仪标识符N设置为“1”,并且然后在步骤S202中,使第N投影仪装置2投影预定测试图像。在本示例中,作为测试图像,使用设置了o个代表点(o是大于或等于2的自然数)的图像。例如,作为代表点,设置包括图像的中心和四个角处的总共五个点的五个或更多个点,并且作为测试图像,例如,使用其中仅使与这些代表点对应的像素发光的图像。
控制单元6指示图像输入单元5将测试图像输入到模糊校正单元7。此时,指示模糊校正单元7关闭模糊校正功能,使得输入的测试图像被输入到图像输出单元8,而不经过模糊校正处理。此外,此时,指示图像输出单元8仅将测试图像输出到第N投影仪装置2。
接下来,在步骤S203中,控制单元6执行从成像装置3获取投影图像的捕获图像的处理。
此外,在下一步骤S204中,控制单元6测量每个代表点的模糊特性。
此时,模糊特性的数据可以是表示点扩散函数的数据,但是在本示例中,为了减小数据容量,例如,采用如图13所示的模糊的简化模型的数据。图13中示出的简化模型仅在模糊在投影平面上的扩散是正态分布的前提下表示模糊特性,并且通过使用各个方向(σa,σb)上的模糊的程度以及用于限定模糊的方向的角度θ来表示模糊特性。σa和σb分别表示彼此正交的方向上的模糊的程度。
注意,表示模糊特性的特定数据没有特别限制,并且可以是例如低通滤波器(LPF)的系数数据。
在步骤S204之后的步骤S205中,控制单元6执行与当前投影仪装置2相关联地存储测量的模糊特性的处理。即,使在步骤S204中测量的每个代表点的模糊特性与当前投影仪装置2(当前投影仪标识符N)相关联地被存储在预定存储装置(例如,控制单元6的RAM等)中。
接下来,在步骤S206中,控制单元6确定投影仪标识符N是否大于或等于n(N≥n)。即,确定是否已经针对所有投影仪装置2测量了模糊特性。
如果在步骤S206中不满足N≥n,则在步骤S207中,控制单元6将投影仪标识符N的值增加1(N←N+1),并且返回到步骤S202。因此,对下一投影仪装置2执行测试图像的投影和模糊特性的测量。
另一方面,如果满足N≥n,则控制单元6行进至步骤S208,以针对每个代表点计算每个投影仪装置2的滤波器系数w。即,通过使用将各个投影仪装置2的模糊特性(n个模糊特性)共同并入一个集合中的推导公式,针对每个代表点计算每个投影仪装置2的滤波器系数w。上面的[公式5]的推导公式对应于由两个投影仪装置2执行叠加投影的情况,并且从理想值y减去的项是分别包括模糊特性
Figure BDA0002789104650000211
和模糊特性Φ的两个项;然而,对于在步骤S208中使用的推导公式,使用从理想值y减去N个项的公式,其中,每个项包括针对目标代表点测量的各个投影仪装置2的模糊特性中的对应的一个模糊特性。
在步骤S208之后的步骤S209中,控制单元6执行用于存储每个投影仪装置2的每个代表点的计算的滤波器系数w的处理。此时,滤波器系数w被存储在例如控制单元6的RAM等中。
响应于执行步骤S209的存储处理,控制单元6结束图12中示出的滤波器系数获取处理。
执行图12中示出的滤波器系数获取处理,由此,在设置了第M设置条件的候补参数的状态下,获取用于使聚焦模糊最小化的滤波器系数w。
响应于执行步骤S110的滤波器系数获取处理,控制单元6使处理前进到图8中示出的步骤S111。
在步骤S111中,控制单元6执行模糊校正图像的叠加投影处理。即,使在步骤S110的滤波器系数获取处理中获取的每个投影仪装置2的每个代表点的滤波器系数w被设置在模糊校正单元7中针对每个投影仪装置2提供的模糊校正滤波器7a中,并且,还使图像输入单元5输入预定图像,使得在模糊校正部7中生成各个投影仪装置2的模糊校正图像。然后,使图像输出单元8将各个投影仪装置2的模糊校正图像输出到对应的投影仪装置2,并且使n个投影仪装置2对模糊校正图像进行叠加和投影。
注意,对于除了代表点之外的每个像素的滤波处理,通过使用基于代表点处的滤波器系数w的滤波器系数,例如,通过使用代表点处的滤波器系数w的线性插值等,来执行模糊校正单元7中的模糊校正处理。
在随后的步骤S112中,控制单元6执行捕获图像获取处理,即,通过上述步骤S111的处理从成像装置3获取显示在屏幕S上的叠加投影图像Pp的捕获图像的处理,并且在下一步骤S113中执行模糊评估处理。
步骤S113的模糊评估处理是基于在步骤S112中获取的捕获图像执行关于在叠加投影图像Pp中出现的聚焦模糊的评估的处理。在本示例中,作为用于执行关于聚焦模糊的评估的评估值,使用表示投影图像的分辨率的评估值Vr。具体地,在该情况下的评估值Vr是通过将评估目标图像中的相邻像素之间的亮度差的最大值(在下文中被称为“相邻像素最大亮度差值”)除以亮度的动态范围的值而获得的值。这里,如果亮度值具有256灰度(0至255),则动态范围的值为“255”。
图14是评估值Vr的说明图。
图14A是白色像素(亮度值=255)和黑色像素(亮度值=0)彼此相邻的图像的示例。在该情况下,图像中的相邻像素最大亮度差值是|255-0|中的“255”,并且“1”被计算为评估值Vr。
图14B例示了图14A中示出的白色像素与黑色像素之间的边缘部分由于聚焦模糊而模糊的情况。在该情况下,相邻像素最大亮度差值小于“255”,并且小于“1”的值被计算为评估值Vr。
如上所述,评估值Vr是其中“1”表示最高分辨率的值,并且该值越小,分辨率越低。
在图8的步骤S113中,控制单元6针对在步骤S112中获取的捕获图像计算这样的评估值Vr。
注意,如上所述的使用评估值Vr的方法仅是关于聚焦模糊的评估方法的示例,并且评估方法不应当限于特定方法。
在随后的步骤S114中,控制单元6确定是否满足图像质量条件,具体地,评估值Vr是否大于或等于预定阈值THr(分辨率的高度是否大于或等于预定高度)。这里,确定评估值Vr是否大于或等于阈值THr是确定聚焦模糊的程度是否低于预定程度的示例。
在确定不满足评估值Vr≥THr并且不满足图像质量条件的情况下,在步骤S115中,控制单元6将设置条件标识符M增加1,并且然后返回到步骤S102。因此,在下一设置条件中执行候选参数的设置(S102),并且然后执行用于确定设置的候选参数是否适合作为评估目标的处理(S103至S109),并且如果确定候选参数适合作为评估目标,则执行用于与针对设置的候选参数的聚焦模糊相关的评估的处理(S110至S113)以及基于评估结果的图像质量确定处理(S114)。
另一方面,在步骤S114中满足评估值Vr≥THr并且确定满足图像质量条件的情况下,在步骤S116中,控制单元6将第M设置条件的候选参数确定为使用参数。即,将第M设置条件的候选参数确定为当对实际图像内容进行叠加和投影时使用的调整参数。
控制单元6响应于执行步骤S116的处理而结束图8中示出的一系列处理步骤。
注意,在步骤S114中确定满足图像质量条件的情况下,已经在每个投影仪装置2中设置了作为用于确定的评估目标的候选参数。为此,也可以直接行进至开始实际图像内容的叠加投影的处理,而不执行步骤S116的确定处理。
这里,步骤S114的确定处理对应于执行关于在步骤S102中设置的候选参数是否可用的确定的事实。
通过如上所述的一系列处理步骤,找到通过模糊校正处理获得良好模糊校正效果的调整值,作为每个投影仪装置2的光学调整值。
因此,在通过信号处理执行对投影图像中出现的聚焦模糊的校正的情况下,可以提高模糊校正性能。
注意,以上,作为搜索用于叠加投影的调整参数的处理,已经描述了响应于发现满足图像质量条件的设置条件而结束搜索的示例;然而,也可以基于针对预先准备的所有M个设置条件相对地评估聚焦模糊的结果来执行要使用的候选参数的确定。具体地,在该情况下,针对M个设置条件执行步骤S110至S113的处理,以获得针对每个设置条件的评估值Vr。其后,将具有最大评估值Vr的设置条件——即每个投影仪装置2的候选参数——确定为最佳候选参数。换言之,将其确定为用于实际图像内容的叠加投影的调整参数。
注意,即使在如上所述通过相对地评估多个候选参数的聚焦模糊来执行要使用的候选参数的确定的情况下,可以从评估目标排除包括投影范围不满足预定范围条件的候选参数与投影仪装置2的组合的设置条件。即,可以应用步骤S102至S109的处理。
[1-5.候选值评估的修改]
这里,在执行叠加投影的多个投影仪装置2中,布置位置彼此接近的投影仪装置2具有光学调整参数彼此相似的倾向。
因此,可以从关于聚焦模糊的评估的目标中排除与作为在使用参数的确定中关于聚焦模糊的评估的目标的投影仪装置2相邻布置的投影仪装置2。
图15示出了其特定示例。
在图中,例示了并排布置五个投影仪装置2并且执行叠加投影的情况;然而,在该情况下,例如,被定位在阴影中央以及左右两端的三个投影仪装置2是聚焦模糊评估的目标,而其他投影仪装置2被排除在评估的目标之外。即,在该情况下,控制单元6(使用确定单元12)仅针对上述三个投影仪装置2执行图8中示出的处理。
在该情况下,控制单元6(使用确定单元12)基于用于作为评估的目标的投影仪装置2中的、被定位成最接近从评估目标中排除的投影仪装置2(非目标装置)的投影仪装置2的调整参数来获取非目标装置的调整参数。
因此,使得能够通过使用取决于布置位置的接近度的调整参数的接近度来适当地获取从用于调整参数搜索的评估目标中排除的投影仪装置2的调整参数。
因此,可以实现模糊校正性能的提高以及为此目的处理负荷的减少和处理时间的缩短。
在如上所述基于最接近的投影仪装置2的调整参数来获取非目标装置的调整参数的情况下,通过基于与最接近的投影仪装置2的位置差校正最接近的投影仪装置2的透镜移位量来获取非目标装置的透镜移位量。
这里,以上,在布置用于叠加投影的多个投影仪装置2中,至少被定位在中央的投影仪装置2以及左右两端(或在一些情况下的上下)的投影仪装置2是调整参数搜索的评估目标;然而,通常,中央处的投影仪装置2被布置成基本上平行于投影平面,而端部处的投影仪装置2倾向于被布置成大体上不平行于投影平面而是倾斜于投影平面(特别是在布置的投影仪装置2的数目大的情况下),并且存在在中央与端部的这些投影仪装置2之间的调整参数中出现相对大的差异的倾向。
因此,期望的是,从除了中央和端部的至少投影仪装置2之外的投影仪装置2中选择从评估目标中排除的投影仪装置2。
注意,图15示出了将布置间隔(即,从评估目标中排除的投影仪装置2的稀疏间隔)设置为每隔一个装置的间隔的示例;然而,稀疏间隔不限于每隔一个装置的间隔,并且可以每隔多个装置进行设置。此外,稀疏间隔不限于固定,并且例如,在使用诸如数十个的大量投影仪装置2的情况下,稀疏间隔可以从中央到端侧逐渐减小。
此外,对于执行叠加投影的投影仪装置2中的一些,可以设置与其他投影仪装置2(例如,最接近的投影仪装置2)的候选参数相同的候选参数,以执行关于聚焦模糊的评估。
因此,不必将所有投影仪装置2的候选参数存储为图9中指示的表信息,并且可以减小表信息的容量。
<2.第二实施方式>
[2-1.作为第二实施方式的图像投影装置和图像处理装置的配置]
随后,将描述第二实施方式。
第二实施方式取决于图像投影装置的温度再次搜索调整参数。注意,在以下描述中,与已经描述的部分相似的部分由相同的附图标记表示,并且将省去其描述。
图16是示出第二实施方式中使用的投影仪装置2的内部配置示例的示例的框图。
与第一实施方式的投影仪装置2的不同之处在于,添加了用于执行温度检测的热敏电阻器23d。在本示例中,热敏电阻器23d被布置在光学系统23中的预定位置处,并且使得热敏电阻器23d能够检测光学系统23的温度。
热敏电阻器23d连接到控制单元25,并且使得控制单元25能够获取由热敏电阻器23d检测到的温度信息。
图17是用于说明作为第二实施方式的图像处理装置1A的内部配置示例的图,并且还与图像处理装置1A的内部配置示例一起示出了成像装置3。
与图像处理装置1的不同之处在于,代替控制单元6,设置有控制单元6A,并且还设置有操作单元30。
控制单元6A与控制单元6的不同之处在于,代替使用确定单元12,设置有使用确定单元12A。
操作单元30概括地表示用户向图像处理装置1A执行操作输入的操作输入装置,并且将取决于用户的操作输入的操作信息输出到控制单元6A。操作单元6A的示例包括各种按钮操作元件、触摸传感器等。替选地,可以经由远程控制器执行用户操作输入,并且在该情况下,操作单元30包括通过远程控制器接收传输信号的接收单元。
在控制单元6A中,在执行第一实施方式中描述的调整参数搜索处理(校准)之后,使用确定单元12A基于投影仪装置2A中的热敏电阻器23d的温度检测结果再次执行调整参数搜索处理。
[2-2.处理过程]
图18是示出要由控制单元6A的CPU执行以实现作为第二实施方式的调整参数搜索方法的特定处理过程的流程图。图18中示出的处理在执行作为图8例示的校准的搜索处理之后的预定定时开始。
首先,在步骤S301中,控制单元6A获取每个投影仪装置2A的光学系统温度。即,使投影仪装置2A中的控制单元25获取由热敏电阻器23d检测的温度信息,并且经由无线通信单元26和无线通信单元9获取温度信息。
在随后的步骤S302中,控制单元6A确定是否存在满足重置温度条件的投影仪装置2A。这里,在本示例中,将重置温度条件定义为获取的光学系统温度大于或等于预定阈值THt。
在确定不存在满足重置温度条件的投影仪装置2A(在下文中被称为“对应的投影仪”)的情况下,控制单元6A返回到步骤S301。
另一方面,在确定存在对应的投影仪的情况下,在步骤S303中,控制单元6A使每个投影仪装置2A执行警报显示,其指示要执行调整参数的再次搜索,作为警报处理。作为警报显示,例如,使图像信息被显示,该图像信息包括询问是否再次搜索调整参数的消息信息以及表示“是”和“否”选择按钮的图标。
在校准之后,由于存在每个投影仪装置2A对实际图像内容进行叠加和投影的情况,因此执行如上所述的警报处理,以询问用户是否执行再次搜索。注意,不必基于用户操作来确定是否执行再次搜索。
在随后的步骤S304中,控制单元6A确定是否执行预定操作。具体地,在本示例中,确定是否在预定时间内执行了上述选择“是”的操作。
在未执行预定操作(即在预定时间内未执行选择“是”的操作或者执行了选择“否”的操作)的情况下,控制单元6A结束图中示出的一系列处理步骤。即,不执行调整参数的再次搜索。
另一方面,在执行预定操作的情况下,控制单元6A执行步骤S305和随后的步骤的处理,以执行用于再次搜索对应的投影仪的调整参数的处理。
首先,在步骤S305中,控制单元6A将设置条件标识符M设置为“1”,并且在步骤S306中,执行使第M设置条件的候选参数被设置在对应的投影仪中的处理。此时,对于除了对应的投影仪之外的投影仪装置2A,使得保持直到此时的调整参数的设置状态。
然后,控制单元6A响应于执行步骤S306的设置处理来执行图8中描述的步骤S110至S114的处理。因此,在对应的投影仪中设置了第M设置条件中的候选参数的状态下,获得使聚焦模糊最小的滤波器系数w(每个投影仪装置2A的各个代表点的滤波器系数w)(S110),并且在使用这些滤波器系数w执行模糊校正处理的情况下,针对叠加投影图像执行关于聚焦模糊的评估(S111至S113),并且确定是否满足图像质量条件(S114)。
在步骤S114中确定不满足图像质量条件的情况下,在步骤S115中,控制单元6A将设置条件标识符M增加1,并且然后返回到步骤S306。因此,在对应的投影仪中设置了下一设置条件的候选参数的情况下,获得使聚焦模糊最小的滤波器系数w,并且还在执行使用滤波器系数w的模糊校正处理的情况下,确定叠加投影图像是否满足图像质量条件。
另一方面,在步骤S114中确定满足图像质量条件的情况下,控制单元6A行进至步骤S307,将第M设置条件的候选参数确定为对应的投影仪的使用参数,并且结束图18中示出的一系列处理步骤。
注意,在该情况下,也不必执行确定使用参数的处理。
当投影仪装置2A的光学系统23的温度(特别是投影透镜的温度)改变时,聚焦的模糊特性也改变。具体地,在使用玻璃透镜作为投影透镜的情况下,模糊特性的改变相对地大。
通过如上所述执行再次搜索,可以防止由于温度改变而引起的图像质量下降。
注意,以上,已经描述了预先准备的所有候选参数均是对应的投影仪的评估目标的示例;然而,也有可能候选参数中的仅一些候选参数是评估目标。例如,也可以通过用户操作来选择作为评估目标的候选参数。替选地,也可以想到例如从评估目标中排除与设置的调整参数差异大(例如,差异大于或等于阈值)的候选参数,换言之,搜索范围限于设置的调整参数的附近。
此外,以上,已描述了温度大于或等于预定值的投影仪装置2A是再次搜索的目标的示例;然而,也有可能再次搜索的目标是温度与所有投影仪装置2A的总温度之比大的投影仪装置2A。
替选地,即使在温度大于或等于预定值,也可以在关于叠加投影图像的聚焦模糊的评估良好的情况下,不执行再次搜索。
如上所述基于温度的再次搜索的执行条件不限于以上例示的这些执行条件,并且可以想到各种方式。
此外,同样在再次搜索时,通过与以上步骤S104至S107类似的处理来评估设置了候选参数的状态下的投影图像的投影范围,并且在投影范围不满足预定范围条件的情况下,也可以从关于聚焦模糊的评估目标中排除候选参数。
<3.修改>
注意,本技术不限于上述特定示例,并且可以想到各种修改。
例如,以上,已经描述了图像处理装置1(或1A)通过使用预定推导公式的计算来获取用于模糊校正的滤波器系数w的示例;然而,也可以从表格信息中获得滤波器系数w,对于模糊特性的每个组合,对应的滤波器系数w被关联在表格信息中。具体地,是这样的配置:对于假定的每个组合,使存储对应的滤波器系数w的表信息被存储在图像处理装置1(1A)中,作为每个投影仪装置2(或2A)的每个图像区域的模糊特性的组合,并且基于表信息和基于成像装置3的捕获图像测量的每个图像区域的模糊特性来获取滤波器系数w。
在该情况下,仅需要系数获取单元11在表信息中的模糊特性的组合中指定与测量的模糊特性的组合匹配的组合,并且基于指定的组合来获取滤波器系数w。
此外,以上,已经描述了以下示例,作为使用由模糊的反函数设计的滤波器的模糊校正处理,使用通过由推导公式获得的滤波器系数w来执行处理,在推导公式中,将各个投影仪装置2(2A)的模糊特性共同并入如[公式5]中所指示的一个集合中;然而,也可以使用通过如先前示例所述的方法获得的滤波器系数w来执行模糊校正处理(参见[公式3]和[公式4])。
替选地,模糊校正处理不限于使用根据推导公式获得的滤波器系数w的处理,并且还可以通过另一方法来执行处理,例如使用通过例如上述专利文献1中公开的反馈型校正技术获得的滤波器系数。
此外,尽管以上没有特别描述,但是也可以设计作为评估目标的候选参数的顺序。例如,对于相对于投影平面具有大的安装角度(在平移或倾斜方向上具有大的旋转角度)的投影仪装置2(2A),可以想到从预先准备的候选参数中的值大的一个开始按顺序设置评估目标。因此,对应于采用响应于发现满足图像质量条件(聚焦模糊的程度低于预定程度)的候选参数而结束搜索的方法(参见步骤S114)的情况,可以减少搜索调整参数所需的处理时间和处理负荷。
此外,以上,已经描述了投影仪装置2(2A)中包括的空间光调制器23a是透射式液晶面板的示例;然而,反射式液晶面板、数字微镜装置(DMD)等也可以用作空间光调制器23a,并且装置不限于透射式液晶面板。
此外,在第一和第二实施方式中,已经描述了与投影仪装置2分开设置作为实施方式的图像处理装置(1或1A)的示例;然而,图像处理装置也可以与任何投影仪装置2集成。
<4.实施方式的概要>
如上所述,实施方式的图像处理装置(图像处理装置1或1A)包括:模糊校正单元(模糊校正单元7),其基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,模糊特性是在图像投影装置(图像处理装置2或2A)的投影图像中出现的聚焦模糊的特性,在将预定候选值(候选参数)设置为图像投影装置的光学调整值(调整参数)的状态下测量模糊特性;以及使用确定单元(使用确定单元12或12A),其对通过使图像投影装置投影经过模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于评估的结果执行关于候选值是否可用的确定。
因此,使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值作为图像投影装置的光学调整值。
因此,在通过信号处理执行对投影图像中出现的聚焦模糊的校正的情况下,可以提高模糊校正性能。
此外,在作为实施方式的图像处理装置中,模糊校正单元基于多个图像投影装置中的每一个的模糊特性,通过针对图像投影装置中的每一个对输入图像执行模糊校正处理来获得各个图像投影装置的模糊校正图像,在设置了与图像投影装置中的每一个对应的候选值的状态下单独执行图像投影时测量模糊特性;以及使用确定单元对通过使多个图像投影装置对模糊校正图像进行叠加和投影而获得的叠加投影图像执行关于聚焦模糊的评估,并且基于评估的结果来执行确定。
因此,使得能够搜索通过模糊校正处理获得良好模糊校正效果的调整值作为执行叠加投影的图像投影装置中的每一个的光学调整值。
因此,可以提高针对在叠加投影图像中出现的聚焦模糊的模糊校正性能。
此外,在作为实施方式的图像处理装置中,模糊校正单元基于图像投影装置中的每一个的滤波器系数,针对图像投影装置中的每一个执行模糊校正处理,滤波器系数是通过推导公式获得的,根据推导公式推导出与图像投影装置中的每一个对应的模糊校正的滤波器系数,并且在推导公式中,图像投影装置中的每一个的模糊特性被共同并入一个集合中。
通过如上所述求解将各个图像投影装置的模糊特性共同并入的推导公式,图像投影装置中的每一个的校正滤波器系数不仅可以收敛成具有模糊本身被消除的倾向(即,增加在模糊大的方向上的增强的倾向),而且还具有减小在模糊大的方向上的增强并且增加在模糊小的方向上的增强的倾向。
因此,可以进一步改进针对在叠加投影图像中出现的聚焦模糊的模糊校正性能。
此外,在作为实施方式的图像处理装置中,使用确定单元在设置了候选值的状态下,使图像投影装置投影预定图像,以评估预定图像的投影范围,并且在投影范围不满足预定范围条件的情况下,从关于聚焦模糊的评估的目标中排除候选值与图像投影装置的组合。
例如,在增加候选值的摆动宽度以放宽用于获得调整值的最佳点的搜索范围的情况下,可能存在图像投影范围不满足预定范围条件的情况,例如,在某个候选值和图像投影装置的组合中,图像的投影范围大大偏离指定投影范围等。由于图像投影范围不满足预定范围条件的事实是图像质量提高之前的问题,因此在调整值搜索中,从聚焦模糊的评估目标中排除这些候选值和图像投影装置的组合。
因此,对于认为不必要的候选值和图像投影装置的组合,使得能够防止执行由模糊测量单元进行的模糊特性的测量、由模糊校正单元进行的模糊校正处理、以及由调整值确定单元进行的关于聚焦模糊的评估,并且可以实现减少用于优化调整值所需的处理负荷,并且缩短处理时间。
此外,在作为实施方式的图像处理装置中,使用确定单元从关于聚焦模糊的评估的目标中排除与作为关于聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置。
布置位置彼此接近的图像投影装置具有将接近值设置为调整值(例如,平移或倾斜角度、透镜移位量等)的倾向。因此,从评估的目标减少与作为用于确定调整值的关于聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置,由此减少调整值搜索的处理次数。
因此,可以实现减少用于优化调整值的处理负荷,并且缩短处理时间。
此外,在作为实施方式的图像处理装置中,使用确定单元基于用于作为评估的目标的图像投影装置中的、被定位成最接近作为从评估的目标排除的图像投影装置的非目标装置的图像投影装置的调整值,来获取用于非目标装置的调整值。
因此,使得能够通过使用取决于布置位置的接近度的调整值的接近度来适当地获取从用于调整值搜索的评估目标中排除的图像投影装置的调整值。
因此,可以实现模糊校正性能的改进,以及为此目的处理负荷的减少和处理时间的缩短。
此外,在作为实施方式的图像处理装置中,调整值包括关于图像投影装置在平移或倾斜方向上的旋转角度的调整值。
图像投影装置在平移或倾斜方向上的旋转角度是改变在投影图像中出现的聚焦模糊的特性的因素之一。
因此,可以通过优化关于平移或倾斜方向上的旋转角度的调整值来改进模糊校正性能。
此外,在作为实施方式的图像处理装置中,调整值包括关于图像投影装置的透镜移位量的调整值。
图像投影装置的透镜移位量是改变在投影图像中出现的聚焦模糊的特性的因素之一。
因此,可以通过优化关于透镜移位量的调整值来改进模糊校正性能。
此外,在作为实施方式的图像处理装置中,调整值包括关于图像投影装置的聚焦位置的调整值。
图像投影装置的聚焦位置是改变在投影图像中出现的聚焦模糊的特性的因素之一。
因此,可以通过优化关于聚焦位置的调整值来改进模糊校正性能。
此外,在作为实施方式的图像处理装置中,使用确定单元通过基于关于聚焦模糊的评估的结果确定聚焦模糊的程度是否低于预定程度来确定候选值是否可用。
因此,使得能够在多个候选值中搜索给出最佳评估结果的候选值作为要使用的调整值。
因此,可以使模糊校正性能最大化。
此外,在作为实施方式的图像处理装置中,使用确定单元基于针对多个候选值相对地评估聚焦模糊的结果来执行要使用的候选值的确定。
因此,使得能够在多个候选值中搜索给出最佳评估结果的候选值作为要使用的调整值。
因此,可以使模糊校正性能最大化。
另外,在作为实施方式的图像处理装置中,使用确定单元(使用确定单元12A)基于由检测图像投影装置的温度的温度检测单元(热敏电阻器23d)进行的温度检测结果,再次执行针对图像投影装置的关于聚焦模糊的评估,并且基于再次执行的评估的结果再次执行确定。
因此,使得能够再次搜索对应于最佳调整值取决于温度而改变的情况的调整值。
因此,可以防止由于温度改变而引起的图像质量下降。
此外,作为实施方式的图像处理方法包括:模糊校正过程,基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,模糊特性是在图像投影装置(图像投影仪装置2或2A)的投影图像中出现的聚焦模糊的特性,在将预定候选值(候选参数)设置为图像投影装置的光学调整值(调整参数)的状态下测量模糊特性;以及使用确定过程,对通过使图像投影装置投影经过模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于评估的结果执行关于候选值是否可用的确定。
利用作为实施方式的这样的图像处理方法,还可以获得与作为上述实施方式的图像处理装置的功能和效果类似的功能和效果。
注意,本说明书中描述的有益效果仅是示例,并且本技术的有益效果不限于这些并且可以包括其他效果。
<5.本技术>
注意,本技术还可以如下所述来配置。
(1)
一种图像处理装置,包括:
模糊校正单元,其基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,所述模糊特性是在图像投影装置的投影图像中出现的聚焦模糊的特性,在将预定候选值设置为所述图像投影装置的光学调整值的状态下测量所述模糊特性;以及
使用确定单元,其对通过使所述图像投影装置投影经过所述模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于所述评估的结果执行关于所述候选值是否可用的确定。
(2)
根据(1)所述的图像处理装置,其中,
所述模糊校正单元基于多个所述图像投影装置中的每一个的模糊特性,通过对所述输入图像执行针对所述图像投影装置中的每一个的所述模糊校正处理来获得各个图像投影装置的模糊校正图像,当在设置了与所述图像投影装置中的每一个对应的所述候选值的状态下单独执行图像投影时测量所述模糊特性,以及
所述使用确定单元对通过使多个所述图像投影装置对所述模糊校正图像进行叠加和投影而获得的叠加投影图像执行关于所述聚焦模糊的评估,并且基于所述评估的结果来执行所述确定。
(3)
根据(2)所述的图像处理装置,其中,
所述模糊校正单元基于所述图像投影装置中的每一个的滤波器系数,执行针对所述图像投影装置中的每一个的所述模糊校正处理,所述滤波器系数是通过推导公式获得的,根据所述推导公式推导出与所述图像投影装置中的每一个对应的用于模糊校正的所述滤波器系数,并且在所述推导公式中,所述图像投影装置中的每一个的模糊特性被共同并入一个集合中。
(4)
根据(1)至(3)中任一项所述的图像处理装置,其中,
所述使用确定单元使设置了所述候选值的状态下的所述图像投影装置投影预定图像,以评估所述预定图像的投影范围,并且在所述投影范围不满足预定范围条件的情况下,从关于所述聚焦模糊的评估的目标中排除所述候选值与所述图像投影装置的组合。
(5)
根据(2)或(3)所述的图像处理装置,其中,
所述使用确定单元从关于所述聚焦模糊的评估的目标中排除与作为关于所述聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置。
(6)
根据(5)所述的图像处理装置,其中,
所述使用确定单元基于用于作为所述评估的目标的图像投影装置中的、被定位成最接近作为从所述评估的目标中排除的图像投影装置的非目标装置的图像投影装置的所述调整值,来获取用于所述非目标装置的调整值。
(7)
根据(1)至(6)中任一项所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置在平移或倾斜方向上的旋转角度的调整值。
(8)
根据(1)至(7)中任一项所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置的透镜移位量的调整值。
(9)
根据(1)至(8)中任一项所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置的聚焦位置的调整值。
(10)
根据(1)至(9)中任一项所述的图像处理装置,其中,
所述使用确定单元通过基于关于所述聚焦模糊的评估的结果确定所述聚焦模糊的程度是否低于预定程度来确定所述候选值是否可用。
(11)
根据(1)至(9)中任一项所述的图像处理装置,其中,
所述使用确定单元基于针对多个所述候选值相对地评估所述聚焦模糊的结果来执行要使用的所述候选值的确定。
(12)
根据(1)至(11)中任一项所述的图像处理装置,其中,
所述使用确定单元基于由检测所述图像投影装置的温度的温度检测单元得到的温度检测结果再次执行以所述图像投影装置为目标的、关于所述聚焦模糊的评估,并且基于再次执行的评估的结果再次执行所述确定。
附图标记列表
1,1A 图像处理装置
2,2A 投影仪装置
3 成像装置
5 图像输入单元
6,6A 控制单元
7 模糊校正单元
7a 模糊校正滤波器
8 图像输出单元
9 无线通信单元
10 模糊测量单元
11 系数获取单元
12,12A 使用确定单元
21 图像处理单元
22 调制器驱动单元
23 光学系统
23a 空间光调制器
23b 光学调整机构
23c 致动器
23d 热敏电阻器
24 安装角度调整单元
25 控制单元
26 无线通信单元
30 操作单元
S 屏幕
Pp 叠加投影图像

Claims (13)

1.一种图像处理装置,包括:
模糊校正单元,其基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,所述模糊特性是在图像投影装置的投影图像中出现的聚焦模糊的特性,在将预定候选值设置为所述图像投影装置的光学调整值的状态下测量所述模糊特性;以及
使用确定单元,其对通过使所述图像投影装置投影经过所述模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于所述评估的结果执行关于所述候选值是否可用的确定。
2.根据权利要求1所述的图像处理装置,其中,
所述模糊校正单元基于多个所述图像投影装置中的每一个的模糊特性,通过对所述输入图像执行针对所述图像投影装置中的每一个的所述模糊校正处理来获得各个图像投影装置的模糊校正图像,当在设置了与所述图像投影装置中的每一个对应的所述候选值的状态下单独执行图像投影时测量所述模糊特性,以及
所述使用确定单元对通过使多个所述图像投影装置对所述模糊校正图像进行叠加和投影而获得的叠加投影图像执行关于所述聚焦模糊的评估,并且基于所述评估的结果来执行所述确定。
3.根据权利要求2所述的图像处理装置,其中,
所述模糊校正单元基于所述图像投影装置中的每一个的滤波器系数,执行针对所述图像投影装置中的每一个的所述模糊校正处理,所述滤波器系数是通过推导公式获得的,根据所述推导公式推导出与所述图像投影装置中的每一个对应的用于模糊校正的所述滤波器系数,并且在所述推导公式中,所述图像投影装置中的每一个的模糊特性被共同并入一个集合中。
4.根据权利要求1所述的图像处理装置,其中,
所述使用确定单元使设置了所述候选值的状态下的所述图像投影装置投影预定图像,以评估所述预定图像的投影范围,并且在所述投影范围不满足预定范围条件的情况下,从关于所述聚焦模糊的评估的目标中排除所述候选值与所述图像投影装置的组合。
5.根据权利要求2所述的图像处理装置,其中,
所述使用确定单元从关于所述聚焦模糊的评估的目标中排除与作为关于所述聚焦模糊的评估的目标的图像投影装置相邻布置的图像投影装置。
6.根据权利要求5所述的图像处理装置,其中,
所述使用确定单元基于用于作为所述评估的目标的图像投影装置中的、被定位成最接近作为从所述评估的目标中排除的图像投影装置的非目标装置的图像投影装置的所述调整值,来获取用于所述非目标装置的调整值。
7.根据权利要求1所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置在平移或倾斜方向上的旋转角度的调整值。
8.根据权利要求1所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置的透镜移位量的调整值。
9.根据权利要求1所述的图像处理装置,其中,
所述调整值包括关于所述图像投影装置的聚焦位置的调整值。
10.根据权利要求1所述的图像处理装置,其中,
所述使用确定单元通过基于关于所述聚焦模糊的评估的结果确定所述聚焦模糊的程度是否低于预定程度来确定所述候选值是否可用。
11.根据权利要求1所述的图像处理装置,其中,
所述使用确定单元基于针对多个所述候选值相对地评估所述聚焦模糊的结果来执行要使用的所述候选值的确定。
12.根据权利要求1所述的图像处理装置,其中,
所述使用确定单元基于由检测所述图像投影装置的温度的温度检测单元得到的温度检测结果再次执行以所述图像投影装置为目标的、关于所述聚焦模糊的评估,并且基于再次执行的评估的结果再次执行所述确定。
13.一种图像处理方法,包括:
模糊校正过程,基于模糊特性对输入图像执行用于聚焦模糊校正的模糊校正处理,所述模糊特性是在图像投影装置的投影图像中出现的聚焦模糊的特性,在将预定候选值设置为所述图像投影装置的光学调整值的状态下测量所述模糊特性;以及
使用确定过程,对通过使所述图像投影装置投影经过所述模糊校正处理的图像而获得的投影图像执行关于聚焦模糊的评估,并且基于所述评估的结果执行关于所述候选值是否可用的确定。
CN201980034077.1A 2018-05-28 2019-03-08 图像处理装置和图像处理方法 Active CN112189337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018101546 2018-05-28
JP2018-101546 2018-05-28
PCT/JP2019/009424 WO2019230109A1 (ja) 2018-05-28 2019-03-08 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
CN112189337A true CN112189337A (zh) 2021-01-05
CN112189337B CN112189337B (zh) 2024-05-14

Family

ID=68698734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034077.1A Active CN112189337B (zh) 2018-05-28 2019-03-08 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US11394941B2 (zh)
EP (1) EP3780587A4 (zh)
JP (1) JP7287390B2 (zh)
CN (1) CN112189337B (zh)
WO (1) WO2019230109A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383828B (zh) * 2017-03-09 2022-02-08 索尼公司 图像处理设备和方法
US11575862B2 (en) * 2018-05-28 2023-02-07 Sony Corporation Image processing device and image processing method
CN117319618B (zh) * 2023-11-28 2024-03-19 维亮(深圳)科技有限公司 一种用于清晰度评价的投影仪热跑焦判断方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077956A (ja) * 2000-08-30 2002-03-15 Hitachi Ltd 液晶プロジェクタ並びに液晶プロジェクタのフォーカス計測方法及びその装置
US20050180655A1 (en) * 2002-10-08 2005-08-18 Akihiro Ohta Image conversion device image conversion method and image projection device
JP2008109545A (ja) * 2006-10-27 2008-05-08 Sharp Corp 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器
US20080143978A1 (en) * 2006-10-31 2008-06-19 Niranjan Damera-Venkata Image display system
CN101461251A (zh) * 2005-04-25 2009-06-17 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统
US20110273674A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Lens-shiftable image projection apparatus
US20170318270A1 (en) * 2014-11-10 2017-11-02 Hitachi Maxell, Ltd. Projector and image display method
US20180324396A1 (en) * 2016-01-13 2018-11-08 Masaaki Ishikawa Projection system, image processing apparatus, projection method
US20180356612A1 (en) * 2015-11-18 2018-12-13 Maxell, Ltd. Image projection apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
CN101006415B (zh) * 2004-10-05 2010-08-18 株式会社尼康 具有投影仪装置的电子设备
JP2006174184A (ja) * 2004-12-16 2006-06-29 Olympus Corp プロジェクタ
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US9122946B2 (en) 2006-01-24 2015-09-01 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
JP5725724B2 (ja) 2010-04-01 2015-05-27 キヤノン株式会社 投影装置
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
JP6794983B2 (ja) * 2015-03-27 2020-12-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP2017032891A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 投影装置、フォーカス補正方法、およびプログラム
US11575862B2 (en) * 2018-05-28 2023-02-07 Sony Corporation Image processing device and image processing method
KR20210066797A (ko) * 2018-08-29 2021-06-07 피씨엠에스 홀딩스, 인크. 모자이크 주기적 층에 기반한 광 필드 디스플레이를 위한 광학 방법 및 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077956A (ja) * 2000-08-30 2002-03-15 Hitachi Ltd 液晶プロジェクタ並びに液晶プロジェクタのフォーカス計測方法及びその装置
US20050180655A1 (en) * 2002-10-08 2005-08-18 Akihiro Ohta Image conversion device image conversion method and image projection device
CN101461251A (zh) * 2005-04-25 2009-06-17 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影系统
JP2008109545A (ja) * 2006-10-27 2008-05-08 Sharp Corp 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器
US20080143978A1 (en) * 2006-10-31 2008-06-19 Niranjan Damera-Venkata Image display system
US20110273674A1 (en) * 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Lens-shiftable image projection apparatus
US20170318270A1 (en) * 2014-11-10 2017-11-02 Hitachi Maxell, Ltd. Projector and image display method
US20180356612A1 (en) * 2015-11-18 2018-12-13 Maxell, Ltd. Image projection apparatus
US20180324396A1 (en) * 2016-01-13 2018-11-08 Masaaki Ishikawa Projection system, image processing apparatus, projection method

Also Published As

Publication number Publication date
CN112189337B (zh) 2024-05-14
JP7287390B2 (ja) 2023-06-06
US20210368149A1 (en) 2021-11-25
EP3780587A4 (en) 2021-06-02
EP3780587A1 (en) 2021-02-17
US11394941B2 (en) 2022-07-19
WO2019230109A1 (ja) 2019-12-05
JPWO2019230109A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
WO2005002240A1 (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
CN112189337B (zh) 图像处理装置和图像处理方法
JP3852456B2 (ja) プロジェクタ及びパターン画像表示方法
WO2010031252A1 (zh) 一种电子显示屏的亮度校正方法
JP6056290B2 (ja) 画像処理装置、プロジェクター、及び画像処理方法
JP2012065074A (ja) プロジェクター、及び、プロジェクターの制御方法
US10582171B2 (en) Display system and information processing method
JPWO2003103298A1 (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2023002656A (ja) 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP5119607B2 (ja) プロジェクタ
WO2016197802A1 (zh) 一种投影修正的方法及系统和终端
JP2003348500A (ja) 投射画像の調整方法、画像投射方法および投射装置
JP2007226766A (ja) 指示システム、指示プログラム及び指示装置
US20100123696A1 (en) Image display apparatus and method
JP7179648B2 (ja) 投射制御装置、画像投射装置および投射制御方法
JP4055727B2 (ja) プロジェクタ及びパターン画像表示方法
JP4718113B2 (ja) ホワイトバランス調整方法および画像処理装置
JP2010085815A (ja) 画像表示装置、およびプロジェクタ
JP6201783B2 (ja) 距離測定装置、距離測定方法および距離測定プログラム
JP2010039184A (ja) 画像表示装置
JP2006254238A (ja) 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法
JP2018159839A (ja) 画像投影装置とその制御方法、プログラム及び記憶媒体
JP4688044B2 (ja) ホワイトバランス調整方法および画像処理装置
JP3852453B2 (ja) プロジェクタ及び露出調整方法
JP2020204747A (ja) 画像投射装置と撮像装置のむら補正システムおよびむら補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant