CN110431840A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN110431840A
CN110431840A CN201880019642.2A CN201880019642A CN110431840A CN 110431840 A CN110431840 A CN 110431840A CN 201880019642 A CN201880019642 A CN 201880019642A CN 110431840 A CN110431840 A CN 110431840A
Authority
CN
China
Prior art keywords
image
projection
liftering
projected
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880019642.2A
Other languages
English (en)
Other versions
CN110431840B (zh
Inventor
铃木孝明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110431840A publication Critical patent/CN110431840A/zh
Application granted granted Critical
Publication of CN110431840B publication Critical patent/CN110431840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/02—Multiple-film apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种允许抑制主观图像质量的降低的图像处理装置而方法。基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像。所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小。所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小。使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像进行变换以生成相位图像。本公开可以被用于例如图像处理装置、图像投影装置、控制装置、信息处理装置、投影成像系统、图像处理方法、程序等等。

Description

图像处理装置和方法
技术领域
本公开涉及一种图像处理装置和方法，特别地涉及一种允许抑制主观图像质量降低的图像处理装置和方法。
背景技术
在相关技术中，和使用一个投影器相比，存在使用多个投影器来实现大屏幕上的投影的视频显示系统和使用多个投影器改善投影图像亮度、分辨度的感觉等等的视频显示系统。在这些视频显示系统中，存在所谓的重叠区，在重叠区中来自多个投影器的视频彼此叠加并在投影器的投射区中投影。存在以下情况：重叠区的投影图像包括由于来自多个投影器的投影图像之间的位置的偏差而产生的模糊(重叠模糊)。
例如，一种认为抑制这种重叠模糊的方法使用反馈回路来调整修正以便最小化待投影的重叠图像和输入图像之间的差异(参见例如PTL1)。
进一步地，存在甚至在单个投影图像中也发生模糊(单个模糊)的情况。例如，存在以下情况：来自投影器的光在其上投影了图像的投影表面上的漫反射引起模糊，投影表面的深度变化引起模糊(所谓的焦点失调模糊)，以及投影透镜或光源引起光学模糊。一种被认为抑制这种单个模糊的方法，例如，在投影时使用照相机来执行针对单个模糊的PSF估算，并且使用所获得的模糊量设计逆滤波来投射已经应用了该滤波的输入图像(例如参见NPL1)。
指引目录]
[专利文献]
[PTL1]日本专利特许公开号2009-8974
[非专利文献]
[NPL1]M.S.Brown,P.Song and T.-J.Cham:"Image preconditioning for out-of-focus projector blur,"Proceedings of the 2006 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR'06),pp.1956-1963(2006).
发明内容
技术问题
然而，通常，在很多情况下，上述的重叠模糊和单个模糊在投影图像之间的重叠区中均会出现。在PTL1中描述的方法中，聚合校正花费很长时间，原因是这种方法涉及反馈回路处理。因此，例如，对付偏差的发生是很难的。进一步地，还存在结果不能聚合为真实值的可能性。例如，存在抑制处理时间的企图增加了不能聚合为最优解决方案的可能性的风险。进一步地，用NPL1描述的方法很难抑制重叠模糊。
本公开鉴于这些情况而提出并且允许抑制主观图像质量的降低。
[问题的解决方案]
根据本技术的一方面的图像处理装置包括：逆滤波生成部，其配置为基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；和相位图像生成部，其配置为使用由所述逆滤波生成部生成的所述逆滤波变换所述输入图像以生成相位图像。
所述逆滤波生成部可以生成所述滤波使得通过对所述输入图像进行滤波获得的值和所述输入图像的所述投影图像之间的误差最小化，并且使用所生成的滤波生成所述逆滤波。
所述逆滤波生成部可以生成维纳滤波作为所述逆滤波。
所述逆滤波生成部可以针对所述投影部的每一个生成所述逆滤波。
所述逆滤波生成部可以针对所述输入图像的代表像素生成所述逆滤波。
所述逆滤波生成部可以针对所述输入图像的所有像素生成所述逆滤波。
所述相位图像生成部可以针对所述投影部的每一个生成所述相位图像。
所述相位图像生成部可以使用由所述逆滤波生成部生成的所述逆滤波对整个所述输入图像进行变换以生成针对整个所述输入图像的所述相位图像。
所述相位图像生成部可以使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像的一部分进行变换以生成针对所述输入图像的一部分的所述相位图像。
所述相位图像生成部可以省略对所述输入图像的其他部分的变换。
所述相位图像生成部可以对所述输入图像的其他部分进行变换使得所述单个模糊量减小。
可以进一步包括单个模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述单个模糊量。
所述单个模糊量计算部可以从所述多个投影部的每一个投射测试图像并且针对通过拍摄所述测试图像的投影图像而获得的拍摄图像中的所述测试图像，计算点分布函数(PSF)作为所述单个模糊量。
可以进一步包括重叠模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述重叠模糊量。
所述重叠模糊量计算部可以从所述拍摄图像获取所述投影图像的每个像素的投影坐标并且根据所述投影坐标针对其中多个所述投影图像彼此重叠的部分计算所述重叠模糊量。
可以进一步包括成像部，其配置为对由所述多个投影部的每一个投射的所述单个投影图像进行拍摄。
可以进一步包括所述多个投影部，其各自配置为投射图像。
所述多个投影部可以各自对由所述相位图像生成部生成的所述相位图像进行投射。
所述多个投影部可以各自在互相位移的位置对所述图像进行投射使得所述投影图像具有比由所述投影部的每一个所投射的图像更高的分辨度。
根据本技术的一方面的图像处理方法包括以下步骤：基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；以及使用由所述逆滤波生成部生成的所述逆滤波变换所述输入图像以生成相位图像。
在根据本技术的一方面的图像处理装置和方法中，基于单个模糊量和重叠模糊量生成滤波的逆滤波，其被配置为将待由多个投影部投影的输入图像转换为由多个投影部投影的投影图像。单个模糊量表示在由多个投影部的每一个投影的单个投影图像中产生的光学模糊的大小。重叠模糊量表示从多个投影图像的重叠产生的光学模糊的大小。使用所生成的逆滤波对输入图像进行转换以生成相位图像。
[本发明的有益效果]
根据本公开，可以处理图像。特别地，可以抑制主观图像质量的降低。
附图说明
[图1]图1是示出投影成像系统的主要配置的示例的方框图。
[图2]图2是示出图像处理装置的主要配置的示例的方框图。
[图3]图3是描述投影处理的流程的示例的流程图。
[图4]图4是描述模糊数量计算处理的流程的示例的流程图。
[图5]图5是描述测试图像的示例的图。
[图6]图6是描述如何计算单个模糊量的示例的图。
[图7]图7是描述如何计算重叠模糊量的示例的图。
[图8]图8是描述如何设计逆滤波的示例的图。
[图9]图9是示出投影成像系统的主要配置的示例的方框图。
[图10]图10是示出投影成像系统的主要配置的示例的方框图。
[图11]图11是示出投影成像系统的主要配置的示例的方框图。
[图12]图12是示出投影成像系统的主要配置的示例的方框图。
[图13]图13是示出投影成像系统的主要配置的示例的方框图。
[图14]图14是示出投影成像系统的主要配置的示例的方框图。
[图15]图15是示出电脑的主要配置的示例的方框图。
具体实施方式
以下，将描述执行本公开的模式(以下简称实施方式)。请注意，将按照以下顺序进行描述。
1.投影图像中生成的模糊和针对模糊的措施
2.第一实施方式(投影成像系统/将所有投影图像重叠)
⒊第二实施方式(投影成像系统/将投影图像部分地重叠)
4.第三实施方式(投影成像系统/提高投影图像的分辨度)
5.第四实施方式(投影成像系统/其他的配置示例)
6.其他
<1.投影图像中生成的模糊和针对模糊的措施>
<由光学模糊引起的投影图像的主观图像质量的降低>
在相关技术中，存在由投影器投射的投影图像中出现光学模糊的情况。光学模糊是其中图像在光学上模糊的现象(其中图像变得不清楚的现象)。
例如，与使用一个投影器相比，存在一种视频显示系统，其使用多个投影器来实现在大屏幕上的投影，并且存在一种视频显示系统，其使用多个投影器来改善投影图像的亮度、分辨度的感觉等等。在这些视频显示系统中，存在所谓的重叠区，在重叠区中来自多个投影器的视频彼此重叠并且投射在投影器的投射区中。存在这种情况：重叠区中的投影图像包括由于来自多个投影器的投影图像之间的位置偏差引起的光学模糊(也被称为重叠模糊)。
进一步地，存在光学模糊(也称为单个模糊)也存在于每个叠置投影图像中的情况。例如，存在以下情况：来自投影器的光在其上投射有图像的投影表面上的漫反射引起模糊的情况，投影表面的深度变化引起模糊(所谓的焦点失调模糊)的情况，和投影透镜或光源引起模糊的情况。
通常，在很多情况下，各投影图像的上述的重叠模糊和单个模糊在投影图像之间的重叠区中均会出现。存在投影图像中的此种光学模糊的发生降低投影图像的主观图像质量的风险。
例如，NPL1中描述的抑制单个模糊的方法使用照相机来估算投影时单个模糊的PSF(点分布函数)并且使用所获得的模糊量设计逆滤波来对已经应用了滤波的输入图像进行投射。
然而，用这种方法，难以抑制重叠区中的光学模糊。例如，由于多个投影图像彼此重叠，所以各投影图像的单个模糊也在重叠区中彼此叠加。单个模糊如何存在于各投影图像中彼此无关。通常，在很多情况下，单个模糊如何存在于构成重叠区的各投影图像中彼此是不同的。因而，PSF需要针对各投影图像进行估算，以便抑制单个模糊。然而，由于NPL1中描述的方法没有考虑投影图像的重叠，因此不能掌握每个投影图像之间的位置关系(投影图像如何彼此重叠)。因此，NPL1中描述的方法只能允许观察这些彼此重叠的投影图像的像素的PSF。因此，在NPL1描述的方法中，不能正确地获得各投影图像的单个模糊的状态。结果，存在以下风险：单个模糊不能得到足够地抑制或产生使图像质量恶化(例如由于过度校正引起的振铃或锯齿)的其它因素。进一步地，由于用NPL1中描述的方法不能掌握每个投影图像之间的位置关系，所以当然也很难抑制重叠模糊。
例如，PTL1中描述的抑制重叠模糊和单个模糊的方法使用反馈回路来调整使得将待投影的重叠图像和输入图像之间的误差最小化。然而，由于该方法涉及反馈回路处理，所以将校正进行聚合需要很长时间。因此，例如，对付偏差的发生是很难的。进一步地，还存在结果不能聚合为真实值的可能性。例如，存在抑制处理时间的企图增加了不能聚合为最优解决方案的可能性的风险。
因此，即使将PTL1描述的方法和NPL1中描述的方法相结合，也难以足够地抑制重叠区中的光学模糊。用这些方法，如上所述，存在以下风险：由于例如投影图像中保留的光学模糊或使图像质量恶化的其他因素的生成而引起投影图像的主观图像质量降低。
<单个模糊和重叠模糊的抑制>
因此，基于单个模糊量和重叠模糊量生成滤波的逆滤波，其用于将待由多个投影部投影的输入图像转换为由多个投影部投影的投影图像。单个模糊量表示在由多个投影部的每一个投影的单个投影图像中产生的光学模糊的大小。重叠模糊量表示从多个投影图像的重叠产生的光学模糊的大小。使用所生成的逆滤波对输入图像进行转换以生成相位图像。
<2.第一实施方式>
<投影成像系统>
图1是示出应用了本技术的投影成像系统的实施方式的主要配置的示例的方框图。在图1中，投影成像系统100是能够投射图像、拍摄投影图像和执行用于使用应用本技术的方法抑制光学模糊的图像处理的系统。
如图1中所示，投影成像系统100包括图像处理装置111、投影装置112-1、投影装置112-2和成像装置113。图像处理装置111可通信地连接至投影装置112-1、投影装置112-2和成像装置113中的每一个。这些连接可以是有线通信或无线通信。就是说，例如，图像处理装置111、投影装置112-1、投影装置112-2和成像装置113可以使用电缆等等物理上连接或可以彼此物理上分离。请注意，在投影装置112-1和投影装置112-2不需要在描述中彼此区分的情况下，投影装置112-1和投影装置112-2将被称为投影装置112。
图像处理装置111对输入至投影成像系统100和待投射的输入图像进行有关图像处理的处理。例如，图像处理装置111对输入图像执行图像处理以抑制每个投影图像中产生的光学模糊，针对各投影装置112生成相位图像，并且将每个相位图像提供至与其对应的投影装置112。
各投影装置112执行有关图像投影的处理。例如，各投影装置112将从图像处理装置111提供的图像投射至屏幕120上。例如，投影装置112-1和投影装置112-2均将各自的图像投射在屏幕120的范围121上。
成像装置113执行与对象的成像有关的处理。例如，成像装置113拍摄屏幕120的范围122的图像。也就是说，成像装置113拍摄投射到屏幕120上的投影图像。请注意，如图1中所示，范围122包括整个范围121。也就是说，成像装置113拍摄屏幕120的范围的图像，该屏幕120的范围包括其中由多个投影装置112投射的投影图像之间的整个重叠区被投影的范围。成像装置113将通过拍摄图像获得的拍摄图像提供给图像处理装置111。图像处理装置111基于拍摄图像执行上述图像处理。
请注意，屏幕120是其上投影装置112投射图像的对象的示例，并且其上投射图像的对象不限于屏幕120。也就是说，投影装置112可以将图像投影在任意对象上并且成像装置113也可以拍摄该对象上投射的投影图像。
<图像处理装置的配置>
图2是示出图1的图像处理装置111的主要配置的示例的方框图。如图2中所示，图像处理装置111包括测试图像存储部131、投影控制部132、成像控制部133、单个模糊量计算部134、单个模糊量存储部135、投影坐标识别部136、投影坐标存储部137、重叠模糊量计算部138、逆滤波设计部139和相位图像生成部140。
例如，测试图像存储部131包括任意的记录介质例如硬盘或半导体存储器，并且在记录介质中存储测试图像。测试图像是用于抑制光学模糊的预定设计的图像。
例如，测试图像存储部131在任意时刻或基于来自外部例如投影控制部132的请求而将测试图像提供给投影控制部132。
投影控制部132执行与投影装置112的控制有关的处理。例如，投影控制部132将从测试图像存储部131提供的测试图像以及从相位图像生成部140提供的输入图像和相位图像提供给投影装置112-1和投影装置112-2。进一步地，投影控制部132控制投影装置112-1和投影装置112-2，使投影装置112-1和投影装置112-2对所提供的图像进行投射。
成像控制部133执行与成像装置113的控制有关的处理。例如，成像控制部133控制成像装置113，使得成像装置113拍摄对象(例如，其上投射了图像的屏幕120)的图像，并且获得所得的拍摄图像。进一步地，成像控制部133将已经获得的拍摄图像提供给单个模糊量计算部134和投影坐标识别部136。
单个模糊量计算部134执行与单个模糊量的计算有关的处理，单个模糊量表示由各投影装置112投射的单个投影图像中产生的单个模糊的大小。例如，单个模糊量计算部134从成像控制部133获得通过对投影装置112-1投射的投影图像进行拍摄而获得的拍摄图像，并且基于该拍摄图像计算由投影装置112-1投射的投影图像的单个模糊量。同样地，单个模糊量计算部134从成像控制部133获得通过对投影装置112-2投射的投影图像进行拍摄而获得的拍摄图像，并且基于该拍摄图像计算由投影装置112-2投射的投影图像的单个模糊量。单个模糊量计算部134将表示所计算的单个模糊量的信息提供给单个模糊量存储部135。
例如，单个模糊量存储部135包括任意的记录介质例如硬盘或半导体存储器，并且存储从单个模糊量计算部134提供的表示单个模糊量的信息。进一步地，例如，单个模糊量存储部135在预定时刻或者响应于来自外部例如逆滤波设计部139的请求而将表示所存储的单个模糊量的信息提供给逆滤波设计部139。
投影坐标识别部136执行与由各投影装置112投射的单个投影图像的位置(也称为投影坐标)的识别有关的处理。例如，投影坐标识别部136从成像控制部133获得通过对由投影装置112-1投射的投影图像进行拍摄而获得的拍摄图像，并且基于该拍摄图像识别由投影装置112-1投射的投影图像的投影坐标。同样地，投影坐标识别部136从成像控制部133获得通过对由投影装置112-2投射的投影图像进行拍摄而获得的拍摄图像，并且基于该拍摄图像识别由投影装置112-2投射的投影图像的投影坐标。投影坐标识别部136将表示所识别的投影坐标的信息提供给投影坐标存储部137。
例如，投影坐标存储部137包括任意的记录介质例如硬盘或半导体存储器，并且存储表示从投影坐标识别部136提供的投影坐标的信息。进一步地，例如，投影坐标存储部137在预定时刻或者响应于来自外部例如重叠模糊量计算部138的请求而将表示所存储的投影坐标的信息提供给重叠模糊量计算部138。
重叠模糊量计算部138执行与表示重叠模糊(从多个投影图像的重叠产生的光学模糊)的大小的重叠模糊量的计算有关的处理。例如，重叠模糊量计算部138从投影坐标存储部137获得表示投影坐标的信息，并且基于该信息计算重叠模糊量。进一步地，重叠模糊量计算部138将表示所计算的重叠模糊量的信息提供给逆滤波设计部139。
逆滤波设计部139执行与滤波的逆滤波的生成有关的处理，该逆滤波用于将待由投影装置112的相应的一个投射的单个输入图像转换为由投影装置112的相应的一个投射在屏幕120上的投影图像。逆滤波是这样的滤波，其使得应用该逆滤波引起变换的逆变换，该变换是由应用对应于该逆滤波的滤波而执行的变换。也就是说，应用该逆滤波可以抵消滤波的影响。例如，逆滤波设计部139从重叠模糊量计算部138获得表示重叠模糊量的信息。进一步地，逆滤波设计部139从单个模糊量存储部135获得表示单个模糊量的信息。基于这些信息，逆滤波设计部139设计和生成用于将输入图像转换为投影图像的滤波，并且设计和生成该滤波的逆滤波。逆滤波设计部139针对各投影装置112生成逆滤波。进一步地，逆滤波设计部139将所生成的逆滤波提供给相位图像生成部40。
相位图像生成部140执行与相位图像的生成有关的处理。相位图像是通过对输入图像应用已经由逆滤波设计部139生成的逆滤波而获得的图像。也就是说，相位图像是其中输入图像的像素值被校正使得降低输入图像和投影图像之间的误差的图像。例如，相位图像生成部140从逆滤波设计部获得逆滤波并且使用逆滤波对输入图像进行转换以生成相位图像。相位图像生成部140将所生成的相位图像提供给投影控制部132，使得相应的投影装置112对相位图像进行投射。如上所述，对相位图像进行校正使得抵消输入图像和其投影图像之间的误差(即，输入图像到投影图像的变化)。因此，相位图像的投影图像变得更接近输入图像。也就是说，以这种方式使投影装置112投射相位图像而不是输入图像可以降低输入图像和投影图像之间的误差。也就是说，可以抑制投影图像中的单个模糊和重叠模糊。相位图像生成部140针对各投影装置112生成相位图像。
请注意，相位图像生成部140还可以将输入图像提供给投影控制部132，而不校正输入图像，使得相应的投影装置112投射该输入图像。
<投影处理的流程>
投影成像系统100执行投影处理以对图像进行投射。将参考图3中的流程图描述投影处理的流程的示例。
当投影处理开始时，图像处理装置111在步骤S101执行模糊量计算处理以计算投影图像中产生的光学模糊的模糊量。在步骤S102中，图像处理装置111的相位图像生成部140向输入图像应用针对投射该输入图像的相应投影装置112的逆滤波，以生成对应于整个输入图像的相位图像。在步骤S103中，投影装置112获得并投射已经在步骤S102中生成的并且对应于投影装置112本身的相位图像。
例如，相位图像生成部140将针对投影装置112-1的逆滤波应用于待由投影装置112-1投射的输入图像，以将该输入图像转换为相位图像，并且将该相位图像经由投影控制部132提供给投影装置112-1。进一步地，相位图像生成部140将针对投影装置112-2的逆滤波应用于待由投影装置112-2投射的输入图像，以将该输入图像转换为相位图像，并且将该相位图像经由投影控制部132提供给投影装置112-2。各投影装置112由投影控制部132控制并且对向其提供的相位图像进行投射。
请注意，对应于各投影装置112的输入图像可以是输入至投影成像系统100的活动图像的相同帧的图像或不同帧的图像。
在步骤S104中，投影控制部132确定是否结束投影。在已经确定存在未处理的输入图像并且投影未结束的情况下，处理回到步骤S102并且重复后续处理。也就是说，对各输入图像执行步骤S102至S104的各处理。然后，在步骤S104中，在已经确定在例如处理了所有输入图像之后投影结束的情况下，投影处理结束。
<模糊量计算处理的流程>
接下来，将参考图4中的流程图描述图3的步骤S101中执行的模糊量计算处理的流程的示例。
在步骤S151中，当模糊量计算处理开始时，投影控制部132从未处理的投影装置112中选择待处理的投影装置112(也称为当前投影装置)。在步骤S152中，投影控制部132读取测试图像存储部131存储的测试图像，将该测试图像提供给当前投影装置112，并且控制该当前投影装置112以使当前投影装置112投射所提供的测试图像。当前投影装置112根据控制将所提供的测试图像投射在屏幕120上。
图5示出了测试图像的示例。在图5的示例的情况下，测试图像210包括以预定间隔描画在整个图像上的点图案211。当然，测试图像的内容(设计、亮度、颜色、图案等等)可以是任何内容，只要可以计算单个模糊量、识别投影坐标等等。
在步骤S153中，成像控制部133控制成像装置113，使成像装置113拍摄投射在屏幕120上的测试图像的投影图像。成像装置113根据控制拍摄投影图像并且将拍摄的图像提供给成像控制部133。成像控制部133将所提供的拍摄图像提供给单个模糊量计算部134和投影坐标识别部136。
在步骤S154中，单个模糊量计算部134基于所提供的拍摄图像计算包括在拍摄图像中的测试图像的投影图像的单个模糊量ωindividual blur。例如，如图6的A中所示，当测试图像的投影图像中存在单个模糊时，图5中的测试图像210的点图案211扩散了(所谓的模糊)。单个模糊量计算部134基于点图案211如何扩散而计算单个模糊量ωindividual blur。
计算单个模糊量ω单个模糊的方法是任意的。进一步地，单个模糊量ωindividual blur可以是任何参数，只要单个模糊量ωindividual blur是表示单个模糊的大小的参数。例如，单个模糊量计算部134可以从拍摄图像提取点图案211的图像(图6的A)并且分析该图像以计算PSF(点分布函数)作为单个模糊量ωindividual blur。进一步地，例如，单个模糊量计算部134可以在监视器上与拍摄图像一起显示用户界面(UI)。用户界面可以再现点图案211的扩展。当用户在视觉上检查点图案211如何在拍摄图像上扩展的同时，用户可以通过操作用户界面再现点图案211如何扩展。单个模糊量计算部134可以接收操作并且设定表示再现的点图案211如何扩展的参数作为单个模糊量ωindividual blur。
单个模糊量计算部134将表示所计算的单个模糊量ωindividual blur的信息提供给单个模糊量存储部135，使单个模糊量存储部135存储该信息。
在步骤S155中，投影坐标识别部基于所提供的拍摄图像识别包括在拍摄图像中的测试图像的投影图像的每一像素的投影坐标(即，投射每个像素的位置(坐标))。
例如，假定由投影装置112-1投射的投影图像和由投影装置112-2投射的投影图像如图7的A所示进行投射。例如，由虚线表示的各正方形表示由投影装置112-1投射的投影图像的像素开口。像素开口表示其中投射一个像素的光的范围。也就是说，图7的A示出了其中从投影装置112-1输出的四个像素(2×2像素)的光被投射的范围(像素开口251-1、像素开口251-2、像素开口251-3和像素开口251-4)。在像素开口251-1至251-4在描述中不需要彼此区分的情况下，像素开口251-1至251-4将被称为像素开口251。相反，例如，图7的A中由虚线表示的各正方形表示由投影装置112-2投射的投影图像的像素开口。也就是说，图7的A示出了其中从投影装置112-2输出的四个像素(2×2像素)的光被投射的范围(像素开口261-1、像素开口261-2、像素开口261-3和像素开口261-4)。在像素开口261-1至261-4在描述中不需要彼此区分的情况下，像素开口261-1至261-4将被称为像素开口261。
请注意，在图7的A中，重心252-1表示像素开口251-1的重心，重心252-2表示像素开口251-2的重心，重心252-3表示像素开口251-3的重心，重心252-4表示像素开口251-4的重心。同样地，重心262-1表示像素开口261-1的重心，重心262-2表示像素开口261-2的重心，重心262-3表示像素开口261-3的重心，重心262-4表示像素开口261-4的重心。在重心252-1至重心252-4在描述中不需要彼此区分的情况下，重心252-1至重心252-4将被称为重心252。进一步地，在重心262-1至重心262-4在描述中不需要彼此区分的情况下，重心262-1至重心262-4将被称为重心262。
投影坐标识别部136识别每个像素开口的重心的这种坐标作为各像素的投影坐标。投影坐标识别部136将表示每一像素的所识别的投影坐标的信息提供给投影坐标存储部137，使投影坐标存储部137存储该信息。
在步骤S156中，投影控制部132确定是否全部的投影装置112都已经被处理。被选为已经确定任何未处理的投影装置112的情况下，处理回到步骤S151并且选择新的未处理的投影装置112作为当前投影装置112。然后，对该新的当前投影装置112执行步骤S152到S156的各项处理。也就是说，已经针对各投影装置112执行了步骤S151到S156的各项处理。然后，在步骤S156中已经确定全部的投影装置112都已经处理的情况下，处理转到步骤S157。
在步骤S157中，重叠模糊量计算部138获得表示保存在投影坐标存储部137中的投影坐标的信息并且从该投影坐标计算重叠模糊量ωsuperimposition blur。如上所述，已经针对各投影装置112执行了步骤S151到S156的各项处理。因此，投影坐标存储部137保存由所有投影装置112投射的投影图像的每一个的每个像素的投影坐标。也就是说，如图7的A所示，例如，彼此重叠的投影图像之间的投影坐标的位置关系(例如，方向、距离等等)由此信息变得清晰。因此，重叠模糊量计算部138基于投影坐标的位置关系(像素开口的重心的位置关系)计算重叠模糊量ωsuperimposition blur。
计算重叠模糊量ωsuperimpositionblur的方法是任意的。进一步地，重叠模糊量ωsuperimposition blur可以是任何参数，只要该重叠模糊量ωsuperimposition blur是表示重叠模糊的大小的参数。例如，在图7的A中的重叠示例中，如图7的B中所示，其中由投影装置112-1投射的投影图像和由投影装置112-2投射的投影图像彼此重叠的投影图像的像素值z可以表示为下列公式(1)。投影图像的像素值z在像素开口261-1(像素值x01)的位置处。
请注意，在公式(1)中，δ0表示其中像素开口261-1和像素开口251-1(像素值x10)彼此重叠的部分与整个像素开口261-1的比率。δ1表示其中像素开口261-1和像素开口251-2(像素值x11)彼此重叠的部分与整个像素开口261-1的比率。δ2表示其中像素开口261-1和像素开口251-4(像素值x12)彼此重叠的部分与整个像素开口261-1的比率。δ3表示其中像素开口261-1和像素开口251-3(像素x13)彼此重叠的部分与整个像素开口261-1的比率。
z＝(δ0+δ1+δ2+δ3)x01+δ0x10+δ1x11+δ2x12+δ3x13…(1)
δ0到δ3可以基于彼此重叠的两个投影图像的投影坐标来获得。各投影图像的像素值(不包括单个模糊的像素值)可以从对应的输入图像获得。因此，重叠的投影图像的像素值z(仅包括重叠模糊的像素值)可以使用公式(1)表明的模型公式来获得。例如，可以将这个像素值z和相应输入图像的像素值之间的误差的大小设定为重叠模糊量ωsuperimposition blur。
重叠模糊量计算部138将表示所计算的重叠模糊量ωsuperimposition blur的信息提供给逆滤波设计部139。
在步骤S158中，逆滤波设计部139从重叠模糊量计算部138获得表示重叠模糊量ωsuperimposition blur的信息。进一步地，逆滤波设计部139获得表示保存在单个模糊量存储部135中的单个模糊量ωindividual blur的信息。如上所述，由于已经针对各投影装置112执行了步骤S151到S156的各处理，所以单个模糊量存储部135存储表示由所有投影装置112投射的投影图像的每一个的个体模糊量ωindividual blur的信息。
因此，如在下面公式(2)中所示，逆滤波设计部139对将要重叠在重叠模糊量ωsuperimpositionblur上的各投影图像的单个模糊量ωindividualblur进行卷积，以获得重叠投影图像的模糊量(最终模糊量ωfinal blur)。
ωfinal blur＝ωindividual blur*ωsuperimposition blur...(2)
逆滤波设计部139针对投影图像彼此重叠的部分的所有像素获得最终模糊量ωfinal blur，并使用所得值设计用于将输入图像转换为重叠投影图像的滤波。也就是说，逆滤波设计部针对各投影装置112生成滤波。
设计(生成)这种滤波的方法是任意的。例如，如图8的A所示，该滤波可以设计为使得通过对所述输入图像进行滤波获得的值和输入图像的投影图像之间的误差最小化。例如，该滤波的一个像素的系数假定为wj。投影图像的像素值yi可以使用模糊量ωk、系数wj和输入图像的像素值xkj来表示，如下列公式(3)所示。可以以使得像素值yi和教师ti之间的误差εi(公式(4))最小化的方式，使用机器学习来获得系数wj。教师ti是其中由各个投影装置112投射的投影图像彼此重叠的投影图像的像素值。
εi＝ti-yi…(4)
进一步地，例如，可以以使得输入图像的像素值和投影图像的均方误差最小化的方式设计滤波。
在如上所述设计滤波之后，逆滤波设计部139设计并且生成各滤波的逆滤波。也就是说，逆该逆滤波设计部针对各投影装置112生成逆滤波。设计(生成)这种逆滤波的方法是任意的。例如，如图8的B所示，可以使用维纳滤波。在如上所述生成逆滤波之后，逆滤波设计部139将所生成的逆滤波提供给相位图像生成部140。
当步骤S158中的处理结束时，模糊量计算处理结束并且处理回到图3。
如上所述执行各处理允许更精确地获取模糊量，从而允许更精确地抑制多个投影图像彼此重叠的投影图像中的单个模糊和重叠模糊。也就是说，可以抑制投影图像的主观图像质量的降低。进一步地，通过如上所述计算模糊量可以以较高速度计算模糊量。
请注意，虽然在上述描述中，获得一个像素的系数w来设计滤波，但是系数w的数目是任意的，并且可以是一个或一个以上。例如，可以设定任意数目的代表性像素并且可以针对各代表性像素计算系数w。可以针对整个图像设定代表性像素或可以针对图像的部分区域设定代表性像素。进一步地，可以针对图像的所有像素的每一个计算系数w。例如，可以使用线性程序等等计算各系数w。
<3.第二实施方式>
<部分重叠投影图像>
请注意，由各个投影装置112投射的单个投影图像的投影位置可以彼此不同。也就是说，其中多个投影图像彼此重叠的重叠区可以是真个投影图像，如图1中的示例中所示。例如，投影图像的部分区域可以彼此重叠，如图9中的示例中所示。
图9中所示的投影成像系统300是具有与图1中的投影成像系统100类似配置并且执行类似处理的系统。然而，在投影成像系统300的情况下，由投影装置112-1投射的投影图像和由投影装置112-2投射的投影图像之间的重叠区是投影图像的一部分。
如图9中所示，由投影装置112-1投射的投影图像被投射在屏幕120的范围311上。相对地，由投影装置112-2投射的投影图像被投射在屏幕120的范围312上。因此，重叠区是范围313，其是范围311和312彼此重叠的部分。也就是说，这些投影装置112投射的投影图像的仅部分区域彼此重叠。这种配置例如可以进一步增加图像尺寸同时抑制投影图像的图像质量的降低。
如果成像装置113拍摄整个重叠区的图像，这样是足够的。因此，成像装置113可以拍摄包括范围311和范围312的范围314的图像，如图9中的示例所示。
本技术还可以被用于此投影成像系统300。也就是说，如第一实施方式中所描述的情况，投影成像系统300也可以更精确地抑制重叠区中的单个模糊和重叠模糊。也就是说，可以抑制投影图像的主观图像质量的降低。进一步地，通过如上所述计算模糊量可以以较高速度计算模糊量。
请注意，在这种情况下，相位图像生成部140针对投影图像之间的重叠区生成相位图像。也就是说，在第一实施方式中的描述中，相位图像生成部140针对整个输入图像生成相位图像。然而，在这种情况下，相位图像生成部140使用由逆滤波生成部139生成的逆滤波对输入图像的一部分进行转换，以针对输入图像的一部分生成相位图像。
此时，相位图像生成部140可以省略针对投影图像之间的重叠区以外的区域的相位图像的生成。也就是说，可以针对投影图像之间的重叠区以外的区域投射该输入图像。进一步地，相位图像生成部140可以执行图像处理以便仅抑制投影图像之间的重叠区以外的区域中的单个模糊。此配置可以减少图像处理的处理量，从而抑制负荷和成本的增加。进一步地，例如，逆滤波设计部139可以仅使用单个模糊量针对此区域设计滤波，来生成其逆滤波，并且相位图像生成部140可以使用该逆滤波来生成投影图像之间的重叠区以外的区域的相位图像。此配置也可以抑制重叠区之外的区域的主观图像质量的降低。
<4.第三实施方式>
请注意，由各投影装置112投射的单个投影图像的各个像素的投影位置可以彼此移位。例如，将各投影图像的投影位置移位半个像素可以提高其中多个投影图像彼此重叠的投影图像的分辨度。用这样的方式，本技术还可以被用于在正确位置投射各投影图像的状态下重叠区的每一像素的投影坐标在投影图像之间彼此不匹配的情况。
例如，图10中示出的投影成像系统400是与投影成像系统100类似的系统，但是包括图像处理装置111、投影装置412-1至412-4以及成像装置113。在投影装置412-1至412-4在描述中不需要彼此区分的情况下，投影装置412-1至412-4将被称为投影装置412。输入图像处理装置111的输入图像的分辨度为所谓的8K(7680像素×4320像素)。投影装置412是具有与投影装置112类似配置并且执行类似处理的装置。投影装置412可以以所谓的4K(3840像素×2160像素)分辨度投射图像。所以，图像处理装置111从8K分辨度的输入图像生成4k的相位图像，并且将相位图像提供给相应的投影装置412。
四个投影装置412的每一个将具有4K分辨度的图像投射在屏幕120的范围421上。此时，各投影装置412在各自在垂直方向或水平方向上移位半个像素的位置中每个相应位置处将图像投射在屏幕120上。结果，在屏幕120的范围421的位置处对具有8K分辨度的投影图像进行投射。
如果成像装置113拍摄整个重叠区的图像，这是足够的。所以，成像装置113对包括范围421的范围422的图像进行拍摄。
通过用这样的方式投射图像，投影成像系统400可以使用投射4K分辨度的图像的投影装置412来投射具有8K分辨度的图像，而不会实质上改变图像尺寸。也就是说，使用各自投射具有比输入图像的分辨度更低的分辨度的图像的多个投影装置，投影成像系统400可以执行输入图像的图像投影，而不降低投影图像的分辨度。换言之，通过使用多个投影装置，投影成像系统400可以执行图像投影，使得投影图像的分辨度变得比投影装置可以投射图像的分辨度更高。也就是说，由于可以使用具有更低性能的投影装置，所以可以抑制成本的增加(成本降低，同时可以抑制电力消耗的增加)。
本技术还可以被用于此投影成像系统400。也就是说，如在第一实施方式中所描述的情况下，投影成像系统400还可以更精确地抑制重叠区中的单个模糊于是重叠模糊。也就是说，可以抑制投影图像的主观图像质量的降低。进一步地，通过如上所述计算模糊量可以以较高的速度计算模糊量。
<5.第四实施方式>
<其他配置>
请注意，应用本技术的投影成像系统100的配置不限于上述图1、9和10中的示例。例如，图像处理装置111的数目、投影装置112的数目和成像装置113的数目中的每一个都是任意的并且可以是一个以上。进一步地，各投影装置112的规格(例如，分辨度，亮度、帧速等等)可能全部相同或可能不全部相同。
进一步地，例如，如图11中所示，投影成像系统100的各装置可以彼此通过网络501连接。
此网络501是任意的通信网络。例如，通过网络501使用的通信方法是任意的并且可以是有线通信、无线通信或两者。进一步地，网络501可以包括单个通信网络或可以包括多个通信网络。例如，网络501可以包括通信网络和/或符合任意通信标准的通信路径例如：因特网；公用交换电话网；用于无线移动终端的广域通信网例如所谓的3G网络或4G网络；WAN(广域网)；LAN(局域网)；用于执行符合Bluetooth(注册商标)标准的通信的无线通信网；用于近场通信的通信路径例如近场通信(NFC)；用于红外通信的通信路径；和符合标准例如HDMI(高清晰度多媒体接口)注册商标)或USB(通用串行总线)的有线通信的通信网络。
各装置通信地连接至网络501。请注意，这种连接可以是有线的(即，通过有线通信的连接)、无线的(即，通过无线通信的连接)，或两者。各装置可以通过网络501互相通信(发送与接收信息等等)。换句话说，各装置可以通过其他设备(装置、传输路径等等)彼此连接以，以便可互相通信。同样具有这样的配置，如在如上所述的另一实施方式中的情况下，本技术可以被用于投影成像系统100，投影成像系统100可以提供如上所述的功能效果。
进一步地，例如，如图12中所示，投影装置112和成像装置113可以集成以作为一个装置来配置。在图12的示例的情况下，投影成像系统100包括投影成像装置510，而不是投影装置112和成像装置113。投影成像装置510是执行有关图像的投影和拍摄的处理的装置，然后就包括投影部512-1、投影部512-2和成像部513。投影部512-1和投影部512-2是执行有关图像投影的处理的处理部。投影部512-1和投影部512-2的每一个具有与投影装置112类似的配置并且执行类似的处理。请注意，在投影部512-1和投影部512-2在描述中不需要彼此区分的情况下，投影部512-1和投影部512-2将被称为投影部512。成像部513是执行有关图像拍摄的处理的处理部。成像部513具有与成像装置113类似的配置并且执行类似的处理。如图12中所示，此投影成像装置510也连接到图像处理装置111。基于由成像部513拍摄的拍摄图像，图像处理装置111将输入图像进行转换以生成相位图像，以便减少投影图像中的单个模糊和重叠模糊。各投影部512投射该相位图像。所以，在这种配置下，本技术可以被用于投影成像系统100，投影成像系统100可以提供如上所述的功能效果。
请注意，仅投影装置112可以集成为一个装置，而成像装置113可以是与其独立地设置的装置。进一步地，仅投影装置112的一些可以集成，而其余投影装置112和成像装置113可以是与其独立地设置的装置。
进一步地，图像处理装置也可以进行集成。例如，如图13中所示，图像处理装置111和投影装置112可以集成以作为一个装置来配置。在图13的示例的情况下，投影成像系统100包括投影装置530，而不是图像处理装置111和投影装置112-1。投影装置530包括图像处理部531和投影部512。图像处理部531是执行与对输入图像进行的图像处理有关的处理的处理部。图像处理部531具有与图像处理装置111类似的配置并且执行类似的处理。如图13中所示，与投影装置112和成像装置113连接至图像处理装置111的情况类似，投影装置112和成像装置113连接至图像处理部531。基于由成像装置113拍摄的拍摄图像，图像处理部531将输入图像进行转换以生成相位图像，以便减少投影图像中的单个模糊和重叠模糊。投影部512和投影装置112中的每一个对相应的相位图像进行投射。所以，在这种配置下，本技术可以被用于投影成像系统100，投影成像系统100可以提供如上所述的功能效果。
请注意，图像处理装置111和多个投影装置112可以集成为一个装置。进一步地，图像处理装置111和所有投影装置112可以集成为一个装置。进一步地，图像处理装置111和成像装置113可以集成为一个装置。
另外，如图14中所示，例如，投影成像系统100的所有装置可以进行集成。在图14的示例的情况下，投影成像系统100包括投影成像装置，而不是图像处理装置111、投影装置112和成像装置113。投影成像装置540包括图像处理部531、投影部512-1、投影部512-2和成像部513。基于由成像部513拍摄的拍摄图像，图像处理部531将输入图像进行转换以生成相位图像，以便减少投影图像中的单个模糊和重叠模糊。各投影部512投射相应的相位图像。所以，在这种配置下，本技术可以被用于投影成像系统100，投影成像系统100可以提供如上所述的功能效果。
不必说，投影成像系统100的各装置不限于上述示例并且可以以任何组合集成为一个装置。请注意，如在上述投影成像系统100的情况下，影成像系统300和投影成像系统400也可以具有任何配置。
进一步地，虽然已经使用投影成像系统对本技术进行了描述，但是本技术可以被用于任何具有图像显示功能的配置，例如图像显示装置或图像显示系统，或任何执行显示图像的处理的配置。
<6.其他>
<本技术的应用领域>
本技术可以被用于在任意领域例如交通、医疗护理、犯罪预防、农业、畜牧业、采矿业、美容、制造厂、家用电子设备、气象和自然监视中使用的系统、装置、处理部等等，只要该系统，装置、处理部等等用于图像处理。
例如，本技术还可以应用于用来观看的系统和设备。进一步地，例如，本技术还可以应用于用来交通管理的系统和设备。另外，例如，本技术还可以应用于安全中使用的系统和设备。进一步地，例如，本技术还可以应用于运动中使用的系统和设备。另外，例如，本技术还可以应用于农业中使用的系统和设备。进一步地，例如，本技术还可以应用于畜牧业中使用的系统和设备。另外，例如，本技术还可以以应用于用来监视自然状态例如火山、森林和海洋的系统和设备。进一步地，例如，本技术可以被用于用来观察天气、温度、湿度、风速、白昼时间等等的气象观测系统和气象观测装置。另外，例如，本技术还可以以应用于用来观察野生生物例如鸟，鱼、爬虫、两栖动物、哺乳动物、昆虫和植物的生态的系统、装置等等。
<软件>
如上所述的一系列处理可以由硬件或软件来执行。进一步地，处理的一部分可以由硬件来执行，而其他处理可以由软件来执行。在由软件执行一系列处理的情况下，构成软件的程序安装在计算机中。这里，计算机的示例包括例如能够用其内安装的各种程序执行各种功能的结合有专用硬件的计算机和通用个人计算机。
图15是示出了根据程序执行如上所述的一系列处理的计算机硬件配置的示例的方框图。
在图15中所示的计算机900中，CPU(中央处理器)901、ROM(只读存储器)902和RAM(随机存取存储器)903经由母线904彼此连接。
进一步地，输入/输出接口910也连接至母线904。输入部911、输出部912、存储部913、通信部914和驱动器915连接至输入/输出接口910。
输入部911包括例如键盘、鼠标、麦克风、触板、输入终端等等。输出部912包括例如显示器、扬声器、输出终端等等。存储部913包括例如硬盘、RAM磁盘、非易失性存储器等等。通信部914包括例如网络接口。驱动器915驱动可移动介质921例如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中，例如，CPU901将存储在存储部913中的程序经由输入/输出接口910和母线904加载进入RAM903并且执行该程序，通过该程序执行上述一系列处理。RAM903也酌情存储CPU901执行各种系列的处理所需的数据等。
由计算机(CPU901)执行的程序可以记录在例如充当包装介质等的可移动介质921中，并且进行应用。在这种情况下，该程序可以通过将可移动介质921附接至驱动器915经由输入/输出接口910安装在存储部913中。进一步地，程序还可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播进行设置。在这种情况下，程序可以由通信部914接收并且安装在存储部913中。另外，程序可以预先安装在ROM902或存储部913中。
<补充>
本技术的实施方式不限于如上所述的实施方式并且可以在不脱离本技术的范围下进行各种修改。
例如，本技术还可以作为包括在装置或系统中的任何配置来实施，例如，充当系统LSI(大规模集成电路)等等的处理器、使用多个处理器等等的模块、使用多个模块等等的单元、其中其他功能进一步被添加到单元的机组等等(即，装置的部分配置)。
请注意，在本说明书中，系统是指多个组成元件(装置、模块(组件)等等)的集合，并且与所有组成元件是否在同一个外壳内无关。所以，存储在分离的外壳中并且经由网络连接的多个装置以及存储在一个外壳中的多个模块的一个装置，这种情况的任一种，都是系统。
进一步地，上述处理部可以由任何配置来实施，只要处理部具有针对各处理部描述的功能即可。例如，处理部可以包括任何电路、LSI、系统LSI、处理器、模块、单元、机组、设备、装置、系统等等。进一步地，处理部可以由其多个组合来实施。例如，可以结合相同类型的配置例如多个电路、多个处理器等等，或者可以结合不同类型的配置例如电路和LSI。
进一步地，例如，描述为一个装置(或处理部)的配置可以分开并且配置为多个装置(或处理部)。反之，以上描述为多个装置(或处理部)的配置可以进行结合并且配置为一个装置(或处理部)。进一步地，当然，可以将上述配置以外的配置添加至各装置(或各处理部)的配置中。另外，一个装置(或处理部)的配置的一部分可以包含在另一个装置(或另一个处理部)的配置中，只要配置和操作作为整个系统是实质上一样的。
进一步地，例如，本技术可以配置为云计算，其中一个功能经由网络在多个装置之间被协同地分担和处理。
进一步地，例如，如上所述的程序可以在任意装置中来执行。在这种情况下，如果该装置具有必需的功能(功能块等)并且能够获得必需的信息，那么这是足够的。
进一步地，例如，如上所述的流程图中描述的每个步骤可以由一个装置或以分担方式由多个装置来执行。另外，在一个步骤包括多个处理的情况下，包含在这一个步骤中的多个处理可以由一个装置或以分担方式由多个装置来执行。换言之，包含在一个步骤中的多个处理还可以在作为多个步骤中的处理来执行。相反地，描述为多个步骤的处理也可以相结合并且作为一个步骤来执行。
在由计算机执行的程序中，描述该程序的步骤的处理可以以本说明书中描述的顺序按照时间顺序来执行。作为选择，步骤中的处理可以并行执行，或者可以在调用等情况下在必需的时刻单独地执行。也就是说，各步骤中的处理可以与不同于上述的顺序来执行，只要没有冲突。另外，描述该程序的步骤中的处理可以与另一个程序的处理并列执行，或者与另一个程序的处理相结合地执行。
在本说明书中描述的多个本技术的每一个都可以作为单个技术独立地实施，只要没有冲突。当然，多个任意本技术也可以联合实施。例如，在一个实施方式中描述的本技术的一部分或者全部也可以与另一个实施方式中描述的本技术的一部分或全部联合实施。进一步地，如上所述的任意本技术的一部分或全部也可以与在以上未描述的另一个技术联合实施。
请注意，本技术还可以如下配置。
(1)一种图像处理装置，其包含：
逆滤波生成部，其配置为基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；和
相位图像生成部，其配置为使用由所述逆滤波生成部生成的所述逆滤波变换所述输入图像以生成相位图像。
(2)根据(1)所述的图像处理装置，其中
所述逆滤波生成部配置为生成所述滤波使得通过对所述输入图像进行滤波获得的值和所述输入图像的所述投影图像之间的误差最小化，并且使用所生成的滤波生成所述逆滤波。
(3)根据(2)所述的图像处理装置，其中
所述逆滤波生成部配置为生成维纳滤波作为所述逆滤波。
(4)根据(1)至(3)任一项所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述投影部的每一个生成所述逆滤波。
(5)根据(1)至(4)任一项所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述输入图像的代表像素生成所述逆滤波。
(6)根据(1)至(4)任一项所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述输入图像的所有像素生成所述逆滤波。
(7)根据(1)至(6)任一项所述的图像处理装置，其中
所述相位图像生成部配置为针对所述投影部的每一个生成所述相位图像。
(8)根据(1)至(7)任一项所述的图像处理装置，其中
所述相位图像生成部配置为使用由所述逆滤波生成部生成的所述逆滤波对整个所述输入图像进行变换以生成针对整个所述输入图像的所述相位图像。
(9)根据(1)至(7)任一项所述的图像处理装置，其中
所述相位图像生成部配置为使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像的一部分进行变换以生成针对所述输入图像的一部分的所述相位图像。
(10)根据(9)所述的图像处理装置，其中
所述相位图像生成部配置为省略对所述输入图像的其他部分的变换。
(11)根据(9)所述的图像处理装置，其中
所述相位图像生成部配置为对所述输入图像的其他部分进行变换使得所述单个模糊量减小。
(12)根据(1)至(11)任一项所述的图像处理装置，进一步包含:
单个模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述单个模糊量。
(13)根据(12)所述的图像处理装置，其中
所述单个模糊量计算部配置为从所述多个投影部的每一个投射测试图像并且针对通过拍摄所述测试图像的投影图像而获得的拍摄图像中的所述测试图像，计算点分布函数(PSF)作为所述单个模糊量。
(14)根据(1)至(13)任一项所述的图像处理装置，进一步包含:
重叠模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述重叠模糊量。
(15)根据(14)所述的图像处理装置，其中
所述重叠模糊量计算部配置为从所述拍摄图像获取所述投影图像的每个像素的投影坐标并且根据所述投影坐标针对其中多个所述投影图像彼此重叠的部分计算所述重叠模糊量。
(16)根据(1)至(15)任一项所述的图像处理装置，进一步包含:
成像部，其配置为对由所述多个投影部的每一个投射的所述单个投影图像进行拍摄。
(17)根据(1)至(16)任一项所述的图像处理装置，进一步包含:
所述多个投影部，其各自配置为投射图像。
(18)根据(17)所述的图像处理装置，其中
所述多个投影部各自配置为对由所述相位图像生成部生成的所述相位图像进行投射。
(19)根据(17)或(18)所述的图像处理装置，其中
所述多个投影部各自配置为在互相位移的位置对所述图像进行投射使得所述投影图像具有比由所述投影部的每一个所投射的图像更高的分辨度。
(20)一种图像处理方法，其包括以下步骤：
基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；以及
使用由所述逆滤波生成部生成的所述逆滤波变换所述输入图像以生成相位图像。
[参考符号列表]
100投影成像系统、111图像处理装置、112投影装置、113成像装置、120屏幕、131测试图像存储部、132投影控制部、133成像控制部、134单个模糊量计算部、135单个模糊量存储部、136投影坐标识别部、137投影坐标存储部、138重叠模糊量计算部、139逆滤波设计部、140相位图图像生成部、300投影成像系统、400投影成像系统、412投影装置、501网络、510投影成像装置、512投影部、513成像部、530投影装置、531图像处理部、540投影成像装置、900计算机。

Claims (20)

1.一种图像处理装置，其包含：
逆滤波生成部，其配置为基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；和
相位图像生成部，其配置为使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像进行变换以生成相位图像。
2.根据权利要求1所述的图像处理装置，其中
所述逆滤波生成部配置为生成所述滤波使得通过对所述输入图像进行滤波获得的值和所述输入图像的所述投影图像之间的误差最小化，并且使用所生成的所述滤波生成所述逆滤波。
3.根据权利要求2所述的图像处理装置，其中
所述逆滤波生成部配置为生成维纳滤波作为所述逆滤波。
4.根据权利要求1所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述投影部的每一个生成所述逆滤波。
5.根据权利要求1所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述输入图像的代表像素生成所述逆滤波。
6.根据权利要求1所述的图像处理装置，其中
所述逆滤波生成部配置为针对所述输入图像的所有像素生成所述逆滤波。
7.根据权利要求1所述的图像处理装置，其中
所述相位图像生成部配置为针对所述投影部的每一个生成所述相位图像。
8.根据权利要求1所述的图像处理装置，其中
所述相位图像生成部配置为使用由所述逆滤波生成部生成的所述逆滤波对整个所述输入图像进行变换以生成针对整个所述输入图像的所述相位图像。
9.根据权利要求1所述的图像处理装置，其中
所述相位图像生成部配置为使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像的一部分进行变换以生成针对所述输入图像的一部分的所述相位图像。
10.根据权利要求9所述的图像处理装置，其中
所述相位图像生成部配置为省略对所述输入图像的其他部分的变换。
11.根据权利要求9所述的图像处理装置，其中
所述相位图像生成部配置为对所述输入图像的其他部分进行变换使得所述单个模糊量减小。
12.根据权利要求1所述的图像处理装置，进一步包含:
单个模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述单个模糊量。
13.根据权利要求12所述的图像处理装置，其中
所述单个模糊量计算部配置为从所述多个投影部的每一个投射测试图像并且针对通过拍摄所述测试图像的投影图像而获得的拍摄图像中的所述测试图像，计算点分布函数(PSF)作为所述单个模糊量。
14.根据权利要求1所述的图像处理装置，进一步包含:
重叠模糊量计算部，其配置为基于通过拍摄由所述多个投影部的每一个投射的所述单个投影图像而获得的拍摄图像来计算所述重叠模糊量。
15.根据权利要求14所述的图像处理装置，其中
所述重叠模糊量计算部配置为从所述拍摄图像获取所述投影图像的每个像素的投影坐标并且根据所述投影坐标针对其中多个所述投影图像彼此重叠的部分计算所述重叠模糊量。
16.根据权利要求1所述的图像处理装置，进一步包含:
成像部，其配置为对由所述多个投影部的每一个投射的所述单个投影图像进行拍摄。
17.根据权利要求1所述的图像处理装置，进一步包含:
所述多个投影部，其各自配置为投射图像。
18.根据权利要求17所述的图像处理装置，其中
所述多个投影部各自配置为对由所述相位图像生成部生成的所述相位图像进行投射。
19.根据权利要求17所述的图像处理装置，其中
所述多个投影部各自配置为在互相位移的位置对所述图像进行投射使得所述投影图像具有比由所述投影部的每一个所投射的图像更高的分辨度。
20.一种图像处理方法，其包括以下步骤：
基于单个模糊量和重叠模糊量生成滤波的逆滤波，所述逆滤波配置为将待由多个投影部投射的输入图像变换为由所述多个投影部投射的投影图像，所述单个模糊量表示在由所述多个投影部的每一个投射的单个投影图像中产生的光学模糊的大小，所述重叠模糊量表示由多个所述投影图像的重叠产生的光学模糊的大小；以及
使用由所述逆滤波生成部生成的所述逆滤波对所述输入图像进行变换以生成相位图像。
CN201880019642.2A 2017-03-28 2018-03-15 图像处理装置、方法以及存储介质 Active CN110431840B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017062304 2017-03-28
JP2017-062304 2017-03-28
PCT/JP2018/010164 WO2018180530A1 (ja) 2017-03-28 2018-03-15 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN110431840A true CN110431840A (zh) 2019-11-08
CN110431840B CN110431840B (zh) 2021-12-21

Family

ID=63675466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880019642.2A Active CN110431840B (zh) 2017-03-28 2018-03-15 图像处理装置、方法以及存储介质

Country Status (4)

Country Link
US (1) US11151698B2 (zh)
JP (1) JP7218721B2 (zh)
CN (1) CN110431840B (zh)
WO (1) WO2018180530A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230108A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
CN109698948B (zh) * 2019-01-31 2021-04-23 广景视睿科技（深圳）有限公司 投影方法及投影设备
CN113497923B (zh) * 2020-03-18 2023-10-31 中强光电股份有限公司 投影系统以及用于投影系统的定位方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206857A1 (en) * 2004-03-22 2005-09-22 Seiko Epson Corporation Image correction method for multi-projection system
CN1825196A (zh) * 2005-02-23 2006-08-30 精工爱普生株式会社 投影系统、投影机、其控制方法及程序
CN101006721A (zh) * 2004-09-21 2007-07-25 株式会社尼康 投影仪装置、移动电话、相机
CN101015218A (zh) * 2004-07-08 2007-08-08 图像公司 使用多个投影显示器显示高分辨率图像的设备及方法
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
US20080260292A1 (en) * 2007-04-20 2008-10-23 Sony Corporation Image generation apparatus, method, program, and recording medium
CN102457681A (zh) * 2010-11-04 2012-05-16 佳能株式会社 图像处理设备和图像处理方法
CN103026381A (zh) * 2010-04-18 2013-04-03 图象公司 双堆叠投影
CN103327274A (zh) * 2012-03-21 2013-09-25 精工爱普生株式会社 图像处理装置、投影仪、以及投影仪的控制方法
EP2866073A1 (en) * 2012-04-23 2015-04-29 Beijing ANTVR Technology Co., Ltd. Three-dimensional focal field spectacles display
US20160037147A1 (en) * 2014-07-29 2016-02-04 Texas Instruments Incorporated Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置
US20170059977A1 (en) * 2015-08-26 2017-03-02 Casio Computer Co., Ltd. Light source unit and projector

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US9438872B2 (en) * 2014-09-18 2016-09-06 Coretronic Corporation Projection display system and method for correcting projection region

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206857A1 (en) * 2004-03-22 2005-09-22 Seiko Epson Corporation Image correction method for multi-projection system
CN101015218A (zh) * 2004-07-08 2007-08-08 图像公司 使用多个投影显示器显示高分辨率图像的设备及方法
CN101006721A (zh) * 2004-09-21 2007-07-25 株式会社尼康 投影仪装置、移动电话、相机
CN1825196A (zh) * 2005-02-23 2006-08-30 精工爱普生株式会社 投影系统、投影机、其控制方法及程序
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
JP2008268557A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US20080260292A1 (en) * 2007-04-20 2008-10-23 Sony Corporation Image generation apparatus, method, program, and recording medium
CN103026381A (zh) * 2010-04-18 2013-04-03 图象公司 双堆叠投影
CN102457681A (zh) * 2010-11-04 2012-05-16 佳能株式会社 图像处理设备和图像处理方法
CN103327274A (zh) * 2012-03-21 2013-09-25 精工爱普生株式会社 图像处理装置、投影仪、以及投影仪的控制方法
EP2866073A1 (en) * 2012-04-23 2015-04-29 Beijing ANTVR Technology Co., Ltd. Three-dimensional focal field spectacles display
US20160037147A1 (en) * 2014-07-29 2016-02-04 Texas Instruments Incorporated Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置
US20170059977A1 (en) * 2015-08-26 2017-03-02 Casio Computer Co., Ltd. Light source unit and projector

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. S. BROWN ET AL.: ""Image Pre-Conditioning for Out-of-Focus Projector Blur"", 《2006 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR"06)》 *
Y. OYAMADA AND H. SAITO: ""Focal Pre-Correction of Projected Image for Deblurring Screen Image"", 《2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王修晖等: ""背投式多投影系统中各向异性问题的研究"", 《图像处理和编码》 *

Also Published As

Publication number Publication date
US20200065943A1 (en) 2020-02-27
JP7218721B2 (ja) 2023-02-07
WO2018180530A1 (ja) 2018-10-04
JPWO2018180530A1 (ja) 2020-02-06
CN110431840B (zh) 2021-12-21
US11151698B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
JP6060407B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
DE102019213184A1 (de) Verfahren und system zum automatischen weissabgleich auf basis von tiefem lernen
CN106204513B (zh) 图像处理的方法、装置和系统
CN110431840A (zh) 图像处理装置和方法
Matsuyama et al. 3D video and its applications
CN104869320A (zh) 电子设备和控制电子设备操作方法
CN109690610A (zh) 用于多相机系统的颜色归一化
CN104853106A (zh) 一种信息处理方法和电子设备
CN103888677B (zh) 一种信息处理的方法及电子设备
TW202143120A (zh) 圖像產生裝置、圖像產生方法、記錄媒體產生方法、學習模型產生裝置、學習模型產生方法、學習模型、資料處理裝置、資料處理方法、推論方法、電子機器產生方法、程式及非暫存性電腦可讀媒體
CN109565551A (zh) 对齐于参考帧合成图像
JP2011004353A (ja) 画像処理装置、画像処理方法
AU2019309552B2 (en) Method and data-processing system for synthesizing images
CN107113373A (zh) 通过基于深度计算摄影的曝光计算
CN106454251A (zh) 一种基于深度图像的实时全息图像获取、投影装置与方法
CN105122272A (zh) 数字图像的自动综合处理
CN108028889A (zh) 图像处理设备、图像处理方法、程序和摄像系统
CN109155061A (zh) 图像融合的方法、装置与无人机
CN110211082A (zh) 一种图像融合方法、装置、电子设备及存储介质
EP2958073A1 (en) Image processing device, image processing method, and recording medium
CN107431743A (zh) 数字原始图像帧的按比例缩小
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
DE102018130083A1 (de) Schätzung der Beleuchtungsfarbigkeit beim automatischen Weißabgleich
CN108537741A (zh) 图像处理装置及控制图像处理装置的控制方法
JP6904757B2 (ja) カメラシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant