CN102939764A - 图像处理器、图像显示装置和图像拍摄装置 - Google Patents

Abstract

公开了一种图像处理器，生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并且易于调节三维图像中任意部分的三维效果。视差校正部101在预定范围内校正输入视差图像的视差，并向视差转换部103输出存储经校正视差的视差图像。视差转换部103转换视差图像的视差，使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值，并且向图像生成部104输出转换后获得的视差图像。图像生成部104基于输入的视差图像和输入的捕获图像，生成左眼图像和右眼图像，并且向显示装置输出图像。因此，对视差进行了转换，使得主对象的三维效果增强。

Description

图像处理器、图像显示装置和图像拍摄装置

技术领域

本发明涉及一种生成三维图像的图像处理器、一种包括该图像处理器的图像显示装置、以及一种包括该图像处理器的图像拍摄装置。 

背景技术

提出了一种设备，利用并排布置的左眼和右眼摄像机同时拍摄相同对象(在下文中简单称作同一对象)的图像，通过对两个摄像机生成的两个图像数据(在下文中，简单称作图像)执行不同图像处理，来生成三维图像(也被称作立体图像)(参见专利文献1)。 

通过交叠两个图像而生成的图像之间间隙被称作视差。该视差根据摄像机到对象的距离而变化。 

例如，假定两个摄像机置于一条直线上，其中，两个摄像机的光轴平行布置以拍摄同一对象的图像。在这种情况下，如果对象相距较远，则对象的视差基本上为零。随着摄像机与对象之间距离的缩短，对象的视差增大。因此，如果基于包括具有较大视差的对象在内的两个图像生成和输出三维图像从而进行显示，则对象的投影量增加(看起来更接近)，并且三维效果增强。 

然而，如果增大的视差大于特定级别，则左眼感知到的图像不会与右眼感知到的图像融合，出现双图像，不可能实现立体观看(融合界限)。已知由于过度视差而引起的双图像引起视觉疲劳。因此。为了舒适地观看三维图像，在显示图像时必须限制对象的深度(投影、下压)。该限制在非专利文献1中公开。 

例如，专利文献1公开了一种生成三维图像而不会由于过度视差而导致生成双图像的技术。在专利文献1中公开的技术中，对深度范围进行非线性控制，使得在观察者的三维可观看范围内显示三维图像，以生成观察者易于以三维方式观看到的图像。 

现有技术文献 

专利文献 

专利文献1：日本待审专利公开No.2005-91508 

非专利文献 

非专利文献1：3D consortium 3DC Safety Guidelines，URL：http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf 

发明内容

本发明要解决的问题 

如果期望实现一种增强的三维效果的主对象不具有接近最大与最小可拍摄视差之间的中间值的视差，则存在无法充分获取主对象的三维效果的问题。具体参照图16和17描述该问题。 

图16是主对象1600、主对象1601和背景1602的示意图，并且从摄像机(未示出)到主对象1600的距离最短，按照主对象1601和背景1602的顺序，到摄像机的距离增大。 

如上所述，针对通过置于一条直线上的两个摄像机拍摄主对象1600、1601和背景1602而获取的图像，执行不同图像处理，以生成三维图像，输出该三维图像以在三维图像显示装置(在下文中，简单称作显示装置)上显示。 

由于到摄像机的距离按照主对象1600、1601和背景1602的顺序增大，因此当γ表示主对象1600的视差，β表示主对象1601的视差时，满足γ＞β。假定主对象1600的视差γ和主对象1601的视差β不是接近最大与最小可拍摄视差之间的中间值的视差。背景1602位于到摄像机最远的距离，因此背景1602具有最小视差α。 

图17是当通过对拍摄图16中所示主对象1600、1601和背景1602而获取的图像执行不同图像处理生成三维图像时观看者感知到的并在显示装置的显示平面P上显示的三维图像的状态的示意图。显示平面P上的字符“a”指示显示平面的位置。 

在位置1700附近感知到主对象1600；在位置1701附近感知到主对 象1601；并且在位置1702附近感知到背景1602。 

当以这样的方式在显示平面P上显示图16中所示主对象1600、1601和背景1602的三维图像时，观察者感知到三维图像，使得主对象1600和1601被下压(depressed)在背景1602附近。因此，无法充分获取对象的三维效果，导致将削弱的三维效果感知作为三维图像。 

具体地，当主对象的视差与背景或前景的视差基本上相同时，主对象的三维效果显著劣化。 

本发明的目的是解决上述问题，并且提供一种图像处理器，生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并可以容易地调节三维图像中任意部分的三维效果。 

解决问题的手段 

本发明的第一技术手段是一种图像处理器，使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像生成三维图像，该图像处理器包括：视差校正部，用于在预定范围内校正视差图像的视差；以及主对象确定部，用于确定捕获图像的至少一个主对象，其中图像处理器对视差图像的视差进行转换，使得与主对象确定部所确定的至少一个主对象的图像相对应的视差达到预定值，并基于根据经转换的视差和捕获图像的视差图像来生成三维图像。 

本发明的第二技术手段是一种图像处理器，使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入，以基于捕获图像生成三维图像，该图像处理器包括：视差计算部，用于根据两个图像计算视差；视差校正部，用于在预定范围内校正视差计算部所计算的视差；以及主对象确定部，用于确定捕获图像的至少一个主对象，其中图像处理器对视差计算部所计算的视差进行转换，使得与主对象确定部所确定的至少一个主对象相对应的视差达到预定值，并基于经转换的视差和捕获图像生成三维图像。 

第三技术手段是第一或第二技术手段的图像处理器，其中，基于规定了输入视差与输出视差之间的关系的线性函数，将视差图像的视 差转换为预定值，并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。 

第四技术手段是第一至第三技术手段中任一个的图像处理器，其中，预定值是零或基于零的预定范围内的值。 

第五技术手段是第一至第四技术手段中任一个的图像处理器，包括：模糊处理部，用于基于视差图像和捕获图像，对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。 

第六技术手段是第五技术手段的图像处理器，其中，模糊处理部与捕获图像中主对象的视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。 

第七技术手段是一种图像显示装置，包括：第一至第六技术手段中任一个的图像处理器。 

第八技术手段是一种图像拍摄装置，包括：第一至第六技术手段中任一个的图像处理器。 

本发明的效果 

本发明的图像处理器生成观察者易于以三维方式观看到并难以引起观察者疲劳的三维图像，并且可以通过视差转换容易地调节三维图像中任意部分的三维效果，并且可以容易地增强三维效果并改变主对象的深度感知。 

附图说明

图1是第一实施例中描述的图像处理器的功能框图。 

图2是用于说明视差图像的图。 

图3是对视差归一化的视差校正等式的图。 

图4是削减视差的视差校正等式的图。 

图5是当观察者观看显示装置时左图像与右图像之间的视差和深度量的关系图。 

图6是说明当以设置为零并且增加/减小到正值/负值的视差显示 对象时观察者如何感知对象的示意图。 

图7是对通过归一化校正的视差执行视差转换的视差转换等式的图。 

图8是对通过削减校正的视差执行视差转换的视差转换等式的图。 

图9是对通过削减校正的视差执行视差转换的视差转换等式的图。 

图10是观看者感知到的视差转换之后的三维图像的状态的示意图。 

图11是第二实施例中描述的图像处理器的功能框图。 

图12是视差扩大的示例的图。 

图13是对通过归一化校正的视差执行视差转换的视差转换等式的图。 

图14是第三实施例中描述的图像处理器的功能框图。 

图15是削减视差的视差校正等式的图。 

图16是主对象和背景的示意图。 

图17是观察者感知到的三维图像的状态的示意图。 

具体实施方式

[第一实施例] 

现在参照附图详细描述本发明。附图中的配置夸张地示出以便于理解，并且具有与实际配置不同的间隔和尺寸。 

图1是第一实施例中描述的本发明的图像处理器100的功能框图。 

图像处理器100包括视差校正部101、主对象确定部102、视差转换部103和图像生成部104，并且使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像来生成三维图像。 

向视差校正部101输入从外部设备(未示出)等输入的视差图像。向主对象确定部102和图像生成部104输入从外部设备等输入的捕获图像。 

视差校正部101在预定范围内校正输入视差图像的视差，并向视差转换部103输出存储经校正视差的视差图像。稍后描述视差图像。 

主对象确定部102确定输入的捕获图像的主对象，并向视差转换部103输出主对象的位置信息。 

视差转换部103基于从主对象确定部102输入的主对象的位置信息，从自视差校正部101输入的视差图像中提取与主对象的图像相对应的(经校正)视差。视差转换部103基于预定的转换等式来转换提取的视差，并向图像生成部104输出存储经转换视差的视差图像。具体地，视差转换部103对视差图像的视差进行转换，使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值。预定值是当在三维显示装置上显示主对象时使得在显示屏上或附近显示主对象的值。具体地，例如，预定值是零、或者基于零的预定范围内的值。预定值是可调节的。 

因此，对视差进行转换，使得主对象的三维效果增强。 

图像生成部104基于输入的视差图像和输入的捕获图像生成左眼图像(左图像)和右眼图像(右图像)，并且向显示装置(未示出)输出图像。 

因此，图像生成部104基于使用视差转换部103转换的视差的视差图像、以及捕获图像来生成三维图像。 

在下文中详细描述功能框的细节。首先，参照图2描述输入至视差校正部101的视差图像。 

图2(A)是摄像机202和203拍摄对象201的状态的示意图。摄像机202和203的光轴(虚线)平行，并且摄像机202和203置于一条直线上。 

图2(B)是左侧摄像机202所拍摄的对象201的捕获图像204(在下文中称作左图像)以及右侧摄像机203所拍摄的对象201的捕获图像(下文中称作右图像)205的示意图。 

图2(C)是示意性示出了通过将右图像205与左图像204交叠而获取的图像，以及图2(D)示出了视差图像206。 

如图2(C)所示，将右图像205中的对象201(矩形虚线)相对于左图像204中的对象201(矩形虚线)向左移动X个像素。X个像素对应于对两个捕获图像(左图像204和右图像205)中同一对象201的间隙加 以指示的视差。 

视差图像意味着针对每个像素对应于对象的像素存储视差的图像，所述视差指示从两个观看位置拍摄的同一对象的两个捕获图像中同一对象的间隙。在上述示例中，针对视差图像的每个像素，对应于左图像204的对象存储对象的视差。 

图2(D)示意性示出了在视差图像206的像素206a中存储对象201的视差X的状态。 

视差图像206的另一像素206b也存储了左图像204的对象的与像素206b相对应的视差。 

视差可以基于像素或距离。 

视差校正部101校正视差图像的视差，以抑制过度视差。按照稍后描述的公知方法来执行视差校正。 

视差校正方法包括两个典型方法。一个方法是对视差进行归一化，另一个方法是削减视差。视差归一化的特征在于，保留总深度关系，而不使视差饱和；而视差削减的特征在于，保持视差在三维可观看范围的对象的深度量。 

图3示出了利用归一化方法执行视差校正的示例，图4示出了利用削减方法执行视差校正的示例。 

图3示出了归一化视差的视差校正等式的图，并且该视差校正方法由(等式1)表示。 

[等式1] 

$d_{\mathrm{out}}=\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{out}\_\min }}{D_{\mathrm{in}\_\max }-D_{\mathrm{in}\_\min }}{d}_{\mathrm{in}}+D_{\mathrm{out}\_\max }-\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{out}\_\min }}{D_{\mathrm{in}\_\max }-D_{\mathrm{in}\_\min }}{D}_{\mathrm{in}\_\max }$ (等式1) 

图4示出了削减视差的视差校正等式的图，并且该视差校正方法由(等式2)至(等式4)表示。 

[等式2] 

当D_{out_min}＜d_in＜D_{out_max}时 

d_out＝d_in    (等式2) 

[等式3] 

当d_in≤D_{ot_min}时 

d_out＝D_{out_min}    (等式3) 

[等式4] 

当D_{out_max}≤d_in时 

d_out＝D_{out_max}   (等式4) 

水平轴指示输入视差D_in，垂直轴指示输出视差D_out。输入视差意味着输入至视差校正部101的视差图像的视差(未校正视差)，输出视差意味着从视差校正部101输出的视差图像的视差(经校正视差)。在等式中，d_in对应于输入视差D_in，等式中的d_out对应于输出视差D_out。 

D_{in_min}是输入视差图像的最小视差，D_{in_max}是输入视差图像的最大视差。 

D_{out_min}是三维可观看视差的最小值，D_{out_max}是三维可观看视差的最大值并且对应于融合界限的视差。 

线300表示执行视差校正之前输入视差与输出视差之间的关系，并且输入视差和输出视差在执行视差校正之前具有相同值。线301表示视差校正之前的输入视差D_in与视差校正之后的输出视差D_out之间的关系。 

在图3的方法中，向D_{out_max}(三维可观看视差的最大值)分配D_{in_max}(输入视差的最大值)，并向D_{out_min}(三维可观看视差的最小值)分配D_{in_max}(输入视差的最小值)，以在三维可观看范围内校正视差，同时保持总深度关系，而不使视差饱和。 

在图4的方法中，将等于或大于D_{out_max}(三维可观看视差的最大值)的输入视差校正为D_{out_max}，并且将等于或小于D_{out_min}(三维可观看视差的最小值)的输入视差校正为D_{out_min}。通过以这样的方式使三维不可观看视差饱和达到三维可观看视差，在三维可观看范围内校正视差，而同时保持深度量。 

三维可观看双目视差的范围依赖于显示装置的屏幕尺寸以及到观看者的观看距离，非专利文献1描述了，三维可观看双目视差的范围(融合界限)高达大约两度，而实现舒适观看三维图像的双目视差的范围等于或小于一度。 

当基于显示三维图像的显示装置的屏幕尺寸和与屏幕尺寸相对 应的标准视差距离确定D_{out_min}和D_{out_max}时，如果使用非专利文献1的准则在例如40英寸HD(1920×1080)分辨率的情况下，基于显示装置(显示面板)的位置，最小视差为-130个像素，并且最大视差是130个像素。 

向视差转换部103输出存储了视差校正部101所校正的视差的视差图像。 

主对象确定部102确定输入的捕获图像的对象中的主对象，并且向视差转换部103输出主对象的位置信息，例如，对主对象的像素位置加以指示的坐标信息。主对象的确定可以通过公知的方法来实现。例如，方法可以是：从捕获图像中选择焦点上的对象以将该对象确定为主对象的方法，对捕获图像执行模式识别过程以将提取的对象确定为主对象的方法，或者用户他/她自己确定主对象的方法。备选地，脸部识别技术可以用于将特定人确定为主对象。 

视差转换部103执行转换，使得与主对象确定部102所确定的主对象的图像相对应的视差达到预定值。具体地，对视差进行转换，使得对象的三维效果增强。在图2的示例中假定对象201是主对象，对象201的视差X是与主对象的图像相对应的视差(要转换的视差)。 

参照图5和6描述当在显示装置上以被设置为零并且增大/减小到大正值/负值的视差显示对象时观察者如何感知对象。 

图5是当观察者观看显示装置时左图像与右图像之间视差和深度量的关系图。深度量是投影量或下压量，并且投影量是给出比实际显示位置更接近观察者出现的量，而下压量是给出比实际显示位置更远离观察者出现的量。 

具体地，当在显示装置上显示对象时，当对象的视差增大到正值时对象看起来更多地被投影，而当视差增加到负值时对象看起来更多地被下压。由于具有零视差的对象在左图像与右图像之间没有间隙，因此当在显示装置上显示对象时，感知到的位置在显示屏幕上，使得与以二维方式感知到的深度位置没有区别。因此，即使在显示装置上显示具有零视差的图像，观察者也不会感知到深度的存在，而是感知到该图像是在与实际显示位置相同位置处以二维方式显示的。在显示装置上显示具有零视差的对象意味着在显示屏幕上显示对象。零或者 值在基于零的预定范围内的视差对应于预定值。 

图6是说明当在显示装置上以被设置为零并增大/减小到正值/负值的视差显示对象时观察者如何感知对象的示意图。 

假定D_in(输入视差)是图6中所示对象A的前侧表面的视差。如果将视差D_in的值转换为零，即，将经转换的视差设置为零(在下文中，经转换的视差由D_out表示)，并且在显示装置P上显示具有零视差的对象A，则观察者在位置600附近感知到对象A，位置600在显示装置P的图像显示表面上。 

如果将D_out设置为正值，则感知到对象A被投影在图像显示表面的前侧上，如位置601所指示。如果将D_out设置为负值，则感知到对象A被下压在图像显示表面的后侧上，如位置602所指示。 

例如，可以利用图7和8中示出的视差转换等式来执行视差转换。 

图7是对通过归一化校正的视差执行视差转换的视差转换等式的图。图8是对通过削减校正的视差执行视差转换的视差转换等式的图。 

图7的视差转换等式由(等式5)和(等式6)表示。 

[等式5] 

当d_in≤D_in0时 

$d_{\mathrm{out}}=\frac{D_{\mathrm{outo}}-D_{\mathrm{out}\_\min }}{D_{\mathrm{ino}}-D_{\mathrm{in}\_\min }}{d}_{\mathrm{in}}+D_{\mathrm{out}0}-\frac{D_{\mathrm{outo}}-D_{\mathrm{out}\_\min }}{D_{\mathrm{ino}}-D_{\mathrm{in}\_\min }}{D}_{\mathrm{in}0}$ (等式5) 

[等式6] 

当D_in0＜d_in时 

$d_{\mathrm{out}}=\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{outo}}}{D_{\mathrm{in}\_\max }-D_{\mathrm{ino}}}{d}_{\mathrm{in}}+D_{\mathrm{out}0}-\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{outo}}}{D_{\mathrm{in}\_\max }-D_{\mathrm{ino}}}{D}_{\mathrm{in}0}$ (等式6) 

图8的视差转换等式由(等式7)至(等式10)表示。 

[等式7] 

当d_in≤D_{out_min}时 

d_out＝D_{out_min}    (等式7) 

[等式8] 

当D_{out_min}＜d_in＜D_in0时 

$d_{\mathrm{out}}=\frac{D_{\mathrm{outo}}-D_{\mathrm{out}\_\min }}{D_{\mathrm{ino}}-D_{\mathrm{out}\_\min }}{d}_{\mathrm{in}}+D_{\mathrm{out}0}-\frac{D_{\mathrm{outo}}-D_{\mathrm{out}\_\min }}{D_{\mathrm{ino}}-D_{\mathrm{out}\_\min }}{D}_{\mathrm{in}0}$ (等式8) 

[等式9] 

当D_in0≤d_in＜D_{out_max}时 

$d_{\mathrm{out}}=\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{outo}}}{D_{\mathrm{out}\_\max }-D_{\mathrm{ino}}}{d}_{\mathrm{in}}+D_{\mathrm{out}0}-\frac{D_{\mathrm{out}\_\max }-D_{\mathrm{outo}}}{D_{\mathrm{out}\_\max }-D_{\mathrm{ino}}}{D}_{\mathrm{in}0}$ (等式9) 

[等式10] 

当D_{out_max}≤d_in时 

d_out＝D_{out_max}    (等式10) 

在这种情况下，输入视差D_in表示视差转换之前的视差，D_{in_max}和D_{in_min}分别表示视差转换之前的最大视差和视差转换之前的最小视差。 

输出视差D_out表示视差转换之后的视差，D_{out_max}和D_{out_min}分别表示视差转换之后的最大视差和视差转换之后的最小视差。 

线302表示视差转换之前的输入视差D_in与视差转换之后的输出视差D_out之间的关系。可以将D_in0和D_out0设置为任何值。 

在等式中，d_in对应于视差转换之前的输入视差，等式中的d_out对应于视差转换之后的输出视差。 

参照图6描述图7和8的图。 

在图7的图中，输入视差减小，并且在图8的图中，输入视差减小。 

当在位置600附近感知到参照图6描述的对象A时，如果图7的图所表示的视差转换等式用于将对象A的视差减小并转换为负值，则感知到对象A被下压在图像显示表面的后侧上，如位置602所指示。 

当在位置600附近感知到参照图6描述的对象A时，如果图8的图所表示的视差转换等式用于将对象A的视差增大并转换为正值，则感知到对象A被投影在图像显示表面的前侧上，如位置601所指示。 

如图7和8所示，使用D_in0作为小于D_in0的视差范围与大于D_in0的视差范围之间的边界来改变转换等式。因此可以增加或减小从主对象到背景的深度量，从而易于增强三维效果。 

在下文中参照图9和10描述当例如使用图8中描述视差转换等式来转换图16中示出的主对象的视差以在显示装置上显示视差转换之后的主对象时观察者如何感知主对象。图9的视差转换等式与图8的视差转换等式是相同的转换等式。 

通过图9中示出的视差转换等式将图16的主对象1600的视差γ增大到视差γ′。通过图9中示出的视差转换等式将图16的主对象1601的视差β增大到视差β′。 

图10是如何感知到视差转换之后的三维图像的示意图。 

通过增大视差，在位置1000附近感知到主对象1600，并且在位置1001附近感知到主对象1601。这样，可以扩大深度量，以增强三维效果。 

与图17相比，通过增大视差，可以清楚地感知到背景1602的位置与主对象1600和1601的位置之间的差异。因此，可以以增强的三维效果显示图像。 

这种对主对象视差的转换可以增强主对象以及主对象周围部分的三维效果。如果主对象具有一定厚度，则将主对象的最大和最小视差的平均值定义为主对象的视差。如果存在多个主对象，则将多个主对象的最大和最小视差的平均值定义为主对象的视差。这是优选地，因为可以考虑主对象的厚度来转换主对象的视差(显示位置)。优选地，考虑区域面积来计算视差的平均值，这是因为可以考虑主对象的重心来转换显示位置。 

如上所述，视差转换部103从输入自视差校正部101的视差图像中提取针对主对象确定部102所确定的主对象的每个像素的视差，基于图7或8中示出的预定转换等式来转换提取的每个像素视差，并且针对相应主对象的每个像素存储经转换的视差。视差转换部103向图像生成部104输出存储了经转换的视差的视差图像。 

图像生成部104基于从外部装置等输入的捕获图像以及从视差转换部103输入的视差图像来生成三维图像。 

在下文中描述三维图像生成方法。捕获图像、视差图像和输出图像分别表示为I、D和O。图像中坐标(x，y)处的像素值由I(x，y)和D(x，y)表示。使用(等式11)创建从捕获图像I到输出图像O水平移动了一定视差的图像。 

[等式11] 

O(x+D(x，y)，y)＝I(x，y)              (等式11) 

在这一点上，如果像素彼此交叠，则使用具有较大视差的像素(位于更接近摄像机位置处的对象)，并且如果像素没有被填充，则使用上、下、左和右像素来对该像素进行内插。输出捕获图像I和输出图像O分别作为左图像和右图像。 

利用上述配置，即使主对象与前景或背景之间的视差值较小，也能转换视差以扩大主对象与前景或背景之间的视差差值。 

因此，可以转换主对象与前景或背景之间的深度量，以对于观察者生成在三维可观看范围内具有增强三维效果的图像。 

尽管在本实施例中线性转换用于视差校正部101和视差转换部103中的视差转换和转换，但是非线性转换也可以用于转换视差以获取相同效果。 

尽管在本实施例中使用输入和输出视差D_in0和D_out0的一个集合，但是可以使用两个或更多个集合来转换视差以获取相同效果。 

(第二实施例) 

在下文中参照附图详细描述本发明的第二实施例。然而，具有与第一实施例相同功能的部分由相同的附图标记表示。 

图11是第二实施例中描述的图像处理器1100的功能框图。 

图像处理器1100通过向参照图1描述的图像处理器100添加视差计算部1101来形成，并且使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入，以基于捕获图像生成三维图像。 

向视差计算部1101输入通过从至少两个观看位置拍摄同一对象而获取的两个捕获图像。向主对象确定部102和图像生成部104输入两个捕获图像中的任一个。两个捕获图像中的一个捕获图像是面对对象的左侧摄像机拍摄的捕获图像，并且该图像称作左图像。另一捕获图像是面对对象的右侧摄像机拍摄的捕获图像，并且该图像称作右图像。 

向视差计算部1101输入左图像和右图像，并且向主对象确定部102和图像生成部104输入左图像。 

视差计算部1101基于左图像和右图像计算视差。视差计算部1101基于计算的视差生成第一实施例中描述的视差图像。可以使用公知技 术来计算视差，例如可以使用块匹配方法。块匹配方法是一种基于适当确定的块通过将左图像和右图像彼此进行检查来计算视差以将图像之间的最相似块定义为相应块的方法。 

视差计算部1101向视差校正部101输出生成的视差图像。 

视差校正部101在预定范围内校正从视差计算部1101输入的视差图像的视差。换言之，在预定范围内校正视差校正部101所计算的视差。 

在该校正时，可以调节视差，使得超过拍摄左图像的摄像机与拍摄右图像的摄像机之间的间隔(基线长度)。当拍摄三维图像时，通常将基线长度设置为65mm。这是因为人眼之间的宽度大约为65mm。 

然而，在一些情况下，因为摄像机的排列位置的关系，必须以等于或小于65mm的基线长度来拍摄图像。当以相同布局下拍摄相同对象时，视差随着基线长度的减小而减小，因此对深度的感知降低。视差校正部101通过执行校正来防止对深度的感知的降低，使得输入视差的最小值和最大值扩大。因此，可以根据利用固定基线长度拍摄的图像生成利用视差基线长度拍摄的图像。 

图12是视差扩大的示例的图。图12的水平轴和垂直轴等与图3相同，并不再描述。基于利用短基线长度拍摄的左图像和右图像而生成的视差图像的视差由线300指示。例如，假定D_{in_max}(视差图像的最大视差)和D_{out_max}(三维可观看视差的最大值)分别为100和200。视差校正之前的值仅允许100的视差范围内的显示。因此，上述(等式1)用于将线300指示的视差校正到线301指示的视差。 

当使用(等式1)校正视差时，D_{in_max}将校正到D_{out_max}。视差校正之后的值允许在显示装置中显示输出视差的最大值。换言之，可以根据利用固定基线长度拍摄的图像生成利用任意基线长度拍摄的图像。根据显示装置的深度量也可以增强三维效果。 

视差校正部101向视差转换部103输出存储了经校正视差的视差图像。 

如上所述，视差转换部103通过图13中所示与图7相对应的视差转换来转换主对象的视差，并且向图像生成部104输出存储了经转换视差的视差图像。对于图13的视差转换，使用上述(等式5)和(等式6)。 

具体地，视差转换部103对视差计算部1101所计算的视差(视差计算部1101创建的视差图像的视差)进行转换，使得与主对象确定部102所确定的主对象相对应的视差达到预定值。例如，预定值是零或基于零的预定范围内的值。预定值是可调节的。 

图像生成部104基于从外部装置等输入的左图像和从视差转换部103输入的视差图像生成三维图像。在第一实施例中已经描述了三维图像的生成，因此不再描述。 

利用上述配置，可以易于生成具有对于观看者而言三维可观看范围内增强的三维效果的图像。可以对基于利用较短基线长度拍摄的左图像和右图像而生成的视差图像的视差进行校正，以生成就好像利用较长基线长度拍摄的图像的图像。这一点在基于并不使基线长度更长情况下拍摄的左图像和右图像(例如，内窥摄像机或内置于小型设备中的摄像机的左图像和右图像)生成三维图像时特别有效，并且增强了对象的三维效果。 

(第三实施例) 

在下文中参照附图详细描述本发明第三实施例。然而，具有与第一实施例相同功能的部分由相同附图标记表示。 

图14是第三实施例中描述的本发明的图像处理器100的功能框图。 

图14的图像处理器1400通过向参照图1描述的图像处理器100添加模糊处理部1401来形成。 

向视差校正部101和图像生成部104输入从外部装置等输入的视差图像。向主对象确定部102和模糊处理部1401输入从外部装置等输入的捕获图像。 

模糊处理部1401基于输入视差和捕获图像，对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。模糊处理部1401向图像生成部104输入经过模糊处理的捕获图像。满足第一预定值＜第二预定值。在这种情况下，模糊处理部1401与捕获图像中主对象的视差的绝对值成比例地增大与主对象的像素值相对应的量。 

在图2的示例中，如果对象201的视差X等于或小于第一预定值或者等于或大于第二预定值，则模糊处理部1401针对与对象201相对应的捕获图像的像素值执行模糊处理。 

参照图15描述第一预定值和第二预定值。图15是与图4的图相对应的图。等于或小于第一预定值的视差对应于由附图标记1500指示的视差范围，并且等于或大于第二预定值的视差对应于由附图标记1501指示的范围。 

如果要经过模糊处理部1401进行模糊处理的对象是具有等于或小于第一预定值的视差(在附图标记1500指示的范围中)的对象，即，视差等于或小于D_{out_min}(三维可观看视差的最小值)的对象，则模糊处理部1401在对象的视差更小时(例如对象远离摄像机位置)使得对象的模糊量更大。 

该处理在与三维可观看视差的范围相比被感知为下压的区域中生成模糊的图像。显示经过该模糊处理的图像，就好像视野深度比实际拍摄的视野深度浅。在视野深度减小的图像中，可以容易地感知到深度感知，这是因为根据对象与摄像机之间的距离模糊背景。 

如果要经过模糊处理部1401模糊处理的对象是具有等于或大于第二预定值的视差(在附图标记1501指示的范围中)的对象，即，视差等于或大于D_{out_max}(三维可观看视差的最大值)的对象，则随着对象的视差变大(例如对象接近摄像机位置)，模糊处理部1401使得对象的模糊量更大。 

该处理可以模糊难以用于三维观看的范围，因此可以获取易于观看的三维图像。如果同时模式视差等于或小于第一预定值的对象和视差等于或大于第二预定值的对象，则可以利用具有更高视觉吸引力的三维可观看范围来获取三维图像。 

可以利用公知的方法来实现模糊处理。模糊处理的典型方法包括平滑滤波器、高斯滤波器等。平滑滤波是使用感兴趣像素周围的像素值来对像素值平均从而获取被处理图像的像素值的技术。对于要经过模糊的对象的感兴趣像素，3×3像素中八个相邻像素值可以用于平均，或者5×5像素中24个相邻像素值可以用于平均。随着用于平均的外围像 素的个数的增加，经处理像素值的模糊量变得更大。 

因此，如果具有等于或小于第一预定值的视差(等于或小于D_{out_min})的对象是要经过模糊处理的对象，则模糊量与视差成反比例，如果具有等于或大于第二预定值的视差(等于或大于D_{out_max})的对象是要经过模糊处理的对象，则模糊量与视差成比例。 

因此，模糊处理部1401与捕获图像中主对象视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。 

通过执行该模糊处理，即使削减难以用于三维观看的范围中包括的视差，也可以保持深度关系。由于根据捕获图像的每个像素的视差来执行模糊处理，因此每个像素的模糊级别根据视差而变化，并且获取与通过摄像机拍摄的图像相同的模糊效果而不是统一模糊。 

模糊处理部1401向图像生成部104输出执行模糊处理之后的捕获图像。 

视差校正部101利用如参照图4描述的削减方法来校正视差，并且向视差转换部103输出存储了经校正视差的视差图像。如上所述，视差转换部103对主对象的视差进行转换，并且向图像生成部104输出存储了经转换视差的视差图像。 

图像生成部104基于从模糊处理部1401输入的捕获图像和从视差转换部103输入的视差图像生成三维图像。 

通过利用上述配置执行视差转换，可以易于生成具有对于观看者而言三维可观看范围内增强的三维效果的图像。通过基于执行视差校正之前的视差图像对捕获图像执行模糊处理，甚至在具有饱和视差的范围内模糊量也不会变为恒定，并且生成具有增强三维效果的三维图像。 

本发明的图像处理器可以容易地在三维可观看范围内生成对象与背景(或前景)之间增强的三维(深度)效果的三维视频。 

上述实施例也可应用于图像处理器中安装的集成电路/芯片组。 

本发明的图像处理器可应用于能够显示三维图像的图像显示装置。通过包括本发明的图像处理器可以显示具有增强三维效果的图像。本发明的图像处理器可应用于具有尺寸和分辨率不同的显示表面的各 种图像显示装置。 

本发明的图像处理器也可应用于能够拍摄三维图像的图像拍摄装置，并且这一点是优选地，因为在预览拍摄三维图像的结果时可以拍摄图像。 

附图标记说明 

100、1100、1400...图像处理器；101...视差校正部；102...主对象确定部；103...显示转换部；104...图像生成部；1101...视差计算部；1401...模糊处理部；201...对象；202、203...摄像机；204...左图像；205...右图像；206...视差图像；和206a、206b...像素。 

Claims (8)

1.一种图像处理器，使用来自一个视点的捕获图像和与捕获图像相对应的视差图像作为输入，以基于捕获图像和视差图像生成三维图像，所述图像处理器包括：

视差校正部，用于在预定范围内校正视差图像的视差；以及

主对象确定部，用于确定捕获图像的至少一个主对象，其中

所述图像处理器对视差图像的视差进行转换，使得与主对象确定部所确定的至少一个主对象的图像相对应的视差达到预定值；并基于根据经转换的视差和捕获图像的视差图像来生成三维图像。

2.一种图像处理器，使用通过从两个观看位置拍摄同一对象而获取的两个捕获图像作为输入，以基于捕获图像生成三维图像，所述图像处理器包括：

视差计算部，用于根据两个图像计算视差；

视差校正部，用于在预定范围内校正视差计算部所计算的视差；以及

主对象确定部，用于确定捕获图像的至少一个主对象，其中

所述图像处理器对视差计算部所计算的视差进行转换，使得与主对象确定部所确定的至少一个主对象相对应的视差达到预定值；并基于经转换的视差和捕获图像生成三维图像。

3.根据权利要求1或2所述的图像处理器，其中，基于规定了输入视差与输出视差之间的关系的线性函数，将视差图像的视差转换为预定值，并通过连接具有不同斜率的多个线段来做出示出了输入视差与输出视差之间的关系的图。

4.根据权利要求1至3中任一项所述的图像处理器，其中，预定值是零或基于零的预定范围内的值。

5.根据权利要求1至4中任一项所述的图像处理器，包括：模糊处理部，用于基于视差图像和捕获图像，对与具有等于或小于第一预定值或等于或大于第二预定值的视差的对象相对应的捕获图像的像素值执行模糊处理。

6.根据权利要求5所述的图像处理器，其中，模糊处理部与捕获图像中主对象的视差的绝对值成比例地增加与主对象的像素值相对应的模糊量。

7.一种图像显示装置，包括：权利要求1至6中任一项中定义的图像处理器。

8.一种图像拍摄装置，包括：权利要求1至6中任一项中定义的图像处理器。

Images