CN101437170B - 多眼视图像生成系统以及多眼视图像生成方法 - Google Patents

多眼视图像生成系统以及多眼视图像生成方法 Download PDF

Info

Publication number
CN101437170B
CN101437170B CN2008101101625A CN200810110162A CN101437170B CN 101437170 B CN101437170 B CN 101437170B CN 2008101101625 A CN2008101101625 A CN 2008101101625A CN 200810110162 A CN200810110162 A CN 200810110162A CN 101437170 B CN101437170 B CN 101437170B
Authority
CN
China
Prior art keywords
image
pixel
left
eye image
described
Prior art date
Application number
CN2008101101625A
Other languages
English (en)
Other versions
CN101437170A (zh
Inventor
新津靖
Original Assignee
学校法人东京电机大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007-294270 priority Critical
Priority to JP2007294270 priority
Priority to JP2007294270A priority patent/JP4958233B2/ja
Application filed by 学校法人东京电机大学 filed Critical 学校法人东京电机大学
Publication of CN101437170A publication Critical patent/CN101437170A/zh
Application granted granted Critical
Publication of CN101437170B publication Critical patent/CN101437170B/zh

Links

Abstract

本发明提供一种从左右2张的2眼视立体图像生成中间位置图像的同时还能够自动地生成左右外侧图像的多眼视图像生成系统以及方法。以此为目的,将如下的多眼视图像生成系统(1)以及方法作为特征:对于左右2张立体图像(02,05),以左眼图像、右眼图像中的任意一方的立体图像为基准,在与另一方的立体图像之间实施图案匹配(S3),确定每一像素的匹配图像,在左右每一像素的匹配图像之间,通过像素间距离的内插求出中间位置图像,在左右每一像素的匹配图像之间,通过像素间距离的外插求出右外图像、左外图像(S4)。

Description

多眼视图像生成系统以及多眼视图像生成方法

技术领域

[0001] 本发明涉及一种裸眼立体显示器显示用的多眼视图像生成系统以及多眼视 (muliti-ocular views)图像生成方法。

背景技术

[0002] 当前广泛使用的立体显示器以佩戴眼镜观看的类型为主,但是近年来多个公司争 着开发裸眼立体显示器。但是,现状是裸眼立体显示器还未普及。作为其主要原因,列举出 了内容的不足。相对于用两个视差摄影佩戴眼镜观看的立体显示器的内容,为了在裸眼立 体显示器上进行立体显示,需要用多眼摄影的多个图像或影像。因此,需要用多眼摄像机等 特殊器材摄影,这点成为障碍,从而导致内容不足。

[0003] 通过特开平9-27969号公报(专利文献1),已知在计算机上通过软件从用左右摄 像机摄影的左右2张的2眼视立体图像生成3张以上的多眼视立体图像的多眼视图像生成 系统以及方法。该现有的多眼视图像生成系统以及方法,是从左右一组共2张立体图像生 成与两个图像之间的任意的视点对应的中间位置图像的技术。根据该现有技术,以左右2 张立体图像的图案匹配为基础,根据视点位置以线性插补法求出中间图像的像素数据。

[0004] 然而,在该现有的多眼视图像生成技术中,能够自动生成中间位置的图像,但是存 在从左右2张立体图像无法生成进一步外侧的左外图像、右外图像的不方便。另外,为了以 图案匹配为基础、根据视点位置生成中间图像的像素数据,仅在包含探索对象像素在内其 左右相邻的规定数量的像素之间实施图案匹配,在包含对象图像的左右的同时还包含上下 相邻的像素的四周的规定数量的像素之间不实施图案匹配。因此,存在对于视差较大的图 像难以体现出深度感的问题。

[0005]【专利文献1】特开平9-27969号公报

发明内容

[0006] 本发明是鉴于上述现有技术的课题而形成的,其目的在于提供一种从左右2张的 2眼视立体图像生成中间位置图像的同时还能够自动地生成左右外图像的多眼视图像生成 系统以及方法。

[0007] 本发明的特征是一种多眼视图像生成方法,该方法对于左右2台摄像机摄影的左 眼图像(05)、右眼图像(02) (Si),以所述左眼图像、右眼图像中的任意一方的立体图像为 基准,在与另一方的立体图像之间实施图案匹配,确定每一像素的匹配图像(S2、S3),在所 述左右每一像素的匹配图像之间,通过像素间距离的内插求出中间位置图像(S4),在所述 左右每一像素的匹配图像之间,通过像素间距离的外插求出右外图像、左外图像(S4)。

[0008] 在上述发明的多眼视图像生成方法中,可以做成:所述中间位置图像为在所述左 眼图像、右眼图像之间等间隔地分离的多张图像(S32),对于离所述左眼图像近的位置的中 间位置图像以及左外图像,以该左眼图像为基准,在与所述右眼图像之间实施图案匹配,来 确定每一像素的匹配图像(S33〜S35),对于离所述右眼图像近的位置的中间位置图像以及右外图像,以该右眼图像为基准,在与所述左眼图像之间实施图案匹配,来确定每一像素 的匹配图像(S36)。

[0009] 另外,在上述发明的多眼视图像生成方法中,可以做成:所述图案匹配(S3),对于 以对象像素为中心与该对象像素上下左右相邻的规定数的像素实施(S31)。

[0010] 而且,在上述发明的多眼视图像生成方法中,可以做成:在所述图案匹配(S3)中, 在将所述规定数的像素的明暗归一化后求出类似度。

[0011] 本发明的另一特征是一种多眼视图像生成系统(1),具有:存储单元(12),其存储 左右2台摄像机摄影的左眼图像、右眼图像;图案匹配运算单元(13),其读出存储在所述 存储单元中的所述左眼图像(05)、右眼图像(0¾,以任意一方的立体图像为基准,在与另 一方的立体图像之间实施图案匹配,确定每一像素的匹配图像;以及内外插图像生成单元 (14、15),其在所述图案匹配运算单元确定的所述左右每一像素的匹配图像之间,通过像素 间距离的内插求出中间位置图像,在所述左右每一像素的匹配图像之间,通过像素间距离 的外插求出左外图像、右外图像。

[0012] 在上述发明的多眼视图像生成系统中,所述内外插图像生成单元(14、1幻生成在 所述左眼图像(05)、右眼图像(02)之间等间隔地分离的多张图像(03、04)作为所述中间位 置图像;所述图案匹配运算单元(13),对于离所述左眼图像(05)近的位置的中间位置图像 (04)以及左外图像(06),通过以该左眼图像为基准的、与所述右眼图像(02)之间的图案匹 配,确定每一像素的左基准匹配图像,而对于离所述右眼图像(02)近的位置的中间位置图 像(03)以及右外图像(01),通过该以右眼图像为基准的、与所述左眼图像(05)之间的图案 匹配,确定每一像素的右基准匹配图像;所述内外插图像生成单元(14、15),对于离所述左 眼图像近的位置的中间位置图像(04)以及左外图像(06、07),在所述左基准匹配图像和左 眼图像(05)之间通过像素间距离的内外插求出靠左侧中间位置图像、左外图像,而对于离 所述右眼图像(0¾近的位置的中间位置图像(0¾以及右外图像(01、00),在所述右基准匹 配图像和右眼图像(0¾之间通过像素间距离的内外插求出靠右侧中间位置图像、右外图 像。

[0013] 另外,在上述发明的多眼视图像生成系统中,可以做成:所述图案匹配运算单元

[13],对于以对象像素为中心与该对象像素上下左右相邻的规定数的像素实施图案匹配。

[0014] 而且,在上述发明的多眼视图像生成系统中,可以做成:所述图案匹配运算单元 (13)在将所述规定数的像素的明暗归一化后求出类似度。

[0015] 根据本发明的多眼视图像生成系统以及方法,对于左右2台摄像机摄影的左眼图 像、右眼图像,以左眼图像、右眼图像中的任意一方的立体图像为基准,在与另一方的立体 图像之间实施图案匹配,确定每一像素的匹配图像,在左右每一像素的匹配图像之间通过 像素间距离的内插求出中间位置图像,另外,在左右每一像素的匹配图像之间通过像素间 距离的外插求出右外图像、左外图像,因此从左右2张立体图像能够与规定数的中间位置 图像一起自动生成规定数的右外图像、左外图像。

[0016] 另外,根据本发明的多眼视图像生成系统以及方法,对于离左眼图像近的位置的 中间位置图像以及左外图像,以该左眼图像为基准,在与右眼图像之间实施图案匹配来确 定每一像素的匹配图像,对于离右眼图像近的位置的中间位置图像以及右外图像,以该右 眼图像为基准,在与左眼图像之间实施图案匹配来确定每一像素的匹配图像,这样,就能够生成可再生真实的立体图像的多眼视图像。

[0017] 另外,根据本发明的多眼视图像生成系统以及方法,通过对于以对象像素为中心 与该对象像素上下左右相邻的规定数的像素实施图案匹配,能够生成可再生深度深的立体 图像的多眼视图像。

[0018] 而且,根据本发明的多眼视图像生成系统以及方法,在图案匹配中采用在将规定 数的像素的明暗归一化后求出类似度的步骤,由此能够进行精度高的类似度运算,可提高 图案匹配的精度。

附图说明

[0019] 图1是本发明的一个实施方式的多眼视图像生成系统的框图。

[0020] 图2是由上述实施方式的多眼视图像生成系统进行的多眼视图像生成处理的流 程图。

[0021] 图3是上述多眼视图像生成处理的流程图中的图案匹配处理的详细的内部处理 的流程图。

[0022] 图4是通过上述实施方式的多眼视图像生成系统生成的多眼视图像的文件名的 生成规则的说明图。

[0023] 图5是上述实施方式的多眼视图像生成系统中的图案匹配处理部的类似度计算 的说明图。

[0024] 图6是上述实施方式的多眼视图像生成系统中的插补处理的说明图。

[0025] 图7是在上述实施方式的多眼视图像生成系统中,追加从右眼图像进行左眼图像 的类似度探索之前的生成图像、追加之后的生成图像。

[0026] 图8是上述实施方式的多眼视图像生成系统的从右眼图像探索左眼图像用的数 组的说明图。

[0027] 图9是上述实施方式的多眼视图像生成系统的类似度运算中的与前像素之间的 类似度计算重复部分的说明图。

[0028] 图10是在上述实施方式的多眼视图像生成系统中使用类似度计算重复部分进行 计算时的坐标的说明图。

具体实施方式

[0029] 下面,根据附图详细说明本发明的具体实施方式。

[0030](第一实施方式)

[0031] 图1表示本发明的一个实施方式的多眼视图像生成系统的结构。本系统是通过在 计算机上安装多眼视图像生成程序、并使其执行该程序来实现,但是也可以做成专用的装置。

[0032] 本实施方式的多眼视图像生成系统1具有:输入输出部11,其处理除了图像的其 他数据的输入输出;存储部12,其存储除了图像的其他数据;灰度等级转换处理部13B,从 存储部12读出左右立体图像各自数据,并将左眼图像数据、右眼图像数据转换为灰度等 级;图案匹配处理部13,其执行以左眼图像数据为基准的与右眼图像的图案匹配处理、相 反以右眼图像为基准的与左眼图像的图案匹配处理,以抽出左眼基准的右眼最类似图像以及右眼基准的左眼最类似图像;内插处理部14,其通过内插运算处理生成靠左侧中间位置 图像以及靠右侧中间位置图像并存储在存储部12中;外插处理部15,其通过外插运算处理 生成左外图像以及右外图像并存储在存储部12中;插补处理部16,其对于未找出类似像素 的像素,从周围的相邻像素的图像求出平均值来插补并将其结果存储在存储部12中;以及 图像合成部17,其将存储在存储部12中的像素单位的图像合成为规定的像素数的图像并 再次保存。

[0033] 存储部12包含大容量存储装置、非易失性存储器、易失性存储器等存储单元,对 应于运算处理阶段存储在相应的存储单元中。

[0034] 图案匹配处理部13,具有统一控制后述的图案匹配处理的各阶段的处理的图案 匹配控制部13A、灰度等级转换部13B、左基准类似度运算部13C以及右基准类似度运算部 13D。

[0035] 下面,对上述结构的多眼视图像生成系统1的多眼视图像生成方法进行说明。图 2、图3表示由本多眼视图像生成系统1进行的多眼视图像生成处理的流程图。如图2的流 程图所示,本多眼视图像生成方法主要由以下的5个处理步骤构成。

[0036] 步骤Sl :图案匹配处理部13中的图案匹配控制部13A,通过输入输出部11从外部 的存储装置或系统、或者本系统1内的存储部12读入作为处理对象的左右2张立体图像。

[0037] 步骤S2 :通过图案匹配处理部13中的灰度等级转换处理部1¾将读入的左眼图 像、右眼图像分别转换为灰度等级,并进行将其值分别代入一维数组的前处理。

[0038] 步骤S3 :根据图案匹配控制部13A的指示,通过左基准类似度运算部13C、右基准 类似度运算部13D、内插处理部14以及外插处理部15,从左眼图像探索右眼图像的最类似 像素,按照中间位置图像的相应像素设置颜色,以及按照外侧图像的相应像素设置颜色。另 外,从右眼图像探索左眼图像的最类似像素,对于中间位置图像,按照相应像素设置颜色, 以及按照外侧图像的相应像素设置颜色。对于对象图像的像素列的每一列交互执行这些图 案匹配处理。

[0039] 步骤S4:由插补处理部16,对在图案匹配处理中从未设置过颜色的像素,用取周 围8个近旁的平均的值来插补。

[0040] 步骤S5 :遵照规定的规则,如图4所示从右眼图像的外侧顺序标注号码00〜07, 作为“文件名+号码.bmp”以位图(bit map)的形式保存在规定的文件夹中。此外,该图像 的格式并不限定于此。

[0041] 使用图3的流程图更详细地说明步骤S3的图案匹配处理。首先,在左基准类似度 运算部13C中,为了从左眼图像探索右眼图像的最类似图像,将左眼图像的像素中存在左 眼图像的像素的坐标的周围作为探索范围,对于各个像素顺序计算与左眼图像的像素周围 的像素的类似度,找出最类似的像素。关于该类似度计算,将在后面叙述(步骤S31)。

[0042] 接着,在内插处理部14中,将左眼图像的像素的坐标和右眼图像的得到的最类似 像素的坐标之间的距离用在左右2张立体图像之间插补的像素的张数等分(步骤S3》。在 外插处理部15中,将坐标向外侧延长相当于在立体图像的外侧插补的图像的张数(步骤 S33)。

[0043] 对位于生成的多眼视图像的靠左侧的图像各自,对位于得到的坐标中从左侧开始 数与图像的顺序相同位置的坐标的图像,设置与左眼图像的像素相同的颜色。同样,对靠右侧的图像各自,设置与右眼图像的像素相同的颜色(步骤S35)。

[0044] 接着,在右基准类似度运算部13D中,从右眼图像探索左眼图像的最类似像素,同 样设置颜色。此时,不是再次进行类似度的计算,而是如后面所述地预先保存从左眼图像探 索到右眼图像时的类似度的值,从中探索最类似的像素并设置颜色(步骤S36)。

[0045] 以上的图案匹配处理,对于像素列一行一行地交互进行从左眼图像探索右眼图像 的处理和从右眼图像探索左眼图像的处理(步骤S30、S37)。

[0046] 详细说明上述图案匹配处理中的类似度运算。在左基准类似度运算中,使用了计 算对于左眼图像的像素从右眼图像中查找最类似的像素时的类似度的模板匹配(template matching)方法。这是使用后述的规定的公式计算与原来的图像(模板)比较的图像的类 似度,并判断在基准值的上下是否相同的图像。

[0047] 图5表示最类似点探索的图像(image)。此外,此时的探索范围或模板的大小因图 像而其最佳的大小不同,因此根据初始文件由用户指定大小。公式1是为了计算类似度而 使用的模板匹配的公式。

[0048]【公式1】

[0049]

Figure CN101437170BD00081

[0050] 其中,T(i,j)是模板,F(x, y)是探索对象图像,(x,y)是以原图像的坐标为基准 的模板的中心坐标,(i,j)是以模板内的坐标为基准的坐标,M是模板的宽度,N是模板的高度。

[0051] 在公式1中,E为类似度,该E的值越小类似度就越高,完全相同的图像的值成为 0。但是,公式1没有将亮度的差异考虑在内。因此,因为左右2台摄像机特性的不同而存 在亮度的差异的图像也可以进行类似度计算。此时,使用公式2所示的归一化相关函数。

[0052]【公式2】

[0053]

Figure CN101437170BD00082

[0054] 在式2中,σ (X,y)为将亮度的差异考虑在内的类似度。σ取从_1到1之间的 值,越接近1类似度就越高,完全相同的图像的值成为1。

[0055] 此外,在本实施方式中,以准确地进行了摄像机的设定为前提,设右眼和左眼的亮 度大约相同,为了缩短计算时间而使用式1进行类似度计算。

[0056] 接着,使用图6来说明求出最类似像素的坐标之后内插处理部14、外插处理部15 为了求出设置颜色的像素而执行的坐标计算以及颜色的设置方法。首先,根据左眼图像的 像素和求出的右眼图像的最类似像素的坐标,计算对于多眼视图像的每一个像素设置颜色 的坐标。坐标计算,通过内插处理部14将右眼图像的像素和左眼图像的像素之间的距离用 中间图像的张数等分来计算中间图像的坐标,另外,通过外插处理部15对于外侧的图像使 用比例式进行在直线上延长坐标的计算。

[0057] 设左眼图像的注目像素的坐标为(X,y),右眼图像的最类似像素的坐标为(X。, yQ),左眼图像的左侧的图像的张数为H1,左眼图像和右眼图像之间的张数为化,则左眼图像的左侧的第t1+1(t1 = 0,1,2,...,n1-1)张图像的坐标(x1; Y1)用公式3表示。

[0058]【公式3】

Figure CN101437170BD00091

[0061] 同样,左眼图像和右眼图像之间的第tm+1(tm=0,1,2,...,nm_l)张图像的坐标 (xm,ym)、右眼图像的右侧的第tr+l(tr = 0,l,2,...,nr-l)张图像的坐标(xr,yr)张图像的 坐标(xr, yr)用公式4表示。

[0062]【公式4】

Figure CN101437170BD00092

[0069]这里,之所以就其tm分情况是为了在坐标计算后设置颜色时将靠近左眼图像的

tm ≤nm/2用左眼图像的像素的颜色设置颜色,将靠近右眼图像的tm > nm/2用右眼图像的 像素的颜色设置颜色。

[0070] 接着,关于多眼视图像的各个图像,在通过上述式求出的坐标设置颜色。位于求出 的坐标的像素,若为靠近左眼图像的注目像素,则设置左眼图像的颜色,若为靠近右眼图像 的最类似像素,则设置右眼图像的颜色。即,对于左眼图像的左侧的左外图像以及左眼图像 和右眼图像之间的图像的到第nm/2张为止的靠左侧图像,设置左眼图像的像素的颜色,对 于左眼图像和右眼图像之间的第nm/2+l张起的靠右侧图像以及右眼图像的右侧的右外图 像的像素,设置右眼图像的像素的颜色。

[0071] 由插补部16进行的未设定像素的插补处理如下:对于左眼图像和右眼图像的所 有像素求出移动后的坐标,由此生成了多眼视图像的各个图像,但是由于在坐标计算的阶 段也未变成任何一个像素的移动后的坐标,而会出现一次也未设置颜色的像素。因此,要将 坐标计算和设置颜色的处理重复相当于所有像素数的次数后,将未设置颜色的像素使用周 围的像素的值进行插补。该插补处理使用对象像素的周围8个近旁的平均。

[0072] 这样,对于每一组左右2张立体图像,将包含其图像的内外8张多眼视图像依次存 储在存储部12中。在立体动画的情况下也通过对其动画的每一帧图像重复上述多眼视图 像生成处理来得到多眼视动画。此外,中间位置图像或左右的外侧图像的张数并不特别限定,可任意设定。例如,也可以设定为中间位置4张、左右外侧各一张。

[0073] 根据本实施方式的多眼视图像生成系统以及多眼视图像生成方法,从左右2张立 体图像可以生成其中间位置的规定张数的图像和左右各自外侧的规定张数的图像的多眼 视图像。

[0074] 另外,在本实施方式中,从左眼图像对右眼图像进行类似度计算,另外,从右眼图 像对左眼图像实施类似度计算,由此得到如下的画像质量的改善。在只进行从左眼图像 探索右眼图像的处理、而对于没有填充颜色的像素中仅进行取8个附近的平均的值的处理 时,如图7(a)所示,虽然在右眼图像中拍摄到但在左眼图像中被前面的物体遮挡而隐藏的 埋住部分附近也不是左眼图像的任何一个像素的最类似像素,出现空穴,一部分成为模糊 不清的图像。而且,当延长坐标时空穴的端和端之间的距离也变大,因此空穴裂开,越靠近 右眼图像的外侧,其空穴越明显。因此,在本实施方式中,在进行从左眼图像探索右眼图像, 并仅对靠左侧中间位置图像、左外图像设置颜色后,进行从右眼图像探索左眼图像的处理, 并进行对靠右侧中间位置图像、右外图像设置颜色的处理。由此,对于右眼图像的埋住部分 也查找最类似像素的坐标并设置颜色,因此空穴变小,得到如图7(b)所示更鲜明的图像。

[0075] 另外,如果在从左眼图像探索到右眼图像后从右眼图像探索左眼图像,则因为分 别计算类似度并进行探索,所以需要2倍的处理时间。因此,在本实施方式中,对于图像一 行一行地交互进行左右的探索,并且准备如图8所示的[图像的宽度X (探索范围的高度 +1)][探索范围]的尺寸的2维数组,保存从左眼图像探索右眼图像时的图案匹配的值,以 使在从右眼图像探索左眼图像时通过调用该值,用一次就能够完成类似度的计算。即,在求 出类似度的数组计算中,通过在新的数组中保存前一像素和探索范围内的各个像素之间的 类似度计算结果,再次利用前一像素的类似度计算结果。为了求出下一像素的类似度,如图 9所示,从数组中取出计算的探索范围内的像素和前一像素之间的类似度,减去前一像素的 计算的左一列,加上求出的像素的计算的右一列。由此,通过公式1的计算只要仅对图像的 第一列的像素进行即可,第二列以及其后使用该方法可以省略重复部分的计算。图10表示 使用该方法进行计算时的坐标。

Claims (4)

1. 一种多眼视图像生成方法,其特征在于,对于左右2台摄像机摄影的左眼图像(05)、右眼图像(02) (Si), 以所述左眼图像、右眼图像中的任意一方的立体图像为基准,在与任意另一方的立体 图像之间实施图案匹配,确定每一像素的匹配图像(S2、S3),以所述左眼图像、右眼图像中的任意另一方的立体图像为基准,在与任意一方的立体 图像之间实施图案匹配,确定每一像素的匹配图像(S2、S3),在所述左右每一像素的匹配图像之间,通过像素间距离的内插求出中间位置图像(03, 04)(S4),在所述左右每一像素的匹配图像之间,通过像素间距离的外插求出右外图像(00,01)、 左外图像(06,07) (S4),所述图案匹配(S;?)对于以对象像素为中心与该对象像素上下左右相邻的规定数的像 素,通过求出类似度,确定每一个像素的匹配图像,并且,对于离所述左眼图像(05)近的位置的中间位置图像(04)以及左外图像(06,07),通过 以该左眼图像(05)为基准,在与所述右眼图像(02)之间实施图案匹配来确定每一像素的 左基准匹配图像(S33〜S35),对于离所述右眼图像(02)近的位置的中间位置图像(03)以及右外图像(00,01),通过 以该右眼图像(02)为基准,在与所述左眼图像(05)之间实施图案匹配来确定每一像素的 右基准匹配图像(S36),所述中间位置图像,生成所述左眼图像(05)、右眼图像(02)之间等间隔地分离的多张 图像(03,04) (S32),并按照如下内容进行生成:对于离所述左眼图像近的位置的中间位置 图像(04),在所述左基准匹配图像和左眼图像(0¾之间,通过像素间距离的内插求出靠左 侧中间位置图像(S32)的坐标,使用左眼图像的像素颜色设置靠左侧中间位置图像与各像 素对应的左眼图像的像素的颜色(S34);对于离所述右眼图像(02)近的位置的中间位置图 像(03),在所述右基准匹配图像和右眼图像(02)之间,通过像素间距离的内插求出靠右侧 中间位置图像(S34)的坐标,使用右眼图像的像素颜色设置靠右侧中间位置图像与各像素 对应的右眼图像的像素的颜色(S35),所述左外图像、右外图像的生成按照如下内容进行:对于离所述左眼图像近的位置的 左外图像(06,07),在所述左基准匹配图像和左眼图像(05)之间,通过像素间距离的外插 求出左外图像(S33),设置与各像素对应的左眼图像的像素的颜色(S34);对于离所述右眼 图像(0¾近的位置的右外图像(01,00),在所述右基准匹配图像和右眼图像(02)之间, 通过像素距离的外插求出右外图像(S33),设置与各像素对应的右眼图像的像素的颜色 (S35)。
2.根据权利要求1所述的多眼视图像生成方法,其特征在于,在所述图案匹配(S;?)中,在将所述规定数的像素的明暗归一化后求出类似度。
3. —种多眼视图像生成系统,其特征在于, 具有下述单元:存储单元(12),其存储左右2台摄像机摄影的左眼图像、右眼图像; 图案匹配运算单元(13),其读出存储在所述存储单元中的所述左眼图像(05)、右眼图 像(0¾,以任意一方的立体图像为基准,在与另一方的立体图像之间实施图案匹配,另外,以任意另一方的立体图像为基准,在与一方的立体图像之间实施图案匹配,确定每一像素 的匹配图像;以及内外插图像生成单元(14、15),其在所述图案匹配运算单元确定的所述左右每一像素 的匹配图像之间,通过像素间距离的内插求出中间位置图像,在所述左右每一像素的匹配 图像之间,通过像素间距离的外插求出左外图像、右外图像。所述图案匹配运算单元(13),对于以对象像素为中心与该对象像素上下左右相邻的规 定数的像素,通过将左右眼图像的像素中存在左右眼图像的像素的坐标的周围作为探索范 围,对各个像素顺序计算左/右眼图像与左/右眼图像的像素周围的像素的类似度,找出 最类似的像素,确定每一个像素的匹配图像,并且,对于离所述左眼图像(05)近的位置的 中间位置图像(04)以及左外图像(06,07),通过以该左眼图像为基准的、与所述右眼图像(02)之间的图案匹配,确定每一像素的左基准匹配图像,对于离所述右眼图像(02)近的位 置的中间位置图像(03)以及右外图像(00,01),通过该以右眼图像(02)为基准的、与所述 左眼图像(0¾之间的图案匹配,确定每一像素的右基准匹配图像;所述内外插图像生成单元(14、15),生成在所述左眼图像(05)、右眼图像(0¾之间 等间隔地分离的多张图像(03、04)作为所述中间位置图像,对于离所述左眼图像近的位置 的中间位置图像(04)以及左外图像(06、07),在所述左基准匹配图像和左眼图像(05)之 间,通过像素间距离的内外插求出靠左侧中间位置图像(04)、左外图像(06,07),设置与各 像素对应的左眼图像的像素的颜色;对于离所述右眼图像(02)近的位置的中间位置图像(03)以及右外图像(01、00),在所述右基准匹配图像和右眼图像(0¾之间,通过像素间距 离的内外插求出靠右侧中间位置图像(03)、右外图像(00,01),设置与各像素对应的右眼 图像的像素的颜色。
4.根据权利要求3所述的多眼视图像生成系统(1),其特征在于, 所述图案匹配运算单元(13),在将所述规定数的像素的明暗归一化后求出类似度。
CN2008101101625A 2007-11-13 2008-06-13 多眼视图像生成系统以及多眼视图像生成方法 CN101437170B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007-294270 2007-11-13
JP2007294270 2007-11-13
JP2007294270A JP4958233B2 (ja) 2007-11-13 2007-11-13 多眼視画像作成システム及び多眼視画像作成方法

Publications (2)

Publication Number Publication Date
CN101437170A CN101437170A (zh) 2009-05-20
CN101437170B true CN101437170B (zh) 2011-06-08

Family

ID=40711354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101101625A CN101437170B (zh) 2007-11-13 2008-06-13 多眼视图像生成系统以及多眼视图像生成方法

Country Status (2)

Country Link
JP (1) JP4958233B2 (zh)
CN (1) CN101437170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9109891B2 (en) 2010-02-02 2015-08-18 Konica Minolta Holdings, Inc. Stereo camera
JP5307051B2 (ja) * 2010-02-10 2013-10-02 株式会社日立製作所 立体映像調整装置及び調整方法
JP5088973B2 (ja) * 2010-07-27 2012-12-05 シャープ株式会社 立体撮像装置およびその撮像方法
JP5812716B2 (ja) * 2010-08-27 2015-11-17 キヤノン株式会社 画像処理装置および方法
CN102687178B (zh) 2010-08-27 2016-04-20 三星电子株式会社 用于产生多视图的渲染设备和方法
JP5879713B2 (ja) 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2012090309A1 (ja) 2010-12-28 2012-07-05 コニカミノルタホールディングス株式会社 情報処理装置、そのプログラム、および情報処理方法
WO2012090813A1 (ja) * 2010-12-28 2012-07-05 コニカミノルタホールディングス株式会社 画像処理装置及び画像処理システム
DE102011008886A1 (de) * 2011-01-19 2012-07-19 Sterrix Technologies UG (haftungsbeschränkt) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
CN102608765B (zh) * 2011-01-20 2015-06-03 承景科技股份有限公司 立体图像显示方法
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
JP5640143B2 (ja) 2011-03-31 2014-12-10 富士フイルム株式会社 撮像装置及び撮像方法
JP2013005135A (ja) * 2011-06-15 2013-01-07 Sony Corp 画像処理装置および方法、並びにプログラム
JPWO2012176431A1 (ja) * 2011-06-20 2015-02-23 パナソニック株式会社 多視点画像生成装置、多視点画像生成方法
CN102957920A (zh) * 2011-08-19 2013-03-06 宏碁股份有限公司 三维动态影像补偿方法与装置
JP5708395B2 (ja) * 2011-09-16 2015-04-30 株式会社Jvcケンウッド 映像表示装置及び映像表示方法
CN103795995A (zh) * 2011-12-31 2014-05-14 四川虹欧显示器件有限公司 3d图像的处理方法和处理系统
JP5928280B2 (ja) 2012-09-28 2016-06-01 株式会社Jvcケンウッド 多視点画像生成装置及び方法
CN103868460B (zh) * 2014-03-13 2016-10-05 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105513031B (zh) * 2014-10-14 2018-10-30 清华大学 基于图匹配的数据驱动图像外插方法及装置
KR20170098232A (ko) * 2014-12-22 2017-08-29 톰슨 라이센싱 오브젝트 검출에 기초하여 외삽된 이미지를 생성하는 방법 및 장치
CN106625713A (zh) * 2017-01-11 2017-05-10 长春工业大学 提高涂胶工业机器人涂胶精度的方法
CN107493465B (zh) * 2017-09-18 2019-06-07 郑州轻工业学院 一种虚拟多视点视频生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216125A (ja) * 2001-01-23 2002-08-02 Toshiba Corp 画像修正装置及びその方法
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP3709879B2 (ja) * 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
JP4432462B2 (ja) * 2003-11-07 2010-03-17 ソニー株式会社 撮像装置及び方法、撮像システム
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法

Also Published As

Publication number Publication date
JP2009124308A (ja) 2009-06-04
CN101437170A (zh) 2009-05-20
JP4958233B2 (ja) 2012-06-20

Similar Documents

Publication Publication Date Title
US9390538B2 (en) Depth identification of pixels in one or more three dimensional images
US8953874B2 (en) Conversion of monoscopic visual content using image-depth database
JP2018026840A (ja) 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
US8488868B2 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US7260274B2 (en) Techniques and systems for developing high-resolution imagery
EP1303839B1 (en) System and method for median fusion of depth maps
KR101240789B1 (ko) 비디오 변환시스템에 있어서의 뎁스맵 생성
EP1646012B1 (en) Virtual visual point image generating method and 3-d image display method and device
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
JP4886898B2 (ja) 深さ関連情報伝達のための方法及び装置
CA2723627C (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
JP5561781B2 (ja) 2d画像データを立体画像データに変換する方法およびシステム
Du et al. A metric of visual comfort for stereoscopic motion
US7126598B2 (en) 3D image synthesis from depth encoded source view
US6741251B2 (en) Method and apparatus for varying focus in a scene
Arimoto et al. Integral three-dimensional imaging with digital reconstruction
CN102939764B (zh) 图像处理器、图像显示装置和图像拍摄装置
JP4440067B2 (ja) 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
CN100390606C (zh) 立体图像生成方法和立体图像显示装置
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
CN101902657B (zh) 一种基于深度图分层的虚拟多视点图像的生成方法
US8698797B2 (en) Method and device for generating multi-views three-dimensional (3D) stereoscopic image
KR100437219B1 (ko) 화상 표시 장치, 화상 표시 방법 및 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110608

Termination date: 20170613

CF01 Termination of patent right due to non-payment of annual fee