CN101566784B - 立体影像的景深数据建立方法及其系统 - Google Patents

立体影像的景深数据建立方法及其系统 Download PDF

Info

Publication number
CN101566784B
CN101566784B CN2009101118989A CN200910111898A CN101566784B CN 101566784 B CN101566784 B CN 101566784B CN 2009101118989 A CN2009101118989 A CN 2009101118989A CN 200910111898 A CN200910111898 A CN 200910111898A CN 101566784 B CN101566784 B CN 101566784B
Authority
CN
China
Prior art keywords
picture element
picture
offset vector
eye shadow
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101118989A
Other languages
English (en)
Other versions
CN101566784A (zh
Inventor
高盟超
林享昙
陈建宏
邱俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chunghwa Picture Tubes Ltd
Original Assignee
CPTF Optronics Co Ltd
Chunghwa Picture Tubes Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CPTF Optronics Co Ltd, Chunghwa Picture Tubes Ltd filed Critical CPTF Optronics Co Ltd
Priority to CN2009101118989A priority Critical patent/CN101566784B/zh
Publication of CN101566784A publication Critical patent/CN101566784A/zh
Application granted granted Critical
Publication of CN101566784B publication Critical patent/CN101566784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明是揭露一种立体影像的景深数据建立方法及其系统,应用于一立体影像包含一第一眼影像与一第二眼影像。系统包含一偏移向量矩阵、一偏移运算器与一比较器。偏移向量矩阵包含与第一眼影像的画素数量相同且位置对应的数据域,偏移运算器是以第一眼影像的第a个第一画素为中心,划分一基准框,并在第二眼影像中找出一目标框,目标框与基准框具有一最小灰阶差值,以根据最小灰阶差值计算出一偏移向量值。比较器是判断已记录所有第a个第一画素的偏移向量值于偏移向量矩阵,以转换此偏移向量矩阵为一深度图。

Description

立体影像的景深数据建立方法及其系统
技术领域
一种景深数据建立方法,特别是有关于一种用以计算两不同视角的眼影像的偏移量,以取得深度图的景深数据建立方法及其系统。
背景技术
一般而言,立体影像多由两组不同视角的影像数据所组成,其中,一组是对应于左眼视角,另一组则是对应于右眼视角。对应于左眼视角的影像称为左眼影像,对应于右眼视角的影像称为右眼影像。
先前技术中,建立立体影像的方式不外乎有三种。第一种:利用虚拟实境软件(VirtualSoftware)建立立体(3D,three-dimensional)场景,包含虚拟人物、虚拟物品、虚拟建筑物等等,再利用虚拟实境软件的摄影套件以不同视角拍摄此立体场景。然而,利用虚拟实境软件(Virtual Software)所制作出的影像本身就具有深度信息存在(即影像已包含3个相互垂直轴向数据,被拍摄的物体或场景可被虚拟实境软件控制而转动)。
第二种:利用两个拍摄装置对同一景物进行拍摄,产生针对此景物的两个视角影像,两个视像影像各别为上述的左眼影像与右眼影像。当播放影像时,令观视者的左眼仅看到左眼影像,令观视者的右眼仅看到右眼影像。藉此,观视者即会于大脑中产生立体视觉,使观视者感觉看到真实的立体实物。
第三种:利用具有红外线传感器的拍摄装置对一景物进行拍摄,红外线传感器是发射一红外光线,此红外光线碰到物体会反射,红外线传感器是接收此反射的红外光线,并根据接收红外光线的时间与频率等条件,判断景物与拍摄装置的距离,判断出实际景物外轮廓的深度变化,进而计算出景物的深度数据,以整合于拍摄的影像中。
然利用虚拟实境软件建立立体场景再进行拍摄的手段,需先设计虚拟场景并拍摄制作3D的立体动画,十分费时,而且无法应用于实际物体(包含人体或物品)的拍摄作业。
其次,对同一景物进行拍摄两不同视角影像,再合成为立体影像者,观视者皆可从此立体影像感觉出物体的立体感,但此种立体影像并不能得到有景深数据或景深讯号。
而且,具有红外线传感器的拍摄装置在拍摄影像时,虽可利用红外光线感应景物的深浅远近以计算出相关景深数据,但红外线传感器的感应距离相当有限,拍摄装置与实际景物太远时,红外线传感器即无法感应出实际景物外轮廓的深度变化,即无法正确的取得有效的景深数据。
因此,如何有效的取得立体景像的景深数据即为各厂商应思考的课题。
发明内容
有鉴于此,本发明所欲解决的问题是在于提供一种快速且有效的取得立体影像的景深数据的方法与系统。
为解决上述方法问题,本发明所提供的技术手段是揭露一种立体影像的景深数据建立方法,是应用于一立体影像,此立体影像包含一第一眼影像与一第二眼影像。此方法中,是建立一偏移向量矩阵,此偏移向量矩阵包含复数个数据域,各数据域是与第一眼影像的n个第一画素相互对应,n为自然数。取得第一眼影像的一第a个第一画素,i为介于1与n之间的整数。以一画素选取区块建立一基准框于第一眼影像,基准框包含复数个第一画素,并以第a个第一画素为中心。根据第a个第一画素所属的基准框,于第二眼影像中搜寻一目标框,目标框与基准框具有一最小灰阶差值,以根据最小灰阶差值计算出一偏移向量值。藉此方式将所有第a个第一画素对应的偏移向量值找出,记录于偏移向量矩阵。将偏移向量矩阵转换成深度图。
为解决上述装置问题,本发明所提供的技术手段是揭露一种立体影像的景深数据建立系统,是应用于一立体影像,此立体影像包含一第一眼影像与一第二眼影像。此系统包含一储存模块、一偏移运算器与一比较器。
储存模块用以记录一偏移向量矩阵,此偏移向量矩阵包含复数个数据域,各数据域是与第一眼影像的n个第一画素相互对应,n为自然数。偏移运算器用以根据一画素选取区块建立一基准框于第一眼影像,基准框内涵盖多个第一画素,并以第a个第一画素为中心,及根据第a个第一画素对应的基准框,于第二眼影像中搜寻一目标框,目标框与基准框具有一最小灰阶差值,以根据最小灰阶差值计算出一偏移向量值。比较器用以记录各第一画素所对应的偏移向量值于偏移向量矩阵的各数据域,在判断每一第a个第一画素的偏移向量值已全数记录于偏移向量矩阵时,转换偏移向量矩阵为一深度图。
本发明所揭露的方法与系统,其使得传统3D左眼影像与右眼影像在被转换为2D影像时,迅速产生上述的深度图,供影像显示设备根据2D影像与深度图呈现具有立体感的立体影像,并显示对应立体影像的复数个视点的三维效果。而且,偏移向量矩阵是记录各第一画素在第二眼影像上的偏移向量值,故转换出来的深度图,在结合于原立体影像时,可有效的改善立体影像的合成效果。而且,本发明所揭露的方法与系统不仅可对由拍摄设备进行所产出的影像作处理,对于并非拍摄而得的动态画面或静态画面也可进行处理,进一步的扩大本发明的实用范围、适用场合与应用层面。
附图说明
图1是本发明的系统方块图的一例;
图2是本发明的景深数据建立方法流程图的一例;
图3是本发明的基准框划分示意图;
图4是本发明的基准框结构示意图的一例;
图5是本发明的景深数据建立方法的细部流程图;
图6是本发明的预选框于第二眼影像的配置图的一例;
图7是本发明的预选框结构图的一例;
图8是本发明的画素选取区块的格式编码图的一例;
图9是本发明的偏移向量矩阵示意图的一例;
图10是本发明的偏移向量矩阵Z的一例;
图11是本发明的立体影像的景深数据建立方法的另一例;
【主要组件符号说明】
1     景物
11    第一眼影像
12    第二眼影像
13    偏移向量矩阵
21    第一成像模块
22    第二成像模块
23    偏移运算器
24    比较器
25    储存模块
31    基准框
32    预选框
41    第a个第一画素
42    第a个第二画素
43    预选第二画素
S110、S120、S130、S140、S150、S160、S161、S162、S163:步骤
具体实施方式
为使对本发明的终点、构造特征及其功能有进一步的了解,兹配合相关实施例及图式详细说明如下:
请参照图1,其为本发明的系统方块图的一例,此系统包含一第一成像模块21、一第二成像模块22、一储存模块25、一偏移运算器23与一比较器24。
第一成像模块21是拍摄一景物1以产生一第一眼影像11,第二成像模块22是拍摄相同的景物1以产生一第二眼影像12。储存模块25用以记录一偏移向量矩阵13,此偏移向量矩阵13包含复数个数据域,数据域的数量是与第一眼影像11欲进行偏移计算的第一画素的数量相同,在此设为n。
偏移运算器23会以第一眼影像11的第a个第一画素41为中心,根据一画素选取区块建立一基准框31,此基准框31除第a个第一画素41外,尚涵盖有多个第一画素。偏移运算器23会根据此基准框31,在第二眼影像12上找出一个目标框,此目标框的第二画素与基准框31的第一画素之间是具有一个最小灰阶差值,以藉由最小灰阶差值计算出第a个第一画素41在第二眼影像12上的一个偏移向量值。
比较器24是用以记录各偏移向量值至偏移向量矩阵13的数据域,即第a个第一画素41的偏移向量值即记录在第a个数据域。比较器24在判断各第a个数据域皆填入各第a个第一画素41的偏移向量值,是将偏移向量矩阵13转换为一深度图。
在此说明,上述各画素的类型可为一般公知性的画素或次画素。
请参照图2,其为本发明的立体影像的景深数据建立方法流程图的一例。请同时参照图1所示的系统方块图以利于了解。此方法施行前,先利用第一成像模块21与第二成像模块22各自拍摄一景物1以形成一立体影像,此立体影像包含一第一眼影像11与第二眼影像12。在此说明,第一眼影像11为一左眼影像,而第二眼影像12为右眼影像;亦或,第一眼影像11为一右眼影像,第二眼影像12为左眼影像。本实施例中,是以右眼影像视为第一眼影像11,左眼影像视为第二眼影像12。此方法包含下列步骤:
建立一偏移向量矩阵13(步骤S110),偏移向量矩阵13包含复数个数据域,数据域是对应第一眼影像11的n个第一画素,n为自然数。如图1,是在储存模块25中建立一个矩阵,此矩阵可为一维矩阵或二维矩阵,但数据域位需与第一眼影像11中欲进行计算偏移向量的第一画素的数量为高,或相等。在此,视此矩阵为偏移向量矩阵13,数据域位的数量为n,第一眼影像11欲进行计算偏移向量的第一画素的数量同为n。
取得第一眼影像11的一第a个第一画素41(步骤S120),i为介于1与n之间的整数。此步骤中,视第一眼影像11的第一画素排列方式从左至右,从上至下,视左上的第一画素为第一眼影像11的第1个第一画素,视右下的第一画素为第一眼影像11的最末个第一画素。
以第a个第一画素41为中心,根据一画素选取区块建立一基准框31于第一眼影像11(步骤S130),基准框31尚复数个用以进行灰阶比对的第一画素。此基准框31可为方形,其长度可为三个画素长度、五个画素长度、七个画素长度或九个画素长度,即单数个画素长度。
请参照图3,其为本发明的基准框31划分示意图,本实施例以基准框31为5x5的方形,第1个第一画素为其中心进行说明。但基准框31可能会超出第一眼影像11的边界,在此可将第一眼影像11边界的第一画素,其包含的数值递补基准框31超出的范围。举例来说,设第一眼影像11的画素选取区块为(x,y),则若基准框31超出第一眼影像11上方时,是以(0,0)至(x,0)的第一画素进行数值递补,超出第一眼影像11左方时,是以(0,0)至(0,y)的第一画素进行数值递补,超出第一眼影像11下方时,是以(0,y)至(x,y)的第一画素进行数值递补,超出第一眼影像11上方时,是以(x,0)至(x,y)的第一画素进行数值递补。
请参照图4,其为本发明的基准框31结构示意图的一例。第一眼影像11的第a个第一画素41的画素坐标值为R(i,j),其中i,j为自然数,R代表本实施例的第一眼影像11为右眼影像。因此,基准框31内包含的所有第一画素的画素坐标值范围是为R(i-2,j-2)至R(i+2,j+2),顺序由左至右,由上至下。假设,目前第a个第一个画素为第1个第一画素,画素坐标为(0,0),则基准框31内包含的所有第一画素的画素坐标值范围是为R(-2,-2)至R(2,2)。
根据第a个第一画素41所属的基准框31,于第二眼影像12中搜寻一目标框,目标框与基准框31之间具有一最小灰阶差值(步骤S140)。
请参照图5,其为本发明的景深数据建立方法的细部流程图,请同时图6以利于了解,图6是本发明的预选框32于第二眼影像12的配置图的一例。此步骤中,根据第二眼影像12的一第a个第二画素42与一偏移画素值,取得复数个预选第二画素43(步骤S141)。令偏移画素值为x,预选第二画素43的选择范围是为第a-x个第二画素至第a+x个第二画素,其中x为介于0与n之间的整数。假设,当基准框31的中心为第1个第一画素,且偏移画素值为10,偏移运算器23即从第二眼影像12上选择第1个第二画素,并将第1-10个第二画素至第1+10个第二画素作为预选第二画素43,也就是第-9个第二画素至第11个第二画素。
偏移运算器23是以各预选第二画素43为中心,根据画素选取区块在第二眼影像12划分复数个预选框32,每一预选框32包含复数个第二画素(步骤S142)。
请参照图7,其为本发明的预选框32结构图的一例。本实施例中,每一预选框32的构造雷同图4所示的基准框31,为5x5的方形。假设第二眼影像12的第a个第二画素42的画素坐标值为L(i,j),其中i,j为自然数,L代表本实施例的第二眼影像12为左眼影像。
第a个第二画素42所属的预选框32内包含的所有第二画素,其画素坐标值范围为L(i-2,j-2)至L(i+2,j+2),顺序由左至右,由上至下。假设,目前第a个第二个画素为第1个第一画素,画素坐标为L(0,0),则第1个第一画素所属的预选框32内包含的所有第二画素的画素坐标值范围是为L(-2,-2)至L(2,2)。
同理,当第a个第二个画素为第2个第一画素,画素坐标为L(1,0),则预选框32内包含的所有第二画素的画素坐标值范围是为L(-1,-2)至L(3,2)。当第a个第二个画素为第10个第二画素,画素坐标为L(10,0),则预选框32内包含的所有第二画素的画素坐标值范围是为L(8,-2)至L(12,2)。当第a个第二个画素为第-9个第二画素,画素坐标为L(-10,0),则预选框32内包含的所有第二画素的画素坐标值范围是为L(-12,-2)至L(-8,2)。
但任一预选框32是超出第二眼影像12的边界,因此利用第二眼影像12中,处于边界的第二画素包含的画素值作为递补。举例来说,设第二眼影像12的画素长宽为(p,q),则若预选框32超出第二眼影像12上方时,是以(0,0)至(p,0)的第二画素进行数值递补,超出第二眼影像12左方时,是以(0,0)至(0,q)的第二画素进行数值递补,超出第二眼影像12下方时,是以(0,q)至(p,q)的第二画素进行数值递补,超出第二眼影像12上方时,是以(p,0)至(p,q)的第二画素进行数值递补。
偏移运算器23将基准图的所有第一画素个别与每一预选框32的所有第二画素进行位置匹配,计算位置相匹配的第一画素与该第二画素的灰阶差并加总,以取得个别对应该等预选框32的复数个灰阶差总值(步骤S143)。
举例而言,偏移运算器23取得第1个第一画素所属的基准框31,其内含所有第一画素,即R(-2,-2)至R(2,2)中,每一个第一画素对应的灰阶值。偏移运算器23是选择任一预选第二画素43所属的预选框32,以第11个第二画素所属的预选框32为例(即偏移画素值x=10),偏移运算器23会取得第11个第二画素所属的预选框32,其内含所有第二画素的灰阶值。
请参照图8,其为本发明的画素选取区块的格式编码图的一例。如上述,偏移运算器23是利用相同的画素选取区块在第一眼影像11与第二眼影像12上划分基准框31与预选框32。因此偏移运算器23会根据画素选取区块的格式,将对应相同格式编码,也就是画素位置相对应的第一画素与第二画素进行灰阶差的计算,再将所有灰阶差值进行加总形成对应预选框32的一灰阶差总值。计算公式如下:
D(x)=[L(i-2+x,j-2)-R(i-2,j-2)]2+[L(i-1+x,j-2)-R(i-1,j-2)]2+
...+[L(i+x,j)-R(i,j)]2+…+[L(i+2+x,j+2)-R(i+2,j+2)]2
在此例中,第1个第一画素的基准框31与第11个第二画素的预选框32之间的灰阶差总值为
D(10)=[L(i-2+10,j-2)-R(i-2,j-2)]2+[L(i-1+10,j-2)-R(i-1,j-2)]2+
...+[L(i+10,j)-R(i,j)]2+…+[L(i+2+10,j+2)-R(i+2,j+2)]2
同理,第1个第一画素的基准框31与其它预选第二画素43(即第10个第二画素至第-9个第二画素,偏移画素值为-10至9之间)的预选框32之间的灰阶差总值各为
D(9)=[L(i-2+9,j-2)-R(i-2,j-2)]2+[L(i-1+9,j-2)-R(i-1,j-2)]2+
...+[L(i+9,j)-R(i,j)]2+…+[L(i+2+9,j+2)-R(i+2,j+2)]2
D(8)=[L(i-2+8,j-2)-R(i-2,j-2)]2+[L(i-1+8,j-2)-R(i-1,j-2)]2+
...+[L(i+8,j)-R(i,j)]2+…+[L(i+2+8,j+2)-R(i+2,j+2)]2
D(0)=[L(i-2,j-2)-R(i-2,j-2)]2+[L(i-1,j-2)-R(i-1,j-2)]2+
...+[L(i,j)-R(i,j)]2+…+[L(i+2,j+2)-R(i+2,j+2)]2
D(-8)=[L(i-2-8,j-2)-R(i-2,j-2)]2+[L(i-1-8,j-2)-R(i-1,j-2)]2+
...+[L(i-8,j)-R(i,j)]2+…+[L(i+2-8,j+2)-R(i+2,j+2)]2
D(-9)=[L(i-2-9,j-2)-R(i-2,j-2)]2+[L(i-1-9,j-2)-R(i-1,j-2)]2+
...+[L(i-9,j)-R(i,j)]2+…+[L(i+2-9,j+2)-R(i+2,j+2)]2
D(-10)=[L(i-2-10,j-2)-R(i-2,j-2)]2+[L(i-1-10j-2)-R(i-1,j-2)]2+
...+[L(i-10,j)-R(i,j)]2+…+[L(i+2-10,j+2)-R(i+2,j+2)]2
偏移运算器23是从所有灰阶差总值取得一最小灰阶差值,此最小灰阶差值所属的预选框32即为目标框(步骤S144)。
偏移运算器23会根据取得的最小灰阶差值计算出第1个第一画素于第二眼影像12的偏移向量值(步骤S145)。以本实施例来说,假设D(-8)为最小灰阶差值,则-8即为第一画素于第二眼影像12的偏移向量值。
比较器24会记录偏移向量值于偏移向量矩阵13的一第a个数据域(步骤S150)。以本实施例来说,第a个第一画素41乃指第1个第一画素,所取得偏移向量值也是指第1个第一画素在第二眼影像12的偏移量,故比较器24会将对应第1个第一画素的偏移向量值(如上述的-8)记录在偏移向量矩阵13的第1个数据域。
比较器24会判断第a个第一画素41的偏移向量值是否全数记录于偏移向量矩阵13(步骤S160)。本实施例中,比较器24会判断当前用以进行偏移向量值计算的第a个第一画素41是否为第一眼影像11的最末一个第一画素,即第n个第一画素。
当比较器24判断出第a个第一画素41不为第n个第一画素,尚未全数取得第一眼影像11的各第一画素的偏移向量值。比较器24会令一第a+1个第一画素为第a个第一画素41(步骤S163),以上述实施例而言,原先第a个第一画素41为第1个第一画素,第a+1个第一画素为第2个第一画素。在步骤S163后,比较器24会将第2个第一画素视为第a个第一画素41,第3个第二画素视为第a+1个第一画素,第1个第一画素视为第a-1个第一画素,以此类推。之后,比较器24会重新执行步骤S130至步骤S163,直至所有第a个第一画素41的偏移向量值皆全数记录于偏移向量矩阵13中。
当比较器24判断出第a个第一画素41为第n个第一画素,即全数第一画素的偏移向量值已被记录在偏移向量矩阵13中。比较器24即转换此偏移向量矩阵13为一深度图(步骤S162)。
请参照图9,其为本发明的偏移向量矩阵13示意图的一例。在此,以二维矩阵的形式说明,令偏移向量矩阵13为A,则所有数据域的数量为n,等同于第一画素的数量,每一数据域的函数则以A(i,j)表示。如图9,偏移向量矩阵13的数据域的排列顺序如同第一眼影像11的第一画素的排列形式,由左至右,由上至下。各数据域位是与各第一画素在第一眼影像11相互对应,如前述,第a个第一画素41的偏移向量值是记录于第a个数据域。每一数据域所记录的偏移向量值是介于偏移画素值的正负数之间,即-x至x之间。假设,偏移画素值为-10至10,第一眼影像11的分辨率为640x480,供307200个第一画素,第1个第一画素的偏移向量值为-8,则第1个数据域即为A(0,0)=-8。同理,第640个第一画素的偏移向量值为6。则第640个数据域位即为A(639,0)=6;第641个第一画素的偏移向量值为-7,则第641个数据域位即为A(0,1)=-7,以此类推,第307200个第一画素的偏移向量值为9,则第307200个数据域即为A(639,479)=9。当所有数据域各记录有第a个第一画素41的偏移向量值后,此偏移向量矩阵A可视为一深度图A。此初步深度图A即被影像显示设备所利用、结合第一眼影像11与第二眼影像12以形成一具有景深的立体影像。
请参照图10,其为本发明的偏移向量矩阵Z的一例,请同时参照图9与图11以利于了解,图11为本发明的立体影像的景深数据建立方法的另一例。为避免其它厂商或影像显示设备不具有利用此深度图A的能力,可在比较器24转换此偏移向量矩阵为一深度图前(步骤S162),令比较器24将偏移向量矩阵13的所有偏移向量值转换成符合一灰阶值记录规则的复数个灰阶差值(步骤S161)。转换公式如下:
Z(i,j)=[A(i,j)+x]*(255/2x)
其中,x为偏移画素值,Z(i,j)代表由偏移向量矩阵A转换而得的偏移向量矩阵Z。每一偏移向量值即被转换为符合灰阶数值法则的灰阶差值,每一灰阶差值为介于0至255之间的整数。之后,比较器24会执行步骤S163以将偏移向量矩阵Z转换成Z深度图,然一般而言,可视偏移向量矩阵Z为数值化的Z深度图。
如图10所示,原偏移向量矩阵A中,第1个数据域A(0,0)=-8。第640个数据域A(639,0)=6,第641个数据域位A(0,1)=-7,以及第307200个数据域A(639,479)=9。当偏移向量矩阵A被转换成偏移向量矩阵Z后,第1个数据域Z(0,0)=25。第640个数据域Z(639,0)=204,第641个数据域位Z(0,1)=38,以及第307200个数据域A(639,479)=242。由偏移向量矩阵A转换而得的偏移向量矩阵Z及其Z深度图即可为其它厂商或市面上有贩卖的影像显示设备所使用。
虽然本发明以前述的较佳实施例揭露如上,然其并非用以限定本发明,任何熟习相像技艺者,在不脱离本发明的精神和范围内,所作更动与润饰的等效替换,仍为本发明的专利保护范围内。

Claims (13)

1.一种立体影像的景深数据建立方法,是应用于一立体影像,该立体影像包含一第一眼影像与一第二眼影像,其特征在于,该景深数据建立方法包含以下步骤:
(1)、建立一偏移向量矩阵,该偏移向量矩阵包含复数个数据域,该复数个数据域是对应该第一眼影像的n个第一画素,n为自然数;
(2)、取得该第一眼影像的一第a个第一画素,a为介于1与n之间的整数;
(3)、以该第a个第一画素为中心,根据一画素选取区块建立一基准框于第一眼影像,该基准框包含复数个该第一画素;
(4)、根据该第a个第一画素所属的该基准框,于该第二眼影像中搜寻一目标框,该目标框与该基准框之间具有一最小灰阶差值;
(5)、根据该最小灰阶差值计算出该第a个第一画素的一偏移向量值;
(6)、记录该偏移向量值于该偏移向量矩阵的一第a个数据域;
(7)、判断每一该第a个第一画素的该偏移向量值是否全数记录;
(8)、当判断已全数记录,转换该偏移向量矩阵为一深度图;
(9)、当判断未全数记录,令一第a+1个第一画素为该第a个第一画素,返回步骤(3)。
2.根据权利要求1所述的立体影像的景深数据建立方法,其特征在于:所述的第一眼影像为一左眼影像,所述的第二眼影像为右眼影像;或者是所述的第一眼影像为一右眼影像,所述的第二眼影像为左眼影像。
3.根据权利要求1所述的立体影像的景深数据建立方法,其特征在于:所述的步骤(4)中根据第a个第一画素对应的该基准框,于该第二眼影像上搜寻一目标框步骤包含下列步骤:
1)、根据该第二眼影像的一第a个第二画素与一偏移画素值,取得复数个预选第二画素;
2)、以各该预选第二画素为中心,根据该画素选取区块在该第二眼影像建立复数个预选框,每一该预选框包含复数个第二画素;
3)、将该基准框的复数个该第一画素分别与每一该预选框的复数个该第二画素进行位置匹配,计算位置相匹配的该第一画素与该第二画素的灰阶差并求平方和,以取得对应该复数个预选框的复数个灰阶差总值;
4)、从该复数个灰阶差总值取得一最小灰阶差值,该最小灰阶差值所属的该预选框即为该目标框;以及
5)、根据该最小灰阶差值计算出该偏移向量值。
4.根据权利要求3所述的立体影像的景深数据建立方法,其特征在于,所述的偏移画素值为x,该复数个预选第二画素是为一第a-x个第二画素至一第a+x个第二画素,其中x为介于0与n之间的整数。
5.根据权利要求4所述的立体影像的景深数据建立方法,其特征在于:其中每一该偏移向量值为介于-x至x之间的整数。
6.根据权利要求1所述的立体影像的景深数据建立方法,其特征在于:所述的画素选取区块是为方形,该方形的长度是为三个画素、五个画素、七个画素或九个画素。
7.根据权利要求1所述的立体影像的景深数据建立方法,其特征在于:在所述步骤(7)之后步骤(8)之前更包含下列步骤:
将该偏移向量矩阵的该偏移向量值转换成符合一灰阶格式的复数个灰阶差值,所述的每一该灰阶差值为介于0至255之间的整数。
8.一种立体影像的景深数据建立系统,是应用于一立体影像,该立体影像包含一第一眼影像与一第二眼影像,其特征在于,所述的景深数据建立系统包含:
一储存模块,用以记录一偏移向量矩阵,该偏移向量矩阵包含复数个数据域,该复数个数据域是对应该第一眼影像的n个第一画素,n为自然数;
一偏移运算器,用以根据该第a个第一画素为中心,根据一画素选取区块建立一基准框于第一眼影像,该基准框包含复数个该第一画素,及根据该第a个第一画素所属的该基准框,于该第二眼影像中搜寻一目标框,该目标框与该基准框具有一最小灰阶差值,以根据该最小灰阶差值计算出该第a个第一画素的一偏移向量值;以及
一比较器,用以记录该偏移向量值于该偏移向量矩阵的一第a个数据域,与判断该偏移向量矩阵的该复数个数据域未全数填入数值时,令一第a+1个第一画素为该第a个第一画素以回传至偏移运算器,以及判断每一该第a个第一画素的该偏移向量值已全数记录,转换该偏移向量矩阵为一深度图;
上述a为介于1与n之间的整数。
9.根据权利要求8所述的立体影像的景深数据建立系统,其特征在于:所述的第一眼影像为一左眼影像,所述的第二眼影像为右眼影像;或者所述的第一眼影像为一右眼影像,所述的第二眼影像为左眼影像。
10.根据权利要求8所述的立体影像的景深数据建立系统,其特征在于:所述的偏移运算器在搜寻目标框时,是根据下列步骤:
a、根据该第二眼影像的一第a个第二画素与一偏移画素值,取得复数个预选第二画素;
b、以各该预选第二画素为中心,根据该画素选取区块在该第二眼影像建立复数个预选框,每一该预选框包含复数个第二画素;
c、将该基准框的复数个该第一画素分别与每一该预选框的复数个该第二画素进行位置匹配,计算位置相匹配的该第一画素与第二画素的灰阶并求平方和,以取得对应该复数个预选框的复数个灰阶差总值;
d、从该复数个灰阶差总值取得一最小灰阶差值,该最小灰阶差值所属的该预选框即为该目标框;
e、根据该最小灰阶差值计算出该偏移向量值。
11.根据权利要求10所述的立体影像的景深数据建立系统,其特征在于:所述的偏移画素值为x,该复数个预选第二画素是为一第a-x个第二画素至一第a+x个第二画素,其中x为介于0与n之间的整数。
12.根据权利要求8所述的立体影像的景深数据建立系统,其特征在于,其中该画素选取区块的画素长度与像度宽度是为三个画素、五个画素、七个画素或九个画素。
13.根据权利要求8所述的立体影像的景深数据建立系统,其特征在于,在所述的比较器判断每一该第a个第一画素的该偏移向量值已全数记录之后,并在所述的比较器转换该偏移向量矩阵为以深度图之前,将该偏移向量矩阵的该偏移向量值转换成符合一灰阶值记录规则的复数个灰阶差值;所述的灰阶差值为介于0至255之间的整数。
CN2009101118989A 2009-06-02 2009-06-02 立体影像的景深数据建立方法及其系统 Expired - Fee Related CN101566784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101118989A CN101566784B (zh) 2009-06-02 2009-06-02 立体影像的景深数据建立方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101118989A CN101566784B (zh) 2009-06-02 2009-06-02 立体影像的景深数据建立方法及其系统

Publications (2)

Publication Number Publication Date
CN101566784A CN101566784A (zh) 2009-10-28
CN101566784B true CN101566784B (zh) 2011-07-27

Family

ID=41283007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101118989A Expired - Fee Related CN101566784B (zh) 2009-06-02 2009-06-02 立体影像的景深数据建立方法及其系统

Country Status (1)

Country Link
CN (1) CN101566784B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102480632B (zh) * 2010-11-24 2014-10-22 群光电子股份有限公司 三维影像处理系统、摄影装置及其影像产生装置
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
CN113380204B (zh) * 2020-03-10 2022-08-12 咸阳彩虹光电科技有限公司 改善视角色偏的方法、装置及显示面板

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825997A (en) * 1994-12-28 1998-10-20 Sanyo Electric Co., Ltd. Apparatus for producing a three dimensional image from a two dimensional image
CN1343322A (zh) * 1999-03-15 2002-04-03 喜维姿联合股份有限公司 一种图像的立体投影方式的方法和装置
CN1605933A (zh) * 2003-10-10 2005-04-13 百呈科技股份有限公司 坐标映对方法及应用该方法的影像监视辅助装置
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825997A (en) * 1994-12-28 1998-10-20 Sanyo Electric Co., Ltd. Apparatus for producing a three dimensional image from a two dimensional image
CN1343322A (zh) * 1999-03-15 2002-04-03 喜维姿联合股份有限公司 一种图像的立体投影方式的方法和装置
CN1605933A (zh) * 2003-10-10 2005-04-13 百呈科技股份有限公司 坐标映对方法及应用该方法的影像监视辅助装置
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法

Also Published As

Publication number Publication date
CN101566784A (zh) 2009-10-28

Similar Documents

Publication Publication Date Title
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
CN104023220B (zh) 实时的多视图合成器
US20120182403A1 (en) Stereoscopic imaging
US8577202B2 (en) Method for processing a video data set
JP2017532847A (ja) 立体録画及び再生
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
CN109791704B (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置
JP2003284093A (ja) 立体画像処理方法および装置
CA2540538C (en) Stereoscopic imaging
US20230342973A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
WO2012140397A2 (en) Three-dimensional display system
TW202101374A (zh) 影像的深度圖之處理
CN100369062C (zh) 三维图像的生成方法及其显示系统
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
KR20170025214A (ko) 다시점 깊이맵 생성 방법
CN101566784B (zh) 立体影像的景深数据建立方法及其系统
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
Mulligan et al. Stereo-based environment scanning for immersive telepresence
CN108234994B (zh) 一种人眼位置确定方法及装置
JP2003284095A (ja) 立体画像処理方法および装置
Knorr et al. From 2D-to stereo-to multi-view video
KR101163020B1 (ko) 3차원 모델을 스케일링하는 방법 및 스케일링 유닛
Knorr et al. Super-resolution stereo-and multi-view synthesis from monocular video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: CHINA PROJECTION TUBE CO., LTD.

Free format text: FORMER OWNER: CPTF OPTRONICS CO., LTD.

Effective date: 20130607

Free format text: FORMER OWNER: CHINA PROJECTION TUBE CO., LTD.

Effective date: 20130607

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 350015 FUZHOU, FUJIAN PROVINCE TO: TAIWAN, CHINA

TR01 Transfer of patent right

Effective date of registration: 20130607

Address after: Chinese Taoyuan bade city Taiwan Peace Road No. 1127

Patentee after: Chunghwa Picture Tubes Ltd.

Address before: 350015 No. 1 Xingye Road, Mawei Science Park, Fujian, Fuzhou

Patentee before: CPTF Optronics Co., Ltd.

Patentee before: Chunghwa Picture Tubes Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110727

Termination date: 20190602

CF01 Termination of patent right due to non-payment of annual fee