CN101572827A - 合成立体图像的方法和装置 - Google Patents
合成立体图像的方法和装置 Download PDFInfo
- Publication number
- CN101572827A CN101572827A CNA2009100861387A CN200910086138A CN101572827A CN 101572827 A CN101572827 A CN 101572827A CN A2009100861387 A CNA2009100861387 A CN A2009100861387A CN 200910086138 A CN200910086138 A CN 200910086138A CN 101572827 A CN101572827 A CN 101572827A
- Authority
- CN
- China
- Prior art keywords
- image
- visual angle
- sampling
- stereo
- angle image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002194 synthesizing effect Effects 0.000 title abstract 5
- 238000005070 sampling Methods 0.000 claims abstract description 163
- 230000000007 visual effect Effects 0.000 claims abstract description 163
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 239000007787 solid Substances 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000000205 computational method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种合成立体图像的方法和装置，属于计算机图像处理领域。所述方法包括：获取多个下采样视角图像；根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。所述装置包括：获取模块和合成模块。本发明通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像时需要的时间和占用的内存空间；并且，由下采样视角图像合成立体图像时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像时所需要的时间和占用的内存空间。
Description
技术领域
本发明涉及计算机图像处理领域，特别涉及一种合成立体图像的方法和装置。
背景技术
随着计算机图像处理技术的发展，立体图像合成技术也越来越成熟。人眼产生立体感觉的原因在于左右眼看同一场景时存在的“视差”，即同一物体在左右眼成像时会有水平方向上的位移。所以在合成立体图像时，通常从多个(目前一般为2-8个)不同位置采集图像得到多个原始采集图像，将多个原始采集图像通过立体匹配算法生成深度图，再利用深度图和任一原始采集图像，基于深度图插值得到多个(目前一般为8或9个)视角图像，然后根据像素填充模板，将多个视角图像进行填充得到立体图像。所谓像素填充模板就是基于光栅排布方式所确定的立体图像中各视角子像素排布方式的最小图像块样板，根据显示光栅的排列参数，立体显示器有固定的像素填充模板。参见表1、表2和表3分别为一光栅倾斜角为30度的Newsight系列8视角立体显示器的红色(R，Red)通道像素填充模板、绿色(Green，G)通道像素填充模板和蓝色(B，Blue)通道像素填充模板，各个像素填充模板中的数字n(n＝1、2…8)代表使用第n个视角图像的相应位置的像素值。
表1：红色通道像素填充模板
| 1 | 4 | 7 | 2 | 5 | 8 | 3 | 6 |
| 2 | 5 | 8 | 3 | 6 | 1 | 4 | 7 |
| 2 | 5 | 8 | 3 | 6 | 1 | 4 | 7 |
| 3 | 6 | 1 | 4 | 7 | 2 | 5 | 8 |
| 4 | 7 | 2 | 5 | 8 | 3 | 6 | 1 |
| 4 | 7 | 2 | 5 | 8 | 3 | 6 | 1 |
| 5 | 8 | 3 | 6 | 1 | 4 | 7 | 2 |
| 6 | 1 | 4 | 7 | 2 | 5 | 8 | 3 |
| 6 | 1 | 4 | 7 | 2 | 5 | 8 | 3 |
| 7 | 2 | 5 | 8 | 3 | 6 | 1 | 4 |
| 8 | 3 | 6 | 1 | 4 | 7 | 2 | 5 |
| 8 | 3 | 6 | 1 | 4 | 7 | 2 | 5 |
表2：蓝色通道像素填充模板
| 2 | 5 | 8 | 3 | 6 | 1 | 4 | 7 |
| 3 | 6 | 1 | 4 | 7 | 2 | 5 | 8 |
| 3 | 6 | 1 | 4 | 7 | 2 | 5 | 8 |
| 4 | 7 | 2 | 5 | 8 | 3 | 6 | 1 |
| 5 | 8 | 3 | 6 | 1 | 4 | 7 | 2 |
| 5 | 8 | 3 | 6 | 1 | 4 | 7 | 2 |
| 6 | 1 | 4 | 7 | 2 | 5 | 8 | 3 |
| 7 | 2 | 6 | 8 | 3 | 6 | 1 | 4 |
| 7 | 2 | 5 | 8 | 3 | 6 | 1 | 4 |
| 8 | 3 | 6 | 1 | 4 | 7 | 2 | 5 |
| 1 | 4 | 7 | 2 | 5 | 8 | 3 | 6 |
表3：绿色通道像素填充模板
| 3 | 6 | 1 | 4 | 7 | 2 | 5 | 8 |
| 4 | 7 | 2 | 5 | 8 | 3 | 6 | 1 |
| 4 | 7 | 2 | 5 | 8 | 3 | 6 | 1 |
| 5 | 8 | 3 | 6 | 1 | 4 | 7 | 2 |
| 6 | 1 | 4 | 7 | 2 | 5 | 8 | 3 |
| 6 | 1 | 4 | 7 | 2 | 5 | 8 | 3 |
| 7 | 2 | 5 | 8 | 3 | 6 | 1 | 4 |
| 8 | 3 | 6 | 1 | 4 | 7 | 2 | 5 |
| 8 | 3 | 6 | 1 | 4 | 7 | 2 | 5 |
| 1 | 4 | 7 | 2 | 5 | 8 | 3 | 6 |
| 2 | 5 | 8 | 3 | 6 | 1 | 4 | 7 |
| 2 | 5 | 8 | 3 | 6 | 1 | 4 | 7 |
目前通过使用具有两档分辨率(640*480和1024*768)的采集摄像头，以及具有1368*768分辨率、需8个视角图像的立体显示器来合成立体图像时一般采用的方法是：选用640*480的采集分辨率，通过多个采集摄像头采集得到多个640*480分辨率的原始采集图像；根据多个原始采集图像通过立体匹配算法生成640*480分辨率的深度图；基于深度图插值得到8个640*480分辨率的视角图像。再将8个视角图像分别放大生成8个与立体显示器分辨率相等即1368*768分辨率的新视角图像，使用8个新视角图像按照像素填充模板进行填充合成得到立体图像。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
1)从像素填充模板可以看出，合成的立体图像由8个新视角图像的像素构成，每个新视角图像的每个通道中的像素只有1/8的像素值被立体图像的相应的通道使用到，综合三个通道，每幅新视角图像也只有3/8的像素值被立体图像使用到，因而存在大量的冗余像素(R、G、B通道均未被立体图像使用到的像素)，新视角图像的像素的利用率低。而分辨率越大，占用的内存空间越大且后续操作消耗时间越多，因此采用与立体图像相等分辨率的新视角图像中会消耗大量的时间和占用大量内存空间。
2)将640*480分辨率的视角图像放大成1368*768分辨率的新视角图像的过程中，视角图像被拉伸、长宽比被改变，导致画面变形失真，影响视觉效果。并且将视角图像经过放大操作生成新视角图像，增加了分辨率，导致进一步地增加了生成立体图像的时间和占用的内存空间。
发明内容
为了增加视角图像像素的利用率、提高合成立体图像的速度、减小占用的内存空间，本发明实施例提供了一种合成立体图像的方法和装置。所述技术方案如下：
一方面，本发明实施例提供了一种合成立体图像的方法，包括：
获取多个下采样视角图像；
根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
另一方面，本发明实施例提供了一种合成立体图像的装置，包括：
获取模块，用于获取多个下采样视角图像；
合成模块，用于在所述获取模块获取多个下采样视角图像后，根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
本发明实施例提供的技术方案的有益效果是：
通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像时需要的时间和占用的内存空间；并且，由下采样视角图像合成立体图像时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像时所需要的时间和占用的内存空间。
附图说明
图1是本发明实施例1提供的一种合成立体图像的方法流程图；
图2是本发明实施例2提供的一种合成立体图像的方法流程图；
图3是本发明实施例2提供的一种像素使用模式示意图；
图4是本发明实施例3提供的一种合成立体图像的装置结构示意图；
图5是本发明实施例3提供的另一种合成立体图像的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
参见图1，本发明实施例提供了一种合成立体图像的方法，包括：
101：获取多个下采样视角图像。
102：根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，获取多个下采样视角图像可以包括：
获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
具体地，获取多个下采样视角图像可以包括：
获取多个原始采集图像；
对多个原始采集图像进行立体匹配，得到深度图；
对深度图和任一原始采集图像进行深度图插值，得到多个视角图像，对多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为像素填充模板中第
列、第
行中所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值；其中，h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示立体图像的分辨率的宽度和高度。需要说明的是，立体图像中横坐标为X、纵坐标为Y的像素的单通道值与下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值是相对应的，即当立体图像中横坐标为X、纵坐标为Y的像素的单通道值为R通道值时，使用的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值为R通道值。
具体地，确定n的取值的过程包括：
将n取为不同的值，分别进行立体图像的合成，并分别统计在不同的合成立体图像的过程中，下采样视角图像的冗余像素数量的比例，以及原视角图像的图像信息的重复使用比例；
在保持立体图像不失真变形的前提下，比较不同n值所对应的冗余像素数量的比例和重复使用比例；
选取冗余像素数量的比例和重复使用比例均较小的n值作为下采样的倍数值。
本发明实施例所述的方法，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像时需要的时间和占用的内存空间；并且，由下采样视角图像合成立体图像时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像时所需要的时间和占用的内存空间。
实施例2
参见图2，本发明实施例提供了一种合成立体图像的方法，包括：
201：获取多个下采样视角图像。
其中，下采样视角图像是指该视角图像是经过下采样后获得的，为了便于区别经过下采样后获得的视角图像与不经过下采样获得的视角图像，将经过下采样后获得的视角图像称为下采样视角图像，将不经过下采样获得的的视角图像称为原视角图像。另外，具体需要获取多少个下采样视角图像可以根据具体的立体显示器来决定，目前一般需要8个或9个。
获取多个下采样视角图像，可以采用下面两种方式中任意一种：
1)获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
2)获取多个原始采集图像；对多个原始采集图像进行立体匹配，得到深度图；对深度图和任一原始采集图像进行深度图插值，得到多个原视角图像，对多个原视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
其中，进行下采样时的插值方式可以采用最近邻法或线性插值，但是为了减少信息损失，插值方式优先采用双线性插值。并且，由于对原始采集图像进行下采样并不会改变场景中物体的相对深度，也不会改变深度和视差的对应关系，因而上面两种方法生成的下采样视角图像近似相等。考虑到分辨率对操作时间的影响优选第一种方式。并且，进行n倍的下采样中的n可称为是下采样的倍数值，n的取值与具体采用的采集摄像头的分辨率和立体显示器的分辨率有关系，但是确定n的取值的过程相似，下面将详细描述确定n的取值的过程：
201a：选取n的初始值为2。
需要说明的是，由于计算机中的数据通过0和1来表示，当n值为整数时，下采样的速度很快，为了使下采样的运算简单，速度快，所以选择n值为大于1的整数。
201b：根据当前n的取值，进行当前立体图像合成，并在合成当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例和当前原视角图像的图像信息的重复使用比例。
具体地，根据当前n的取值，对原始采集图像或原视角图像进行n倍的下采样，获得多个下采样视角图像，设经过n倍的下采样，获得的下采样视角图像的分辨率的宽度和高度分别为Li和Wi；立体显示器的分辨率的宽度和高度分别为Lo和Wo；宽度变换尺度为Ls，高度变换尺度为Ws；则有：Ls＝Li/Lo、Ws＝Wi/Wo。并且，设像素填充模板的高度为h、宽度为w。另外，立体图像的像素的坐标原点位于立体图像的左上角，其横坐标X自左向右增加，纵坐标Y自上向下增加。则对于立体图像中横坐标为X、纵坐标为Y的像素，其R通道值为红色通道像素填充模板中第
列、第
行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的R通道值；G通道值为绿色通道像素填充模板中第
列、第
行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的G通道值；B通道值为蓝色通道像素填充模板中第
列、第
行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的B通道值。从而合成得到立体图像。
下采样视角图像的冗余像素数量的比例是指下采样视角图像的冗余像素数量占下采样视角图像的总的像素数量的比例。该指标的具体计算方法为：按上述方法合成立体图像时，分别统计下采样视角图像的R、G、B通道均未被使用到的像素(即冗余像素)的数量和下采样视角图像的总的像素的数量，即可得到冗余像素数量占下采样视角图像的总的像素数量的比例，该比例值越小，则下采样视角图像的像素被利用的越充分。
原视角图像的图像信息的重复使用比例的具体计算方法为：将像素填充模板划分为m(大于1的整数)个n*n的像素矩阵单元，若某像素矩阵单元中使用到同一下采样视角图像的同一通道下的像素超过2个，则定义该像素矩阵单元重复使用了图像信息，统计出这样的像素矩阵单元的数量，并除以m，即得到原视角图像的图像信息的重复使用比例。需要说明的是，其中，m为大于1的整数，当将像素填充模板划分为m个n*n的数量，不满足m为整数时，则在像素填充模板左右两侧分别添加相应数量的黑边，满足m为整数。下面举例说明该指标的具体计算方法：设下采样的倍数为2，则8*12的像素矩阵单元缩小至4*6的像素矩阵单元，则4*6的像素矩阵单元中横坐标为X、纵坐标为Y的像素使用到了8*12的像素矩阵单元中坐标为(2X，2Y)、(2X，2Y+1)、(2X+1，2Y)、(2X+1，2Y+1)四个像素的信息。反过来也就是说，8*12的立体合成图像的像素矩阵单元中坐标为(2X，2Y)、(2X，2Y+1)、(2X+1，2Y)、(2X+1，2Y+1)这四个位置的像素，若使用到了8*12的原视角图像中相应该四个位置的像素值，则都使用4*6的下采样视角图像中坐标为(X，Y)的像素值。参见图3，对于2*2像素矩阵单元有5种典型的像素使用模式，其中，R表示使用某一像素的红色通道的值，G和B与R类似，此处不再赘述。具体地，5种典型的像素使用模式分别为：a)未使用任何像素值；b)使用某一像素的单通道的值；c)使用相邻两个像素的不同通道的值；d)使用相邻两个像素的相同通道的值；e)使用对角线上两个像素的不同通道的值。其中，对于a)模式无需讨论；对于b)模式，合成立体图像使用的是原视角图像中4个像素的某通道的像素值的加权求和，即使用了一次原视角图像的图像信息；c)e)模式下，合成立体图像使用的是原视角图像中4个像素的不同的2个通道的像素值的加权求和，这两个值彼此独立，也只使用了一次原视角图像的图像信息；d)模式下，合成立体图像使用了原视角图像中4个像素的某个通道的像素值的加权求和值两次，即相邻的像素使用了两次原视角图像的图像信息。因而d)模式下的像素矩形单元重复使用了图像信息。
201c：判断合成的当前立体图像是否失真变形，如果没有失真变形，则执行201d；否则，执行201e。
其中，立体图像是否失真变形可以通过人眼观测合成的立体图像得到。
201d：将n值加1，然后执行201b。
201e：根据各个n值所对应的上述两个指标值，选择其中一个n值作为下采样的倍数值。
其中，两个指标值分别是指冗余像素数量的比例值和原视角图像的图像信息的重复使用比例值。具体地，比较不同n值所对应的上述两个指标值的大小，根据具体情况，进行选择。例如：如果需要合成立体图像的时间短，则选择对应的冗余像素数量的比例值最小的n值作为下采样的倍数值；如果需要合成立体图像的重复使用原视角图像的图像信息较少，则选择对应的原视角图像的图像信息的重复使用比例值最小的n值作为下采样的倍数值；或者综合考虑合成立体图像的时间和原视角图像的图像信息的重复使用，选择相应的n值作为下采样的倍数值。
本发明实施例中，选择采集摄像头的分辨率为640*480、立体显示器的分辨率为1368*768，所需视角图像的数目为8的设备进行了实验，当下采样倍数为2时，得到冗余像素比例为16.7％，而原图像信息的重复使用比例为25％，且合成的立体图像基本不失真变形；当下采样倍数为3时，冗余像素比例减少至零，原图像信息的重复使用比例提高到100％，合成的立体图像基本严重失真变形。因此选择n值为2，进2倍的下采样。
202：根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的R通道值为红色像素填充模板中第
列、第行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的R通道值；立体图像中横坐标为X、纵坐标为Y的像素的G通道值为绿色像素填充模板中第
列、第
行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的G通道值；立体图像中横坐标为X、纵坐标为Y的像素的B通道值为蓝色像素填充模板中第
列、第
行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的B通道值；其中，立体图像的像素坐标原点位于立体图像的左上角，横坐标X自左向右增加，纵坐标Y自上向下增加；h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，具体地Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像分辨率的宽度和高度，Lo和Wo分别表示立体图像分辨率的宽度和高度。
本发明实施所述的合成立体图像的方法，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像的时间和占用的内存空间；并且，由下采样视角图像合成立体图像程时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像的时间和占用的内存空间。
实施例3
参见图4，本发明实施例提供了一种合成立体图像的装置，其特征在于，包括：
获取模块301，用于获取多个下采样视角图像；
合成模块302，用于在获取模块301获取多个下采样视角图像后，根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，获取模块301可以包括：
第一获取单元，用于获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
第二获取单元，用于在第一获取单元得到多个下采样后的原始采集图像后，对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
第三获取单元，用于在第二获取单元得到下采样后的深度图后，对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
具体地，获取模块301可以包括：
第四获取单元，用于获取多个原始采集图像；
第五获取单元，用于在第四获取单元获取多个原始采集图像后，对多个原始采集图像进行立体匹配，得到深度图；
第六获取单元，用于在第四获取单元得到深度图后，对深度图和任一原始采集图像进行深度图插值，得到多个视角图像，对多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为像素填充模板中第
列、第
行中所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值；其中，h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示立体图像的分辨率的宽度和高度。需要说明的是，立体图像中横坐标为X、纵坐标为Y的像素的单通道值与下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值是相对应的，即当立体图像中横坐标为X、纵坐标为Y的像素的单通道值为R通道值时，使用的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值为R通道值。
进一步地，该装置还包括：
初始值选取模块303，用于选取n的初始值为2；
统计模块304，用于根据当前n的取值，进行当前立体图像的合成，并在合成当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例，以及当前原视角图像的图像信息的重复使用比例；
第一处理模块305，用于当统计模块304合成的当前立体图像没有失真变形时，将当前n值加1，然后通知统计模块304执行根据当前n的取值，进行当前立体图像的合成的步骤；
第二处理模块306，用于当统计模块304合成的当前立体图像失真变形时，根据各个n值所对应的下采样视角图像的冗余像素数量的比例和原视角图像的图像信息的重复使用比例，选择其中一个n值作为下采样的倍数值。
本发明实施所述的合成立体图像的装置，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像的时间和占用的内存空间；并且，由下采样视角图像合成立体图像程时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像的时间和占用的内存空间。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1、一种合成立体图像的方法，其特征在于，包括：
获取多个下采样视角图像；
根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
2、根据权利要求1所述的合成立体图像的方法，其特征在于，所述获取多个下采样视角图像具体包括：
获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
对所述多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
对所述下采样后的深度图和任一所述下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
3、根据权利要求1所述的合成立体图像的方法，其特征在于，所述获取多个下采样视角图像具体包括：
获取多个原始采集图像；
对所述多个原始采集图像进行立体匹配，得到深度图；
对所述深度图和任一所述原始采集图像进行深度图插值，得到多个视角图像，对所述多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
4、根据权利要求2或3所述的合成立体图像的方法，其特征在于，确定所述n的取值的过程包括：
选取n的初始值为2；
根据当前n的取值，进行当前立体图像的合成，并在合成所述当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例，以及当前原视角图像的图像信息的重复使用比例；
当合成的当前立体图像没有失真变形时，将当前n值加1，然后执行根据当前n的取值，进行当前立体图像的合成的步骤；
当合成的当前立体图像失真变形时，根据各个n值所对应的下采样视角图像的冗余像素数量的比例和原视角图像的图像信息的重复使用比例，选择其中一个n值作为下采样的倍数值。
5、根据权利要求1所述的合成立体图像的方法，其特征在于，
所述立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为所述像素填充模板中第
列、第
行中所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值；其中，h表示所述像素填充模板的高度，w表示所述像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示所述下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示所述立体图像的分辨率的宽度和高度。
6、一种合成立体图像的装置，其特征在于，包括：
获取模块，用于获取多个下采样视角图像；
合成模块，用于在所述获取模块获取多个下采样视角图像后，根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
7、根据权利要求6所述的合成立体图像的装置，其特征在于，所述获取模块具体包括：
第一获取单元，用于获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
第二获取单元，用于在所述第一获取单元得到多个下采样后的原始采集图像后，对所述多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
第三获取单元，用于在所述第二获取单元得到下采样后的深度图后，对所述下采样后的深度图和任一所述下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
8、根据权利要求6所述的合成立体图像的装置，其特征在于，所述获取模块具体包括：
第四获取单元，用于获取多个原始采集图像；
第五获取单元，用于在所述第四获取单元获取多个原始采集图像后，对所述多个原始采集图像进行立体匹配，得到深度图；
第六获取单元，用于在所述第四获取单元得到深度图后，对所述深度图和任一所述原始采集图像进行深度图插值，得到多个视角图像，对所述多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
9、根据权利要求7或8所述的合成立体图像的装置，其特征在于，所述装置还包括：
初始值选取模块，用于选取n的初始值为2；
统计模块，用于根据当前n的取值，进行当前立体图像的合成，并在合成所述当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例，以及当前原视角图像的图像信息的重复使用比例；
第一处理模块，用于当所述统计模块合成的当前立体图像没有失真变形时，将当前n值加1，然后通知所述统计模块执行根据当前n的取值，进行当前立体图像的合成的步骤；
第二处理模块，用于当所述统计模块合成的当前立体图像失真变形时，根据各个n值所对应的下采样视角图像的冗余像素数量的比例和原视角图像的图像信息的重复使用比例，选择其中一个n值作为下采样的倍数值。
10、根据权利要求6所述的合成立体图像的装置，其特征在于，
所述立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为所述像素填充模板中第
列、第行中所标示的下采样视角图像的第X×Ls列、第Y ×Ws行的像素的单通道值；其中，h表示所述像素填充模板的高度，w表示所述像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示所述下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示所述立体图像的分辨率的宽度和高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100861387A CN101572827B (zh) | 2009-06-12 | 2009-06-12 | 合成立体图像的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100861387A CN101572827B (zh) | 2009-06-12 | 2009-06-12 | 合成立体图像的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101572827A true CN101572827A (zh) | 2009-11-04 |
| CN101572827B CN101572827B (zh) | 2011-06-15 |
Family
ID=41232036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100861387A Expired - Fee Related CN101572827B (zh) | 2009-06-12 | 2009-06-12 | 合成立体图像的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101572827B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970781A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市同洲电子股份有限公司 | 嵌入式浏览器图片解码装置及方法 |
| CN105704473A (zh) * | 2016-02-01 | 2016-06-22 | 李应樵 | 一种利用模板快速对多视角立体显示屏图像生成办法 |
| CN105721850A (zh) * | 2016-02-01 | 2016-06-29 | 李应樵 | 一种利用模板快速对两视角立体显示屏图像生成办法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100708834B1 (ko) * | 2003-06-26 | 2007-04-17 | 삼성에스디아이 주식회사 | 입체 영상 디스플레이 시스템 |
| CN101400001B (zh) * | 2008-11-03 | 2010-06-02 | 清华大学 | 一种视频帧深度图的生成方法及系统 |
| CN101448077B (zh) * | 2008-12-26 | 2010-06-23 | 四川虹微技术有限公司 | 一种自适应视频图像3d降噪方法 |
-
2009
- 2009-06-12 CN CN2009100861387A patent/CN101572827B/zh not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103970781A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市同洲电子股份有限公司 | 嵌入式浏览器图片解码装置及方法 |
| CN105704473A (zh) * | 2016-02-01 | 2016-06-22 | 李应樵 | 一种利用模板快速对多视角立体显示屏图像生成办法 |
| CN105721850A (zh) * | 2016-02-01 | 2016-06-29 | 李应樵 | 一种利用模板快速对两视角立体显示屏图像生成办法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101572827B (zh) | 2011-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| CN110910390B (zh) | 一种基于深度畸变卷积的全景三维彩色点云语义分割方法 | |
| CN102741879B (zh) | 由单眼图像产生深度图的方法及其系统 | |
| JP4440067B2 (ja) | 立体表示のための画像処理プログラム、画像処理装置および立体表示システム | |
| US7778492B2 (en) | System and method for scaling digital images | |
| CN108154474A (zh) | 一种超分辨率图像重构方法、装置、介质及设备 | |
| CN104012088B (zh) | 图像处理装置以及图像处理方法 | |
| CN103984720B (zh) | 基于OpenGL的瓦片地图创建方法及装置 | |
| CN109996023A (zh) | 图像处理方法和装置 | |
| US20200193563A1 (en) | Image processing apparatus and method, and related circuit | |
| CN109584366A (zh) | 一种地形渲染方法、装置、设备及可读存储介质 | |
| CN108242063B (zh) | 一种基于gpu加速的光场图像深度估计方法 | |
| CN111796788B (zh) | 弧形显示屏边缘信息压缩存取方法和系统 | |
| CN101572827B (zh) | 合成立体图像的方法和装置 | |
| WO2021082300A1 (zh) | 一种视频放大方法及其装置、电子设备和存储介质 | |
| CN104350743A (zh) | 用于混合图像去马赛克和扭曲的系统,方法和计算机程序产品 | |
| WO2014008329A1 (en) | System and method to enhance and process a digital image | |
| CN102542528B (zh) | 一种图像转换处理方法及系统 | |
| CN110322424A (zh) | 高分辨率图像处理方法及装置、vr图像显示方法及vr设备 | |
| CN102779335A (zh) | 数字图像处理装置及其处理方法 | |
| CN110364127A (zh) | 智能大屏幕系统的自适应显示方法及装置 | |
| CN111405200B (zh) | 一种视频缩小装置、方法、系统及其电子设备 | |
| CN111985503A (zh) | 一种基于改进的特征金字塔网络结构的目标检测方法和装置 | |
| CN111798497A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN101742080A (zh) | 一种视频图像4/3倍放大方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: GUANGDONG SHENGYANG INFORMATION TECHNOLOGY INDUSTR Free format text: FORMER OWNER: TSINGHUA UNIVERSITY Effective date: 20130228 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100084 HAIDIAN, BEIJING TO: 528300 FOSHAN, GUANGDONG PROVINCE |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20130228 Address after: 528300, first floor, C building, Shunde Creative Industry Park, 41 Fengxiang Road, Daliang District, Foshan, Guangdong, Shunde Patentee after: Guangdong Shengyang Information Technology Industrial Co., Ltd. Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Patentee before: Tsinghua University |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160115 Address after: 243000 Anhui city of Ma'anshan Province Economic and Technological Development Zone West Road 259 South Road, No. 2 building three layer Patentee after: Anhui Fu Fu Medical Technology Co., Ltd. Address before: 528300, first floor, C building, Shunde Creative Industry Park, 41 Fengxiang Road, Daliang District, Foshan, Guangdong, Shunde Patentee before: Guangdong Shengyang Information Technology Industrial Co., Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110615 Termination date: 20200612 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |