CN106060510B - 全景图片处理方法和装置 - Google Patents

Abstract

本发明涉及一种全景图片处理方法和装置，该方法包括：在采用笔刷对全景图片的深度进行设置时，若检测到所述笔刷部分超出所述全景图片的第一边缘，则将笔刷的超出部分作用在所述全景图片的第二边缘上的与所述笔刷当前位置处于同一水平线的位置处。本发明中，当笔刷部分超出第一边缘时笔刷的超出部分的作用就会转移至第二边缘，相当于全景图片的第一边缘和第二边缘处于拼接状态，因此笔刷未超出部分作用在第一边缘，而超出第一边缘的部分实际上作用在第二边缘上。这样的话，就不需要对左右两侧分别进行涂抹，可同时对两侧边缘进行深度处理，使左右两侧边缘的深度保持整齐，降低操作难度。

Description

全景图片处理方法和装置

技术领域

本发明涉及3D显示技术领域，尤其是涉及一种全景图片处理方法和装置。

背景技术

目前，全景头盔作为一种虚拟现实的3D显示设备，具有小巧和封闭性强的特点，在军事训练、虚拟驾驶、虚拟城市等项目中具有广泛的应用。

在制作全景头盔的3D视频时，可利用2D图像转3D图像的软件实现，但是传统的2D图像转3D图像的软件在进行图片处理时，会出现一些问题。例如同一个物体既在图片的左边也在图片的右边，需要对图片的左右边缘进行拼接时，对于出现在边缘的同一个物体需要分两次进行涂抹，导致边缘的深度很难整齐。

发明内容

针对以上缺陷，本发明提供一种全景图片处理方法和装置，可以使左右两侧边缘的深度保持整齐，降低操作难度。

第一方面，本发明提供的全景图片处理方法包括：

在采用笔刷对全景图片的深度进行设置时，若检测到所述笔刷部分超出所述全景图片的第一边缘，则将笔刷的超出部分作用在所述全景图片的第二边缘上的与所述笔刷当前位置处于同一水平线的位置处；

其中，所述第一边缘为所述全景图片的左侧边缘或右侧边缘，所述第二边缘为所述全景图片的与所述第一边缘相对的边缘。

可选的，所述方法还包括：

若检测到所述笔刷移动到第一位置，则将第一位置的笔刷置为失效状态，并使所述笔刷出现在第二位置，所述第二位置的笔刷为有效状态，其中：

所述第一位置为所述笔刷完全超出所述全景图片的第一边缘的位置，所述第二位置为所述全景图片中与所述第一位置处于同一水平线上的且与所述全景图片的第二边缘的距离等于所述第一位置与所述第一边缘的距离的位置。

可选的，所述方法还包括对所述全景图片进行拉伸补图处理，所述拉伸补图处理包括：

对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

可选的，所述拉伸补图处理还包括：

预期在像素位移后所述第一边缘上形成的空洞的位置；

根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值；其中，所述第三位置的像素和所述第四位置的像素为在所述全景图片的第一边缘和第二边缘拼接时所述空洞的左右两侧的像素；

根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

可选的，所述方法还包括对所述全景图片的第一区域的各像素进行景深处理，具体为：

将所述第一区域的各像素的景深从所述第一区域的第四边缘至所述第一区域的第三边缘逐渐减小至0景深；

所述第三边缘为所述第一区域的上边缘或下边缘，所述第四边缘为所述第一区域的与所述第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差；所述第一区域为将所述全景图片贴至球面上时最小旋转视差超出预设大小的区域。

第二方面，本发明提供的全景图片处理装置包括：

笔刷转移模块，用于在采用笔刷对全景图片的深度进行设置时，若检测到所述笔刷部分超出所述全景图片的第一边缘，则将笔刷的超出部分作用在所述全景图片的第二边缘上的与所述笔刷当前位置处于同一水平线的位置处；

其中，所述第一边缘为所述全景图片的左侧边缘或右侧边缘，所述第二边缘为所述全景图片的与所述第一边缘相对的边缘。

可选的，所述装置还包括：

笔刷中断模块，用于在检测到所述笔刷移动到第一位置时，将第一位置的笔刷置为失效状态，并使所述笔刷出现在第二位置，所述第二位置的笔刷为有效状态，其中：

所述第一位置为所述笔刷完全超出所述全景图片的第一边缘的位置，所述第二位置为所述全景图片中与所述第一位置处于同一水平线上的且与所述全景图片的第二边缘的距离等于所述第一位置与所述第一边缘的距离的位置。

可选的，所述装置还包括拉伸补图模块，所述拉伸补图模块包括：

定向平滑单元，用于对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

可选的，所述拉伸补图模块还包括：

空洞预期单元，用于预期在像素位移后所述第一边缘上形成的空洞的位置；

灰度计算单元，用于根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值；其中，所述第三位置的像素和所述第四位置的像素为在所述全景图片的第一边缘和第二边缘拼接时所述空洞的左右两侧的像素；

像素位移单元，用于根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

空洞填充单元，用于根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

可选的，所述装置还包括景深处理模块，用于对所述全景图片的第一区域的各像素进行景深处理；

所述景深处理模块具体用于：将所述第一区域的各像素的景深从所述第一区域的第四边缘至所述第一区域的第三边缘逐渐减小至0景深；

所述第三边缘为所述第一区域的上边缘或下边缘，所述第四边缘为所述第一区域的与所述第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差；所述第一区域为将所述全景图片贴至球面上时最小旋转视差超出预设大小的区域。

本发明提供的全景图片处理方法和装置中，当笔刷部分超出第一边缘时笔刷的超出部分的作用就会转移至第二边缘，相当于全景图片的第一边缘和第二边缘处于拼接状态，因此笔刷未超出部分作用在第一边缘，而超出第一边缘的部分实际上作用在第二边缘上。这样的话，就不需要对左右两侧分别进行涂抹，可同时对两侧边缘进行深度处理，使左右两侧边缘的深度保持整齐，降低操作难度。

附图说明

通过参考附图会更加清楚的理解本发明的特征信息和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明一实施例中全景图片处理方法的流程示意图；

图2示出了根据本发明一实施例中全景图片处理装置的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明提供一种全景图片处理方法，该方法用于将2D图像转换为3D图像的过程中，具体可以由2D转3D的软件执行。如图1所示，该方法包括：

S101、在采用笔刷对全景图片的深度进行设置时，若检测到笔刷部分超出全景图片的第一边缘，则将笔刷的超出部分作用在全景图片的第二边缘上的与笔刷当前位置处于同一水平线的位置处；

其中，第一边缘为全景图片的左侧边缘或右侧边缘，第二边缘为全景图片的与第一边缘相对的边缘。

举例来说，假设第一边缘为左侧边缘，第二边缘为右侧边缘。当笔刷超出左侧边缘时，超出部分就会出现在全景图片的右边部分。同样的，当笔刷超出右侧边缘时，超出部分就会出现在全景图片的左侧部分，即实现了笔刷作用的转移或穿越。

当笔刷部分超出第一边缘时笔刷的超出部分的作用就会转移至第二边缘，相当于全景图片的第一边缘和第二边缘处于拼接状态，因此笔刷未超出部分作用在第一边缘，而超出第一边缘的部分实际上作用在第二边缘上。这样的话，就不需要对左右两侧分别进行涂抹，可同时对两侧边缘进行深度处理，使左右两侧边缘的深度保持整齐，降低操作难度。

在具体实施时，如图1所示，本发明提供的方法还可以包括：

S102、若检测到笔刷移动到第一位置，则将第一位置的笔刷置为失效状态，并使笔刷出现在第二位置，第二位置的笔刷为有效状态，其中：

第一位置为笔刷完全超出全景图片的第一边缘的位置，第二位置为全景图片中与第一位置处于同一水平线上的且与全景图片的第二边缘的距离等于第一位置与第一边缘的距离的位置。

举例说明，当笔刷完全超出左侧边缘时，笔刷就会失效，而且出现在与第一位置对应的第二位置上。也就是说，当笔刷完全超出左侧边缘，转移至右侧边缘附近时，笔刷的作用是中断的，从而避免了在转移时在第一位置和第二位置之间进行涂抹。

上述笔刷中断技术使得笔刷超过第一边缘出现在另一侧边缘时，使一笔结束、另一边的一笔开始，相当于一侧抬起鼠标，在另一侧按下鼠标的操作，实际上鼠标可以一直处于按下的状态。

人单眼的水平视角最大可达156度，双眼的水平视角最大可达188度。，人两眼重合视域为124度，也就是说立体出现的区域就在这个范围内，单眼舒适视域为60度，超出的区域看上去就比较模糊，所以重点保持60度范围内的3D视觉正确就可以。水平观看时，看不到出现明显旋转视差的部分。但是随着抬头和低头观看的话，旋转视差会的部分越来越比较明显。假定标准视线是水平的，定为0度，则最大视区为视平线以上50度和视平线以下70度。颜色辨别界限为视平线以上30度，视平线以下40度。由于在制作3D视频时需要将全景图片贴至球面上，但是由于贴在球面上，在球顶部和球底部会产生较大的旋转视差，因此观看全景3D视频时，抬头和低头时会有眩晕感，引起不适。针对这一点，如图1所示，本发明提供的方法还包括可以包括：

S103、对全景图片的第一区域的各像素进行景深处理，

具体为：

将第一区域的各像素的景深从第一区域的第四边缘至第一区域的第三边缘逐渐减小至0景深；

第三边缘为第一区域的上边缘或下边缘，第四边缘为第一区域的与第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差。

其中，第一区域为将全景图片贴至球面上时最小旋转视差超出预设大小的区域，例如抬头看到的球顶区域和低头时看到的球底区域，在这两个区域的3D视频观看时旋转视差较大，容易引起人们的不适。

举例说明，对于处于球顶的第一区域，假定第三边缘为上边缘，第四边缘为下边缘。将第一区域的各像素的景深从第一区域的第四边缘至第一区域的第三边缘逐渐减小至0景深，例如，对其中某一列像素来说，将位于第四边缘的像素的灰度值与1相乘，景深不变；位于第三边缘的像素的灰度值与0相乘，变为0景深；而位于第四边缘和第三边缘之间的各个像素与a相乘，a小于1且大于0，a值由第四边缘至第三边缘逐渐减小，实现第四边缘至第三边缘景深的逐渐过渡最终成为0景深。这样的话，使得越靠近第三边缘，景深越小，越靠近第四边缘，像素越接近本来的灰度值，从而达到减少旋转视差的目的，减少人们观看的不适感。

在具体实施时，如图1所示，本发明提供的方法还可以包括：

S104、对全景图片进行拉伸补图处理；

所述拉伸补图处理包括：

S1041、对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

在普通的3D图片的制作过程中，图像的内部定向平滑在图片的边缘截止，在左右两侧边缘处有特殊的处理方法。而本发明中，采用上述方法进行定向平滑处理时，相当于左右两侧的图像是拼接在一起的，因此当定向平滑到左右边缘时会穿过边缘继续在另一边定向平滑，这样的话就不需要在左右边缘进行特殊的定向平滑处理，从而降低操作难度。

在具体实施时，所述拉伸补图处理还包括：

S1042、预期在像素位移后第一边缘上形成的空洞的位置；

可理解的是，此时并未像素位移，仅仅是根据第一边缘上的各像素的灰度值确定在像素位移后会出现的空洞的位置。

具体可以根据两侧边缘的深度值确定空洞的位置。

S1043、根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值，其中，第三位置的像素和第四位置的像素为在全景图片的第一边缘和第二边缘拼接时空洞的左右两侧的像素；

例如，将第三位置的像素的灰度值和第四位置的灰度值的加权值作为在空洞位置处填补的像素的灰度值。

S1044、根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

可理解的是，像素位移后在非边缘位置和边缘位置会出现空洞。

S1045、根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

可知，本发明首先确定像素位移后会出现空洞的位置，然后采用边缘预先计算的方式计算出要在空洞位置处填补的像素的灰度值，最后再进行像素位移和空洞填充。由于在对图片中的像素进行位移后，会出现空洞，所谓的空洞是指没有像素，因此需要对空洞进行填充。在非左右边缘位置处的空洞可以利用在位移前空洞左右两侧的像素的灰度值确定像素位移后形成的该空洞位置处的像素的灰度值。但是，对于边缘位置处的空洞有一侧是没有像素的，故不能确定补图时空洞位置处的补充的像素的灰度值，因此本发明采用的是在假定左右两侧边缘为拼接状态的情况下空洞左右两侧的像素的灰度值确定空洞的灰度值。

基于相同的发明构思，如图2所示，本发明还提供一种全景图片处理装置200，该装置200包括：

笔刷转移模块201，用于在采用笔刷对全景图片的深度进行设置时，若检测到笔刷部分超出全景图片的第一边缘，则将笔刷的超出部分作用在全景图片的第二边缘上的与笔刷当前位置处于同一水平线的位置处；

其中，第一边缘为全景图片的左侧边缘或右侧边缘，第二边缘为全景图片的与第一边缘相对的边缘。

可选的，该装置还包括：

笔刷中断模块202，用于在检测到笔刷移动到第一位置时，将第一位置的笔刷置为失效状态，并使笔刷出现在第二位置，第二位置的笔刷为有效状态，其中：

第一位置为笔刷完全超出全景图片的第一边缘的位置，第二位置为全景图片中与第一位置处于同一水平线上的且与全景图片的第二边缘的距离等于第一位置与第一边缘的距离的位置。

可选的，该装置还包括景深处理模块203，用于对全景图片的第一区域的各像素进行景深处理；

景深处理模块具体用于：将第一区域的各像素的景深从第一区域的第四边缘至第一区域的第三边缘逐渐减小至0景深；

第三边缘为第一区域的上边缘或下边缘，第四边缘为第一区域的与第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差；第一区域为将全景图片贴至球面上时最小旋转视差超出预设大小的区域。

可选的，该装置还包括拉伸补图模块204；

所述拉伸补图模块包括：

定向平滑单元，用于对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

可选的，所述拉伸补图模块还包括：

空洞预期单元，用于预期在像素位移后所述第一边缘上形成的空洞的位置；

灰度计算单元，用于根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值；其中，所述第三位置的像素和所述第四位置的像素为在所述全景图片的第一边缘和第二边缘拼接时所述空洞的左右两侧的像素；

像素位移单元，用于根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

空洞填充单元，用于根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种全景图片处理方法，其特征在于，包括：

在采用笔刷对全景图片的深度进行设置时，若检测到所述笔刷部分超出所述全景图片的第一边缘，则将笔刷的超出部分作用在所述全景图片的第二边缘上的与所述笔刷当前位置处于同一水平线的位置处；当笔刷部分超出第一边缘时，超出部分就会出现在全景图片的第二边缘，全景图片的第一边缘和第二边缘处于拼接状态，将笔刷未超出部分作用在第一边缘，而超出第一边缘的部分实际上作用在第二边缘上；

其中，所述第一边缘为所述全景图片的左侧边缘或右侧边缘，所述第二边缘为所述全景图片的与所述第一边缘相对的边缘；

若检测到所述笔刷移动到第一位置，则将第一位置的笔刷置为失效状态，并使所述笔刷出现在第二位置，所述第二位置的笔刷为有效状态，其中：

所述第一位置为所述笔刷完全超出所述全景图片的第一边缘的位置，所述第二位置为所述全景图片中与所述第一位置处于同一水平线上的且与所述全景图片的第二边缘的距离等于所述第一位置与所述第一边缘的距离的位置。

2.根据权利要求1所述的方法，其特征在于，还包括对所述全景图片进行拉伸补图处理，所述拉伸补图处理包括：

对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

3.根据权利要求2所述的方法，其特征在于，所述拉伸补图处理还包括：

预期在像素位移后所述第一边缘上形成的空洞的位置；

根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值；其中，所述第三位置的像素和所述第四位置的像素为在所述全景图片的第一边缘和第二边缘拼接时所述空洞的左右两侧的像素；

根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

4.根据权利要求1所述的方法，其特征在于，还包括对所述全景图片的第一区域的各像素进行景深处理，具体为：

将所述第一区域的各像素的景深从所述第一区域的第四边缘至所述第一区域的第三边缘逐渐减小至0景深；

所述第三边缘为所述第一区域的上边缘或下边缘，所述第四边缘为所述第一区域的与所述第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差；所述第一区域为将所述全景图片贴至球面上时最小旋转视差超出预设大小的区域。

5.一种全景图片处理装置，其特征在于，包括：

笔刷转移模块，用于在采用笔刷对全景图片的深度进行设置时，若检测到所述笔刷部分超出所述全景图片的第一边缘，则将笔刷的超出部分作用在所述全景图片的第二边缘上的与所述笔刷当前位置处于同一水平线的位置处；当笔刷部分超出第一边缘时，超出部分就会出现在全景图片的第二边缘，全景图片的第一边缘和第二边缘处于拼接状态，将笔刷未超出部分作用在第一边缘，而超出第一边缘的部分实际上作用在第二边缘上；

其中，所述第一边缘为所述全景图片的左侧边缘或右侧边缘，所述第二边缘为所述全景图片的与所述第一边缘相对的边缘；

笔刷中断模块，用于在检测到所述笔刷移动到第一位置时，将第一位置的笔刷置为失效状态，并使所述笔刷出现在第二位置，所述第二位置的笔刷为有效状态，其中：

所述第一位置为所述笔刷完全超出所述全景图片的第一边缘的位置，所述第二位置为所述全景图片中与所述第一位置处于同一水平线上的且与所述全景图片的第二边缘的距离等于所述第一位置与所述第一边缘的距离的位置。

6.根据权利要求5所述的装置，其特征在于，还包括拉伸补图模块，所述拉伸补图模块包括：

定向平滑单元，用于对所述全景图片进行定向平滑处理，且若定向平滑到所述第一边缘，则穿过所述第一边缘对所述第二边缘进行定向平滑处理。

7.根据权利要求6所述的装置，其特征在于，所述拉伸补图模块还包括：

空洞预期单元，用于预期在像素位移后所述第一边缘上形成的空洞的位置；

灰度计算单元，用于根据在像素位移前第三位置的像素的灰度值和第四位置的像素的灰度值，确定在像素位移后在空洞位置处需要补充的像素的灰度值；其中，所述第三位置的像素和所述第四位置的像素为在所述全景图片的第一边缘和第二边缘拼接时所述空洞的左右两侧的像素；

像素位移单元，用于根据所述全景图片中各像素的深度值，对所述全景图片进行像素位移；

空洞填充单元，用于根据在空洞位置处需要补充的像素的灰度值，对像素位移后形成的空洞进行填充。

8.根据权利要求5所述的装置，其特征在于，还包括景深处理模块，用于对所述全景图片的第一区域的各像素进行景深处理；

所述景深处理模块具体用于：将所述第一区域的各像素的景深从所述第一区域的第四边缘至所述第一区域的第三边缘逐渐减小至0景深；

所述第三边缘为所述第一区域的上边缘或下边缘，所述第四边缘为所述第一区域的与所述第三边缘相对的边缘，第三边缘为旋转视差大于第四边缘的旋转视差；所述第一区域为将所述全景图片贴至球面上时最小旋转视差超出预设大小的区域。