CN107680164B - 一种虚拟对象大小调整方法和装置 - Google Patents

Abstract

本文公开了一种虚拟对象大小调整方法和装置，所述方法包括：确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。本发明实施例能够使虚拟对象在图像中沿运动轨迹移动时，虚拟对象的大小变化与运动轨迹所在场景的远近情况相匹配。

Description

一种虚拟对象大小调整方法和装置

技术领域

本发明涉及图像处理技术领域，尤指一种虚拟对象大小调整方法和装置。

背景技术

增强现实技术可以在现实场景或图像中添加虚拟对象，借助多点触控技术可以让用户方便地调整虚拟对象的大小，还可以让用户拖动虚拟对象，形成运动轨迹。在此基础上，虚拟对象可以随着时间或者位移发生尺寸变化，例如在沿轨迹运动的过程中变化尺寸。

当虚拟对象在图像中按某种轨迹运动时，相关技术仅能机械地调整虚拟对象的大小，而无法让虚拟对象的远近效果与图像中周围场景中的远近效果相符。例如在图1(a)和(b)虚拟对象从前向后移动的示意图中，图1(a)为采用相关技术调整虚拟对象大小的示意图，其中，虚拟对象缩小的比例与图像中景物的远近情况不太吻合，虚拟对象调整得不够自然，缺乏真实感。而图1(b)为考虑图像中景物的远近情况，人工调整虚拟对象大小的示意图，可以看出，图1(b)中，虚拟对象缩小的比例与图像中景物的远近情况更相匹配，所以看起来与周围场景更吻合，更具真实感。

发明内容

本发明实施例所要解决的技术问题是提供一种虚拟对象大小调整方法和装置，能够使虚拟对象在图像中沿运动轨迹移动时，虚拟对象的大小变化与运动轨迹所在场景的远近情况相匹配。

本发明实施例提供了一种虚拟对象大小调整方法，包括：

确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。

本发明实施例还提供了一种虚拟对象大小调整装置，包括：

信息获取模块，用于确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

缩放系数计算模块，用于根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

虚拟对象缩放模块，用于根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。

本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行上述虚拟对象大小调整方法。

与相关技术相比，本发明实施例提供的一种虚拟对象大小调整方法和装置，包括：确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。本发明实施例根据运动轨迹上虚拟对象的深度信息，确定缩放系数，进而调整虚拟对象大小，使得虚拟对象在图像中移动时，可以根据运动轨迹所在场景的景深自动调整虚拟对象的大小，产生“近大远小”的效果，这样，图像中虚拟对象的大小变化与图像中的场景更加吻合，更具真实感。

进一步地，通过对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理，可以使得图像在缩放时连续且平稳，避免不必要的尺寸突变和震荡。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1(a)为采用相关技术调整虚拟对象大小的示意图；

图1(b)为考虑图像中景物的远近情况，人工调整虚拟对象大小的示意图；

图2为本发明实施例的一种虚拟对象大小调整方法流程图；

图3为本发明应用示例的需要分析的像素点及相邻像素点深度信息示意图；

图4为本发明应用示例的双目图像深度区域划分示意图；

图5为本发明应用示例的用户输入虚拟对象运动轨迹示意图；

图6为本发明应用示例的对虚拟对象运动轨迹上的深度信息进行多项式回归处理示意图；

图7为本发明应用示例的虚拟对象在屏幕上的投影等比例缩小示意图；

图8为本发明应用示例的双目图像上虚拟对象的显示的示意图；

图9为本发明应用示例的虚拟对象运动轨迹完全处于有限远区域的情况示意图；

图10为本发明应用示例的虚拟对象运动轨迹完全处于无穷远区域的情况示意图；

图11为本发明应用示例的虚拟对象运动轨迹的起点在有限远区域，终点在无穷远区域的情况示意图；

图12为本发明应用示例的虚拟对象运动轨迹的起点为有限远区域，在终点处突变为无穷远区域的情况示意图；

图13为本发明应用示例的虚拟对象轨迹的起点为有限远区域，终点为无穷远区域，且运动轨迹中深度没有突变的情况示意图；

图14为本发明应用示例的虚拟对象运动轨迹的起点和终点均处于有限远区域，但运动轨迹中有一段位于无穷远区域的情况示意图；

图15为本发明应用示例的用户输入的虚拟对象和运动轨迹示意图；

图16为本发明应用示例的采用多项式回归的方式获得深度值的平滑曲线示意图；

图17为本发明应用示例的虚拟对象在运动轨迹上进行缩放的示意图；

图18为本发明实施例的一种虚拟对象大小调整装置示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图2所示，本发明实施例提供了一种虚拟对象大小调整方法，包括：

步骤101，确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

步骤102，根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

步骤103，根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。

本发明实施例根据运动轨迹上虚拟对象的深度信息，确定缩放系数，进而调整虚拟对象大小。在本发明实施例中，虚拟对象的大小会随其深度信息的变化而变化，即产生“近大远小”的效果。虚拟对象沿轨迹运动时的大小变化与轨迹所在场景的远近情况相匹配，从而使得图像中虚拟对象的大小变化与图像中的场景更加吻合，更具真实感。

可选地，所述图像为双目图像，在步骤101执行之前，本发明实施例还可包括：根据所述图像的深度信息，将所述图像划分为以下区域的一种或多种：有限远区域、无穷远区域、无深度信息区域。

双目图像是由双目摄像机拍摄得到的图像，可以携带深度信息；双目摄像机拍摄的对象距离双目摄像机越远，所述对象在双目图像上成像的像素点对应的深度值越大。

可采用如下方式进行划分：

1、如果目标像素点没有深度信息，则将所述目标像素点划入无深度信息区域；

由于双目摄像机的局限性，在双目图像的某些区域没有深度信息。根据双目摄像机的原理，通常无深度信息的区域都位于图像的上下或左右。分别从图像的左上角和右下角开始对每行或列像素进行遍历，若某一行/列像素点均无深度信息，则继续搜索下一行/列。重复该搜索过程，直到下一行/列数据有深度信息为止。这样可以高效地找出无深度信息的区域。

2、如果目标像素点具有深度信息，且深度值小于或等于深度阈值，则将所述目标像素点划入有限远区域；

有限远区域中的每一个像素点的深度值小于或等于双目摄像机能够估计的深度的极大值，无穷远区域中的每一个像素点的深度值大于双目摄像机能够估计的深度的极大值；例如，双目摄像机拍摄天空时，由于天空离双目摄像机的距离非常遥远，所以双目摄像机无法估计出天空在双目图像上成像区域的准确深度值，因此，双目摄像机会将天空对应的图像区域判定为无穷远区域。

另外，如果一像素点的深度值大于深度阈值，也可认为该像素点为无穷远点，例如对于深度信息很小的点而言，深度信息大的多的非无穷远点也可以视为无穷远。

3、如果目标像素点具有深度信息，且深度值大于所述深度阈值，由于双目摄像机估算的深度信息可能存在异常值，因此在本实施例中按照下述方式过滤异常值：

(1)在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目多于第二类型相邻像素点的数目时，将所述目标像素点划入无穷远区域；

(2)在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目少于第二类型相邻像素点的数目时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

(3)在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点连续分布时，将所述目标像素点划入无穷远区域；

(4)在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点非连续分布时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

其中，所述第一类型相邻像素点为深度值大于所述深度阈值的目标像素点的相邻像素点，所述第二类型相邻像素点为深度值小于或等于所述深度阈值的目标像素点的相邻像素点。

例如图3就展示了无穷远像素点和有限远像素点之间可能存在的几种排列情况。无穷远像素点(a)的相邻像素点中，无穷远像素点的个数多于有限远像素点的个数。无穷远像素点(b)的相邻像素点中，无穷远像素点的个数等于有限远像素点的个数，且无穷远像素点连续排列。无穷远像素点(c)的相邻像素点均为有限远像素点。

基于上述划分方式，可以确定无穷远像素区域。例如图3中(a)像素点为无穷远，(b)像素点为无穷远，(c)像素点为有限远，深度值等于相邻8个像素点深度值的平均。

如图4所示，为本发明应用示例的双目图像深度区域划分示意图。一般情况下，双目图像的两边(左右或者上下)是无深度信息区域。中间有若干块无穷远区域。

在步骤101中，确定虚拟对象在图像中的运动轨迹的方式可以有多种，例如，可以接收用户输入的运动轨迹，也可以采用预设的默认运动轨迹。

当接收用户输入的运动轨迹时，可以提示用户以虚拟对象中心位置为起点，通过触屏的方式在有深度信息区域(包括有限远区域和无穷远区域)画出虚拟对象的运动轨迹。如图5所示，为用户输入虚拟对象运动轨迹示意图，其中，立方体为虚拟对象，带箭头的曲线表示用户输入的虚拟对象的运动轨迹。

在本发明实施例中，所述运动轨迹位于有限远区域，或者，所述运动轨迹部分处于有限远区域，部分处于无穷远区域，且所述虚拟对象在二维平面的移动距离大于0。

在步骤101中，所述获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息包括如下方式中的一种或多种：

所述运动轨迹位于有限远区域时，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值；

所述运动轨迹的一端位于有限远区域，另一端位于无穷远区域时，获取所述运动轨迹上处于有限远区域的每一个像素点位置对应的虚拟对象的深度值，将所述运动轨迹上处于无穷远区域的像素点位置对应的虚拟对象的深度值设置为有限远区域所有像素点深度值所组成集合中的最大值；

所述运动轨迹的两端均位于有限远区域，且运动轨迹中有像素点位于无穷远区域时，获取所述运动轨迹上处于有限远区域的每一个像素点位置对应的虚拟对象的深度值，通过曲线拟合的方式得到处于运动轨迹中无穷远区域的像素点位置对应的虚拟对象的深度值。

所述虚拟对象的深度值为所述虚拟对象的几何重心点所在像素点的深度值，或者，为所述虚拟对象所覆盖的每个像素点深度值的平均值。

假设虚拟对象是均质的，即虚拟对象上的每个点的质量相等。从起始点开始到终止点结束的整个运动轨迹上，虚拟对象的深度值等于其几何重心点所在像素点的深度值(几何重心和几何中心均有严格的数学定义，在此不赘述)。若虚拟对象为规则图形(例如球、立方体等)，则其几何重心与其几何中心重合。

另一种计算虚拟对象深度值的方式，即虚拟对象的深度值取其覆盖的每个像素点深度值的数学平均。

进一步地，步骤101之后，所述方法还可包括：对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理；相应地，在步骤102中，根据所述平滑处理后的虚拟对象的深度值计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数。

由于双目图像中，虚拟对象运动轨迹上的像素点的深度值可以看作是一组离散值，因此可以对其进行平滑处理。这样可以使得图像在缩放时连续且平稳，避免不必要的尺寸突变和震荡。

可以采用多项式回归的方式获得深度值的平滑曲线，或者，采用简单移动平均的方式获得深度值的平滑曲线。

1、如图6所示，采取多项式回归(polynomial regression)的方式

可以通过逐步增加多项式的次数和项数来拟合数据点，从而获得最佳拟合优度(goodness of fitting)的平滑曲线或直线。该曲线或直线可以准确地描述深度信息的变化规律。

举例：

y＝ax+b (1)

y＝ax²+bx+c (2)

y＝ax³+bx²+cx+d (3)

公式(1)可以拟合直线，公式(2)可以拟合二次曲线(包括抛物线)，公式(3)可以拟合更复杂的三次曲线。可以设定一个拟合优度的阈值判断拟合误差是否在可以接受的范围内。先从1阶多项式开始(即公式(1))，若拟合优度低于阈值，则得到拟合后的函数。若高于阈值，则将每一项的次数加1，并添加常数项，得到公式(2)。再进行拟合，若仍然不能得到较优的结果，则再将每一项的次数加1，并添加常数项进行拟合，以此类推。考虑到拟合的计算量，当多项式的次数高于某一阈值时，不再进行迭代，而采用简单移动平均的方式获得深度值的平滑曲线。

这里拟合优度用均方差(mean squared error)来表示(见公式(4))，其中i是参加拟合的像素点的序号，运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N，y′_i是像素点i的实际深度值，y_i是像素点i根据拟合得到的多项式计算出来的值。

2、采取简单移动平均(simple moving average)的方式

曲线拟合可以生成光滑的曲线，从而达到平滑的效果。除此之外，还可以通过其它方法对数据做平滑处理，但获得的平滑曲线未必能用函数表达。

可以采用如下式所示的简单移动平均的方式获得深度值的平滑曲线：

其中y_i是i点处x的简单移动平均值。n是正整数，2n+1表示计算移动平均的子集的大小。推荐n取3～5之间。

通过该方式也可以得到平滑的曲线，而且n值越大，曲线越平滑。但是n取太大，则会丢失很多信息，导致虚拟对象的尺寸变化产生较大的误差。

进一步地，步骤102可包括，将所述运动轨迹上起始点位置对应的所述虚拟对象的深度值d₀除以所述运动轨迹上像素点i位置对应的所述虚拟对象的深度值d_i的商，再乘以尺寸调节因子m，确定为所述虚拟对象在所述运动轨迹上像素点i位置对应的缩放系数k_i；依次计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；其中，i为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

根据光学成像原理可以推导出在焦距(focal length)和像距(image distance)不变的情况下，图像中对象的大小与真实对象到透镜的距离成反比。设虚拟对象的尺寸为S，其深度值为Z，则虚拟对象从点1运动到点2，其尺寸变化有如下规律：

S₂＝k·S₁，其中

上式中，k为缩放系数。可以根据对象的在点1的初始大小S₁、初始深度值Z₁和点2的深度值Z₂来推导出其在点2的尺寸S₂。

根据公式(6)，可得到本发明实施例的虚拟对象在所述运动轨迹上像素点i位置上对应的缩放系数k_i为：

其中，d₀为运动轨迹上起始点位置(序号为0)对应的所述虚拟对象的深度值，d_i为运动轨迹上像素点i位置对应的所述虚拟对象的深度值，m为尺寸调节因子，通常为1，可以通过调节该尺寸调节因子，人为校正虚拟对象的大小。

进一步地，所述步骤103包括：

计算所述运动轨迹上当前位置像素点j位置对应的缩放系数k_j与所述虚拟对象在所述运动轨迹上起始点位置时的原始尺寸参数s₀的乘积，得到所述虚拟对象在所述运动轨迹上的像素点j位置的尺寸参数s_j，根据得到的尺寸参数s_j，相应地调整所述虚拟对象的大小；其中，j为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。即：

s_j＝k_js₀(8)

可选地，立体的虚拟对象的尺寸参数可以是长、宽、高参数，平面的虚拟对象的尺寸参数可以是长、宽参数。

理论上，当虚拟对象运动到无穷远时，根据公式(7)和(8)，其尺寸为无穷小，即消失不见。但是为了消除虚拟对象从深度值最大的点运动到无穷远时发生的突变(即对象突然消失)，在计算虚拟对象尺寸时，可以将有限远区域所有像素深度值集合中的最大值视为无穷远区域像素点深度值。这样即使对象运动到无穷远时，仍然有一定的尺寸。为了实现运动到无穷远时对象消失的效果，可以在虚拟对象的模型中设置当其尺寸小于某一阈值时，不显示该对象。

进一步地，步骤103中，所述调整所述虚拟对象的大小的方式包括如下方式中的一种或多种：底边位置固定，等比例放大或缩小；上边位置固定，等比例放大或缩小；左边位置固定，等比例放大或缩小；右边位置固定，等比例放大或缩小；中心位置固定，等比例放大或缩小。

对于虚拟3D对象而言，其在显示屏上的2D投影有五种简单的缩放方式，如图7所示。以缩小为例，最为常见的一种是底边位置固定，等比例缩小。这种缩放方式常见于人、车等在地上运动的对象由近处运动向远处的情况。类似的，还可以固定左、右或上边的位置进行等比例缩放。另外一种常见的缩小方式是中心位置不变，居中等比例缩小。常见于对象在空中飞行的情景，例如向远处发生导弹等。具体选用哪种缩放方式可以在虚拟对象的模型中设定。

在本发明应用示例中，可以采用如下方式显示虚拟对象及其运动轨迹：

创建两个尺寸等于双目图像尺寸的透明图层，如图8所示。其中μ是虚拟对象在虚拟对象图层上的运动轨迹。该运动轨迹映射到双目图像图层上后，用μ’表示。μ’是三维空间上的，其起始点和终点分别是(x₀,y₀,z₀)和(x_n,y_n,z_n)。下方图层用双目图像填充。上方图层用以显示虚拟对象及其运动轨迹。在用户创建和初始化虚拟对象后(调整虚拟对象大小、位置和输入运动轨迹)，将其运动轨迹映射到下方图层上的双目图像上，获取该轨迹上所有像素点的深度值。根据基于深度值计算缩放系数的方法计算出轨迹上每个像素点对应的缩放系数，并可以实现虚拟对象的运动和缩放。

下面对虚拟对象的运动轨迹进行分析：

大部分虚拟对象的运动轨迹可以归纳为以下几种模式或者它们的组合。

1、运动轨迹完全处于有限远区域

对于这种情况(如图9所示)，可以通过曲线拟合的方式获得深度值在运动轨迹方向上的变化规律，获得虚拟对象在运动轨迹上每一个像素点位置对应的缩放系数，根据缩放系数可以根据改变虚拟对象的大小。在图9中，带箭头的实线表示虚拟对象的运动轨迹，带箭头的虚线表示虚拟对象运动轨迹上的深度值变化(拟合后的结果)。

2、运动轨迹完全处于无穷远区域

对于这种情况(如图10所示)，可以自定义虚拟对象模型的缩放方式。在创建虚拟对象模型的时候，为其设定一套默认的运动轨迹和对应的缩放方式。如图10所示，带箭头的实线表示虚拟对象的运动轨迹。带箭头的虚线表示该运动轨迹上的深度为无穷远。

3、运动轨迹部分处于有限远区域，部分处于无穷远区域

(1)起点、终点一端是无穷远，另一端是非无穷远

对于虚拟对象在xy平面上位置不变的情况(虚拟对象在二维平面的移动距离等于0，如图11所示)，可以采用模型默认的缩放效果。如图11所示，虚拟对象运动轨迹的起点在有限远区域，终点在无穷远区域，其中黑点代表虚拟对象在xy平面上的位置(没有发生运动)。带箭头的虚线垂直于xy平面，表示虚拟对象的运动仅在深度上直线增长。

图12(虚拟对象运动轨迹的起点为有限远，在终点处突变为无穷远的情况)和图13(虚拟对象轨迹的起点为有限远，终点为无穷远，且运动轨迹中深度没有突变)所示的两种情况，在拟合曲线的时候，可以将无穷远区域的深度值视为有限远区域所有像素点深度值所组成集合中的最大值。这样可以便于曲线拟合，也不影响对象缩放的效果。

(2)起点终点都是有限远，运动轨迹中有无穷远

对于图14所示的这种情况，可以不拟合无穷远区域中的数据，仅根据有限远区域中的数据进行拟合。拟合得到的曲线或者直线同样适用于无穷远区域。如图14所示，虚拟对象运动轨迹的起点和终点均处于有限远区域处，但运动轨迹中有一段(点(x_l，y_l，+∞)到点(x_m，y_m，+∞))位于无穷远区域。

如上所述，可以根据虚拟对象及其在图像上的运动轨迹，获取运动轨迹上虚拟对象的深度信息，确定缩放系数，进而调整虚拟对象大小，使得虚拟对象沿轨迹运动时的大小变化与轨迹所在场景的远近情况相匹配。

下面举一个根据用户输入虚拟对象的原始尺寸参数和虚拟对象的运动轨迹，自动调整虚拟对象的大小的应用示例。

步骤1：用户输入虚拟对象的原始尺寸参数和虚拟对象的运动轨迹。

如图15所示，用户在触摸屏上输入虚拟对象的原始尺寸参数和运动轨迹；图15中，立方体表示虚拟对象，虚线表示虚拟对象的运动轨迹。所述立方体的尺寸参数可以是：长、宽、高参数。

在本实施例中，运动轨迹完全位于有限远区域内，且运动轨迹为直线。

步骤2：获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值，对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理。

如图16所示，采用多项式回归的方式获得深度值的平滑曲线，假设采用一次函数进行拟合，拟合像素点i的深度值用d_i表示，拟合后像素点i的深度拟合值用d'_i表示，f_i是运动轨迹上像素点i的位置参数；

d'_i＝a₀+a₁f_i；

其中，i＝0,2,....N，N是终点位置的像素点序号，a₀、a₁是多项式系数；

步骤3：根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数。

对于运动轨迹上的像素点i，所述像素点i对应的缩放系数k_i满足下述关系式：

其中，m是尺寸调节因子，用于调整缩放比例，可以设置为1；d'₀是经过平滑处理后运动轨迹上起始点位置的虚拟对象的深度值，d_i'是平滑处理后运动轨迹上像素点i位置的虚拟对象的深度值；

步骤4，根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。

所述虚拟对象的调整后的尺寸参数s_j满足下述关系式：

s_j＝k_js₀；

其中，j为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N，s₀是虚拟对象位于运动轨迹初始点的原始尺寸参数，尺寸参数可以包括：长、宽、高三个参数。

如图17所示，三个立方体(大、中、小)分别表示同一个虚拟对象沿着运动轨迹从近到远运动时，三个位置点的尺寸缩放示意，其中，可以看出，运动轨迹从近到远运动时，其尺寸变化是按照景深(与图像中运动轨迹的深度信息对应)逐渐缩小，而且立方体的长、宽、高是根据缩放系数进行等比例的缩小，与近大远小的视觉感知相符合。

如图18所示，本发明实施例提供一种虚拟对象大小调整装置，包括：

信息获取模块201，用于确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

缩放系数计算模块202，用于根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

虚拟对象缩放模块203，用于根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小。

可选地，所述图像为双目图像，所述装置还包括：

划分模块，用于根据所述图像的深度信息，将所述图像划分为以下区域的一种或多种：有限远区域、无穷远区域、无深度信息区域。

可选地，所述划分模块，进一步用于：

目标像素点没有深度信息时，将所述目标像素点划入无深度信息区域；

目标像素点具有深度信息，且深度值小于或等于深度阈值时，将所述目标像素点划入有限远区域；

目标像素点具有深度信息，且深度值大于所述深度阈值时，则按照下述方式进行处理：

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目多于第二类型相邻像素点的数目时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目少于第二类型相邻像素点的数目时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点连续分布时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点非连续分布时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

其中，所述第一类型相邻像素点为深度值大于所述深度阈值的目标像素点的相邻像素点，所述第二类型相邻像素点为深度值小于或等于所述深度阈值的目标像素点的相邻像素点。

可选地，所述运动轨迹位于有限远区域，或者，所述运动轨迹部分处于有限远区域，部分处于无穷远区域，且所述虚拟对象在二维平面的移动距离大于0。

可选地，所述信息获取模块201，进一步用于采用如下方式中的一种或多种获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息：

所述运动轨迹位于有限远区域时，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值；

所述运动轨迹的一端位于有限远区域，另一端位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，将所述运动轨迹上处于无穷远区域的像素点位置对应的虚拟对象的深度值设置为有限远区域所有像素点深度值所组成集合中的最大值；

所述运动轨迹的两端均位于有限远区域，且运动轨迹中有像素点位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，通过曲线拟合的方式得到处于运动轨迹中无穷远区域的像素点位置对应的虚拟对象的深度值。

可选地，所述虚拟对象的深度值为所述虚拟对象的几何重心点所在像素点的深度值，或者，为所述虚拟对象所覆盖的每个像素点深度值的平均值。

可选地，所述装置还包括：

平滑处理模块，用于对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理；

所述缩放系数计算模块202，进一步用于根据所述平滑处理后的虚拟对象的深度值计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数。

可选地，所述平滑处理模块，进一步用于采用多项式回归的方式获得深度值的平滑曲线，或者，采用简单移动平均的方式获得深度值的平滑曲线。

可选地，所述缩放系数计算模块，进一步用于将所述运动轨迹上起始点位置对应的所述虚拟对象的深度值d₀除以所述运动轨迹上像素点i位置对应的所述虚拟对象的深度值d_i的商，再乘以尺寸调节因子m，确定为所述虚拟对象在所述运动轨迹上像素点i位置对应的缩放系数k_i；依次计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

其中，i为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

可选地，所述虚拟对象缩放模块203，进一步用于：

计算所述运动轨迹上当前位置像素点j位置对应的缩放系数k_j与所述虚拟对象在所述运动轨迹上起始点位置时的原始尺寸参数s₀的乘积，得到所述虚拟对象在所述运动轨迹上的像素点j位置的尺寸参数s_j，根据得到的尺寸参数s_j，相应地调整所述虚拟对象的大小；

其中，j为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

可选地，所述虚拟对象缩放模块203，进一步用于通过如下方式中的一种或多种调整所述虚拟对象的大小：底边位置固定，等比例放大或缩小；上边位置固定，等比例放大或缩小；左边位置固定，等比例放大或缩小；右边位置固定，等比例放大或缩小；中心位置固定，等比例放大或缩小。

本发明实施例根据运动轨迹上虚拟对象的深度信息，确定缩放系数，进而调整虚拟对象大小。在本发明实施例中，虚拟对象的大小会随其深度信息的变化而变化，即产生“近大远小”的效果。虚拟对象沿轨迹运动时的大小变化与轨迹所在场景的远近情况相匹配，从而使得图像中虚拟对象的大小变化与图像中的场景更加吻合，更具真实感。

本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于执行上述虚拟对象大小调整方法。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (20)

1.一种虚拟对象大小调整方法，包括：

确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小；

所述根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数包括：

将所述运动轨迹上起始点位置对应的所述虚拟对象的深度值d ₀ 除以所述运动轨迹上像素点i位置对应的所述虚拟对象的深度值d _i 的商，再乘以尺寸调节因子m，确定为所述虚拟对象在所述运动轨迹上像素点i位置对应的缩放系数k _i ；依次计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

其中， i为像素点序号，为大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

2.根据权利要求1所述的方法，其特征在于，所述图像为双目图像，所述确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息之前，所述方法还包括：

根据所述图像的深度信息，将所述图像划分为以下区域的一种或多种：有限远区域、无穷远区域、无深度信息区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述图像的深度信息，将所述图像划分为以下区域的一种或多种：有限远区域、无穷远区域、无深度信息区域包括：

目标像素点没有深度信息时，将所述目标像素点划入无深度信息区域；

目标像素点具有深度信息，且深度值小于或等于深度阈值时，将所述目标像素点划入有限远区域；

目标像素点具有深度信息，且深度值大于所述深度阈值时，则按照下述方式进行处理：

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目多于第二类型相邻像素点的数目时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目少于第二类型相邻像素点的数目时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点连续分布时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点非连续分布时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

其中，所述第一类型相邻像素点为深度值大于所述深度阈值的目标像素点的相邻像素点，所述第二类型相邻像素点为深度值小于或等于所述深度阈值的目标像素点的相邻像素点。

4.根据权利要求2所述的方法，其特征在于，

所述运动轨迹位于有限远区域，或者，所述运动轨迹中，部分处于有限远区域，部分处于无穷远区域，且所述虚拟对象在二维平面的移动距离大于0。

5.根据权利要求4所述的方法，其特征在于，所述获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息包括如下方式中的一种或多种：

所述运动轨迹位于有限远区域时，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值；

所述运动轨迹的一端位于有限远区域，另一端位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，将所述运动轨迹上处于无穷远区域的像素点位置对应的虚拟对象的深度值设置为有限远区域所有像素点深度值所组成集合中的最大值；

所述运动轨迹的两端均位于有限远区域，且运动轨迹中有像素点位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，通过曲线拟合的方式得到处于运动轨迹中无穷远区域的像素点位置对应的虚拟对象的深度值。

6.根据权利要求5所述的方法，其特征在于，

所述虚拟对象的深度值为所述虚拟对象的几何重心点所在像素点的深度值，或者，为所述虚拟对象所覆盖的每个像素点深度值的平均值。

7.根据权利要求2所述的方法，其特征在于，

所述确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的深度信息之后，所述方法还包括：对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理；

所述根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数包括：根据所述平滑处理后的虚拟对象的深度值计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数。

8.根据权利要求7所述的方法，其特征在于，所述对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理包括：

采用多项式回归的方式获得深度值的平滑曲线，或者，采用简单移动平均的方式获得深度值的平滑曲线。

9.根据权利要求1～8中任意一项所述的方法，其特征在于，所述根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小包括：

计算所述运动轨迹上当前位置像素点j位置对应的缩放系数k _j 与所述虚拟对象在所述运动轨迹上起始点位置时的原始尺寸参数s ₀ 的乘积，得到所述虚拟对象在所述运动轨迹上的像素点j位置的尺寸参数s _j ，根据得到的尺寸参数s _j ，相应地调整所述虚拟对象的大小；

其中， j为像素点序号，为大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

10.根据权利要求9所述的方法，其特征在于，在所述根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小的步骤中，所述调整所述虚拟对象的大小的方式包括如下方式中的一种或多种：底边位置固定，等比例放大或缩小；上边位置固定，等比例放大或缩小；左边位置固定，等比例放大或缩小；右边位置固定，等比例放大或缩小；中心位置固定，等比例放大或缩小。

11.一种虚拟对象大小调整装置，其特征在于，包括：

信息获取模块，用于确定虚拟对象在图像中的运动轨迹，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息；

缩放系数计算模块，用于根据所述虚拟对象的深度信息计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

虚拟对象缩放模块，用于根据所述虚拟对象在所述运动轨迹上的位置和对应的缩放系数，相应地调整所述虚拟对象的大小；

所述缩放系数计算模块，进一步用于将所述运动轨迹上起始点位置对应的所述虚拟对象的深度值d ₀ 除以所述运动轨迹上像素点i位置对应的所述虚拟对象的深度值d _i 的商，再乘以尺寸调节因子m，确定为所述虚拟对象在所述运动轨迹上像素点i位置对应的缩放系数k _i ；依次计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数；

其中， i为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

12.根据权利要求11所述的装置，其特征在于，所述图像为双目图像，所述装置还包括：

划分模块，用于根据所述图像的深度信息，将所述图像划分为以下区域的一种或多种：有限远区域、无穷远区域、无深度信息区域。

13.根据权利要求12所述的装置，其特征在于，

所述划分模块，进一步用于：

目标像素点没有深度信息时，将所述目标像素点划入无深度信息区域；

目标像素点具有深度信息，且深度值小于或等于深度阈值时，将所述目标像素点划入有限远区域；

目标像素点具有深度信息，且深度值大于所述深度阈值时，则按照下述方式进行处理：

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目多于第二类型相邻像素点的数目时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目少于第二类型相邻像素点的数目时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点连续分布时，将所述目标像素点划入无穷远区域；

在以所述目标像素点为中心的像素块中，第一类型相邻像素点的数目等于第二类型相邻像素点的数目，且第一类型相邻像素点非连续分布时，将所述目标像素点划入有限远区域，并将所述目标像素点的深度值改为所有第二类型相邻像素点的深度平均值；

其中，所述第一类型相邻像素点为深度值大于所述深度阈值的目标像素点的相邻像素点，所述第二类型相邻像素点为深度值小于或等于所述深度阈值的目标像素点的相邻像素点。

14.根据权利要求12所述的装置，其特征在于，

所述运动轨迹位于有限远区域，或者，所述运动轨迹部分处于有限远区域，部分处于无穷远区域，且所述虚拟对象在二维平面的移动距离大于0。

15.根据权利要求14所述的装置，其特征在于，

所述信息获取模块，进一步用于采用如下方式中的一种或多种获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度信息：

所述运动轨迹位于有限远区域时，获取所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值；

所述运动轨迹的一端位于有限远区域，另一端位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，将所述运动轨迹上处于无穷远区域的像素点位置对应的虚拟对象的深度值设置为有限远区域所有像素点深度值所组成集合中的最大值；

所述运动轨迹的两端均位于有限远区域，且运动轨迹中有像素点位于无穷远区域时，获取所述运动轨迹上处于有限远区域的像素点位置对应的虚拟对象的深度值，通过曲线拟合的方式得到处于运动轨迹中无穷远区域的像素点位置对应的虚拟对象的深度值。

16.根据权利要求15所述的装置，其特征在于，

所述虚拟对象的深度值为所述虚拟对象的几何重心点所在像素点的深度值，或者，为所述虚拟对象所覆盖的每个像素点深度值的平均值。

17.根据权利要求12所述的装置，其特征在于，所述装置还包括：

平滑处理模块，用于对所述运动轨迹上每一个像素点位置对应的虚拟对象的深度值进行平滑处理；

所述缩放系数计算模块，进一步用于根据所述平滑处理后的虚拟对象的深度值计算所述虚拟对象在所述运动轨迹上每一个像素点位置对应的缩放系数。

18.根据权利要求17所述的装置，其特征在于，

所述平滑处理模块，进一步用于采用多项式回归的方式获得深度值的平滑曲线，或者，采用简单移动平均的方式获得深度值的平滑曲线。

19.根据权利要求11～18中任意一项所述的装置，其特征在于，

所述虚拟对象缩放模块，进一步用于：

计算所述运动轨迹上当前位置像素点j位置对应的缩放系数k _j 与所述虚拟对象在所述运动轨迹上起始点位置时的原始尺寸参数s ₀ 的乘积，得到所述虚拟对象在所述运动轨迹上的像素点j位置的尺寸参数s _j ，根据得到的尺寸参数s _j ，相应地调整所述虚拟对象的大小；

其中， j为像素点序号，是大于0，小于等于N的整数，所述运动轨迹上起始点位置的像素点序号是0，终点位置的像素点序号是N。

20.根据权利要求19所述的装置，其特征在于，

所述虚拟对象缩放模块，进一步用于通过如下方式中的一种或多种调整所述虚拟对象的大小：底边位置固定，等比例放大或缩小；上边位置固定，等比例放大或缩小；左边位置固定，等比例放大或缩小；右边位置固定，等比例放大或缩小；中心位置固定，等比例放大或缩小。

Images