CN106909223B - 基于3d场景的摄像头朝向修正方法及装置 - Google Patents

Abstract

本发明实施例提出一种基于3D场景的摄像头朝向修正方法及装置，涉及虚拟现实/增强现实技术领域。通过从所述陀螺仪获取四元数，依据所述四元数计算矩阵，依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量，依据所述电子设备的朝向矢量及顶部矢量修正在3D场景下的所述摄像头朝向。本发明提供的基于3D场景的摄像头朝向修正方法及装置数据获取速度快，计算方法简便高效，准确度高，增强了视觉上的真实感，提升了用户体验。

Description

基于3D场景的摄像头朝向修正方法及装置

技术领域

本发明涉及虚拟现实/增强现实技术领域，具体而言，涉及一种基于3D场景的摄像头朝向修正方法及装置。

背景技术

在现有技术中，当电子设备在现实场景下的位置变化时，在摄像头拍摄界面叠加的3D虚拟物品是一直呈现在该拍摄界面中，就像固定在拍摄界面中的一张图，不会发生变化，弱化了增强现实的交互性，给用户的感受不够真实，用户体验不高。

因此，如何增强3D虚拟物品在摄像头拍摄界面中的真实感、实现增强现实场景下的方位判断、提升用户体验，是本领域技术人员关注的重点。

发明内容

有鉴于此，本发明的目的在于提供一种基于3D场景的摄像头朝向修正方法及装置，以解决现有技术中3D虚拟物品在摄像头拍摄界面中不够真实、用户体验不高的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提出一种基于3D场景的摄像头朝向修正方法，应用于具有陀螺仪的电子设备，所述基于3D场景的摄像头朝向修正方法包括：从所述陀螺仪获取四元数；依据所述四元数计算矩阵；依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量；依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向。

第二方面，本发明实施例还提出一种基于3D场景的摄像头朝向修正装置，应用于具有陀螺仪的电子设备，所述基于3D场景的摄像头朝向修正装置包括：四元数获取模块，用于从所述陀螺仪获取四元数；矩阵计算模块，用于依据所述四元数计算矩阵；矢量获取模块，用于依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量；朝向修正模块，依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向。

相对现有技术，本发明具有以下有益效果：本发明提供的基于3D场景的摄像头朝向修正方法及装置，应用于具有陀螺仪的电子设备，通过从所述陀螺仪获取四元数，依据所述四元数计算矩阵，依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量，依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向。本发明提供的基于3D场景的摄像头朝向修正方法及装置数据获取速度快，计算方法简便高效，准确度高，增强了视觉上的真实感，提升了用户体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明的基于3D场景的摄像头朝向修正装置应用于电子设备的示意图。

图2示出了本发明第一实施例提供的基于3D场景的摄像头朝向修正装置的结构框图。

图3示出了本发明实施例中的三维坐标系图。

图4示出了图2中四元数获取模块的结构框图。

图5示出了本发明第二实施例提供的基于3D场景的摄像头朝向修正方法的流程示意图。

图6示出了图5中步骤S102的具体流程示意图。

图标：10-电子设备；100-基于3D场景的摄像头朝向修正装置；200-存储器；300-存储控制器；400-处理器；500-外设接口；600-显示单元；700-摄像头；800-三轴加速器；900-陀螺仪；110-叠加模块；120-四元数获取模块；130-矩阵计算模块；140-矢量获取模块；150-朝向修正模块；160-控制模块；121-欧拉角获取模块；122-四元数计算模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，为本发明中基于3D场景的摄像头朝向修正装置100应用于电子设备10的示意图，所述电子设备10可以是但不限于手机、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、头戴式VR设备等便携式电子装置。该电子设备10包括存储器200、存储控制器300、处理器400、外设接口500、显示单元600、摄像头700、三轴加速器800及陀螺仪900。

所述存储器200、存储控制器300、处理器400、外设接口500、显示单元600、摄像头700、三轴加速器800及陀螺仪900各元件之间直接或间接地电性连接，以实现数据的传输或者交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现典型连接。该基于3D场景的摄像头朝向修正装置100包括至少一个可以软件或固件(firmware)的形式存储于该存储器200中或固化在该电子设备10的操作系统(operating system，OS)中的软件功能模块。该处理器400用于执行该存储器200中存储的可执行模块，例如该基于3D场景的摄像头朝向修正装置100所包括的软件功能模块及计算机程序等。

其中，所述存储器200可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器200用于存储程序，处理器400用于在接收到执行指令后，执行该程序。该处理器400以及其他可能的组件对存储器200的访问可在存储控制器300的控制下进行。

所述处理器400可能是一种集成电路芯片，具有信号处理能力。该处理器400可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述外设接口500将各种输入/输出装置(例如摄像头700、显示单元600)耦合至该处理器400以及该存储器200。在一些实施例中，外设接口500、处理器400以及存储控制器300可以在单个芯片中实现。在其他一些实例中，它们可以分别由独立的芯片实现。

所述显示单元600用于提供一个交互界面或者用于显示图像数据。

所述摄像头700用于拍摄图像数据，该图像数据通过显示单元600以拍摄界面的方式显示。

所述三轴加速器800用于获取所述电子设备10在三维空间中三个轴向的加速度及速度。

所述陀螺仪900用于获取欧拉角。

所述三轴加速器800及陀螺仪900还用于建立三维坐标。

第一实施例

请参照图2，为本发明第一实施例所提供的基于3D场景的摄像头朝向修正装置100的结构框图。所述基于3D场景的摄像头朝向修正装置100应用于上述的电子设备10，其包括叠加模块110、四元数获取模块120、矩阵计算模块130、矢量获取模块140、朝向修正模块150、控制模块160。

所述叠加模块110用于所述摄像头700开启时在拍摄界面叠加3D虚拟物品。

在本实施例中，当打开所述电子设备10的摄像头700时，通过三轴加速器800及陀螺仪900可自动建立三维坐标系，如图3所示，可以设定X轴与所述电子设备10正立放置时的底部平行，Y轴的方向垂直地面向上，Z轴平行于地面并且与X轴相互垂直。同时，将所述摄像头700的拍摄界面作为底图，然后在图层上面渲染3D模型，即叠加所述3D虚拟物品，并且所述3D虚拟物品在所述三维坐标系下的坐标已经确定。

所述四元数获取模块120用于从所述陀螺仪900获取四元数。

如图4所示，所述四元数获取模块120包括欧拉角获取模块121、四元数计算模块122。

所述欧拉角获取模块121用于从所述陀螺仪900获取欧拉角。

在本实施例中，可通过所述陀螺仪900读取到欧拉角，所述欧拉角包括

θ、ψ。

所述四元数计算模块122用于依据所述欧拉角计算所述四元数。

在本实施例中，记四元数为q＝(x,y,z,w)，则所述四元数计算模块122分别依据公式：

及

可计算得到所述四元数。

所述矩阵计算模块130用于依据所述四元数计算矩阵。

在本实施例中，依据四元数可以计算得到一个44矩阵，可记所述44矩阵为：

在本实施例中，依据四元数中的x、y、z、w通过计算得到矩阵M中对应的16个值。

所述矢量获取模块140用于依据所述矩阵获取所述电子设备10的朝向矢量和顶部矢量。

在本实施例中，可通过矩阵M计算得到电子设备10的朝向矢量和顶部矢量。例如，在本实施例中，所述电子设备10的朝向矢量为(-m[12],-m[13],-m[14])，所述电子设备10的顶部矢量为(m[8],m[9],m[10])。

所述朝向修正模块150用于依据所述电子设备10的朝向矢量及顶部矢量修正3D场景下的所述摄像头700的朝向。

在本实施例中，所述朝向修正模块150依据所述电子设备10的朝向矢量及顶部矢量修正在3D场景下的所述摄像头700的朝向，以改变3D场景下所述摄像头700与所述3D虚拟物品的相对夹角。

所述控制模块160用于依据修正3D场景下的所述摄像头700的朝向，控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。

在本实施例中，通过3D场景下所述摄像头700与所述3D虚拟物品的相对夹角的改变，进而控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。可以理解，所述3D虚拟物品位于建立的三维空间的某一位置，当所述摄像头700与3D虚拟物品的相对夹角太大，则所述3D虚拟物品不会出现在拍摄界面；现实场景中随着电子设备10的移动，通过修正3D场景下摄像头700的朝向，使得摄像头700从侧对到正对所述3D虚拟物品的过程中，3D虚拟物品在拍摄界面内呈现小部分、一半直至全貌；而随着所述摄像头700与3D虚拟物品的相对夹角逐渐增大，所述3D虚拟物品则会逐渐消失在拍摄界面内。因此，用户可以很真实地看到3D虚拟物品出现在拍摄界面中，而不是像固定在屏幕里无论电子设备10怎么移动和变换方向，始终一直出现在拍摄界面中，没有真实感。

第二实施例

请参照图5，为本发明第二实施例所提供的基于3D场景的摄像头朝向修正方法的流程示意图。需要说明的是，本发明所述的基于3D场景的摄像头朝向修正方法并不以图5以及以下所述的具体顺序为限制，其基本原理及产生的技术效果与第一实施例相同，为简要描述，本实施例中未提及部分，可参考第一实施例中的相应内容。应当理解，在其它实施例中，本发明所述的基于3D场景的摄像头朝向修正方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。下面将对图5所示的具体流程进行详细阐述。

步骤S101，所述摄像头700开启时在拍摄界面叠加3D虚拟物品。

在本实施例中，当打开所述电子设备10的摄像头700时，将所述摄像头700的拍摄界面作为底图，然后在图层上面渲染3D模型，即叠加的所述3D虚拟物品，并且所述3D虚拟物品在所述三维坐标系下的坐标已经确定。

可以理解，该步骤S101可以由上述的叠加模块110执行。

步骤S102，从所述陀螺仪900获取四元数。

可以理解，该步骤S102可以由上述的四元数获取模块120执行。

如图6所示，所述步骤S102包括如下子步骤：

子步骤S1021，从所述陀螺仪900获取欧拉角；

在本实施例中，可通过所述陀螺仪900读取到欧拉角，所述欧拉角包括

θ、ψ。

可以理解，该步骤S1021可以由上述的欧拉角获取模块121执行。

子步骤S1022，依据所述欧拉角计算所述四元数。

在本实施例中，记四元数为q＝(x,y,z,w)，依据公式：

及

可计算得到所述四元数。

可以理解，该步骤S1022可以由上述的四元数计算模块122执行。

步骤S103，依据所述四元数计算矩阵。

在本实施例中，依据四元数可以计算得到一个44矩阵，可记所述44矩阵为：

在本实施例中，依据四元数中的x、y、z、w通过计算得到矩阵M中对应的16个值。

可以理解，该步骤S103可以由上述的矩阵计算模块130执行。

步骤S104，依据所述矩阵获取所述电子设备10的朝向矢量和顶部矢量。

在本实施例中，可通过矩阵M计算得到电子设备10的朝向矢量和顶部矢量。例如，在本实施例中，所述电子设备10的朝向矢量为(-m[12],-m[13],-m[14])，所述电子设备10的顶部矢量为(m[8],m[9],m[10])。

步骤S105，依据所述电子设备10的朝向矢量及顶部矢量修正3D场景下的所述摄像头700的朝向。

在本实施例中，可通过修正所述摄像头700在3D场景下的朝向，以改变3D场景下所述摄像头700与所述3D虚拟物品的相对夹角。

可以理解，该步骤S105可以由上述的朝向修正模块150执行。

步骤S106，依据修正3D场景下的所述摄像头700的朝向，控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。

在本实施例中，通过3D场景下所述摄像头700与所述3D虚拟物品的相对夹角的改变，进而控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。可以理解，所述3D虚拟物品位于建立的三维空间的某一位置，当所述摄像头700与3D虚拟物品的相对夹角太大，则所述3D虚拟物品不会出现在拍摄界面；现实场景中随着电子设备10的移动，通过修正3D场景下摄像头700的朝向，使得摄像头700从侧对到正对所述3D虚拟物品的过程中，3D虚拟物品在拍摄界面内呈现小部分、一半直至全貌；而随着所述摄像头700与3D虚拟物品的相对夹角逐渐增大，所述3D虚拟物品则会逐渐消失在拍摄界面内。因此，用户可以很真实地看到3D虚拟物品出现在拍摄界面中，而不是像固定在屏幕里无论电子设备10怎么移动和变换方向，始终一直出现在拍摄界面中，没有真实感。

可以理解，该步骤S106可以由上述的控制模块160执行。

综上所述，本发明提供的基于3D场景的摄像头朝向修正方法及装置，所述摄像头开启时在拍摄界面叠加3D虚拟物品，从所述陀螺仪获取欧拉角，依据所述欧拉角计算所述四元数，依据所述四元数计算矩阵，依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量，依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向，以实现所述3D虚拟物品在所述拍摄界面内呈现不同的角度，给用户一种真实存在的方位感。本发明提供的基于3D场景的摄像头朝向修正方法及装置数据获取速度快，计算方法简便高效，准确度高，增强了视觉上的真实感，提升了用户体验。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种基于3D场景的摄像头朝向修正方法，应用于具有陀螺仪的电子设备，其特征在于，所述基于3D场景的摄像头朝向修正方法包括：

从所述陀螺仪获取四元数；

依据所述四元数计算矩阵；

依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量；

依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向；

所述摄像头开启时在拍摄界面叠加3D虚拟物品；

依据修正3D场景下的所述摄像头的朝向，控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。

2.如权利要求1所述的基于3D场景的摄像头朝向修正方法，其特征在于，所述从所述陀螺仪获取四元数的步骤包括：

从所述陀螺仪获取欧拉角；

依据所述欧拉角计算所述四元数。

3.如权利要求2所述的基于3D场景的摄像头朝向修正方法，其特征在于，所述欧拉角包括

θ、ψ，所述四元数为q＝(x,y,z,w)，其中

4.如权利要求1所述的基于3D场景的摄像头朝向修正方法，其特征在于，所述矩阵为

其中，所述电子设备的朝向矢量为(-m[12],-m[13],-m[14])，所述电子设备的顶部矢量为(m[8],m[9],m[10])。

5.一种基于3D场景的摄像头朝向修正装置，应用于具有陀螺仪的电子设备，其特征在于，所述基于3D场景的摄像头朝向修正装置包括：

四元数获取模块，用于从所述陀螺仪获取四元数；

矩阵计算模块，用于依据所述四元数计算矩阵；

矢量获取模块，用于依据所述矩阵获取所述电子设备的朝向矢量和顶部矢量；

朝向修正模块，依据所述电子设备的朝向矢量及顶部矢量修正3D场景下的所述摄像头的朝向；

叠加模块，用于所述摄像头开启时在拍摄界面叠加3D虚拟物品；

控制模块，用于依据修正3D场景下的所述摄像头的朝向，控制所述3D虚拟物品在所述拍摄界面呈现不同的角度。

6.如权利要求5所述的基于3D场景的摄像头朝向修正装置，其特征在于，所述四元数获取模块包括：

欧拉角获取模块，用于从所述陀螺仪获取欧拉角；

四元数计算模块，用于依据所述欧拉角计算所述四元数。

7.如权利要求6所述的基于3D场景的摄像头朝向修正装置，其特征在于，所述欧拉角包括

θ、ψ，所述四元数为q＝(x,y,z,w)，其中

8.如权利要求7所述的基于3D场景的摄像头朝向修正装置，其特征在于，所述矩阵为

其中，所述电子设备的朝向矢量为(-m[12],-m[13],-m[14])，所述电子设备的顶部矢量为(m[8],m[9],m[10])。

Images