CN110169056B - 一种动态三维图像获取的方法和设备 - Google Patents

一种动态三维图像获取的方法和设备 Download PDF

Info

Publication number
CN110169056B
CN110169056B CN201780076051.4A CN201780076051A CN110169056B CN 110169056 B CN110169056 B CN 110169056B CN 201780076051 A CN201780076051 A CN 201780076051A CN 110169056 B CN110169056 B CN 110169056B
Authority
CN
China
Prior art keywords
image
matching
terminal equipment
depth
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780076051.4A
Other languages
English (en)
Other versions
CN110169056A (zh
Inventor
邵明明
钟小飞
王金波
王林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010841368.6A priority Critical patent/CN112132881A/zh
Publication of CN110169056A publication Critical patent/CN110169056A/zh
Application granted granted Critical
Publication of CN110169056B publication Critical patent/CN110169056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种动态三维图像获取的方法。该动态三维图像获取方法包括：获取终端设备的运动姿态；通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像；根据终端设备的运动姿态与所述深度图像进行快速分割匹配；根据所述彩色图像对所述快速分割匹配的结果进行精准匹配；如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合以生成动态三维图像。本申请可以针对目前出现的全景摄像和环绕摄像存在的缺陷，通过对设备增加深度摄像头，结合手机姿态传感器与彩色图像传感器数据，实现一种能够一次性得从各个方位记录景物外观获取动态、三维图像并支持存储、显示的方法。

Description

一种动态三维图像获取的方法和设备
本申请要求于2016年12月12日提交中国专利局、申请号为201611142062.1、发明名称为“一种动态三维图像获取的方法和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像识别领域，并且更具体地涉及一种动态三维图像获取的方法和设备。
背景技术
通常，图像由摄像机等输入设备捕捉产生，用于描述真实世界。随着科技的发展，摄像装置已经能够提供越来越精细的图像质量，越来越大的图像分辨率。在此基础上，产生了大量的图像算法以辅助摄像装置产生更多样化的图片，如全景拍照、全景自拍、美肤拍照、有声照片、人脸识别和笑脸识别等，这些图像算法的运用使得拍照具备了更多的趣味性，也更加丰富了对真实世界展现的形式。
现有的二维的摄像装置能够获取某一时刻固定大小的区域内外部的景象，产生对真实世界二维、静态的描述，其获取的数据是以像素点为单位的二维矩阵，经过压缩算法处理后保存，需要显示时取出压缩后的图像进行解压并推送到显示设备缓存。由于真实世界是三维的、动态的，设计一种能够采集动态三维图像的摄像系统与一系列的存储显示方法将会开启一场全新的摄像革命。
目前针对三维、动态图像获取的方法包括：全景图像获取和环绕图像获取。
全景图像获取方式由用户手持终端设备水平移动或水平旋转，由内部拼接算法实时得将刚采集到的图像拼接到已有的图像中，完成后可通过滑动、缩放等方式查看。该方式操作简单，能够获得水平方向更广区域的静态图像，拓宽了传统二维图像的摄像范围。
环绕图像获取方式由用户手持终端设备朝上、下、左、右四个方向中某个方向上移动或旋转，由内部算法记录当前终端设备姿态与所获取的景象图片并进行帧问特征区域匹配与压缩，完成后可通过滑动或旋转设备查看。该方式操作简单，能够获得某一方向上更广区域的动态图像，实现了单方向上局部动态三维图像的获取。
全景图像获取方式限定了用户只能朝一个方向移动或旋转固定的距离，拍摄过程容易出现抖动而影响拍摄效果，最终拼接的图像弯曲变形，难以还原真实的景象。
环绕图像获取方式在拍摄开始后只能朝单一方向环绕拍摄。在对近景拍摄时，无法处理设备与景物距离的变化。在显示已拍摄图像时，无法对其自由放大和缩小。存储与显示没有形成行业标准，所获取的图像只能在该拍摄软件内查看。
在交互式终端设备越来越智能的今天，人们对终端设备本身操作的趣味性、准确性、快速性要求越来越高。由此，针对目前终端设备全景摄像或环绕摄像存在的缺陷，需要一种从各个方位记录景物外观获取动态、三维图像并支持存储、显示的方法。丰富图片的表现形式，改变大众对图像的认知和对拍摄的体验。
发明内容
本申请提供了一种动态三维图像获取的方法和终端设备，能够提高用户体验。
第一方面，提供了一种动态三维图像获取的方法，该方法可以应用于终端设备，该方法包括：
获取终端设备的运动姿态；
通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像；
根据终端设备的运动姿态与所述深度图像进行快速分割匹配；
根据所述彩色图像对所述快速分割匹配的结果进行精准匹配；
如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合以生成动态三维图像。
根据本申请实施例的三维手势解锁方法，通过实时获取用户在摄像头前方三维空间内所呈现的立体手势图像，提取手势图像中用户的手势，并通过与用户之前设定的解锁手势匹配，达到解锁终端设备的目的。从而，为用户提供了一种全新的趣味性强、准确性高和快速性好的解锁方式。
在一种可能的实现方式中，通过终端设备的加速度计、陀螺仪和电子罗盘获取终端设备的运动姿态。
在一种可能的实现方式中，根据终端设备的运动姿态与所述深度图像进行快速分割匹配，包括：
当根据终端设备的运动姿态确定所述终端设备平滑移动时，获取第一时间段内起始时间点与结束时间点对应的深度图；
基于起始时间点的深度图的已完成分割的特征区域和所述终端设备的姿态变化计算结束时间点的深度图的特征区域范围。
在一种可能的实现方式中，根据所述彩色图像对所述快速分割匹配的结果进行精准匹配，包括：
根据所述彩色图像对所述特征区域范围执行补偿优化，获取细粒度的图片特征描述。
在一种可能的实现方式中，通过融合算法对重叠区域进行融合以生成动态三维图像，包括：
实时计算终端设备的当前姿态，从历史特征矩阵中提取可比较的标志性数据进行匹配；
如果匹配结果表明当前图像帧与历史某图像帧有重叠的特征区域则进行融合处理，更新重叠区域。
第二方面，提供了一种终端设备，用于执行第一方面或第一方面任意可能的实现方式中的方法。具体地，该终端设备可以包括用于执行第一方面或第一方面任意可能的实现方式中的方法的单元。
第三方面，提供了一种终端设备，包括存储器、处理器和显示器，该存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，当程序被运行时，该处理器执行上述第一方面或第一方面任意可能的实现方式中的方法。
第四方面，提供一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
附图说明
图1是实现本申请一个实施例的终端设备的一个最少硬件系统的示意图。
图2是根据本申请实施例的动态三维图像获取方法的示意性流程图。
图3是根据本申请一个实施例的运动姿态识别和轨迹的获取的设计方框图。
图4是根据本申请一个实施例的陀螺仪与加速度计数据融合示意图。
图5是根据本申请一个实施例的陀螺仪与电子罗盘数据融合流程的方法示意图。
图6是根据本申请实施例的根据终端设备的运动姿态与深度图像进行快速分割匹配的示意性流程图。
图7是根据本申请实施例的根据所述彩色图像对快速分割匹配的结果进行精准匹配
的示意性流程图。
图8根据本申请实施例的图像重叠区域融合的方法的示意性流程图。
图9是根据本申请实施例的用户拍摄动态三维图像的示意性流程图。
图10是根据本申请实施例的用户查看动态三维图像的示意性流程图。
图11是根据本申请实施例的终端设备的一例的示意性框图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
本申请是实施例的终端设备可以是接入终端、用户设备(user equipment，UE)、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备可以是蜂窝电话、无绳电话、会话启动协议 (sessioninitiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字处理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备等。
图1是实现本申请的三维手势解锁方法的终端设备的一个最少硬件系统100的示意图。图1所示的系统100包括：光源发射器110、深度摄像头120、光谱分析模块130、彩色摄像头140、处理器150、显示单元160、非易失性存储器170、内存180和感测单元190。
彩色摄像头140，光源发射器110和深度摄像头120组成光谱输入模块，光谱分析模块130构成图像生成模块。光源发射器110、彩色摄像头140和深度摄像头120可以并排安装于设备上方(例如，设备正上方中央位置)。光源发射器110可以是红外发射器，深度摄像头120可以是红外摄像头，光谱分析模块130可以是红外光谱分析模块。在该情况下，光源发射器110与深度摄像头120配合工作，通过红外光编码影像放映场景。光源发射器110输出普通激光光源，经磨砂玻璃与红外滤光片过滤后形成近红外光。其中，光源发射器110可以持续全面输出波长为840纳米(nm)的红外光。
深度摄像头120是一个互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)图像传感器，用于接收外界反射来的激励光源，比如红外光，将激励光源进行数字编码后形成数字影像传输给光谱分析模块130。光谱分析模块130 分析散斑，计算出图像对应像素点与深度摄像头120的距离，并构成深度数据矩阵供驱动程序读取。
感测单元190连接到处理器150，检测终端设备的位置信息或周围环境的改变，并将感测的信息发送到处理器150。具体地，感测单元190包括以下项中的至少一个：用于通过检测旋转、旋转移动、角位移、倾斜或者任何其它非线性运动的陀螺仪传感器、用于感测一个或多个方向的加速度的三轴加速度传感器、用于感测地球磁场确定南北方向的的电子罗盘。感测单元190在处理器150的控制下进行操作。
终端设备可接收感测单元190中的运动传感器(例如，陀螺仪传感器或加速度传感器)生成的运动传感器数据，利用运动感测应用处理生成的运动传感器数据。例如，运行运动感测应用的处理器可以分析运动传感器数据，从而辨别具体类型的运动事件。
显示单元160被配置为将图形、图像或数据显示给用户。显示单元160被配置为提供与终端设备的操作相关联的各种屏幕。显示单元160提供主屏幕、消息编写屏幕、电话屏幕、游戏屏幕、音乐播放屏幕和视频播放屏幕。显示单元160可利用平面显示面板 (诸如，液晶显示器(LCD)、有机发光二极管(OLED)和有源矩阵OLED(AMOLED)) 来实现。
在以触摸屏的形式实现显示单元160的情况下，显示单元160可作为输入装置进行工作。在以触摸屏的形式实现显示单元160的情况下，显示单元160包括用于检测触摸手势的触摸面板。触摸面板被配置为将施加到显示单元160的特定位置的压力或在显示单元160的特定区域的电容变化转换为电输入信号。触摸面板可按照add-on(附加)式或者on-cell式(或in-cell式)之一来实现。
触摸面板可按照以下面板之一来实现：电阻式触摸面板、电容式触摸面板、电磁感应式触摸面板和压力式触摸面板。触摸面板被配置为检测触摸的压力以及被触摸的位置和区域。如果在触摸面板上做出触摸手势，则向处理器150产生相应的输入信号。然后，处理器150检查用户的触摸输入信息以执行相应的功能。
处理器150可以负责执行各种软件程序(例如，应用程序和操作系统)，以便提供用于终端设备的计算和处理操作。非易失性存储器170用于保存程序文件、系统文件和数据。内存180用于系统与程序运行缓存。
下面，将详细描述根据本申请实施例的终端设备的动态三维图像获取的方法。
图2是根据本申请一个实施例的动态三维图像获取的方法的示意性流程图。图2所示的方法可以由图1所示的终端设备执行。
S210，获取终端设备的运动姿态。
下面，具体介绍设备运动姿态的获取方法。
本文提到的“姿态”或“运动姿态”是设备的一组运动，该运动可以是所包含的一组运动，例如，摆动或圆周运动，或者可以是设备的简单移动，例如，设备在特定的轴或角度上的倾斜。
图3示出了用于运动姿态识别和轨迹的获取的设计方框图。采样单元310可以从陀螺仪、加速度计和电子罗盘接收运动数据并进行采样。姿态解算单元320读取陀螺仪、加速度计和电子罗盘的数据，计算设备三轴角速度，计算角增量矩阵，求解姿态微分方程，最终更新姿态四元数。数据融合单元330基于卡尔曼滤波算法对相关输出中的噪声进行滤波并最终输出设备姿态和轨迹。
由于陀螺仪与加速度计会受到外界因素(如摩擦力、不稳定力矩等)的影响，因此在采集陀螺仪与加速度计传感器数据之前需要在第一次上电前对之进行校准，以消除静态误差。
陀螺仪或加速度计误差校准过程中采用的误差模型可以用式(1)表示。
Figure GPA0000267484790000071
其中，[Dx Dy Dz]T是陀螺仪或加速度计所测物理量的真实值，[Mx My Mz]T是陀螺仪或加速度计的实际测量值，[Bx By Bz]T是传感器零偏。对于处于静止状态的陀螺仪，Dx、Dy、Dz均为0，而对于处于水平静止状态的加速度计Dx、Dy、均为0，Dz为重力加速度值。
利用电子罗盘进行地磁测量时，导致电子罗盘方向误差的因素很多，比如环境磁干扰因素，如电流、铁质材料、永久性磁铁等，使得磁传感器测量值偏离了地磁真值，从而使得方向计算时会产生导航偏差；同时，罗盘倾斜角度，其依赖于地理位置和方位，会导致较大的方向误差。因此，磁传感器测量数据的误差校准是不可缺少的重要环节。
针对电子罗盘，重点在于消除XY平面的误差，当没有误差的时候，它的测量值在XY平面上表现为一个圆形。当单位圆在X、Y轴经过a、b两个比例值变换，经过θ角的旋转和(x0，y0)的平移后，形成式(2)所示的椭圆方程：
Figure GPA0000267484790000072
其中x1、y1为校准后的电子罗盘的输出，x、y为电子罗盘有偏差时的输出，本申请通过最小二乘拟合求出x0、y0、θ、a、b即可消除误差。
式(2)方程中的参数x0、y0、θ、a、b的计算如式(3)所示：
Figure GPA0000267484790000073
其中式(3)中相关参数的计算公式如下：
Figure GPA0000267484790000081
γ＝tanθ，
U＝α2+β2γ2，V＝2(β2γ2-α2γ)，W＝α2γ2+β2，
Figure GPA0000267484790000082
误差校准后，通过四元数描述设备的姿态，首先读取陀螺仪的数据，计算设备三轴角速度，计算角增量矩阵，求解姿态微分方程，最终更新姿态四元数。
从惯性坐标系a转换到设备坐标系b的旋转四元数为：
Figure GPA0000267484790000083
其中θ是旋转的角度，μR是旋转轴在惯性坐标系中的表示，从式(4)可得到：
Figure GPA0000267484790000084
通过将
Figure GPA0000267484790000085
转换为陀螺仪可测的
Figure GPA0000267484790000086
可得四元数：
Figure GPA0000267484790000087
可采用毕卡法求解四元数微分方程，其过程是先计算出载体运动时对应的四元数Q(t)，再根据四元数和姿态矩阵
Figure GPA0000267484790000088
的对应关系，分别求出姿态矩阵和姿态角设Δθx、Δθy、Δθz为陀螺仪x、y、z轴在[tk，tk+1]采样间隔时间内的角变化量，Δθ2＝Δθx 2+Δθy 2+Δθz 2，得四元数的各阶近似算法为：
Figure GPA0000267484790000089
Figure GPA00002674847900000810
采用卡尔曼滤波算法，对加速度计解算的翻滚角与陀螺仪测试的翻滚角速度、加速度计解算的俯仰角数据与陀螺仪测试俯仰角速度数据，分别进行滤波处理，可以让加速度计与陀螺仪数据互相补偿，减小测量噪音，俯仰角、翻滚角测试值更准确，使得磁传感器倾角补偿效果好，能够进行静态校准，同时也可进行动态校准。
将这两个传感器的噪声方差矩阵设为变量，并实时监测外界干扰，动态改变加速度计和电子罗盘的噪声方差矩阵，进而修正其在卡尔曼滤波器中的增益。
在姿态解算步骤得到先验姿态四元数后，读取加速度计和电子罗盘的数值，得到观测量，将先验姿态四元数作为状态量的初值，带入卡尔曼滤波器的公式中得到最终姿态四元数。本申请将陀螺仪与加速度计融合，估计出俯仰角θ和横滚角γ，将陀螺仪与电子罗盘融合，估计航向角
Figure GPA0000267484790000091
陀螺仪与加速度计数据融合流程如图4所示，陀螺仪与电子罗盘数据融合流程如图5 所示。
通过姿态解算与数据融合以后的数据是由四元数表示的，可通过式(9)转换为方向余弦阵：
Figure GPA0000267484790000092
通过式(10)和式(11)转换为欧拉角：
Figure GPA0000267484790000093
Figure GPA0000267484790000094
S220，通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像。
其中，深度图像也被称为距离映像(range image)，是指将从图像采集器(例如，本申请中的深度摄像头120)到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
举例来说，在该方法由图1所示的终端设备执行时，深度摄像头120通过接收外界反射来的激励光源，比如红外光，将激励光源进行数字编码后形成数字影像传输给光谱分析模块130。光谱分析模块130分析散斑，计算出当前图像中对应像素点(x，y)与深度摄像头120的距离z，从而可以获取当前深度图像。
S230，根据终端设备的运动姿态与所述深度图像进行快速分割匹配。
图6示出了设备运动姿态与深度图像融合的中心区域三维物体快速匹配方法，该方法实时跟踪设备状态变化，当设备平滑移动时，抽取每个固定时间段内起始与结束时间点对应的深度图帧。基于起始时间点的深度图已完成分割的特征区域和近景模式下设备姿态变化推断出在时间结束点的深度图各特征区域大致范围，进而进行快速分割匹配。
由于深度图像每个像素点的值都是物体到摄像头之间的直线距离，所以同一物体到摄像头之间距离存在相似性。因此基于深度图的粗分割采用区域增长法，但由于深度图像存在噪声且容易丢失信息，所以首先对深度图像进行滤波，来实现图像的平滑和丢失深度的填充，具体实现方式如下：
采用双边滤波器对图像进行滤波，滤波器定义为：
Figure GPA0000267484790000101
其中I为原始图像，I’为滤波后的图像，Ω为(x，y)的邻域，w(i，j)为滤波器在相应坐标处的权值，
Figure GPA0000267484790000102
对图像中深度相似的像素点合并构成相似特征区域。具体实现方式是：
1)选择起始像素点；
2)根据相似准则，将起始像素点与周围像素点进行深度值比较；
3)如果两者满足相似性的条件，就将该像素点合并到起始像素点，形成新的起始点区域；
4)当周围像素点不满足相似性条件时，则停止该方向上的增长。
其中，起始点的选取对深度图像分割的效率至关重要，如果选择得当，可以加快分割，本申请就是根据设备相对姿态与轨迹来大致估算特征区域在结束时间点深度图内的位置来加速的。由于所拍摄物体离摄像头距离通常较近，选取深度图中的极小值区域，建立图像极小值区域的多叉树，实现起始点的选取。设深度图像D，像素点深度集Λ＝{d1，d2，...，dN}，将像素点根据深度值进行从小到大的排序，从前往后找到图像中的所有极小值区域：
Figure GPA0000267484790000103
相似准则用于区分物体与背景，选取前面几次比较的像素点深度均值与差异均值，选取后几次像素点深度均值与差异均值，当本次像素点深度均值与差异均值与两者差异在5％以内判定为同一区域。
运用设备姿态信息对时间结束点的深度图特征区域位置推断的过程如下：
1)记录时间起始点设备姿态信息，根据特征区域像素点在图像中的坐标与自身的深度值确定其在设备自身坐标系中的坐标；
2)获取时间结束点相较于开始点的设备姿态变化，并将姿态变化折算到设备原来自身坐标系；
3)将起始点特征区域像素点坐标折算到时间结束点设备自身的坐标系。
S240，根据所述彩色图像对所述快速分割匹配的结果进行精准匹配。
深度图像经过有效滤波后不仅能平滑噪声，更能填充缺失深度的像素点，但其精度并不高，因此基于深度图像的特征区域匹配并不能有效匹配实际物体特征区域。由于彩色图像分割方法能够有效的提取边界信息，本申请针对近景模式结合彩色图像的图像分割方法对快速匹配的结果进行精准匹配，针对远景模式直接对设备平滑移动或旋转时抽帧，并对彩色图像进行精准匹配，精准匹配主要是在快速匹配得到的特征区域边缘处进行优化，匹配流程如图7所示。
首先对深度图像和彩色图像分别滤波，然后根据姿态信息和深度信息进行特征区域的快速匹配，得到一系列的特征区域，将各特征区域的代表性像素点提供给彩色图像进行分割。图像分割采用分水岭算法，经过滤波后生成发色后的灰度图，根据提供的特征像素点直接进行注水操作，最终得到各个特征区域的边界。以彩色图像分割边界区域为基础，快速匹配得到的特征区域边界点与之比较，如果不存在偏差，则两者匹配结果均正常。如果存在偏差，且邻域深度数据缺失或落差不分明，则以彩色图像分割结果为最终结果。如果存在偏差，且邻域深度数据完善且落差不分明，则以深度图像分割结果为最终结果。如果存在偏差，且邻域深度数据完善且落差分明，则以彩色图像分割结果为最终结果。
精准匹配结果可以为设备姿态与轨迹信息提供反馈，使得姿态的识别更加精准。根据精准匹配结果得到姿态信息的过程如下：
1)记录当前时刻设备姿态信息与当前各特征区域代表性的像素点在深度图像中的坐标，记录特征区域像素点的深度值，确定其在设备自身坐标系中的坐标；
2)获取当前时刻相较于时间开始点的设备姿态变化，并将姿态变化折算到设备原来自身坐标系；
3)将当前时刻特征区域像素点坐标折算到时间结束点设备自身的坐标系，若存在偏差，则修正当前时刻设备姿态信息并重新折算，直至两者没有偏差为止。
S250，如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合。
本申请允许设备全方位获取图像，在获取的图像与已拍摄图像存在重叠的时候需要对重叠区域进行融合。重叠区域融合基于历史特征矩阵和当前设备姿态信息，本申请将各个特征矩阵与设备姿态关联存储，因此可以获取历史特征矩阵前一次的设备姿态信息。具体的融合流程如图8所示。
为了能够判定当前图像与历史图像存在重叠，设备在运动拍摄过程中的姿态信息将不断被记录、保存，同时也会定时得提取姿态信息作为与以后设备姿态进行比较的标志性数据。由于不同的设备姿态也可能存在重叠区域，本方法将设备所经历的每个姿态所能拍摄到的视野范围进行记录，与特征区域和姿态信息联合存储。在设备运动过程中实时得计算当前相对姿态与轨迹，从历史特征矩阵中提取可比较的标志性数据进行匹配，如果匹配结果表明当前图像帧与历史某图像帧有重叠的特征区域则进行融合处理，更新到重叠区域，同时记录当前设备姿态。
为了实现近景三维图像的准确获取和远景条件下功耗的优化，实现远、近景模式图像的关联。本申请提供的方法能够动态识别当前所摄景物是远景还是近景，判定方法是扫描深度图像矩阵，计算深度值小于阈值的像素点个数，当个数小于阈值时判定为远景。当处于远景模式时，自动关闭深度摄像头，并定时启动它以检测是否处于近景模式，这样可以降低功耗。
在近景模式下，本方法跟踪特征区域的深度状态变化，在距离有变化时，通过将该距离存储到特征矩阵中，使得显示时可以识别到拍摄时是否有接近于远离动作，从而提示用户可以缩小和放大。
在远景模式下，本方法不启动深度摄像头，因此无需进行深度图的中心区域快速匹配，仅根据彩色图像与姿态信息进行精准匹配进而得到特征矩阵。
下面介绍用户拍摄流程，为保证拍摄效果，用户按下按键启动拍摄后，本方法提示用户可以向任意方向移动或旋转手机来对目标物体拍摄。启动拍摄后会触发同时出发姿态传感器、深度摄像头和彩色摄像头工作。设备姿态与轨迹识别模块会实时读取陀螺仪、加速度计和电子罗盘的数据，对之进行姿态解算，然后进行多传感器数据的融合，得到设备的姿态和轨迹。深度摄像头实时采集深度数据，经过滤波后进行远近模式的识别，如果是近景模式，则对深度图像粗分割，结合设备姿态与轨迹数据进行中心区域快速匹配以加快匹配速度。彩色摄像头实时采集彩色数据，经过滤波后根据快速匹配结果提供的特征区域代表像素点实施注水操作，最终得到景物的各边界，与快速匹配所得到的特征区域边界进行比较并决策，调整特征区域的边界最终生成细微匹配的特征区域。
为解决在拍摄过程中所拍摄图像与已经拍摄过的区域再次重合的情况下，能够在显示时识别到并认为是同一个区域，从而实现循环的查看，本方法根据设备姿态与特征区域在设备坐标系中的位置进行计算，对重合区域进行融合更新并记录两次拍摄的设备姿态，使得提供给显示时可以使之循环查看。重合区域融合后就生成了图像最终的特征区域集合。
在用户松开按键时，认为用户希望停止拍摄，此时停止传感器与摄像头的工作，并等待最后一帧图像处理完成，然后清理中间缓存并释放资源，最终将所得特征区域集合写入非易失性存储器完成拍摄。用户拍摄图像过程如图9所示：
在用户点击图片进行查看时启动姿态传感器进行设备姿态获取，同时读取图像特征区域集合取得最终图像帧。本方法支持用户旋转手机来查看图片，打开图片时手机的姿态被对应成开始拍摄图片时手机的姿态。设备姿态与轨迹识别模块会实时读取陀螺仪、加速度计和电子罗盘的数据，对之进行姿态解算，然后进行多传感器数据的融合，得到设备的姿态。读取图像特征区域集合后，根据每个特征区域所在图像帧中的坐标进行图像帧的合成，最后将图像帧一一缓存等待被读取。在设备当前姿态生成后需跟拍摄照片是的初始设备姿态对应，此后手机姿态的变化将会触发对应状态图片帧的显示。设备姿态的变化将触发选取对应姿态的图像帧并提交显示，在实现图像后判断当前帧是否可缩放，如果可以，就在屏幕提示当前可缩放，然后获取姿态传感器数据开始新的循环。如果不可以缩放，同样获取姿态传感器数据开始新的循环。
在用户点击返回时，认为用户不再查看图片，此时停止传感器与摄像头的工作，清理中间缓存并释放资源。用户查看图像过程如图10所示。
(1)本申请在终端设备上配备陀螺仪、加速度计和电子罗盘传感器，用于提供设备姿态信息；配备一个红外发射器和一个红外摄像头，用于提供深度图像数据；配备一个彩色摄像头，用于提供彩色图像数据，三者结合为动态三维图像的获取提供原始数据支撑。
(2)本申请所涉及的三维空间终端设备姿态识别的方法，能够通过对三个姿态传感器采样、姿态结算和数据融合，得到设备初始姿态。根据深度图像和彩色图像的变化对姿态生成算法进行补偿，完成对姿态检测的闭环跟踪。
(3)本申请所涉及的设备姿态与深度图像融合的中心区域三维物体快速匹配方法，能够在设备姿态匀速变化时提供一种抽帧形式加速匹配的策略，实现多帧图像问同一三维物体的快速匹配。
(4)本申请所涉及的基于彩色图像的，对多帧图像问同一三维物体的快速匹配结果的细微匹配方法，能够针对各特征区域根据彩色图像对应位置的数据信息对快速匹配结果进行补偿优化，得到最细粒度的图片特征描述。
(5)本申请能实现360度全方位摄像，支持对已经拍摄过的物体在此拍摄，能够根据设备当前姿态信息与历史特征矩阵信息匹配，实现动态识别已经拍摄过的重叠区域。对重叠区域进行数据融合，增加重叠数据信息，使得显示时可以根据姿态平滑切换。
(6)本申请能够动态识别所摄景物远近模式，针对近景，实现全方位的摄像，针对远景，实现全景的融合。远景自动关闭深度摄像头以降低功耗。
图11是根据本申请实施例的终端设备的另一示意性框图。图11所示的终端设备1100 包括：射频(Radio Frequency，RF)电路1110、存储器1120、其他输入设备1130、显示屏1140、传感器1150、音频电路1160、I/O子系统1170、处理器1180、以及电源1190 等部件。本领域技术人员可以理解，图11中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。本领领域技术人员可以理解显示屏1140属于用户界面(User Interface，UI)，且终端设备1100可以包括比图示或者更少的用户界面。
下面结合图11对终端设备1100的各个构成部件进行具体的介绍：
RF电路1110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1180处理；另外，将设计上行的数据发送给基站。通常， RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120 的软件程序以及模块，从而执行终端设备1100的各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备1100的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器 1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其他输入设备1130可用于接收输入的数字或字符信息，以及产生与终端设备1100的用户设置以及功能控制有关的键信号输入。具体地，其他输入设备1130可包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)等中的一种或多种。其他输入设备1130与I/O子系统1170的其他输入设备控制器 1171相连接，在其他设备输入控制器1171的控制下与处理器1180进行信号交互。
显示屏1140可用于显示由用户输入的信息或提供给用户的信息以及终端设备1100 的各种菜单，还可以接受用户输入。具体的显示屏1140可包括显示面板1141，以及触控面板1142。其中显示面板1141可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1141。触控面板1142，也称为触摸屏、触敏屏等，可收集用户在其上或附近的接触或者非接触操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1142上或在触控面板1142 附近的操作，也可以包括体感操作；该操作包括单点控制操作、多点控制操作等操作类型)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1142可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位、姿势，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成处理器能够处理的信息，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1142，也可以采用未来发展的任何技术实现触控面板1142。进一步的，触控面板1142可覆盖显示面板1141，用户可以根据显示面板1141显示的内容 (该显示内容包括但不限于，软键盘、虚拟鼠标、虚拟按键、图标等等)，在显示面板 1141上覆盖的触控面板1142上或者附近进行操作，触控面板1142检测到在其上或附近的操作后，通过I/O子系统1170传送给处理器1180以确定用户输入，随后处理器1180 根据用户输入通过I/O子系统1170在显示面板1141上提供相应的视觉输出。虽然在图 11中，触控面板1142与显示面板1141是作为两个独立的部件来实现终端设备1100的输入和输入功能，但是在某些实施例中，可以将触控面板1142与显示面板1141集成而实现终端设备1100的输入和输出功能。
终端设备1100还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，接近传感器可在终端设备1100移动到耳边时，关闭显示面板1141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备1100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1160、扬声器1161，麦克风1162可提供用户与终端设备1100之间的音频接口。音频电路1160可将接收到的音频数据转换后的信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，麦克风1162将收集的声音信号转换为信号，由音频电路1160接收后转换为音频数据，再将音频数据输出至RF电路1110以发送给比如另一手机，或者将音频数据输出至存储器1120以便进一步处理。
I/O子系统1170用来控制输入输出的外部设备，可以包括其他设备输入控制器1171、传感器控制器1172、显示控制器1173。可选的，一个或多个其他输入控制设备控制器1171 从其他输入设备1130接收信号和/或者向其他输入设备1130发送信号，其他输入设备1130可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮、光鼠(光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸)。值得说明的是，其他输入控制设备控制器1171可以与任一个或者多个上述设备连接。所述I/O子系统1170中的显示控制器1173从显示屏1140接收信号和/或者向显示屏1140发送信号。显示屏1140检测到用户输入后，显示控制器1173将检测到的用户输入转换为与显示在显示屏1140上的用户界面对象的交互，即实现人机交互。传感器控制器1172可以从一个或者多个传感器1150接收信号和/或者向一个或者多个传感器 1150发送信号。
处理器1180是终端设备1100的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行终端设备1100的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器1180可包括一个或多个处理单元；可选地，处理器1180 可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。
处理器1180用于：获取终端设备的运动姿态；通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像；根据终端设备的运动姿态与所述深度图像进行快速分割匹配；根据所述彩色图像对所述快速分割匹配的结果进行精准匹配；如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合以生成动态三维图像。
终端设备1100还包括给各个部件供电的电源1190(比如电池)，可选的，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
尽管未示出，终端设备1100还可以包括摄像头(深度摄像头和彩色摄像头)、蓝牙模块等，在此不再赘述。
应理解，该终端设备1100可对应于根据本申请实施例的动态三维图像获取方法中的终端设备，该终端设备1100可以包括用于执行上述方法中的终端设备或电子设备执行的方法的实体单元。并且，该终端设备1100中的各实体单元和上述其他操作和/或功能分别为了上述方法的相应流程，为了简洁，在此不再赘述。
还应理解，该终端设备1100可以包括用于执行上述动态三维图像获取的方法中的实体单元。并且，该终端设备1100中的各实体单元和上述其他操作和/或功能分别为了上述方法的相应流程，为了简洁，在此不再赘述。
还应理解，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是中央处理单元(Central ProcessingUnit， CPU)、该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件器组合执行完成。软件器可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的 RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器 (Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解，该总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统。
还应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/ 或其它信息确定B。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存10在A 和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的用于传输上行信号的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件器组合执行完成。软件器可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2和/或图3所示实施例的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种动态三维图像获取的方法，其特征在于，所述方法应用于终端设备，所述方法包括：
获取终端设备的运动姿态；
通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像；
根据终端设备的运动姿态与所述深度图像进行快速分割匹配；
根据所述彩色图像对所述快速分割匹配的结果进行精准匹配；
如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合以生成动态三维图像。
2.如权利要求1所述的方法，其特征在于，所述获取终端设备的运动姿态，包括：
通过终端设备的加速度计、陀螺仪和电子罗盘获取终端设备的运动姿态。
3.如权利要求1或2所述的方法，其特征在于，所述根据终端设备的运动姿态与所述深度图像进行快速分割匹配，包括：
当根据终端设备的运动姿态确定所述终端设备平滑移动时，获取第一时间段内起始时间点与结束时间点对应的深度图；
基于起始时间点的深度图的已完成分割的特征区域和所述终端设备的姿态变化计算结束时间点的深度图的特征区域范围。
4.如权利要求3所述的方法，其特征在于，所述根据所述彩色图像对所述快速分割匹配的结果进行精准匹配，包括：
根据所述彩色图像对所述特征区域范围执行补偿优化，获取细粒度的图片特征描述。
5.如权利要求1、2、4中任一项所述的方法，其特征在于，所述通过融合算法对重叠区域进行融合以生成动态三维图像，包括：
实时计算终端设备的当前姿态，从历史特征矩阵中提取可比较的标志性数据进行匹配；
如果匹配结果表明当前图像帧与历史某图像帧有重叠的特征区域则进行融合处理，更新重叠区域。
6.一种终端设备，其特征在于，包括：
获取单元，用于获取终端设备的运动姿态；
采集单元，用于通过深度摄像头和彩色摄像头分别采集深度图像和彩色图像；
处理单元，用于根据终端设备的运动姿态与所述深度图像进行快速分割匹配；根据所述彩色图像对所述快速分割匹配的结果进行精准匹配；如果获取的当前图像与已拍摄图像存在重叠，通过融合算法对重叠区域进行融合以生成动态三维图像。
7.如权利要求6所述的终端设备，其特征在于，所述获取单元具体用于：
通过终端设备的加速度计、陀螺仪和电子罗盘获取终端设备的运动姿态。
8.如权利要求6或7所述的终端设备，其特征在于，所述处理单元具体用于：
当根据终端设备的运动姿态确定所述终端设备平滑移动时，获取第一时间段内起始时间点与结束时间点对应的深度图；
基于起始时间点的深度图的已完成分割的特征区域和所述终端设备的姿态变化计算结束时间点的深度图的特征区域范围。
9.如权利要求8所述的终端设备，其特征在于，所述处理单元具体用于：
根据所述彩色图像对所述特征区域范围执行补偿优化，获取细粒度的图片特征描述。
10.如权利要求6、7、9任一所述的终端设备，其特征在于，所述处理单元具体用于：
实时计算终端设备的当前姿态，从历史特征矩阵中提取可比较的标志性数据进行匹配；
如果匹配结果表明当前图像帧与历史某图像帧有重叠的特征区域则进行融合处理，更新重叠区域。
11.一种终端设备，其特征在于，包括：存储器、处理器以及显示器；
存储器，用于存储程序；
所述处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-5中任意一项所述的方法。
CN201780076051.4A 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备 Active CN110169056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010841368.6A CN112132881A (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2016111420621 2016-12-12
CN201611142062 2016-12-12
PCT/CN2017/088162 WO2018107679A1 (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010841368.6A Division CN112132881A (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备

Publications (2)

Publication Number Publication Date
CN110169056A CN110169056A (zh) 2019-08-23
CN110169056B true CN110169056B (zh) 2020-09-04

Family

ID=62557853

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780076051.4A Active CN110169056B (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备
CN202010841368.6A Pending CN112132881A (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010841368.6A Pending CN112132881A (zh) 2016-12-12 2017-06-13 一种动态三维图像获取的方法和设备

Country Status (2)

Country Link
CN (2) CN110169056B (zh)
WO (1) WO2018107679A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110169056B (zh) * 2016-12-12 2020-09-04 华为技术有限公司 一种动态三维图像获取的方法和设备
CN109118581B (zh) * 2018-08-22 2023-04-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109272576B (zh) * 2018-09-30 2023-03-24 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
CN111145100B (zh) * 2018-11-02 2023-01-20 深圳富泰宏精密工业有限公司 动态影像生成方法及系统、计算机装置、及可读存储介质
CN109583411B (zh) * 2018-12-09 2022-10-21 大连海事大学 基于tof摄像头的游客类别在线审核方法
CN109685042A (zh) * 2019-02-03 2019-04-26 同方威视技术股份有限公司 一种三维图像识别装置及其识别方法
CN111739146A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 物体三维模型重建方法及装置
CN110933275B (zh) * 2019-12-09 2021-07-23 Oppo广东移动通信有限公司 拍照方法及相关设备
CN111045518B (zh) * 2019-12-09 2023-06-30 上海瑾盛通信科技有限公司 获取姿态数据的方法及相关装置
CN111175248B (zh) * 2020-01-22 2021-03-30 中国农业科学院农产品加工研究所 智能化肉品质在线检测方法和检测系统
CN111583317B (zh) * 2020-04-29 2024-02-09 深圳市优必选科技股份有限公司 图像对齐方法、装置及终端设备
CN111695459B (zh) * 2020-05-28 2023-04-18 腾讯科技（深圳）有限公司 状态信息提示方法及相关设备
CN112261303B (zh) * 2020-11-19 2021-08-20 贝壳技术有限公司 三维彩色全景模型生成装置、方法、存储介质和处理器
CN112710250B (zh) * 2020-11-23 2022-12-23 武汉光谷卓越科技股份有限公司 基于线结构光的三维测量方法以及传感器
CN112382374B (zh) * 2020-11-25 2024-04-12 华南理工大学 一种肿瘤分割装置和分割方法
CN112766066A (zh) * 2020-12-31 2021-05-07 北京小白世纪网络科技有限公司 一种动态视频流和静态图像处理显示方法、系统
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN114763994B (zh) * 2021-05-06 2024-01-30 苏州精源创智能科技有限公司 一种应用于扫地机器人的惯性姿态导航系统
CN113490054A (zh) * 2021-07-01 2021-10-08 网易（杭州）网络有限公司 虚拟角色控制方法、装置、设备及存储介质
CN113743237B (zh) * 2021-08-11 2023-06-02 北京奇艺世纪科技有限公司 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN113658229B (zh) * 2021-08-13 2024-02-02 杭州华橙软件技术有限公司 异常对象的确定方法及装置、存储介质、电子装置
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420985A (zh) * 2011-11-29 2012-04-18 宁波大学 一种多视点视频对象提取方法
CN102761765A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度快速插帧方法
CN103796001A (zh) * 2014-01-10 2014-05-14 深圳奥比中光科技有限公司 一种同步获取深度及色彩信息的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070116457A1 (en) * 2005-11-22 2007-05-24 Peter Ljung Method for obtaining enhanced photography and device therefor
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
CN103400409B (zh) * 2013-08-27 2016-08-10 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN103559737A (zh) * 2013-11-12 2014-02-05 中国科学院自动化研究所 一种对象全景建模方法
KR102214193B1 (ko) * 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
CN104517289B (zh) * 2014-12-12 2017-08-08 浙江大学 一种基于混合摄像机的室内场景定位方法
CN104519340B (zh) * 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法
JP6570327B2 (ja) * 2015-06-05 2019-09-04 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN105225269B (zh) * 2015-09-22 2018-08-17 浙江大学 基于运动机构的三维物体建模系统
CN106203390B (zh) * 2016-07-22 2019-09-24 杭州视氪科技有限公司 一种智能盲人辅助系统
CN110169056B (zh) * 2016-12-12 2020-09-04 华为技术有限公司 一种动态三维图像获取的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420985A (zh) * 2011-11-29 2012-04-18 宁波大学 一种多视点视频对象提取方法
CN102761765A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度快速插帧方法
CN103796001A (zh) * 2014-01-10 2014-05-14 深圳奥比中光科技有限公司 一种同步获取深度及色彩信息的方法及装置

Also Published As

Publication number Publication date
CN112132881A (zh) 2020-12-25
CN110169056A (zh) 2019-08-23
WO2018107679A1 (zh) 2018-06-21

Similar Documents

Publication Publication Date Title
CN110169056B (zh) 一种动态三维图像获取的方法和设备
US11532136B2 (en) Registration between actual mobile device position and environmental model
US11158083B2 (en) Position and attitude determining method and apparatus, smart device, and storage medium
US11798190B2 (en) Position and pose determining method, apparatus, smart device, and storage medium
CN108682038B (zh) 位姿确定方法、装置及存储介质
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN109101120B (zh) 图像显示的方法和装置
KR100790896B1 (ko) 촬상부의 움직임을 이용한 어플리케이션의 제어 방법 및장치
CN110555883A (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
US11276183B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN110967011A (zh) 一种定位方法、装置、设备及存储介质
US20140247280A1 (en) Federated mobile device positioning
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
JP2022511427A (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
CN102272690A (zh) 用于移动装置的用户接口
WO2016148857A1 (en) Spatial motion-based user interactivity
CN111928861B (zh) 地图构建方法及装置
US20130076622A1 (en) Method and apparatus for determining input
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
CN113592874B (zh) 图像显示方法、装置和计算机设备
US20220345621A1 (en) Scene lock mode for capturing camera images
EP3889637A1 (en) Method and device for gesture detection, mobile terminal and storage medium
CN114254687A (zh) 钻井轨道匹配度的确定方法、装置、设备及存储介质
CN117459827A (zh) 拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant