CN106023302B - 一种移动通信终端、服务器及其实现三维重建的方法 - Google Patents

一种移动通信终端、服务器及其实现三维重建的方法 Download PDF

Info

Publication number
CN106023302B
CN106023302B CN201610296741.8A CN201610296741A CN106023302B CN 106023302 B CN106023302 B CN 106023302B CN 201610296741 A CN201610296741 A CN 201610296741A CN 106023302 B CN106023302 B CN 106023302B
Authority
CN
China
Prior art keywords
dimensional model
mobile communication
communication terminal
camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610296741.8A
Other languages
English (en)
Other versions
CN106023302A (zh
Inventor
刘进
陶重芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xiong Chu Gao Jing Technology Co., Ltd.
Original Assignee
Wuhan Chuxiong Gaojing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Chuxiong Gaojing Technology Co ltd filed Critical Wuhan Chuxiong Gaojing Technology Co ltd
Priority to CN201610296741.8A priority Critical patent/CN106023302B/zh
Publication of CN106023302A publication Critical patent/CN106023302A/zh
Application granted granted Critical
Publication of CN106023302B publication Critical patent/CN106023302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明适用于图像处理领域，提供了一种移动通信终端及其实现三维重建的方法及服务器。所述方法包括：移动通信终端通过摄像头拍摄至少一张物体或场景的照片；移动通信终端将照片通过网络发送至服务器，以由服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至移动通信终端；移动通信终端接收三维模型数据；移动通信终端根据三维模型数据进行三维可视化渲染。本发明实现了在移动通信终端上任意角度，任意位置拍摄物体或场景、上传照片、进而合成，并下载渲染三维模型的全自动服务流程，本发明利用网络通信技术既发挥了便携设备的小巧灵活的优势，又能利用服务器完成大规模高质量的三维重建运算。

Description

一种移动通信终端、服务器及其实现三维重建的方法
技术领域
本发明属于图像处理领域，尤其涉及一种移动通信终端、服务器及其实现三维重建的方法。
背景技术
移动通信终端包括手机、平板电脑、便携式笔记本电脑、无人机机载设备、各种智能机等。因为移动通信终端本身为了轻型化，小型化，其计算能力，计算速度，存储能力，供电能力都严重受限，而三维重建涉及大量的计算负荷，这给移动通信终端，尤其是各种便携式移动通信终端实现三维重建带来极大的困难。
发明内容
本发明的目的在于提供一种移动通信终端、服务器及其实现三维重建的方法，旨在解决三维重建涉及大量的计算负荷，给移动通信终端实现三维重建带来极大的困难的问题。
第一方面，本发明提供了一种移动通信终端实现三维重建的方法，所述方法包括：
移动通信终端通过摄像头拍摄至少一张物体或场景的照片；
移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；
所述移动通信终端接收所述三维模型数据；
移动通信终端根据三维模型数据进行三维可视化渲染。
第二方面，本发明提供了一种服务器实现三维重建的方法，所述方法包括：
服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，并由移动通信终端将所述照片通过网络发送至服务器的；
服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染。
第三方面，本发明提供了一种移动通信终端，所述移动通信终端包括：
拍摄模块，用于移动通信终端通过摄像头拍摄至少一张物体或场景的照片；
第一发送模块，用于移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；
接收模块，用于所述移动通信终端接收所述三维模型数据；
渲染模块，用于移动通信终端根据三维模型数据进行三维可视化渲染。
第四方面，本发明提供了一种服务器，所述服务器包括：
合成模块，用于服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，并由移动通信终端将所述照片通过网络发送至服务器的；
第二发送模块，用于服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染。
在本发明中，由于移动通信终端通过摄像头拍摄照片后通过网络发送至服务器，由服务器进行三维重建并将生成的三维模型数据通过网络发送至所述移动通信终端，再由移动通信终端根据三维模型数据进行三维可视化渲染。因此，实现了在手机等移动通信终端上任意角度，任意位置拍摄物体或场景、上传照片、进而合成，并下载渲染三维模型的全自动服务流程，本发明利用网络通信技术既发挥了便携设备的小巧灵活的优势，又能利用后台服务器完成大规模高质量的三维重建运算。
附图说明
图1是本发明实施例一提供的移动通信终端实现三维重建的方法的流程图。
图2是本发明实施例二提供的移动通信终端的结构示意图。
图3是本发明实施例三提供的服务器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的移动通信终端实现三维重建的方法包括以下步骤：
S101、移动通信终端通过摄像头拍摄至少一张物体或场景的照片。
S101具体可以为：一个移动通信终端通过摄像头拍摄一张或多张物体或场景的照片，或者，多个移动通信终端通过摄像头拍摄多张物体或场景的照片。
拍摄的场景画面需大致对准同一场景，拍摄的角度、位置、距离不限。
移动通信终端包括手机、平板电脑、便携式笔记本电脑、无人机机载设备、各种智能机等。
S102、移动通信终端将所述照片通过网络发送至服务器。
当S101具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片时，S102之后，所述方法还包括：服务器将多个移动通信终端拍摄的多张物体或场景的照片进行汇总。
S103、服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据。
在本发明实施例一中，当步骤S101具体为一个移动通信终端通过摄像头拍摄一张物体或场景的照片时，S103具体可以包括以下步骤：
服务器以所述照片作为三维重建的输入，采用深度机器学习方法，先通过大量图像像素数据作为输入与其对应的深度数据作为输出的已知样本进行神经网络模型训练，得到神经网络模型A之后，再将单幅图像的像素x周边的分布作为神经网络模型A的输入，输出就是像素x对应的深度信息d；根据大量像素x的坐标u，v和其对应的神经网络模型A得到的深度数据dx得到三维模型点云；然后经过点云加密、点云构网、铺设纹理等过程，生成三维模型数据。所述三维模型数据包括三维模型文件和纹理文件。
其中，由于前面得到的点云是对应于图像上某个像素位置的，因此其所处的点云阵列是非常有规律的2维阵列网格，1个方形的网格可进一步划分成2个3角形网格。由于点云的每一个点对应的图像像素颜色值是已知的，因此可由这些图像像素坐标铺设纹理。
在本发明实施例一中，当步骤S101中拍摄的物体或场景的照片是多张时，S103具体可以为：
服务器以所述照片作为三维重建的输入，经过同名点匹配、移动通信终端虚拟摄像头位姿模型构建、生成点云、点云加密、点云构网、铺设纹理等过程，生成三维模型数据。所述三维模型数据包括三维模型点坐标数据、构网数据和纹理数据。
在本发明实施例一中，同名点匹配过程中，可利用移动通信终端提供的姿态数据进行拍摄照片纠正匹配，可达到更好的匹配效果，纠正匹配方法有两种：
一、纠正图像匹配同名点
1.每一张拍摄的照片Ii经过Hi＝KiRiτ TKi -1的Homograph变换得到I’，其中
Figure GDA0001803459480000041
是移动通信终端的摄像头i的内部参数矩阵，f是焦距的像素长度，(cx,cy)是摄像头主点坐标；对于理想摄像头(cx,cy)是图像的中心点，cx＝w/2,cy＝h/2,w,h是原始图像I的宽和高；
Figure GDA0001803459480000051
是纠正以后虚拟移动通信终端的摄像头的内部参数矩阵，f2是纠正以后虚拟摄像头的焦距的像素长度，(cx2,cy2)是纠正以后虚拟移动通信终端的摄像头主点坐标，Riτ是由摄像头的姿态矩阵Ri分解出来的纠正矩阵。
根据姿态矩阵Ri，Rj对要匹配的两幅照片Ii,Ij分别进行纠正得到Ii'和Ij'两张照片之间没有旋转关系了，可以在不考虑照片旋转的条件下快速准确地进行匹配。
二、纠正特征点匹配同名点
将照片中的特征点集先提取出来，对于移动通信终端i拍摄的照片Ii中的每一个特征点Pij，再在特征点Pij邻域j附近小图区域进行Hi＝KiRiτ TKi -1纠正变换，在纠正小图区域中计算该特征点Pij的描述子，这种经过邻域纠正的特征点描述子不受照片旋转的影响具有较好的匹配稳定性，最后利用纠正图的特征点描述子进行图像间同名点匹配。
在本发明实施例一中，在点云加密之后，所述方法还可以包括：
点云间隔采样，具体为：服务器根据数据量大小需要进行间隔抽稀采样合成三维模型的坐标点数据，再将这些点合成三维模型，以保证在较小的时间内通过网络发送给移动通信终端。比如要将总点数限制在m个以内，当实际点数M>m时则每隔取整[N/m]进行一次三维点坐标采样，再将这些点合成三维模型。
在本发明实施例一中，在S103之前还可以包括以下步骤：
服务器对所述照片进行图像增强处理，以便更好的进行三维重建，具体可以为：对所述照片预先进行直方图均衡化、像素滤波等处理，保证每一幅图像有比较大的对比度。
S104、服务器将生成的三维模型数据通过网络发送至所述移动通信终端。
在本发明实施例一中，由于服务器合成的三维模型数据一般可能会比较大，因此在S104之前，所述方法还可以包括以下步骤：
将生成的三维模型数据进行压缩，在S104中，发送压缩后的三维模型数据。
压缩的方式具体可以为：将纹理图片数据进行压缩操作，例如生成.jpg或.png压缩格式，图像的大小可以进行比例缩放，或者将生成的三维模型数据整体打包压缩成rar、zip、7z等格式。
S105、所述移动通信终端接收所述三维模型数据。
如果在S104之前，所述方法还包括将生成的三维模型数据进行压缩的步骤，则S105之后，所述方法还包括以下步骤：
移动通信终端对压缩后的三维模型数据进行解压，得到点坐标、面网、纹理坐标、纹理图片等信息。
S106、移动通信终端根据三维模型数据进行三维可视化渲染。
在本发明实施例一中，移动通信终端还可以通过与服务器通信实现三维模型数据的建库与管理，包括为每个移动通信终端用户提供添加、删除、渲染、预览、下载已合成的三维模型功能。在下载已合成的三维模型的过程中，服务器为每一个移动通信终端用户生成一个模型库，移动通信终端用户通过模型库中的模型名来选择下载自己的模型，如果移动通信终端本地没有模型，就先从服务器下载三维模型数据，将三维模型数据保存到本地，再加载三维模型数据，渲染模型。如果移动通信终端已有下载到本地的三维模型数据，就不用重复下载，直接加载本地三维模型数据，渲染模型。
在本发明实施例一中，在步骤S101之后，所述方法还可以包括以下步骤：
移动通信终端为每张拍摄的照片绑定拍摄时摄像头的姿态数据。
此时，S102具体为：将所述照片和拍摄时摄像头的姿态数据通过网络发送至服务器。
S103具体为：服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据。
其中，拍摄时摄像头的姿态数据可以通过以下方式获取：
定义局部坐标系：局部坐标系是指原点在移动通信终端，Z轴指向地球表面方向,Y轴或X轴与纬线相平行的坐标系；或局部坐标系原点位于地球上任意一点，Z轴与重力方向一致，北代表局部坐标系X轴，西代表局部坐标系Y轴；
测定摄像头的姿态矩阵Rg，Rg是一个相对于局部坐标系的3x3单位正交矩阵；
所述测定摄像头的姿态矩阵Rg具体是采用移动通信终端的加速度传感器，以及磁力计传感器或方向传感器，或者，采用移动通信终端的旋转矢量传感器，或者，采用移动通信终端的陀螺仪、加速度传感器与磁力传感器来测定。
当测定摄像头的姿态矩阵Rg具体是采用移动通信终端的加速度传感器，以及磁力计传感器或方向传感器来测定时，所述测定摄像头的姿态矩阵Rg具体包括：
用以下公式(1)计算Rg
Figure GDA0001803459480000071
其中
Figure GDA0001803459480000072
Figure GDA0001803459480000073
vax,vay,vaz是移动通信终端加速度传感器测出的x,y,z三个方向的值，或是这三个值经滤波的结果；
Ra是加速度传感器相对于摄像头的姿态转换矩阵；
Figure GDA0001803459480000074
当az≤0时，s＝-1，az>0时,s＝1；
若采用方向传感器：通过方向传感器获取方位角
Figure GDA0001803459480000075
将其带入公式(1)计算Rg；
若采用磁力计传感器：计算
Figure GDA0001803459480000081
其中Rm是磁力传感器相对于摄像头的姿态转换矩阵；{vmx,vmy,vmz}是磁力传感器检测到的三个值或这三个值经滤波的结果；
再计算
Figure GDA0001803459480000082
利用磁力传感器计算方位角
Figure GDA0001803459480000083
的三角函数为：
Figure GDA0001803459480000084
Figure GDA0001803459480000085
带入公式(1)计算Rg；
当测定摄像头的姿态矩阵Rg具体是采用移动通信终端的旋转矢量传感器来测定时，所述测定摄像头的姿态矩阵Rg具体包括：
若检测到旋转矢量传感器只有3个数据values[0],values[1],values[2]，
则采用以下公式得到
q1＝values[0],q2＝values[1],q3＝values[2],
Figure GDA0001803459480000086
若检测到旋转矢量传感器有4个数据values[0],values[1],values[2],values[3]
则采用以下公式得到
q1＝values[0],q2＝values[1],q3＝values[2],q0＝values[3]
则Rg0矩阵为:
Figure GDA0001803459480000087
根据移动通信终端旋转矢量传感器坐标系定义的不同，得到Rg＝Rg0RL T，其中RL T是局部坐标系与旋转矢量传感器坐标系之间的变换矩阵；当测定摄像头的姿态矩阵Rg具体是采用移动通信终端的陀螺仪、加速度传感器与磁力传感器来测定时，所述测定摄像头的姿态矩阵Rg具体包括：
步骤1采用移动通信终端的加速度传感器，以及磁力计传感器或方向传感器来测定Rg的初值或采用移动通信终端的旋转矢量传感器来测定Rg的初值，将Rg转换成4元数q0,q1,q2,q3作为以下步骤2-7迭代的初值；
步骤2设定exInt，eyInt，ezInt原始值为0，即exInt＝0，eyInt＝0，ezInt＝0；
步骤3根据接收到的磁力计矢量{mx,my,mz},得到正确磁场矢量{wx,wy,wz}，先将矢量{mx,my,mz}替换成将其单位化以后的矢量
Figure GDA0001803459480000091
得到局部坐标系下磁场的正确的磁场方向矢量{bx,0,bz}，
Figure GDA0001803459480000092
bz＝hz；其中：hx＝2×mx×(0.5-q2×q2-q3×q3)+2×my×(q1×q2-q0×q3)+2×mz×(q1×q3+q0×q2)；
hy＝2×mx×(q1×q2+q0×q3)+2×my×(0.5-q1×q1-q3×q3)+2×mz×(q2×q3-q0×q1)；
hz＝2×mx×(q1×q3-q0×q2)+2×my×(q2×q3+q0×q1)+2×mz×(0.5-q1×q1-q2×q2)；
再转换到正确磁场矢量{wx,wy,wz}，其中
wx＝2×bx×(0.5-q2×q2-q3×q3)+2×bz×(q1×q3-q0×q2)；
wy＝2×bx×(q1×q2-q0×q3)+2×bz×(q0×q1+q2×q3)；
wz＝2×bx×(q0×q2+q1×q3)+2×bz×(0.5-q1×q1-q2×q2)；
步骤4根据接收到的加速度传感器数据ax,ay,az,和{wx,wy,wz}得到误差矢量{ex,ey,ez}，并计算其累计值exInt，eyInt，ezInt；
具体为：先将矢量{ax,ay,az}替换成将其单位化以后的矢量
Figure GDA0001803459480000093
计算vx＝2*(q1*q3-q0*q2)；vy＝2*(q0*q1+q2*q3)；vz＝q0*q0-q1*q1-q2*q2+q3*q3；
ex＝(ay×vz-az×vy)+(my×wz-mz×wy)；
ey＝(az×vx-ax×vz)+(mz×wx-mx×wz)；
ez＝(ax×vy-ay×vx)+(mx×wy-my×wx)；
计算误差累计值：将exInt替换为exInt+ex×Ki；eyInt替换为eyInt+ey×Ki；ezInt替换为ezInt+ez×Ki；其中Ki为一可调节的正系数，Ki在0.00001至0.5中任意选取；
若没有磁力计，则步骤3不执行，同时将该步骤4中的
ex＝(ay×vz-az×vy)+(my×wz-mz×wy)；
ey＝(az×vx-ax×vz)+(mz×wx-mx×wz)；
ez＝(ax×vy-ay×vx)+(mx×wy-my×wx)；
改为
ex＝ay×vz-az×vy；
ey＝az×vx-ax×vz；
ez＝ax×vy-ay×vx；
步骤5根据误差矢量{ex,ey,ez}及其累计值纠正陀螺仪数据{gx0,gy0,gz0}
假设移动通信终端读出当前的一组陀螺仪数据为{gx0,gy0,gz0}，gx＝gx0+Kp×ex+exInt；gy＝gy0+Kp×ey+eyInt；gz＝gz0+Kp×ez+ezInt；其中Kp为一可调节的正系数，Kp在0.000001至20.0中任意选取；
步骤6根据陀螺仪数据gx,gy,gz修正4元数
随着不断接收到陀螺仪数据gx,gy,gz，对4元数按如下方式修正：
q0替换为q0+(-q1×gx-q2×gy–q3×gz)×halfT；q1替换为q1+(q0×gx-q3×gy+q2×gz)×halfT；q2替换为q2+(q3×gx+q0×gy-q1×gz)×halfT；q3替换为q3+(-q2×gx+q1×gy+q0×gz)×halfT；其中halfT为修正周期，
halfT＝0.00001～-10.0；
步骤7输出Rg矩阵和4元数
将4元数{q0,q1,q2,q3}单位化成
Figure GDA0001803459480000101
输出；
4元数转Rg矩阵公式如下
Figure GDA0001803459480000102
步骤8回到步骤3继续接收陀螺仪运动数据更新姿态4元数q0～q3，在循环的过程中每次到步骤7都能输出当前的Rg矩阵和4元数。
在本发明实施例一中，当S101具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片，或者，一个移动通信终端通过摄像头拍摄多张物体或场景的照片，S103具体为服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据时，S103具体包括以下步骤：
步骤1.构建方程AX＝0
将0号移动通信终端的位置，或者拍摄0号照片时移动通信终端的位置，Xs0＝Ys0＝Zs0＝0设定为原点
解向量X＝[Xs1Ys1Zs1...XsC-1YsC-1ZsC-1X0Y0Z0X1Y1Z1...XN-1YN-1ZN-1]T其中C-1是移动通信终端的个数或者是照片的数量，X0 Y0 Z0 X1 Y1 Z1 ... XN-1YN-1 ZN-1是照片集中找到的N个同名像点对应的三维模型点云的坐标，一共3(C-1)+3N个未知数
构建矩阵
Figure GDA0001803459480000111
其中ni是第i个点对应的照片个数
U(ij)是一个3x1的子阵
U(ij)＝[U(ij)1 U(ij)2 U(ij)3]
V(ij)＝[V(ij)1 V(ij)2 V(ij)3]
U(ij)1＝rc(j)11-rc(j)31u'ij U(ij)2＝rc(j)12-rc(j)32u'ij U(ij)1＝rc(j)13-rc(j)33u'ij
V(ij)1＝rc(j)21-rc(j)31v'ij V(ij)2＝rc(j)22-rc(j)32v'ij V(ij)3＝rc(j)23-rc(j)33v'ij
其中
rc(j)ab是指第j个照片的摄像头的姿态矩阵的a行b列
Figure GDA0001803459480000112
Figure GDA0001803459480000113
uc(ij)是第i个点在第j个照片上的像点坐标，
(cjx,cjy)是移动通信终端j主点坐标，fj是移动通信终端j的焦距；
矩阵A中的省略号全部填写系数0
步骤2.求方程的合理解
对A矩阵进行SVD分解A＝UWVT
将W按从左上到右下，从大到小顺序排列，对角阵W的最右下角一个值如果是0，这个0其实对应了一组类似于X＝Xs Y＝Ys Z＝Zs的不合理解。
进一步按照W从右下往左上方向做逐个检查，当发现W对角线上有非零(λ>10-10，即代码里面>1e-10)特征值λ的时候停止，λ正是正确解的误差值，λ对应V中的列向量v就是方程的合理解X，X包含了移动通信终端的坐标和三维模型点云的坐标；
根据移动通信终端的坐标和三维模型点云的坐标进行点云加密、点云构网、铺设纹理过程，即可生成三维模型数据。
步骤3.光束法平差优化(此步骤可选)
以解出来的移动通信终端位置信息，点云坐标信息
X＝[Xs1 Ys1 Zs1 ... XsC-1 YsC-1 ZsC-1 X0 Y0 Z0 X1 Y1 Z1 ... XN-1 Y N-1 ZN-1]T
再加上传感器测得的摄像头的姿态数据Ri作为LM光束法平差迭代的初值，最终优化得到更精确的移动通信终端位置信息和点云坐标信息。
在本发明实施例一中，当S102仅将照片通过网络发送至服务器时，步骤S103具体可以为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态，由于摄像头的虚拟姿态是根据合成的三维模型确定的姿态，是相对坐标系下相对于三维模型点云正确的位置和姿态，和移动通信终端实际测定的世界坐标系下的姿态很可能不一致，因此步骤S103还包括以下步骤：
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据和所述旋转转换关系通过网络发送给移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端根据所述三维模型数据和旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据、三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态通过网络发送至所述移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
移动通信终端根据所述三维模型数据和所述旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
服务器根据所述旋转转换关系将三维重建得到的三维模型数据进行纠正，使之对应的是移动通信终端实际测定的摄像头姿态。
具体实施方案如下：首先测定得到虚拟姿态R到移动通信终端实际测定的摄像头姿态Rg之间的转换关系是△R，即R△R＝Rg.三维模型得到的所有点坐标平均值或者重心坐标为T，那么对于第i\个三维点Xi,可通过公式Xi'＝△RT(Xi-T)进行纠正。
在本发明实施例一中，在步骤S101之后，所述方法还可以包括以下步骤：
移动通信终端为每张拍摄的照片绑定拍摄时摄像头的位置数据。
此时，S102具体为：将所述照片和拍摄时摄像头的位置数据通过网络发送至服务器。
S103具体为：服务器以所述照片和拍摄时摄像头的位置数据作为三维重建的输入合成三维模型，生成三维模型数据。利用拍摄时摄像头的位置数据可保证三维重建的结果更准确，速度更快。
在本发明实施例一中，步骤S106具体也可以为：
通过移动通信终端内置的重力计、磁力计或者陀螺仪传感器检测到的姿态数据，在移动通信终端进行虚拟现实模式的三维模型的可视化漫游和渲染观察。保证移动通信终端所朝方向看到的三维模型与实际拍摄的三维模型方向保持一致。具体为：利用姿态数据在OpenES，OpenGL，或者Unity3d引擎中设置三维空间的观察位姿；实现方式包括手机屏幕观察模式、AR摄像头模式、VR眼镜，VR头盔观察模式。
在本发明实施例中，由于移动通信终端通过摄像头拍摄照片后通过网络发送至服务器，由服务器进行三维重建并将生成的三维模型数据通过网络发送至所述移动通信终端，再由移动通信终端根据三维模型数据进行三维可视化渲染。因此，实现了在手机等移动通信终端上任意角度，任意位置拍摄物体或场景、上传照片、进而合成，并下载渲染三维模型的全自动服务流程，本发明利用网络通信技术既发挥了便携设备的小巧灵活的优势，又能利用后台服务器完成大规模高质量的三维重建运算。由于移动通信终端的优势是轻便灵活、有传感器信息，因此移动通信终端，如手机，PAD、无人机上实现三维重建具有广阔的应用前景。另外，由于采用移动通信终端的加速度传感器，以及磁力计传感器或方向传感器来测定摄像头的姿态信息以辅助进行三维重建，因此不仅能加快三维重建的计算速度，而且能得到更高质量更高精度的三维模型和三维场景。再者，由于计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系，根据三维模型数据和旋转转换关系进行三维模型渲染显示，这样可以更好地进行三维模型和三维场景的渲染、漫游、避免出现很蹩脚的观察角度，传统技术生成三维模型只能得到模型点相对于移动通信终端的位置和姿态，丢失了移动通信终端的姿态信息，而本发明利用了移动通信终端相对于地球的姿态，不仅能还原三维模型还能得到模型相对于地球姿态和方位的正确性。
实施例二：
请参阅图2，本发明实施例二提供的移动通信终端包括：
拍摄模块11，用于移动通信终端通过摄像头拍摄至少一张物体或场景的照片；
第一发送模块12，用于移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；
接收模块13，用于所述移动通信终端接收所述三维模型数据；
渲染模块14，用于移动通信终端根据三维模型数据进行三维可视化渲染。
在本发明实施例二中，拍摄模块11具体用于一个移动通信终端通过摄像头拍摄一张或多张物体或场景的照片，或者，多个移动通信终端通过摄像头拍摄多张物体或场景的照片。
在本发明实施例二中，所述移动通信终端还包括：
绑定模块，用于移动通信终端为每张拍摄的照片绑定拍摄时摄像头的姿态数据；此时，第一发送模块12具体用于将所述照片和拍摄时摄像头的姿态数据通过网络发送至服务器，以由服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据。
实施例三：
请参阅图3，本发明实施例三提供的服务器包括：
合成模块21，用于服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，并由移动通信终端将所述照片通过网络发送至服务器的；
第二发送模块22，用于服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染。
在本发明实施例三中，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片时，所述服务器还包括：
汇总模块，用于将多个移动通信终端拍摄的多张物体或场景的照片进行汇总。
在本发明实施例三中，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为：一个移动通信终端通过摄像头拍摄一张物体或场景的照片时，所述合成模块21具体用于：
服务器以所述照片作为三维重建的输入，采用深度机器学习方法，先通过大量图像像素数据作为输入与其对应的深度数据作为输出的已知样本进行神经网络模型训练，得到神经网络模型A之后，再将单幅图像的像素x周边的分布作为神经网络模型A的输入，输出就是像素x对应的深度信息d；根据大量像素x的坐标u，v和其对应的神经网络模型A得到的深度数据dx得到三维模型点云；然后经过点云加密、点云构网、铺设纹理过程，生成三维模型数据。
在本发明实施例三中，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片的步骤中拍摄的物体或场景的照片是多张时，所述合成模块21具体用于：
服务器以所述照片作为三维重建的输入，经过同名点匹配、移动通信终端虚拟摄像头位姿模型构建、生成点云、点云加密、点云构网、铺设纹理过程，生成三维模型数据。所述三维模型数据包括三维模型文件和纹理文件。
在本发明实施例三中，合成模块21具体用于服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种移动通信终端实现三维重建的方法，其特征在于，所述方法包括：
移动通信终端通过摄像头拍摄至少一张物体或场景的照片；
移动通信终端为每张拍摄的照片绑定拍摄时摄像头的姿态数据；
移动通信终端将所述照片和拍摄时摄像头的姿态数据通过网络发送至服务器，以由服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；
所述移动通信终端接收所述三维模型数据；
移动通信终端根据三维模型数据进行三维可视化渲染；
所述姿态数据通过以下方式获取：
定义局部坐标系，局部坐标系是指原点在移动通信终端，Z轴指向地球表面方向，Y轴或X轴与纬线相平行的坐标系；或局部坐标系原点位于地球上任意一点，Z轴与重力方向一致，北代表局部坐标系X轴，西代表局部坐标系Y轴；
测定摄像头的姿态矩阵，姿态矩阵是一个相对于局部坐标系的正交矩阵；
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
服务器根据所述旋转转换关系将三维重建得到的三维模型数据进行纠正，使之对应的是移动通信终端实际测定的摄像头姿态；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据和所述旋转转换关系通过网络发送给移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端根据所述三维模型数据和旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据、三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态通过网络发送至所述移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
移动通信终端根据所述三维模型数据和所述旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示。
2.如权利要求1所述的方法，其特征在于，所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为：一个移动通信终端通过摄像头拍摄一张或多张物体或场景的照片，或者，多个移动通信终端通过摄像头拍摄多张物体或场景的照片；
当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片时，所述移动通信终端将所述照片通过网络发送至服务器之后，所述方法还包括：
服务器将多个移动通信终端拍摄的多张物体或场景的照片进行汇总。
3.如权利要求2所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为：一个移动通信终端通过摄像头拍摄一张物体或场景的照片时，所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体包括：
服务器以所述照片作为输入，采用深度机器学习方法，先通过大量图像像素数据作为输入与其对应的深度数据作为输出的已知样本进行神经网络模型训练，得到神经网络模型A之后，再将单幅图像的像素x周边的分布作为神经网络模型A的输入，输出就是像素x对应的深度信息d；根据大量像素x的坐标u，v和其对应的神经网络模型A得到的深度数据dx得到三维模型点云；然后经过点云加密、点云构网、铺设纹理过程，生成三维模型数据。
4.如权利要求2所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片的步骤中拍摄的物体或场景的照片是多张时，所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体包括：
服务器以所述照片作为三维重建的输入，经过同名点匹配、移动通信终端虚拟摄像头位姿模型构建、生成点云、点云加密、点云构网、铺设纹理过程，生成三维模型数据。
5.如权利要求1所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片，或者，一个移动通信终端通过摄像头拍摄多张物体或场景的照片时，所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体包括：
步骤1.构建方程AX＝0
将0号移动通信终端的位置，或者拍摄0号照片时移动通信终端的坐标，Xs0＝Ys0＝Zs0＝0设定为原点
解向量X＝[Xs1 Ys1 Zs1 ... XsC-1 YsC-1 ZsC-1 X0 Y0 Z0 X1 Y1 Z1 ... XN-1 YN-1 ZN-1]T
其中C-1是移动通信终端的个数或者是照片的数量，X0 Y0 Z0 X1 Y1 Z1 ... XN-1YN-1ZN-1是照片集中找到的N个同名像点对应的三维模型点云的坐标，一共3(C-1)+3N个未知数
构建矩阵
Figure FDA0002237679580000041
其中ni是第i个点对应的照片个数
U(ij)是一个3x1的子阵
U(ij)＝[U(ij)1 U(ij)2 U(ij)3]
V(ij)＝[V(ij)1 V(ij)2 V(ij)3]
U(ij)1＝rc(j)11-rc(j)31u'ij U(ij)2＝rc(j)12-rc(j)32u'ij U(ij)1＝rc(j)13-rc(j)33u'ij
V(ij)1＝rc(j)21-rc(j)31v'ij V(ij)2＝rc(j)22-rc(j)32v'ij V(ij)3＝rc(j)23-rc(j)33v'ij
其中
rc(j)ab是指第j个照片的摄像头的姿态矩阵的a行b列
Figure FDA0002237679580000042
Figure FDA0002237679580000043
uc(ij)是第i个点在第j个照片上的像点坐标，
(cjx,cjy)是移动通信终端j主点坐标，fj是移动通信终端j的焦距；
矩阵A中的省略号全部填写系数0
步骤2.求方程的合理解
对A矩阵进行SVD分解A＝UWVT
将W按从左上到右下，从大到小顺序排列，对角阵W的最右下角一个值如果是0，这个0其实对应了一组类似于X＝Xs Y＝Ys Z＝Zs的不合理解；
进一步按照W从右下往左上方向做逐个检查，当发现W对角线上有非零特征值λ的时候停止，λ正是正确解的误差值，λ对应V中的列向量v就是方程的合理解X，X包含了移动通信终端的坐标和三维模型点云的坐标；
根据移动通信终端的坐标和三维模型点云的坐标进行点云加密、点云构网、铺设纹理过程，即可生成三维模型数据。
6.一种服务器实现三维重建的方法，其特征在于，所述方法包括：
服务器以移动通信终端发送的照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，所述拍摄时摄像头的姿态数据是由移动通信终端为每张拍摄的照片绑定的；所述照片和拍摄时摄像头的姿态数据是由移动通信终端通过网络发送至服务器的；
服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染；
所述姿态数据通过以下方式获取：
定义局部坐标系，局部坐标系是指原点在移动通信终端，Z轴指向地球表面方向，Y轴或X轴与纬线相平行的坐标系；或局部坐标系原点位于地球上任意一点，Z轴与重力方向一致，北代表局部坐标系X轴，西代表局部坐标系Y轴；
测定摄像头的姿态矩阵，姿态矩阵是一个相对于局部坐标系的正交矩阵；
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
服务器根据所述旋转转换关系将三维重建得到的三维模型数据进行纠正，使之对应的是移动通信终端实际测定的摄像头姿态；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据和所述旋转转换关系通过网络发送给移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端根据所述三维模型数据和旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据、三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态通过网络发送至所述移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
移动通信终端根据所述三维模型数据和所述旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示。
7.一种移动通信终端，其特征在于，所述移动通信终端包括：
拍摄模块，用于移动通信终端通过摄像头拍摄至少一张物体或场景的照片；
绑定模块，用于移动通信终端为每张拍摄的照片绑定拍摄时摄像头的姿态数据；
第一发送模块，用于移动通信终端将所述照片和拍摄时摄像头的姿态数据通过网络发送至服务器，以由服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；
接收模块，用于所述移动通信终端接收所述三维模型数据；
渲染模块，用于移动通信终端根据三维模型数据进行三维可视化渲染；
所述姿态数据通过以下方式获取：
定义局部坐标系，局部坐标系是指原点在移动通信终端，Z轴指向地球表面方向，Y轴或X轴与纬线相平行的坐标系；或局部坐标系原点位于地球上任意一点，Z轴与重力方向一致，北代表局部坐标系X轴，西代表局部坐标系Y轴；
测定摄像头的姿态矩阵，姿态矩阵是一个相对于局部坐标系的正交矩阵；
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
服务器根据所述旋转转换关系将三维重建得到的三维模型数据进行纠正，使之对应的是移动通信终端实际测定的摄像头姿态；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据和所述旋转转换关系通过网络发送给移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端根据所述三维模型数据和旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据、三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态通过网络发送至所述移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
移动通信终端根据所述三维模型数据和所述旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示。
8.一种服务器，其特征在于，所述服务器包括：
合成模块，用于服务器以移动通信终端发送的照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，所述拍摄时摄像头的姿态数据是由移动通信终端为每张拍摄的照片绑定的；所述照片和拍摄时摄像头的姿态数据是由移动通信终端通过网络发送至服务器的；
第二发送模块，用于服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染；
所述姿态数据通过以下方式获取：
定义局部坐标系，局部坐标系是指原点在移动通信终端，Z轴指向地球表面方向，Y轴或X轴与纬线相平行的坐标系；或局部坐标系原点位于地球上任意一点，Z轴与重力方向一致，北代表局部坐标系X轴，西代表局部坐标系Y轴；
测定摄像头的姿态矩阵，姿态矩阵是一个相对于局部坐标系的正交矩阵；
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
服务器根据所述旋转转换关系将三维重建得到的三维模型数据进行纠正，使之对应的是移动通信终端实际测定的摄像头姿态；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
服务器计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据和所述旋转转换关系通过网络发送给移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端根据所述三维模型数据和旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示；
或者，
所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体为：
服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据和摄像头的虚拟姿态；
所述服务器将生成的三维模型数据通过网络发送至所述移动通信终端具体为：
服务器将生成的三维模型数据、三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态通过网络发送至所述移动通信终端；
所述移动通信终端根据三维模型数据进行三维可视化渲染具体为：
移动通信终端计算三维重建得到的摄像头的虚拟姿态与移动通信终端实际测定的摄像头姿态之间的旋转转换关系；
移动通信终端根据所述三维模型数据和所述旋转转换关系进行三维模型渲染显示，这样即可保留三维模型相对于地球的原始姿态进行渲染显示。
CN201610296741.8A 2016-05-06 2016-05-06 一种移动通信终端、服务器及其实现三维重建的方法 Active CN106023302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610296741.8A CN106023302B (zh) 2016-05-06 2016-05-06 一种移动通信终端、服务器及其实现三维重建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610296741.8A CN106023302B (zh) 2016-05-06 2016-05-06 一种移动通信终端、服务器及其实现三维重建的方法

Publications (2)

Publication Number Publication Date
CN106023302A CN106023302A (zh) 2016-10-12
CN106023302B true CN106023302B (zh) 2020-06-09

Family

ID=57081237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610296741.8A Active CN106023302B (zh) 2016-05-06 2016-05-06 一种移动通信终端、服务器及其实现三维重建的方法

Country Status (1)

Country Link
CN (1) CN106023302B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910241A (zh) * 2017-01-20 2017-06-30 徐迪 基于手机摄像和云服务器的三维人体头部的重建系统及方法
CN106846467B (zh) * 2017-01-23 2020-05-05 阿依瓦（北京）技术有限公司 基于每个相机位置优化的实体场景建模方法和系统
CN108205803B (zh) * 2017-07-19 2020-12-25 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN107734321A (zh) * 2017-09-26 2018-02-23 韩世民 一种基于移动设备的3d成像方法
CN108038904B (zh) * 2017-12-20 2021-08-17 青岛百洋智能科技股份有限公司 医学影像三维重建系统
CN108182726A (zh) * 2017-12-29 2018-06-19 努比亚技术有限公司 三维重建方法、云端服务器及计算机可读存储介质
CN108492360B (zh) * 2018-03-22 2022-07-26 北京软通智慧科技有限公司 一种数字模型生成方法及装置
CN108596964B (zh) * 2018-05-02 2020-07-03 厦门美图之家科技有限公司 深度数据获取方法、装置及可读存储介质
CN109363668A (zh) * 2018-09-03 2019-02-22 北京邮电大学 脑疾病预测系统
CN109413409B (zh) * 2018-09-30 2020-12-22 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
CN109272576B (zh) * 2018-09-30 2023-03-24 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
CN111105343B (zh) * 2018-10-26 2023-06-09 Oppo广东移动通信有限公司 物体三维模型的生成方法和装置
CN109686165A (zh) * 2019-01-04 2019-04-26 西南交通大学 一种多运动平台的列车轻量化模拟系统及其构建方法
CN110197210A (zh) * 2019-05-15 2019-09-03 中国建筑西南设计研究院有限公司 一种基于倾斜摄影、图像识别实现景观现状定量可视化分析的方法
CN110288687A (zh) * 2019-06-19 2019-09-27 深圳市福瑞达显示技术有限公司 一种应用于风扇屏的3d建模方法及其系统
CN111537515B (zh) * 2020-03-31 2023-05-12 国网辽宁省电力有限公司朝阳供电公司 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
CN113538646A (zh) * 2020-04-21 2021-10-22 中移(成都)信息通信科技有限公司 物体数字化系统、方法、服务端、客户端及存储介质
CN113643414B (zh) * 2020-05-11 2024-02-06 北京达佳互联信息技术有限公司 一种三维图像生成方法、装置、电子设备及存储介质
CN111757083A (zh) * 2020-06-24 2020-10-09 南京东禾智汇信息技术有限公司 一种基于三维可视化的自动化控制数据通信方式
CN111953956B (zh) * 2020-08-04 2022-04-12 山东金东数字创意股份有限公司 裸眼立体异型图像三维相机生成系统及其方法
CN112419483A (zh) * 2020-11-24 2021-02-26 中电科新型智慧城市研究院有限公司 一种三维模型数据的传输方法及服务器
CN112330805B (zh) * 2020-11-25 2023-08-08 北京百度网讯科技有限公司 人脸3d模型生成方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929969A (zh) * 2012-10-15 2013-02-13 北京师范大学 一种基于互联网的移动端三维城市模型实时搜索与合成技术
CN104050177A (zh) * 2013-03-13 2014-09-17 腾讯科技（深圳）有限公司 街景生成方法及服务器
CN104599284A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 基于多视角手机自拍图像的三维人脸重建方法
WO2016048733A1 (en) * 2014-09-24 2016-03-31 Microsoft Technology Licensing, Llc Streamlined handling of monitor topology changes

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929969A (zh) * 2012-10-15 2013-02-13 北京师范大学 一种基于互联网的移动端三维城市模型实时搜索与合成技术
CN104050177A (zh) * 2013-03-13 2014-09-17 腾讯科技（深圳）有限公司 街景生成方法及服务器
WO2016048733A1 (en) * 2014-09-24 2016-03-31 Microsoft Technology Licensing, Llc Streamlined handling of monitor topology changes
CN104599284A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 基于多视角手机自拍图像的三维人脸重建方法

Also Published As

Publication number Publication date
CN106023302A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
CN106023302B (zh) 一种移动通信终端、服务器及其实现三维重建的方法
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
US20190266396A1 (en) Determination of position from images and associated camera positions
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
CN108564617A (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN106918331A (zh) 相机模块、测量子系统和测量系统
KR20130068243A (ko) 영상 정합 장치 및 방법
WO2007133620A2 (en) System and architecture for automatic image registration
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
CN102289803A (zh) 图像处理设备、图像处理方法及程序
CN106251282B (zh) 一种机械臂采样环境仿真图的生成方法及装置
CN113436559B (zh) 一种沙盘动态景观实时显示系统及显示方法
CN110892714A (zh) 移动机器人的控制方法、装置、设备及存储介质
CN113450253B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111815759A (zh) 一种可量测实景图片的生成方法、装置、计算机设备
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN109949232A (zh) 图像与rtk结合的测量方法、系统、电子设备及介质
CN111612898B (zh) 图像处理方法、装置、存储介质及电子设备
US8509522B2 (en) Camera translation using rotation from device
CN111402136A (zh) 全景图生成方法、装置、计算机可读存储介质及电子设备
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116563460A (zh) 三维重建优化方法及装置、介质、设备
CN113706391B (zh) 无人机航拍图像实时拼接方法、系统、设备及存储介质
CN111861873B (zh) 仿真图像的生成方法和装置
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191101

Address after: 430050 Building 2, Shilipu Wuke dormitory, Hanyang District, Wuhan City, Hubei Province

Applicant after: Wuhan Xiong Chu Gao Jing Technology Co., Ltd.

Address before: 430070 Hubei Province, Wuhan city Hongshan District hung Chu Road Chenjiawan Luo GUI District 6 Building 801

Applicant before: Liu Jin

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant