CN109741404B - 一种基于移动设备的光场采集方法 - Google Patents

一种基于移动设备的光场采集方法 Download PDF

Info

Publication number
CN109741404B
CN109741404B CN201910022833.0A CN201910022833A CN109741404B CN 109741404 B CN109741404 B CN 109741404B CN 201910022833 A CN201910022833 A CN 201910022833A CN 109741404 B CN109741404 B CN 109741404B
Authority
CN
China
Prior art keywords
dimensional
camera
calculating
viewpoint
sphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910022833.0A
Other languages
English (en)
Other versions
CN109741404A (zh
Inventor
沈方阳
储备
涂子豪
雷雨
贾梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aoben Weilai Beijing Technology Co ltd
Original Assignee
Aoben Weilai Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aoben Weilai Beijing Technology Co ltd filed Critical Aoben Weilai Beijing Technology Co ltd
Priority to CN201910022833.0A priority Critical patent/CN109741404B/zh
Publication of CN109741404A publication Critical patent/CN109741404A/zh
Application granted granted Critical
Publication of CN109741404B publication Critical patent/CN109741404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种基于移动设备的光场采集方法，包括以下步骤：1）估计相机三维位置与三维姿态；2）识别、存储、绘制场景的主要平面；3）指定采集目标的大小与中心位置；4）自动计算视点覆盖范围，进行自适应采样；5）实时可视化绘制已采集的所述视点覆盖范围，引导提示采集覆盖期望区域。本发明的一种基于移动设备的光场采集方法，不依赖于特殊的采集设备、装置，使用手机内置摄像头和计算单元实时估计相机姿态，进行自适应的非规则光场采样，并通过屏幕提供实时的覆盖范围反馈提示信息，引导用户高效完成光场采集过程。

Description

一种基于移动设备的光场采集方法
技术领域
本发明涉及光场采集技术领域，尤其涉及一种基于移动设备的光场采集方法。
背景技术
当前光场采集装置和方法主要有：1)相机阵列，如平面相机阵列、球形相机阵列等，一般使用按照一定方式排布的十几个到上百个不等数量的相机，从不同位置同时采集场景的照片或视频；2)微镜头阵列，如微透镜掩膜等，通过在传感器前加入特殊微透镜阵列，构造特殊相机，采集场景一定范围的光场图像或视频；3)机械臂挂载相机，如二自由度旋转臂、四自由度机械臂等，使用机械装置使相机按照预设轨迹运动，采集场景不同角度的图像；4)移动单个相机，从多个位置拍摄物体或场景图像。
现有采集方法中，基于相机阵列或机械臂的方法依赖于大型采集装置，成本高昂，且移动、安装、调试困难，缺乏便携性，限制了其应用场景。基于微镜头阵列的方法，也依赖于特殊的光场相机，成本较高，并且采集得到的光场可视角度较小，适用于进行后期对图像进行变焦和改变景深的操作，但不适用于对物体进行三维重建。基于移动单个相机的方法，需要使用特殊的标识图案辅助进行相机定位，破坏了场景的完整性，且需要用户在采集过程中手动选择拍照位置、采样密度等，采集难度较大，对用户经验要求高。
发明内容
为了解决现有技术存在的不足，本发明提供一种基于移动设备的光场采集方法，不依赖于特殊的采集设备、装置，使用手机内置摄像头和计算单元实时估计相机姿态，进行自适应的非规则光场采样，并通过屏幕提供实时的覆盖范围反馈提示信息，引导用户高效完成光场采集过程。
为了达到上述目的，本发明提供的基于移动设备的光场采集方法，包括以下步骤：
1）估计相机三维位置与三维姿态；
2）识别、存储、绘制场景的主要平面；
3）指定采集目标的大小与中心位置；
4）自动计算视点覆盖范围，进行自适应采样；
5）实时可视化绘制已采集的所述视点覆盖范围，引导提示采集覆盖期望区域。
进一步地，所述步骤1）进一步包括：
获取所述相机内参，对所述相机内参进行标定；
从所述移动备程序接口获取估计所述相机三维位置与三维姿态。
进一步地，所述步骤2）进一步包括：
计算场景中稀疏特征点的三维位置，进行鲁棒的平面估计与平面提取；
筛选出大于设定阈值的所述提取平面，以所述相机内参为虚拟相机内参，所述相机三维姿态为虚拟相机外参，将所述平面绘制在屏幕上，叠加到视频流图像上。
进一步地，所述平面内部绘制为半透明颜色，所述屏幕边界绘制为区别于所述内部的不透明颜色。
进一步地，所述步骤3）进一步包括：
点击所述屏幕并指定采集目标初始位置，计算出点击位置在离摄像头最近的主要平面上的三维交点，并设置所述最近平面为当前平面；
在所述屏幕上绘制均分三角网格三维半球，根据摄像头到所述三维交点距离设置初始半径。
进一步地，单个触点在所述屏幕上滑动，对于每一个输入触点屏幕坐标，重新计算点击位置与当前平面的三维交点位置，并把三角网格球体的球心移动到新的交点位置。
进一步地，两个触点在所述屏幕上滑动，根据所述两个触点的屏幕坐标中心位移在当前平面法向量投影方向的上的距离，计算出球体在当前平面法向量上的移动距离，并按照此距离将三维网格球体的球心移动到新的三维位置。
进一步地，根据两个触点的所述屏幕坐标距离变化，计算出三维网格球体的新半径，并根据所述半径更新屏幕上绘制的球体半径，调整所述球体新半径使三维网格球体包围所述采集目标物体。
进一步地，所述步骤4）进一步包括：
记录初始采集半径，以所述采集目标物体中心为球心构造采集球面；
计算当前视点在所述采集球面上的投影位置，计算所述相机中心三维位置与所述采集目标中心位置连线，计算所述连线与三维网格球体表面的交点三维坐标；
计算所述当前视点移动速度，当速度小于设定阈值，且视线对准目标物体时，拍摄第一张图像，并记录该视点在所述采集球面上的第一投影位置；
计算与所述第一投影位置最接近的已采集视点，当所述当前视点与所述已采集视点之间的距离大于设定阈值，所述当前视点与所述已采集视点到目标中心连线的夹角大于预设阈值，且移动速度小于预设阈值时，自动拍摄第二张图像，并记录第二投影位置。
进一步地，所述步骤5）进一步包括：
计算所述已拍图像的视点位置在均匀三角网格三维球体上的投影，统计每个网格内视点的数目；
按照预设的视点数目到颜色的映射，计算所述三角网格中每一个三角形的颜色和透明度，并将所述三角形内部绘制为半透明的对应颜色；
计算视线偏离所述相机与所述目标物体中心连线的角度，按照预设的所述角度到颜色的映射，计算所述角度的提示颜色，将所述三角网格的边沿连线绘制为不透明的对应颜色；
计算当前视点到所述目标物体中心的距离与初始半径之差，按照预设的所述距离到颜色的映射，计算所述距离的提示颜色，将所述屏幕上的距离提示界面元素绘制为对应颜色。
本发明的一种基于移动设备的光场采集方法，具有以下有益效果：
1）进行光场采集时记录下场景中各个位置和方向的光信息，再在绘制时根据视点、成像模型信息通过数字处理生成新的图像。相比传统的三维重建方法有着极大的优势：真实感强，模型能逼真地表现真实物体与场景的复杂外观；适用性强，建模效果不受物体、场景几何与材质复杂程度影响。
2）不依赖于特殊的采集设备、装置，使用手机内置摄像头和计算单元实时估计相机姿态，进行自适应的非规则光场采样，并通过屏幕提供实时的覆盖范围反馈提示信息，引导用户高效完成光场采集过程。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的基于移动设备的光场采集方法流程图；
图2为根据本发明的一种绘制场景中平面的方法示意图；
图3为根据本发明的一种指定采集目标物体位置的方法示意图；
图4为根据本发明的一种指定采集目标物体位置的方法另一示意图；
图5为根据本发明的一种指定采集目标物体位置的方法中调节半径示意图；
图6为根据本发明的一种可视化绘制已采集视点分布和密度的方法示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的基于移动设备的光场采集方法流程图，如图1所示，本发明的基于移动设备的光场采集方法，包括以下步骤：
首先，在步骤101，估计相机三维位置与三维姿态。该步骤中，根据场景在视频流中的图像特征点和智能手机传感器输入，实时估计出相机六自由度姿态。
优选地，所述步骤101包括，查询所述相机说明文档得到相机内参，或通过拍摄标识物图像对相机内参进行标定；从智能手机应用程序接口获得相机三维位置与三维姿态的估计。
在步骤102，识别、存储、绘制场景的主要平面。该步骤中，识别出场景中的主要水平与竖直平面，存储在空间数据结构中，并绘制在屏幕上提示用户。
优选地，所述步骤102包括，计算出场景中稀疏特征点的三维位置，进行鲁棒的平面估计与平面提取；从提取出的平面中筛选出面积大于一定阈值的平面，以所述相机内参为虚拟相机内参，估计出的所述相机三维姿态为虚拟相机外参，将平面绘制在屏幕上，叠加到视频流图像上。
优选地，所述平面内部绘制为半透明颜色，屏幕边界绘制为与内部不同的不透明颜色。
在步骤103，指定采集目标的大小与中心位置。该步骤中，.用户通过在触屏上点击、拖拽等操作在识别出的平面上指定采集目标物体的空间位置和粗略大小。
优选地，所述步骤103包括，通过单击触屏指定采集目标初始位置，根据用户触点的屏幕坐标与所述相机内外参数，以及所述主要平面位置和大小，计算出点击位置在离摄像头最近的主要平面上的三维交点，并设置所述最近平面为当前平面；以所述三维交点为中心，在屏幕上绘制均分三角网格三维半球，根据摄像头到所述三维交点距离设置合适的初始半径。
优选地，单个手指在触屏上滑动，对于每一个输入触点屏幕坐标，重新计算点击位置与当前平面的三维交点位置，并把三角网格球体的球心移动到新的交点位置。
优选地，两个手指在触屏上滑动，根据两个触点的屏幕坐标中心位移在当前平面法向量投影方向的上的距离，计算出球体在当前平面法向量上的移动距离，并按照此距离将三维网格球体的球心移动到新的三维位置。
优选地，根据两个触点的屏幕坐标距离变化，计算出三维网格球体的新半径，并根据所述半径更新屏幕上绘制的球体半径；用户通过调整此半径使三维网格球体大概包围采集目标物体。
在步骤104，自动计算视点覆盖范围，进行自适应采样。该步骤中，启动采集后，在用户移动相机过程中，自动计算视点覆盖范围与密度，在合适位置自动拍摄图像。
优选地，所述步骤104包括，记录初始采集半径，以所述采集目标物体中心为球心，以采集半径构造采集球面；计算当前视点在采集球面上的投影位置，计算所述相机中心三维位置与所述采集目标中心位置连线，求出所述连线与三维网格球体表面的交点三维坐标；计算当前视点移动速度，当速度小于一定阈值，且视线对准目标物体时，拍摄第一张图像，并记录该视点在采集球面上的投影位置；求出与当视点在采集球面上的投影位置最接近的已采集视点，当两个视点之间的距离大于一定阈值，两个视点到目标中心连线的夹角大于一定阈值，且移动速度小于一定阈值时，自动拍摄一张新的图像，并记录新的投影位置。
在步骤105，实时可视化绘制已采集的所述视点覆盖范围，引导提示采集覆盖期望区域。该步骤中，在屏幕上可视化绘制已采集的视点密度和覆盖范围，以及可视化提示智能手机离目标的距离和朝向，辅助用户采集覆盖期望的区域。
优选地，所述步骤105包括，计算记录的已拍图像的视点位置在均匀三角网格三维球体上的投影，统计每个网格内视点的数目；按照给定的视点数目到颜色的映射，计算出网格中每一个三角形的颜色和透明度，并将每一个三角形内部绘制为半透明的对应颜色；计算视线偏离相机与目标物体中心连线的角度，按照给定的角度到颜色的映射，计算出角度提示颜色，将网格的边沿连线绘制为不透明的对应颜色；计算当前视点到目标物体中心的距离与初始半径之差，按照给定的距离到颜色的映射，计算出距离对应的提示颜色，将屏幕上的距离提示界面元素绘制为对应颜色。
实施例
估计智能手机相机内参，并得到每一帧图像对应的相机三维位置与三维姿态；
识别出场景中的主要水平与竖直平面，存储在空间数据结构中，并以半透明方式叠加绘制到视频上对应位置；
用户通过在触屏上进行点击，拖拽等操作指定采集目标的中心位置与大致大小；
计算当前视点与已拍摄图像视点的距离，根据视点位置、视线方向和移动速度自动拍摄场景图像，并记录采样对应的视点位置和相机姿态；
计算球面上各个区域的采样视点密度，用不同颜色绘制球面不同区域，同时改变用户界面颜色提示视线偏离目标中心和距离偏离采样球半径的程度。
本发明实施例提供一种估计智能手机相机内、外参的方法，即对于装载iOS系统，支持ARKit应用程序接口的苹果公司智能手机，或对于装载安卓系统，支持ARCore应用程序接口的智能手机，分别使用ARKit和ARCore提供的函数，对实时采集的视频流中每帧图像，获得对应时刻的相机内参与三维相机位置、姿态。
本发明实施例提供一种识别、场景中主要水平与竖直平面的方法，该方法包括：对于支持ARKit或ARCore应用程序接口的智能手机，分别使用ARKit和ARCore提供的函数，获得每帧图像中检测到的水平与竖直平面三维位置与法向量方向；构造三维八叉树空间划分数据结构；对于每一帧检测到的平面，将其中新平面插入八叉树数据结构中，并更新八叉树中所有位置、法向量方向、大小有变化的平面信息。
图2为根据本发明的一种绘制场景中平面的方法示意图，如图2所示，对水平和竖直平面分别使用两种不同的颜色作为基色，用半透明四边形绘制各个平面；用不透明白色作为边界颜色绘制各个平面边界。
本发明提供一种指定采集目标物体位置的方法，该方法包括：
用户通过鼠标或触屏点选视频流中的一个二维位置，屏幕坐标记为
Figure 716931DEST_PATH_IMAGE001
；获得的相机内参矩阵和外参矩阵，分别记为
Figure 102913DEST_PATH_IMAGE002
和
Figure 600759DEST_PATH_IMAGE003
，计算出从相机光心位置射出，经过屏幕坐标
Figure 464810DEST_PATH_IMAGE001
位置的射线方程，记为
Figure 748023DEST_PATH_IMAGE004
；求出射线与识别出的所有平面的交点；找出其中距离相机光心最近的交点，记为
Figure 39328DEST_PATH_IMAGE005
，将其所在平面记为
Figure 525935DEST_PATH_IMAGE006
。
图3为根据本发明的一种指定采集目标物体位置的方法示意图，如图3所示，以
Figure 193676DEST_PATH_IMAGE005
为球心，
Figure 331397DEST_PATH_IMAGE006
平面法向量为正方向，用实线绘制网格状正半球；半球初始半径设为
Figure 59181DEST_PATH_IMAGE005
到相机中心距离的1/5。
用户通过鼠标或触屏继续点选二维位置，根据新的屏幕坐标
Figure 531620DEST_PATH_IMAGE007
，重复上述求交的步骤，计算出新的交点
Figure 737473DEST_PATH_IMAGE008
和其所属平面
Figure 932962DEST_PATH_IMAGE009
；将网格状半球移动到以
Figure 862608DEST_PATH_IMAGE008
为中心，
Figure 573075DEST_PATH_IMAGE009
法向量为正方向的位置。
图4为根据本发明的一种指定采集目标物体位置的方法另一示意图，如图4所示，用户在触屏上沿着相同方向滑动两个手指时，调节半球中心离平面的距离；记录用户两个触点平均位置在平面滑动的矢量距离
Figure 317040DEST_PATH_IMAGE010
，根据相机内参中的焦距、相机位置和目标中心位置，计算出对应的世界坐标距离
Figure 881883DEST_PATH_IMAGE011
；沿着平面
Figure 685891DEST_PATH_IMAGE009
法向量移动半球中心距离为d。
图5为根据本发明的一种指定采集目标物体位置的方法中调节半径示意图，如图5所示，用户进入调节半径模式，在触屏上沿着相对靠近或远离的方向滑动两个手指；记录用户两个触点的初始距离
Figure 149233DEST_PATH_IMAGE012
和当前距离
Figure 696889DEST_PATH_IMAGE013
，记录原半球半径为
Figure 414441DEST_PATH_IMAGE014
，按照触点距离变化比值设置新的半球半径
Figure 858191DEST_PATH_IMAGE015
。
本发明提供一种自动计算采集视点覆盖范围和自适应采样的方法，该方法包括：
将用户点击开始采集按钮时相机光心到目标物体中心
Figure 277671DEST_PATH_IMAGE016
的距离记录为初始距离
Figure 878286DEST_PATH_IMAGE017
；
以半球半径
Figure 699611DEST_PATH_IMAGE018
为半径，以
Figure 111001DEST_PATH_IMAGE016
为球心，构造采集球面
Figure 814515DEST_PATH_IMAGE019
；不论本帧是否采集图像，都记录当前帧的对应的相机三维位置；根据前10帧的三维位置，计算当前视点移动速度；如果速度大于一定阈值，本帧不采集图像；如果速度小于一定阈值，则对于每一帧图像，计算当前相机光心位置
Figure 703974DEST_PATH_IMAGE020
和
Figure 393187DEST_PATH_IMAGE016
连成的射线vp；计算出当前相机光心位置
Figure 975479DEST_PATH_IMAGE020
向相机主光轴方向发出的射线vf；分别计算出vp和vf的夹角，如果夹角大于给定阈值，则本帧不采集图像；如果夹角小于给定阈值，计算vp与球面
Figure 369551DEST_PATH_IMAGE019
的交点
Figure 62700DEST_PATH_IMAGE021
；计算所有已采集视点对应交点集合
Figure 842306DEST_PATH_IMAGE022
中的交点与
Figure 595499DEST_PATH_IMAGE021
的球面最短弧长距离
Figure 476867DEST_PATH_IMAGE023
；如果距离
Figure 973707DEST_PATH_IMAGE023
小于给定阈值，则认为该区域采集视点覆盖密度已经足够大，本帧不采集图像；如果距离
Figure 374864DEST_PATH_IMAGE023
大于给定阈值，则采集一帧图像，并将
Figure 33378DEST_PATH_IMAGE021
加入已采集视点交点集合
Figure 402043DEST_PATH_IMAGE022
，并记录下采集时的相机内外参数。
图6为根据本发明的一种可视化绘制已采集视点分布和密度的方法示意图，如图6所示，包括以下步骤：
按照一定间隔均匀等分方位角
Figure 436995DEST_PATH_IMAGE024
和仰角
Figure 456773DEST_PATH_IMAGE025
，分别记为
Figure 20609DEST_PATH_IMAGE026
和
Figure 876570DEST_PATH_IMAGE027
，将球面上划分为网格状区域；将球面上每个小格区域记为
Figure 715213DEST_PATH_IMAGE028
；对记录的已采集视点集合
Figure 828312DEST_PATH_IMAGE022
中的所有视点，按其在球面上的方位角和仰角划入对应小格中；构造从采样数值0到小格最大允许采样数的颜色映射；对每个小格中视点数量
Figure 94208DEST_PATH_IMAGE029
根据颜色映射计算出对应的颜色
Figure 171886DEST_PATH_IMAGE030
；将小格内部绘制为颜色为
Figure 814219DEST_PATH_IMAGE030
的半透明三维多边形。
本发明实施例提供一种可视化绘制视线偏离目标物体中心点和视点偏离初始距离的方法，该方法包括：构造从偏离角0到180度范围数值到颜色的映射；计算当前主光轴方向射线vf与相机到目标中心连线vp夹角；按照颜色映射计算夹角对应的颜色值
Figure 543010DEST_PATH_IMAGE031
；将半球所有小格边沿绘制为
Figure 979807DEST_PATH_IMAGE031
颜色。构造从0到1数值范围到颜色的映射；计算当前视点位置
Figure 544781DEST_PATH_IMAGE020
到目标中心
Figure 725227DEST_PATH_IMAGE016
的距离
Figure 809988DEST_PATH_IMAGE032
；计算偏离初始距离绝对值与包围球半径的比值
Figure 417687DEST_PATH_IMAGE033
，将其映射为颜色
Figure 266695DEST_PATH_IMAGE034
；在屏幕边界绘制颜色为
Figure 188514DEST_PATH_IMAGE034
的半透明边框。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于移动设备的光场采集方法，其特征在于，包括以下步骤：
1）估计相机三维位置与三维姿态；
2）识别、存储、绘制场景的水平与竖直平面；
3）指定采集目标的大小与中心位置；
4）自动计算视点覆盖范围，进行自适应采样；
5）实时可视化绘制已采集的所述视点覆盖范围，引导提示采集覆盖期望区域。
2.根据权利要求1所述的方法，其特征在于，所述步骤1）进一步包括：
获取所述相机内参，对所述相机内参进行标定；
从移动设备应用程序接口获取所述相机三维位置与三维姿态的估计。
3.根据权利要求1所述的方法，其特征在于，所述步骤2）进一步包括：
计算场景中稀疏特征点的三维位置，进行鲁棒的平面估计与平面提取；
筛选出提取的平面中大于设定阈值的平面，以所述相机内参为虚拟相机内参，所述相机三维姿态为虚拟相机外参，将筛选出的平面绘制在屏幕上，叠加到视频流图像上。
4.根据权利要求3所述的方法，其特征在于，所述筛选出的平面内部绘制为半透明颜色，屏幕边界绘制为区别于所述筛选出的平面内部的不透明颜色。
5.根据权利要求1所述的方法，其特征在于，所述步骤3）进一步包括：
点击屏幕指定采集目标初始位置，计算出点击位置在离摄像头最近的平面上的三维交点，并设置最近的平面为当前平面；
在所述屏幕上绘制均分三角网格三维半球，根据摄像头到所述三维交点距离设置初始半径。
6.根据权利要求5所述的方法，其特征在于，单个触点在所述屏幕上滑动，对于每一个输入触点屏幕坐标，重新计算点击位置与当前平面的三维交点位置，并把三角网格球体的球心移动到新的交点位置。
7.根据权利要求5所述的方法，其特征在于，两个触点在所述屏幕上滑动，根据所述两个触点的屏幕坐标中心位移在当前平面法向量投影方向的上的距离，计算出球体在当前平面法向量上的移动距离，并按照此距离将三维网格球体的球心移动到新的三维位置。
8.根据权利要求7所述的方法，其特征在于，根据两个触点的所述屏幕坐标距离变化，计算出三维网格球体的新半径，并根据所述半径更新屏幕上绘制的球体半径，调整所述球体新半径使三维网格球体包围所述采集目标物体。
9.根据权利要求1所述的方法，其特征在于，所述步骤4）进一步包括：
记录初始采集半径，以所述采集目标物体中心为球心构造采集球面；
计算当前视点在所述采集球面上的投影位置，计算所述相机中心三维位置与所述采集目标中心位置连线，计算所述连线与三维网格球体表面的交点三维坐标；
计算所述当前视点移动速度，当速度小于设定阈值，且视线对准目标物体时，拍摄第一张图像，并记录该视点在所述采集球面上的第一投影位置；
计算与所述第一投影位置最接近的已采集视点，当所述当前视点与所述已采集视点之间的距离大于设定阈值，所述当前视点与所述已采集视点到目标中心连线的夹角大于预设阈值，且移动速度小于预设阈值时，自动拍摄第二张图像，并记录第二投影位置。
10.根据权利要求1所述的方法，其特征在于，所述步骤5）进一步包括：
计算已拍图像的视点位置在均匀三角网格三维球体上的投影，统计每个网格内视点的数目；
按照预设的视点数目到颜色的映射，计算所述三角网格中每一个三角形的颜色和透明度，并将所述三角形内部绘制为半透明的对应颜色；
计算视线偏离所述相机与所述目标物体中心连线的角度，按照预设的所述角度到颜色的映射，计算所述角度的提示颜色，将所述三角网格的边沿连线绘制为不透明的对应颜色；
计算当前视点到所述目标物体中心的距离与初始半径之差，按照预设的所述距离到颜色的映射，计算所述距离的提示颜色，将屏幕上的距离提示界面元素绘制为对应颜色。
CN201910022833.0A 2019-01-10 2019-01-10 一种基于移动设备的光场采集方法 Active CN109741404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910022833.0A CN109741404B (zh) 2019-01-10 2019-01-10 一种基于移动设备的光场采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910022833.0A CN109741404B (zh) 2019-01-10 2019-01-10 一种基于移动设备的光场采集方法

Publications (2)

Publication Number Publication Date
CN109741404A CN109741404A (zh) 2019-05-10
CN109741404B true CN109741404B (zh) 2020-11-17

Family

ID=66364229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022833.0A Active CN109741404B (zh) 2019-01-10 2019-01-10 一种基于移动设备的光场采集方法

Country Status (1)

Country Link
CN (1) CN109741404B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689583B (zh) * 2019-09-09 2022-06-28 苏州臻迪智能科技有限公司 一种标定方法、装置、存储介质及电子设备
CN110717285B (zh) * 2019-09-11 2023-05-30 哈尔滨工程大学 一种大幅六自由度运动的流固耦合模拟方法
CN112308914B (zh) * 2020-03-06 2024-07-12 北京字节跳动网络技术有限公司 用于处理信息的方法、装置、设备和介质
CN111491157B (zh) * 2020-04-21 2021-09-07 青岛联合创智科技有限公司 一种构建手机3d模型引导图像全面采集的方法
CN114549781A (zh) * 2022-02-21 2022-05-27 脸萌有限公司 数据处理方法、装置、电子设备和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
CN102314708B (zh) * 2011-05-23 2013-07-31 北京航空航天大学 利用可控光源的光场采样及模拟方法
CN102855626B (zh) * 2012-08-09 2016-01-27 深圳先进技术研究院 光源方向标定及人体信息三维采集方法与装置
CN104050662B (zh) * 2014-05-30 2017-04-12 清华大学深圳研究生院 一种用光场相机一次成像直接获取深度图的方法
CN104766303B (zh) * 2015-02-06 2017-10-10 西北工业大学 一种相机与任意形状物理对象相对位置的估算方法
CN106910243A (zh) * 2017-02-09 2017-06-30 景致三维（江苏）股份有限公司 基于转台的自动化数据采集与三维建模的方法及装置
CN107133918B (zh) * 2017-05-05 2020-06-12 陈健 一种在三维场景中任意位置生成全景图的方法
CN108120392B (zh) * 2017-11-30 2020-03-31 东南大学 气液两相流中气泡三维测量系统及方法
CN108055472A (zh) * 2017-12-21 2018-05-18 长沙全度影像科技有限公司 一种实时全景直播系统及方法
CN109147027B (zh) * 2018-08-31 2019-11-08 金钱猫科技股份有限公司 基于参考平面的单目图像三维重建方法、系统及装置

Also Published As

Publication number Publication date
CN109741404A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109741404B (zh) 一种基于移动设备的光场采集方法
US11410320B2 (en) Image processing method, apparatus, and storage medium
US10949978B2 (en) Automatic background replacement for single-image and multi-view captures
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
CN104050859A (zh) 可交互数字化立体沙盘系统
JP2016537901A (ja) ライトフィールド処理方法
CN113689578B (zh) 一种人体数据集生成方法及装置
CN106296789B (zh) 一种虚拟植入物体在实景中穿梭的方法及终端
CN112686084B (zh) 图像标注系统
CN109523622A (zh) 一种非结构化的光场渲染方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
US20190058875A1 (en) Three-Dimensional Surveillance System, and Rapid Deployment Method for Same
US11812154B2 (en) Method, apparatus and system for video processing
CN108090463A (zh) 对象控制方法、装置、存储介质和计算机设备
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN108961151B (zh) 一种将球幕相机得到的三维大场景转成剖面图的方法
EP3309750B1 (en) Image processing apparatus and image processing method
CN104915919B (zh) 图像处理装置以及图像处理方法
CN209231985U (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定装置
CN103546680B (zh) 一种无变形的全方位鱼眼摄像装置及实现方法
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
WO2022040988A1 (zh) 图像处理方法、装置及可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant