CN106954012A - 一种高清多相机全景立体成像系统及方法 - Google Patents
一种高清多相机全景立体成像系统及方法 Download PDFInfo
- Publication number
- CN106954012A CN106954012A CN201710199026.7A CN201710199026A CN106954012A CN 106954012 A CN106954012 A CN 106954012A CN 201710199026 A CN201710199026 A CN 201710199026A CN 106954012 A CN106954012 A CN 106954012A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- polyphaser
- high definition
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000013519 translation Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 241000566146 Asio Species 0.000 claims description 4
- 238000001444 catalytic combustion detection Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000000354 decomposition reaction Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及的高清多相机全景立体成像系统及方法，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，模拟相机模组呈环形排列构架在相机固定架上，图像采集卡分别与模拟相机模组电性相连，镜头分别固定在模拟相机模组上，电源与模拟相机模组均电性相连，主机上安装有图像采集卡驱动，主机与服务器相连，服务器与客户端相连；通过全景相机获取以环形框架为中心的360°环境图像，进行基于单帧全景图像基于SFM算法的三维重建和相邻两帧或多帧图像的三维重建，实现对周围环境全景立体成像。本发明不仅能够获取实时的高清全景图像，实现基本的全景监控功能，而且图像分辨率高，点云稠密，表面纹理精细。
Description
技术领域：
本发明涉及图像通信技术领域，具体是一种高清多相机全景立 体成像系统及方法。
背景技术：
随着相机技术的不断发展，传统的视频监控只能采用单相机对 特定的方向进行监视，这样很容易存在监控死角，带来较大的安全 隐患。采用全景相机，对周围环境进行全向无死角监视，大大的提 高了监控范围，减小安全隐患，是下一代安防监控的趋势。
现有的全向视觉产品主要包括以下几类：鱼眼式、折反式、旋 转拼接式和多相机拼接式。其中，鱼眼式和折反式全向视觉系统拍 摄的图像存在极大的几何畸变，一方面导致图像理解困难，另一方 面导致图像分辨率不一致，中间分辨率高、边缘处分辨率大幅降低； 旋转拼接式拍摄的全向图像质量最高，但是由于其机械结构复杂， 获取一景图像所需拍摄和几何校正时间较长，难以适应移动机器人 实时的要求。多相机拼接方式获取全景图像，虽然能避免畸变，大 大提高全景图像分辨率，但会存在多幅图像拼缝问题，并且由于多相机拍摄图像带来的数据量大，给视频的压缩和传输带来巨大负 担，并且相机成本较高。
现有的全景相机基本上都只是获取图像，进行简单视频监控， 不能对周围环境进行三维建模及三维量测，对环境建图，实现对机 器人的定位与导航。
发明内容：
本发明为了克服现有技术中存在的上述缺陷，提供了一种高清 多相机全景立体成像系统及方法，采用6相机环形排列构架，采用 高清模拟相机，配备6路图像采集卡，采集以环形框架为中心的 360°环境图像，并对图像进行压缩传输，实现远端实时对周围环境无死角监控。另一方面主要是利用相机之间拍摄图像的重叠区域以 及联合每两帧图像之间的重叠区域基于SFM的三维重建，以实现全 景相机的周围环境的三维重建功能。
为解决上述问题，本发明提出的高清多相机全景立体成像系 统，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六 个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形 排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相 机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述 电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱 动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟 相机模组的采集图像，所述主机与服务器相连，所述服务器与客户 端相连。
上述技术方案中，所述模拟相机模组采用索尼super hard 1/3 英寸CCD，额定电压为12V，额定电流为50mA，有效像素为 720(H)*576(V)。
上述技术方案中，所述电源的输出电压为12V，输出电流为1A。
上述技术方案中，所述主机的CPU为酷睿双核或以上，内存 等于或大于2G，硬盘等于或大于256G，主机的系统为Windows 10、 windows7以及windows xp中的任意一种。
上述技术方案中，所述相机固定架包括六个环形分布的固定 板，相邻固定板之间呈120°固定相连，所述固定板的中心均设置 有一相机安装孔。
上述技术方案中，所述相机固定架采用3D打印机打印。
上述技术方案中，所述主机采用快速的jpeg压缩编码库 JPEG-turbo编码，对获取的图像帧进行压缩编码，所述服务器采用 boost asio TCP进行图像传输，将压缩后的图像传输到客户端，所 述客户端采用对应的boost as io TCP接收压缩图像，并采用 JPEG-turbo解码显示，boost as io TC是指boost库中的TCP网络 通信接口。
本发明提出的基于高清多相机全景立体成像系统的高清多相 机全景立体成像方法，包括以下步骤：
步骤一、通过全景相机获取以环形框架为中心的360°环境图 像，并对图像进行压缩传输；
步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区 域进行单帧全景图像三维重建；
步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点， 采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的 三维点云；
步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多 帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的 同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐 标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实 现单帧三维点云与多帧三维点云的点云融合；
步骤五、将全局的表面二维图像分割成一个个较小的连续而不 重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表 面渲染。
上述技术方案中，所述步骤二具体包括以下子步骤：
子步骤S21、首先采用SIFT算法对六个相机拍摄的六幅图像提 取出SIFT特征点，并对SIFT特征点采用SIFT特征描述，用于下 一步的特征匹配；
子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应 特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的 比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于 比例阈值，则这一对点为一对匹配点，否则不视为匹配点；
子步骤S23、利用同名像对的像素坐标，根据公式x’TFx＝0求 解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F；
子步骤S24、根据公式E＝K′TFK以及事先标定出的相机的内部 参数矩阵K和K’计算出本质矩阵E；
子步骤S25、根据公式E＝TxR，利用本质矩阵分解得到旋转参 数R和平移参数T，根据P＝K[I|0]，P＝K[R|T]得到相机的投影矩阵；
子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x′＝P′X 求解出X；其中x＝λ[ui，vi，l]T，x′＝λ[ui′，vi′，l]T，λ为比例系数。
上述技术方案中，所述子步骤S22中SIFT算法特征点匹配时 使用KD树加快匹配计算速度，并且采用RANSAC算法进行优化，去 除粗匹配，精确匹配结果。
本发明与现有技术方案相比具有以下有益效果和优点：
本发明不仅能够获取实时的高清全景图像，实现基本的全景监 控功能，并且利用对相机之间的重叠区域进行基于单帧全景图像基 于SFM算法的三维重建，进而联合相邻两帧或多帧图像的重叠区域 基于SFM算法的三维重建，实现对周围环境全景立体感知，全景相 机拍摄的图像具有更高的分辨率，多帧之间重叠度极高，能获取稠 密点云，表面纹理渲染效果更加精细。
附图说明
图1是本发明中相机固定架的结构示意图。
图2是本发明中由本质矩阵分解得到的四种可能相机投影位姿 示意图。
图中编号说明：1、固定板；2、安装孔。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述：
本实施例中，本发明提出的高清多相机全景立体成像系统，包 括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、 电源、主机、服务器、客户端，模拟相机模组呈环形排列构架在相 机固定架上，图像采集卡分别与模拟相机模组电性相连，镜头分别固定在模拟相机模组上，电源与模拟相机模组均电性相连，主机上 安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编 程同步获取六个模拟相机模组的采集图像，主机与服务器相连，服 务器与客户端相连。
模拟相机模组采用索尼super hard 1/3英寸CCD，额定电压为 12V，额定电流为50mA，有效像素为720(H)*576(V)。
电源的输出电压为12V，输出电流为1A。
主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等 于或大于256G，主机的系统为Windows 10、windows7以及windows xp中的任意一种。
相机固定架包括六个环形分布的固定板1，相邻固定板1之间 呈120°固定相连，固定板1的中心均设置有一相机安装孔2。
相机固定架采用3D打印机打印。
主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的 图像帧进行压缩编码，服务器采用boost as io TCP进行图像传输， 将压缩后的图像传输到客户端，客户端采用对应的boost asio TCP 接收压缩图像，并采用JPEG-turbo解码显示。
本发明提出的基于高清多相机全景立体成像系统的高清多相 机全景立体成像方法，包括以下步骤：
步骤一、通过全景相机获取以环形框架为中心的360°环境图 像，并对图像进行压缩传输；
步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区 域进行单帧全景图像三维重建；
步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点， 采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的 三维点云；
步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多 帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的 同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐 标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实 现单帧三维点云与多帧三维点云的点云融合；
步骤五、将全局的表面二维图像分割成一个个较小的连续而不 重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表 面渲染。
步骤二具体包括以下子步骤：
子步骤S21、因六个相机拍摄的图像之间具有较明显的角度变 化，需要采用具有旋转不变形的特征，所以本发明采用的图像特征 提取方法是SIFT算法，首先采用SIFT算法对六个相机拍摄的六幅 图像提取出SIFT特征点，并对SIFT特征点采用SIFT特征描述， 用于下一步的特征匹配；
子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应 特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的 比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于 比例阈值，则这一对点为一对匹配点，否则不视为匹配点，降低这个阈值，SIFT算法提取出的匹配点会越来越少，但匹配点会更加稳 定。另外SIFT算法特征点匹配时使用KD树加快匹配计算速度，并 且采用RANSAC算法进行优化，去除粗匹配，精确匹配结果；
子步骤S23、利用同名像对的像素坐标，根据公式x′TFx＝0求 解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F，八点法 计算基础矩阵具体描述如下：
给定匹配点x(u，v，l)和x′(u′，v′，1)，均已转换为其次坐标。令 则依据公式x′TFx＝0，可得： u′uf1+u′vf2+u′f3+v′uf4+v′vf5+v′f6+uf7+vf8+f9＝0，其中f1、f2、f3、f4、 f5、f6、f7、f8、f9均为未知数，令fx＝[f1，f2，f3，f4，f5，f6，f7，f8，f9]T为未 知数矩阵，令A＝[u′u，u′v，u′，v′u，v′v，v′，u，v，1]为系数矩阵，即是解方程 A*fx＝0。当匹配点数目大于或等于8时，即 对系数矩阵A进行 奇异值分解A＝USVT，取出V矩阵的最后一列，即令fv＝V(：，9)，利用 列向量fv中的九个元素构造一个3*3矩阵，令对矩阵Fv进行奇异值分解，即Fv＝UvSvVv T，令列正交矩阵Sv的最后 一个元素为零，以保证计算出的基础矩阵行列式的值为零，即 Sv(3，3)＝0。则可由获得的Uv、Sv、Vv计算出基础矩阵F，F＝UvSvVv T。
通常首先需对匹配点x和x’(至少包含8对匹配点)进行归 一化处理：首先对点集去中心化，将点集中心平移至原点；对点集 进行缩放处理，使其到远点的平均距离为分别对x和x’进行 归一化处理，由此归一化得到的归一化矩阵TD和TD′，如公式和
根据归一化后的x和x’计算基础矩阵F，最终需要将F去归 一化得到最终的基础矩阵FT＝TD′*F*TD。
通过归一化八点法计算基础矩阵通常会引入RANSAC算法来求 得较准确地基础矩阵。
子步骤S24、根据公式E＝K′TFK以及事先标定出的相机的内部 参数矩阵K和K’计算出本质矩阵E；
子步骤S25、根据公式E＝TxR，利用本质矩阵分解得到旋转参 数R和平移参数T，根据P＝K[I|0]，P′＝K[R|T]得到相机的投影矩阵， 在采用E进行奇异值分解求解旋转和平移参数时，采用的是SVD分 解,分解公式为E＝TxR和E＝USVT，其中
由于是进行的SVD分解所以无法判断平移矩阵的正负，并且旋 转矩阵只是获得的一种相对的旋转量，旋转方向亦无法确定，所以 旋转矩阵和平移矩阵均会产生两种不同的分解结果：或 R＝UWVT或R＝UWTVT，其中
在获得旋转和平移参数后，通常是以其中最开始拍摄时相机的 像空间辅助坐标系为全局的世界坐标系，将后来拍摄时相机的像空 间辅助坐标系转换到最先拍摄时的像空间辅助坐标系，其旋转和平 移量即为估计出的相对于最先拍摄时相机的旋转和平移位姿变化 参数。所以在获得位姿参数后，令P＝K[I|0]，P′＝K[R|T]，而有E分 解得到的旋转和平移矩阵分别有两种可能取值，所以构造的投影矩 阵就有四种可能，如图2所示，其中只有(a)中的结果才能保证计 算出来的三维点在相机C和C’的前方，才是正确的结果，所以通常依此来判断计算出来的四种结果中那种结果是正确的。判断方法 通常是将同名点代入依次计算四种结果对应的三维坐标的Z值(深 度值)，然后判断在两次拍摄中是否均大于0；
子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x'＝P'X求 解出X；其中x＝λ[ui,vi,1]T，x'＝λ[ui',vi',1]T，λ为比例系数，令P＝[p1,p2,p3]T， P'＝[p1',p2',p3']T，则有：和经化简可得： 次方程中只有三个未知数，但有四个方程，即可 用最小二乘法来求解X。令A为系数矩阵，即对A 进行归一化处理，即利用每行除以该行的模，得到Anorm，将公式的求解问题转化为求解归一化系数矩阵Anorm TAnorm的 最小特征值和特征向量，对Anorm进行奇异值分解，Anorm＝USVT，则： X＝V(:,4)，至此我们已经可以实现利用两个不同视角拍摄图像计算同 名点的三维坐标，三维坐标是以第一次拍摄时相机的像空间辅助坐 标系为基准的，要实现多幅序列图的三维重建，即SFM算法，需要 经过迭代过程，迭代过程中不断引入新的图像，并且可引入RANSAC 和相应的优化函数，排除错误匹配点，求得更精确的三维模型。其 具体算法如下：计算第一幅图像与第二幅图像的同名点M1,2，第二幅 图像的投影矩阵P2，同名点M1,2对应的的三维坐标X1,2；当i大于等于 3时，计算第i幅图像与第i+1幅图像的同名点Mi,i+1，找出Mi-1,i与Mi,i+1中图像i共同的特征点Si及Si在Xi-1,i中对应的三维坐标XSi，找出Mi,i+1中与Si对应的第i+1幅图像的特征点MSi+1，采用RANSAC计算XSi投 影成MSi+1的投影矩阵Pi+1，即为第i+1幅图像的投影矩阵，由第i幅图 像的投影矩阵Pi，即可计算出Mi,i+1中剩余的匹配点的三维坐标Xi,i+1， 更新三维点云，以此循环，直至所有图像均已处理完毕。
由以上SFM算法可以由不同视角拍摄的图像序列，得到重叠区 域匹配点的三维点云，迭代过程中加入RANSAC可有效剔除误匹配 点的干扰，提高三维重建精度。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非 限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普 通技术人员应当理解，可以对本发明的技术方案进行修改或者等同 替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发 明的权利要求范围中。
Claims (10)
1.一种高清多相机全景立体成像系统，其特征在于，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，所述主机与服务器相连，所述服务器与客户端相连。
2.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述模拟相机模组采用索尼super hard 1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。
3.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述电源的输出电压为12V，输出电流为1A。
4.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows 10、windows7以及windows xp中的任意一种。
5.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述相机固定架包括六个环形分布的固定板，相邻固定板之间呈120°固定相连，所述固定板的中心均设置有一相机安装孔。
6.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述相机固定架采用3D打印机打印。
7.根据权利要求1所述的高清多相机全景立体成像系统，其特征在于，所述主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的图像帧进行压缩编码，所述服务器采用boost asio TCP进行图像传输，将压缩后的图像传输到客户端，所述客户端采用对应的boost asio TCP接收压缩图像，并采用JPEG-turbo解码显示。
8.一种基于权利要求1所述高清多相机全景立体成像系统的高清多相机全景立体成像方法，其特征在于，包括以下步骤：
步骤一、通过全景相机获取以环形框架为中心的360°环境图像，并对图像进行压缩传输；
步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区域进行单帧全景图像三维重建；
步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点，采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的三维点云；
步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实现单帧三维点云与多帧三维点云的点云融合；
步骤五、将全局的表面二维图像分割成一个个较小的连续而不重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表面渲染。
9.根据权利要求8所述的高清多相机全景立体成像方法，其特征在于，所述步骤二具体包括以下子步骤：
子步骤S21、首先采用SIFT算法对6个相机拍摄的6幅图像提取出SIFT特征点，并对SIFT特征点采用SIFT特征描述，用于下一步的特征匹配；
子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于比例阈值，则这一对点为一对匹配点，否则不视为匹配点；
子步骤S23、利用同名像对的像素坐标，根据公式x′TFx＝0求解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F；
子步骤S24、根据公式E＝K′TFK以及事先标定出的相机的内部参数矩阵K和K’计算出本质矩阵E；
子步骤S25、根据公式E＝TxR，利用本质矩阵分解得到旋转参数R和平移参数T，根据P＝K[I|0]，P′＝K[R|T]得到相机的投影矩阵；
子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x′＝P′X求解出X；其中x＝λ[ui，vi，1]T，x′＝λ[ui′，vi′，1]T，λ为比例系数。
10.根据权利要求9所述的高清多相机全景立体成像方法，其特征在于，所述子步骤S22中SIFT算法特征点匹配时使用KD树加快匹配计算速度，并且采用RANSAC算法进行优化，去除粗匹配，精确匹配结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199026.7A CN106954012A (zh) | 2017-03-29 | 2017-03-29 | 一种高清多相机全景立体成像系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199026.7A CN106954012A (zh) | 2017-03-29 | 2017-03-29 | 一种高清多相机全景立体成像系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106954012A true CN106954012A (zh) | 2017-07-14 |
Family
ID=59474780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710199026.7A Pending CN106954012A (zh) | 2017-03-29 | 2017-03-29 | 一种高清多相机全景立体成像系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106954012A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610213A (zh) * | 2017-08-04 | 2018-01-19 | 深圳市为美科技发展有限公司 | 一种基于全景相机的三维建模方法及系统 |
| CN108053495A (zh) * | 2018-01-19 | 2018-05-18 | 姚惜珺 | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 |
| CN108389222A (zh) * | 2018-02-28 | 2018-08-10 | 天津大学 | 一种基于图像序列的三维模型重建方法 |
| CN108564617A (zh) * | 2018-03-22 | 2018-09-21 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、装置、vr相机和全景相机 |
| WO2019047847A1 (zh) * | 2017-09-06 | 2019-03-14 | 深圳岚锋创视网络科技有限公司 | 一种虚拟现实的六自由度三维重构方法、系统及便携式终端 |
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN110298872A (zh) * | 2019-07-03 | 2019-10-01 | 云南电网有限责任公司电力科学研究院 | 一种紫外光相机与可见光相机阵列的配准方法 |
| CN114119761A (zh) * | 2022-01-28 | 2022-03-01 | 杭州宏景智驾科技有限公司 | 多相机机动车定位方法和装置、电子设备和存储介质 |
| CN116962649A (zh) * | 2023-09-19 | 2023-10-27 | 安徽送变电工程有限公司 | 图像监控调整系统及线路施工模型 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751697A (zh) * | 2010-01-21 | 2010-06-23 | 西北工业大学 | 一种基于统计模型的三维场景重建方法 |
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| US20130039584A1 (en) * | 2011-08-11 | 2013-02-14 | Oztan Harmanci | Method and apparatus for detecting near-duplicate images using content adaptive hash lookups |
| US20130094724A1 (en) * | 2011-10-18 | 2013-04-18 | King Fahd University Of Petroleum And Minerals | Method of performing fingerprint matching |
| CN103295239A (zh) * | 2013-06-07 | 2013-09-11 | 北京建筑工程学院 | 一种基于平面基准影像的激光点云数据的自动配准方法 |
| CN103456038A (zh) * | 2013-08-19 | 2013-12-18 | 华中科技大学 | 一种井下环境三维场景重建方法 |
| CN103617649A (zh) * | 2013-11-05 | 2014-03-05 | 北京江宜科技有限公司 | 一种基于相机自标定技术的河工模型地形测量方法 |
| CN103729883A (zh) * | 2013-12-30 | 2014-04-16 | 浙江大学 | 一种三维环境信息采集与重构系统及方法 |
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
| CN103945210A (zh) * | 2014-05-09 | 2014-07-23 | 长江水利委员会长江科学院 | 一种实现浅景深效果的多摄像头拍摄方法 |
| CN104134203A (zh) * | 2014-07-07 | 2014-11-05 | 上海珞琪软件有限公司 | 一种近景摄影测量的快速密集匹配法 |
| CN104333675A (zh) * | 2014-10-20 | 2015-02-04 | 长春理工大学 | 一种基于球面投影的全景电子稳像方法 |
| CN104778720A (zh) * | 2015-05-07 | 2015-07-15 | 东南大学 | 一种基于空间不变特性的快速体积测量方法 |
| CN105472345A (zh) * | 2015-12-28 | 2016-04-06 | 北京极图科技有限公司 | 六路拼接式实时全景成像装置 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN206596100U (zh) * | 2017-03-29 | 2017-10-27 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种高清多相机全景立体成像系统 |
-
2017
- 2017-03-29 CN CN201710199026.7A patent/CN106954012A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751697A (zh) * | 2010-01-21 | 2010-06-23 | 西北工业大学 | 一种基于统计模型的三维场景重建方法 |
| CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
| US20130039584A1 (en) * | 2011-08-11 | 2013-02-14 | Oztan Harmanci | Method and apparatus for detecting near-duplicate images using content adaptive hash lookups |
| US20130094724A1 (en) * | 2011-10-18 | 2013-04-18 | King Fahd University Of Petroleum And Minerals | Method of performing fingerprint matching |
| CN103295239A (zh) * | 2013-06-07 | 2013-09-11 | 北京建筑工程学院 | 一种基于平面基准影像的激光点云数据的自动配准方法 |
| CN103456038A (zh) * | 2013-08-19 | 2013-12-18 | 华中科技大学 | 一种井下环境三维场景重建方法 |
| CN103617649A (zh) * | 2013-11-05 | 2014-03-05 | 北京江宜科技有限公司 | 一种基于相机自标定技术的河工模型地形测量方法 |
| CN103729883A (zh) * | 2013-12-30 | 2014-04-16 | 浙江大学 | 一种三维环境信息采集与重构系统及方法 |
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
| CN103945210A (zh) * | 2014-05-09 | 2014-07-23 | 长江水利委员会长江科学院 | 一种实现浅景深效果的多摄像头拍摄方法 |
| CN104134203A (zh) * | 2014-07-07 | 2014-11-05 | 上海珞琪软件有限公司 | 一种近景摄影测量的快速密集匹配法 |
| CN104333675A (zh) * | 2014-10-20 | 2015-02-04 | 长春理工大学 | 一种基于球面投影的全景电子稳像方法 |
| CN104778720A (zh) * | 2015-05-07 | 2015-07-15 | 东南大学 | 一种基于空间不变特性的快速体积测量方法 |
| CN105472345A (zh) * | 2015-12-28 | 2016-04-06 | 北京极图科技有限公司 | 六路拼接式实时全景成像装置 |
| CN106251399A (zh) * | 2016-08-30 | 2016-12-21 | 广州市绯影信息科技有限公司 | 一种基于lsd‑slam的实景三维重建方法 |
| CN206596100U (zh) * | 2017-03-29 | 2017-10-27 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种高清多相机全景立体成像系统 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610213A (zh) * | 2017-08-04 | 2018-01-19 | 深圳市为美科技发展有限公司 | 一种基于全景相机的三维建模方法及系统 |
| WO2019047847A1 (zh) * | 2017-09-06 | 2019-03-14 | 深圳岚锋创视网络科技有限公司 | 一种虚拟现实的六自由度三维重构方法、系统及便携式终端 |
| CN109813335A (zh) * | 2017-11-21 | 2019-05-28 | 武汉四维图新科技有限公司 | 数据采集系统的标定方法、装置、系统及存储介质 |
| CN108053495A (zh) * | 2018-01-19 | 2018-05-18 | 姚惜珺 | 2d数字资源转化为可动态变化的3d数字资源的方法及系统 |
| CN108389222A (zh) * | 2018-02-28 | 2018-08-10 | 天津大学 | 一种基于图像序列的三维模型重建方法 |
| WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
| CN108564617A (zh) * | 2018-03-22 | 2018-09-21 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、装置、vr相机和全景相机 |
| CN108564617B (zh) * | 2018-03-22 | 2021-01-29 | 影石创新科技股份有限公司 | 多目相机的三维重建方法、装置、vr相机和全景相机 |
| CN112767542A (zh) * | 2018-03-22 | 2021-05-07 | 影石创新科技股份有限公司 | 一种多目相机的三维重建方法、vr相机和全景相机 |
| CN110298872A (zh) * | 2019-07-03 | 2019-10-01 | 云南电网有限责任公司电力科学研究院 | 一种紫外光相机与可见光相机阵列的配准方法 |
| CN114119761A (zh) * | 2022-01-28 | 2022-03-01 | 杭州宏景智驾科技有限公司 | 多相机机动车定位方法和装置、电子设备和存储介质 |
| CN116962649A (zh) * | 2023-09-19 | 2023-10-27 | 安徽送变电工程有限公司 | 图像监控调整系统及线路施工模型 |
| CN116962649B (zh) * | 2023-09-19 | 2024-01-09 | 安徽送变电工程有限公司 | 图像监控调整系统及线路施工模型 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106954012A (zh) | 一种高清多相机全景立体成像系统及方法 | |
| Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
| CN110569768B (zh) | 人脸模型的构建方法、人脸识别方法、装置及设备 | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| Feng et al. | 3D face reconstruction from light field images: A model-free approach | |
| CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
| CN103106688A (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| CN103236082A (zh) | 面向捕获静止场景的二维视频的准三维重建方法 | |
| CN106910241A (zh) | 基于手机摄像和云服务器的三维人体头部的重建系统及方法 | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
| CN206596100U (zh) | 一种高清多相机全景立体成像系统 | |
| CN113362457B (zh) | 一种基于散斑结构光的立体视觉测量方法及系统 | |
| CN113538569B (zh) | 一种弱纹理物体位姿估计方法和系统 | |
| CN116958437A (zh) | 融合注意力机制的多视图重建方法及系统 | |
| CN116579962A (zh) | 一种基于鱼眼相机的全景感知方法、装置、设备及介质 | |
| CN111047636B (zh) | 基于主动红外双目视觉的避障系统和避障方法 | |
| CN108742495A (zh) | 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法 | |
| CN117274501B (zh) | 一种可驱动数字人建模方法、装置、设备及介质 | |
| CN116310105B (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| CN111161399B (zh) | 基于二维影像生成三维模型的数据处理方法及组件 | |
| CN112116703A (zh) | 一种3d相机及点云与彩色纹理对齐的红外光扫描算法 | |
| Maninchedda et al. | Face reconstruction on mobile devices using a height map shape model and fast regularization | |
| CN114332755B (zh) | 一种基于双目三维建模的发电焚烧炉监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |