CN105120250A - 一种基于多视角图像视频序列的三维动态场景采集与处理系统 - Google Patents

Abstract

本发明公开了一种基于多视角图像视频序列的三维动态场景采集与处理系统，包括机械支撑结构、采集系统和控制处理系统，其中：采集系统包括安设于与所述机械支撑结构上的摄像子系统和灯光子系统；控制处理系统用于控制摄像子系统和灯光子系统工作，还用于接收所述采集系统采集到的数据，并对接收到的数据进行数据存储、管理及展示。本发明的基于多视角图像视频序列的三维动态场景采集与处理系统能够在均匀无影无害照明环境下对考古发掘过程进行全方位信息记录，可实现考古发掘过程的全息记录与重现。

Description

一种基于多视角图像视频序列的三维动态场景采集与处理系统

技术领域

本发明涉及文物数字化保护、图像视频采集以及三维处理领域，尤其涉及一种基于多视角图像视频序列的三维动态场景采集与处理系统。

背景技术

文物，美学、艺术、科学价值巨大，是一个国家和民族历史文化成就的重要标志。不仅对于研究人类文明的演进具有重要意义，而且对于展现世界文化的多样性具有独特作用，它们是人类的共同财富。文物保护的重要意义不言而喻。而且文物未开采之前一般处于稳定的状态，一旦开采挖掘出来往往受损非常严重。因此文物的保护和修复刻不容缓。为了便于文物的修复研究和文物遗迹所承载的信息真实长久地传播，需要将文物进行图像视频数据的采集，存储和传输。

然而目前国内针对室内考古挖掘并没有这样一种平台，要求可以达到不间断、无干扰的记录室内考古发掘全过程的遗址现场空间信息和人员操作信息的目标，而且还要满足多尺度考古发掘信息全方位记录与再现的需求。

室内考古过程的视频信息记录并不是简单的录像，而是要求可以实现从多个不同角度记录下考古发掘过程中的精细视频信息，然后形成完备的动态过程回放。

考古过程中的照明对于文物的保护也是至关重要的。现存的简单的光照控制并不能达到保护以及信息采集的要求，还需支持对考古发掘区域进行均匀照明，实现手术灯的无影效果，并避免灯光系统产生有害的紫外线辐射。

考古过程的三维信息记录要求可以处理任意时刻考古发掘现场的彩色三维空间信息，要求处理结果可量测、可保证精度、无明显死角。

考古过程的照片信息记录也并不是简单的拍几张照片，而是要求可以支持从重要视角进行不间断定时拍照记录高分辨率图像信息，用于支持重要考古遗迹信息的回溯调查研究。

发明内容

针对现有技术的不足，本发明的提供了一种基于多视角图像视频序列的三维动态场景采集与处理系统。

本发明的基于多视角图像视频序列的三维动态场景采集与处理系统，包括机械支撑结构、采集系统和控制处理系统，其中：

采集系统包括安设于与所述机械支撑结构上的摄像子系统和灯光子系统；

控制处理系统用于控制摄像子系统和灯光子系统工作，还用于接收所述采集系统采集到的数据，并对接收到的数据进行数据存储、管理及展示。

所述摄像子系统包括多个摄像机，所有摄像机分布于所述机械支撑结构上。

所述的摄像系统可以支持的分辨率很广(支持的图像分辨率介于780*582到5616*3744之间)，摄像头数量规模庞大，所有摄像头都均匀地分布在机械支撑结构的表面。，通常，所述摄像子系统包括32～48个摄像机。实际应用时，摄像机的数量可根据实际应用场景的大小调整。

所述灯光子系统包括多个LED灯，所有LED灯分布于所述机械支撑结构上。

所述的灯光系统是一种变光照系统，可以产生5～7种不同的环境光，形成一个动态广场。所述的灯光系统的灯头(本发明中采用LED灯)数量庞大，所有灯头都均匀地分布在机械支撑结构系统的表面。通常，所述灯光子系统包括LED灯150～200个LED灯。实际应用时，LED灯的数量可根据实际应用场景的大小调整。

所述控制处理系统包括具有若干台计算机的机群和将采集系统采集到的数据同步传输至机群的同步控制器。

本发明中机群包括若干台高性能的PC机，其中2～3台配置了图像采集卡的PC机。

本发明中控制处理系统包括多个子系统：数据接收子系统、数据存储与管理子系统、三维处理子系统以及展示子系统，其中：

数据接收子系统能够实时记录图像信息，能够采集不同分辨率的图像、视频而且当图像达到服务器端可以实现基本同步接收；

数据存储于管理子系统支持大容量存储空间及数据压缩，拥有完善的数据备份机制(技术机制和运行机制)而且支持不同数据类型存储，可以实现快速数据检索速度；

展示子系统支持主流的三维模型格式，可以实现支持互动操作的高真实感展示的效果。

三维处理子系统可以满足不同用户的不同需求，支持主流的三维静态建模算法以及主流的三维动态场景建模算法。

本发明中机群系统是基于星型网络结构硬件同步方式的，各电脑终端之间不需要互连，而且传输速率高达12Mbps以上。

作为优选，所述机械支撑结构包括穹顶形的网状钢架，以及支撑在网状钢架底部的钢柱，即形成一种穹窿型的钢架支撑结构。

所述网状钢架沿竖直方向连续分层，每层包括若干个网格。网状钢架为球冠状，其所在球面的半径为网状钢架高度的3～5倍。

机械支撑结构的大小根据实际应用场景设定，总高度为8～12米(即穹顶最高点到水平面的距离)，其中，网状钢架沿竖直方向在水平面上的投影半径为其高度的3～5倍，通常其半径通常为5～7米。

作为优选，所述网格为三角形。由于网状钢架为球冠状，因此，网格实际上为类三角形，其中有一条边为弧形。

摄像系统中的摄像机和灯光系统中的LED灯均匀地分布在穹窿型网状钢架构的表面上，且摄像机和LED灯能够在机群子系统的控制下沿穹隆网状形表面准确地调整摄像头位置和灯头位置。

本发明的基于多视角图像视频序列的三维动态场景采集与处理系统是国内第一个、也是唯一一个考古发掘过程全方位信息记录环境，可实现考古发掘过程的全息记录与重现；并可支持考古发掘过程信息记录多种关键技术的研究，能够实现：

对考古过程的视频信息记录：从多个不同角度记录下考古发掘过程中的精细视频信息，可形成完备的动态过程回放。

对考古过程的照片信息记录：支持从重要视角进行不间断定时拍照记录高分辨率图像信息，用于支持重要考古遗迹信息的回溯调查研究。

对考古过程的三维信息记录：可以处理任意时刻考古发掘现场的彩色三维空间信息，要求处理结果可量测、可保证精度、无明显死角。

考古过程中的均匀无影无害照明：需支持对考古发掘区域进行均匀照明，实现手术灯的无影效果，并避免灯光系统产生有害的紫外线辐射。

具体实施方式

下面将结合具体实施方式对本发明来做详细说明。

基于多视角图像视频序列的三维动态场景采集与处理系统总共包括机械支撑结构系统、、采集系统和处理系统(即控制处理系统)。采集系统包括摄像系统、灯光系统；处理系统用于控制摄像子系统和灯光子系统工作，还用于接收所述采集系统采集到的数据，并对接收到的数据进行数据存储、管理及展示。

设有数据接收系统、数据存储于管理系统、三维处理系统以及展示系统。

摄像系统主要负责采集图像视频信息，可以支持780*582到5616*3744之间的超宽范围的分辨率，摄像机采用的是千兆网口500万像素CMOS工业相机，摄像机的镜头采用的是C口工业相机镜头，其中系统另外还配备有CANON600D相机，包含18～135镜头。

灯光系统包括208盏LED射灯(即LED灯)，其中LED射灯的可控电源为700w。灯光系统可以是一种可以支持多种不同环境光的动态光场。

处理系统包括具有若干台计算机的机群(即机群系统)和将采集系统采集到的数据同步传输至机群的同步控制器。本实施例中机群系统中的电脑终端(PC机)是华北工控计算机台高性能的PC机，其中2台配备了图像采集卡的PC机，所配备的每张图像采集卡都拥有4个独立千兆口。系统还定制研发了支持32通道的程序IO帧同步控制器和支持32通道的程控LED灯IO控制器。

机械支撑结构包括穹顶形的网状钢架，以及支撑在网状钢架底部的钢柱(本实施例中包括4根钢柱)，即形成一种穹窿型的钢架支撑结构。

机械支撑结构的大小根据实际应用场景设定，本实施例中机械支撑结构的总高度为8米(即机械支撑结构的最高点到水平面的距离)，钢柱的高度为6米，网状钢架的高度为2米，且网状钢架沿竖直方向在水平面上的投影半径为7米，其所在球面的半径为网状钢架高度的3倍。

网状钢架沿竖直方向连续分层，一共分为4层，每层包括若干个三角形网格。由于网状钢架为球冠状，因此，三角形网格实际上为类三角形网格，其中有一条边为弧形。

数据接收子系统能采集不同分辨率的图像、视频，主要负责实时记录图像信息。不同相机之间同一时刻帧与帧之间延迟不超过0.03秒，同一台相机帧与帧之间延迟不超过0.02秒，而且分辨率支持从780*582到5616*3744范围。

数据存储于管理系统能够存储至少10个小时的、中等分辨率的视频数据。由于系统崩溃等不可预测的因素发生时，保证3天之内数据的安全并快速恢复数据。可以实现快速的检索响应，当系统运行运行1-2年后，数据相对庞大时，能够在秒级检索相关内容。

三维处理系统支持PMVS、EVPH、光度立体等三维建模算法；支持SFM、基于剪影轮廓原理三维动态场景建模等算法。支持不同模型质量、不同建模速度的三维建模要求。

展示系统支持obj、ply等三维模型格式，支持较高质量三维模型(如三维点的数量接近500万)，达到帧速率播放三维模型，即至少达到15帧/秒。支持用对三维模型进行无滞后感的放大、旋转、移动等基本操作。

本实施例的基于多视角图像视频序列的三维动态场景采集与处理系统是可以独立支撑的一套大型相机阵列系统；系统中包含足够数量的摄像机、相机与灯光设备，均匀分布在以考古工作台为中心的机械支撑结构系统的球面上；所有的摄像机、与灯光设备均可由机器机群中的计算机集中控制，设定其以固定的节拍进行全角度信息记录；全部视频与照片信息可由后端软件计算生成考古发掘过程的动态三维场景模型和多角度视频模型。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，包括机械支撑结构、采集系统和控制处理系统，其中：

采集系统包括安设于与所述机械支撑结构上的摄像子系统和灯光子系统；

控制处理系统用于控制摄像子系统和灯光子系统工作，还用于接收所述采集系统采集到的数据，并对接收到的数据进行数据存储、管理及展示。

2.如权利要求1所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述摄像子系统包括多个摄像机，所有摄像机分布于所述机械支撑结构上。

3.如权利要求1所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述灯光子系统包括多个LED灯，所有LED灯分布于所述机械支撑结构上。

4.如权利要求1所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述控制处理系统包括具有若干台计算机的机群和将采集系统采集到的数据同步传输至机群的同步控制器。

5.根据权利要求1～4中任意一项所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述机械支撑结构包括穹窿型的网状钢架，以及支撑在网状钢架底部的钢柱。

6.根据权利要求5所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述网状钢架沿竖直方向连续分层，每层包括若干个网格。

7.根据权利要求5所述的基于多视角图像视频序列的三维动态场景采集与处理系统，其特征在于，所述网格为三角形。