CN110225328A - 一种城市智能虚拟成像设备、成像系统及其建模方法 - Google Patents

一种城市智能虚拟成像设备、成像系统及其建模方法 Download PDF

Info

Publication number
CN110225328A
CN110225328A CN201910534524.1A CN201910534524A CN110225328A CN 110225328 A CN110225328 A CN 110225328A CN 201910534524 A CN201910534524 A CN 201910534524A CN 110225328 A CN110225328 A CN 110225328A
Authority
CN
China
Prior art keywords
image
information
ccd camera
city
virtual imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910534524.1A
Other languages
English (en)
Inventor
李少峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN201910534524.1A priority Critical patent/CN110225328A/zh
Publication of CN110225328A publication Critical patent/CN110225328A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种城市智能虚拟成像设备、成像系统及其建模方法,属于三维虚拟成像领域。设备方面,包括拍摄装置、图像处理器和投影装置三部分,其中,拍摄装置包括旋转云台,放置于旋转云台下方的CCD摄像单元,安装在旋转云台上与所述CCD摄像单元的镜头方向成45°夹角的反光镜。在上述设备的基础上建立了数据采集模块、图像处理模块、智能融合模块和全息成像模块四部分组成的成像系统。本发明选择单一摄像机环形扫描的方式和采用旋转反光镜代替摄像机的旋转,获取360°全景图像,大大提高了每个循环扫描周期内获得原始图像具有高分辨率、各方向上无畸变的优点,大大减小后期图像处理的计算量。

Description

一种城市智能虚拟成像设备、成像系统及其建模方法
技术领域
本发明属于城市三维场景建模领域,尤其是一种城市智能虚拟成像设备、成像系统及其建模方法。
背景技术
虚拟成像技术是人类与计算机和及其复杂的数据进行交互的一种方法,其核心在于有三维视景组成的“真实”虚拟环境的建模和绘制,目前世界范围内围绕虚拟场景建模的问题主要采用以下两种方式:一是以传统计算机图形学为基础基于几何建模和绘制,对计算机的硬件和算法具有较高要求;二是以三维环境的图像采集来建立场景,则有意弱化了计算处理过程,更多的强调三维图像的拍摄过程中要求。
就虚拟场景建模中的方式二而言,三维图像的采集必须采用超大规模凝视成像器件,实现对大视角的进行成像,这类光学系统必须配合图像畸变校正、光强修正、亚像素分辨等一系列图像的处理技术,才能实现正常的成像观测功能,大量的图像数据处理量仍然对图像处理器和软件有较高的性能要求,这样上述两种建模方式,都存在一些明显缺陷,例如硬件成本高,软件数据处理计算量大,实时性较差等问题。当虚拟成像的图像扩大到一个城市或景区等超大区域场景时,巨大的图像数据处理量则将上述问题进一步放大。
发明内容
发明目的:提供一种城市智能虚拟成像设备、成像系统及其建模方法,以解决现有建模方法中硬件成本高,软件数据处理计算量大,实时性较差等问题。
技术方案:一种城市智能虚拟成像设备,包括:拍摄装置、图像处理器和投影装置三部分。
拍摄装置,为采用单一采用鱼眼镜头的CCD摄像机扫描,其包括固定安装无人机、直升机、指定区域或车载平台上的旋转云台,竖直放置与所述旋转云台下方的CCD摄像单元,以及固定安装在所述旋转云台上、且与所述CCD摄像单元的镜头方向成45°夹角的反光镜。
图像处理器,主要为计算机处理器,包括用于第一次场景建模图像初始模板时的高性能计算机和后期图像加工的普通PC端,以及WiFi通讯器。
投影装置,为沉浸式体验的VR眼镜,其包括与佩戴者人脸外表面相贴合的眼镜支架,固定在所述眼镜支架上的两个凸透镜镜片,与所述眼镜支架之间留有预定间隙的智能手机支架,位于所述眼镜支架和智能手机支架之间底部连接处、用于放置于所述智能手机支架上的智能手机的手机放置槽,以及连接所述眼镜支架与智能手机支架之间、用于调整两者之间预留距离的调节锁扣。
在进一步实施过程中,所述旋转云台包括:由若干型材组成、并与所述无人机、直升机、指定区域或车载平台相固定的机架,固定安装在所述机架上的底盘,焊接在所述底盘上的电机安装座,设置于所述电机安装座内的伺服电机,通过减速齿轮组与所述伺服电机输出轴相连接、截面形状为“︿”的曲轴,其两侧的夹角为135°;与所述曲轴相连接的连接杆,固定安装在所述电机安装座两侧的第一固定框,通过销轴与所述第一固定框的底部转动连接的第二固定框,固定安装在所述第二固定框内、且贯穿所述连接杆的限位杆,以及与所述连接杆固定连接的真空吸盘。其中,反光镜固定安装在所述真空吸盘上,固定处位于所述CCD摄像单元延长线与转轴的交点。
在进一步实施过程中,所述投影装置还可为屏幕式VR投影,其具体可以为台上电脑或大屏显示器,其中观光体验用的全景可以具体为放映厅,具体包括投影室,覆盖于所述投影室墙壁内部的全息投影膜,以及设置在设置早上投影室中心位置的球形多角度投影单元;其中所述投影单元至少设置有六个投影仪,分别面向投影室的六个面。
一种城市智能虚拟成像系统,包括:数据采集模块、图像处理模块、智能融合模块和全息成像模块四部分。
数据采集模块,包括利用无人机或直升机获取待测城市的多角度的倾斜多角度图像的空中远景摄像装置、固定分布于街道指定区域和利用车载移动获取周边地面图像的近景摄像装置两部分。
图像处理模块,包括采用所述远景摄像装置和近景摄像装置在第一扫描周期内以相对静止状态的旋转拍摄所得到的图像信息,采用纠正旋转角度、柱面投影、平移对齐一系列图像拼接技术的图像拼接模块,采用图像拼接模块制作成的图像初始模板,用于所图像初始模板对比的图像储存单元,通过固定于街道指定区域的近景摄像装置获取实时新图像信息,与图像初始模板对比相同特征向量作为对比,替换不同特征向量区域的所有像素点,合成新的实时图像。
智能融合模块,包括为实时图像相融合、构建的三维地形、天气信息的特效信息的场景模拟装置,设置在重点建筑物内部的近景拍摄装置,通过图像处理模块后融合至实时图像上的建筑内部成像装置,以及用于配置实时图像配置地理信息、位置信息、空间类别信息的信息模型构建装置,作为音频信息存储。
全息成像模块,具体可以为沉浸式体验的VR眼镜、桌面式VR图像或屏幕式VR投影三种模式。
一种城市智能虚拟成像系统的建模方法,具体建模方法为:
步骤一、采用无人机或直升机搭载的远景摄像装置完成城市指定区域的远景环形全息照片,作为背景框架;
步骤二、根据用车载移动搭载近景摄像装置,对城市具体街景进行高精度建模,并制作三维电子沙盘,在根据作为图像初始模板;
步骤三、根据固定分布于街道指定区域近景摄像装置对三维电子沙盘图像进行细化、优化,并实现对指定区域图像的实时更新;
步骤四、场景模拟装置采用空间环境光遮蔽特性,模拟烟雾、雨水、闪电、天空在内的若干画面,根据具体时间和实际天气情况调整光影,设置天空纹理和雾气颜色,以及云朵的位置、密度、移动速度;
步骤五、信息模型构建装置构建相关场景位置的置地理信息、位置信息、空间类别信息作为音频信息储存;
步骤六、使用者将智能手机放置与VR眼镜上,并佩戴VR眼镜,通过WiFi设置将图像信息传输至智能手机上,通过智能手机上面的VR屏幕功能播放图像,实现图像的播放。
在进一步的实施例中,所述图像处理模块处理和拼接全息照片的方法:
步骤一、CCD摄像单元采集指定区域的街景的光场内的全光函数,具体为:
其中,为光场内的任意一点的实际位置坐标;为目标场景任意点与CCD摄像单元,分别在东西和南北两个方向上的夹角;γ为光线的波长,t为光线从目标场景任意点到CCD摄像单元的时间,可进一步计算出目标场景任意点与CCD摄像单元之间的距离;
步骤二、CCD摄像单元位于同一位置,拍摄不同角度图像,生成相对应的图像,并将信息传输至图像处理模块;
步骤三、图像处理模块将每个图像沿横向等距离分割多个图像元,得到图像元阵列,对比每个CCD摄像单元旋转角度和相邻多个图像之间重合度确定每个图像元的标准权重(取值为1、0.50、0.33、0.25、0.20……),得到每个图像的权重阵列;
步骤四、由于反光镜在竖直方向上处于匀速旋转运动时,图像在水平、竖直方向上的偏移忽略不计,标准权重阵列即为修正权重阵列;
步骤五、然后通过修正权重阵列的转置阵列和图像元阵列相乘得到新像素点阵列,由不同图像的新的图像元阵列累加组合组成的新的图像元,最后将新的图像即为环形全息照片。
在进一步的实施例中,所述图像处理器在处理和拼接多个全息照片时采用纠正旋转角度、柱面投影、平移对齐的图像拼接技术的图像拼接,制作成的图像初始模板。
有益效果:本发明涉及一种城市智能虚拟成像设备、成像系统及其建模方法,具有以下优点:
1)、在拍摄设备方面,选择单一摄像机环形扫描的方式获取360°全景图像,每个循环扫描周期内获得原始图像具有高分辨率、各方向上无畸变的特点;通过旋转反光镜代替摄像机的旋转,有效的避免了摄像机旋转时平稳性和数据传输的问题,进一步放大了其优点,大大减小后期图像处理的计算量,将摄像机固定不动,能得到更好的保护,保证使用过程中不易遭到破坏,延长使用寿命;
2)在投影设备方面,将VR眼镜与智能手机结合,通过智能手机屏幕播放和语音讲解,优化沉浸体验感,大大提高建模数据的共享度,避免在实际体验过程中“狼多肉少”的窘境;
3)在系统软件方面,在远景摄像装置和近景摄像装置建立初始图像模板,储存在小型计算机中,后期建模制作以初始图像模板为基础,提取相关的一系列的特征点,对少量图像数据进行替换,可以大大降低图像处理的计算量;
4)在系统软件方面,增加场景模拟装置,采用空间环境光遮蔽特性,模拟不同情况的天气状况,更加贴近于真实,增加用户体验感;
5)在建模方法中,通过固定于重点区域的摄像头实时更新局部重点位置的全息图片,只需要较小的计算处理,及时更新城市的三维图像,解决了现有建模方法中的实时性较差的问题;
6)根据实际需求,该虚拟成像图像可以采用多种体验方式,沉浸式VR眼镜可以以网络为枢纽,提供多用户同时体验;桌面式VR图像可以为一些城市建设规划者提供最直接的空间距离感,与其它软件相配合,直接在三维图像上进行设计;屏幕式VR投影可以作为旅游观光。
附图说明
图1是本发明的成像系统的原理示意图。
图2是本发明的旋转云台的结构示意图。
图3是本发明的拍摄装置的运动示意图。
图4是本发明的VR眼镜的结构示意图。
附图标记为:CCD摄像机1、旋转云台2、反光镜3、眼镜支架4、镜片5、智能手机支架6、手机放置槽7、调节锁扣8、底盘201、电机安装座202、伺服电机203、曲轴204、连接杆205、第一固定框206、第二固定框207、限位杆208、真空吸盘209、远景摄像装置9、近景摄像装置10、图像拼接模块11、图像储存单元12、场景模拟装置13、信息模型构建装置14、VR眼镜15、屏幕式VR投影16。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
如附图1所示,一种城市智能虚拟成像设备,包括:拍摄装置、图像处理器和投影装置三部分。
拍摄装置包括:旋转云台2、CCD摄像单元和反光镜3。包括固定安装无人机、直升机、指定区域或车载平台上的旋转云台2,竖直放置与所述旋转云台2下方的CCD摄像单元,以及固定安装在所述旋转云台2上、且与所述CCD摄像单元的镜头方向成45°夹角的反光镜3。其中,所述旋转云台2包括:由若干型材组成、并与所述无人机、直升机、指定区域或车载平台相固定的机架,固定安装在所述机架上的底盘201,焊接在所述底盘201上的电机安装座202,设置于所述电机安装座202内的伺服电机203,通过减速齿轮组与所述伺服电机203输出轴相连接、截面形状为“︿”的曲轴204,其两侧的夹角为135°;与所述曲轴204相连接的连接杆205,固定安装在所述电机安装座202两侧的第一固定框206,通过销轴与所述第一固定框206的底部转动连接的第二固定框207,固定安装在所述第二固定框207内、且贯穿所述连接杆205的限位杆208,以及与所述连接杆205固定连接的真空吸盘209。反光镜3固定安装在所述真空吸盘209上,固定中心点位于所述CCD摄像单元延长线与转轴的交点处。所述CCD摄像单元为采用鱼VR眼镜15头的CCD摄像机1。伺服电机203带动所述转轴做偏心旋转,通过连接杆205带真空吸盘209沿着预定的倾斜角度旋转,第一固定框206和第二固定框207对连接杆205的位置进行限位固定,保证反光镜3在竖直方向上运转的平稳性。反光镜3将具体周围街景反射至CCD摄像单元,由于通过旋转反光镜3代替CCD摄像机1的旋转,由于反光镜3的重量较轻,有效的避免了CCD摄像机1旋转时平稳性和数据传输的问题,进一步放大了采用单一CCD摄像机1环形扫描的方式获取360°全景图像时,每个循环扫描周期内获得原始图像具有高分辨率、各方向上无畸变的特点,大大减小后期图像处理的计算量,将CCD摄像机1固定不动,能得到更好的保护,保证使用过程中不易遭到破坏,延长使用寿命。
图像处理器主要为计算机处理器,包括用于第一次场景建模图像初始模板时的高性能计算机,或采用高性能计算机进行长时间的计算得到初始图像模板,可保持1~2年更新一次图像模板;后期图像加工的普通计算机处理器,仅需要进行少量的信息替换,采取一般市面常用的普通电脑即可,以及WiFi通讯器,用于数据传输。
投影装置为沉浸式体验的VR眼镜15。其包括:与佩戴者人脸外表面相贴合的VR眼镜15支架4,固定在所述VR眼镜15支架4上的两个凸透镜镜片5,与所述VR眼镜15支架4之间留有预定间隙的智能手机支架6,所述VR眼镜15支架4和智能手机支架6之间底部通过手机放置槽7相连接,手机放置上部留有预定距离,用于放置于智能手机;VR眼镜15支架4和智能手机支架6两侧和上部之间通过调节锁扣8调整预留距离,调节锁扣8以可拆卸的固定方式固定在所述VR眼镜15支架4上的多个保持预定距离的卡槽上,用于固定智能手机;以及若干起辅助支撑、填充、固定作用的橡皮筋、NFC贴、魔力贴、塑料板。随着智能手机的流行和普及,大多数视屏播放器中均具有分屏功能,可以将智能手机与图像处理器之间通过WiFi进行无线连接,一个服务器可以同时对应多个手机用户端,通过智能手机屏幕播放和语音讲解,优化沉浸体验感,大大提高建模数据的共享度,避免在实际体验过程中“狼多肉少”的窘境。上述沉浸式VR眼镜15可以以网络为枢纽,提供多用户同时体验,可以运用与景点观光方面,在让体验者足不出户,即可体验到千里之外的自然风光。
作为一个优选方案,根据具体的应用范围,所述投影装置还可为屏幕式VR投影16,将球形画面可以转化为正常的平面视图,经过修正软件进行修正,可以转化为合适人眼的正常平面视图。屏幕式VR投影16具体可以为台式电脑、大屏显示器,其中,台式电脑主要应用于城市建设者、规划者用于设计,提供最直接的空间距离感,与Sketch UP、3dMax、V-Ray渲染器等软件相配合,直接在三维图像上进行设计、编辑。大屏投影主要应用于城市观光展示用的全景展示厅,具体为放映厅,具体包括投影室,覆盖于所述投影室墙壁内部的全息投影膜,以及设置在设置早上投影室中心位置的球形多角度投影单元;其中所述投影单元至少设置有六个投影仪,分别面向投影室的六个面。
一种城市智能虚拟成像系统,包括:数据采集模块、图像处理模块、智能融合模块和全息成像模块四部分。
数据采集模块,包括远景摄像装置9和近景摄像装置10。其中,远景摄像装置9利用固定无人机或直升机上的拍摄装置,以获取待测城市的多角度的倾斜多角度的空中图像,近景摄像装置10利用固定于街道指定区域和利用车载移动的拍摄装置,获取城市街景的地面图像。
图像处理模块,包括图像拼接模块11和图像储存单元12。采用所述远景摄像装置9和近景摄像装置10在第一扫描周期内以相对静止状态的旋转拍摄尽可能多的不同图像信息,将同一地点的多个图片拼接组成全息照片,然后图像拼接模块11采用纠正旋转角度、柱面投影、平移对齐一系列图像拼接技术将多个全息照片组成一个电子沙盘,制作成的图像初始模板,将所述图像初始模板储存于图像储存单元12,然后通过固定于街道指定区域的近景摄像装置10获取实时新图像信息,与图像初始模板对比相同区域的特征点作为对比,替换不同特征点区域的所有像素点,更新合成新的实时图像。通过固定于重点区域的摄像头实时更新局部重点位置的全息图片,只需要较小的计算处理,及时更新城市的三维图像,解决了现有建模方法中的实时性较差的问题。
智能融合模块,包括场景模拟装置13和信息模型构建装置14;场景模拟装置13为实时图像相融合、构建的三维地形、天气信息的特效信息,采用空间环境光遮蔽特性,模拟烟雾、雨水、闪电、天空在内的若干画面,根据具体时间和实际天气情况调整光影,设置天空纹理和雾气颜色,以及云朵的位置、密度、移动速度。信息模型构建装置14用于配置实时图像配置地理信息、位置信息、空间类别信息的信息模型构建装置14,作为音频信息存储。可以在VR体验时作为一个讲解器,实时讲解,体验城市的人文风光。
全息成像模块,具体可以为沉浸式体验的VR眼镜15、桌面式VR图像或屏幕式VR投影16三种模式。
一种城市智能虚拟成像系统的建模方法,具体建模方法为:
步骤一、采用无人机或直升机搭载的远景摄像装置9完成城市指定区域的远景环形全息照片,作为背景框架;
步骤二、根据用车载移动搭载近景摄像装置10,对城市具体街景进行高精度建模,并制作三维电子沙盘,在根据作为图像初始模板;
步骤三、根据固定分布于街道指定区域近景摄像装置10对三维电子沙盘图像进行细化、优化,并实现对指定区域图像的实时更新;
步骤四、场景模拟装置13采用空间环境光遮蔽特性,模拟烟雾、雨水、闪电、天空在内的若干画面,根据具体时间和实际天气情况调整光影,设置天空纹理和雾气颜色,以及云朵的位置、密度、移动速度;
步骤五、信息模型构建装置14构建相关场景位置的置地理信息、位置信息、空间类别信息作为音频信息储存;
步骤六、使用者将智能手机放置与VR眼镜15上,并佩戴VR眼镜15,通过WiFi设置将图像信息传输至智能手机上,通过智能手机上面的VR屏幕功能播放图像,实现图像的播放。
其中,针对本设计的VR成像的拍摄和投影设备,提供不同于现有技术的另一种计算量较小的计算方法来实现所述图像处理模块处理和拼接同一地点的全息照片,具体的方法为:
步骤一、CCD摄像单元采集指定区域的街景的光场内的全光函数,具体为:
其中,为光场内的任意一点的实际位置坐标;为目标场景任意点与CCD摄像单元,分别在东西和南北两个方向上的夹角;γ为光线的波长,t为光线从目标场景任意点到CCD摄像单元的时间,可进一步计算出目标场景任意点与CCD摄像单元之间的距离;
步骤二、CCD摄像单元位于同一位置,拍摄不同角度图像,生成相对应的图像,并将信息传输至图像处理模块;
步骤三、图像处理模块将每个图像沿横向等距离分割多个图像元,得到图像元阵列,对比每个CCD摄像单元旋转角度和相邻多个图像之间重合度确定每个图像元的标准权重(取值为1、0.50、0.33、0.25、0.20……),得到每个图像的权重阵列;
步骤四、由于反光镜3在竖直方向上处于匀速旋转运动时,图像在水平、竖直方向上的偏移忽略不计,标准权重阵列即为修正权重阵列;
步骤五、然后通过修正权重阵列的转置阵列和图像元阵列相乘得到新像素点阵列,由不同图像的新的图像元阵列累加组合组成的新的图像元,最后将新的图像即为环形全息照片。
采用上述方法处理和拼接全息照片时,由于反光镜3的一直与水平方向呈45°角度匀速旋转,故在水平、和竖直方向上的畸变几乎可以忽略不计,大大减少了图像处理、计算的一些预处理计算量,具体为图像旋转对齐、柱面投影等工序的计算量。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明对各种可能的组合方式不再另行说明。

Claims (7)

1.一种城市智能虚拟成像设备,其特征在于,包括:
拍摄装置,为采用单一采用鱼眼镜头的CCD摄像机扫描,其包括固定安装无人机、直升机、指定区域或车载平台上的旋转云台,竖直放置与所述旋转云台下方的CCD摄像单元,以及固定安装在所述旋转云台上、且与所述CCD摄像单元的镜头方向成45°夹角的反光镜;
图像处理器,主要为计算机处理器,包括用于第一次场景建模图像初始模板时的高性能计算机和后期图像加工的普通PC端,以及WiFi通讯器;
投影装置,为沉浸式体验的VR眼镜,其包括与佩戴者人脸外表面相贴合的眼镜支架,固定在所述眼镜支架上的两个凸透镜镜片,与所述眼镜支架之间留有预定间隙的智能手机支架,位于所述眼镜支架和智能手机支架之间底部连接处、用于放置于所述智能手机支架上的智能手机的手机放置槽,以及连接所述眼镜支架与智能手机支架之间、用于调整两者之间预留距离的调节锁扣。
2.根据权利要求1所述的城市智能虚拟成像设备,其特征在于,所述旋转云台包括:由若干型材组成、并与所述无人机、直升机、指定区域或车载平台相固定的机架,固定安装在所述机架上的底盘,焊接在所述底盘上的电机安装座,设置于所述电机安装座内的伺服电机,通过减速齿轮组与所述伺服电机输出轴相连接、截面形状为“︿”的曲轴,其两侧的夹角为135°;与所述曲轴相连接的连接杆,固定安装在所述电机安装座两侧的第一固定框,通过销轴与所述第一固定框的底部转动连接的第二固定框,固定安装在所述第二固定框内、且贯穿所述连接杆的限位杆,以及与所述连接杆固定连接的真空吸盘;其中,反光镜固定安装在所述真空吸盘上,固定处位于所述CCD摄像单元延长线与转轴的交点。
3.根据权利要求1所述的城市智能虚拟成像设备,其特征在于,所述投影装置还可为屏幕式VR投影,其具体为台上电脑或大屏显示器;其中,观光体验用的大屏显示器为全景VR投影放映厅,具体包括投影室,覆盖于所述投影室墙壁内部的全息投影膜,以及设置在设置早上投影室中心位置的球形多角度投影单元;所述投影单元至少设置有六个投影仪,分别面向投影室的六个面。
4.一种城市智能虚拟成像系统,其特征在于,包括:
数据采集模块,基于权利要求1或2所述的城市智能虚拟成像设备中的拍摄装置;其包括利用无人机或直升机获取待测城市的多角度的倾斜多角度图像的空中远景摄像装置、固定分布于街道指定区域和利用车载移动获取周边地面图像的近景摄像装置两部分;
图像处理模块,基于权利要求1所述的城市智能虚拟成像设备中的图像处理器;其包括采用所述远景摄像装置和近景摄像装置在第一扫描周期内以相对静止状态的旋转拍摄所得到的图像信息,采用纠正旋转角度、柱面投影、平移对齐一系列图像拼接技术的图像拼接模块,采用图像拼接模块制作成的图像初始模板,用于所图像初始模板对比的图像储存单元,通过固定于街道指定区域的近景摄像装置获取实时新图像信息,与图像初始模板对比相同特征向量作为对比,替换不同特征向量区域的所有像素点,合成新的实时图像;
智能融合模块,基于权利要求1所述的城市智能虚拟成像设备中的图像处理器;其包括为实时图像相融合、构建的三维地形、人/车流量、天气信息的特效信息的场景模拟装置,设置在重点建筑物内部的近景拍摄装置,通过图像处理模块后融合至实时图像上的建筑内部成像装置,以及用于配置实时图像配置地理信息、位置信息、空间类别信息的信息模型构建装置,作为音频信息存储;
全息成像模块,基于权利要求1或3所述的城市智能虚拟成像设备中的投影装置;具体为沉浸式VR眼镜、桌面式VR图像或屏幕式VR投影三种模式。
5.一种城市智能虚拟成像系统的建模方法,其特征在于,基于权利要求4所述的城市智能虚拟成像系统,具体建模方法为:
步骤一、采用无人机或直升机搭载的远景摄像装置完成城市指定区域的远景环形全息照片,作为背景框架;
步骤二、根据用车载移动搭载近景摄像装置,对城市具体街景进行高精度建模,并制作成三维电子沙盘,即为图像初始模板;
步骤三、根据固定分布于街道指定区域近景摄像装置对三维电子沙盘图像进行细化、优化,并实现对指定区域图像的实时更新;
步骤四、场景模拟装置采用空间环境光遮蔽特性,模拟烟雾、雨水、闪电、天空在内的若干画面,根据具体时间和实际天气情况调整光影,设置天空纹理和雾气颜色,以及云朵的位置、密度、移动速度;
步骤五、信息模型构建装置构建相关场景位置的置地理信息、位置信息、空间类别信息作为音频信息储存;
步骤六、使用者将智能手机放置于VR眼镜上,并佩戴VR眼镜,通过WiFi通讯器将图像信息传输至智能手机上,通过智能手机上面的VR屏幕功能播放图像,实现图像的播放。
6.根据权利要求5所述的城市智能虚拟成像系统的建模方法,其特征在于,所述图像处理模块处理和拼接单一地点的图像,合成全息照片的方法:
步骤一、CCD摄像单元采集指定区域的街景的光场内的全光函数,具体为,
其中,为光场内的任意一点的实际位置坐标;为目标场景任意点与CCD摄像单元,分别在东西和南北两个方向上的夹角;γ为光线的波长,t为光线从目标场景任意点到CCD摄像单元的时间,可进一步计算出目标场景任意点与CCD摄像单元之间的距离;
步骤二、CCD摄像单元位于同一位置,拍摄不同角度图像,生成相对应的图像,并将信息传输至图像处理模块;
步骤三、图像处理模块将每个图像沿横向等距离分割多个图像元,得到图像元阵列,对比每个CCD摄像单元旋转角度和相邻多个图像之间重合度确定每个图像元的标准权重,得到每个图像的权重阵列;
步骤四、由于反光镜在竖直方向上处于匀速旋转运动时,图像在水平、竖直方向上的偏移忽略不计,采用权利要求1或2所述的城市智能虚拟成像设备中的拍摄装置时,步骤三中的标准权重阵列即为修正权重阵列;
步骤五、然后通过修正权重阵列的转置阵列和图像元阵列相乘得到新像素点阵列,由不同图像的新的图像元阵列累加组合组成的新的图像元,最后将新的图像即为环形全息照片。
7.根据权利要求5所述的城市智能虚拟成像系统的建模方法,其特征在于,所述图像处理器在处理和拼接多个全息照片时采用纠正旋转角度、柱面投影、平移对齐的图像拼接技术的图像拼接,制作成的图像初始模板。
CN201910534524.1A 2019-06-20 2019-06-20 一种城市智能虚拟成像设备、成像系统及其建模方法 Withdrawn CN110225328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910534524.1A CN110225328A (zh) 2019-06-20 2019-06-20 一种城市智能虚拟成像设备、成像系统及其建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910534524.1A CN110225328A (zh) 2019-06-20 2019-06-20 一种城市智能虚拟成像设备、成像系统及其建模方法

Publications (1)

Publication Number Publication Date
CN110225328A true CN110225328A (zh) 2019-09-10

Family

ID=67814132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910534524.1A Withdrawn CN110225328A (zh) 2019-06-20 2019-06-20 一种城市智能虚拟成像设备、成像系统及其建模方法

Country Status (1)

Country Link
CN (1) CN110225328A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游系统

Similar Documents

Publication Publication Date Title
CN101000461B (zh) 一种鱼眼图像生成立方体全景的方法
CN106296783B (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
CN105929539B (zh) 汽车3d影像采集和裸眼3d平视显示系统
CN107367265A (zh) 一种用于航空器的反射式单镜头转盘倾斜摄影装置
US20140132598A1 (en) Method of mapping image information from one face onto another continous face of different geometry
CN110248079A (zh) 一种全景图像生成系统及全景图像生成方法
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
CN106921824A (zh) 环绕式混合光场成像装置及方法
CN114125310B (zh) 拍照方法、终端设备及云端服务器
CN109769111A (zh) 图像显示方法、装置、系统、存储介质和处理器
CN104463956B (zh) 一种月表虚拟场景构建方法及装置
CN107862718A (zh) 4d全息视频捕捉方法
CN109889814A (zh) 非固定全景视频对虚拟现实头戴原生实时视频直播方法
CN105141941A (zh) 一种数字全景3d影片制作的方法及系统
CN108401551B (zh) 双镜头微光立体全景成像装置及其超大视场测距方法
CN207115502U (zh) 一种鱼眼全景镜头的标定装置
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
CN114332422A (zh) 一种基于ar技术的虚拟空间互动方法、编辑更新方法、系统、电子设备和可读存储介质
CN208567886U (zh) 一种基于倾斜摄影模型的三维实景数字地图测量设备
CN110225328A (zh) 一种城市智能虚拟成像设备、成像系统及其建模方法
CN113941138A (zh) 一种ar交互控制系统、装置及应用
CN210093397U (zh) 一种城市智能虚拟成像设备及其成像系统
CN111667591B (zh) 基于全景摄影的虚拟现实融合方法
CN107948488A (zh) 移动终端与镜头组件配合实现全景拍摄的方法和镜头组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190910