CN110062142A - 一种高分辨率折反射全景视频采集与处理系统 - Google Patents

一种高分辨率折反射全景视频采集与处理系统 Download PDF

Info

Publication number
CN110062142A
CN110062142A CN201910321248.0A CN201910321248A CN110062142A CN 110062142 A CN110062142 A CN 110062142A CN 201910321248 A CN201910321248 A CN 201910321248A CN 110062142 A CN110062142 A CN 110062142A
Authority
CN
China
Prior art keywords
module
image acquisition
image
processing system
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910321248.0A
Other languages
English (en)
Inventor
张宁
高少华
徐熙平
陈君杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201910321248.0A priority Critical patent/CN110062142A/zh
Publication of CN110062142A publication Critical patent/CN110062142A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Abstract

本发明公开了一种高分辨率折反射全景视频采集与处理系统，包括成像模块和图像采集与处理模块，所述成像模块包括双曲面反射镜、成像透镜和图像传感器，所述图像采集与处理模块包括原始视频输出接口、存储模块A、视频输入接口、可编程逻辑门阵列、时钟模块、数字信号处理器、存储模块B、全景视频输出接口和电源模块，所述成像模块和图像采集与处理模块电连接。该系统仅用单个摄像头能实现水平360°，垂直80°高分辨率全景视频图像实时采集，并且能将采集到的环形图像实时展开成便于人眼观察的正常图像并显示。

Description

一种高分辨率折反射全景视频采集与处理系统
技术领域
本发明涉及图像采集与处理技术领域，尤其涉及一种全景视频采集与处理系统。
背景技术
普通摄像机的视野范围有限，只能捕获摄像机前方某一固定角度空间内的场景，无法顾及周围360°范围内发生的所有事件，不可避免出现盲区。全景成像技术能够在任一时间点同时感知360°范围内的场景信息，消除视觉盲区，因此已经在军事、视频监控、机器视觉等领域得到广泛应用。
全景成像技术主要包括：图像拼接全景成像技术、鱼眼全景成像技术、折反射全景成像技术。图像拼接全景成像技术需要拍摄多幅图像，通过图像拼接软件作后期处理以获得全景图像。鱼眼全景成像图像畸变严重，去畸变难度大。随着全景成像技术的应用领域的拓展，也要求全景成像系统向着便携式和小型化方向发展。折反射全景成像系统利用反射光学元件扩大成像系统的视场，可以一次获得全景图像，并且具有大于半球空间的视场、成本低、装置设计简单、利于小型化等优点。
折反射全景成像系统所获得的原始全向图像呈圆环型，存在畸变，不适合人眼直接观察，需要将其展开为符合人眼视觉的柱面全景图像。这是一个复杂的过程，需要对全向图像进行大量复杂的处理，对硬件平台的要求很高，因此目前已开发的折反射全景成像系统也多采用PC机进行处理，利用PC机丰富的资源和超强的运算能力，通过软件实现全景图像快速展开。但是，PC机存在体积大、可移动性差、功耗高等缺点，使得在要求小体积、低功耗、高移动性的场所，如装甲车辆侦察、机器人视觉系统等，无法运用。针对上述的情况，人们设计了嵌入式的折反射全景成像处理系统，其采用专用集成电路实现了折反射全景成像处理系统的微型化、便携化，使全景成像技术可以应用到更多的场合。但对于高分辨率折反射全景成像处理，其全景成像处理速度有限，难以达到视频帧速率的全景成像处理速度。
发明内容
针对现有高分辨率折反射全景成像处理技术中，图像处理速度难以达到视频帧速率的问题，本发明提供一种高分辨率折反射全景视频采集与处理系统，该系统仅用单个摄像头能实现水平360°，垂直80°高分辨率全景视频实时采集，并且能将采集到的环形视频实时展开成便于人眼观察的矩形视频并输出。
为了实现上述目的，本发明技术方案如下：
构建一种高分辨率全景视频图像采集与处理系统，包括成像模块和图像采集与处理模块，所述成像模块包括双曲面反射镜、成像透镜和图像传感器，所述图像采集与处理模块包括原始视频输出接口、存储模块A、视频输入接口、可编程逻辑门阵列、时钟模块、数字信号处理器、存储模块B、全景视频输出接口和电源模块，所述成像模块和图像采集与处理模块电连接。
进一步的，所述图像传感器像素不小于500万，帧率不小于25fps。
进一步的，所述视频输入接口为DVP接口，将环形图像数据传到可编程逻辑门阵列。
进一步的，所述原始视频输出接口为VGA接口，将采集到的环形全景图像直接输出。
进一步的，所述存储模块A由两块容量不小于250Mbit的SDRAM组成，用来乒乓存储采集到的原始环形全景视频数据。
进一步的，所述存储模块B容量不小于1Gbit，用于存储展开后的矩形全景视频数据。
进一步的，所述全景视频输出接口为以太网接口。
本发明的有益效果在于：该高分辨率全景视频图像采集与处理系统充分发挥可编程逻辑门阵列和数字信号处理器各自的优势，大幅提高了图像采集与处理速度，实现了单个摄像头对水平360°，垂直80°高分辨率全景视频图像实时采集，并且能将采集到的环形视频实时展开成便于人眼观察的正常视频并显示。
附图说明
图1为系统结构示意图。
图2为系统成像原理图。
具体实施方式
为了使本发明技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图1，一种高分辨率全景视频图像采集与处理系统，包括成像模块1和图像采集与处理模块2，所述成像模块1包括双曲面反射镜101、成像透镜102和图像传感器103，所述图像采集与处理模块2包括原始视频输出接口201、存储模块A202、视频输入接口203、可编程逻辑门阵列204、时钟模块205、数字信号处理器206、存储模块B 207、全景视频输出接口208和电源模块209，所述成像模块1和图像采集与处理模块2电连接。
参阅图2，水平方向360°范围内的光线经双曲面反射镜101反射，照射到下方成像透镜102上，光线经成像透镜102汇聚，在图像传感器103上成环形图像。
图像传感器103为豪威公司的OV5640，像素为500万，帧率为30fps。
视频输入接口203为DVP接口，通过该接口可将OV5640采集到的图像数据传给可编程逻辑门阵列204。
数字信号处理器206通过EMIFA和可编程逻辑门阵列204通信，可编程逻辑门阵列204将采集到的视频解码得到环形图像，并将环形图像发送到数字信号处理器206。数字信号处理器206将环形图像展开并进行去畸变处理。
所述可编程逻辑门阵列204为Xilinx公司的Spartan6XC6SLX16。存储模块A202由两块容量为256Mbit的SDRAM组成，所用SDRAM为海力士公司的HY57V2562。两块SDRAM乒乓存储采集到的原始环形全景视频数据。原始视频输出接口201为VGA接口，用于输出原始环形视频。
所述数字信号处理器206为TI公司的TMS320C6748，其主频为450M Hz。用于将环形视频展开成矩形视频。存储模块B 207采用容量为1Gbit的DDR2 SDRAM，型号为MT47H64M16HR，用于存储视频展开过程中的数据。全景视频输出接口208为以太网接口，用于输出展开后的矩形全景视频。
时钟模块205核心器件为有源晶振，为可编程逻辑门阵列204提供50M Hz的外部振荡源，为所述数字信号处理器206提供25M Hz的外部振荡源。可编程逻辑门阵列204和数字信号处理器206通过内部PPL倍频达到工作频率。
系统采用外部5V电源供电，电源模块209采用电源芯片LM26480，输出1.2V、1.8V、3.3V电压，给系统各个部分供电。
该高分辨率折反射全景视频采集与处理系统充分发挥可编程逻辑门阵列和数字信号处理器各自的优势，实现了单个摄像头对水平360°，垂直80°高分辨率全景视频实时采集，并且能将采集到的环形视频实时展开成便于人眼观察的矩形视频并输出。
以上内容结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而非限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (7)

1.一种高分辨率折反射全景视频图像采集与处理系统，其特征在于：包括成像模块和图像采集与处理模块；
所述成像模块包括双曲面反射镜、成像透镜和图像传感器；
所述图像采集与处理模块包括原始视频输出接口、存储模块A、视频输入接口、可编程逻辑门阵列、时钟模块、数字信号处理器、存储模块B、全景视频输出接口和电源模块；
所述成像模块和图像采集与处理模块电连接。
2.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述图像传感器像素不小于500万，帧率不小于25fps。
3.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述视频输入接口为DVP接口。
4.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述原始视频输出接口为VGA接口。
5.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述存储模块A由两块容量不小于250Mbit的SDRAM组成。
6.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述存储模块B容量不小于1Gbit。
7.根据权利要求1所述的高分辨率全景视频图像采集与处理系统，其特征在于：所述全景视频输出接口为以太网接口。
CN201910321248.0A 2019-04-25 2019-04-25 一种高分辨率折反射全景视频采集与处理系统 Pending CN110062142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321248.0A CN110062142A (zh) 2019-04-25 2019-04-25 一种高分辨率折反射全景视频采集与处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321248.0A CN110062142A (zh) 2019-04-25 2019-04-25 一种高分辨率折反射全景视频采集与处理系统

Publications (1)

Publication Number Publication Date
CN110062142A true CN110062142A (zh) 2019-07-26

Family

ID=67319956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321248.0A Pending CN110062142A (zh) 2019-04-25 2019-04-25 一种高分辨率折反射全景视频采集与处理系统

Country Status (1)

Country Link
CN (1) CN110062142A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929534A (zh) * 2021-01-22 2021-06-08 宁波山迪光能技术有限公司 一种全景周视监控记录仪及其应用

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870759A (zh) * 2005-05-26 2006-11-29 韩国科学技术院 用单个相机提供全景立体图像的设备
CN101963584A (zh) * 2010-08-25 2011-02-02 北京农业智能装备技术研究中心 基于双曲面反射镜的植物根系监测系统
CN102080969A (zh) * 2010-12-16 2011-06-01 哈尔滨工程大学 全景视觉测量系统安装位置快速校正装置
CN103051884A (zh) * 2013-01-14 2013-04-17 哈尔滨工程大学 一种粗精观察模式相结合的全方位视觉监视系统
CN103902028A (zh) * 2012-12-26 2014-07-02 夏普株式会社 输入设备、交互系统和输入方法
CN107613213A (zh) * 2017-10-25 2018-01-19 上海觉感视觉科技有限公司 一种嵌入式平台的智能相机及其图像数据传输方法
CN107738642A (zh) * 2017-11-15 2018-02-27 长春理工大学 一种基于折反全景相机的驾驶辅助系统
CN108093179A (zh) * 2018-01-11 2018-05-29 长春理工大学 一种高分辨率全景视频图像采集与处理系统
CN207677855U (zh) * 2018-01-11 2018-07-31 长春理工大学 一种高分辨率折反射全景视频图像处理系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870759A (zh) * 2005-05-26 2006-11-29 韩国科学技术院 用单个相机提供全景立体图像的设备
CN101963584A (zh) * 2010-08-25 2011-02-02 北京农业智能装备技术研究中心 基于双曲面反射镜的植物根系监测系统
CN102080969A (zh) * 2010-12-16 2011-06-01 哈尔滨工程大学 全景视觉测量系统安装位置快速校正装置
CN103902028A (zh) * 2012-12-26 2014-07-02 夏普株式会社 输入设备、交互系统和输入方法
CN103051884A (zh) * 2013-01-14 2013-04-17 哈尔滨工程大学 一种粗精观察模式相结合的全方位视觉监视系统
CN107613213A (zh) * 2017-10-25 2018-01-19 上海觉感视觉科技有限公司 一种嵌入式平台的智能相机及其图像数据传输方法
CN107738642A (zh) * 2017-11-15 2018-02-27 长春理工大学 一种基于折反全景相机的驾驶辅助系统
CN108093179A (zh) * 2018-01-11 2018-05-29 长春理工大学 一种高分辨率全景视频图像采集与处理系统
CN207677855U (zh) * 2018-01-11 2018-07-31 长春理工大学 一种高分辨率折反射全景视频图像处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929534A (zh) * 2021-01-22 2021-06-08 宁波山迪光能技术有限公司 一种全景周视监控记录仪及其应用

Similar Documents

Publication Publication Date Title
US9007431B1 (en) Enabling the integration of a three hundred and sixty degree panoramic camera within a consumer device case
CN105530418B (zh) 便携式电子设备，及其中的摄像结构
Gao et al. Review on panoramic imaging and its applications in scene understanding
Nayar Catadioptric omnidirectional camera
Nayar Omnidirectional video camera
US8908054B1 (en) Optics apparatus for hands-free focus
US20180052308A1 (en) Optical lens accessory for wide-angle photography
CN101004538A (zh) 无死角的全方位视觉传感器
CN105744137A (zh) 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统
US20160360121A1 (en) Portable device with successive extension zooming capability
CN103595903A (zh) 全景侦测传感器
KR101796539B1 (ko) 영상촬영장치 및 영상촬영방법
CN207677855U (zh) 一种高分辨率折反射全景视频图像处理系统
CN114693569A (zh) 双摄像头视频融合的方法和电子设备
TW201924316A (zh) 全景攝像機及其控制方法
Akin et al. Hemispherical multiple camera system for high resolution omni-directional light field imaging
CN110062142A (zh) 一种高分辨率折反射全景视频采集与处理系统
CN205792939U (zh) 用于全景摄像机的双鱼眼摄像装置
WO2016165644A1 (zh) 全景影像采集装置
CN102843505A (zh) 柱面全景摄像装置
CN107317958A (zh) 一种具有红外夜视搜索功能的警用执法仪
CN108093179A (zh) 一种高分辨率全景视频图像采集与处理系统
CN207677868U (zh) 一种高分辨率全景视频图像采集与处理系统
Tan et al. Multiview panoramic cameras using a mirror pyramid
CN102323713A (zh) 便携式360°环幕立体影院系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190726

WD01 Invention patent application deemed withdrawn after publication