CN105357423A - 一种基于微振的多目高清成像装置 - Google Patents

一种基于微振的多目高清成像装置 Download PDF

Info

Publication number
CN105357423A
CN105357423A CN201510756402.9A CN201510756402A CN105357423A CN 105357423 A CN105357423 A CN 105357423A CN 201510756402 A CN201510756402 A CN 201510756402A CN 105357423 A CN105357423 A CN 105357423A
Authority
CN
China
Prior art keywords
imaging
module
optical system
image
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510756402.9A
Other languages
English (en)
Inventor
吕绍杰
张永华
叶旭鸣
付玉建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN201510756402.9A priority Critical patent/CN105357423A/zh
Publication of CN105357423A publication Critical patent/CN105357423A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明公开了一种基于微振的多目高清成像装置，其包括：光学系统模块、成像电路处理模块和微振动结构模块；微振动结构模块连接光学系统模块，用于在光学系统模块成像过程中对光学系统模块产生微振动，成像电路处理模块接收光学系统模块所成图像并对图像进行处理和重建高清图像视频帧。本发明利用类复眼光学结构，克服高分辨率成像器制作困难，降低成本；利用多相机获取同场景的时空信息，增加所获场景图像的细节信息；利用不同视频图像间亚像素级互补信息和超分辨率重建算法，提高视频图像的分辨率和图像质量；利用时序控制电路控制多相机独立成像，提高重建视频帧图像的采样帧率；利用微振实现单成像器多次图像，减少系统复杂度，降低成本。

Description

一种基于微振的多目高清成像装置
技术领域
本发明属于数字图像处理领域，涉及一种基于微振的多目高清成像装置，即利用多相机构造类复眼光学系统和系统的微小振动在临近图像之间的亚像素像移重构高分辨率图像帧。
背景技术
数字成像设备不仅广泛使用到数字电视、网络播放、视频监控、医学诊断、交通管理等日常生活中，也广泛应用到天文探测、宇航、遥感、制导、预警等军事和科研领域中，且成为不可缺少的一项技术。为了能从图像视频中获取更多场景或目标的细节信息和动态信息，就迫切需要提高图像视频的空间分辨率和时间分辨率。
但是，任何视频摄像设备均具有一定的空间和时间分辨率，空间分辨率主要取决于光电传感器件的空间分布密度和空间点扩散函数，而时间分辨率主要取决于传感器件的采样帧率和曝光时间。也就是说受成像系统物理条件和拍摄环境等影响，实际得到的图像质量差、分辨率低。要提高图像的分辨率可以通过减小像素尺寸、增加芯片规模、改变探测元排列方式和超分辨率图像重建几种方式。提高工艺水平，减小探测元尺寸，增加CCD相机探测元密度，虽然可以达到减小像素尺寸和提高图像分辨率的目的，但这同时会使每个像素获得的光照减少，相应地使曝光噪声更加明显，引起图像质量恶化，因此像素尺寸不可能无限地减小。如果像素尺寸难以减小，则另一种提高分辨率的方法就是增加成像芯片的尺寸，以增加成像的总像素数，但这又会导致电容增大，影响电荷交换速度，因而也不那么有效。一个光学成像系统存在一个不导致曝光噪声退化的最优像素尺寸，目前成像系统几乎都达到了这个最小像素尺寸，要进一步减小像素尺寸，技术和经济成本都要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式、或六边形排列，虽然可将图像空间分辨率分别提高倍、2倍或倍，但通过改变探测元排列提高分辨率非常有限，而且对于一般的图像应用，根据需要随时去调整探测元排列方式也不一定可行。
在数字成像中，成像器在成像过程中受到内外等各种因素的影响造成图像分辨率下降，严重时视频会出现图像模糊和大量噪声干扰，这不利于图像的细节信息获取和使用。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：提供一种基于微振的多目高清成像装置，充分利用多相机构造类复眼光学系统模块和系统的微小振动在临近图像之间的亚像素像移，以避免成像过程中内外因素影响所带来的图像分辨率下降、图像模糊、噪声干扰的现象。
(二)技术方案
为了解决上述技术问题，本发明提供一种基于微振的多目高清成像装置，其包括：光学系统模块、成像电路处理模块和微振动结构模块；微振动结构模块连接光学系统模块，用于在光学系统模块成像过程中对光学系统模块产生微振动，成像电路处理模块接收光学系统模块所成图像并对图像进行处理和重建高清图像视频帧。
其中，所述光学系统模块为由多个相机排列形成的复眼结构，多个相机的排列规则满足每个相机对同一场景成像；相机包括光学组件和CCD传感器。
其中，所述成像电路处理模块中，对应每个相机的CCD传感器设置一个CCD驱动电路，时序控制器根据预设的控制时序通过CCD驱动电路启动其对应的CCD传感器成像，每个CCD传感器连接其对应的图像预处理模块，预处理模块连接其对应的数据缓存区，时序控制器对图像预处理模块和数据缓存区进行时序控制，多个数据缓存区连接数据处理单元；成像电路处理模块在接收到外部脉冲触发时，时序控制电路依次控制启动各个CCD传感器成像；成像同时，CCD驱动电路启动光电信号转换，把光信号转换成电信号并通过电荷转移电路和图像预处理模块将数据输出至数据缓存区，进一步由数据处理单元根据所接收数字图像，在多个视频序列中提取特征点并根据相似性原则进行特征点匹配，进一步运用RANSAC鲁棒估计方法估计视频间的时空配准参数建立图像帧间映射关系，再用超分辨率重建方法重建出高分辨率图像帧。
其中，所述微振动结构模块包括固定杆和风轮，固定杆垂直于光学系统面沿光学系统模块轴心设置；成像电路处理模块固定在以固定杆为中心的圆面上，位于成像系统后部；风轮固定在固定杆上并位于成像电路处理模块后部，风轮在加电时高速旋转，产生的风对前方光学系统模块降温减小热噪声对成像的干扰，同时风轮高速旋转产生的高频振动使光学系统模块产生微小像移，数据处理单元可依据这个微小偏移量重建高清图像视频帧。
(三)有益效果
上述技术方案所提供的基于微振的多目高清成像装置，充分利用了类复眼光学结构，克服了高分辨率成像器制作工艺困难问题，降低了成本；充分利用了多相机获取同场景的时空信息，增加了所获场景图像的细节信息；充分利用了不同视频图像间亚像素级互补信息和超分辨率重建算法，提高了视频图像的分辨率和图像质量；充分利用了时序控制电路控制多相机独立成像，提高了重建视频帧图像的采样帧率；充分利用了系统的微小振动构造单成像器在一段时间内对同一场景多次成低分辨率图像，减少了系统的结构复杂度和降低了成本。
附图说明
图1是本发明实施例中类复眼光学系统模块示意图。
图2是本发明实施例基于微振的多目高清成像装置的原理示意图。
图3本发明实施例基于微振的多目高清成像装置中微振动结构模块示意图
图4是本发明实施例基于微振的多目高清成像装置结构分解示意图。
图中，1-相机，2-成像电路处理模块，3-风轮，4-固定杆。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为了实现本发明的目的，参照图1至图4所示，本实施例基于微振的多目高清成像装置包括光学系统模块、成像电路处理模块和微振动结构模块，光学系统模块用于实现多目成像，微振动结构模块连接光学系统模块，用于在光学系统模块成像过程中对光学系统模块产生微振动，成像电路处理模块接收光学系统模块所成图像并对图像进行处理和重建高清图像视频帧。
其中，如图1所示，光学系统模块为由多个相机1排列形成的复眼结构，多个相机1的排列规则满足每个相机对同一场景成像。复眼结构的设计来源于动物的复眼原理，复眼是由许多规则的六边形小眼面组合而成，每个小眼面在光学上相当于一个小透镜，每个小眼面代表一个小眼，每只小眼紧密排列，并自成一体，是一个独立的视觉功能单元。
相机1包括光学组件和CCD传感器，光学组件主要是光学镜头，图1所示的示例中给出了七个光学参数不同，主要是焦距不同，的光学镜头装配成一个类似复眼的光学系统模块，且调整参数使每个镜头的视场角覆盖同一场景。
如图2所示，成像电路处理模块中，对应每个相机的CCD传感器设置一个CCD驱动电路，时序控制器根据预设的控制时序通过CCD驱动电路启动其对应的CCD传感器成像，每个CCD传感器连接其对应的图像预处理模块，预处理模块连接其对应的数据缓存区，时序控制器对图像预处理模块和数据缓存区进行时序控制，多个数据缓存区连接数据处理单元；成像电路处理模块在接收到外部脉冲触发时，时序控制电路依次控制启动各个CCD传感器成像，也就是说每个CCD传感器成像触发存在微小的时间偏差，非同步触发成像；成像电路处理模块在接收到外部脉冲触发时，CCD驱动电路就会启动光电信号转换，把光信号转换成电信号并通过电荷转移电路和图像预处理模块等处理将数据输出至数据缓存区，进一步由数据处理单元根据所接收数字图像，在多个视频序列中提取特征点并根据相似性原则进行特征点匹配，并运用RANSAC鲁棒估计方法估计视频间的时空配准参数建立图像帧间映射关系，再用超分辨率重建方法重建出高分辨率图像帧。
成像电路处理模块充分利用了外部脉冲触发和电路时序控制，每个相机具有独立的驱动电路和图像预处理模块，时序发生器控制整个系统的成像时序，提高了重建视频帧图像的采样帧率。
如图3和图4所示，微振动结构模块包括固定杆4和风轮3，固定杆4垂直于光学系统面沿光学系统模块轴心设置，并延长至装置尾部，成像电路处理模块2通过滚轴等固定装置固定在以固定杆4为中心的圆面上，位于成像系统后部，风轮3固定在固定杆4上并位于成像电路处理模块2后部，风轮3在加电时高速旋转，产生的风对前方光学系统模块降温减小热噪声对成像的干扰，同时风轮3高速旋转产生的高频振动使光学系统模块产生微小像移，数据处理单元可依据这个微小偏移量重建高清图像视频帧。
由上述技术方案可以看出，本发明具有以下显著特点：
(1)充分利用了类复眼光学结构，克服了高分辨率成像器制作工艺困难问题，降低了成本；
(2)充分利用了多相机获取同场景的时空信息，增加了所获场景图像的细节信息；
(3)充分利用了不同视频图像间亚像素级互补信息和超分辨率重建算法，提高了视频图像的分辨率和图像质量；
(4)充分利用了时序控制电路控制多相机独立成像，提高了重建视频帧图像的采样帧率；
(5)充分利用了系统的微小振动构造单成像器在一段时间内对同一场景多次成低分辨率图像，减少了系统的结构复杂度和降低了成本。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于微振的多目高清成像装置，其特征在于，包括：光学系统模块、成像电路处理模块和微振动结构模块；微振动结构模块连接光学系统模块，用于在光学系统模块成像过程中对光学系统模块产生微振动，成像电路处理模块接收光学系统模块所成图像并对图像进行处理和重建高清图像视频帧。
2.如权利要求1所述的基于微振的多目高清成像装置，其特征在于，所述光学系统模块为由多个相机排列形成的复眼结构，多个相机的排列规则满足每个相机对同一场景成像；相机包括光学组件和CCD传感器。
3.如权利要求2所述的基于微振的多目高清成像装置，其特征在于，所述成像电路处理模块中，对应每个相机的CCD传感器设置一个CCD驱动电路，时序控制器根据预设的控制时序通过CCD驱动电路启动其对应的CCD传感器成像，每个CCD传感器连接其对应的图像预处理模块，预处理模块连接其对应的数据缓存区，时序控制器对图像预处理模块和数据缓存区进行时序控制，多个数据缓存区连接数据处理单元；成像电路处理模块在接收到外部脉冲触发时，时序控制电路依次控制启动各个CCD传感器成像；成像同时，CCD驱动电路启动光电信号转换，把光信号转换成电信号并通过电荷转移电路和图像预处理模块将数据输出至数据缓存区，进一步由数据处理单元根据所接收数字图像，在多个视频序列中提取特征点并根据相似性原则进行特征点匹配，进一步运用RANSAC鲁棒估计方法估计视频间的时空配准参数建立图像帧间映射关系，再用超分辨率重建方法重建出高分辨率图像帧。
4.如权利要求3所述的基于微振的多目高清成像装置，其特征在于，所述微振动结构模块包括固定杆和风轮，固定杆垂直于光学系统面沿光学系统模块轴心设置；成像电路处理模块固定在以固定杆为中心的圆面上，位于成像系统后部；风轮固定在固定杆上并位于成像电路处理模块后部，风轮在加电时高速旋转，产生的风对前方光学系统模块降温减小热噪声对成像的干扰，同时风轮高速旋转产生的高频振动使光学系统模块产生微小像移，数据处理单元可依据这个微小偏移量重建高清图像视频帧。
CN201510756402.9A 2015-11-06 2015-11-06 一种基于微振的多目高清成像装置 Pending CN105357423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510756402.9A CN105357423A (zh) 2015-11-06 2015-11-06 一种基于微振的多目高清成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510756402.9A CN105357423A (zh) 2015-11-06 2015-11-06 一种基于微振的多目高清成像装置

Publications (1)

Publication Number Publication Date
CN105357423A true CN105357423A (zh) 2016-02-24

Family

ID=55333277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510756402.9A Pending CN105357423A (zh) 2015-11-06 2015-11-06 一种基于微振的多目高清成像装置

Country Status (1)

Country Link
CN (1) CN105357423A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019887A1 (en) * 2004-06-30 2007-01-25 Oscar Nestares Computing a higher resolution image from multiple lower resolution images using model-base, robust bayesian estimation
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101217625A (zh) * 2008-01-11 2008-07-09 清华大学 超分辨率成像的装置及方法
CN102457683A (zh) * 2010-11-03 2012-05-16 索尼公司 透镜和颜色过滤器布置、超分辨率相机系统及方法
CN102739980A (zh) * 2011-04-12 2012-10-17 索尼公司 图像处理设备、图像处理方法和程序
CN104902167A (zh) * 2015-03-10 2015-09-09 华中科技大学 一种高速图像采集处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019887A1 (en) * 2004-06-30 2007-01-25 Oscar Nestares Computing a higher resolution image from multiple lower resolution images using model-base, robust bayesian estimation
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101217625A (zh) * 2008-01-11 2008-07-09 清华大学 超分辨率成像的装置及方法
CN102457683A (zh) * 2010-11-03 2012-05-16 索尼公司 透镜和颜色过滤器布置、超分辨率相机系统及方法
CN102739980A (zh) * 2011-04-12 2012-10-17 索尼公司 图像处理设备、图像处理方法和程序
CN104902167A (zh) * 2015-03-10 2015-09-09 华中科技大学 一种高速图像采集处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932453A (zh) * 2020-07-20 2020-11-13 合肥富煌君达高科信息技术有限公司 高分辨率图像生成方法及集成该方法的高速相机

Similar Documents

Publication Publication Date Title
Yuan et al. Plug-and-play algorithms for video snapshot compressive imaging
US10218923B2 (en) Methods and apparatus for pixel binning and readout
US11042770B2 (en) Artificial intelligence based image data processing method and image sensor
US9124808B2 (en) Foveated imaging system and method
US11019287B2 (en) Semi-global shutter imager
Antipa et al. Video from stills: Lensless imaging with rolling shutter
US8605177B2 (en) Image sensor with wide dynamic range
US10846551B2 (en) Video data processing
US10225441B2 (en) Time delay and integration (TDI) imaging sensor and method
US20200160110A1 (en) Method and System for Object Tracking and Recognition Using Low Power Compressive Sensing Camera in Real-Time Applications
Tambe et al. Towards motion aware light field video for dynamic scenes
US20190114750A1 (en) Color Correction Integrations for Global Tone Mapping
CN105282402A (zh) 一种基于多相机提高图像帧频和分辨率的方法
CN110880163A (zh) 一种基于深度学习的弱光彩色成像方法
CN104376547A (zh) 运动模糊图像复原方法
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
Zhao et al. Reconstructing clear image for high-speed motion scene with a retina-inspired spike camera
CN110414558A (zh) 基于事件相机的特征点匹配方法
CN103595922A (zh) 一种基于电子快门曝光编码的成像方法
KR20190064882A (ko) 딥러닝 기반 차량용 영상 처리 방법
CN105357423A (zh) 一种基于微振的多目高清成像装置
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
Llull et al. Compressive sensing for video using a passive coding element
CN110493516A (zh) 一种异速像移补偿装置及系统
Spinoulas et al. Video compressive sensing with on-chip programmable subsampling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160224