CN105407272A - 一种延长高速相机拍摄时长的方法 - Google Patents

一种延长高速相机拍摄时长的方法 Download PDF

Info

Publication number
CN105407272A
CN105407272A CN201510717618.4A CN201510717618A CN105407272A CN 105407272 A CN105407272 A CN 105407272A CN 201510717618 A CN201510717618 A CN 201510717618A CN 105407272 A CN105407272 A CN 105407272A
Authority
CN
China
Prior art keywords
image
speed camera
flags
matrix
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510717618.4A
Other languages
English (en)
Other versions
CN105407272B (zh
Inventor
王斌
盖文
顾正华
韩杰
郭守春
宋巍巍
祝汝松
陈天毅
黄威凯
顾光武
王飞
林辰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Equipment Design & Test Technology Cardc
Original Assignee
Institute Of Equipment Design & Test Technology Cardc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Equipment Design & Test Technology Cardc filed Critical Institute Of Equipment Design & Test Technology Cardc
Priority to CN201510717618.4A priority Critical patent/CN105407272B/zh
Publication of CN105407272A publication Critical patent/CN105407272A/zh
Application granted granted Critical
Publication of CN105407272B publication Critical patent/CN105407272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种延长高速相机拍摄时长的方法，包括如下步骤：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。本发明方法的算法简单、容易硬件实现，在高速摄像机端只需执行像素丢弃操作，通过微小的硬件或软件改动，即可在现有高速相机中实现延长高速相机拍摄时长。

Description

一种延长高速相机拍摄时长的方法
技术领域
本发明涉及一种高速成像技术，特别是涉及一种延长高速相机拍摄时长的方法。
背景技术
在空气动力学、流体力学、爆炸力学等诸多学科研究领域中，通常需要使用高速摄像机观测快速变化的物理或化学现象。在实际应用中，受相机数据传输接口带宽限制，高速相机拍摄的海量图像数据只能存储于相机内存中。因内存成本较高，相机内存容量通常较小，难以实现大容量图像数据存储，从而导致无法长时间拍摄高分辨率视频。
在现有的高速成像技术中，为实现长时间拍摄，必须减小图像分辨率。如图1所示，现有高速相机普遍采用“thin-out”模式，在图像分辨率和拍摄时长之间折中。但是，这种以牺牲图像分辨率延长拍摄时间的thin-out模式，带来的直接后果是：过低的图像分辨率不但不能满足定量分析需求，而且难以满足视觉定性分析需要。
图像数据是高度冗余的，这决定了其具有可压缩性。通过图像压缩，可以在保证一定信息量前提下，大大降低图像数据量，以利于图像存储与传输。现有的图像压缩方法，多采用JPEG、MPEG、H.264等压缩格式。这些算法的优点是，能够极大降低图像数据量，但缺点是算法复杂非常高，需要采用专用硬件才能实现常规视频(1280*720，30fps)压缩，难以应用于高速相机等产生海量图像数据的设备中。
近期，得益于压缩传感理论的提出，压缩成像技术受到了学者们的广泛关注。它不同于现有图像压缩方法：先采样图像再压缩，而是直接在图像成像过程中进行压缩，以降低图像数据量。比如，2008年美国Rice大学研制了单像素相机，通过一个像素的多次成像，可以极低的数据量恢复出期望的图像。该方法的最大优点是，极大地降低了前端传感器制作成本。这类压缩成像方法的核心问题是：如何通过物理手段模拟压缩传感中的随机投影过程。但是，目前尚未找到行之有效的、可广泛应用的实现方法。
发明内容
本发明的目的是提供一种延长高速相机拍摄时长的方法，其算法简单，易于硬件实现，能够降低高速相机拍摄图像像素数量，提高相机内存存储视频帧数，进而延长高速相机拍摄时间。
为达到上述目的，本发明采用的技术方案是：
本发明的一种延长高速相机拍摄时长的方法，步骤如下：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。
相比现有图像或视频压缩技术，本发明提出的方法算法简单、容易硬件实现。因为，在摄像机端只需执行像素丢弃操作，通过微小的硬件或软件改动，即可在现有高速相机中实现。
图1为峰值信噪比对比结果；
图中，横坐标为图像压缩率，纵坐标为峰值信噪比；
图2为图像结构相似性对比结果；
图中，横坐标为图像压缩率，纵坐标为图像结构相似性。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例的一种延长高速相机拍摄时长的方法，包括如下步骤：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。
上述方法的具体实现流程如下：
1)在计算机端随机生成一个m*n大小的指示器(Flags)矩阵，其中m、n分别对应采集图像的高度和宽度，Flags矩阵元素取值为0或1，1表示保留该位置处像素，0表示丢弃该位置处像素；
2)在计算机端以Flags矩阵为参照，构建压缩图像修复查找表(Lookuptable，LUT)。从Flags矩阵左上角开始，按“Z”字型扫描方式，删除取值为0的元素，保留取值为1的元素，并记录该元素图像坐标，得到新的只包含1的元素序列，按照记录的元素图像坐标，构建元素序列到图像的坐标查找表LUT；
3)通过高速摄像机接口将Flags矩阵上传到高速摄像机中；
4)在图像采集过程中，根据Flags矩阵对采集图像进行压缩：从CCD或CMOS读出一行像素后，根据Flags矩阵中对应位置元素取值是否为0，丢失这些像素，得到新的一行图像数据，当完成一帧图像采集和压缩后，将该帧图像存入高速摄像机内存，在整个图像采集过程中，Flags矩阵保持不变；
5)通过高速摄像机数据接口，将采集图像数据传输到计算机，在计算机端，通过图像丢弃像素修复方法，补偿丢失像素，得到期望图像：根据LUT记录的像素图像坐标，将压缩后的图像数据在图像矩阵中重新排列，丢弃了的像素填充为0，得到原分辨率大小图像，然后采用“T.Chen，K.-K.Ma，andL.-H.Chen，Tri-statemedianfilterforimagedenoising，IEEETrans.ImageProcessing，vol.8，pp.1834-1838，Dec.1999”提出的选择中值滤波方法，修改其搜索窗口尺寸，进行自适应选择中值滤波，补偿在图像采集过程中丢弃的像素，得到期望图像。
本文采用Matlab平台进行模拟仿真验证，选用原子弹爆炸图像Image1进行测试，图像压缩率分别设定为5％-99％。并与Thin-out模式采集结果进行对比评估，为得到相同分辨率图像，采用双线性插值对Thin-out模式采集图像进行超分辨率增强。最后，采用峰值信噪比(PSNR)、图像结构相似性(SSIM)进行定量评估分析。由试验结果的照片容易看出，本发明实施例方法相比Thin-out模式采集图像更加清晰。定量分析结果，见附图1和2，也证实本发明实施例方法在图像信噪比和图像结构相似性上，比thin-out和双线性插值方法效果更好，其中TOM是指采用双线性插值对Thin-out模式采集图像进行增强的方法，BCI是指本发明提出的图像压缩与恢复方法；当图像压缩(compressratio)率达到99％时，Image1的峰值信噪比达(SSIM)到了25.6，当图像压缩率达到90％时，Image1的峰值信噪比(PSNR)达到了32.47。也就是说，采用本发明方法，在保证一定信噪比条件下，至少可以使高速相机存储图像数量增加10倍，拍摄时间延长10倍。
模拟仿真验证表明，该方法能够在不降低成像分辨率、并保证一定信噪比的前提下，以相同内存容量，使高速相机拍摄时长延长10倍以上。此外，该方法直接在成像过程中降低了图像数据量，它还具备在现有的图像数据传输带宽条件下，实现高速相机采集数据实时传输和存储的潜质。这意味着，与大容量硬盘阵列相结合，该方法能够以低成本方式实现长时物理或化学现象的连续观测。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种延长高速相机拍摄时长的方法，其特征在于，步骤如下：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。
2.根据权利要求1所述的一种延长高速相机拍摄时长的方法，其特征在于，所述图像压缩的过程为：
1)在计算机端随机生成一个m*n大小的指示器(Flags)矩阵，其中m、n分别对应采集图像的高度和宽度，Flags矩阵元素取值为0或1，1表示保留该位置处像素，0表示丢弃该位置处像素；
2)在计算机端以Flags矩阵为参照，构建压缩图像修复查找表(Lookuptable，LUT)。从Flags矩阵左上角开始，按“Z”字型扫描方式，删除取值为0的元素，保留取值为1的元素，并记录该元素图像坐标，得到新的只包含1的元素序列，按照记录的元素图像坐标，构建元素序列到图像的坐标查找表LUT；
3)通过高速摄像机接口将Flags矩阵上传到高速摄像机中；
4)在图像采集过程中，根据Flags矩阵对采集图像进行压缩：从CCD或CMOS读出一行像素后，根据Flags矩阵中对应位置元素取值是否为0，丢失这些像素，得到新的一行图像数据，当完成一帧图像采集和压缩后，将该帧图像存入高速摄像机内存，在整个图像采集过程中，Flags矩阵保持不变。
3.根据权利要求1或2所述的一种延长高速相机拍摄时长的方法，其特征在于，所述压缩图像重构的过程为：通过高速摄像机数据接口，将采集图像数据传输到计算机，在计算机端，通过图像丢弃像素修复方法，补偿丢失像素，得到期望图像：根据LUT记录的像素图像坐标，将压缩后的图像数据在图像矩阵中重新排列，丢弃了的像素填充为0，得到原分辨率大小图像，然后采用选择中值滤波方法，修改其搜索窗口尺寸，进行自适应选择中值滤波，补偿在图像采集过程中丢弃的像素，得到期望图像。
CN201510717618.4A 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法 Active CN105407272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510717618.4A CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510717618.4A CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Publications (2)

Publication Number Publication Date
CN105407272A true CN105407272A (zh) 2016-03-16
CN105407272B CN105407272B (zh) 2019-01-01

Family

ID=55472492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510717618.4A Active CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Country Status (1)

Country Link
CN (1) CN105407272B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600540A (zh) * 2017-01-15 2017-04-26 四川精目科技有限公司 一种分块rbf插值高速相机压缩图像重建方法
CN106780638A (zh) * 2017-01-15 2017-05-31 四川精目科技有限公司 一种高速相机压缩图像快速重建方法
CN106815816A (zh) * 2017-01-15 2017-06-09 四川精目科技有限公司 一种rbf插值高速相机压缩图像重建方法
CN106851322A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种分块最小二乘回归高速相机压缩图像重建方法
CN106851321A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种最小二乘回归高速相机压缩图像重建方法
CN107465879A (zh) * 2017-09-25 2017-12-12 成都精益技术检测服务有限公司 一种摄像机图像快速压缩方法
CN107509035A (zh) * 2017-09-25 2017-12-22 成都精益技术检测服务有限公司 一种摄像机时空域图像快速压缩方法
CN107509036A (zh) * 2017-09-25 2017-12-22 成都精工华耀机械制造有限公司 一种基于fpga的摄像机海量图像压缩方法
CN108259742A (zh) * 2018-01-12 2018-07-06 北京图森未来科技有限公司 一种图像采集方法和装置
CN110460746A (zh) * 2018-05-07 2019-11-15 马克西姆综合产品公司 用于具有行标记存储器的非对称图像分割器的系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592269A (zh) * 2012-01-11 2012-07-18 西安电子科技大学 基于压缩感知的目标重构方法
CN102868885A (zh) * 2012-08-27 2013-01-09 中国科学院长春光学精密机械与物理研究所 基于压缩感知的星上实时图像合成压缩系统
CN102970707A (zh) * 2012-12-20 2013-03-13 李惠 基于压缩感知的无线传输数据丢失恢复方法
US20150116563A1 (en) * 2013-10-29 2015-04-30 Inview Technology Corporation Adaptive Sensing of a Programmable Modulator System
CN104639873A (zh) * 2013-11-06 2015-05-20 北京航天长峰科技工业集团有限公司 一种准实时高清视频监控方法
CN104660269A (zh) * 2014-12-08 2015-05-27 中南大学 一种用于信号压缩感知的感知矩阵生成方法
US20150281543A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592269A (zh) * 2012-01-11 2012-07-18 西安电子科技大学 基于压缩感知的目标重构方法
CN102868885A (zh) * 2012-08-27 2013-01-09 中国科学院长春光学精密机械与物理研究所 基于压缩感知的星上实时图像合成压缩系统
CN102970707A (zh) * 2012-12-20 2013-03-13 李惠 基于压缩感知的无线传输数据丢失恢复方法
US20150116563A1 (en) * 2013-10-29 2015-04-30 Inview Technology Corporation Adaptive Sensing of a Programmable Modulator System
CN104639873A (zh) * 2013-11-06 2015-05-20 北京航天长峰科技工业集团有限公司 一种准实时高清视频监控方法
US20150281543A1 (en) * 2014-03-27 2015-10-01 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera
CN104660269A (zh) * 2014-12-08 2015-05-27 中南大学 一种用于信号压缩感知的感知矩阵生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王斌等: ""一种延长高速相机拍摄时长的压缩成像方法"", 《空气动力学会测控技术第六届第六次测控学术交流会论文集》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600540A (zh) * 2017-01-15 2017-04-26 四川精目科技有限公司 一种分块rbf插值高速相机压缩图像重建方法
CN106780638A (zh) * 2017-01-15 2017-05-31 四川精目科技有限公司 一种高速相机压缩图像快速重建方法
CN106815816A (zh) * 2017-01-15 2017-06-09 四川精目科技有限公司 一种rbf插值高速相机压缩图像重建方法
CN106851322A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种分块最小二乘回归高速相机压缩图像重建方法
CN106851321A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种最小二乘回归高速相机压缩图像重建方法
CN107465879A (zh) * 2017-09-25 2017-12-12 成都精益技术检测服务有限公司 一种摄像机图像快速压缩方法
CN107509035A (zh) * 2017-09-25 2017-12-22 成都精益技术检测服务有限公司 一种摄像机时空域图像快速压缩方法
CN107509036A (zh) * 2017-09-25 2017-12-22 成都精工华耀机械制造有限公司 一种基于fpga的摄像机海量图像压缩方法
CN108259742A (zh) * 2018-01-12 2018-07-06 北京图森未来科技有限公司 一种图像采集方法和装置
CN108259742B (zh) * 2018-01-12 2020-08-25 北京图森未来科技有限公司 一种图像采集方法和装置
CN110460746A (zh) * 2018-05-07 2019-11-15 马克西姆综合产品公司 用于具有行标记存储器的非对称图像分割器的系统和方法
CN110460746B (zh) * 2018-05-07 2024-03-08 马克西姆综合产品公司 用于具有行标记存储器的非对称图像分割器的系统和方法

Also Published As

Publication number Publication date
CN105407272B (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN105407272A (zh) 一种延长高速相机拍摄时长的方法
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
EP3319039A1 (en) A method and system for providing high resolution image through super-resolution reconstruction
CN107067380B (zh) 基于低秩张量和层次化字典学习的高分辨率图像重构方法
CN103413286B (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
Xiao et al. Space-time video super-resolution using temporal profiles
CN102881002B (zh) 基于运动信息和矩阵填充的视频背景恢复方法
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
CN113139898A (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN109255822A (zh) 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法
CN103167284A (zh) 一种基于画面超分辨率的视频流传输方法及系统
WO2022016350A1 (zh) 光场图像的处理方法、编码器、解码器及存储介质
CN112070677B (zh) 基于时间切片的视频时空超分辨率增强方法
CN102332153A (zh) 基于核回归的图像压缩感知重构方法
Thawakar et al. Image and video super resolution using recurrent generative adversarial network
WO2012147523A1 (ja) 撮像装置及び画像生成方法
CN104376547A (zh) 运动模糊图像复原方法
CN112949636A (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN106851321A (zh) 一种最小二乘回归高速相机压缩图像重建方法
CN109523508B (zh) 一种密集光场质量评价方法
CN107509019A (zh) 摄像设备、摄像方法及非瞬态计算机可读介质
CN112070669B (zh) 一种针对任意模糊核的超分辨率图像重建方法
CN117274067A (zh) 一种基于强化学习的光场图像盲超分辨处理方法与系统
CN106780638A (zh) 一种高速相机压缩图像快速重建方法
CN106600540A (zh) 一种分块rbf插值高速相机压缩图像重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant