CN105407272B - 一种延长高速相机拍摄时长的方法 - Google Patents

一种延长高速相机拍摄时长的方法 Download PDF

Info

Publication number
CN105407272B
CN105407272B CN201510717618.4A CN201510717618A CN105407272B CN 105407272 B CN105407272 B CN 105407272B CN 201510717618 A CN201510717618 A CN 201510717618A CN 105407272 B CN105407272 B CN 105407272B
Authority
CN
China
Prior art keywords
image
speed camera
high speed
flags
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510717618.4A
Other languages
English (en)
Other versions
CN105407272A (zh
Inventor
王斌
盖文
顾正华
韩杰
郭守春
宋巍巍
祝汝松
陈天毅
黄威凯
顾光武
王飞
林辰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Equipment Design & Test Technology Cardc
Original Assignee
Institute Of Equipment Design & Test Technology Cardc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Equipment Design & Test Technology Cardc filed Critical Institute Of Equipment Design & Test Technology Cardc
Priority to CN201510717618.4A priority Critical patent/CN105407272B/zh
Publication of CN105407272A publication Critical patent/CN105407272A/zh
Application granted granted Critical
Publication of CN105407272B publication Critical patent/CN105407272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种延长高速相机拍摄时长的方法，包括如下步骤：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。本发明方法的算法简单、容易硬件实现，在高速摄像机端只需执行像素丢弃操作，通过微小的硬件或软件改动，即可在现有高速相机中实现延长高速相机拍摄时长。

Description

一种延长高速相机拍摄时长的方法
技术领域
本发明涉及一种高速成像技术，特别是涉及一种延长高速相机拍摄时长的方法。
背景技术
在空气动力学、流体力学、爆炸力学等诸多学科研究领域中，通常需要使用高速摄像机观测快速变化的物理或化学现象。在实际应用中，受相机数据传输接口带宽限制，高速相机拍摄的海量图像数据只能存储于相机内存中。因内存成本较高，相机内存容量通常较小，难以实现大容量图像数据存储，从而导致无法长时间拍摄高分辨率视频。
在现有的高速成像技术中，为实现长时间拍摄，必须减小图像分辨率。如图1所示，现有高速相机普遍采用“thin-out”模式，在图像分辨率和拍摄时长之间折中。但是，这种以牺牲图像分辨率延长拍摄时间的thin-out模式，带来的直接后果是：过低的图像分辨率不但不能满足定量分析需求，而且难以满足视觉定性分析需要。
图像数据是高度冗余的，这决定了其具有可压缩性。通过图像压缩，可以在保证一定信息量前提下，大大降低图像数据量，以利于图像存储与传输。现有的图像压缩方法，多采用JPEG、MPEG、H.264等压缩格式。这些算法的优点是，能够极大降低图像数据量，但缺点是算法复杂非常高，需要采用专用硬件才能实现常规视频(1280*720，30@fps)压缩，难以应用于高速相机等产生海量图像数据的设备中。
近期，得益于压缩传感理论的提出，压缩成像技术受到了学者们的广泛关注。它不同于现有图像压缩方法：先采样图像再压缩，而是直接在图像成像过程中进行压缩，以降低图像数据量。比如，2008年美国Rice大学研制了单像素相机，通过一个像素的多次成像，可以极低的数据量恢复出期望的图像。该方法的最大优点是，极大地降低了前端传感器制作成本。这类压缩成像方法的核心问题是：如何通过物理手段模拟压缩传感中的随机投影过程。但是，目前尚未找到行之有效的、可广泛应用的实现方法。
发明内容
本发明的目的是提供一种延长高速相机拍摄时长的方法，其算法简单，易于硬件实现，能够降低高速相机拍摄图像像素数量，提高相机内存存储视频帧数，进而延长高速相机拍摄时间。
为达到上述目的，本发明采用的技术方案是：
本发明的一种延长高速相机拍摄时长的方法，步骤如下：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。所述图像压缩的过程为：1)在计算机端随机生成一个m*n大小的Flags矩阵，其中m、n分别对应采集图像的高度和宽度，Flags矩阵元素取值为0或1，1表示保留该位置处像素，0表示丢弃该位置处像素；2)在计算机端以Flags矩阵为参照，构建坐标查找表LUT，从Flags矩阵左上角开始，按“Z”字型扫描方式，删除取值为0的元素，保留取值为1的元素，并记录该元素图像坐标，得到新的只包含1的元素序列，按照记录的元素图像坐标，构建元素序列到图像的坐标查找表LUT；3)通过高速摄像机接口将Flags矩阵上传到高速摄像机中；4)在图像采集过程中，根据Flags矩阵对采集图像进行压缩：从CCD或CMOS读出一行像素后，根据Flags矩阵中对应位置元素取值是否为0，丢弃这些像素，得到新的一行图像数据，当完成一帧图像采集和压缩后，将该帧图像存入高速摄像机内存，在整个图像采集过程中，Flags矩阵保持不变。所述压缩图像重构的过程为：根据坐标查找表LUT记录的像素图像坐标，将压缩后的图像数据在图像矩阵中重新排列，丢弃了的像素填充为0，得到原分辨率大小图像，然后采用选择中值滤波方法，修改其搜索窗口尺寸，进行自适应选择中值滤波，补偿在图像采集过程中丢弃的像素，得到期望图像。
相比现有图像或视频压缩技术，本发明提出的方法算法简单、容易硬件实现。因为，在摄像机端只需执行像素丢弃操作，通过微小的硬件或软件改动，即可在现有高速相机中实现。
附图说明
图1为峰值信噪比对比结果；
图中，横坐标为图像压缩率，纵坐标为峰值信噪比；
图2为图像结构相似性对比结果；
图中，横坐标为图像压缩率，纵坐标为图像结构相似性。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例的一种延长高速相机拍摄时长的方法，包括如下步骤：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像。
上述方法的具体实现流程如下：
1)在计算机端随机生成一个m*n大小的Flags矩阵，其中m、n分别对应采集图像的高度和宽度，Flags矩阵元素取值为0或1，1表示保留该位置处像素，0表示丢弃该位置处像素；
2)在计算机端以Flags矩阵为参照，构建压缩图像的坐标查找表LUT(Look uptable，LUT)。从Flags矩阵左上角开始，按“Z”字型扫描方式，删除取值为0的元素，保留取值为1的元素，并记录该元素图像坐标，得到新的只包含1的元素序列，按照记录的元素图像坐标，构建元素序列到图像的坐标查找表LUT；
3)通过高速摄像机接口将Flags矩阵上传到高速摄像机中；
4)在图像采集过程中，根据Flags矩阵对采集图像进行压缩：从CCD或CMOS读出一行像素后，根据Flags矩阵中对应位置元素取值是否为0，丢失这些像素，得到新的一行图像数据，当完成一帧图像采集和压缩后，将该帧图像存入高速摄像机内存，在整个图像采集过程中，Flags矩阵保持不变；
5)通过高速摄像机数据接口，将采集图像数据传输到计算机，在计算机端，通过图像丢弃像素修复方法，补偿丢失像素，得到期望图像：根据坐标查找表LUT记录的像素图像坐标，将压缩后的图像数据在图像矩阵中重新排列，丢弃了的像素填充为0，得到原分辨率大小图像，然后采用“T.Chen，K.-K.Ma，and L.-H.Chen，Tri-state median filter forimage denoising，IEEE Trans.Image Processing，vol.8，pp.1834-1838，Dec.1999”提出的选择中值滤波方法，修改其搜索窗口尺寸，进行自适应选择中值滤波，补偿在图像采集过程中丢弃的像素，得到期望图像。
本文采用Matlab平台进行模拟仿真验证，选用原子弹爆炸图像Image1进行测试，图像压缩率分别设定为5％-99％。并与Thin-out模式采集结果进行对比评估，为得到相同分辨率图像，采用双线性插值对Thin-out模式采集图像进行超分辨率增强。最后，采用峰值信噪比(PSNR)、图像结构相似性(SSIM)进行定量评估分析。由试验结果的照片容易看出，本发明实施例方法相比Thin-out模式采集图像更加清晰。定量分析结果，见附图1和2，也证实本发明实施例方法在图像信噪比和图像结构相似性上，比thin-out和双线性插值方法效果更好，其中TOM是指采用双线性插值对Thin-out模式采集图像进行增强的方法，BCI是指本发明提出的图像压缩与恢复方法；当图像压缩(compress ratio)率达到99％时，Image1的峰值信噪比达(SSIM)到了25.6，当图像压缩率达到90％时，Image1的峰值信噪比(PSNR)达到了32.47。也就是说，采用本发明方法，在保证一定信噪比条件下，至少可以使高速相机存储图像数量增加10倍，拍摄时间延长10倍。
模拟仿真验证表明，该方法能够在不降低成像分辨率、并保证一定信噪比的前提下，以相同内存容量，使高速相机拍摄时长延长10倍以上。此外，该方法直接在成像过程中降低了图像数据量，它还具备在现有的图像数据传输带宽条件下，实现高速相机采集数据实时传输和存储的潜质。这意味着，与大容量硬盘阵列相结合，该方法能够以低成本方式实现长时物理或化学现象的连续观测。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种延长高速相机拍摄时长的方法，其特征在于，步骤如下：首先，在高速摄像机端对CCD或CMOS采集的高分辨率图像进行压缩，得到的压缩图像数据保存在高速相机的内存中；其次，通过高速相机数据接口或网络将高速相机内存中的压缩图像数据导入计算机，在计算机端通过压缩图像重构算法恢复出期望的图像；
所述图像压缩的过程为：
1)在计算机端随机生成一个m*n大小的Flags矩阵，其中m、n分别对应采集图像的高度和宽度，Flags矩阵元素取值为0或1，1表示保留该位置处像素，0表示丢弃该位置处像素；
2)在计算机端以Flags矩阵为参照，构建坐标查找表LUT：从Flags矩阵左上角开始，按“Z”字型扫描方式，删除取值为0的元素，保留取值为1的元素，并记录该元素图像坐标，得到新的只包含1的元素序列，按照记录的元素图像坐标，构建元素序列到图像的坐标查找表LUT；
3)通过高速摄像机接口将Flags矩阵上传到高速摄像机中；
4)在图像采集过程中，根据Flags矩阵对采集图像进行压缩：从CCD或CMOS读出一行像素后，根据Flags矩阵中对应位置元素取值是否为0，丢弃这些像素，得到新的一行图像数据，当完成一帧图像采集和压缩后，将该帧图像存入高速摄像机内存，在整个图像采集过程中，Flags矩阵保持不变。
2.根据权利要求1所述的一种延长高速相机拍摄时长的方法，其特征在于，所述压缩图像重构的过程为：根据坐标查找表LUT记录的像素图像坐标，将压缩后的图像数据在图像矩阵中重新排列，丢弃了的像素填充为0，得到原分辨率大小图像，然后采用选择中值滤波方法，修改其搜索窗口尺寸，进行自适应选择中值滤波，补偿在图像采集过程中丢弃的像素，得到期望图像。
CN201510717618.4A 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法 Active CN105407272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510717618.4A CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510717618.4A CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Publications (2)

Publication Number Publication Date
CN105407272A CN105407272A (zh) 2016-03-16
CN105407272B true CN105407272B (zh) 2019-01-01

Family

ID=55472492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510717618.4A Active CN105407272B (zh) 2015-10-29 2015-10-29 一种延长高速相机拍摄时长的方法

Country Status (1)

Country Link
CN (1) CN105407272B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780638A (zh) * 2017-01-15 2017-05-31 四川精目科技有限公司 一种高速相机压缩图像快速重建方法
CN106851321A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种最小二乘回归高速相机压缩图像重建方法
CN106851322A (zh) * 2017-01-15 2017-06-13 四川精目科技有限公司 一种分块最小二乘回归高速相机压缩图像重建方法
CN106815816A (zh) * 2017-01-15 2017-06-09 四川精目科技有限公司 一种rbf插值高速相机压缩图像重建方法
CN106600540A (zh) * 2017-01-15 2017-04-26 四川精目科技有限公司 一种分块rbf插值高速相机压缩图像重建方法
CN107465879A (zh) * 2017-09-25 2017-12-12 成都精益技术检测服务有限公司 一种摄像机图像快速压缩方法
CN107509035A (zh) * 2017-09-25 2017-12-22 成都精益技术检测服务有限公司 一种摄像机时空域图像快速压缩方法
CN107509036A (zh) * 2017-09-25 2017-12-22 成都精工华耀机械制造有限公司 一种基于fpga的摄像机海量图像压缩方法
CN108259742B (zh) * 2018-01-12 2020-08-25 北京图森未来科技有限公司 一种图像采集方法和装置
US11115623B2 (en) * 2018-05-07 2021-09-07 Maxim Integrated Products, Inc. Systems and methods for asymmetric image splitter with line mark memory

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639873A (zh) * 2013-11-06 2015-05-20 北京航天长峰科技工业集团有限公司 一种准实时高清视频监控方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592269B (zh) * 2012-01-11 2014-07-23 西安电子科技大学 基于压缩感知的目标重构方法
CN102868885A (zh) * 2012-08-27 2013-01-09 中国科学院长春光学精密机械与物理研究所 基于压缩感知的星上实时图像合成压缩系统
CN102970707A (zh) * 2012-12-20 2013-03-13 李惠 基于压缩感知的无线传输数据丢失恢复方法
US20150116563A1 (en) * 2013-10-29 2015-04-30 Inview Technology Corporation Adaptive Sensing of a Programmable Modulator System
US9219867B2 (en) * 2014-03-27 2015-12-22 Xerox Corporation Method and apparatus for compressive imaging of a scene using a single pixel camera
CN104660269B (zh) * 2014-12-08 2017-08-25 中南大学 一种用于信号压缩感知的感知矩阵生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639873A (zh) * 2013-11-06 2015-05-20 北京航天长峰科技工业集团有限公司 一种准实时高清视频监控方法

Also Published As

Publication number Publication date
CN105407272A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105407272B (zh) 一种延长高速相机拍摄时长的方法
US10373292B2 (en) Method and system for providing high resolution image through super-resolution reconstruction
US9596385B2 (en) Electronic apparatus
US20210012537A1 (en) Loop filter apparatus and image decoding apparatus
CN103167284B (zh) 一种基于画面超分辨率的视频流传输方法及系统
CN107067380B (zh) 基于低秩张量和层次化字典学习的高分辨率图像重构方法
WO2022111631A1 (zh) 视频传输方法、服务器、终端和视频传输系统
CN102630011A (zh) 一种视频传感器网络中的压缩感知编解码方法及系统
CN105338323A (zh) 一种视频监控方法及装置
WO2020248294A1 (zh) 一种逆色调映射方法、装置及电子设备
Thawakar et al. Image and video super resolution using recurrent generative adversarial network
Li et al. A scalable coding approach for high quality depth image compression
CN106851321A (zh) 一种最小二乘回归高速相机压缩图像重建方法
CN105554592A (zh) 一种实现高帧率视频图像采集传输的方法及系统
CN106600540A (zh) 一种分块rbf插值高速相机压缩图像重建方法
CN106780638A (zh) 一种高速相机压缩图像快速重建方法
CN106815816A (zh) 一种rbf插值高速相机压缩图像重建方法
CN107707917B (zh) 一种基于信息熵的视频自适应采样率设定方法
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN102495878B (zh) 一种机器视觉检测结果的存储文件及方法
CN205356576U (zh) 一种治安监控用摄像采集装置
CN107509036A (zh) 一种基于fpga的摄像机海量图像压缩方法
CN106851322A (zh) 一种分块最小二乘回归高速相机压缩图像重建方法
CN101753780A (zh) 一种基于基色提取分割压缩的彩色图像压缩方法
Wang et al. Sparse mp4

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant