CN104581166B - 一种基于多通道采集影像的压缩成像系统及方法 - Google Patents

一种基于多通道采集影像的压缩成像系统及方法 Download PDF

Info

Publication number
CN104581166B
CN104581166B CN201410745764.3A CN201410745764A CN104581166B CN 104581166 B CN104581166 B CN 104581166B CN 201410745764 A CN201410745764 A CN 201410745764A CN 104581166 B CN104581166 B CN 104581166B
Authority
CN
China
Prior art keywords
compression
multichannel collecting
gradable
image sensor
measured value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410745764.3A
Other languages
English (en)
Other versions
CN104581166A (zh
Inventor
张淑芳
崔润龙
李�瑞
张金丽
张聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201410745764.3A priority Critical patent/CN104581166B/zh
Publication of CN104581166A publication Critical patent/CN104581166A/zh
Application granted granted Critical
Publication of CN104581166B publication Critical patent/CN104581166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种基于多通道采集影像的压缩成像系统及方法，将输入的成像目标处理为压缩测量值输出；包括多通道光学成像系统、编码掩膜生成模块、CMOS图像传感器像素阵列模块、可分级的读出电路和A/D转换模块；将成像目标实现多通道光学成像，生成多个相似的多通道采集影像；由所述编码掩膜生成模块对多通道采集影像进行光学调制，一次性获取光域的所有压缩测量值；由CMOS图像传感器像素阵列模块将所述通过编码掩膜生成的所有光域测量值转换为电学的模拟信号；利用可分级的读出电路读出CMOS图像传感器像素阵列的部分电学模拟测量值；进行所述电学模拟测量值的A/D转换。本发明提出一种低功耗、可分块并行测量、压缩率可分级的新型压缩成像系统。

Description

一种基于多通道采集影像的压缩成像系统及方法
技术领域
本发明涉及一种涉及多媒体中的数字图像获取和处理领域，特别是涉及一种压缩成像系统及方法。
背景技术
传统图像信号采集和处理以香农采样定理为准则，其高速采样后再压缩的处理方式对采样资源造成大量浪费，额外增加了光电探测阵列的负担，并且编码复杂度较高。在THz成像等探测器较昂贵的场合，减少光电探测器的个数就能有效降低整个系统的制造成本；在无线传感器网络节点、移动多媒体终端等以电池供电的应用中，功耗受到严重限制，低复杂度编码、较小的光电探测成像阵列有利于降低其能耗，延长工作时间。
近年来提出的压缩感知理论(Compressive Sensing，CS)为上述问题的解决提供了理论依据。CS理论指出：只要信号是可压缩的或在某个变换域是稀疏的，就能通过低维空间的非相关测量实现高维稀疏信号的感知，并通过求解稀疏最优化问题从少量的测量值以高概率精确重构原始信号或图像。该理论带来了信号采集理论的变革，将信号采样和压缩合并进行，有效降低了编码端的计算复杂度，为低分辨率采样高分辨率成像提供了可能。目前基于CS的各种应用研究还处于理论阶段，基于CS理论的压缩成像(CompressiveImaging，CI)系统的设计是推动压缩感知理论在图像采集和处理领域应用的关键。CI与传统成像方法相比，能以较少的探测器数量对目标进行压缩采样，有效提高有限噪声检测器的测量精度，并且成像复杂度低，适合于在功耗受限场合下应用，但对压缩成像的研究还处于起步阶段，国内外相关研究成果还较少。Rice大学提出的“单像素相机”对压缩成像理论进行了很好的验证，但其成本昂贵、体积较大、并且成像速度慢；基于压缩编码孔径的CI系统采用并行测量方法虽然在成像速度上有所提高，但不能进行基于块的压缩测量，严重影响了原始图像的重构速度，并且只能以单一码率进行压缩成像，不能很好地适应环境的变化。因此，构建基于块的快速并行测量的压缩成像系统有助于推动压缩感知理论在图像获取和处理领域的应用。
发明内容
为了克服上述现有技术，本发明提出了一种基于多通道采集影像的压缩成像系统级方法，基于多通道采集影像在焦平面上具有的相似物理特性，实现了可分块并行测量、压缩率可分级的新型压缩成像系统。
本发明提出了一种基于多通道采集影像的压缩成像系统，将输入的成像目标处理为压缩测量值输出；该系统包括多通道光学成像系统、编码掩膜生成模块、CMOS图像传感器像素阵列模块、可分级的读出电路和A/D转换模块；
所述多通道光学成像系统，将成像目标实现多通道光学成像，生成多个相似的多通道采集影像；
所述编码掩膜生成模块，采用高分辨率的二维编码掩膜对多通道采集影像进行光学调制，一次性获取光域的所有压缩测量值；
所述CMOS图像传感器像素阵列模块，用于将所述通过编码掩膜生成的所有光域测量值转换为电学的模拟信号；
所述可分级的读出电路，用于设计具有行列选择功能的控制电路分块分级读出CMOS图像传感器像素阵列的部分电学模拟测量值；
所述A/D转换模块，进行所述部分电学模拟测量值的A/D转换；
其中多通道采集影像、编码掩膜和CMOS图像传感器像素阵列具有相同的尺寸，将编码掩膜和CMOS图像传感器像素阵列分成和多通道采集影像具有相同个数的区间，并分别对相应的多通道采集影像(Multi-Channel Sampling Images,MCSI)进行成像。
本发明还提出了一种基于多通道采集影像的压缩成像方法，将输入的成像目标处理为压缩测量值输出；该方法包括以下步骤：
将成像目标实现多通道光学成像，生成相似的多通道采集影像；
采用高分辨率的二维编码掩膜对多通道采集影像进行光学调制，一次性获取光域的所有压缩测量值；
利用CMOS图像传感器像素阵列模块将所述通过编码掩膜生成的所有光域测量值转换为电学的模拟信号；
利用可分级的读出电路，读出CMOS图像传感器像素阵列的部分电学模拟测量值；
进行所述部分模拟测量值的A/D转换；
其中多通道采集影像、编码掩膜和CMOS图像传感器像素阵列具有相同的尺寸，将编码掩膜和CMOS图像传感器像素阵列分成和多通道采集影像具有相同个数的区间，并分别对相应的MCSI进行成像。
与现有技术相比，本发明提出一种低功耗、可分块并行测量、压缩率可分级的新型压缩成像系统，可为新型低功耗图像传感器的设计提供理论支持和方法指导，对功耗严重受限的无线多媒体传感器网络节点设计提供一种新的解决方案。
附图说明
图1为本发明的一种基于多通道采集影像的压缩成像系统的系统结构示意图；
图2为模拟测量值在CIS像素阵列中的分布图；
图3为本发明的一种基于多通道采集影像的压缩成像系统的系统结构实例图；
图4为本发明一种基于多通道采集影像的压缩成像方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明，但本发明的实施范围并不局限于此。
本发明提出的基于多通道采集影像的压缩成像系统示意图如图1所示。包括多通道光学成像系统、编码掩膜生成模块、CMOS图像传感器像素阵列模块、可分级的读出电路和A/D转换模块；其中多通道采集影像、编码掩膜和CMOS图像传感器像素阵列具有相同的尺寸，将编码掩膜和CMOS图像传感器像素阵列分成和多通道采集影像具有相同个数的区间，并分别对相应的MCSI进行成像。另外，为了防止通过编码掩膜的光线发生衍射，需要把编码模块紧贴在CMOS图像传感器(CMOS Image Sensor,CIS)CIS像素阵列上。
在对多通道采集影像进行压缩成像时，首先采用高分辨率的二维编码掩膜对多通道采集影像进行分块光学调制，一次性获取低维空间的所有压缩测量值，并将其投影到CIS的光电探测器阵列上，从而实现图像的低分辨率采样；然后由光电探测器将光域的测量值转换为电学的模拟信号；最后按指定的压缩率由基于行列选择的可分级电路实现模拟测量值的分块读出，并通过A/D模块转换为数字信号后输出以便存储或网路传输。
具体方案如下：
一、二维编码掩膜的设计：
基于压缩感知理论中测量值个数和待采样信号维数之间的关系，建立多通道采集影像个数M与测量矩阵维数之间的最优映射；即对于信号x∈RN，如果存在正交变换x＝Ψa(Ψ∈RN×N)，且a∈RN是稀疏的，则可以用远低于原始数据量的M个观测数据y∈RM(M<<N)精确重构原信号，其中观测矩阵Φ∈RM×N，
y＝Φx＝ΦΨa (1)
本发明采用0-1二值来构造满足压缩感知理论要求的M×N2维的观测矩阵Φ∈RM ×N，并将上述M个一维行向量折叠成M个N×N的二维伪随机矩阵，根据二维伪随机矩阵构建二维编码掩膜。
二、可分级的读出电路的实现
根据测量值个数Mp和重构图像质量成正比特性，将Mp作为成像系统压缩率分级级数的调整参数，并根据最优映射对MCSI的个数M与图像块测量矩阵维数(N×N)之间的关系，确定Mp的取值范围；针对Mp的各个取值，建立与Mp相对应的测量值的各种组合模式的集合，并以重构图像质量最优为准则，建立以Mp为参数的最优压缩率可分级策略。可分级策略具体实现方法为：对选取纹理和细节程度中等的图像作为原始实验图像，如Lena图像，对该图像进行如式(1)所示的压缩测量，得到测量值y＝(y1,y2,y3,…,yM)T，从y中任意选取Mp个元素作为测量值对实验图像进行最优重构(Mp个元素的组合模式共有种)，利用峰值信噪比指标对重构图像的质量进行评价，对于种组合模式可得到个图像质量评价值，并对这个评价值进行比较，选取评价值最大的组合模式作为与Mp相对应的组合模式，Mp的取值范围为：N2/5≤Mp≤M。
根据上述压缩率可分级策略，设计相应的基于阵列读出的可分级控制电路；基于CMOS电路的行列选择功能，结合测量值在CIS光电转换阵列中的分布规律，设计模拟测量值的可分级的读出电路。
如图2所示为光电转换后的模拟测量值在CIS像素阵列中的分布图，将整个像素阵列分为M个小块，图中标识为1的所有测量值为重构第1块图像所需要的测量值。
尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

Claims (2)

1.一种基于多通道采集影像的压缩成像系统，将输入的成像目标处理为压缩测量值输出；其特征在于，该系统包括多通道光学成像系统、编码掩膜生成模块、CMOS图像传感器像素阵列模块、可分级的读出电路和A/D转换模块；
所述多通道光学成像系统，将成像目标实现多通道光学成像，生成多个相似的多通道采集影像；
所述编码掩膜生成模块，采用高分辨率的二维编码掩膜对多通道采集影像进行光学调制，一次性获取光域的所有压缩测量值；
所述CMOS图像传感器像素阵列模块，用于将通过编码掩膜生成的所有光域测量值转换为电学的模拟信号；
所述可分级的读出电路，用于设计具有行列选择功能的控制电路分块分级读出CMOS图像传感器像素阵列的部分电学模拟测量值；
所述A/D转换模块，进行所述部分电学模拟测量值的A/D转换；
其中多通道采集影像、编码掩膜和CMOS图像传感器像素阵列具有相同的尺寸，将编码掩膜和CMOS图像传感器像素阵列分成和多通道采集影像具有相同个数的区间，并分别对相应的多通道采集影像进行成像；
所述编码掩膜采用0-1二值来构造，满足压缩感知理论要求的M×N2维的观测矩阵Φ∈RM×N，并将M个一维行向量折叠成M个N×N的二维伪随机矩阵，根据二维伪随机矩阵构建二维编码掩膜；
所述可分级的读出电路采用以下分级策略：
将测量值个数作为成像系统压缩率分级级数的调整参数，建立以测量值个数为参数的最优压缩率可分级策略。
2.一种基于多通道采集影像的压缩成像方法，将输入的成像目标处理为压缩测量值输出；其特征在于，该方法包括以下步骤：
将成像目标实现多通道光学成像，生成相似的多通道采集影像；
采用高分辨率的二维编码掩膜对多通道采集影像进行光学调制，一次性获取光域的所有压缩测量值；
利用CMOS图像传感器像素阵列模块将通过编码掩膜生成的所有光域测量值转换为电学的模拟信号；
利用可分级的读出电路，读出CMOS图像传感器像素阵列的部分电学模拟测量值；
进行所述部分模拟测量值的A/D转换；
其中多通道采集影像、编码掩膜和CMOS图像传感器像素阵列具有相同的尺寸，将编码掩膜和CMOS图像传感器像素阵列分成和多通道采集影像具有相同个数的区间，并分别对相应的MCSI进行成像；
所述二维编码掩膜采用0-1二值来构造，满足压缩感知理论要求的M×N2维的观测矩阵Φ∈RM×N，并将M个一维行向量折叠成M个N×N的二维伪随机矩阵，根据二维伪随机矩阵构建二维编码掩膜；
所述可分级的读出电路采用以下分级策略：将测量值个数作为成像系统压缩率分级级数的调整参数，建立以测量值个数为参数的最优压缩率可分级策略。
CN201410745764.3A 2014-12-08 2014-12-08 一种基于多通道采集影像的压缩成像系统及方法 Active CN104581166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410745764.3A CN104581166B (zh) 2014-12-08 2014-12-08 一种基于多通道采集影像的压缩成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410745764.3A CN104581166B (zh) 2014-12-08 2014-12-08 一种基于多通道采集影像的压缩成像系统及方法

Publications (2)

Publication Number Publication Date
CN104581166A CN104581166A (zh) 2015-04-29
CN104581166B true CN104581166B (zh) 2018-06-19

Family

ID=53096226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410745764.3A Active CN104581166B (zh) 2014-12-08 2014-12-08 一种基于多通道采集影像的压缩成像系统及方法

Country Status (1)

Country Link
CN (1) CN104581166B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025233B (zh) * 2015-07-15 2018-03-02 北京理工大学 一种随机信号读取的压缩感知实现方法及装置
CN105718850B (zh) * 2015-10-21 2019-06-11 深圳芯启航科技有限公司 应用于指纹传感器的像素点采样方法和装置
CN107727238B (zh) * 2017-10-13 2023-09-12 中国科学院上海技术物理研究所 基于掩膜板调制的红外并行压缩成像系统及成像方法
EP3499406B1 (en) * 2017-12-18 2024-01-31 Aptiv Technologies Limited Methods of processing and generating image data in a connectionist network
CN108564542B (zh) * 2018-04-04 2022-02-22 中国科学院长春光学精密机械与物理研究所 一种并行压缩感知成像系统的控制方法
CN109819150B (zh) * 2019-02-20 2022-03-15 深圳劲嘉集团股份有限公司 一种多通道图像采集装置以及采集多通道图像的方法
CN111273050B (zh) * 2020-02-12 2022-05-20 清华大学 信号采集处理方法及装置
CN114782830B (zh) * 2022-06-22 2022-09-06 天津大学 一种图像深度学习特征增强方法、系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802847A (zh) * 2003-05-13 2006-07-12 艾科悉德成像有限公司 用于增强图像分辨率的光学方法和系统
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
CN101753772A (zh) * 2008-12-02 2010-06-23 周春平 软件镜头
CN202710182U (zh) * 2012-06-06 2013-01-30 广州中国科学院先进技术研究所 一种多光谱图像捕捉系统
CN103235411A (zh) * 2013-04-09 2013-08-07 中国科学院西安光学精密机械研究所 可拆分重组相位掩膜板及波前编码成像系统
CN104156610A (zh) * 2014-08-20 2014-11-19 天津大学 编码掩模光学成像系统的掩模评价方法及掩模结构码型
CN104182579A (zh) * 2014-08-20 2014-12-03 天津大学 一种编码掩模光学成像系统的建模方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802847A (zh) * 2003-05-13 2006-07-12 艾科悉德成像有限公司 用于增强图像分辨率的光学方法和系统
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
CN101753772A (zh) * 2008-12-02 2010-06-23 周春平 软件镜头
CN202710182U (zh) * 2012-06-06 2013-01-30 广州中国科学院先进技术研究所 一种多光谱图像捕捉系统
CN103235411A (zh) * 2013-04-09 2013-08-07 中国科学院西安光学精密机械研究所 可拆分重组相位掩膜板及波前编码成像系统
CN104156610A (zh) * 2014-08-20 2014-11-19 天津大学 编码掩模光学成像系统的掩模评价方法及掩模结构码型
CN104182579A (zh) * 2014-08-20 2014-12-03 天津大学 一种编码掩模光学成像系统的建模方法

Also Published As

Publication number Publication date
CN104581166A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104581166B (zh) 一种基于多通道采集影像的压缩成像系统及方法
KR101790601B1 (ko) 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
Ashok et al. Compressive light field imaging
CN102792671A (zh) 用于图像采集和转换的方法和装置
CN102186025A (zh) 基于压缩感知的cmos成像测量值获取系统及其方法
CN102706450A (zh) 基于压缩感知的双通道多光谱视频成像仪及成像方法
CN104486562B (zh) 基于固定积分时间的嵌入式红外图像超帧处理方法
CN113447118B (zh) 一种可实现彩色成像的多光谱成像芯片及彩色成像方法
CN107817641A (zh) 基于多模光纤的单像素相机系统
CN104219468A (zh) 高行频cmos-tdi图像传感器
CN108156399A (zh) 基于压缩感知理论的单像素相机视频成像系统
CN105182359A (zh) 一种星载Lidar 超混沌压缩感知高空间分辨率成像方法
CN102710906A (zh) 实现二维离散余弦变换的cmos图像传感器
Zhang et al. Compressive acquisition CMOS image sensor: from the algorithm to hardware implementation
CN109714545B (zh) 一种高速高光谱成像仪图像处理系统
CN112113661B (zh) 一种深度学习型快照式光谱成像装置及其探测方法
CN102821236A (zh) 基于分离式二维压缩感知理论的压缩成像系统
CN101576412B (zh) 星载超光谱干涉条纹图像准无损实时压缩方法
CN104660929B (zh) 一种采用电压积分输出的电压积分型cmos图像传感器
CN113259558B (zh) 一种光场相机的无损全聚焦方法及装置
EP3144888A1 (en) An apparatus and a method for generating data representing a pixel beam
CN102982563A (zh) 一种基于光学轮廓波变换的图像压缩方法
CN101986690A (zh) 图像传感器的图像数据处理方法及装置
CN103400341B (zh) 基于压缩感知的空谱域联合恢复高光谱数据的方法
CN107238436A (zh) 基于电子倍增的超光谱成像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant