CN102186025B - 基于压缩感知的cmos成像测量值获取系统及其方法 - Google Patents
基于压缩感知的cmos成像测量值获取系统及其方法 Download PDFInfo
- Publication number
- CN102186025B CN102186025B CN201110056475A CN201110056475A CN102186025B CN 102186025 B CN102186025 B CN 102186025B CN 201110056475 A CN201110056475 A CN 201110056475A CN 201110056475 A CN201110056475 A CN 201110056475A CN 102186025 B CN102186025 B CN 102186025B
- Authority
- CN
- China
- Prior art keywords
- row
- measured value
- shift register
- sequence
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 230000000295 complement effect Effects 0.000 title abstract 2
- 239000004065 semiconductor Substances 0.000 title abstract 2
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 238000006073 displacement reaction Methods 0.000 abstract 2
- 238000005070 sampling Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于压缩感知的CMOS成像测量值获取系统及其方法，该系统利用CMOS图像感知传感器向本系统提供模拟像素矩阵，其特征在于，该系统包括线性反馈移位寄存器、移位寄存器、行选择器、多路选择器和模/数转换器；与现有技术相比，不仅具有采用压缩感知成像系统的通用性、加密性、鲁棒性和可伸缩性等特征，而且相比于采用随机卷积的CMOS成像系统，该结构可以缩短测量值的获取时间，有效降低传感器功耗，并且相比于其它采用压缩感知的成像系统，结构简单容易实现，运用并行处理的思想有效缩短了测量值的获取时间，大大降低了CMOS图像传感器的功耗。
Description
技术领域
本发明涉及图像信号处理技术领域，特别是涉及压缩成像领域的CMOS成像测量值获取系统及方法。
背景技术
压缩感知(compressive sensing,CS)是近几年提出的新研究领域，它以信号的稀疏表示和逼近理论为基础，充分利用了信号结构的稀疏特性，通过低维空间、欠奈奎斯特采样数据的非相关测量实现高维稀疏信号的感知。它突破了奈奎斯特采样定理的限制，将信号采样和压缩同时进行，使得低采样高分辨率信号重构成为可能。压缩传感理论带来了信号采集理论的变革，在压缩成像、模拟信息转换、医学图像处理、无线传感网络和生物传感等领域具有广阔的应用前景。
国内外学者对基于压缩感知的成像系统进行了大量研究。2006年Rice大学的Baraniuk等提出并实现了一种单像素压缩感知成像系统，利用数字微镜装置(DigitalMicromirror Device,DMD)完成图像在随机二值模型上线性投影的光学计算，DMD的一次翻转对应一次测量，并由单像素探测器记录测量数据。该成像系统为低像素相机拍摄高质量图像提供了可能，但它需要时序上的多次测量才能采集到图像重构所需的足够数据，无法应用在实时场合。MIT的R.Fergus等提出一种使用“随机镜头”的相机，该相机将镜头用随机反射镜面替代。由于随机反射镜面是以一种不受控的方式制作的，故使用前要对相机校准，即得到观测矩阵。该相机具有超分辨率和深度估计的能力，但是对相机的校准比较耗时且复杂。Duke大学的COMP-I小组提出采用多孔径技术实现更薄的相机，系统使用孔径成像及金属掩膜达到焦平面编码的目的，最后使用压缩感知的重构算法得到重构图像。该系统结构较为复杂，实现困难。2008年R.Robucci等人提出了基于压缩感知的CMOS图像传感器，在A/D转换之前应用压缩感知理论对模拟信号进行压缩计算，从而能以较低的功耗获得较高的图像分辨率。该方法首先将图像分成不重叠的块，然后应用压缩感知理论对每一图像块的模拟像素矩阵进行压缩计算。该方法的缺点在于对系统需要做大量的修改，需要模拟寄存器来存储随机矩阵和其他的附加系统，功耗较大，实现复杂。2009年L.Jacques等人提出基于随机卷积的CMOS压缩成像方法，它通过对移位寄存器的控制来对光电转换得到的模拟信号进行随机卷积计算，达到对模拟信号进行压缩的目的。该方法与R.Robucci等人提出的方法相比，具有实现系统简单，抗噪性能良好和非线性等优点，但它利用移位寄存器产生伪随机码，并在每一像素中放置一个一位的存储单元，这样需要额外的工艺流程，并且该方法在获取测量值时要进行较多次的移位操作，从而降低了图像获取效率，功耗较大。
发明内容
基于上述技术问题，本发明提出了一种新的基于压缩感知的CMOS成像测量值获取系统及其方法，该方法以压缩感知理论为基础，引入了并行处理的理念，对A/D转换前的模拟像素矩阵以列为单位进行压缩计算，并行获取多个测量值，从而获得较高的图像分辨率。
本发明提出一种基于压缩感知的CMOS成像测量值获取系统，该系统利用CMOS图像传感器向本系统提供模拟像素矩阵，其特征在于，该系统包括线性反馈移位寄存器、移位寄存器、行选择器、多路选择器和模/数转换器，其中：
线性反馈移位寄存器，用于产生作为系统输入的伪随机序列；
移位寄存器，用于将产生的伪随机序列压入其中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量序列，在该时刻使移位寄存器的控制信号有效，将该长度为N的随机向量序列并行的转存至行选择器；
行选择器，用于存储长度为N的随机向量序列，并且具有乘法器功能，并行地实现CMOS图像传感器的模拟像素矩阵每一列分别与长度为N的随机向量序列的行向量相乘，在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值；
多路选择器，用于依次选择输出各列测量值；
模/数转换器，用于将上述选择输出的各列测量值经过模/数转换后依次输出测量结果。
本发明还提出了一种基于压缩感知的CMOS成像测量值获取方法，该方法包括以下步骤：
步骤1：初始化操作，利用线性反馈移位寄存器LFSR，根据种子产生一个长度为MxN的伪随机的0-1序列，设置执行标记S，令S=1；
步骤2：将产生的伪随机序列压入移位寄存器中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量序列；
步骤3：将长度为N的随机向量序列转存到行选择器中；
步骤4：利用行选择器实现CMOS图像传感器的模拟像素矩阵每一列分别与长度为N的随机向量序列的行向量相乘；在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值；
步骤5：输出每一列的测量值。通过多路选择器依次选择各列，N列中各列的测量值经过模数转换模块A/D后依次输出。并令执行标记S=S+1；
步骤6：设置循环次数M，如果S<=M，取下一个随机行向量，否则转入步骤7；如果S<=M，转入步骤2重新开始执行，此时移位寄存器中的值已经移动了N位，在线性反馈移位寄存器产生的序列中取第二个长度为N的随机序列，并转存到行选择器中，获取下一组测量值所需要的随机向量。这里的M即需要测量的观测值的个数，一般取N/4到N/2。
步骤7：结束整个流程，依据上述步骤，经过M次循环后，获得了最终的M×N个测量值。
与现有技术相比，本发明设计的基于压缩感知的CMOS成像测量值获取系统，其电路结构简单，不仅具有采用压缩感知成像系统的通用性、加密性、鲁棒性和可伸缩性等特征，而且相比于采用随机卷积的CMOS成像系统，该结构可以缩短测量值的获取时间，有效降低传感器功耗，并且相比于其它采用压缩感知的成像系统，结构简单容易实现，运用并行处理的思想有效缩短了测量值的获取时间，大大降低了CMOS图像传感器的功耗。
附图说明
图1为本发明的基于压缩感知的CMOS成像测量值获取系统结构示意图；
图2为本发明的获取测量值的流程。
具体实施方式
图1是本发明的基于压缩感知的CMOS成像测量值获取系统结构示意图，通过CMOS图像感知传感器，用于向本系统提供模拟像素矩阵，该系统包括：
线性反馈移位寄存器LFSR，用于产生作为系统输入的产生伪随机序列；
移位寄存器，用于将产生的伪随机序列压入其中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量序列，并将该长度为N的随机向量序列转存至行选择器；
行选择器，用于存储长度为N的随机向量序列，并且作为乘法器，并行地实现CMOS图像传感器提供的模拟像素矩阵每一列与长度为N的随机向量序列的相乘计算，得到模拟像素矩阵的各列测量值；
多路选择器，用于依次选择输出上述各列测量值；
模/数转换器ADC，用于将上述选择输出的各列测量值经过模/数转换后依次输出成像结果。
对于CMOS图像传感器A/D转换前N×N的模拟像素矩阵，如果把该矩阵表示为长度为N2的一维列向量，则公式y＝Φx=ΦΨs中的Φ为K×N2维的随机测量矩阵，y表示K(K<<N2)维测量值，一般在K=N2/P(1≤P≤4)时可以较大的概率精确恢复原始图像。
为了加快压缩采样速度，本文以列为单位对N2个像素进行并行压缩采样，采样时将每一列的N个像素作为一个单位，对N列进行并行处理，即对于每一个随机向量，在压缩采样时N列都同时乘以该随机向量，一次就可得到N个测量值，取M个随机向量则可得到M×N个测量值。该过程可表示为：
YM×N＝ΦM×NXN×N＝[Φ1,Φ2…ΦM]T[x1,x2…xN]=[y1,y2…yN] (1)
用矩阵的形式可表示为：
其中，XN×N＝[x1,x2…xN]表示N×N维的模拟像素矩阵，xi(i=1,2,3,…,N)为X的N维列向量。YM×N＝[y1,y2…yN]为测量值矩阵，yi(i=1,2,3,…,N)为Y的M维列向量。ΦM×N＝[Φ1,Φ2…ΦM]T为随机测量矩阵，Φj(j=1,2,3,…,M)为Φ的行向量。
从式(1)和式(2)可以看出，在进行压缩采样时，对于每一个随机测量行向量Φj，通过与X中每一个列向量xi相乘得到N个测量值，将这些测量值进行A/D转换得到最终的输出值。对于M<<N个随机测量行向量，总共可得到M×N个测量值，这里取M=N/P，那么该方法重构图像所需要的测量值的个数K=M×N=N2/P。但由于采用了并行计算的理念，在设计系统时，每一个Φj与N个列向量xi的相乘可以并行进行，从而大大加快了计算速度。
如图2所示，本发明的基于压缩感知的CMOS成像测量值获取方法，其实现步骤如下：
步骤1：初始化。利用LFSR，根据种子产生一个长度为MxN的伪随机的0-1序列，令S=1。
步骤2：取随机向量。将产生的伪随机序列压入移位寄存器中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量。
步骤3：转存。在控制信号作用下，将长度为N的序列转存到行选择器中。这个长度为N的序列即为CMOS图像传感器的模拟像素矩阵每一列所要乘的随机测量矩阵的行向量。
步骤4：并行压缩感知。这里利用行选择器来实现乘法器的功能，其中行选信号SEL值为1表示该行像素被选择，值为0表示该行像素不被选择。在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值。
步骤5：输出每一列的测量值。通过多路选择器依次选择各列，N列中各列的测量值经过模数转换模块A/D后依次输出。并令S=S+1；
步骤6：如果S<=M，取下一个随机行向量，否则转入步骤7。如果S<=M，转入步骤2重新开始执行，此时移位寄存器中的值已经移动了N位，在LFSR产生的序列中取第二个长度为N的随机序列，并转存到行选择器中，获取下一组测量值所需要的随机向量。
步骤7：结束整个流程。依据上述步骤，经过M次循环后，获得了最终的M×N各测量值。
Claims (2)
1.一种基于压缩感知的CMOS成像测量值获取系统，该系统利用CMOS图像传感器向本系统提供模拟像素矩阵，其特征在于，该系统包括线性反馈移位寄存器、移位寄存器、行选择器、多路选择器和模/数转换器，其中：
线性反馈移位寄存器，用于产生作为系统输入的伪随机序列；
移位寄存器，用于将产生的伪随机序列压入其中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量序列，在该时刻使移位寄存器的控制信号有效，将该长度为N的随机向量序列并行的转存至行选择器；
行选择器，用于存储长度为N的随机向量序列，并且具有乘法器功能，并行地实现CMOS图像传感器的模拟像素矩阵每一列分别与长度为N的随机向量序列的行向量相乘，在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值；
多路选择器，用于依次选择输出各列测量值；
模/数转换器，用于将上述选择输出的各列测量值经过模/数转换后依次输出测量结果。
2.一种基于压缩感知的CMOS成像测量值获取方法，该方法包括以下步骤：
步骤（1）：初始化操作，利用线性反馈移位寄存器LFSR，根据种子产生一个长度为M x N的伪随机的0-1序列，设置执行标记S，令S=1；
步骤（2）：将产生的伪随机序列压入移位寄存器中，经过N个周期后在移位寄存器中产生一个长度为N的随机向量序列；
步骤（3）：将长度为N的随机向量序列转存到行选择器中；
步骤（4）：利用行选择器实现CMOS图像传感器的模拟像素矩阵每一列分别与长度为N的随机向量序列的行向量相乘；在同一时间内各列并行运算，每一列中被选择的模拟像素的电压或电流值通过累加器进行相加得到一个观测值，从而可并行获取N列像素的N个测量值；
步骤（5）：输出每一列的测量值；通过多路选择器依次选择各列，N列中各列的测量值经过模数转换模块A/D后依次输出；并令执行标记S=S+1；
步骤（6）：设置循环次数M，如果S<=M，取下一个随机行向量，否则转入步骤7；如果S<=M，转入步骤2重新开始执行，此时移位寄存器中的值已经移动了N位，在线性反馈移位寄存器产生的序列中取第二个长度为N的随机序列，并转存到行选择器中，获取下一组测量值所需要的随机向量；
步骤（7）：结束整个流程，依据上述步骤，经过M次循环后，获得了最终的M×N个测量值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110056475A CN102186025B (zh) | 2011-03-09 | 2011-03-09 | 基于压缩感知的cmos成像测量值获取系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110056475A CN102186025B (zh) | 2011-03-09 | 2011-03-09 | 基于压缩感知的cmos成像测量值获取系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102186025A CN102186025A (zh) | 2011-09-14 |
| CN102186025B true CN102186025B (zh) | 2012-10-03 |
Family
ID=44572086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110056475A Expired - Fee Related CN102186025B (zh) | 2011-03-09 | 2011-03-09 | 基于压缩感知的cmos成像测量值获取系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102186025B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428399A (zh) * | 2012-06-29 | 2013-12-04 | 上海理工大学 | 基于压缩感知原理的关联成像光学加密方法 |
| CN103020018B (zh) * | 2012-12-27 | 2015-09-30 | 南京师范大学 | 一种基于多维伪随机序列的压缩感知矩阵构造方法 |
| FR3010602B1 (fr) * | 2013-09-10 | 2015-10-02 | Commissariat Energie Atomique | Dispositif et procede d'acquisition compressive d'images |
| JP6398679B2 (ja) * | 2014-12-12 | 2018-10-03 | Smk株式会社 | 撮像装置 |
| CN105120141B (zh) * | 2015-07-15 | 2018-02-16 | 北京理工大学 | 一种压缩感知光电成像方法及装置 |
| CN105025233B (zh) * | 2015-07-15 | 2018-03-02 | 北京理工大学 | 一种随机信号读取的压缩感知实现方法及装置 |
| CN105611114B (zh) * | 2015-11-02 | 2018-08-31 | 天津大学 | 用于aer图像传感器的全数字多卷积核卷积处理芯片 |
| AU2018220946B2 (en) * | 2017-02-14 | 2023-12-14 | Atracsys Sàrl | High-speed optical tracking with compression and/or CMOS windowing |
| CN106851076B (zh) * | 2017-04-01 | 2019-10-22 | 重庆大学 | 基于地址译码的压缩感知视频图像采集电路 |
| CN108681984B (zh) * | 2018-07-26 | 2023-08-15 | 珠海一微半导体股份有限公司 | 一种3*3卷积算法的加速电路 |
| CN109194959B (zh) * | 2018-09-28 | 2021-02-09 | 中国科学院长春光学精密机械与物理研究所 | 一种压缩感知成像方法、装置、设备、系统及存储介质 |
| CN109768956B (zh) * | 2018-11-28 | 2021-02-02 | 中国人民解放军战略支援部队航天工程大学 | 一种基于压缩感知的大数据安全存储系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458535A (zh) * | 2003-05-07 | 2003-11-26 | 天津大学 | 主动式激光扫描远距离坐标测量方法 |
| CN1578449A (zh) * | 2003-06-27 | 2005-02-09 | 成津C&C株式会社 | 从低分辨率压缩图像恢复并重构超分辨率图像的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2850827B1 (fr) * | 2003-02-03 | 2005-11-04 | Pagnac Andre | Procede et dispositif de compression de parties d'images |
| KR101370288B1 (ko) * | 2007-10-24 | 2014-03-05 | 삼성전자주식회사 | 이미지 신호의 압축 방법 및 장치 |
-
2011
- 2011-03-09 CN CN201110056475A patent/CN102186025B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458535A (zh) * | 2003-05-07 | 2003-11-26 | 天津大学 | 主动式激光扫描远距离坐标测量方法 |
| CN1578449A (zh) * | 2003-06-27 | 2005-02-09 | 成津C&C株式会社 | 从低分辨率压缩图像恢复并重构超分辨率图像的方法 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开2011-502390A 2011.01.20 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102186025A (zh) | 2011-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102186025B (zh) | 基于压缩感知的cmos成像测量值获取系统及其方法 | |
| Ashok et al. | Compressive light field imaging | |
| CN104581166B (zh) | 一种基于多通道采集影像的压缩成像系统及方法 | |
| CN102438102B (zh) | 基于压缩编码孔径的超分辨率成像方法 | |
| US20170085862A1 (en) | Machine Vision 3D Line Scan Image Acquisition and Processing | |
| CN109194959B (zh) | 一种压缩感知成像方法、装置、设备、系统及存储介质 | |
| CN107622515B (zh) | 压缩光场的物理重建方法 | |
| CN102680945B (zh) | 基于fpga的多普勒调频率估计方法 | |
| CN105072359A (zh) | 基于压缩感知的cmos图像传感器成像系统及方法 | |
| CN102710906B (zh) | 实现二维离散余弦变换的cmos图像传感器 | |
| CN116228912B (zh) | 基于U-Net多尺度神经网络的图像压缩感知重建方法 | |
| EP4066482A1 (en) | Imaging system including digital dual speed readout integrated circuit (roic) | |
| CN101848319B (zh) | 高精度计算的数字图像的分数阶微积分滤波器 | |
| Orchard et al. | Real time compressive sensing video reconstruction in hardware | |
| Xiao et al. | FPGA-based scalable and highly concurrent convolutional neural network acceleration | |
| CN101426134A (zh) | 用于视频编解码的硬件装置及方法 | |
| CN115082311A (zh) | 一种基于深度注意力残差网络的单幅图像超分辨重建方法 | |
| US20240114257A1 (en) | Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging | |
| CN113301221B (zh) | 一种深度网络相机图像处理方法及终端 | |
| CN107085827B (zh) | 基于硬件平台实现的超分辨力图像复原方法 | |
| CN105245798A (zh) | 基于分块压缩感知的ccd视频压缩测量成像系统及控制方法 | |
| CN113448233B (zh) | 一种欠采样全息图压缩全息多尺度自聚焦重建方法及系统 | |
| Cole et al. | Learned compression of high dimensional image datasets | |
| CN102256047B (zh) | 一种基于滤波的2×2数字binning系统 | |
| Zhou et al. | A lightweight recurrent learning network for sustainable compressed sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121003 Termination date: 20210309 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |