CN105791672B - 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序 - Google Patents
拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序 Download PDFInfo
- Publication number
- CN105791672B CN105791672B CN201510781882.4A CN201510781882A CN105791672B CN 105791672 B CN105791672 B CN 105791672B CN 201510781882 A CN201510781882 A CN 201510781882A CN 105791672 B CN105791672 B CN 105791672B
- Authority
- CN
- China
- Prior art keywords
- addition
- pixels
- analog
- digital signal
- charge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 96
- 238000004590 computer program Methods 0.000 title abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 55
- 238000013144 data compression Methods 0.000 claims abstract description 44
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 82
- 238000004891 communication Methods 0.000 claims description 38
- 238000011084 recovery Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 description 173
- 238000012545 processing Methods 0.000 description 85
- 238000010586 diagram Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 42
- 238000007906 compression Methods 0.000 description 38
- 230000006835 compression Effects 0.000 description 35
- 230000005540 biological transmission Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 14
- 239000013598 vector Substances 0.000 description 11
- 239000000654 additive Substances 0.000 description 6
- 230000000996 additive effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- YYSFXUWWPNHNAZ-OSDRTFJJSA-N 851536-75-9 Chemical compound C1[C@@H](OC)[C@H](OCCOCC)CC[C@H]1C[C@@H](C)[C@H]1OC(=O)[C@@H]2CCCCN2C(=O)C(=O)[C@](O)(O2)[C@H](C)CCC2C[C@H](OC)/C(C)=C/C=C/C=C/[C@@H](C)C[C@@H](C)C(=O)[C@H](OC)[C@H](O)/C(C)=C/[C@@H](C)C(=O)C1 YYSFXUWWPNHNAZ-OSDRTFJJSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序。拍摄装置(20)具备：光电转换部(101)，其将由3个以上的像素接受的光信号按3个以上的像素的各像素转换成电荷信号；电荷保持部(102)，其保持转换后的3个以上的像素各自的电荷信号；模拟选择加法部(104)，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；模拟数字转换部(105)，其将多个加法电荷信号转换成多个数字信号；以及加法数据压缩部(106)，其使用多个模拟加法模式下的对电荷信息进行加法运算的像素数，对数字信号进行压缩来生成压缩数字信号。
Description
技术领域
本公开涉及使用了压缩感知的拍摄系统以及其拍摄数据的传输方式。
背景技术
近年来开发了被称为“压缩感知”的技术。压缩感知是指通过在拍摄时对多个像素的像素值(电荷信号)进行加法运算来压缩图像的信息量，并进行利用了图像稀疏性的图像复原的技术(例如，参照非专利文献1)。上述方式的拍摄被称为“加法采样拍摄”。
通常，当进行这样的加法采样拍摄时，图像的信息量会丢失，因此复原图像的画质大幅劣化。但是，在压缩感知中，由于进行利用了图像稀疏性的复原处理，所以能够通过加法拍摄而减少数据量，同时也能够获得画质不逊色于未压缩时的图像的复原图像。在此，“图像稀疏性”是指在将图像投影到了小波(Curvelet)空间或离散余弦(DCT)空间等时很多系数值都大致为0这样的知识。作为利用了图像稀疏性的图像复原方法，在压缩感知中，利用L0范数最小化或L1范数最小化方法。
在压缩感知中，在通过拍摄元件内的模拟数字转换器(以下，记述为“ADC”。)进行处理之前，能够通过单纯的加法运算处理来压缩数据量，因此能够降低ADC的驱动频率。由此，能够实现低功耗化、高SN(信噪比)化、通信频带的削减。
上述的非专利文献1公开了通过利用改进的迭代小波阈值(Improved IterativeCurvelet Thresholding)法对图像适用压缩感知的方法。
另外，例如，非专利文献2公开了利用了压缩感知概念的固体拍摄元件。在该固体拍摄元件中，在多个像素上分别连接有多条不同的布线。固体拍摄元件在错开相位的定时依次驱动像素群的多个像素来读出信号。通过该构成，削减了追加电路，并且不需要采样保持电路，实现了能够防止因噪声增加而导致的画质劣化、面积增加、速度降低的固体拍摄元件。
现有技术文献
非专利文献
非专利文献1：J.Ma，“Improved Iterative Curvelet Thresholding forCompressed Sensing and Measurement，”IEEE Transactions on Instrumentation andMeasurement，vol.60，no.1，pp.126-136，2011.
非专利文献2：Y.Oike and A.E.Gamal，“A 256×256CMOS Image Sensor withΔΣ-Based Single-Shot Compressed Sensing”，IEEE International Solid-StateCircuits Conference(ISSCC)Dig.of Tech.Papers，pp.386-387，2012.
非专利文献3：S.Sato，.Nobori and T.Azuma.“Compressive SensingReconstruction Using Local Spatial Similarity among Color Channels”，画像の認識·理解シンポジウム(MIRU)(图像识别与理解专题论文集)，2014.
非专利文献4：田中利幸，“圧縮センシングの数理(压缩感知的数理)”，IEICEFundamentals Review，vol.4，no.1，pp.39-47，2010.
非专利文献5：J.Zhang，D.Zhao，C.Zhao，R.Xiong，S.Ma，and W.Gao，“CompressedSensing Recovery via Collaborative Sparsity，”Proc.of Data Compr essionConference，pp.287-296，2012.
非专利文献6：茨木俊秀、福岛雅夫著、“情報数学講座(全15巻)第14巻最適化の手法(信息数学讲座(全15卷)第14卷最佳化的方法)」共立出版株式会社、1993年7月20日初版第一次印刷(P159-P164)
非专利文献7：Manya V.Afonso，Jose M.Bioucas-Dias，and MarioA.T.Figueiredo，“Fast Image Recovery Using Variable Splitting and ConstrainedOptimization”，IEEE Transactions on Image Rrocessing，Vol.19，No.9，pp.2345-2356，2010.
发明内容
在传输图像数据时，广泛实施了通过压缩拍摄数据来削减数据量。在以往的传输压缩中，通过利用附近像素、附近块(block)的相关性来进行差分计算等。但是，如前所述，在压缩感知中并不是将所有的像素值作为数字数据来取得而是通过加法采样拍摄来取得数字数据，因此需要与以往的差分处理不同的压缩方法。
本公开的非限定性且例示的一个技术方案是对利用压缩感知而拍摄到的数据进行压缩。
从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种技术方案及特征提供，无需为了获得一个以上益处和/或优点而实施所有的技术方案及特征。
本公开的一个技术方案的拍摄装置具备：光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；模拟选择加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；以及加法数据压缩部，其使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性的记录介质。
根据本公开，能够一边在空间和/或时间上变更加法采样模式一边进行选择性加法处理，按通过相同的采样模式进行了加法处理的各个数据进行压缩处理。通过相同的采样模式进行了加法处理的数据具有高度相关性，因此能够高效地压缩传输数据。
附图说明
图1是表示本公开的例示的一个实施方式的拍摄系统10的构成的图。
图2表示压缩装置2的加法数据压缩部106以及复原装置30的图像重建部109的更具体的构成的图。
图3是表示本公开的例示的一个实施方式的拍摄装置20的一部分处理的顺序的流程图。
图4是表示本公开的例示的一个实施方式中的4×4的16个像素的配置的示意图。
图5A是用于说明选择性加法处理的示意图。
图5B是用于说明选择性加法处理的示意图。
图5C是用于说明选择性加法处理的示意图。
图5D是用于说明选择性加法处理的示意图。
图5E是用于说明选择性加法处理的示意图。
图5F是用于说明选择性加法处理的示意图。
图5G是用于说明选择性加法处理的示意图。
图5H是用于说明选择性加法处理的示意图。
图6A是表示为了生成采样模式2下的第1输出信号而被读出电荷信号的像素群410的图。
图6B是表示为了生成采样模式2下的第2输出信号而被读出电荷信号的像素群411的图。
图6C是表示为了生成采样模式2下的第3输出信号而被读出电荷信号的像素群412的图。
图6D是表示为了生成采样模式2下的第4输出信号而被读出电荷信号的像素群413的图。
图6E是表示为了生成采样模式2下的第5输出信号而被读出电荷信号的像素群414的图。
图6F是表示为了生成采样模式2下的第6输出信号而被读出电荷信号的像素群415的图。
图6G是表示为了生成采样模式2下的第7输出信号而被读出电荷信号的像素群416的图。
图6H是表示为了生成采样模式2下的第8输出信号而被读出电荷信号的像素群417的图。
图7A是表示为了生成采样模式3下的第1输出信号而被读出电荷信号的像素群418的图。
图7B是表示为了生成采样模式3下的第2输出信号而被读出电荷信号的像素群419的图。
图7C是表示为了生成采样模式3下的第3输出信号而被读出电荷信号的像素群420的图。
图7D是表示为了生成采样模式3下的第4输出信号而被读出电荷信号的像素群421的图。
图7E是为了生成采样模式3下的第5输出信号而被读出电荷信号的像素群422的图。
图7F是表示为了生成采样模式3下的第6输出信号而被读出电荷信号的像素群423的图。
图7G是表示为了生成采样模式3下的第7输出信号而被读出电荷信号的像素群424的图。
图7H是表示为了生成采样模式3下的第8输出信号而被读出电荷信号的像素群425的图。
图8是示出了作为编码数据的表达方法的一例的加法采样信息表的例子的示意图。
图9是示出了作为编码数据的表达方法的一例的加法采样信息表的例子的示意图。
图10A是示意性表示时刻t＝t1时的采样模式的图。
图10B是示意性表示时刻t＝t2时的采样模式的图。
图10C是示意性表示时刻t＝t3时的采样模式的图。
图11A是表示通过按采样模式1的采样处理而被读出的第1～第4读出像素群402～405的图。
图11B是表示通过按采样模式1的采样处理而被读出的第5～第8读出像素群406～409的图。
图12A是表示通过按采样模式2的采样处理而被读出的第1～第4读出像素群410～413的图。
图12B是表示通过按采样模式2的采样处理而被读出的第5～第8读出像素群414～417的图。
图13A是表示通过按采样模式3的采样处理而被读出的第1～第4读出像素群418～421的图。
图13B是表示通过按采样模式3的采样处理而被读出的第5～第8读出像素群422～425的图。
图14是表示本公开的例示的一个实施方式的压缩装置2(图2)的处理的顺序的流程图。
图15是表示本公开的例示的一个实施方式的复原装置30(图2)的处理的顺序的流程图。
图16是表示用于传输加法采样信息与输出信号向量间的差分信号d的传输格式的例子的图。
图17是表示在头部501记述了加法采样模式组序号时的传输格式的例子的图。
图18是表示加法采样模式组序号的一例的示意图。
图19是表示拍摄系统10(图1)的第1变形例的拍摄系统10a的构成的图。
图20是表示拍摄系统10(图1)的第2变形例的拍摄系统10b的构成的图。
图21是表示本公开的例示的一个实施方式的拍摄系统10的硬件构成例的图。
附图标记说明
1 编码装置
2 压缩装置
30 复原装置
101 光电转换部
102 电荷保持部
103 加法采样信息设定部
104 模拟选择加法部
105 模拟数字转换部
106 加法数据压缩部
107 第一通信部
108 第二通信部
109 图像重建部
具体实施方式
本发明人反复研究的结果是，作为与以往的差分处理不同的压缩方法而发现了新的处理。
本公开的一个技术方案的概要如下。
本公开的一技术方案的拍摄装置具备：光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；模拟选择加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；以及加法数据压缩部，其使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
所述加法数据压缩部计算通过所述模拟数字转换部转换后的多个数字信号的平均值或中央值，对所计算出的平均值或中央值与所述多个数字信号的各数字信号的差分信号进行压缩，生成压缩数字信号。
所述加法数据压缩部进而利用熵编码对所述数字信号进行压缩来生成压缩数字信号。
所述加法数据压缩部进而利用哈夫曼编码对所述数字信号进行压缩来生成压缩数字信号。
所述拍摄装置还具备发送所述压缩数字信号和所述多个模拟加法模式的第一通信部。
所述第一通信部通过在头部包含所述多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式、或在头部包含所述压缩数字信号并在主体部包含所述多个模拟加法模式的第二格式进行发送。
在所述第一通信部中，所述第一格式中的头部的所述多个模拟加法模式被加密，所述第二格式中的主体部的所述多个模拟加法模式被加密。
本公开的另一技术方案的拍摄装置具备：光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；模拟加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的各位置对应的电荷信息进行加权加法运算的规则；模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；以及加法数据压缩部，其使用所述多个模拟加法模式下的加权后的电荷信息的加法结果，对所述数字信号进行压缩来生成压缩数字信号。
本公开的另一技术方案的拍摄系统具备：上述的拍摄装置；和复原装置。所述复原装置具有：第二通信部，其接收所述压缩数字信号和所述多个模拟加法模式；和图像复原部，其使用所述多个模拟加法模式，复原所述压缩数字信号，取得由所述拍摄元件拍摄到的图像信息。
作为本公开的另一技术方案，包括上述的拍摄系统中的复原装置。
本公开的另一技术方案的拍摄方法包括：将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个加法电荷信号是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；将所述多个加法电荷信号转换成多个数字信号；使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
所述拍摄方法还包括：发送所述压缩数字信号和所述多个模拟加法模式。
在所述拍摄方法中，通过在头部包含所述多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式或在头部包含所述压缩数字信号并在主体部包含所述多个模拟加法模式的第二格式，发送所述压缩数字信号和所述多个模拟加法模式。
在所述拍摄方法中，对所述第一格式中的头部的所述多个模拟加法模式进行加密，对所述第二格式中的主体部的所述多个模拟加法模式进行加密，通过在头部包含所述加密了的多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式或在头部包含所述压缩数字信号并在主体部包含所述加密了的多个模拟加法模式的第二格式，发送所述压缩数字信号和所述多个模拟加法模式。
本公开的另一技术方案的计算机程序使计算机进行如下处理：将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；生成多个加法电荷信号，该多个加法电荷信号是使用作为对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则的多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而得到的；将所述多个加法电荷信号转换成多个数字信号；使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
所述计算机程序使所述计算机发送所述压缩数字信号和所述多个模拟加法模式。
本公开的另一技术方案的拍摄装置包括：光电转换部，其包括接受光而输出第1多个电荷信号的第1多个像素，所述第1多个电荷信号与所述第1多个像素一一对应，所述第1多个像素分别输出所述第1多个电荷信号所包含的对应的电荷信号；模拟选择加法部，其输出多个加法电荷信号，所述多个加法电荷信号与多个指定信息一一对应，所述多个加法电荷信号分别通过对从由所对应的指定信息指定的多个像素输出的多个电荷信号进行加法运算而得到，所述多个指定信息互不相同，所述指定的多个像素与所述多个电荷信号一一对应，所述指定的多个像素包含于所述第1多个像素，所述多个电荷信号包含于所述第1多个电荷信号；模拟数字转换部，其将所述多个加法电荷信号分别转换成数字值，输出多个数字值；以及加法数据压缩部，其使用所述多个数字值和所述指定的多个像素的数量来生成第1多个数字值，所述第1多个电荷信号的数量比所述多个加法电荷信号的数量大，所述多个加法电荷信号的数量比所述多个电荷信号的数量大。
所述加法数据压缩部可以基于将所述多个数字信号各自的值除以所述多个像素的数量而得到的值来取得所述第1多个数字值。
以下，参照附图来说明本公开的例示的实施方式。
(实施方式1)
本公开的拍摄系统具有拍摄装置和复原装置。拍摄装置利用压缩感知的技术，通过对从多个像素得到的电荷信号(模拟信号)选择性地进行加法运算来进行拍摄，为了削减传输数据量而对加法数据进行压缩。复原装置使用用于控制选择性加法运算的信息(后述的加法采样信息)和由拍摄装置生成的压缩后的加法数据来生成图像。在本说明书中，有时将该处理记述为“复原图像”或“重建图像”。
在以下的说明中，“选择性地进行加法运算”是指在某位置的像素的电荷信号上选择性地加上与该位置处于预定关系的位置的像素的电荷信号，生成新的信号。选择性加法处理是指选择性地进行加法运算的处理。选择性加法处理是对模拟的电荷信号进行的，所得到的信号也还是模拟的电荷信号。后面叙述本实施方式的选择性加法处理的详细内容。
以下，首先说明构成拍摄系统的设备及其构成要素。然后，基于具体例进行说明，说明系统以及各设备的处理的详细内容。
图1表示本公开的一个实施方式的拍摄系统10的构成。拍摄系统10具备拍摄装置20和复原装置30。拍摄装置20将拍摄所得到的图像信号进行压缩编码而输出。复原装置30使用从拍摄装置20发送来的压缩编码后的图像信号对图像进行解码以及复原。
拍摄装置20具有光电转换部101、电荷保持部102、编码装置1和压缩装置2。
光电转换部101将在3个以上的像素接受的光信号按各个像素转换成电荷信号。
例如，光电转换部101具有受光元件群和光电转换元件。受光元件群具有3个以上的多个像素，该多个像素分别输出与所接受的光的量相应的电信号(光信号)。光电转换元件将该光信号转换成电信号。
或者，光电转换部101也可以不具有受光元件群。光电转换部101具有接受从外部的受光元件群等其他装置输出的光信号并将该光信号转换成电信号的光电转换元件即可。
电荷保持部102将由光电转换部101取得的电信号存储一定时间，作为电荷信号而保持。
具有受光元件群的光电转换部101以及电荷保持部102可以具体化成所谓的图像传感器。以下，作为光电转换部101具有多个像素来说明。
编码装置1具有加法采样信息设定部103、模拟选择加法部104和模拟数字转换部105。
加法采样信息设定部103保持有多个模拟加法模式。各模拟加法模式是对与3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则。各模拟加法模式是用于控制电荷信号的选择性加法运算的信息(加法采样信息)。加法采样信息设定部103一边在空间和/或时间上使被进行加法运算的像素的模式变更一边设定加法采样信息。
模拟选择加法部104从加法采样信息设定部103受理多个模拟加法模式的信息。模拟选择加法部104利用该信息对多个像素的电荷信号(模拟信号)进行选择性加法处理，生成多个加法电荷信号(模拟信号)。
模拟数字转换部105将多个加法电荷信号(模拟信号)转换成数字信号而输出。在本说明书中有时将该转换处理也称为“AD转换”。
压缩装置2对编码装置1拍摄并进行了选择性加法处理而得到的数字数据进行压缩而传输。压缩装置2具有加法数据压缩部106和第一通信部107。
加法数据压缩部106对模拟数字转换部105转换后的数字信号进行压缩。更具体而言，加法数据压缩部106使用多个模拟加法模式下的对电荷信息进行加法运算的像素数的信息，对数字信号进行压缩来生成压缩数字信号。或者，加法数据压缩部106使用多个模拟加法模式下的加权了的电荷信息的加法结果，对数字信号进行压缩来生成压缩数字信号。上述每种处理都在后面详细说明。
第一通信部107利用后述的预先设定的传输格式来输出2种信息。2种信息是指由加法采样信息设定部103设定的加法采样信息和由加法数据压缩部106压缩后的数字数据。输出可以通过有线和无线的任一方来进行。
复原装置30具有第二通信部108以及图像重建部109。
第二通信部108利用预先设定的传输格式，从外部接收加法采样信息以及压缩后的数字数据。接收可以通过有线和无线的任一方来进行。在本实施方式中，由于在压缩装置2的第一通信部107与复原装置30的第二通信部108之间进行通信，所以在它们之间使用了共同的传输格式。
图像重建部109利用加法采样信息，根据压缩后的数字数据来重建所拍摄到的图像。
图2表示压缩装置2的加法数据压缩部106以及复原装置30的图像重建部109的更具体的构成。以下，主要说明加法数据压缩部106以及图像重建部109的详细内容。
加法数据压缩部106具有数字数据取得部201、加法采样信息取得部202和数据压缩部203。
数字数据取得部201取得数字数据。该数字数据是模拟选择加法部104拍摄并且模拟数字转换部105转换后的数据。
加法采样信息取得部202取得加法采样信息设定部103设定并且在选择性加法处理中被利用的加法采样信息。
数据压缩部203按进行压缩的单位即按各个块来选择数字数据的压缩方法，使用所选择出的压缩方法来压缩各块的数据量。该压缩处理也被称为编码处理。该处理的详细内容，在后面参照图14等来详细叙述。
压缩后的数据经由第一通信部107发送给复原装置30的第二通信部，由图像重建部109接收。
图像重建部109具有数据解码部204、图像复原部205和解码信号输出部206。
数据解码部204进行与数据压缩部203相反的处理，对编码后的各块的数据进行解码。
图像复原部205利用解码后的加法数据和加法采样信息来复原图像，制作所得到的复原图像。
解码信号输出部206输出复原图像。
以下，说明使用具有上述构成的拍摄系统10进行的处理。
本公开的一个技术方案的拍摄系统10的拍摄装置20使用压缩感知的方法，对AD转换前的图像信号进行压缩来削减信息量，进而通过利用加法采样信息对AD转换后的数字数据也进行压缩。更详细而言，拍摄装置20一边在空间和/或时间上变更加法采样信息一边进行选择性加法处理，利用加法采样信息进行压缩处理。通过利用加法采样信息，能够高效地进行压缩。并且，拍摄系统10的复原装置30利用在压缩时所使用的加法采样信息，从压缩后的数字数据复原图像。
以下，首先说明编码处理。
图3是表示本实施方式的拍摄装置20的一部分处理的顺序的流程图。此外，在包括图3的本申请附图的流程图中，通过由虚线包围执行各步骤的构成要素的参照附图标记而得到的块来表示。
光电转换部101具有多个像素，各像素将所接受的光转换成与该光量相应的电信号(步骤S101)。多个像素例如通过按二维状排列光电二极管等光电转换元件来实现。
电荷保持部102将由光电转换部101得到的所有像素的电信号存储一定时间，作为电荷信号而保持(步骤S102)。按各个像素来设置用于保持电荷的存储器即可。
此外，在此所说的“所有像素”可以是字面意义上的所有像素，也可以是除去一部分像素之外剩余的像素群。对后者进行更详细的说明。对于构成光电转换部101以及电荷保持部102的图像传感器而言，经常是左端以及/或者右端的像素的电荷不被读出而作为空白(0)被处理。可以将除去这样的不被读出电荷的像素群之外剩余的被读出电荷的像素群称为“所有像素”。
接着，转移到编码装置1的处理。
加法采样信息设定部103设定加法采样信息，以使模拟选择加法部104以及模拟数字转换部105执行选择性加法处理(步骤S103)。
加法采样信息是用于对模拟选择加法部104以及模拟数字转换部105执行的处理的内容进行特定的信息。具体而言，加法采样信息针对选择性加法处理后的新的输出信号的各信号值，是在原来的电荷信号中用于加法运算的像素的位置、赋予何种程度的增益(gain)来进行加法运算这样的像素的增益信息、进而以何种顺序来发送进行了加法运算后的输出信号这样的顺序信息。具体例在后面叙述。
模拟选择加法部104对电荷保持部102保持的所有像素的电荷信号，基于加法采样信息设定部103设定的加法采样信息进行模拟选择加法处理，生成新的信号并输出(步骤S104)。
模拟数字转换部105将由模拟选择加法部104生成的信号转换成数字信号(步骤S105)。该处理可以利用非专利文献2所记载的ΔΣ型ADC来进行，也可以利用众所周知的流水线(pipeline)型或列(column)型的模拟数字转换器来进行。
通过模拟选择加法部104和模拟数字转换部105进行选择性加法处理，能够压缩图像信息，能够减少向模拟数字转换部105发送的信号量、即模拟数字转换部105应该处理的信号量。选择性加法处理、压缩处理以及复原处理，对最终输出的画质有很大影响，因此问题是如何进行这些处理。
关于模拟选择加法处理，将所有像素划分成几个块，将对某块内的像素进行的模拟选择加法处理的采样模式(加法采样信息)设定成在空间和/或时间上不同，在多个像素按照加法采样信息对电荷保持部102保持的电荷信号进行加法处理。采样模式在空间上不同是指利用采样模式反复的周期大的不同的周期模式(采样模式)、或按像素的各个位置而利用不同的周期模式(采样模式)。另外，采样模式在时间上不同是指各像素的采样模式按在受光的时间上不同。
根据本构成，拍摄装置能够一边在空间和/或时间上变更加法采样信息一边进行拍摄，进而能够一边利用加法采样信息一边压缩拍摄数据来传输，因此能够一边复原高画质的图像一边削减传输数据。
在此，说明在此之前所述的选择性加法处理、数据压缩处理以及图像复原处理。以下，为了简化说明，以对4×4的16个像素采样8个输出信号的处理为例来说明。
(具体例)
图4是表示在本说明书中例示的4×4的16个像素的配置的示意图。在图4中，对4×4的各像素标注了像素序号。即，在4×4像素中，从左上角的像素向右依次设为“1”“2”“3”“4”，同样，从下一行的左端的像素起设为“5”“6”……，将右下角的像素设为“16”。例如像素401是像素序号4的像素。
图5A～图5H是用于说明选择性加法处理的示意图。选择性加法处理基于加法采样信息通过模拟选择加法部104来进行。
图5A～图5H分别表示后述的采样模式1下的8个输出信号分别是对来自哪个像素的电荷信号进行加法运算而得到的。也即，在图5A～图5H的各图中标注了序号的各像素，表示用于选择性加法处理的像素。在本说明书中，将图5A～图5H各自所示的用于选择性加法处理的一组像素群称为“读出像素群”。在图5A～图5H中，示出了分别标注了序号1-8的读出像素群402-409。
同样，图6A～图6H表示采样模式2下的8个输出信号的读出像素群410-417，图7A～图7H表示采样模式3下的8个输出信号的读出像素群418-425。
在图5A中，读出像素序号1、2、5、6的电荷信号，对这4个像素的电荷信号进行加法处理，由此生成采样模式1的第1输出信号。同样，在图5B中，读出像素序号3、4、7、8的电荷信号，对这4个像素的电荷信号进行加法运算，生成采样模式1的第2输出信号。在图5C中，读出像素序号9、10、13、14的电荷信号，对这4个像素的电荷信号进行加法运算，生成采样模式1的第3输出信号。在图5D中，读出像素序号11、12、15、16的电荷信号，对这4个像素的电荷信号进行加法运算，生成采样模式1的第4输出信号。在图5E～图5H中也同样，根据像素序号1、6、11、16来生成采样模式1的第5输出信号，根据像素序号3、8、9、14来生成采样模式1的第6输出信号，根据像素序号2、5、12、15来生成采样模式1的第7输出信号，根据像素序号4、7、10、13来生成采样模式1的第8输出信号。
由此，将4×4＝16个像素的电荷信号压缩成8个输出信号。由此，能够降低前述的模拟数字转换部105的工作速度，因此能够在实现低功耗化、高SN化、通信频带的削减的同时复原图像。
另外，前述的加法采样信息例如将被采样来进行加法运算的像素设为“1”、将未被采样的像素设为“0”而表达为按图示的像素序号依次编码后的数据。具体如下。
第1输出信号：“1100 1100 0000 0000”
第2输出信号：“0011 0011 0000 0000”
第3输出信号：“0000 0000 1100 1100”
第4输出信号：“0000 0000 0011 0011”
第5输出信号：“1000 0100 0010 0001”
第6输出信号：“0010 0001 1000 0100”
第7输出信号：“0100 1000 0001 0010”
第8输出信号：“0001 0010 0100 1000”
因此，若将它们连接，则采样模式1下的加法采样信息如下。
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 00000000 0011 0011 1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 0001 00100001 0010 0100 1000”
在本说明书中，将上述的数字串称为“加法采样信息编码数据”或简称为“编码数据”。此外，加法采样信息的形式不限于在此所示的形式。只要是清楚被采样来进行加法运算的像素的位置的形式即可。
同样，根据图6A～图6H，采样模式2下的编码数据如下。
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 00000000 0011 0011 0100 0010 1000 0000 0010 1000 0001 0110 0001 0100 0010 10001000 0010 0100 0001”
根据图7A～图7H，采样模式3下的编码数据如下。
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 00000000 0011 0011 1000 0101 0100 0010 0010 0000 1000 0001 0100 1010 0001 10000001 0000 0010 0000”
图8以及图9是表示作为这样的编码数据的表达方法的一例的加法采样信息表的例子的示意图。
图8中的与采样模式1对应的加法采样信息编码数据是与图5A～图5H所示的选择性加法处理对应的数据。
图8中的与采样模式2对应的加法采样信息编码数据是与图6A～图6H所示的选择性加法处理对应的数据。
图9中的与采样模式3对应的加法采样信息编码数据是与图7A～图7H所示的选择性加法处理对应的数据。
如此，通过将一个像素读出多次，进而进行多次加法处理，能够提高输出信号的动态范围(dynamic range)，因此也能够降低噪声。关于这样的选择性加法处理，例如记载在非专利文献2中。
另外，在本实施方式的拍摄系统10中，进行在时间且空间上不同的选择性加法处理。因此，加法数据压缩部106将拍摄元件11划分成多个块，对按各个块得到的电荷信号进行不同的选择性加法处理。在此，将用于特定按各个块进行的选择性加法处理的加法采样信息称为加法采样模式。
图10A示意性表示时刻t＝t1时的采样模式，图10B示意性表示时刻t＝t2时的采样模式，图10C示意性表示时刻t＝t3时的采样模式。x、y表示块序号的索引。也即，左上的块表示(x，y)＝(1，1)。各块是4×4像素的一组。在此，例示(x，y)＝(5，6)的块301来说明。在块301的中央所记载的序号“5”表示加法采样模式的序号。例如，对于构成块301的像素的电荷信号，在时刻t＝t1时按采样模式5进行选择性加法处理。另外，在时刻t＝t2时按采样模式6进行选择性加法处理。并且，在时刻t＝t3时按采样模式1进行选择性加法处理。虽然与采样模式4～采样模式16分别对应的加法采样信息编码数据未明示，但若将与采样模式n(n＝1～16的自然数)对应的加法采样信息编码数据设为Dn，则Di≠Dj(i≠j，i、j为1～16的自然数)。另外，
若设为Dn＝(dn1 dn2 dn3 dn4 dn5 dn6 dn7 dn8 dn9 dn10 dn11 dn12 dn13dn14 dn15 dn16 dn17 dn18 dn19 dn20 dn21 dn22 dn23 dn24 dn25 dn26 dn27 dn28dn29 dn30 dn31 dn32 dn33 dn34 dn35 dn36 dn37 dn38 dn39 dn40 dn41 dn42 dn43dn44 dn45 dn46 dn47 dn48 dn49 dn50 dn51 dn52 dn53 dn54 dn55 dn56 dn57 dn58dn59 dn60 dn61 dn62 dn63 dn64 dn65 dn66 dn67 dn68 dn69 dn70 dn71 dn72 dn73dn74 dn75 dn76 dn77 dn78 dn79 dn80 dn81 dn82 dn83 dn84 dn85 dn86 dn87 dn88dn89 dn90 dn91 dn92 dn93 dn94 dn95 dn96 dn97 dn98 dn99 dn100 dn101 dn102dn103 dn104 dn105 dn106 dn107 dn108 dn109 dn110 dn111 dn112 dn113 dn114 dn115dn116 dn117 dn118 dn119 dn120 dn121 dn122 dn123 dn124 dn125 dn126 dn127dn128)，则可以是：
dn1＝dn2＝1，dn3＝dn4＝0，
dn5＝dn6＝1，dn7＝dn8＝0，
dn9＝dn10＝dn11＝dn12＝0，
dn13＝dn14＝dn15＝dn16＝0，
dn17＝dn18＝0，dn19＝dn20＝1，
dn21＝dn22＝0，dn23＝dn24＝1
dn25＝dn26＝dn27＝dn28＝0，
dn29＝dn30＝dn31＝dn32＝0，
dn33＝dn34＝dn35＝dn36＝0，
dn37＝dn38＝dn39＝dn40＝0，
dn41＝dn42＝1，dn43＝dn44＝0
dn45＝dn46＝1，dn47＝dn48＝0，
dn49＝dn50＝dn51＝dn52＝0，
dn53＝dn54＝dn55＝dn56＝0
dn57＝dn58＝0，dn59＝dn60＝1，
dn61＝dn62＝0，dn63＝dn64＝1。
同样，在时刻t＝t1时，在(1，1)块按采样模式1进行选择性加法处理。并且，在(2，1)块按采样模式2进行选择性加法处理，在(3，1)块按采样模式3进行选择性加法处理。
在此，由于对4×4像素的采样模式利用4×4的16个模式，所以在各块使用的采样模式的周期成为16×16＝256个周期。在通常的单片拍摄的情况下，作为滤色器阵列而广泛利用了拜耳阵列，但由于这按2×2像素而红红/绿/蓝的配置相等，所以成为2×2周期的排列。也即，在本实施方式中进行采样的16×16周期，与以往的拍摄装置的2×2周期相比非常大。另外，为了在时间上变更采样模式，即使是一个像素，加法运算方法也按每个帧而不同。因此能够进行在时间和/或空间上不同的选择性加法处理。
本申请发明人对本实施方式的编码装置1的选择性加法处理设置了以下的条件。
(1)与第1～第4输出信号关联的选择性加法处理，是与采样模式无关系而固定进行的。以使其读出像素群成为复原图像的低分辨率图像的方式同时采样附近的像素。
(2)与第5～8的输出信号关联的选择性加法处理，按采样模式而异，因此在空间和/或时间上不同。
图11A、图11B、图12A、图12B、图13A、图13B是用于说明选择性加法处理的2个条件的示意图。在这些图中，对与图5A～图5H、图6A～图6H、图7A～图7H相同的构成要素标注相同的标号，省略说明。
在图11A、图11B、图12A、图12B、图13A、图13B中，图11A、图12A、图13A示出通过按采样模式1～3的采样处理而被读出的第1～第4读出像素群402～405、410～413、418～421。另外，图11B、图12B、图13B示出通过按采样模式1～3的采样处理而被读出的第5～第8读出像素群406～409、414～417、422～425。为了便于记载，对一部分像素标注了参照附图标记。
关于基于第1～第4读出像素群402～405、410～413、418～421的各输出信号，通过采样处理，4×4像素被降低分辨率到相当于2×2像素。而且，在采样模式1～3下采样像素没有变化。因此，本实施方式的拍摄系统，对于第1～第4输出信号，不进行图像复原处理而使其输出，由此能够几乎不施加处理负荷而实时地显示低分辨率图像。
另一方面，关于基于第5～第8读出像素群406～409、414～417、422～425的各输出信号，在采样模式1～3下采样像素的位置一直变化，但4×4像素的所有像素必定被采样一次，采样频度相等。如此，通过在时间上使采样像素变化，能够使图像重建部109复原的图像的画质也提高(例如，非专利文献3)。
当然，模拟选择加法部104可以以使选择性地进行加法运算的像素的位置在空间、时间上尽可能随机和/或独立的方式进行选择。如此，能够防止因选择性加法处理导致的图像信息的劣化，能够提高复原图像的画质。此外，在例如非专利文献4的pp.43-44，讨论了能够根据随机矩阵和观测结果来正确地推定稀疏的未知向量这一情况。
这样的随机的选择性加法处理，通过将随机进行选择性加法运算而得到的加法数据事先设定成图8～图9那样来实现。该情况下，加法采样信息设定部103对按各个帧利用的采样模式序号进行变更即可。作为实际存在的设备的动作，为了在时间且空间上变更采样模式，设置以软件或硬件方式变更采样模式的开关，通过开关来切换对哪个像素值进行加法运算即可。在此，通过外部信号提供开关的接通/断开，并将该外部信号设为加法采样信息即可。
在此，将通过拍摄图像和选择性加法运算而输出的信号标记为向量。当将按图4的像素序号的顺序排列拍摄图像的像素值而得到的拍摄图像向量设为x、将排列第1～第8输出信号而得到的输出信号向量设为y时，以下的关系式成立。
【式1】
y＝S·x
矩阵S是采样矩阵。例如对于采样模式1，以矩阵形式表达上述的加法采样信息而得到的采样矩阵S，表达为如下。
【式2】
根据以上的选择性加法处理，能够将16个像素的电荷信号压缩成8个输出信号。
同样，对于采样模式2，以矩阵形式表达上述的加法采样信息而得到的采样矩阵S，表达为如下。
【式3】
接着，对数据压缩处理和解码处理进行说明。
另外，图14是表示本实施方式的压缩装置2(图2)的处理的顺序的流程图。进而，图15是表示本实施方式的复原装置30(图2)的处理的顺序的流程图。
首先，对数据压缩处理进行说明。
数字数据取得部201取得模拟选择加法部104拍摄并且模拟数字转换部105转换后的数字数据(步骤S201)。
加法采样信息取得部202取得加法采样信息设定部103设定并且在选择性加法处理中利用的加法采样信息(步骤S202)。
数据压缩部203为了选择传输数据的压缩方法而首先选择附近块(步骤S203)。对于以往的图像处理中的数据压缩，利用在附近像素间和/或附近块间具有高度相关性这一情况。即，通过在附近像素间或附近块间计算差分，能够压缩数据。另一方面，在进行在空间且时间上不同的选择性加法处理的情况下，如式3所示，各输出信号是对不同数量的像素的电荷进行加法运算的，因此即使单纯地计算差分，也无法提高压缩率。因此，本实施方式的数据压缩部203通过利用作为加法采样信息的采样矩阵S的信息，能够解决对不同数量的像素的电荷进行加法运算这样的问题，因此能够进行高效的压缩。
在此，按光栅扫描的顺序压缩块。即，在图10A～图10C中，首先压缩(x，y)＝(1，1)的块，接着是(2，1)，然后是(3，1)，……，最后压缩(6，6)。该情况下，作为附近块而选择注目块的左邻的块。
在不存在附近块的情况下(步骤S204中“否”)、即在对图像的左端(x＝1)的块进行压缩的情况下，通过对加法数据本身进行编码来压缩信号(步骤S205)。这例如对输出信号向量要素的差分进行计算并通过熵编码或哈夫曼编码对所求出的差分信号进行编码即可。另外，输出信号向量间的差分信号d通过如下所述乘以根据加法采样信息计算出的修正系数来计算。
【式4】
di＝li-li-1，
i＝2，...，8.
在此，yi是第i个输出信号，Sum(S(i))表示采样矩阵S的第i行分量的总和。
若将采样矩阵S的m行n列的分量设为smn，则Sum(S(i))＝si1+si2+……+Si16。例如Sum(S(1))＝1+1+0+0+1+1+0+0+0+0+0+0+0+0+0+0＝4。
另外，图16示出了用于传输加法采样信息和输出信号向量间的差分信号d的传输格式的例子。在头部501记述加法采样信息并且在数据部502记述输出信号向量间的差分信号d即可。在此，头部501的加法采样信息不是记载所有块的加法采样信息，而可以记载加法采样模式组序号。图17表示加法采样模式组序号记述在头部501时的传输格式的例子。
图18是表示加法采样模式组序号的一例的示意图。在此，加法采样模式组序号1表示图10A的时刻t＝t1，加法采样模式组序号2表示图10B的时刻t＝t2，加法采样模式组序号3表示图10C的时刻t＝t3。如此，能够减小头部501，同时能够削减传输数据。
另外，在将此时的传输格式加密传输时，不是压缩整个数据，而可以对头部501的加法采样信息进行加密。如后所述，对于本实施方式的复原处理而言，加法采样信息是必须的。另外，由于加法数据是进行随机加法处理的，所以无法直接取得高分辨率的图像。因此，通过不是压缩整个数据而是对头部501的加法采样信息进行加密，能够抑制演算负荷，同时能够进行传输数据的加密。
另一方面，在所选择出的附近块的数据已经被发送的情况下(步骤S204中“是”)，也计算与所选择出的附近块的加法数据之间的差分信号(步骤S206)，通过对输出信号向量间的差分信号进行编码来压缩信号(步骤S207)。在步骤S206中，与块间的加法数据之间的差分信号例如计算为如下。
【式5】
d1＝l1-l8，l
在此，l8,l是所选择出的附近块的第8个差分信号。在自然图像中，已知相邻的块间的相关性非常接近。因此，通过利用附近块的信息来进行压缩处理，能够提高压缩率。也即，上述的第8个是例示，只要是邻近块的任一个即可。
另外，在步骤S207中，输出信号向量间的差分信号d计算为如下。
【式6】
di＝li-li-1，i＝2，...，8
如上所述，本实施方式的数据压缩部203通过利用作为加法采样信息的采样矩阵S的信息，能够解决对不同数量的像素的电荷进行加法运算这样的问题，因此能够进行高效的压缩。
第一通信部107将所述数据压缩部203压缩后的编码信号和加法采样信息发送给复原装置30(步骤S208)。
接着，说明图像复原处理。
第二通信部108接收所述第一通信部107发送来的编码信号和加法采样信息(步骤S209)。通信经由无线或有线的通信线路(网络)来进行。
数据解码部204首先确认编码信号是对块间的差分信号进行了编码的信号还是对加法数据本身进行了编码的信号(步骤S210)。这通过确认块是否处于图像的左端(x＝1)来进行即可。
在块处于图像的左端、即编码信号是加法数据的情况下(步骤S210中“否”)，数据解码部204利用加法采样信息，从编码信号l解码加法数据y(步骤S211)。这按下式进行计算。
【式7】
y1＝Sum(S(1))·d1，
li＝li-1+di，
yi＝Sum(S(i))·li，
i＝2，...，8.
另一方面，在编码信号是对块间的差分信号进行了编码的信号的情况下(步骤S210中“是”)，数据解码部204利用加法采样信息和附近块的解码数据，从编码信号l解码加法数据(步骤S212)。这计算为如下。
【式8】
l1＝d1+l8，l，
y1＝Sum(s(1))·l1.
另外，在步骤S213中，利用加法采样信息，从编码信号l解码加法数据y(步骤S213)。这按下式进行计算。
【式9】
li＝li-1+di，
yi＝Sum(S(i))·li，
i＝2，...，8.
图像复原部205利用解码后的加法数据和加法采样信息，通过图像复原，制作复原图像(步骤S214)。
数据解码部204以及图像复原部205通过CPU(未图示)执行计算机程序来实现。此外，也可以取代通过CPU执行计算机程序来实现数据解码部204以及图像复原部205，而作为硬件设置提供相同功能的信号处理电路。
解码信号输出部206将图像复原部205复原后的复原图像显示于显示器或保存于存储器。
复原处理利用通过假设图像的局部类似性作为事先知识来提取图像的重复构造，并将其用作先知信息的方法(例如参照非专利文献5)。当然，复原处理并不限于该方法，利用对于压缩感知而言广泛使用的改进的迭代小波阈值(Improved Iterative CurveletThresholding)法(例如参照非专利文献1)、仿射尺度(affine scaling)法(例如参照非专利文献6)、交替方向乘子法(Alternating Direction Method of Multipliers)(例如参照非专利文献7)等公知的方法即可。
根据本公开的拍摄系统10，一边在空间和/或时间上变更加法采样模式一边进行选择性加法处理，按以相同的采样模式进行了选择性加法处理的各个数据进行压缩处理。由于以相同的采样模式进行了选择性加法处理的数据具有高度相关性，所以能够高效地进行压缩。
此外，本说明书中的拍摄系统也可以不作为装置来实现。例如，可以通过作为计算机的通用处理器执行计算机可读取的记录介质所记录的计算机程序来进行上述的拍摄装置的动作。这样的计算机程序例如包含用于使计算机执行通过图14、图15的流程图实现的处理的命令群。计算机程序被记录在CD-ROM等记录介质中作为产品在市场上买卖或者通过因特网等电通信线路而传输。
另外，加法数据压缩部106也可以利用块内的像素值的平均值来进行压缩处理。对该处理进行说明。如以图11A、图11B、图12A、图12B、图13A、图13B进行的说明，在本实施方式的拍摄系统中，能够通过简单的处理来取得低分辨率图像。利用该信息来取得块内的平均值。即，通过对选择性加法处理的第1输出信号～第4输出信号进行加法运算，能够计算块内16个像素的合计值。通过将其除以像素数16，能够计算块内的平均值。在此，若将块内的平均值设为A，则数据压缩部203将加法数据变更为如下。
【式10】
y′i＝yi-Sum(S(i))·A，
0＝1，...，8.
由于如此求出的y’取接近0的值，所以通过取代式4～9的y而利用yi，能够提高压缩率。该情况下，各个块的平均值A也通过第一通信部107和第二通信部108进行收发。
在以上的说明中，模拟选择加法部104将电荷保持部102保持的电荷信号在多个像素按照加法采样信息进行加法处理，当然也可以作为增益而进行加权加法处理。如前所述，在压缩感知中，通过在空间、时间上尽可能随机地选择要采样的像素位置，能够提高复原图像的画质。因此，通过对增益进行加权加法运算，能够提高随机性，提高复原图像的画质。另外，当对多个像素进行加法运算时，数据的动态范围增大，对解决模拟数字转换部105的负荷增加也是有效的。这样的加权加法处理，取代式2的采样矩阵S而利用以下的矩阵S即可。
【式11】
另外，为了与加法运算后的数据的动态范围相适应，在进行标准化处理的情况下提供权重1/4作为增益即可。在如此对选择性加法处理附加增益的情况下，将采样矩阵S设定成如下即可。
【式12】
如此，即使在模拟选择加法部104按照加法采样信息进行加权加法处理的情况下，数据压缩部203也按式4～式9进行处理即可。
接着，说明上述的拍摄系统的变形例。在以下的例子中，对具有相同功能以及构成的构成要素标注相同的参照附图标记，对功能以及/或者构成不同的构成要素，例如标注“a”或“b”的索引标记。此外，以下说明的各种变形例也能够适用于进行上述的加权加法处理的例子。
图19表示拍摄系统10(图1)的第1变形例的拍摄系统10a的构成。拍摄系统10(图1)与拍摄系统10a的不同之处在于：在拍摄系统10a中，加法采样信息设定部103设置在了拍摄装置20的外部。也即，拍摄系统10a的编码装置1a不具有加法采样信息设定部103。
加法采样信息设定部103例如可以通过在网络上连接的智能手机等信息终端或PC来实现。
加法采样信息设定部103将加法采样信息发送给模拟选择加法部104、加法数据压缩部106以及复原装置30的图像重建部109。由于加法采样信息从加法采样信息设定部103直接发送给复原装置30，所以第一通信部107不需要将加法采样信息存储于图16所示的头部501来发送。其他的构成以及动作与拍摄系统10(图1)相同。
此外，加法采样信息也可以不从加法采样信息设定部103直接发送给复原装置30。该情况下，第一通信部107如图16所示将加法采样信息存储于头部501来发送即可。
图20表示拍摄系统10(图1)的第2变形例的拍摄系统10b的构成。在拍摄系统10b中，不存在上述的加法采样信息设定部103。其理由是因为加法采样信息被预先设定。因此，编码装置1b的模拟选择加法部104b、加法数据压缩部106b以及复原装置30b的图像重建部109b分别将预先设定的加法采样信息保持于半导体存储器等存储装置(未图示)。其他的构成以及动作与拍摄系统10(图1)相同。
此外，在之前的说明中，设为了压缩装置2具有发送压缩数据的第一通信部107，但该构成不是必须的。也可以取代第一通信部107而设置存储压缩数据以及加法采样信息的存储装置。存储装置例如是指闪速存储器等半导体存储器、硬盘驱动器这样的磁存储装置、光盘这样的光学记录介质。在这样的构成时，复原装置30不需要在空间以及/或者时间上与拍摄装置20同时存在。例如可以使用闪速存储器所存储的压缩数据以及加法采样信息，由设置在空间上分离的位置的复原装置30来再现。存储装置和第一通信部107可以并存。
图21表示本公开的一个实施方式的拍摄系统10的硬件构成例。拍摄系统10具备拍摄元件11、多路复用器(MUX)12、控制电路13、模拟数字转换器(ADC)14、压缩电路15和图像复原电路16。
拍摄元件11是由多个像素构成的像素阵列。拍摄元件11将所接受的光信号转换成电信号。更具体而言，拍摄元件11的各像素接收光，存储与所入射的光的量相应的电荷并输出。拍摄元件11是所谓的图像传感器，与具有受光元件群的光电转换部101以及电荷保持部102对应。
MUX12进行对多个像素的像素值(电荷信号)进行加法运算的处理、即上述的选择性加法处理。MUX12与编码装置1的模拟选择加法部104对应。
控制电路13生成用于控制MUX12的选择性加法处理的控制信号而输出给MUX12。该控制信号是加法采样信息，控制电路13与加法采样信息设定部103对应。此外，控制电路13不需要为了控制选择性加法处理而存在。例如控制电路13是按照计算机程序进行动作的信号处理处理器即可，信号处理处理器可以控制后述的模拟数字转换处理、加法数据压缩处理、通信处理等的一部分或全部。
ADC14将通过选择性加法处理而得到的模拟的电荷信号转换成数字数据。ADC14例如是将ΔΣ调制器和数字滤波器(均未图示)串联连接而构成的ΔΣ型ADC。ΔΣ调制器接收模拟信号，转换成以比设想的采样率高的速度采样的1位的脉冲波形(数字波形)。数字滤波器对该脉冲波进行频带限制和抽取(插值)，输出所设想的采样率的多位的数字数据。ADC14与模拟数字转换部105对应。
压缩电路15对通过ADC而数字化的数据进行压缩，由此削减数据量。压缩电路15需要进行上述的式4～式6所示的数值运算，因此可以作为数值运算协处理器等而安装。压缩电路15与加法数据压缩部106对应。
图像复原电路16从由压缩电路15压缩后的数字数据解码加法数据，进而使用压缩采样技术生成由拍摄元件11最初生成的图像。即，进行图像的复原或重建。
本公开的例示的实施方式的拍摄系统，在利用了能够实现低功耗化、高SN化、通信频带的削减的压缩感知的拍摄系统中，用于提高画质同时削减传输数据。
Claims (14)
1.一种拍摄装置，具备：
光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；
电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；
模拟选择加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；
模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；以及
加法数据压缩部，其使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
2.根据权利要求1所述的拍摄装置，
所述加法数据压缩部计算通过所述模拟数字转换部转换后的多个数字信号的平均值或中央值，对所计算出的平均值或中央值与所述多个数字信号的各数字信号的差分信号进行压缩，生成压缩数字信号。
3.根据权利要求1所述的拍摄装置，
所述加法数据压缩部进而利用熵编码对所述数字信号进行压缩来生成压缩数字信号。
4.根据权利要求1所述的拍摄装置，
所述加法数据压缩部进而利用哈夫曼编码对所述数字信号进行压缩来生成压缩数字信号。
5.根据权利要求1所述的拍摄装置，
所述拍摄装置还具备发送所述压缩数字信号和所述多个模拟加法模式的第一通信部。
6.根据权利要求5所述的拍摄装置，
所述第一通信部通过在头部包含所述多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式、或在头部包含所述压缩数字信号并在主体部包含所述多个模拟加法模式的第二格式进行发送。
7.根据权利要求6所述的拍摄装置，
在所述第一通信部中，
所述第一格式中的头部的所述多个模拟加法模式被加密，
所述第二格式中的主体部的所述多个模拟加法模式被加密。
8.一种拍摄装置，具备：
光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；
电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；
模拟加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的各位置对应的电荷信息进行加权加法运算的规则；
模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；以及
加法数据压缩部，其使用所述多个模拟加法模式下的加权后的电荷信息的加法结果，对所述数字信号进行压缩来生成压缩数字信号。
9.一种拍摄系统，具备：
权利要求5所述的拍摄装置；和
复原装置，
所述复原装置具有：
第二通信部，其接收所述压缩数字信号和所述多个模拟加法模式；和
图像复原部，其使用所述多个模拟加法模式，复原所述压缩数字信号，取得由所述拍摄装置拍摄到的图像信息。
10.一种复原装置，是如下拍摄系统中的复原装置，
所述拍摄系统具备：
拍摄装置；和
所述复原装置，
所述拍摄装置具备：
光电转换部，其将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号；
电荷保持部，其保持所述转换后的3个以上的像素各自的电荷信号；
模拟选择加法部，其使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个模拟加法模式是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则；
模拟数字转换部，其将所述多个加法电荷信号转换成多个数字信号；
加法数据压缩部，其使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号；以及
第一通信部，其发送所述压缩数字信号和所述多个模拟加法模式，
所述复原装置具有：
第二通信部，其接收所述压缩数字信号和所述多个模拟加法模式；和
图像复原部，其使用所述多个模拟加法模式，复原所述压缩数字信号，取得由所述拍摄装置拍摄到的图像信息。
11.一种拍摄方法，包括：
将由3个以上的像素接受的光信号按所述3个以上的像素的各像素转换成电荷信号，
使用多个模拟加法模式将所述多个像素的电荷信号进行了加法运算而生成多个加法电荷信号，所述多个加法电荷信号是对与所述3个以上的像素中的预定的多个像素的位置对应的电荷信息进行加法运算的规则，
将所述多个加法电荷信号转换成多个数字信号，
使用所述多个模拟加法模式下的对电荷信息进行加法运算的像素数，对所述数字信号进行压缩来生成压缩数字信号。
12.根据权利要求11所述的拍摄方法，还包括：
发送所述压缩数字信号和所述多个模拟加法模式。
13.根据权利要求12所述的拍摄方法，
通过在头部包含所述多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式或在头部包含所述压缩数字信号并在主体部包含所述多个模拟加法模式的第二格式，发送所述压缩数字信号和所述多个模拟加法模式。
14.根据权利要求13所述的拍摄方法，
对所述第一格式中的头部的所述多个模拟加法模式进行加密，
对所述第二格式中的主体部的所述多个模拟加法模式进行加密，
通过在头部包含所述加密了的多个模拟加法模式并在主体部包含所述压缩数字信号的第一格式或在头部包含所述压缩数字信号并在主体部包含所述加密了的多个模拟加法模式的第二格式，发送所述压缩数字信号和所述多个模拟加法模式。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015003089 | 2015-01-09 | ||
| JP2015-003089 | 2015-01-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105791672A CN105791672A (zh) | 2016-07-20 |
| CN105791672B true CN105791672B (zh) | 2020-02-07 |
Family
ID=56368428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510781882.4A Active CN105791672B (zh) | 2015-01-09 | 2015-11-16 | 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9866779B2 (zh) |
| JP (1) | JP6531986B2 (zh) |
| CN (1) | CN105791672B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170329021A1 (en) * | 2016-05-12 | 2017-11-16 | General Electric Company | System and method for combining detector signals |
| CN107094224B (zh) * | 2016-09-14 | 2021-06-18 | 格科微电子（上海）有限公司 | 摄像头模组的制造方法以及终端处理设备 |
| CN109997353B (zh) | 2016-09-29 | 2021-12-14 | 株式会社尼康 | 拍摄元件及电子相机 |
| KR102664014B1 (ko) * | 2016-12-23 | 2024-05-09 | 삼성전자주식회사 | 이미지를 촬영하는 센서 및 그 제어 방법 |
| JP2019012869A (ja) * | 2017-06-29 | 2019-01-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像送受信システム、サーバおよび撮像装置 |
| US10540733B2 (en) * | 2017-11-16 | 2020-01-21 | The Boeing Company | Frameless random-access image sensing |
| US11468542B2 (en) * | 2019-01-18 | 2022-10-11 | Arizona Board Of Regents On Behalf Of Arizona State University | LAPRAN: a scalable Laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction |
| WO2021070440A1 (ja) * | 2019-10-08 | 2021-04-15 | ソニーセミコンダクタソリューションズ株式会社 | センシングデバイス、信号処理システム、および、センシングデバイスの制御方法 |
| CN111147853B (zh) * | 2019-12-20 | 2021-05-25 | 东华大学 | 一种基于变焦预观测的先验子块生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013050531A (ja) * | 2011-08-30 | 2013-03-14 | Olympus Corp | 撮像装置及びフォーカス制御方法 |
| CN103856700A (zh) * | 2012-11-29 | 2014-06-11 | 佳能株式会社 | 摄像元件、摄像设备和摄像系统 |
| WO2014192243A1 (ja) * | 2013-05-29 | 2014-12-04 | パナソニックＩｐマネジメント株式会社 | 撮像装置、復元装置、撮像システム、および、撮像方法 |
| CN104253136A (zh) * | 2013-06-28 | 2014-12-31 | 索尼公司 | 固态成像装置和电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7474345B2 (en) * | 2001-10-24 | 2009-01-06 | Texas Instruments Incorporated | System and method to facilitate time domain sampling for solid state imager |
| JP2008271123A (ja) * | 2007-04-19 | 2008-11-06 | Konica Minolta Holdings Inc | 撮像装置 |
| US9609243B2 (en) * | 2007-05-25 | 2017-03-28 | Uti Limited Partnership | Systems and methods for providing low-noise readout of an optical sensor |
| US9584745B2 (en) * | 2013-11-11 | 2017-02-28 | Semiconductor Components Industries, Llc | Image sensors with N-row parallel readout capability |
-
2015
- 2015-09-15 JP JP2015181584A patent/JP6531986B2/ja active Active
- 2015-11-16 CN CN201510781882.4A patent/CN105791672B/zh active Active
- 2015-12-08 US US14/963,001 patent/US9866779B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013050531A (ja) * | 2011-08-30 | 2013-03-14 | Olympus Corp | 撮像装置及びフォーカス制御方法 |
| CN103856700A (zh) * | 2012-11-29 | 2014-06-11 | 佳能株式会社 | 摄像元件、摄像设备和摄像系统 |
| WO2014192243A1 (ja) * | 2013-05-29 | 2014-12-04 | パナソニックＩｐマネジメント株式会社 | 撮像装置、復元装置、撮像システム、および、撮像方法 |
| CN104253136A (zh) * | 2013-06-28 | 2014-12-31 | 索尼公司 | 固态成像装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016131363A (ja) | 2016-07-21 |
| US20160205336A1 (en) | 2016-07-14 |
| CN105791672A (zh) | 2016-07-20 |
| US9866779B2 (en) | 2018-01-09 |
| JP6531986B2 (ja) | 2019-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105791672B (zh) | 拍摄装置、拍摄系统、复原装置、拍摄方法以及计算机程序 | |
| JP6361965B2 (ja) | 撮像システム、撮像装置、符号化装置、および撮像方法 | |
| US9398273B2 (en) | Imaging system, imaging apparatus, and imaging method | |
| CN110612722B (zh) | 对数字光场图像编码和解码的方法和设备 | |
| WO2011061885A1 (ja) | 画像符号化方法、復号化方法、装置、カメラ、素子 | |
| JP2016508700A (ja) | ビデオカメラ | |
| WO2012147523A1 (ja) | 撮像装置及び画像生成方法 | |
| KR100793286B1 (ko) | 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법 | |
| US9595081B2 (en) | Imaging device with multiple sampling unit and imaging method using multiple sampling | |
| JP6284047B2 (ja) | 撮像装置および撮像方法 | |
| JP2016021731A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| WO2019241285A1 (en) | Code division compression for array cameras | |
| CN112214724B (zh) | 用于时域离散变换计算的装置 | |
| JP2016532380A (ja) | データ符号化及び復号化 | |
| JP6135865B2 (ja) | 撮像システム、撮像装置、および撮像方法 | |
| CN106688235B (zh) | 非因果预测的信号编码方法、解码方法 | |
| KR20160011359A (ko) | 렌즈 쉐이딩 보상 계수 압축/압축 해제 장치 및 그 방법 | |
| JP2008124530A (ja) | Ｒａｗデータ圧縮方法 | |
| JP2015076624A (ja) | 符号化システム、符号化装置、復号化装置、および、符号化および復号化方法 | |
| JP2004320301A (ja) | 画像圧縮装置及び画像処理システム | |
| JP6460691B2 (ja) | 映像圧縮装置、映像圧縮方法及び映像圧縮プログラム | |
| KR20150068603A (ko) | 방향성 이산 코사인 변환을 이용한 다중 표현 부호화 방법 | |
| JP2018148582A (ja) | 撮像システム、撮像装置、符号化装置、および撮像方法 | |
| JP2009124278A (ja) | 撮像装置 | |
| JP6316640B2 (ja) | 映像記録装置、映像再生装置及び映像記録プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |