CN104580940A - 摄像系统、摄像装置、编码装置以及摄像方法 - Google Patents

摄像系统、摄像装置、编码装置以及摄像方法 Download PDF

Info

Publication number
CN104580940A
CN104580940A CN201410551263.1A CN201410551263A CN104580940A CN 104580940 A CN104580940 A CN 104580940A CN 201410551263 A CN201410551263 A CN 201410551263A CN 104580940 A CN104580940 A CN 104580940A
Authority
CN
China
Prior art keywords
addition
signal
sample information
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410551263.1A
Other languages
English (en)
Inventor
佐藤智
吾妻健夫
小泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104580940A publication Critical patent/CN104580940A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种摄像系统、摄像装置、编码装置以及摄像方法。摄像系统具备：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储电信号并作为电荷信号来保持；加法采样信息设定单元，设定加法采样处理所使用的包含第1加法采样信息和第2加法采样信息的加法采样信息；加法采样单元，使用第1加法采样信息和多个像素包含的第1多个像素的第1像素值进行加法采样处理，输出使用于第1帧的第1信号，使用第2加法采样信息和第1多个像素的第2像素值进行加法采样处理，输出使用于与第1帧连续的第2帧的第2信号；转换单元，将输出信号转换成数字信号；图像复原单元，根据数字信号，利用加法采样信息生成并输出复原图像。

Description

摄像系统、摄像装置、编码装置以及摄像方法
技术领域
本发明涉及使用了压缩感知(compressed sensing)的摄像装置。 
背景技术
近年来，正在开发称为“压缩感知”的技术。压缩感知是指如下技术：通过在摄像(拍摄)时将多个像素的像素值(电荷信号)相加从而压缩图像的信息量，并进行利用了图像的稀疏(sparse)性(后述)的图像复原(例如参照非专利文献1)。基于上述方式的摄像称为加法采样摄像。 
在先技术文献 
专利文献1：日本特开2010-245955号公报 
非专利文献1：J.Ma，“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement，”IEEE Transactions on Instrumentation and Measurement，第60卷，no.1，第126-136页，2011. 
非专利文献2：Y.Oike和A.E.Gamal，“A 256×256 CMOS Image Sensor withΔΣ-Based Single-Shot Compressed Sensing”，IEEE International Solid-State Circuits Conference(ISSCC)Dig.of Tech.Papers,第386-387页，2012. 
非专利文献3：田中利幸，“压缩感知的数学理论”，IEICE Fundamentals Review，第4卷，no.1，第39-47页，2010. 
非专利文献4：茨木俊秀、福岛雅夫著、“信息数学讲座(全15卷)第14卷最优化的方法”共立出版株式会社、1993年7月20日初版第一次印刷发行(P159-P164). 
非专利文献5：M.V.Afonso、J.M.Bioucas-Dias以及M.A.T.Figueiredo， “Fast Image Recovery Using Variable Splitting and Constrained Optimization”，IEEE Transactions on Image Processing,第19卷，No.9，第2345-2356页，2010. 
非专利文献6：C.Tomasi和R.Manduchi，“Bilateral filtering for gray and color images”，Proc.of IEEE International Conference on Computer Vision，第839-846页，1998. 
非专利文献7：中静真，“稀疏信号表现及其图像处理应用”，影像信息媒体学会志，第65卷，No.10，第1381-1386页，2011. 
非专利文献8：J.Zhang、D.Zhao、C.Zhao、R.Xiong、S.Ma以及W.Gao,“Compressed Sensing Recovery via Collaborative Sparsity”，Proc.of IEEE Data Compression Conference，第287-296页，2012. 
发明内容
然而，要求进一步提高复原图像的画质。 
一个非限制的例示性实施例提供一种提高复原图像的画质的摄像系统。 
本发明的实施方式的其他益处和优点将通过说明书和附图得到明确。这些益处和/或优点能够单独地由所公开的说明书和附图的各个实施方式和特征来实现，并且，不需要通过所有的实施方式和特征来实现一个或更多的益处和/或优点。 
本发明的一个技术方案涉及一种摄像系统，具备：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2 像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；转换单元，将所述加法采样单元输出的信号转换成数字信号；以及图像复原单元，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。 
本发明的一个技术方案涉及的摄像系统能够得到更高画质的复原图像。 
附图说明
图1是表示发明的一个实施方式涉及的摄像系统10的硬件结构例的图。 
图2是表示实施方式1涉及的摄像系统10的结构例的框图。 
图3是表示实施方式1中的编码系统500的结构的框图。 
图4是表示实施方式1涉及的编码系统30的主要处理的步骤的流程图。 
图5是表示本实施方式1中的加法采样摄像单元101和图像复原单元103的详细结构的框图。 
图6是表示实施方式1中的摄像装置的加法采样摄像单元101的处理步骤的流程图。 
图7是表示4×4共16个像素的配置的图。 
图8的(a)～(h)是用于说明时刻t1的加法采样处理的示意图。 
图9的(a)～(h)是用于说明时刻t2的加法采样处理的示意图。 
图10的(a)～(h)是用于说明时刻t3的加法采样处理的示意图。 
图11的(a)～(h)是用于说明时刻t4的加法采样处理的示意图。 
图12是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示意图。 
图13是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示意图。 
图14的(a)和(b)是用于说明加法采样处理的特征的示意图。 
图15的(a)和(b)是用于说明加法采样处理的特征的示意图。 
图16的(a)和(b)是用于说明加法采样处理的特征的示意图。 
图17的(a)和(b)是用于说明加法采样处理的特征的示意图。 
图18是示出了成为基准的图像、通过非专利文献8的图像复原方法对16帧数据进行复原而得到的图像以及通过实施方式的处理复原而得到的图像的图。 
图19是表示实施方式2的编码系统30的结构的框图。 
图20是表示实施方式2的编码系统30的主要处理的步骤的流程图。 
图21是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。 
图22是表示实施方式2中的摄像装置的加法采样摄像单元101和图像复原单元103的处理步骤的流程图。 
图23的(a)～(h)是用于说明时刻t1的加法采样处理的示意图。 
图24的(a)～(h)是用于说明时刻t2的加法采样处理的示意图。 
图25的(a)～(h)是用于说明时刻t3的加法采样处理的示意图。 
图26的(a)～(h)是用于说明时刻t4的加法采样处理的示意图。 
图27是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示意图。 
图28是示出了作为编码数据的表现方法的一例的、加法采样信息表的例子的示意图。 
图29的(a)和(b)是用于说明加法采样处理的两个特征的示意图。 
图30的(a)和(b)是用于说明加法采样处理的两个特征的示意图。 
图31的(a)和(b)是用于说明加法采样处理的两个特征的示意图。 
图32的(a)和(b)是用于说明加法采样处理的两个特征的示意图。 
图33的(a)～(d)是用于说明利用了差分图像的复原处理的示意图。 
图34是表示按每帧而固定了加法采样信息的情况下、和按每帧而变更加法采样信息的情况下的复原图像及其时间平均图像的示意图。 
图35是表示利用了时间平均图像的复原图像的画质的示意图。 
图36是表示实施方式3中的编码系统200的结构的框图。 
图37是表示实施方式3中的编码系统200的处理步骤的流程图。 
图38是表示摄像状况推定单元106与图像复原单元103的关系的框图。 
图39是表示实施方式4中的编码系统300的结构的框图。 
图40是表示实施方式5中的编码系统400的结构的框图。 
图41是表示实施方式6中的编码系统500的结构的框图。 
图42是表示实施方式7涉及的显示控制系统600的结构例的框图。 
图43是表示实施方式7中的显示控制系统600的主要处理步骤的流程图。 
图44是表示实施方式7涉及的其他显示控制系统601的结构例的框图。 
图45是表示实施方式7中的其他显示控制系统601的主要处理步骤的流程图。 
标号说明 
101加法采样摄像单元 
102低分辨率图像生成显示单元 
103图像复原单元 
104用户接口单元 
105输出单元 
106摄像状况推定单元 
201光电转换单元 
202电荷保持单元 
203加法采样信息设定单元 
204加法采样单元 
205模数转换单元 
206平均信号生成单元 
207平均信号保持单元 
208差分信号生成单元 
209差分图像复原单元 
具体实施方式
(基础见解) 
通常来说，当进行上述的加法采样摄像时，由于会失去图像的信息量，所以复原图像的画质会较大程度地劣化。但是，在压缩感知中，由于进行利用了图像的稀疏性的复原处理，所以即使通过加法运算拍摄减少了数据量，也能够得到画质不逊色于不压缩的情况下的图像的复原图像。在这里，“图像的稀疏性”是指如下见解：在将图像向小波域(Wavelet Domain)空间或离散余弦(DCT：Discrete Cosine Transform)空间等投影时，许多系数值大致成为0。作为利用了图像的稀疏性的图像复原方法，在压缩感知中，利用L0范数(norm)最小化或L1范数最小化方法。 
在压缩感知中，在摄像元件内的模数转换器(以下描述为“ADC”)中进行处理以前，由于能够进行简单的加法运算处理而压缩数据量，所以能够降低ADC的驱动频率。由此，能够实现低功耗化、高SN(信噪比)化、以及缩窄通信带宽。 
例如专利文献1公开了利用压缩感知的概念的固态成像器件。在该固态成像器件中，在多个像素各自连接有多条不同的布线。固态成像器件在错开了相位的定时按顺序驱动像素组的多个像素而读出信号。通过该结构，减少了追加的电路，无需采样和保持电路，实现了能够防止由噪声增加导致的画质劣化、面积增加、速度下降的固态成像器件。 
另外，非专利文献1公开了通过利用改进的Curvelet阈值迭代(Improved Iterative Curvelet Thresholding)法，对图像应用压缩感知的方法。 
然而，在压缩感知中作为前提的图像的稀疏性在一般图像中并不一定成立。例如，如散落有小物体的随机性高的图像难以变稀疏。因此，在这种图像中，即使使用在非专利文献1中公开的方法，复原图像的画质也会劣化。因此，要求进一步提高复原图像的画质。 
因此，本发明的一个技术方案涉及的摄像系统具备：光电转换单元， 将多个像素接受的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；转换单元，将所述加法采样单元输出的信号转换成数字信号；以及图像复原单元，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。 
根据本发明的一个技术方案涉及的摄像系统，在根据帧来变更加法采样信息的同时进行利用加法采样处理的拍摄，并对结果得到的多个帧的输出信号进行基于压缩感知技术的图像复原处理。由于在根据帧来变更加法采样信息的同时进行加法采样处理，所以能够进行输出信号在帧方向上也随机的采样。因此，能够在抑制信号量的同时得到更高画质的复原图像。 
在某技术方案中，所述第1多个像素为n个像素，所述加法采样单元针对作为n个像素值的所述第1像素值，对由所述第1信息所包含的m个信息各自指定的像素的像素值进行加法处理，得到m个的加法结果，并且，所述加法采样单元针对作为n个像素值的所述第2像素值，对由所述第2信息所包含的m个信息各自指定的像素的像素值进行加法处理，得到m个的加法结果，其中，m<n。 
在某技术方案中，所述加法采样信息设定单元设定加法采样信息，所述加法采样信息用于进行控制以使得针对所述多个像素的全部像素的像素值进行按每帧而不同的加法采样处理。 
在某技术方案中，所述加法采样信息设定单元设定加法采样信息，所 述加法采样信息用于进行控制以使得针对所述第1多个像素进行相同的加法采样处理而与帧无关。 
在某技术方案中，所述图像复原单元具备：平均信号生成单元，生成在到当前为止的预定期间内生成的复原图像的时间平均图像；差分信号生成单元，生成表示所述数字信号与所述时间平均图像的差分的差分信号；以及差分图像复原单元，利用所述加法采样信息，根据所述差分信号生成差分图像，进而使用所述差分图像和所述时间平均图像生成所述复原图像。 
在某技术方案中，所述加法采样信息设定单元设定表示在所述加法采样单元中进行的所述加法采样处理的方法的信息来作为所述加法采样信息。 
在某技术方案中，所述电荷保持单元按每个预定的帧期间而输出所述电荷信号来作为帧图像，所述加法采样信息设定单元按每个所述帧图像而变更所述加法采样信息，所述电荷信号包含与所述多个像素各自对应的像素信号，所述加法采样单元基于所述加法采样信息，对所述多个像素中的邻近的像素组同时进行所述加法采样处理并输出一个信号。 
在某技术方案中，所述多个像素被分类为多个像素组，摄像系统还具备低分辨率图像生成显示单元，所述低分辨率图像生成显示单元根据与各像素组对应地输出的各信号，生成用于显示在阅览器上的分辨率相对低的低分辨率图像。 
在某技术方案中，推定在所述光电转换单元中将所述光信号转换成所述电信号时的状况即摄像状况，并按照推定的所述摄像状况对所述加法采样信息设定单元进行指示以使得变更所述加法采样信息。 
在某技术方案中，所述摄像系统还具备摄像状况推定单元，所述摄像状况推定单元检测时间变化为预先确定的基准以上的激烈场景所包含的图像区域，对所述加法采样信息设定单元进行指示以使得关于对所述图像区域的所述加法采样处理增加采样数。 
本发明的另一技术方案涉及的摄像装置具备：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法采样信息设定单元，设定加法采样处理所使用的 加法采样信息，所述加法采样信息包含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；以及加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号。 
本发明的又一技术方案涉及的解码装置从编码装置接收数字信号，所述编码装置包含：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存储所述电信号并作为电荷信号进行保持；加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与第1加法采样信息不同的第2加法采样信息；加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；以及转换单元，将所述加法采样单元输出的信号转换成数字信号，所述解码装置包含：接收单元，从所述编码装置接收所述数字信号和所述加法采样信息；和图像复原单元，利用所述数字信号和所述加法采样信息生成复原图像。 
在某技术方案中，所述图像复原单元具备：平均信号生成单元，生成在到当前为止的预定期间内生成的复原图像的时间平均图像；差分信号生成单元，生成表示所述数字信号与所述时间平均图像的差分的差分信号；以及差分图像复原单元，利用所述加法采样信息，根据所述差分信号生成 差分图像，进而使用所述差分图像和所述时间平均图像生成所述复原图像。 
作为本发明涉及的另一技术方案的摄像方法包含：光电转换步骤，将多个像素接受的光信号转换成电信号；电荷保持步骤，存储所述电信号并作为电荷信号进行保持；加法采样信息设定步骤，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与第1加法采样信息不同的第2加法采样信息；加法采样步骤，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样步骤中使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样步骤中使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；转换步骤，将所述加法采样单元输出的信号转换成数字信号；以及图像复原步骤，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。 
作为本发明涉及的另一技术方案的显示控制系统，具备：接收单元，从权利要求11所述的摄像装置接收基于进行了所述加法采样处理的所述电荷信号的多个帧的数字信号、和所述加法采样信息；解码装置，利用压缩采样技术，抽出根据所述加法采样信息和所述数字信号确定的帧的至少一部分区域来作为静止图像；以及输出单元，输出所述静止图像。 
在某技术方案中，所述显示控制系统还具备判定单元，所述判定单元判定在所述多个帧之间的图像区域的变化的比例，在所述判定单元的判定结果为所述多个帧之间的图像区域的变化的比例小于预定的比例的情况下，所述解码装置抽出根据所述指示确定的帧的至少一部分区域来作为静止图像。 
以下，说明本发明的概要。 
本发明的摄像系统利用压缩感知技术来进行拍摄。摄像系统具备：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，存 储电信号并作为电荷信号来加以保持；加法采样信息设定单元，设定加法采样信息，所述加法采样信息用于进行控制以使得针对多个像素的至少一部分且连续的预定的两个帧，进行按每帧而不同的加法采样处理；加法采样单元，按照加法采样信息对电荷信号进行加法采样处理并进行输出；转换单元，将从加法采样单元输出的输出信号转换成数字信号；以及图像复原单元，根据数字信号，利用加法采样信息生成并输出复原图像。 
本发明的摄像装置具备：加法采样摄像单元，利用压缩感知技术，通过对多个像素进行加法采样来进行拍摄；低分辨率图像生成显示单元，利用加法采样摄像单元拍摄到的信息，生成并显示低分辨率图像；图像复原单元，利用加法采样摄像单元拍摄到的信息来复原图像；用户接口单元，用于检测用户的意图；以及输出单元，基于通过用户接口单元检测出的用户的意图来显示输出图像。 
另外，加法采样摄像单元具备：光电转换单元，将多个像素接受的光信号转换成电信号；电荷保持单元，保持存储在光电转换单元中的电荷；加法采样信息设定单元，将加法采样的采样方法(加法采样信息)设定为按每帧而不同；加法采样单元，在多个像素中，按照加法采样信息对电荷保持单元保持的电荷信号进行加法处理；以及模数转换单元，将加法采样单元的输出信号转换成数字信号。进一步，图像复原单元具备：平均信号生成单元，生成复原图像的时间平均图像；平均信号保持单元，保持平均信号生成单元生成的时间平均图像；差分信号生成单元，利用加法采样信息设定单元设定的加法采样信息，从模数转换单元的输出信号减去与平均信号保持单元保持的时间平均图像对应的信号；以及差分图像复原单元，利用压缩感知技术，根据差分信号复原图像。 
根据本结构，摄像装置能够在按每帧而变更加法采样信息的同时进行拍摄。由此，能够生成高画质的时间平均图像。由于帧之间存在关联的信号成分被消除，所以与一般图像信号相比，与时间平均图像的差分图像信号的稀疏性变高。因此，通过压缩感知对差分信号进行图像复原，从而能够进行更高画面质量的图像复原。进一步，通过加法采样处理，由于降低 了模数转换器(ADC)的驱动频率，所以能够实现低功耗化、高SN化以及缩窄通信带宽。 
以下，参照附图对本发明涉及的摄像系统的实施方式进行说明。 
(实施方式1) 
图1表示本发明的一个实施方式涉及的摄像系统10的硬件结构例。摄像系统10具备摄像元件11、多路复用器(MUX)12、控制电路13、模数转换器(ADC)14、图像复原电路15以及输出选择器16。 
摄像元件11是由多个像素构成的像素阵列。摄像元件11将接收的光信号转换成电信号。更具体而言，摄像元件11的各像素接收光，积蓄与入射的光的量对应的电荷并进行输出。 
MUX12进行对多个像素的像素值(电荷信号)进行加法运算的处理(加法采样处理)。更具体而言，加法采样处理是指如下处理：在对某位置的像素采样得到的电荷信号上加上对与该像素的位置存在预定关系的位置的像素采样得到的电荷信号，生成新的信号。加法采样处理对模拟电荷信号而进行，所得到的信号也还是模拟电荷信号。后面将说明本实施方式涉及的加法采样处理的详细情况。 
控制电路13生成用于控制多路复用器12中的加法采样处理的控制信号，并输出给多路复用器12。该控制信号是后述的加法采样信息。 
ADC14将加法采样处理后得到的模拟电荷信号转换成数字数据。ADC14例如是串联连接ΔΣ调制器和数字滤波器(均未图示)而构成的ΔΣ型ADC。ΔΣ调制器接收模拟信号，将其转换成以比假想的采样速率高的速率采样得到的一比特的脉冲波形(数字波形)。数字滤波器对该脉冲波进行带宽限制和抽取(剔除)，输出设想的采样速率的多位数字数据。 
图像复原电路15根据由ADC14转换的数字数据，使用压缩采样技术生成应该是由摄像元件11当初生成的图像。在本说明书中，将该处理称为“将图像复原”。 
输出选择器16选择可否输出由图像复原电路15复原的图像。例如，如果用于进行摄像的摄像开关(未图示)被切断(off)，则输出选择器16 禁止输出复原的图像。或者，如果摄像开关(未图示)被接通(on)，则输出选择器16允许输出复原的图像。 
图2是表示本实施方式涉及的摄像系统10的结构例的框图。摄像系统10具备摄像装置20和解码装置2。摄像装置20将拍摄得到的图像信号编码并进行输出。解码装置2使用从摄像装置20发送来的已被编码的图像信号来对图像进行解码和复原。 
摄像装置20具备光电转换单元51、电荷保持单元52以及编码装置1。 
光电转换单元51具有多个像素，各像素将接收的光转换成与该光量对应的电信号。电荷保持单元52将由光电转换单元51得到的电信号存储一定时间，并作为电荷信号加以保持。光电转换单元51和电荷保持单元52与图1中的摄像元件11对应。 
编码装置1与图1的多路复用器12、控制电路13以及ADC14对应。 
解码装置2与图1中的图像复原电路15和输出选择器16对应。 
本发明的一个实施方式中的摄像系统10的摄像装置20使用压缩感知方法，压缩AD转换前的图像信号来减少信息量。摄像装置20将模拟信号转换成数字数据并进行输出。解码装置2根据该数字数据复原图像。 
压缩处理和复原处理对最终输出的画质有很大的影响，如何进行这些处理是一个问题。 
关于压缩处理，将在一部分像素进行的加法采样处理的采样方法(加法采样信息)设定为根据帧的不同而不同，按照加法采样信息，在多个像素中对电荷保持单元保持的电荷信号进行加法处理。 
关于复原处理，根据在到该复原处理为止的预定期间内取得的多个帧的数字数据和多个帧的加法采样信息，利用压缩感知技术将图像复原。 
根据本发明涉及的摄像系统10，在根据帧来变更加法采样信息的同时进行拍摄。通过根据拍摄的帧来变更加法采样信息，能够使取决于加法采样信息的伪影(artifact)根据帧而变化。由此，能够进行更高画面质量的图像复原。进一步，通过加法采样处理，由于能够降低ADC的驱动频率，所以能够实现低功耗化、高SN化以及通信带宽的缩窄。 
根据上述说明可知，可以说在本实施方式中，在编码装置1和解码装置2中进行的处理是主要的处理。因此，在以下说明中，主要详细说明包含编码装置1和解码装置2的编码系统30的处理。此外，关于后续的各实施方式，也着重说明编码系统。各实施方式涉及的编码系统也可以组装入如图2所示的摄像系统而加以安装。 
此外，在图2中，摄像装置20和解码装置2是分离的，但摄像装置20也可以包含解码装置2。只要能够在AD转换前对图像进行压缩而至少得到一个上述优点，则不一定必须将编码装置1和解码装置2设置在独立的壳体内。 
图3是表示本实施方式的编码系统30的结构的框图。另外，图4是表示本实施方式的编码系统30的主要处理的步骤的流程图。 
如上所述，编码系统30包含编码装置1和解码装置2。 
编码装置1具备加法采样摄像单元101和发送单元150a。 
解码装置2具备接收单元150b、图像复原单元103以及输出单元105。 
编码装置1的发送单元150a和解码装置2的接收单元150b进行通信，收发图像的数字数据和加法采样信息。通信经由无线或有线的通信线路(网络)来进行。也就是说，接收单元150b可以作为通信电路来进行安装(组装)。 
此外，编码装置1不需要始终实时将图像的数字数据和加法采样信息发送给解码装置2。例如，也可以设置记录介质来代替发送单元150a，并将图像的数字数据和加法采样信息写入该记录介质。记录介质可以内置于编码装置1，或者可以设置于编码装置1的外部。在记录时，也可以复合地使用其他压缩编码技术。并且，将从记录介质读出的图像的数字数据和加法采样信息发送给解码装置2即可。该结构例也同样可以应用于以下实施方式中。 
参照图4对编码装置1和解码装置2的各构成要素的工作进行说明。 
加法采样摄像单元101从电荷保持单元52接收电荷信号，进行根据后述的帧而不同的加法采样处理来对场景进行拍摄(步骤S101)。 
电荷保持单元52也可以按每个预定的帧期间而输出电荷信号来作为帧图像。 
发送单元150a将加法采样摄像单元101拍摄到的图像的数字数据和加法采样摄像单元101在拍摄时利用的加法采样信息发送给解码装置2(步骤S150a)。 
接收单元150b接收发送单元150a发送的图像的数字数据和加法采样摄像单元101在拍摄时利用的加法采样信息(步骤S150b)。 
图像复原单元103根据加法采样摄像单元101拍摄的多个帧的加法采样信号，利用压缩采样技术复原拍摄图像(步骤S103)。 
输出单元105输出复原的图像(步骤S105)。 
图5是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。在图5中，省略了发送单元150a、接收单元150b。另外，图6是表示本实施方式中的摄像装置的加法采样摄像单元101的处理步骤的流程图。 
加法采样摄像单元101具备加法采样信息设定单元203、加法采样单元204以及模数转换单元205。加法采样信息设定单元203、加法采样单元204、模数转换单元205分别与图1的控制电路13、MUX12、ADC14对应。 
图像复原单元103与图1中的图像复原电路15对应，例如是由集成电路实现的运算电路。 
以下，详细说明加法采样摄像单元101和图像复原单元103的各构成要素。 
首先，详细说明加法采样摄像单元101的处理。 
在由加法采样单元204执行的加法采样处理中，加法采样信息设定单元203设定加法采样信息以使得根据帧而相加的像素不同(步骤S203)。加法采样信息设定单元203也可以按每帧图像而变更加法采样信息。加法采样信息是用于确定加法采样单元204执行的处理的内容的信息。 
具体而言，加法采样信息是如下的信息：关于加法采样处理后的新输 出信号的各信号值，为了在原来的电荷信号进行加法运算而进行了采样的像素的位置、施加何种程度的增益来进行加法运算这一像素的增益信息、以及对加法运算得到的输出信号以何种顺序发送的顺序信息。加法采样信息设定单元203也可以切换多种加法采样信息，按每帧图像而变更加法采样信息。后面叙述具体例。 
针对电荷保持单元52保持的多个像素的电荷信号(像素值)，加法采样单元204基于加法采样信息设定单元203设定的加法采样信息来进行加法采样处理，生成并输出新的信号(步骤S204)。此时，如后所述，通过根据帧而变更加法采样信息，能够提高复原画质。 
模数转换单元205将在加法采样单元204生成的信号转换成数字信号(步骤S205)。该处理既可以利用上述的ΔΣ型ADC来进行，也可以利用周知的流水线型模数转换器或列型模数转换器来进行。 
通过加法采样单元204进行加法采样处理，能够压缩图像信息的信息量，能够减少向模数转换单元205发送的信号量即模数转换单元205应处理的信号量。通过使用加法采样信息，图像复原单元103能够根据压缩后的图像信息来复原图像。 
接着，参照图7、图8～图17对加法采样单元204进行的加法采样处理进行详细说明。在本说明书中，为了简化说明，以针对4×4共16个像素输出8个信号的处理为例来进行说明。 
此外，对该16个像素的处理例既可以应用于摄像元件11的全部像素，也可以应用于摄像元件11的一部分像素。 
在本说明书中，图7表示例示的4×4共16个像素的配置。在图7中，在4×4的各像素上标注了像素编号。即，在4×4像素中，从左上角的像素开始向右按顺序设为“1”“2”“3”“4”，同样地，从下一行的左端的像素开始设为“5”“6”…，将右下角的像素设为“16”。例如像素301是像素编号为4的像素。图8～图11是用于说明加法采样处理的示意图。 
假设在时刻t1、时刻t2、时刻t3、时刻t4的各个时刻(按t1、t2、t3、t4的顺序而时刻变晚，t1为最早的时刻)进行加法采样处理。通过各时刻 的采样处理，针对16个像素的像素值输出8个加法采样信号。 
在帧1、帧2、帧3、帧4按该顺序连续时，在帧1中，也可以使用时刻t1的8个加法采样处理的输出信号。在帧2中，也可以使用时刻t2的8个加法采样处理的输出信号。在帧3中，也可以使用时刻t3的8个加法采样处理的输出信号。在帧4中，也可以使用时刻t4的8个加法采样处理的输出信号。 
图8的(a)～(h)分别表示时刻t1的8个加法采样处理的输出信号各自是加上来自哪个像素的电荷信号而得到的。也就是说，在图8的(a)～(h)的每一个中标注有编号的像素是用于加法采样处理的像素。在本说明书中，将图8的(a)～(h)的每一个所示的、用于加法采样处理的成组的像素组称为“读出像素组”。 
图8的(a)～(h)表示时刻t1的8个读出像素组302-309。 
图8的(a)表示读出像素组302包含标注了编号①的像素。 
图8的(b)表示读出像素组303包含标注了编号②的像素。 
图8的(c)表示读出像素组304包含标注了编号③的像素。 
图8的(d)表示读出像素组305包含标注了编号④的像素。 
图8的(e)表示读出像素组306包含标注了编号⑤的像素。 
图8的(f)表示读出像素组307包含标注了编号⑥的像素。 
图8的(g)表示读出像素组308包含标注了编号⑦的像素。 
图8的(h)表示读出像素组309包含标注了编号⑧的像素。同样地，图9的(a)～(h)表示时刻t2的8个读出像素组310-317。 
同样地，图10的(a)～(h)表示时刻t3的8个读出像素组318-325。 
同样地，图11的(a)～(h)表示时刻t4的8个读出像素组326-333。 
8个加法采样处理的输出信号设为第1输出信号、第2输出信号、第3输出信号、第4输出信号、第5输出信号、第6输出信号、第7输出信号、第8输出信号。 
通过读出图8的(a)所示的像素编号1、3、10、12的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第1输出信号。 
通过读出图8的(b)所示的像素编号2、8、9、16的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第2输出信号。 
通过读出图8的(c)所示的像素编号4、5、13、15的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第3输出信号。 
通过读出图8的(d)所示的像素编号6、7、11、14的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第4输出信号。 
通过读出图8的(e)所示的像素编号1、6、11、16的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第5输出信号。 
通过读出图8的(f)所示的像素编号3、8、9、14的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第6输出信号。 
通过读出图8的(g)所示的像素编号2、5、12、15的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第7输出信号。 
通过读出图8的(h)所示的像素编号4、7、10、13的像素的电荷信号，对该4个像素的电荷信号进行加法处理而生成时刻t1的第8输出信号。 
这样，将4×4＝16个像素的电荷信号压缩成8个输出信号。由此，由于能够降低后述的模数转换单元205的工作速度，所以能够在实现低功耗化、高SN化以及通信带宽的缩窄的同时复原图像。 
另外，对于前述的加法采样信息，例如为了进行加法运算而将进行了采样的像素设为“1”，将未进行采样的像素设为“0”，表现为按图中所示的像素编号顺序编码的数据(参照图7、图8的(a)-(h))。具体而言为如下。 
第1输出信号：“1010 0000 0101 0000” 
第2输出信号：“0100 0001 1000 0001” 
第3输出信号：“0001 1000 0000 1010” 
第4输出信号：“0000 0110 0010 0100” 
第5输出信号：“1000 0100 0010 0001” 
第6输出信号：“0010 0001 1000 0100” 
第7输出信号：“0100 1000 0001 0010” 
第8输出信号：“0001 0010 0100 1000” 
因此，当连结这些信号时，时刻t1的加法采样信息如下。 
“1010 0000 0101 0000 0100 0001 1000 0001 0001 1000 0000 1010 0000 0110 0010 0100 1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 0001 0010 0001 0010 0100 1000” 
在本说明书中，将上述数字列称为“加法采样信息编码数据”或简称为“编码数据”。此外，加法采样信息的形式不限于在此示出的形式。只要是能够知道为了进行加法运算而进行了采样的像素的位置的形式即可。 
同样地，根据图9，时刻t2的编码数据如下。 
“1000 0010 1000 0010 0101 0000 0010 1000 0000 1001 0001 0100 0010 0100 0100 0001 0100 0010 0001 1000 0001 1000 0100 0010 0010 0100 1000 0001 1000 0001 0010 0100” 
根据图10，在时刻t3的编码数据如下。 
“1000 0001 0010 0100 0110 0000 0100 0010 0000 1010 1000 0001 0001 0100 0001 1000 0010 0001 1000 0100 1000 0100 0010 0001 0001 0010 0100 1000 0100 1000 0001 0010” 
根据图11，在时刻t4的编码数据如下。 
“1001 0000 0000 1001 0100 0010 0001 0100 0010 1000 0110 0000 0000 0101 1000 0010 0001 1000 0100 0010 0100 0010 0001 1000 1000 0001 0010 0100 0010 0100 1000 0001” 
图12和图13是示出了作为这种编码数据的表现方法的一例的、加法采样信息表的例子的示意图。这些图中的表编号1、2、3、4的各编码数据分别与图8、图9、图10、图11的加法采样处理对应。 
这样，通过多次读出一个像素，并进一步进行多次加法处理，由于能够提高输出信号的动态范围，所以也能够降低噪音。例如在非专利文献2中记载了这种加法采样处理。 
在本实施方式的编码装置1中，在加法采样处理中提供以下特征。即，与第1～第8各输出信号相关联的加法采样处理按每帧(每个帧图像)而 不同，换句话说，按每个采样时刻而不同。此外，读出像素组所包含的各像素的采样频度相等。但是，采样的频度相等并不是必须的。各像素的采样的频度也可以不同。另外，无需使全部帧的加法采样处理不同。例如也可以在第1帧和第2帧中进行相同的采样处理，在第3帧中进行不同的采样处理。局部地看，只需在相邻的两个帧(在上述例子中为第2帧和第3帧)进行不同的处理即可。 
图14～图17是用于说明本实施方式的加法采样处理的特征的示意图。在这些图中，对与图8～图11相同的构成要素标注相同的标号并省略说明。 
图14的(a)示出用于时刻t1的加法采样处理的像素组302(读出像素组302)所包含的像素(标注了编号①的像素)、用于时刻t1的加法采样处理的像素组303(读出像素组303)所包含的像素(标注了编号②的像素)、用于时刻t1的加法采样处理的像素组304(读出像素组304)所包含的像素(标注了编号③的像素)、用于时刻t1的加法采样处理的像素组305(读出像素组305)所包含的像素(标注了编号④的像素)。 
图14的(b)示出用于时刻t1的加法采样处理的像素组306(读出像素组306)所包含的像素(标注了编号⑤的像素)、用于时刻t1的加法采样处理的像素组307(读出像素组307)所包含的像素(标注了编号⑥的像素)、用于时刻t1的加法采样处理的像素组308(读出像素组308)所包含的像素(标注了编号⑦的像素)、用于时刻t1的加法采样处理的像素组309(读出像素组309)所包含的像素(标注了编号⑧的像素)。 
同样地，图15的(a)、图15的(b)示出用于时刻t2的加法采样处理的读出像素组310～317各自所包含的像素。 
同样地，图16的(a)、图16的(b)示出用于时刻t3的加法采样处理的读出像素组318～325各自所包含的像素。 
同样地，图17的(a)、图17的(b)示出用于时刻t4的加法采样处理的读出像素组326～333各自所包含的像素。 
时刻t1的加法采样处理的8个输出信号包含：基于读出像素组302所包含的像素的像素值的输出信号、基于读出像素组303所包含的像素的像 素值的输出信号、基于读出像素组304所包含的像素的像素值的输出信号、基于读出像素组305所包含的像素的像素值的输出信号、基于读出像素组306所包含的像素的像素值的输出信号、基于读出像素组307所包含的像素的像素值的输出信号、基于读出像素组308所包含的像素的像素值的输出信号以及基于像素组309所包含的像素的像素值的输出信号。 
时刻t2的加法采样处理的8个输出信号包含：基于读出像素组310所包含的像素的像素值的输出信号、基于读出像素组311所包含的像素的像素值的输出信号、基于读出像素组312所包含的像素的像素值的输出信号、基于读出像素组313所包含的像素的像素值的输出信号、基于读出像素组314所包含的像素的像素值的输出信号、基于读出像素组315所包含的像素的像素值的输出信号、基于读出像素组316所包含的像素的像素值的输出信号以及基于像素组317所包含的像素的像素值的输出信号。 
时刻t3的加法采样处理的8个输出信号包含：基于读出像素组318所包含的像素的像素值的输出信号、基于读出像素组319所包含的像素的像素值的输出信号、基于读出像素组320所包含的像素的像素值的输出信号、基于读出像素组321所包含的像素的像素值的输出信号、基于读出像素组322所包含的像素的像素值的输出信号、基于读出像素组323所包含的像素的像素值的输出信号、基于读出像素组324所包含的像素的像素值的输出信号以及基于像素组325所包含的像素的像素值的输出信号。 
时刻t4的加法采样处理的8个输出信号包含：基于读出像素组326所包含的像素的像素值的输出信号、基于读出像素组327所包含的像素的像素值的输出信号、基于读出像素组328所包含的像素的像素值的输出信号、基于读出像素组329所包含的像素的像素值的输出信号、基于读出像素组330所包含的像素的像素值的输出信号、基于读出像素组331所包含的像素的像素值的输出信号、基于读出像素组332所包含的像素的像素值的输出信号以及基于像素组333所包含的像素的像素值的输出信号。 
如上所述，根据基于读出像素组的各输出信号，在时刻t1、时刻t2、时刻t3、时刻t4，采样像素的位置总是变化。但是，对4×4像素的全部 像素必定进行一次采样，采样频度相等。这样，通过使采样像素按时间而变化，如后所述，能够提高在平均信号生成单元206生成的时间平均图像的画质，进一步，也能够提高图像复原单元103复原的图像的画质。另外，通过以相等的频度来采样全部像素，能够取得拍摄的信息而不会遗漏。 
上述的采样的像素位置不过是一个例子。加法采样单元204也可以空间上、时间上尽可能随机和/或独立地选择采样的像素位置。由此，能够防止加法采样处理导致的图像信息的劣化，能够提高复原图像的画质(例如参照非专利文献3的第43-44页)。这种随机的加法采样处理通过如图12～图13所示那样事前设定随机采样得到的编码数据来实现。在该情况下，加法采样信息设定单元203可以按每帧而变更利用的表编号。 
再次参照图5来说明在编码系统30的解码装置2中进行的处理。解码装置2的主要处理由图像复原单元103进行。 
图像复原单元103利用模数转换单元205输出的多个帧的数字信号和加法采样信息设定单元203设定的多个帧的加法采样信息，复原与数字信号对应的图像。对于该复原处理，利用在利用了多个帧的压缩感知中所使用的、利用了协同稀疏(Collaborative Sparsity)的方法(例如参照非专利文献8)等公知方法即可。 
在压缩感知的采样中，已知在输入图像为未知的情况下通过进行随机采样来提高复原画质。因此，在利用多个帧来进行图像复原处理的情况下，通过根据帧而变更加法采样，不仅是空间方向，在时间方向上也能实现随机采样，提高复原画质。以下，对通过根据帧而变更加法采样来提高复原画质进行说明。 
图18的(a)～(c)示出了作为基准的图像、利用非专利文献8的图像复原方法对16帧数据进行复原而得到的图像以及通过本实施方式的处理进行复原而得到的图像。图18的(a)示出了正确图像，图18的(b)示出了按每帧进行了固定的加法采样的情况下的复原图像，图18的(c)示出了按每帧进行了不同的加法采样的情况下的复原图像。在通常情况下，当进行加法采样处理时，相当于正确图像的拍摄图像本身的信息会丢失。 然而，在图18中，为了进行评价，示出不进行加法采样处理的已知图像来作为正确图像。 
从该图可知，当根据帧来变更加法采样时，PSNR(Peak Signal to Noise Ratio：峰值信噪比)从23.91dB到27.41dB提高了3.5dB。这样，在本实施方式的摄像装置中，通过按每帧来变更加法采样信息，能够抑制复原图像的伪影，能够大幅提高画质。 
如以上所说明的，根据本实施方式，通过根据帧来变更加法采样信息，并进行利用了多个帧的图像复原处理，能够提高复原画质。 
在以上的说明中，加法采样单元204对多个像素数据进行加法运算，当然，也可以作为增益来以加权的方式进行加法运算。这对于解决将多个像素相加时、数据的动态范围增大、模数转换单元205的负荷增加来说是有效的。例如，在如图8所示进行加法采样时，为了匹配相加后的数据的动态范围，在进行标准化处理的情况下，提供权重1/4来作为增益即可。当这样在加法采样处理中附加增益时，在加法采样信息中提供该增益信息即可。 
此外，本说明书中的摄像装置也可以不作为装置来实现。例如，也可以通过作为计算机的通用处理器执行记录于计算机能够读取的记录介质的计算机程序，来进行上述摄像装置的工作。这样的计算机程序包含用于使计算机执行例如通过图4的流程图实现的处理的命令组。计算机程序记录在CD-ROM等记录介质上而作为产品在市场上流通，或者通过互联网等电通信线路传送。 
(实施方式2) 
以下，说明本实施方式涉及的系统的结构。此外，在后续的各实施方式的说明中，对具有与已经说明过的实施方式1的构成要素相同的结构和功能的构成要素标注相同的参照标号，并适当省略其说明。 
在本实施方式的压缩处理中，在对一部分读出像素组进行的加法采样处理中，设定按每个帧而不同的采样方法(加法采样信息)。进一步，在对其他一部分读出像素组进行的加法采样处理中，设定与帧无关而相同的加 法采样信息。也就是说，即使时刻变化，也利用相同的读出像素组进行加法采样处理。 
关于复原处理，生成在到目前为止的预定期间内生成的复原图像的时间平均图像，利用加法采样信息，根据模数转换单元的输出信号求出与时间平均图像对应的信号的差分。然后，根据差分信号，利用压缩感知技术复原图像。 
根据本发明涉及的摄像系统，对一部分读出像素组，在按每帧而变更加法采样信息的同时进行拍摄，对其他一部分读出像素组，进行拍摄而不变更加法采样信息。 
通过按每个拍摄的帧图像来变更加法采样信息，能够使取决于加法采样信息的伪影按复原后的每个帧图像而变化。由此，能够生成高画质的时间平均图像。由于在帧之间存在关联的信号成分被消除，所以，与一般图像信号相比，与时间平均图像的差分图像信号的稀疏性变高。因此，通过利用压缩感知将差分信号图像复原，能够进行更高画面质量的图像复原。进一步，通过加法采样处理，由于能够降低ADC的驱动频率，所以能够实现低功耗化、高SN化以及通信带宽的缩窄。 
另一方面，通过进行加法采样处理而不按每个拍摄的帧图像来变更加法采样信息，能够不进行图像复原处理而得到低分辨率化的图像。因此，能够实时地显示低分辨率图像而基本上不产生处理负荷。 
从上述说明可以理解，可以说在本实施方式中，在编码装置1和解码装置2中进行的处理是主要的处理。因此，在以下说明中，主要详细说明包含编码装置1和解码装置2的编码系统的处理。此外，也着眼于编码系统说明后续的各实施方式，但编码系统组装入如图2所示的摄像系统而加以安装这一点与本实施方式相同。 
此外，在图2中，摄像装置20和解码装置2是分离的，但摄像装置20也可以包含解码装置2。只要能够在AD转换前压缩图像而至少得到一个上述优点，则无需将编码装置1和解码装置2设置在独立的装置内。 
图19是表示本实施方式的编码系统100的结构的框图。另外，图20 是表示本实施方式的编码系统100的主要处理的步骤的流程图。 
如上所述，编码系统100包含编码装置1和解码装置2。 
编码装置1具备加法采样摄像单元101和发送单元150a。 
解码装置2具备接收单元150b、低分辨率图像生成显示单元102、图像复原单元103、用户接口单元104以及输出单元105。在实施方式1的解码装置中追加了低分辨率图像生成显示单元102和用户接口单元104而构成本实施方式的解码装置2。 
参照图20对编码装置1和解码装置2的各构成要素的工作进行说明。与实施方式1涉及的编码装置1和解码装置2的工作的不同点在于追加的低分辨率图像生成显示单元102和用户接口单元104。具体而言，追加了步骤S102和S104的工作。此外，在图20中，简化记载了步骤S103。 
以下，说明追加的步骤S102和S104的工作。 
低分辨率图像生成显示单元102利用加法采样摄像单元101拍摄的信号而生成低分辨率图像，并显示在另外设置的阅览器(未图示)上(步骤S102)。例如在编码系统100的整体安装于摄像装置的情况下，阅览器是安装在摄像装置上的液晶显示装置或电子取景器。为了调整拍摄场景的视角、构图、亮度、焦点等，要求实时的图像输出。因此，如后所述，低分辨率图像生成显示单元102不进行图像复原处理，实时输出分辨率比拍摄图像低的图像。 
用户接口单元104确认用户是否有录像的意图，并切换输出单元105的处理(步骤S104)。这例如确认摄像开关是否为接通(On)即可。如后所述，本实施方式的摄像系统10从用户开始摄像以前在后台进行摄像，并生成高画质的时间平均图像。因此，即使在用户未接通摄像开关的情况下，图像复原单元103也进行复原处理。 
图21是表示加法采样摄像单元101和图像复原单元103的详细结构的框图。另外，图22是表示本实施方式中的摄像装置的加法采样摄像单元101和图像复原单元103的处理步骤的流程图。 
与图5的结构的不同点在于：追加了低分辨率图像生成显示单元102 和用户接口单元104、以及记载了图像复原单元103的详细情况。 
图像复原单元103具备平均信号生成单元206、平均信号保持单元207、差分信号生成单元208以及差分图像复原单元209。图像复原单元103与图1中的图像复原电路15对应。平均信号生成单元206、差分信号生成单元208以及差分图像复原单元209例如是由集成电路实现的运算电路。另外，平均信号保持单元207例如是缓冲器等的存储电路。集成电路、缓冲器例如可以一体化而作为DSP(digital signal processor：数字信号处理器)等来组装。 
以下，详细说明加法采样摄像单元101和图像复原单元103的各构成要素。此外，适当省略与实施方式1共同的处理的说明。 
首先，详细说明加法采样摄像单元101的处理。 
加法采样信息设定单元203设定加法采样信息，以使得在由加法采样单元204执行的加法采样处理中按时间而被进行加法运算的像素不同，另外，能够通过加法处理来容易地生成低分辨率图像(步骤S203)。 
加法采样信息是用于确定加法采样单元204执行的处理的内容的信息，如在实施方式1中说明的那样。即，加法采样信息是如下的信息：关于加法采样处理后的新输出信号的各信号值，为了在原来的电荷信号上进行加法运算而进行了采样的像素的位置、施加何种程度的增益来进行加法运算这一像素的增益信息、以及以何种顺序发送相加得到的输出信号这样的顺序信息。后面叙述具体例。 
针对电荷保持单元52保持的多个像素的电荷信号，加法采样单元204基于加法采样信息设定单元203设定的加法采样信息进行加法采样处理，生成并输出新的信号(步骤S204)。此时，如后所述，通过加法采样信息设定单元按每帧而变更加法采样信息，能够提高复原画质。 
接着，参照图23～图32，详细说明加法采样单元204进行的加法采样处理。在本说明书中，为了简化说明，以针对4×4共16个像素输出8个信号的处理为例来进行说明。此外，像素编号的标注方法按照对图7的上述说明。在图23的(a)～(h)中示出了分别标注了编号①-⑧的读出像 素组302-309。此外，为了方便说明，参照标号仅指示了读出像素组的一个像素。在以下也是同样的。图23～图26是用于说明加法采样处理的示意图。 
图23的(a)～(h)分别表示时刻t1的8个输出信号各自是对来自哪个像素的电荷信号进行而得到的。也就是说，在图23的(a)～(h)各自中标注有编号的各像素表示用于加法采样处理的像素。 
同样地，图24的(a)～(h)表示时刻t2的8个输出信号中的读出像素组310-317，图25的(a)～(h)表示时刻t3的8个输出信号中的读出像素组318-325，图26的(a)～(h)表示时刻t4的8个输出信号中的读出像素组326-333。 
在这里，说明本实施方式的加法采样处理与实施方式1的加法采样处理的主要不同点。 
从图23和图24的各自的(a)～(d)可以理解，存在即使帧改变、用于加法采样处理的像素组也相同的情况。另一方面，根据图8和图9的各自的(a)～(d)，在实施方式1中，当帧时刻改变时，用于加法采样处理的像素组不同。 
这意味着：在实施方式1的加法采样处理中，当帧改变时改变像素组，但在本实施方式的加法采样处理中，存在不改变像素组的情况。此外，需要留意的是，从图23和图24的各自的(e)～(h)可以理解，在本实施方式中，也存在当帧改变时、用于加法采样处理的像素组不同的情况。以下，具体地进行说明。 
在图23的(a)中，通过读出像素编号1、2、5、6的电荷信号并对该4个像素的电荷信号进行加法处理，生成时刻t1的第1输出信号。同样地，在图23的(b)中，读出像素编号3、4、7、8的电荷信号并对该4个像素的电荷信号进行加法处理，生成时刻t1的第2输出信号。在图23的(c)中，读出像素编号9、10、13、14的电荷信号并对该4个像素的电荷信号进行加法处理，生成时刻t1的第3输出信号。 
在图23的(d)中，读出像素编号11、12、15、16的电荷信号并对该 4个像素的电荷信号进行加法处理，生成时刻t1的第4输出信号。在图23的(e)～(f)中也同样地根据像素编号1、6、11、16生成时刻t1的第5输出信号，根据像素编号3、8、9、14生成时刻t1的第6输出信号，根据像素编号2、5、12、15生成时刻t1的第7输出信号，根据像素编号4、7、10、13生成时刻t1的第8输出信号。 
这样，将4×4＝16个像素的电荷信号压缩成8个输出信号。由此，由于能够使后述的模数转换单元205的工作速度减慢，所以能够在实现低功耗化、高SN化以及通信带宽的缩窄的同时复原图像。 
另外，前述的加法采样信息例如将为了进行加法运算而进行了采样的像素设为“1”，将未进行采样的像素设为“0”，表现为按图中所示的像素编号顺序编码的数据。具体而言，如下。 
第1输出信号：“1100 1100 0000 0000” 
第2输出信号：“0011 0011 0000 0000” 
第3输出信号：“0000 0000 1100 1100” 
第4输出信号：“0000 0000 0011 0011” 
第5输出信号：“1000 0100 0010 0001” 
第6输出信号：“0010 0001 1000 0100” 
第7输出信号：“0100 1000 0001 0010” 
第8输出信号：“0001 0010 0100 1000” 
因此，当连结这些信号时，时刻t1的加法采样信息如下。 
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 1000 0100 0010 0001 0010 0001 1000 0100 0100 1000 0001 0010 0001 0010 0100 1000” 
在本说明书中，将上述数字列(数字串)称为“加法采样信息编码数据”或简称为“编码数据”。此外，加法采样信息的形式不限于在此示出的形式。只要是能够知道为了进行加法运算而进行了采样的像素的位置的形式即可。 
同样地，根据图24，时刻t2的编码数据如下。 
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0100 0010 0001 1000 0001 1000 0100 0010 0010 0100 1000 0001 1000 0001 0010 0100” 
根据图25，时刻t3的编码数据如下。 
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0010 0001 1000 0100 1000 0100 0010 0001 0001 0010 0100 1000 0100 1000 0001 0010” 
根据图26，时刻t4的编码数据如下。 
“1100 1100 0000 0000 0011 0011 0000 0000 0000 0000 1100 1100 0000 0000 0011 0011 0001 1000 0100 0010 0100 0010 0001 1000 1000 0001 0010 0100 0010 0100 1000 0001” 
图27和图28是示出了作为这种编码数据的表现方法的一例的、加法采样信息表的例子的示意图。这些图中的表编号1、2、3、4的各编码数据分别与图23、图24、图25、图26的加法采样处理对应。 
这样，通过多次读出一个像素，并进一步进行多次加法处理，由于能够提高输出信号的动态范围，所以也能够降低噪音。例如在非专利文献2中记载了这种加法采样处理。 
在本实施方式的编码装置1中，在加法采样处理中提供以下两个特征。 
(1)与第1～第4输出信号相关的加法采样处理固定地进行而与时间无关。同时采样邻近(近旁)的像素以使得该读出像素组成为复原图像的低分辨率图像。 
(2)与第5～8输出信号相关的加法采样处理按时间而不同，换句话说按每帧而不同，但读出像素组所包含的像素的采样频度相等。 
图29～图32是用于说明加法采样处理的两个特征的示意图。在这些图中，对与图23～图26相同的构成要素标注相同的标号并省略说明。在图29～图32中，(a)表示在时刻t1、时刻t2、时刻t3、时刻t4的加法采样处理中读出的第1～第4读出像素组，(b)表示在时刻t1、时刻t2、时刻t3、时刻t4的加法采样处理中读出的第5～第8读出像素组。 
关于基于第1～第4读出像素组的各输出信号，通过加法采样处理，4×4像素被低分辨率化成相当于2×2像素。而且，在时刻t1、时刻t2、时刻t3、时刻t4，采样像素不变化。因此，低分辨率图像生成显示单元102通过对第1～第4输出信号不进行图像复原处理而使之显示在阅览器上，能够基本上不产生处理负荷而实时地显示低分辨率图像。 
另一方面，关于基于第5～第8读出像素组的各输出信号，在时刻t1、时刻t2、时刻t3、时刻t4，采样像素的位置始终变化，但对4×4像素的全部像素必定进行一次采样，采样频度相等。由此，通过使采样像素按时间而变化，如后所述，能够提高在平均信号生成单元206生成的时间平均图像的画质，进一步，也能够提高图像复原单元103复原的图像的画质。 
当然，加法采样单元204也可以基于多种加法采样信息，尽可能在空间和/或时间上随机和/或独立地选择采样的像素位置。由此，能够防止加法采样处理导致的图像信息的劣化，能够提高复原图像的画质(例如参照非专利文献3的第43-44页)。这种随机的加法采样处理通过如图27～图28那样事前设定随机采样得到的编码数据来实现。在该情况下，加法采样信息设定单元203按每帧而变更所利用的表编号即可。 
再次参照图21和图22，说明在编码系统100的解码装置2中进行的处理。解码装置2的主要处理由图像复原单元103进行。 
差分信号生成单元208计算模数转换单元205输出的数字信号与后述的平均信号保持单元207保持的复原图像的时间平均图像的差分信号(步骤S206)。 
由于模数转换单元205输出的数字信号与加法采样单元204的输出信号对应，所以不是图像信号。另一方面，保持在平均信号保持单元207中的时间平均图像是被复原的图像信号。因此，不能按原样直接进行差分处理而计算差分信号。因此，差分信号生成单元208在利用加法采样信息进行加法采样处理后对时间平均图像进行差分处理。详细说明该处理。 
首先，为了说明，以矢量表述拍摄图像和加法采样输出信号。当将按图7的像素编号的顺序排列拍摄图像的像素值而成的摄像图像矢量设为x、 将排列第1～第8加法采样输出信号而成的输出信号矢量设为y时，以下关系式成立。 
[式1] 
y＝S·x 
矩阵S为采样矩阵，其以矩阵来表现加法采样信息设定单元203设定的加法采样信息。在利用了图27的表编号1来作为加法采样信息的情况下，采样矩阵S表现为如下。 
[式2] 
S = 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0
通过公式1，利用平均信号保持单元207保持的时间平均图像xa，用以下的式子计算与加法采样单元204的输出信号对应的时间平均信号ya。 
[式3] 
ya＝S·xa 
通过利用式3，差分信号生成单元208能够计算加法采样处理的信号y(式1)与时间平均信号ya(式3)的差分信号(y-ya)。 
此外，也可以在平均信号保持单元207中保持通过式3进行了加法采样处理后的数字化的时间平均信号。在该情况下，能够容易地计算模数转换单元205输出的数字信号与该时间平均信号的差分。 
差分图像复原单元209利用差分信号生成单元208生成的差分信号、加法采样信息设定单元203设定的加法采样信息，复原与差分信号对应的 图像(差分图像)。进一步，通过进行复原的该差分图像与平均信号保持单元207保持的时间平均图像的加法处理，生成复原图像(步骤S207)。该复原处理可以利用在压缩感知中广泛使用的、改进的Curvelet阈值迭代法(例如参照非专利文献1)、仿射尺度(affine scaling)法(例如参照非专利文献4)、交替方向乘子(Alternating Direction Method of Multipliers)法(例如参照非专利文献5)等公知的方法。 
在压缩感知中，已知在将输入图像向某空间投影时，其系数矢量的稀疏性越高，则复原画质越高。即，利用能够稀疏地表现输入图像的空间对提高复原画质来说是重要的。以下，说明通过将与时间平均图像的差分信号即差分图像作为输入图像而使得稀疏性变高。 
图33的(a)～(d)是用于说明利用了差分图像的复原处理的示意图。图33的(a)表示在时刻t1拍摄在背景401前移动的人物(运动区域)402而得到的图像403。图33的(b)示出了在时刻t2拍摄与图33的(a)相同的场景而得到的图像404。 
图33的(c)表示根据如此拍摄的多张图像计算出的时间平均图像405。需要留意的是，图33的(c)所示的时间平均图像405不是仅根据图33的(a)和(b)所示的两张图像得到的平均图像，而是示出了也包含了人物(运动区域)402继续移动的其他图像的平均图像。由于背景401不随着时间而变化，且在图像的相同位置被拍摄，所以在时间平均图像中也存在于相同位置。另一方面，由于运动区域402按时间而位置改变，所以不存在于时间平均图像中。因此，通过制作时间平均图像，能够生成不存在运动区域402、而仅存在背景401的图像。 
图33的(d)表示在时刻t2拍摄的图像404与时间平均图像405的差分图像406。图中的白色区域407是存在差分值的区域。此外，在图33的(d)中，虽然参照标号407的引出线也表示为白色，但这是为了说明的方便。 
如上所述，基于压缩感知的复原图像的画质较大地取决于图像的稀疏性。因此，不太适合复原小的人偶、有图案的地毯这样的细纹理。另一方 面，在利用了时间平均图像及其差分图像的情况下，由于这种难以提高画质的细纹理多包含在背景中，所以不被包含在差分图像中。因此，差分图像的稀疏性变高。另外，从消除了帧之间存在关联的信号成分的观点来看，差分图像的稀疏性也变高。因此，只要能够取得高画质的时间平均图像，则能够通过基于压缩感知仅对差分图像进行图像复原来得到高画质的复原图像。 
但是，为了这样提高画质，需要制作高画质的时间平均图像。由于时间平均图像通过对复原图像进行时间平均处理来制作，所以可认为如果在复原图像的画质低的情况下，则时间平均图像的画质也低。 
因此，本实施方式的摄像装置的加法采样信息设定单元203按每帧而变更加法采样信息。通过该处理，即使是复原图像的画质低的情况，也能够提高时间平均图像的画质。为了对其进行说明，将输入图像分割为运动区域和背景来进行说明。 
首先，说明运动区域。如前所述，在时间平均图像中不存在运动区域。因此，时间平均图像的画质不影响运动区域的画质，而仅主要取决于背景区域。 
接着，说明背景区域。背景区域的复原图像被推测为在多个帧中相同。然而，导致复原图像的画质劣化的伪影会对加法采样处理的加法采样信息产生较大的影响。也就是说，在固定加法采样信息而在多个帧中对背景区域进行加法采样处理的情况下，复原图像具有与每帧的复原图像同样的伪影。另一方面，在按每帧而变更加法采样信息的情况下，复原图像具有按每帧而不同的伪影。 
图34是表示按每帧而固定加法采样信息的情况下、和按每帧而变更加法采样信息的情况下的复原图像及其时间平均图像的示意图。本发明的发明人将由帧0～9这10个帧构成的场景作为对象来进行加法采样处理后，对图像进行了复原。并且，求出了复原的10张图像的时间平均图像。在图34中，作为例子，示出了帧0、4以及9的复原图像。此外，以圆圈包围的区域是为了便于在后面的说明中表示所关注的区域而标注，并不包含于 复原图像。 
在图34中，上层表示固定加法采样信息而在10帧中进行加法采样处理的情况下的结果。中层表示由本实施方式的加法采样信息设定单元203按每个帧来变更加法采样信息而进行加法采样处理的情况下的结果。下层示出了正确图像。此外，在下层中，为了进行评价，将不进行加法采样处理的已知图像作为正确图像来加以示出。 
在上层的以固定加法采样信息进行处理而得到的结果中，在全部帧中，存在同样的伪影。因此，在时间平均图像中也残留有同样的伪影。例如，在复原图像左上部以圆圈包围的区域中，T字型的伪影存在于全部帧的复原图像中，在时间平均图像中也同样残留有同样的伪影。 
另一方面，在中层的按每帧来变更加法采样信息而得到的处理结果(本实施方式的摄像装置的处理结果)中，伪影按每帧而不同。例如，在帧0的复原图像中，产生与上层的处理结果相同的T字型伪影，但在帧4、帧9的复原图像中不存在这种伪影。因此，在时间平均图像中，存在于每个复原图像中的伪影被均化而得以降低，成为仅是存在于原本的场景中的背景的图像。其结果，确认了能够大幅度地提高画质。 
图35示意地示出利用了这样求出的时间平均图像的复原图像的画质。在该图中，横轴表示帧编号，纵轴表示复原图像与正确图像的PSNR(Peak Signal to Noise Ratio：峰值信噪比)。当处理帧前进时，复原图像的画质大幅度提高。这样，在本实施方式的摄像装置中，通过按每帧而变更加法采样信息，由于能够抑制复原图像的伪影，所以能够大幅度提高画质。 
另外，如图35所示，为了提高时间平均图像、复原图像的画质，事前预先处理多个帧并预先制作高画质的时间平均图像是重要的。因此，在本实施方式的摄像装置中，如图20的步骤S104所示，即使在用户将摄像开关设为切断(off)的状态下，也能够通过进行拍摄并进行时间平均图像的生成处理，从而快速地复原高画面质量的图像。 
再次参照图21和图22，说明在编码系统100的解码装置2中进行的处理。 
平均信号生成单元206生成差分图像复原单元209复原的复原图像的时间平均图像(步骤S208)。这例如通过利用以下的IIR滤波器来实现。 
[式4] 
A(k+1)＝(1-M)·A(k)+M·I(k) 
其中，A(k)是帧k的时间平均图像，I(k)是帧k的复原图像，M是满足0≤M≤1的正的常数。 
当然，平均信号生成单元206也可以不是IIR滤波器，而是利用多个帧存储器，用以下式的FIR滤波器来实现。 
[式5] 
A ( k + 1 ) = 1 N &Sigma; n = 0 N - 1 I ( k - n )
其中，N是在时间平均处理中利用的帧数，并且是正的常数。 
当然，平均信号生成单元206也可以利用公知的噪声抑制方法来提高画质(例如参照非专利文献6)。通过利用噪声抑制方法，能够提高时间平均图像的画质。 
平均信号保持单元207保持平均信号生成单元206生成的时间平均信号(步骤S209)，并向差分信号生成单元208发送时间平均信号。这通过1帧量的图像帧存储器来实现。 
如上所述，根据本实施方式，通过在按每帧而变更加法采样信息的同时生成复原图像的时间平均图像，并利用时间平均图像和差分信号来进行图像复原处理，能够提高复原画质。 
在以上说明中，加法采样单元204对多个像素数据进行加法运算，但当然也可以进行加权加法运算来作为增益。这对于解决将多个像素相加时数据的动态范围增大、模数转换单元205的负荷增加来说是有效的。例如，在如图23所示进行加法采样时，为了匹配加法运算后的数据的动态范围，在进行标准化处理的情况下，提供权重1/4来作为增益即可。当这样在加法采样处理中附加增益时，使得在加法采样信息中提供该增益信息即可。 
另外，低分辨率图像生成显示单元102也可以构成为在图像复原单元 103中使高速的图像复原处理结果显示在阅览器上。这例如通过仅复原拍摄图像的一部分图像来实现。由于仅处理图像的一部分，与处理图像整体的情况相比，能够高速地生成复原图像。由此，能够向用户显示延迟少的图像。对于是否生成显示图像的哪个区域，既可以通过用户接口单元104让用户进行选择，也可以是画面中央部。另外，复原的图像的尺寸可以将阅览器的分辨率作为基准来设定。 
另外，图像复原单元103的图像复原方法可利用匹配追踪(Matching Pursuits)法、匹配追踪去噪(Matching Pursuits Denoising)法等公知的方法(例如参照非专利文献7)。 
另外，差分信号生成单元208也可以构成为：通过利用移动(运动)检测技术而生成运动补偿时间平均信号，计算模数转换单元205输出的数字信号与运动补偿时间平均信号的差分信号。通过利用运动补偿时间平均信号，即使在摄像装置正在运动的情况下，也能够提高画质。进一步，也可以构成为：通过利用进深信息来生成时间平均图像的子(sprite)图像，并仅切出背景区域进行处理。 
(实施方式3) 
图36是表示本实施方式中的编码系统200的结构的框图。另外，图37是表示本实施方式中的编码系统200的处理步骤的流程图。进一步，图38是表示摄像状况推定单元106与图像复原单元103的关系的框图。在图36、图37以及图38中，对于与图19、图20、图21相同的构成要素使用相同的标号，并省略说明。 
本实施方式中的编码系统200在解码装置的结构方面与实施方式2中的编码系统100不同。即，本实施方式涉及的解码装置202在解码装置2中追加摄像状况推定单元106而构成。以下，详细说明摄像状况推定单元106的处理。 
摄像状况推定单元106推定摄像状况，根据推定的摄像状况，加法采样信息设定单元203变更加法采样信息(步骤S106)。摄像状况例如意味着作为在光电转换单元51中将光信号转换成电信号时的状况的摄像场景。 例如在摄像状况推定单元106推定为拍摄到时间变化为预先设定的基准以上的激烈场景的情况下，针对该时间变化激烈的图像区域，指示在加法采样信息设定单元203中变更加法采样信息而增加加法采样处理的采样数。 
另外，在摄像状况推定单元106推定为基本上没有时间变化的场景等时间变化低于预先设定的基准的场景的情况下，对于该没有变化的区域，指示在加法采样信息设定单元203中变更加法采样信息而减少采样数。由此，能够提高复原图像的画质。在没有产生时间变化的区域中，通过利用平均信号保持单元207保持的时间平均图像，即使是在假设不存在复原图像的情况下，也能够制作高精度的图像。另一方面，在时间变化激烈的区域即运动区域中，由于无法利用时间平均图像，所以通过增加采样数来提高图像复原单元103的复原画质。 
作为摄像状况推定单元106判断区域的时间变化的方法，如下所述，利用复原图像的帧间差分值即可。 
[公式6] 
| | I ( k ) - I ( k - 1 ) | | 2 2 &GreaterEqual; Th _ d .
也就是说，在复原图像的帧间差分值为阈值Th_d以上的情况下，判断为时间变化激烈的区域。对于判断为时间变化激烈的区域，通过加法采样信息设定单元203从接着的帧开始使采样数增加。另一方面，对于判断为时间变化少的区域，通过加法采样信息设定单元203从接着的帧开始使采样数减少。 
当然，也可以通过检测复原图像的运动矢量，并推定在下一帧中预想为时间变化激烈的区域，从而使该区域的采样数增加。 
当然，为了判断区域的时间变化，摄像状况推定单元106也可以不是利用复原图像，而是利用低分辨率图像生成显示单元102所生成的低分辨率图像。这利用加法采样单元204的第1～第4输出信号的帧间差分值即可。由于按每帧而对电荷信号进行加法运算的像素不变化，所以这些输出信号能够推定区域的时间变化。在判断为时间变化激烈的区域中，关于第5～8输出信号，通过加法采样信息设定单元203使采样数增加。 
另一方面，在判断为时间变化少的区域中，通过加法采样信息设定单元203以第5～8输出信号来使采样数增加。另外，在完全没有产生时间变化的区域的情况下，由于差分图像复原单元209将时间平均图像作为该区域的复原图像即可，所以也可以不生成第5～8输出信号。 
当然，为了判断区域的时间变化，摄像状况推定单元106也可以利用加法采样单元204的输出信号的帧之间的差分值。在该情况下，例如也可以通过仅利用其总和值来简化处理。 
如上所述，根据实施方式3，由于能够通过导入摄像状况推定单元106来判断摄像状况的变化，并能够根据摄像图像来设定最适合的加法采样信息，所以能够实现更高画面质量的图像复原。 
(实施方式4) 
在上述实施方式2和3的编码系统中，说明了：在解码装置中生成低分辨率图像，并使低分辨率图像显示于设在编码装置中的阅览器上。此前，没有特别提及低分辨率图像与阅览器的分辨率的关系。然而，认为可以在生成低分辨率图像时考虑阅览器的分辨率。 
以下，说明如下实施方式：变更编码装置中的处理，以使得能够生成考虑了阅览器的分辨率的低分辨率图像。 
图39是表示本实施方式中的编码系统300的结构的框图。编码系统300在实施方式2涉及的编码系统100中进一步追加了收发分辨率信息的结构。此外，在图39中，对于与图19相同的构成要素，使用相同的标号并省略说明。 
编码系统300具备：具有分辨率信息接收部303a的编码装置301和具有分辨率信息发送部303b的解码装置302。 
分辨率信息发送部303b取得解码装置302的阅览器或者另外与解码装置302连接的阅览器的分辨率信息，并经由网络将该信息发送给编码装置301。阅览器的分辨率信息事先保存在存储器中即可。分辨率信息接收部303a接收从解码装置302发送来的分辨率信息。 
加法采样信息设定单元203利用分辨率信息接收部303a接收的分辨率 信息来设定加法采样信息。更具体而言，加法采样信息设定单元203设定图25的(a)～(d)中的第1～第4输出数据的加法采样信息，以使得通过加法采样处理生成的图像的分辨率与由分辨率信息接收部303a接收的分辨率相匹配即可。 
由此，低分辨率图像生成显示单元102能够显示与阅览器的分辨率最适应的图像。 
此外，虽然省略了表示上述处理的步骤的流程图，但例如在图20的步骤S101之前预先进行分辨率信息的收发，将基于该分辨率信息的加法采样信息应用于基于步骤S101的加法采样的拍摄中即可。 
此外，在阅览器的分辨率为预先设定的值以上的情况下，加法采样信息设定单元203可以增加与图29～图32所示的第1～第4读出像素组相当的低分辨率化像素组，并减少与第5～第8读出像素组相当的按时间变化的像素组。另一方面，在阅览器的分辨率低于预定值的情况下，加法采样信息设定单元203可以减少与图29～图32所示的第1～第4读出像素组相当的低分辨率化像素组，并增加与第5～第8读出像素组相当的按时间变化的像素组。 
(实施方式5) 
在上述实施方式2～4的摄像系统中，解码装置构成为包含较多的构成要素。然而，也可以简化解码装置的结构。因此，在本实施方式中，说明将解码装置的结构的一部分分离来作为操作装置的例子。 
图40是表示本实施方式中的编码系统400的结构的框图。编码系统400包含编码装置401、解码装置402以及操作装置403。 
编码装置401具备加法采样摄像单元101和发送单元450a。操作装置403具备接收单元450c、低分辨率图像生成显示单元102、用户接口单元104以及操作信息发送单元460。另一方面，解码装置402具备接收单元450b、图像复原单元103以及输出单元105。此外，在图40中，对于与图19相同的构成要素，使用相同的标号并省略说明。 
编码装置401的发送单元450a发送图像的数字数据和加法采样信息。 
操作装置403的接收单元450c接收与图29～图32所示的第1～第4读出像素组相当的低分辨率化像素组的数字数据。此外，不需要加法采样信息。由于要求实时性，所以只要能够仅取得低分辨率图像化像素组的数字数据即可。 
操作信息发送单元460将例如表示用户是否具有录像的意图的操作信息发送给解码装置402。该处理对应于例如与实施方式2相关联的图20的步骤S104中的摄像开关的接通或断开。在用户具有录像的意图的情况下，与图20的摄像开关接通的情况同等地处理。另一方面，在用户没有录像的意图的情况下，与图20的摄像开关非接通的情况同等地处理。 
此外，虽然省略了表示上述处理的步骤的流程图，但例如在图20的步骤S101之前预先进行分辨率信息的收发，将基于该分辨率信息的加法采样信息应用于基于步骤S101的加法采样的拍摄中即可。 
解码装置402的接收单元450b接收编码装置401的发送单元450a发送的图像的数字数据和加法采样信息，另外，接收操作装置403的操作信息发送单元460发送的操作信息。 
从本实施方式的结构可知，实施方式2～4涉及的解码装置的结构为一个例子，解码装置的结构可以分离在多个独立的装置中。 
(实施方式6) 
在上述实施方式1～5中，未特别明确地说明解码装置的输出单元的复原图像的输出目的地。在本实施方式中，说明输出目的地的处理的例子。 
图41是表示本实施方式中的编码系统500的结构的框图。本实施方式中的编码系统500是在实施方式5的编码系统400中进一步追加了图像显示装置501而构成的。对于与编码系统400相同的构成要素，标注与图40相同的参照标号并省略其说明。 
图像显示装置501例如是液晶显示器或投影仪。 
图像显示装置501具有解码信号接收单元510和显示单元511。解码信号接收单元510接收从解码装置402的输出单元105输出的解码信号。例如在解码信号为数字信号的情况下，解码信号接收单元510经由无线或 有线的通信线路(网络)接收解码信号。显示部单元11显示根据解码信号得到的图像。此外，显示的图像的分辨率比由低分辨率图像生成显示单元102显示的图像的分辨率高。 
(实施方式7) 
本实施方式涉及用于应对本发明的发明人认识到的新课题的结构。以下，首先在开头说明该课题。 
在以往的运动图像压缩技术中，对于在帧之间没有变化的静止区域的像素，不发送数据，而仅发送有运动的区域，从而提高了压缩率。然而， 
在该方法中，在用户从运动图像帧抽取一张静止图像的情况下，或者用户从运动图像切出图像的一部分静止图像区域的情况下，存在静止图像部分的画质不足的情况。 
本发明的发明人着眼于了在从运动图像切出静止图像的情况下提高静止区域的画质是重要的这一课题。以下说明的显示控制方法是由本发明的发明人为解决该课题而做出的。根据本实施方式的结构，静止区域的帧数越增加，则越能够提高静止区域的复原画质。 
以下，说明本实施方式涉及的系统的结构和工作。 
图42是表示本实施方式涉及的显示控制系统600的结构例的框图。在图42中，对于与图19相同的构成要素，使用相同的标号并省略说明。此外，显示控制系统600能够与图19所示的解码装置2并存。 
显示控制系统600具备接收单元150b、显示控制单元601以及输出单元105。另外，显示控制部601具备静止区域画质提高单元602。显示控制单元601例如可以由CPU、图形处理器来实现。 
图43是表示本实施方式7的显示控制系统600的处理的步骤的流程图。 
接收单元150b接收多个帧的数据和加法采样信息(步骤S501)。如上所述，多个帧的数据是进行了取决于帧的加法采样处理后得到的数据。与前述的摄像状况推定单元106同样地，将与前帧相比像素值未发生较大变化的区域确定为静止区域。当然，也可以构成为从外部接收用于确定静止区域的信号。该信号既可以例如用户使用运动图像的再现时刻来进行输入， 也可以是预先决定的再现时刻或来自基于再现间隔的定时器等的输入。或者，指示也可以是用户利用鼠标、数码绘图板等而指定的静止图像中的一部分区域。 
静止区域画质提高单元602基于从外部接收的指示来确定静止区域，所述静止区域是接收单元150b接收的多个帧的数据的一部分。并且，静止区域画质提高单元602利用接收单元150b接收的多个帧的数据，提高所确定的静止区域的画质(步骤S502)。在该处理中，利用实施方式2或者3中的解码装置2即可。也就是说，静止区域画质提高单元602的结构是解码装置2本身即可，只要能够根据与上述静止区域有关的指示而抽出所确定的帧的至少一部分来作为静止图像即可。 
如图35所示，帧数越增加，实施方式2中的复原图像的静止区域画质越提高。这是由于：通过使加法采样信息根据帧而变化，能够使帧间的伪影的相关性下降，能够使复原画质提高。 
输出单元105输出通过所述静止区域画质提高单元602使静止区域的画质提高而得到的图像(步骤S503)。 
接着，说明显示控制系统600的变形例。 
图44表示作为显示控制系统600的变形例的显示控制系统610。显示控制系统610具备接收单元150b、低分辨率图像生成显示单元102、显示控制单元601以及输出单元105。显示控制单元601具有图像区域变化判定单元603。图像区域变化判定单元603根据接收单元150b接收的数据来切换输出。在图44中，对于与图19和图42相同的构成要素，使用相同的标号并省略说明。 
图45是表示本实施方式7的显示控制系统610的处理的步骤的流程图。在图45中，对于与图20、图43相同的构成要素，使用相同的标号并省略说明。 
本实施方式的显示控制单元601首先通过图像区域变化判定单元603判定是否在图像的许多区域中与前帧相比图像发生了较大变化(步骤S504)。与前述摄像状况推定单元106同样地，该判定可利用复原图像或 低分辨率图像生成显示单元102所生成的低分辨率图像，并利用满足式6的像素的比例来进行即可。在例如满足式6的像素以图像整体的预定比例(例如三分之二)以上存在的情况下，判断为变化大，并非如此的情况下判断为变化少即可。 
在通过图像区域变化判定单元603判断为显示图像的许多区域发生了变化的情况下(在步骤S504为“是”)，输出单元105输出低分辨率图像生成显示单元102生成的低分辨率图像(步骤S505)。其理由是因为能够设想为即使利用图像复原、画质也不显著提高。 
另一方面，在由图像区域变化判定单元603判断为图像基本上没有变化的情况下(在步骤S504为“否”)，静止区域画质提高单元602利用接收单元150b接收的多个帧的数据，提高作为该数据的一部分的静止区域的画质(步骤S502)，输出单元105输出通过所述静止区域画质提高单元602使静止区域的画质提高后的图像(步骤S503)。 
本发明涉及的摄像系统在利用了能够实现低功耗化、高SN化以及缩窄通信带宽的压缩感知的摄像装置中对于提高画质是有用的。 
相关申请的交叉引用 
本申请基于在2013年10月24日提交的日本专利申请No.2013-221216、在2014年5月30日提交的日本专利申请No.2014-134106，其全部内容在此通过引用引入。 

Claims (16)

1.一种摄像系统，具备：
光电转换单元，将多个像素接受的光信号转换成电信号；
电荷保持单元，存储所述电信号并作为电荷信号进行保持；
加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；
加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；
转换单元，将所述加法采样单元输出的信号转换成数字信号；以及
图像复原单元，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。
2.根据权利要求1所述的摄像系统，
所述第1多个像素为n个像素，
所述加法采样单元针对作为n个像素值的所述第1像素值，对由所述第1信息所包含的m个信息各自指定的像素的像素值进行加法处理，得到m个的加法结果，并且，
所述加法采样单元针对作为n个像素值的所述第2像素值，对由所述第2信息所包含的m个信息各自指定的像素的像素值进行加法处理，得到m个的加法结果，
其中，m<n。
3.根据权利要求1所述的摄像系统，
所述加法采样信息设定单元设定加法采样信息，所述加法采样信息用于进行控制以使得针对所述多个像素的全部像素的像素值进行按每帧而不同的加法采样处理。
4.根据权利要求1所述的摄像系统，
所述加法采样信息设定单元设定加法采样信息，所述加法采样信息用于进行控制以使得针对所述第1多个像素进行相同的加法采样处理而与帧无关。
5.根据权利要求1所述的摄像系统，
所述图像复原单元具备：
平均信号生成单元，生成在到当前为止的预定期间内生成的复原图像的时间平均图像；
差分信号生成单元，生成表示所述数字信号与所述时间平均图像的差分的差分信号；以及
差分图像复原单元，利用所述加法采样信息，根据所述差分信号生成差分图像，使用所述差分图像和所述时间平均图像生成所述复原图像。
6.根据权利要求5所述的摄像系统，
所述加法采样信息设定单元设定表示在所述加法采样单元中进行的所述加法采样处理的方法的信息来作为所述加法采样信息。
7.根据权利要求6所述的摄像系统，
所述电荷保持单元按每个预定的帧期间而输出所述电荷信号来作为帧图像，
所述加法采样信息设定单元按每个所述帧图像而变更所述加法采样信息，
所述电荷信号包含与所述多个像素各自对应的像素信号，
所述加法采样单元基于所述加法采样信息，对所述多个像素中的近旁的像素组同时进行所述加法采样处理并输出一个信号。
8.根据权利要求7所述的摄像系统，
所述多个像素被分类为多个像素组，
摄像系统还具备低分辨率图像生成显示单元，所述低分辨率图像生成显示单元根据与各像素组对应地输出的各信号，生成用于显示在阅览器上的分辨率相对低的低分辨率图像。
9.根据权利要求8所述的摄像系统，
推定在所述光电转换单元中将所述光信号转换成所述电信号时的状况即摄像状况，并按照推定的所述摄像状况对所述加法采样信息设定单元进行指示以使得变更所述加法采样信息。
10.根据权利要求9所述的摄像系统，
还具备摄像状况推定单元，在所述摄像状况推定单元检测出时间变化为预先确定的基准以上的激烈场景所包含的图像区域的情况下，对所述加法采样信息设定单元进行指示以使得关于对所述图像区域的所述加法采样处理增加采样数。
11.一种摄像装置，具备：
光电转换单元，将多个像素接受的光信号转换成电信号；
电荷保持单元，存储所述电信号并作为电荷信号进行保持；
加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与所述第1加法采样信息不同的第2加法采样信息；以及
加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号。
12.一种解码装置，从编码装置接收数字信号，
所述编码装置包含：
光电转换单元，将多个像素接受的光信号转换成电信号；
电荷保持单元，存储所述电信号并作为电荷信号进行保持；
加法采样信息设定单元，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与第1加法采样信息不同的第2加法采样信息；
加法采样单元，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样单元使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样单元使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；以及
转换单元，将所述加法采样单元输出的信号转换成数字信号，
所述解码装置包含：
接收单元，从所述编码装置接收所述数字信号和所述加法采样信息；和
图像复原单元，利用所述数字信号和所述加法采样信息生成复原图像。
13.根据权利要求12所述的解码装置，
所述图像复原单元具备：
平均信号生成单元，生成在到当前为止的预定期间内生成的复原图像的时间平均图像；
差分信号生成单元，生成表示所述数字信号与所述时间平均图像的差分的差分信号；以及
差分图像复原单元，利用所述加法采样信息，根据所述差分信号生成差分图像，进而使用所述差分图像和所述时间平均图像生成所述复原图像。
14.一种摄像方法，包含：
光电转换步骤，将多个像素接受的光信号转换成电信号；
电荷保持步骤，存储所述电信号并作为电荷信号进行保持；
加法采样信息设定步骤，设定加法采样处理所使用的加法采样信息，所述加法采样信息包含第1加法采样信息、与第1加法采样信息不同的第2加法采样信息；
加法采样步骤，使用所述加法采样信息和所述电荷信号进行所述加法采样处理并输出信号，所述加法采样步骤中使用所述第1加法采样信息和所述多个像素所包含的第1多个像素的第1像素值来进行所述加法采样处理，并输出使用于第1帧的第1信号，所述加法采样步骤中使用所述第2加法采样信息和所述第1多个像素的第2像素值来进行所述加法采样处理，并输出使用于与第1帧连续的第2帧的第2信号，所述加法采样单元输出的信号包含所述第1信号和所述第2信号；
转换步骤，将所述加法采样单元输出的信号转换成数字信号；以及
图像复原步骤，根据所述数字信号，利用所述加法采样信息生成并输出复原图像。
15.一种显示控制系统，具备：
接收单元，从权利要求11所述的摄像装置接收基于进行了所述加法采样处理的所述电荷信号的多个帧的数字信号、和所述加法采样信息；
解码装置，利用压缩采样技术，抽出根据所述加法采样信息和所述数字信号确定的帧的至少一部分区域来作为静止图像；以及
输出单元，输出所述静止图像。
16.根据权利要求15所述的显示控制系统，
还具备判定单元，所述判定单元判定在所述多个帧之间的图像区域的变化的比例，
在所述判定单元的判定结果为所述多个帧之间的图像区域的变化的比例小于预定的比例的情况下，所述解码装置抽出根据所述指示确定的帧的至少一部分区域来作为静止图像。
CN201410551263.1A 2013-10-24 2014-10-17 摄像系统、摄像装置、编码装置以及摄像方法 Pending CN104580940A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-221216 2013-10-24
JP2013221216 2013-10-24
JP2014134106A JP6361965B2 (ja) 2013-10-24 2014-06-30 撮像システム、撮像装置、符号化装置、および撮像方法
JP2014-134106 2014-06-30

Publications (1)

Publication Number Publication Date
CN104580940A true CN104580940A (zh) 2015-04-29

Family

ID=52994971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410551263.1A Pending CN104580940A (zh) 2013-10-24 2014-10-17 摄像系统、摄像装置、编码装置以及摄像方法

Country Status (3)

Country Link
US (2) US9479787B2 (zh)
JP (1) JP6361965B2 (zh)
CN (1) CN104580940A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886592A (zh) * 2017-11-29 2018-11-23 深圳市大疆创新科技有限公司 图像传感器、芯片、图像处理设备及相关方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942473B2 (en) * 2012-07-25 2015-01-27 Ko Hung Lin Image processing method and display apparatus
EP3167552A1 (en) * 2014-07-12 2017-05-17 Robert C. Gibbons Read-out integrated circuit with integrated compressive sensing
JP6456127B2 (ja) * 2014-12-09 2019-01-23 キヤノン株式会社 放射線撮像装置および放射線撮像システム
US11228758B2 (en) 2016-01-22 2022-01-18 Peking University Imaging method and device
CN105761215B (zh) * 2016-01-27 2018-11-30 京东方科技集团股份有限公司 一种图像压缩方法、图像重构方法、装置及系统
JP6975897B2 (ja) 2016-12-27 2021-12-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
US10218923B2 (en) * 2017-02-17 2019-02-26 Semiconductor Components Industries, Llc Methods and apparatus for pixel binning and readout
JP6966934B2 (ja) 2017-03-29 2021-11-17 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
TWI627440B (zh) * 2017-05-17 2018-06-21 力晶科技股份有限公司 影像亮度重配模組及影像亮度重配方法
KR102469084B1 (ko) 2018-03-09 2022-11-23 에스케이하이닉스 주식회사 고해상도 및 저잡음의 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서
CN113516150B (zh) * 2021-04-02 2024-09-17 上海师范大学 一种基于多采集视角信息的智能视觉图像采集系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259662A1 (en) * 2009-04-08 2010-10-14 Sony Corporation Solid-state imaging device and camera system
US20120038805A1 (en) * 2010-08-11 2012-02-16 Kelly Kevin F Dynamic Range Optimization and Hot Spot Correction in a Compressive Imaging System
CN102469241A (zh) * 2010-10-29 2012-05-23 佳能株式会社 摄像设备、放射线摄像系统和图像传感器的控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6653992B1 (en) * 2001-02-28 2003-11-25 Varian Medical Systems, Inc. Method and circuit for reduction of correlated noise
US7474345B2 (en) * 2001-10-24 2009-01-06 Texas Instruments Incorporated System and method to facilitate time domain sampling for solid state imager
US9609243B2 (en) * 2007-05-25 2017-03-28 Uti Limited Partnership Systems and methods for providing low-noise readout of an optical sensor
WO2009091824A1 (en) * 2008-01-14 2009-07-23 Wisconsin Alumni Research Foundation Method for prior image constrained progressive image reconstruction
US8860835B2 (en) * 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
JP2013009172A (ja) * 2011-06-24 2013-01-10 Olympus Corp 撮像装置及び画像生成方法
US9213916B2 (en) * 2012-03-22 2015-12-15 The Charles Stark Draper Laboratory, Inc. Compressive sensing with local geometric features
IL219773A (en) * 2012-05-13 2015-09-24 Elbit Sys Electro Optics Elop Device and method for increasing the resolution of vacuum-based infrared imaging detectors and cryogenic coolers
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259662A1 (en) * 2009-04-08 2010-10-14 Sony Corporation Solid-state imaging device and camera system
US20120038805A1 (en) * 2010-08-11 2012-02-16 Kelly Kevin F Dynamic Range Optimization and Hot Spot Correction in a Compressive Imaging System
CN102469241A (zh) * 2010-10-29 2012-05-23 佳能株式会社 摄像设备、放射线摄像系统和图像传感器的控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886592A (zh) * 2017-11-29 2018-11-23 深圳市大疆创新科技有限公司 图像传感器、芯片、图像处理设备及相关方法

Also Published As

Publication number Publication date
US20150116531A1 (en) 2015-04-30
US9479787B2 (en) 2016-10-25
JP2015109629A (ja) 2015-06-11
JP6361965B2 (ja) 2018-07-25
US20160381369A1 (en) 2016-12-29
US9578344B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
CN104580940A (zh) 摄像系统、摄像装置、编码装置以及摄像方法
JP5844394B2 (ja) 適応探索範囲を用いた動き推定
Yu et al. Saliency-based compressive sampling for image signals
CN103139446B (zh) 接收的视频稳定化
CN104205844B (zh) 降低复杂度的运动补偿的时间处理方法及系统
CN101854544A (zh) 图像解码装置、程序、方法、及图像编码装置、程序、方法
JP2008508751A (ja) 符号化された画像信号に関する適応型３ｄ虚構映像削減のための装置および方法
CN103413286A (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
US10911785B2 (en) Intelligent compression of grainy video content
US10375299B2 (en) Imaging device and imaging method using compressed sensing
CN101765011A (zh) 缩放运动估计的方法和装置
CN114202463B (zh) 面向云端融合的视频超分辨率方法及系统
Wang et al. Gridformer: Residual dense transformer with grid structure for image restoration in adverse weather conditions
CN101437162A (zh) 图像解码装置及其方法、图像编码装置及其方法
US8213496B2 (en) Image processing device, image processing method, and image processing program
JP3271101B2 (ja) ディジタル画像信号処理装置および処理方法
CN110705499B (zh) 一种基于迁移学习的人群计数方法
CN112565603A (zh) 图像处理方法、装置及电子设备
CN102843576A (zh) 一种针对msu的隐写分析方法
CN115841523A (zh) 一种基于Raw域的双支路HDR视频重建算法
US7224853B1 (en) Method and apparatus for resampling data
JP2015109595A (ja) 撮像システム、撮像装置、および撮像方法
JP2018148582A (ja) 撮像システム、撮像装置、符号化装置、および撮像方法
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
JP2010166351A (ja) 動画像ノイズ除去装置および動画像ノイズ除去プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190726

AD01 Patent right deemed abandoned