CN101516031B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101516031B
CN101516031B CN2009100056824A CN200910005682A CN101516031B CN 101516031 B CN101516031 B CN 101516031B CN 2009100056824 A CN2009100056824 A CN 2009100056824A CN 200910005682 A CN200910005682 A CN 200910005682A CN 101516031 B CN101516031 B CN 101516031B
Authority
CN
China
Prior art keywords
frequency
signal
frame
flow data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100056824A
Other languages
English (en)
Other versions
CN101516031A (zh
Inventor
小林诚司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101516031A publication Critical patent/CN101516031A/zh
Application granted granted Critical
Publication of CN101516031B publication Critical patent/CN101516031B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像处理装置，图像处理方法和程序。图像处理装置包括时间子带分割单元，被配置成通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码单元，被配置成压缩低频子带分割信号以输出低频流数据；和第二编码单元，被配置成压缩高频子带分割信号以输出高频流数据，其中第一编码单元和第二编码单元进行不同的编码处理，并且图像处理装置进一步包括流控制器和记录部件，其中，流控制器将高频流数据打包并作为用户数据叠加到低频流数据中，并且将叠加后的流数据输出到记录部件以进行记录。

Description

图像处理装置和图像处理方法
相关申请的交叉参考 
本发明包含与2008年2月19日在日本专利局提交的日本专利申请JP2008-037049相关的主题，其内容在这里结合作为参考。 
技术领域
本发明涉及一种图像捕获装置、图像处理装置、图像处理方法和程序。本发明尤其涉及一种可实现图像压缩处理的加速的图像捕获装置、图像处理装置、图像处理方法和程序。 
背景技术
近年来在图像捕获装置领域中，已经可获得能以比常规视频帧频(每秒60帧，每秒50帧，每秒24帧等)高的速率进行图像捕获的高速图像捕获装置。在这种高速图像捕获装置中，高分辨率和高帧频的图像捕获信号的数据速率变高，且对以该高速数据速率输入的数据所进行的图像信号处理和图像压缩处理需要以较高的速度进行。然而，存在一个问题，即很难以与图像捕获元件输出的数据速率匹配的速率进行诸如图像压缩处理这样的信号处理。 
由于该原因，对于现有技术的高速图像捕获装置，已经提出了下述一种方法，即其中临时将从图像捕获元件输出的捕获图像数据存储在半导体存储器中，在完成了图像捕获处理之后从外部控制器件(主要是计算机)读取半导体存储器内的捕获图像数据，并进行处理，并且还提出了下述一种方法，即其中在完成图像捕获处理之后，以与将要在后一阶段进行的视频信号处理的处理性能对应的数据速率(对应于常规的视频帧频)从半导体存储器读取捕获的图像数据，对其进行图像信号处理和图像压缩处理，并将所述捕获图像数据记录在记录介质上。 
然而，在其中以上述方式临时将捕获图像数据存储在半导体存储器中的构造的情形中，因为安装在高速图像捕获装置中的半导体存储器的容量有限，所以存在其中用于连续图像捕获的记录时间周期有限的问题。为了克服该问题，必需对从图像捕获元件输出的捕获图像数据实时进行图像信号处理和图像压缩处理并将捕获图像数据转换为与在诸如磁带、光磁盘或 硬盘这样的记录介质上进行记录的位率(比特率)对应的信号。 
近年来，作为实现高速压缩比的压缩方法，已经使用H.264视频编解码器。然而，目前，诸如上述压缩方法[H.264视频编解码器]这样的许多高压缩型压缩方法的处理较复杂且耗时。就是说，目前的情况是还没有获得可实现与超过常规视频帧频的高速帧频匹配的高速处理的电路和LSI。 
为了解决与压缩处理速度有关的问题，已经提出了下述一种方法，即其中通过在空间上将一帧的图像分成区域并通过对每个区域并行进行处理来实现高速处理，因而，可实现与高速图像捕获匹配的图像压缩。例如，在日本未审专利申请公开No.1-286586中，公开了下述一种图像捕获装置，即其将来自固态图像捕获元件的输出以水平线为单位进行分布并进行并行处理。在日本未审专利申请公开No.5-316402中，公开了下述一种图像捕获装置，即其使用棱镜进行分光并对多个固态图像捕获元件的输出信号进行并行处理。 
另一方面，作为用于在时间方向(帧频)上实现可缩放性的编码方法，已经提出了可缩放视频编解码器(SVC)。在Heiko Schwarz，Detlev Marpe和Thomas Wiegand，“MCTF and Scalability Extension of H.264/AVC”，PCS’04，December 2004，以及J.Reichel和H.Schwarz，“Scalable VideoCoding-Joint Scalable Video Model JSVM-2”，JVT-0201，Apri.2005公开的SVC中，在时间方向上进行子带分割，并以分级的方式对每个信号编码，由此实现时间方向上的可缩放性。 
发明内容
现有技术的上述高速图像捕获装置具有下述的问题。为了进行高速图像处理的目的，在日本未审专利申请公开No.1-286586中公开的图像捕获装置通过在空间上分割图像并通过并行进行处理可以以高分辨率和高帧频长时间地记录图像。然而在日本未审专利申请公开No.1-286586中公开的图像捕获装置中，形成了其中使用多个磁带录像机(VTR)记录并行的信号的大尺寸构造。此外，没有具体提到图像压缩。 
在日本未审专利申请公开No.5-316402公开的图像捕获装置中，通过使用多个图像捕获元件并进行图像捕获，相对于时间移动使用棱镜而经历分光的入射光的相位，并通过并行处理所获得的信号，实现高分辨率和高帧频的图像捕获。然而，在日本未审专利申请公开No.5-316402公开的图 像捕获装置中，没有详细提到图像压缩，形成了其中在半导体存储器中进行记录的构造。如果该构造以下述方式形成，即压缩以时分方式并行的图像信号，则必需具有多个图像压缩器件，导致成本相当大的增加。 
在Heiko Schwarz，Detlev Marpe和Thomas Wiegand，“MCTF andScalability Extension of H.264/AVC”，PCS’04，December 2004，以及J.Reichel和H.Schwarz，“Scalable Video Coding-Joint Scalable VideoModel JSVM-2”，JVT-0201，Apri.2005公开的编码方法中，通过相同的编码处理压缩每个被分割子带的层次(subband-divided hierarchy)。对于这种构造，在其中存在多个具有改善的压缩效率的编码处理器的情形中，导致成本相当大的增加，而在使用低成本编码处理器的构造的情形中，很难提高压缩效率。 
希望提供一种如下的图像捕获装置和图像处理装置、图像处理方法和程序，该图像捕获装置可解决上述问题，可在没有相当大地增加成本的情况下实现以高分辨率和高帧频长时间地记录图像，且包括在再现和输出时可实现帧频具有可缩放性的图像压缩单元。 
根据本发明的一个实施例，提供了一种图像捕获装置，包括：时间子带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；第一编码部件，用于压缩所述低频子带分割信号以输出低频流数据；和第二编码部件，用于压缩所述高频子带分割信号以输出高频流数据，其中所述第一编码部件和所述第二编码部件进行不同的编码处理，并且所述图像处理装置进一步包括流控制器和记录部件，其中，所述流控制器将所述高频流数据打包并作为用户数据叠加到所述低频流数据中，并且将叠加后的流数据输出到所述记录部件以进行记录。 
所述第一编码部件可包括压缩效率比所述第二编码部件高的编码处理部件。 
所述第二编码部件可包括电路尺寸比所述第一编码部件小的编码处理部件。 
所述时间子带分割部件可以是在所述时间方向上的小波变换器，并可进行下述处理，即通过在所述时间方向上相邻的多个帧之间进行哈尔变换而将帧信号分割为低频分量和高频分量。 
所述时间子带分割部件可接收P帧每秒的图像信号作为所述图像信号，P为整数，并可通过在所述时间方向上进行子带分割处理而产生P/Q帧每秒的低频子带分割信号和高频子带分割信号，Q为2或比2大的整数。 
所述第一编码部件和所述第二编码部件可以P/Q帧每秒进行编码处理。 
所述流控制器进一步从所述记录部件读取流数据，并且将读取的所述流数据分离为由所述第一编码部件压缩的所述低频流数据和由所述第二编码部件压缩的所述高频流数据，并且所述图像处理装置可进一步包括：第一解码部件，用于接收由所述流控制器分离的所述低频流数据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收由所述流控制器分离的所述高频流数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过对作为所述第一解码部件和所述第二解码部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的图像信号的帧频高的合并后图像信号。 
所述时间子带合并部件可以是在所述时间方向上的小波逆变换器。 
所述时间子带分割部件可产生多个高频子带分割信号作为所述高频子带分割信号，所述低频子带分割信号的帧频和所述多个高频子带分割信号的帧频可以是根据所述低频子带分割信号和所述多个高频子带分割信号的总数而确定的。 
所述第二编码部件可包括用于对所述多个高频子带分割信号中的每个进行压缩处理的多个不同的编码部件。 
所述时间子带分割部件可通过对包含在所述图像信号中的相对于时间连续的N个图像帧的相应像素的信号值执行加法处理而产生一个低频子带分割信号，N≥2，并通过对包含在所述图像信号中的相对于时间连续的N个图像帧的对象像素的信号值执行加法和减法处理而产生N-1个高频子带分割信号，所述N-1个高频子带分割信号中的每个可以是通过区别地设定被执行加法处理和减法处理的图像帧的组合而计算得到的信号。 
所述图像处理装置还可包括图像捕获元件，该图像捕获元件被配置成通过光电转换获得图像信号，所述时间子带分割部件通过对来自所述图像捕获元件的图像信号进行处理而产生高频子带分割信号和帧频比来自所述图像捕获元件的信号的帧频低的低频子带分割信号。 
根据本发明的另一实施例，提供了一种图像处理装置，包括：记录部件，用于记录将高频流数据打包并作为用户数据叠加到低频流数据中而形成的流数据；流控制器，用于从所述记录部件读取所述流数据，并且将读取的所述流数据分离为所述低频流数据和所述高频流数据；第一解码部件，用于接收由所述流控制器分离的所述低频流数据并进行用于将低频分量解压缩的处理；第二解码部件，用于接收由所述流控制器分离的所述高频流数据并进行用于将高频分量解压缩的处理；和时间子带合并部件，用于通过在时间方向上对作为所述第一解码部件和所述第二解码部件的解码结果的图像信号进行子带合并处理，产生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的所述图像信号的帧频高的合并后图像信号。 
所述第一解码部件可对编码数据进行压缩效率比所述第二解码部件高的解码。 
所述第二解码部件可接收在所述记录部件中记录的多个不同的高频流数据并产生由高频分量组成的多个不同的图像信号；和所述时间子带合并部件可接收作为所述第一解码部件的解码结果的图像信号和作为所述第二解码部件的解码结果的多个不同的图像信号，并可通过在所述时间方向上进行子带合并处理而产生高帧频的合并后图像信号。 
所述时间子带合并部件可以产生具有如下帧频的合并后图像信号，所述帧频是根据由所述第一解码部件产生的所述低频分量图像信号和由所述第二解码部件产生的高频分量图像信号的总数而确定的。 
所述第二解码部件可包括用于对在所述记录部件中记录的多个高频流数据中的每个进行解压缩处理的多个不同的解码部件。 
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下述步骤：通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形成的高频子带分割信号；压缩所述低频子带分割信号以输出低频流数据；和压缩所述高频子带分割信号以输出高频流数据，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割信号的步骤中，进行不同的编码处理，并且所述图像处理方法进一步包括：将所述高频流数据打包并作为用户数据叠加到所述低频流数据中；以及记录叠加后的流数据。 
根据本发明的另一实施例，提供了一种图像处理方法，该方法包括下 述步骤：读取将高频流数据打包并作为用户数据叠加到低频流数据中而形成的流数据；将读取的所述流数据分离为所述低频流数据和所述高频流数据；接收所述低频流数据并进行用于将低频分量解压缩的处理；接收所述高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和用于将所述高频流数据解压缩的处理而获得的第二图像信号，通过在时间方向上进行子带合并处理产生帧频比所述第一图像信号的帧频高的合并后图像信号。 
根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包括下述步骤的图像处理方法：通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形成的高频子带分割信号；压缩所述低频子带分割信号；和压缩所述高频子带分割信号，其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割信号的步骤中，进行不同的编码处理。 
根据本发明的另一实施例，提供了一种程序，该程序使计算机进行包括下述步骤的图像处理方法：接收低频流数据并进行用于将低频分量解压缩的处理；接收高频流数据并进行用于将高频分量解压缩的处理；和基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和用于将所述高频流数据解压缩的处理而获得第二图像信号，通过在时间方向上进行子带合并处理产生帧频比所述第一图像的帧频高的合并后图像信号。 
根据本发明的实施例，设置了两个编码部件来接收图像信号，即例如图像捕获元件的输出信号，在时间方向上对图像信号进行子带分割处理，由此产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号的帧频比输入帧频低，并压缩产生的低频子带分割信号和高频子带分割信号。例如形成具有不同压缩效率的编码部件的组合，用于所述低频子带分割信号例如形成为H.264编解码器，用于所述高频子带分割信号的编码部件例如形成为JPEG编解码器。通过该构造，在每个编码部件中，通过以与低帧频一致的速度的编码处理，可实现对高帧频的输入数据，例如图像捕获数据的实时处理。 
此外，在根据本发明实施例的装置中，在其中进行了不同编码处理的数据的解码和再现中，通过各个不同的解码处理部件解码低频流数据和高频流数据，例如，低频流数据经过使用H.264编解码器的解码处理，高频流数据经过使用JPEG编解码器的解码处理。然后，合并解码结果并作为高帧频的视频信号输出。可选择地，可仅输出通过H.264编解码器对所述 低频流数据进行的解码处理的结果，可输出低帧频的视频信号。 
附图说明
图1图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图2图解了根据本发明该实施例的所述图像捕获装置的典型数据处理； 
图3图解了根据本发明该实施例的所述图像捕获装置的典型数据处理； 
图4图解了根据本发明该实施例的所述图像捕获装置的典型数据处理； 
图5图解了根据本发明该实施例的所述图像捕获装置的典型数据处理； 
图6图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图7图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图8图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图9图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图10图解了根据本发明一个实施例的图像捕获装置的典型构造； 
图11图解了根据本发明一个实施例的图像捕获装置的构造的示例； 
图12图解了根据本发明一个实施例的图像捕获装置的数据处理的示例； 
图13图解了根据本发明一个实施例的图像捕获装置的数据处理的示例； 
图14图解了根据本发明一个实施例的图像捕获装置的数据处理的示例； 
图15图解了存储在帧存储器中的图像数据的数据处理次序的示例。 
具体实施方式
参照附图，下面将给出根据本发明实施例的图像捕获装置、图像处理装置、图像处理方法和程序的细节的描述。 
A.用于对具有高速(2倍)帧频的图像捕获数据进行处理的构造的示例 
B.用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实施例 
C.用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的示例 
A.用于对具有高速(2倍)帧频的图像捕获数据进行处理的构造的示例 
图1显示了根据本发明的图像捕获装置的一个实施例的图像捕获装置的构造。所述图像捕获装置是以与常规视频速率两倍高的帧频实现图像捕获、处理和记录的装置。 
首先，将参照附图描述图像捕获过程中的操作。图像捕获装置100通过使用图像捕获元件2接收经由图像捕获光学系统1进入的光。所述图像捕获元件2是能以高分辨率(在本实施例中设为HD(高清)分辨率)和高帧频(在本实施例中设为每秒120帧)进行图像捕获的固态图像捕获元件，例如为CMOS固态图像捕获元件，并输出经由AD转换器(没有示出)数字转换的捕获图像数据。这里，所述AD转换器安装在所述CMOS固态图像捕获元件中或布置在所述固态图像捕获元件外部。此外，在本实施例中，所述图像捕获元件2是具有滤色器的单板彩色方法的固态图像捕获元件，该滤色器在光接收表面上对于每个像素来说使不同波长范围的光透过。 
从所述图像捕获元件2输出的捕获图像数据输入到时间子带分割单元31。所述时间子带分割单元31临时将从所述图像捕获元件2供给的当前帧的捕获图像数据存储在帧存储器4中，并同时从所述帧存储器4读取前两帧的捕获图像数据，根据下述表达式1进行子带分割处理，并输出低频的信号11和高频的信号12。 
O L ( x , y , 2 t ) = I ( x , y , 2 t ) + I ( x , y , 2 t + 1 ) 2
O H ( x , y , 2 t ) = I ( x , y , 2 t ) - I ( x , y , 2 t + 1 ) 2 + Range 2 · · · (表达式1)
上面的表达式1表示在时间方向上的小波变换，其中使用哈尔(Haar)函数作为基(base)。在上面的表达式中，显示了下述值： 
I(x，y，2t)：在时间2t时在像素位置(x，y)处的输入值 
I(x，y，2t+1)：在时间2t+1时在像素位置(x，y)处的输入值 
OL(x，y，2t)：在时间2t时在像素位置(x，y)处的低频信号输出值 
OH(x，y，2t)：在时间2t时在像素位置(x，y)处的高频信号输出值 
Range：一个像素的像素值的分辨率数。 
例如在本实施例中用8位的每个颜色表示一个像素的情形中，分辨率数变为256，用8位描述每个颜色。 
通过两个连续输入帧的相应像素值的加法处理产生所述低频信号输出值OL(x，y，2t)。通过两个连续输入帧的相应像素值的减法处理产生所述高频信号输出值OH(x，y，2t)。就是说，根据在时间方向上连续的两个帧的相应信号值产生一个低频信号输出值和一个高频信号输出值。作为该处理的结果，输出帧频相对于输入帧频变为1/2。下面所示的表达式2表示其中使用哈尔(Haar)函数作为基的小波逆变换。 
R ( x , y , 2 t ) = O , L ( x , y , 2 t ) + O , H ( x , y , 2 t ) - Range 2
R ( x , y , 2 t + 1 ) = O , L ( x , y , 2 t ) - O , H ( x , y , 2 t ) - Range 2 · · · (表达式2)
上面的表达式2中所示的所述小波逆变换，是下述表达式，即其用于从前面所述表达式1中所示的小波变换中产生的值[OL(x，y，2t)]和[OH(x，y，2t)]计算在时间2t和2t+1时与初始帧频对应的两个连续帧的相应像素(x，y)的像素值[R(x，y，2t)]和[R(x，y，2t+1)]。表达式2用于解码处理。 
在该实施例中，作为所述时间子带分割单元31中的时间子带分割处理，使用很容易安装的哈尔(Haar)小波。此外，可使用其中使用其他基的小波变换，或其他子带分割处理。 
图2显示了在所述时间子带分割单元31中的所述时间子带分割处理的细节。在图2中，显示了从所述帧存储器4读取的第一帧(Frame 0)和第二帧(Frame 1)的捕获图像数据。每个捕获图像数据帧都具有RAW数据，对于每个像素来说，RAW数据具有单色信号，即RGB之一的一个颜色信号。例如，每帧的左上端表示G信号，每个信号值按GRGR的顺序存储在右侧，在第二行中，信号值按BGBG的顺序存储。例如，对于每帧左上端的G信号，显示了下面的值： 
G(0，0，0)的G是RGB信号的G信号， 
G(0，0，0)的最初(0，0)表示坐标位置(x，y)＝(0，0)
G(0，0，0)的最后(0)表示帧ID＝Frame 0。 
就每个帧中的空间而言，所述时间子带分割单元31在相同位置处的像素之间进行加法处理和减法处理。例如，在图2中所示的第一帧(Frame0)的像素G(0，0，0)与第二帧(Frame 1)的像素G(0，0，1)之间，进行表达式1中所示的处理，由此通过两个连续输入帧的相应像素值的加法处理计算低频信号输出值OL(x，y，2t)，通过两个连续输入帧的相应像素值的减法处理产生高频信号输出值OH(x，y，2t)。在下面，根据RGB的信号值之一是哪个，[OL(x，y，2t)]和[OH(x，y，2t)]如下表示 
在R的情形中为[RL(x，y，2t)]和[RH(x，y，2t+1)]， 
在G的情形中为[GL(x，y，2t)]和[GH(x，y，2t+1)]，和 
在B的情形中为[BL(x，y，2t)]和[BH(x，y，2t+1)]。 
所述时间子带分割单元31例如在图2中所示的第一帧(Frame 0)的像素G(0，0，0)与第二帧(Frame 1)的像素G(0，0，1)之间进行表达式1中所示的处理，从而通过两个连续输入帧的相应像素值的加法处理产生低频信号输出值GL(0，0，0)，通过两个连续输入帧的相应像素值的减法处理产生高频信号输出值GH(0，0，0)。类似地，在像素R(1，0，0)与像素R(1，0，1)之间进行处理，由此输出低频信号RL(1，0，0)和高频信号RH(1，0，0)。 
在上述方式中，以下述方式获得由所述时间子带分割单元31转换的所述低频信号11，即相邻两帧的捕获图像数据的像素经过加法处理，其等价于以所述图像捕获帧频(在本实施例中为每秒120帧)的一半(每秒60帧)的帧频捕获的捕获图像RAW数据。另一方面，通过确定相邻两帧的图像捕获数据之间的差获得由所述时间子带分割单元31转换的所述高频信号12，其是下述RAW数据，即有效像素值仅存在于运动物体的区域，其他区域形成为表示没有差别的固定值(考虑到安装，指定中心值128)。此外，所述低频信号11和所述高频信号12的帧频均是每秒60帧。 
如上所述，所述时间子带分割单元31接收从所述图像捕获元件2输出的图像信号，并通过在时间方向上的子带分割处理，产生由低频分量形成的低频子带分割信号、和由高频分量形成的高频子带分割信号，所述低频分量以比来自所述图像捕获元件2的输入帧频低的帧频形成。 
从所述时间子带分割单元31输出的所述低频信号11输入到相机信号处理器A51。类似地，从所述时间子带分割单元31输出的所述高频信号 12输入到相机信号处理器B52。 
所述相机信号处理器A51和相机信号处理器B52对从所述时间子带分割单元31输出的所述低频信号11和所述高频信号12进行相机信号处理，如白平衡修正、增益修正、demosaic处理、矩阵处理和伽马修正。所述相机信号处理器A51和相机信号处理器B52是进行相同处理的处理器，并分别对所述低频信号11和所述高频信号12并行进行处理。 
如上所述，从所述时间子带分割单元31输出的所述低频信号11和所述高频信号12是每秒60帧(60f/s)的数据，其速率是从图像捕获帧频的高速(120f/s)帧频转换而来的。 
所述相机信号处理器A51和相机信号处理器B52仅需要对每秒60帧(60f/s)的数据进行信号处理。就是说，可以以与每秒60帧的图像捕获RAW数据相等的处理速度进行处理。 
从所述时间子带分割单元31输出的所述高频信号12是表示相邻两帧之间的差别的RAW数据。因此，其中在所述相机信号处理器B52中的demosaic处理中进行非线性处理的情形中，在其中发生亮度变化的边缘部分等中可能产生噪声。在根据本实施例的所述图像捕获装置100的构造的情形中，可通过以常规帧频(每秒60帧)的处理来实现所述相机信号处理器A51和相机信号处理器B52，由此提供了不必加速的优点。 
已将所述相机信号处理器51和52描述为其中对从所述时间子带分割单元31输出的每个所述低频信号11和所述高频信号12进行诸如白平衡修正、增益修正、demosaic处理、矩阵处理和伽马修正这样的相机信号处理的构造。然而，进行的信号处理的形式不限于该实例，各种形式都是可能的。之后将参照图3和4描述所述时间子带分割单元31中的处理的细节。 
从所述相机信号处理器A51输出的低频的图像数据输入到第一编解码器单元61，并还输入到取景器输出单元9。另一方面，从所述相机信号处理器B52输出的高频的图像数据输入到第二编解码器单元62。 
所述取景器输出单元9将从所述相机信号处理器A51供给的低频的图像数据转换为在取景器(没有示出)上显示的信号并将其输出。当在取景器上显示的所述图像与输入图像数据相比时，分辨率和帧频可不同。在这种情形中，所述取景器输出单元9进行分辨率转换处理和帧频转换处理。当进行所述帧频转换处理时，使用帧存储器(没有示出)。此外，在 所述取景器上显示的图像必需是亮度图像。在这种情形中，所述取景器输出单元9将所述输入图像转换为亮度图像并将其输出。 
所述第一编解码器单元61通过使用所述第一图像编解码器压缩从所述相机信号处理器A51供给的低频的图像数据，并输出低频流数据13。所述第一编解码器单元61由例如H.264编解码方法的帧间编解码器形成。如上所述，低频的图像数据等价于所述图像捕获帧频的一半的帧频(本实施例中为每秒60帧)的图像捕获数据。 
根据标准规范，如H.264高画质(High Profile)规范，所述第一编解码器单元61通过将低频的图像数据假定为常规的每秒60帧的运动图像数据，压缩低频的图像数据。然而，所述第一编解码器不限于H.264编解码器，可是用任何方法，只要其能压缩常规的运动图像数据就行。例如，可使用MPEG-2的帧间编解码器、Motion-JPEG的帧内编解码器、或根据MPEG4或高级视频编解码高清晰度(AVCHD)格式而进行处理的编解码器。此外，由所述第一编解码器单元61输出的流数据13可不符合标准规范。 
所述第二编解码器单元62通过第二图像编解码器压缩从所述相机信号处理器B52供给的高频的图像数据，并输出高频流数据14。所述第二编解码器例如由JPEG编解码方法的帧内编解码器形成。如上所述，通过确定相邻两帧之间的差别获得高频的图像数据，其是下述一种运动图像数据，即有效像素值仅存在于运动物体的区域中。就是说，所述高频的图像数据是下述一种数据，即在没有与时间相关的变化的部分中不存在信息(形成为固定值)，且在存在动作的部分中，具有少量信息的数据存在于具有较小亮度差的区域中。通常，这种图像信号很容易压缩。即使不使用具有高压缩效率(尽管该处理是复杂的且具有高成本)的帧间编解码器，也可使用诸如具有低成本的JPEG编解码器这样的帧内编解码器压缩足够少量的信息。因此，所述第二编解码器单元62通过使用JPEG编解码器对于每一帧压缩所述高频的图像数据。 
如上所述，所述第一编解码器单元61能被设定为压缩效率比所述第二编码单元62高的编码处理部件，并且所述第二编码单元62能被配置为压缩效率比所述第一编码单元61且电路尺寸比所述第一编码单元62小的编码处理部件。 
近年来的一些图像捕获装置包括捕获静止图像的功能，它们大部分都包括用于静止图像的JPEG编解码器作为组件。因此，在其中使用JPEG 编解码器形成用于压缩所述高频的图像数据的所述第二编解码器单元62的情形中，具有下述优点，即为了进行所述高帧频图像的压缩，不需要额外的成本。然而，所述第二编解码器不限于JPEG编解码器，可使用任意方法，只要其能压缩常规的图像数据就行。例如，可使用JPEG2000的帧内编解码器或MPEG-2的帧间编解码器。 
从所述第一编解码器单元61和所述第二编解码器单元62输出的所述流数据13和14分别输入到流控制器7。 
所述流控制器7把其中压缩有从所述第一编解码器单元61输入的所述低频的图像数据的所述流数据13与其中压缩有从所述第二编解码器单元62输入的所述高频的图像数据的所述流数据14合并，并将流数据输出到所述记录器8。如上所述，从所述第一编解码器单元61供给的所述低频的流数据13是其中使用H.264编解码器等压缩每秒60帧的运动图像的数据，其是符合标准规范的流。 
另一方面，从所述第二编解码器单元62供给的所述高频的流数据14是其中使用JPEG编解码器压缩每秒60帧的差图像的数据，其与标准的视频流不同。所述流控制器7将从所述第二编解码器单元62供给的所述流数据14打包，并作为用户数据将其叠加在从所述第一编解码器单元61供给的符合标准规范的所述流中。 
就是说，作为其中将高频的压缩数据打包的用户数据，从所述第二编解码器单元62供给的所述流数据叠加在从所述第一编解码器单元61供给的符合标准规范的所述流中。为了解码，将设为用户数据的包分离，并进行处理。之后将描述该处理。 
从所述流控制器7输出的所述合并的流数据输入到所述记录器8。 
所述记录器8将从所述流控制器7供给的符合标准规范的所述流数据记录在诸如磁带、光磁盘、硬盘或半导体存储器这样的记录介质上。 
作为上述操作的结果，通过使用具有超级压缩效率的所述第一编解码器和能以低成本实现的所述第二编解码器，可以以与常规帧频(本实施例中为每秒60帧)的处理速度匹配的速度，压缩以常规帧频两倍高的帧频(本实施例中为每秒120帧)捕获的图像信号。因而，提供了在使成本增加最小的同时可以以较高的帧频实现图像捕获、处理和记录的图像捕获装置。 
接下来，将参照附图给出在再现过程中的操作的描述。为了仅再现记 录的运动图像，所述图像捕获装置100根据用户的操作读取在如上所述的记录器8中记录的流数据。从所述记录器8读取的所述流数据输入到所述流控制器7。 
所述流控制器7接收从所述记录器8供给的所述流数据，并将其分离为由所述第一编解码器61压缩的低频流数据和由所述第二编解码器62压缩的高频流数据。如上所述，所述记录器8中记录的所述流数据是在使用所述第一编解码器单元61的压缩方法中符合标准规范的流数据，由所述第二编解码器单元62压缩的所述流数据被打包并作为用户数据叠加。 
所述流控制器7从所述记录器8接收的所述流数据提取下述数据(即其中打包有作为用户数据而叠加并被所述第二编解码器单元62压缩的流数据)，将所述数据分离为由所述第一编解码器61压缩的所述低频流数据13和由所述第二编解码器62压缩的所述高频流数据14，并将它们分别输出到所述第一编解码器61和所述第二编解码器62。 
所述第一编解码器61接收从所述流控制器7供给的所述流数据13，并进行解码，即解压缩处理。如上所述，所述第一编解码器61例如由H.264编解码方法的帧间编解码器形成。此外，所述流数据13是在所述第一编解码器61中根据诸如H.264高画质这样的标准规范而压缩的流。所述第一编解码器61将所述流数据13解压缩，从而将其转换为每秒60帧的低频的运动图像数据。如上所述，因为低频的运动图像数据等价于每秒60帧的图像捕获数据，所以从所述第一编解码器61输出的所述运动图像数据是常规的每秒60帧的运动图像。 
所述第二编解码器62接收从所述流控制器7供给的所述流数据14，并进行解压缩处理。如上所述，所述第二编解码器62例如由JPEG编解码方法的帧内编解码器形成。所述第二编解码器62将所述流数据14解压缩，从而将其转换为每秒60帧的高频的运动图像。如上所述，因为通过确定图像捕获数据的相邻两帧之间的差别获得高频的运动图像数据，从所述第二编解码器62输出的运动图像数据是每秒60帧的时间差分(timedifferential)运动图像。 
从所述第一编解码器61和所述第二编解码器62输出的所述运动图像数据都输入到所述时间子带分割单元31。在该情形中，所述时间子带分割单元用作所述时间子带合并单元31。就是说，通过接收所述第一编解码器61和所述第二编解码器62的解码结果并通过在时间方向上进行子带合并处理，产生了合并的图像信号，该合并的图像信号以比由每个编解码 器输出的图像信号的帧频高的帧频形成。 
更具体地说，所述时间子带分割单元31根据上述表达式2对从所述第一编解码器61和所述第二编解码器62供给的低频的运动图像数据和高频的运动图像数据进行反变换(在时间方向上的小波逆变换)，由此产生每秒120帧的奇数帧图像(即奇数号帧图像)和偶数帧图像(即偶数号帧图像)。所述时间子带分割单元31临时将所述奇数帧图像和偶数帧图像存储在所述帧存储器4中，并还以两倍高的帧频(每秒120帧)交替读取之前的奇数帧图像和偶数帧图像。通过进行这种处理，可恢复每秒120帧的运动图像数据。 
此外，在其中用户的操作或从连接的图像显示器件获得的信息要求输出每秒60帧的运动图像的情形中，所述时间子带分割单元31输出从所述第一编解码器单元61供给的所述低频的运动图像数据。如上所述，因为从所述第一编解码器单元61输出的所述运动图像数据是通过将每秒120帧的两个相邻帧图像相加而产生的运动图像，所以其等价于以每秒60帧捕获的运动图像。在其中将要进行这种操作的情形中，所述控制器(没有示出)可控制所述第二编解码器单元62不进行操作，可实现低功率消耗的操作。 
从所述时间子带分割单元31输出的所述运动图像数据输入到所述视频输出单元10。 
所述视频输出单元10输出从所述时间子带分割单元31供给的运动图像数据，以作为每秒120帧的视频数据。在此输出的视频数据可以符合数字视频信号格式，如HDMI(高清多媒体接口)标准或DVI(数字视频接口)标准，或者其符合使用D端口的模拟分量信号格式。所述视频输出单元10根据输出视频信号的格式进行信号转换处理。 
作为上述操作的结果，可以再现下述数据，即其中记录有以与常规帧频两倍高的帧频(本实施例中为每秒120帧)捕获的图像信号，并可通过使用具有超级压缩效率的所述第一编解码器和能以低成本实现的所述第二编解码器将其解压缩。因而，提供了在使成本增加最小的同时可实现高帧频视频数据的再现输出的图像捕获装置。 
此外，如上所述，在其中根据从所述连接的图像显示器件获得的信息而要求运动图像以每秒60帧进行输出的情形中，可输出从所述第一编解码器单元61供给的低频的运动图像数据。在该情形中，在再现过程中， 可停止所述第二编解码器的处理，可减小功率消耗并以常规的视频帧频实现视频图像输出。 
下面将参照附图3到5描述在该图像捕获装置中的所述时间子带分割单元31中的时间子带分割处理和编解码处理的典型操作。 
首先将参照图3描述在图像捕获过程中的操作。图3显示了在图像捕获过程中在所述时间子带分割单元31中的时间子带分割处理，即对在时间方向连续的帧的处理。在图3的部分(a)中来自图像捕获元件的输出数据是图1中所示的图像捕获元件2的输出。对于该数据，HD分辨率的图像帧(图中的N到N+7)以每秒120帧的速度输出，其中N是任意的奇数。 
部分(b)中的所述低频图像数据是低频的图像数据(本实施例中为每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间子带处理产生并输出作为所述相机信号处理器A51和所述第一编解码器61中的被处理的信号。 
部分(c)中的所述高频图像数据是高频的图像数据(本实施例中为每秒60帧)，其由图1中所示的所述时间子带分割单元31中的所述时间子带处理产生并输出作为所述相机信号处理器B52和所述第二编解码器62中的被处理的信号。 
从所述图像捕获元件2输出的所述帧图像临时存储在所述时间子带分割单元31中的所述帧存储器4中。此时，所述帧存储器4中的存储速度是每秒120帧。所述时间子带分割单元31将所述帧图像存储在所述帧存储器4中，同时读取已经存储的之前的奇数帧图像和偶数帧图像。此时，来自所述帧存储器4的所述奇数帧图像和偶数帧图像的读取速度是每秒60帧。 
下面将描述用于在所述时间子带分割单元31中产生(b)低频图像数据和(c)高频图像数据的处理的具体典型操作，其涉及所述帧存储器4的控制。当图像捕获开始时，在图3中所示的周期A中，所述时间子带分割单元31从所述图像捕获元件2接收帧图像N并将其存储在所述帧存储器4中。接着，在周期B中，从所述图像捕获元件2输入帧图像N+1并存储在所述帧存储器4中。 
在周期C中，所述时间子带分割单元31将帧图像N+2存储在所述帧存储器4中，同时从所述存储器4读取帧图像N和帧图像N+1。此时， 因为所述读取速度是存储速度的一半(本实施例中为每秒120帧/2＝60帧/秒)，所以仅读取所述帧图像N和帧图像N+1的图像区域的上半部分。 
在周期D中，所述时间子带分割单元31将帧图像N+3存储在所述帧存储器4中，同时读取所述帧图像N和帧图像N+1的其余部分。在周期D中，对于所述帧图像N和帧图像N+1，仅读取图像区域的下半部分。
之后，以类似的方式，在周期E中，存储帧图像N+4，并还读取所述帧图像N+2和所述帧图像N+3的上半部分。在周期F中，存储帧图像N+5，并还读取所述帧图像N+2和所述帧图像N+3的下半部分。在周期G中，存储帧图像N+6，并还读取所述帧图像N+4和所述帧图像N+5的上半部分。在周期H中，存储帧图像N+7，并还读取所述帧图像N+4和所述帧图像N+5的下半部分。以上述的方式，在所述时间子带分割单元31中，产生了量等于两帧的延迟。 
从所述帧存储器4读取的所述奇数帧图像(图中为N，N+2，N+4，N+6)和所述偶数帧图像(图中为N+1，N+3，N+5，N+7)通过所述时间子带分割单元经历表达式1中所示的变换，从而将它们分割为低频图像数据(例如，N+(N+1))和高频图像数据(例如，N-(N+1))。这里，所述低频图像数据和高频图像数据是每秒60帧的运动图像数据。 
如上所述，通过所述相机信号处理器A51处理从所述时间子带分割单元31输出的所述低频图像数据，然后在所述第一编解码器单元61(图中为H.264编码器)中经历压缩处理。另一方面，以上述方式通过所述相机信号处理器B52处理从所述时间子带分割单元31输出的所述高频图像数据，然后在所述第二编解码器单元62(图中为JPEG编码器)中经历压缩处理。 
接下来，将参照图4描述再现过程中的操作。 
图4显示了在再现过程中对在时间方向上连续的帧的处理。 
从所述记录器8读取的所述流数据在所述流控制器7中被分离为低频流数据和高频流数据，并分别在所述第一编解码器单元61(图中为H.264解码器)和所述第二编解码器单元62(图中为JPEG解码器)中经历解压缩处理。作为进行的解压缩处理的结果，从所述第一编解码器单元61输出低频图像数据，从所述第二编解码器单元62输出高频图像数据。这些图像数据的这些项目是每秒60帧的运动图像数据。这些是图4中所示的(d)低频图像数据和(e)高频图像数据。 
从所述第一编解码器单元61和所述第二编解码器单元62输出的图像数据输入到所述时间子带分割单元31。在所述时间子带分割单元31中，在其上进行上面表达式2中所示的变换(其中使用哈尔(Haar)函数作为基的小波逆变换)，从而所述图像数据变换为每秒120帧的运动图像中的奇数帧图像(图中为N，N+2，N+4)和所述偶数帧图像(图中为N+1，N+3，N+5)。变换后的奇数帧图像和偶数帧图像临时存储在所述时间子带分割单元31中的所述帧存储器4中。 
此时，在所述帧存储器4中的各个存储速度是每秒60帧。所述时间子带分割单元31将所述奇数帧图像和偶数帧图像存储在所述帧存储器4中，读取已经存储的之前的帧图像。此时，从所述帧存储器4读取帧图像的速度是每秒120帧。 
下面具体描述关于控制所述帧存储器的操作。 
当再现开始时，在周期A’中，对所述低频图像数据(N+(N+1))和所述高频图像数据(N-(N+1))的每个图像区域的上半部分进行反变换，从而产生所述帧图像N和帧图像N+1的上半部分。所述时间子带分割单元31将所述帧图像N和帧图像N+1的上半部分同时存储在所述帧存储器4中。 
接着，在周期B’中，对所述低频图像数据(N+(N+1))和所述高频图像数据(N-(N+1))的每个图像区域的下半部分进行反变换，从而产生所述帧图像N和帧图像N+1的下半部分。所述时间子带分割单元31将所述帧图像N和帧图像N+1的下半部分同时存储在所述帧存储器4中。 
在周期C’中，对所述低频图像数据((N+2)+(N+3))和所述高频图像数据((N+2)-(N+3))的上半部分进行反变换，从而产生所述帧图像N+2和所述帧图像N+3的上半部分。所述时间子带分割单元31将所述帧图像N+2和所述帧图像N+3的上半部分同时存储在所述帧存储器4中。 
在周期D’中，对每个所述低频图像数据((N+2)+(N+3))和所述高频图像数据((N+2)-(N+3))的下半部分进行反变换，从而产生所述帧图像N+2和所述帧图像N+3的下半部分。所述时间子带分割单元31将所述帧图像N+2和所述帧图像N+3的下半部分同时存储在所述帧存储器4中。 
之后，以类似的方式，在周期E’中，从所述低频图像数据((N+4)+(N+5))和所述高频图像数据((N+4)-(N+5))产生所述帧图像N+4 和所述帧图像N+5的上半部分并存储在所述帧存储器4中，并还读取所述帧图像N+2。 
在周期F’中，从所述低频图像数据((N+4)+(N+5))和所述高频图像数据((N+4)-(N+5))产生所述帧图像N+4和所述帧图像N+5的下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+3。 
在周期G’中，从所述低频图像数据((N+6)+(N+7))和所述高频图像数据((N+6)-(N+7))产生所述帧图像N+6和所述帧图像N+7的上半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+4。 
在周期H’中，从所述低频图像数据((N+6)+(N+7))和所述高频图像数据((N+6)-(N+7))产生所述帧图像N+6和所述帧图像N+7的下半部分并将其存储在所述帧存储器4中，并还读取所述帧图像N+5。 
以上述方式，对于从所述时间子带分割单元31输出的图像数据，产生了量等于两帧的延迟。此外，作为图4中所示进行的操作的结果，所述图像捕获装置100实现了每秒120帧的运动图像输出。 
接下来，将参照图5描述在再现过程中每秒60帧的操作。如前面所述，在其中根据用户的操作或从连接的图像显示器件获得的信息而要求以每秒60帧输出运动图像的情形中，所述时间子带分割单元31输出从所述第一编解码器单元61供给的所述低频的运动图像数据。因为从所述第一编解码器单元61输出的所述运动图像数据是通过将每秒120帧的两个相邻帧图像相加而产生的运动图像，所以其等价于以每秒60帧捕获的运动图像。在其中将要进行这种操作的情形中，可进行下述控制，即所述第二编解码器单元62不操作，可实现低功率消耗的操作。 
图5显示了在再现过程中以每秒60帧对在时间方向上连续的帧的操作。如上所述，因为所述低频的图像数据等价于每秒60帧捕获的图像数据，所以在每秒60帧的再现过程中，仅处理所述低频的图像数据并将其输出。 
对于从所述记录器8读取的所述流数据，通过所述流控制器7仅提取出所述低频流数据，并在所述第一编解码器单元61(图中为H.264解码器)中经历解压缩处理。作为进行的解压缩处理的结果，从所述第一编解码器单元61输出低频图像数据。这是图5中所示的(g)低频图像数据。 
如上所述，从所述第一编解码器单元61输出的图5的部分(g)中的所述低频图像数据(N+(N+1))是每秒60帧的常规运动图像数据。因此， 所述时间子带分割单元31跳过处理，即不格外进行处理，并将所述第一编解码器单元61输出的图5的部分(g)中的所述低频图像数据供给到图1中所示的框图的所述视频输出单元10。以上述的方式，所述视频输出单元10很容易从以两倍于常规帧频的帧频(本实施例中为每秒120帧)捕获并被压缩的所述流数据实现常规帧频(本实施例中为每秒60帧)的运动图像输出。 
如上所述，在该处理中，如此进行控制，即所述第二编解码器单元62不进行操作，因而可实现低功率消耗的操作。 
B.用于对具有高速(2倍)帧频的图像捕获数据进行处理的另一实施例 
接下来，将参照图6到10描述与参照图1描述的图像捕获装置不同的构造的实施例。 
图6显示了根据本发明的所述图像捕获装置的另一个实施例。图6中所示的图像捕获装置101与参照图1所述的图像捕获装置100不同在于不存在所述相机信号处理器B52。 
在本实施例中，在所述时间子带分割单元32中，仅对从所述时间子带分割单元32输出的高频信号12进行伽马修正处理，所述高频信号12输入到所述第二编解码器单元62，而没有进行相机信号处理。如上所述，所述高频信号12仅在其中相对于时间具有运动的区域中具有信息，其他区域具有固定的值。因此，即使在所述数据保持为RAW数据的同时进行图像压缩，也不会大大影响压缩效率。 
在再现过程中，在所述时间子带分割单元32中，所述图像捕获装置101根据表达式2对从所述第一编解码器单元61输出的低频的图像数据和从所述第二编解码器单元62输出的高频的RAW数据进行反变换，并进行视频输出。此时，所述高频的RAW数据是其中仅存在R(红色)、G(绿色)和B(蓝色)之一的彩色信号的数据。结果，如果在所述信号保持为其中亮度值为零的彩色信号的同时进行反变换，则转换后的亮度值变为无效的。由于该原因，所述时间子带分割单元32用表示零差的固定值(本实施例中为128)填充损失的彩色信号，或在其上进行来自周围像素的线性内插处理。 
最初，由于JPEG编解码器等的图像压缩处理是适于使用其上已进行过demosaic处理的图像数据的压缩技术，所以如果在所述数据保持为 RAW数据的同时进行压缩，则存在下述可能性，即例如在图像的边缘部分中可能产生噪声。在根据本实施例的图像捕获装置101的构造的情形中，不必设置多个相机信号处理器，并可用常规帧频(每秒60帧)的处理实现图像压缩处理。结果，具有不必加快速度并可降低成本的优点。 
图7显示了根据本发明的图像捕获装置的再一个实施例。图7中所示的图像捕获装置102与参照图1所述的图像捕获装置100不同在于在所述时间子带分割单元33前面一级布置有相机信号处理器53。 
在本实施例中，最初，从所述图像捕获元件2输出的每秒120帧的图像捕获信号在所述相机信号处理器53中经过相机信号处理，如白平衡修正、增益修正、demosaic处理、矩阵处理和伽马修正。从所述相机信号处理器53输出的信号形成为每秒120帧的运动图像数据。 
所述时间子带分割单元33接收从所述相机信号处理器53输出的运动图像数据，根据上述表达式1进行变换，并将其分割为低频的图像数据15和高频的图像数据16。与所述图像捕获装置100中的所述时间子带分割单元31不同，所述时间子带分割单元33在其中为每个像素完全收集彩色信号的帧图像之间进行处理。因此，从所述时间子带分割单元33输出的所述低频的图像数据15是每秒60帧的常规运动图像数据，所述高频的图像数据16是每秒60帧的时间差分运动图像数据。 
因为图7中所示的图像捕获装置102可对捕获的RAW数据进行相机信号处理，所以就图像质量而言，可抑制产生假象。然而，因为对于所述相机信号处理器53来说必需以每秒120帧的速度进行处理，所以高速处理器是必需的。 
下面将参照图8描述其中流控制器的构造不同的实施例。图8显示了其中使用根据本发明的不同的图像捕获装置的实施例。图8中所示的图像捕获装置103与前面参照图1所述的图像捕获装置100不同在于设置流控制器和记录器的两个系统。 
在本实施例中，从所述第一编解码器单元61输出的所述低频流数据13输入到流控制器A71。另一方面，从所述第二编解码器单元62输出的所述高频流数据14输入到流控制器B72。 
所述流控制器A71控制从所述第一编解码器单元61供给的所述低频流数据13，将其转换为可记录的信号，然后将所述信号输出到记录器A81。这里，如上所述，所述低频的流数据13是符合H.264编解码器等的标准 规范的流。 
所述流控制器B72控制从所述第二编解码器单元62供给的所述高频流数据14，将其转换为可记录的信号，然后将所述信号输出到记录器B82。这里，如上所述，所述高频的流数据14是由JPEG编解码器等压缩的但不必符合标准规范的流。 
所述记录器A81将从所述流控制器A71供给的所述低频流记录在诸如磁带、光磁盘、硬盘或半导体存储器这样的记录介质上。 
所述记录器B82将来自所述流控制器B72的所述高频流记录在诸如磁带、光磁盘、硬盘或半导体存储器这样的记录介质上。 
这里，在其上通过所述记录器A81和所述记录器B82进行记录的记录介质不必是相同类型的。例如，根据符合标准规范的格式，所述记录器A81可将低频的流数据记录在光磁盘上，根据专用的格式，所述记录器B82可将高频的流数据记录在半导体存储器中。 
在再现过程中，图8中所示的图像捕获装置103将从所述记录器A81读取的所述低频流数据输入到所述流控制器A71。此外，所述图像捕获装置103将从所述记录器B82读取的所述高频流数据输入到所述流控制器B72。 
所述流控制器A71将从所述记录器A81供给的所述低频流输入到所述第一编解码器单元61。另一方面，所述流控制器B72将从所述记录器B82供给的所述高频流输入到所述第二编解码器单元62。 
这里，当图8中所示的图像捕获装置103以每秒60帧进行再现时，对于所述图像捕获装置103来说只需要控制所述记录器A81读取低频的数据，所述记录器B82可暂停。结果，可实现降低的功率消耗。 
接下来，将参照图9描述根据本发明的使用图像压缩处理的图像记录器件的一个实施例。 
图9显示了图像记录器件的一个实施例。图9中所示的图像记录器件200是以下述方式构造的图像记录器件的典型构造，即从参照图7所述的图像捕获装置102省略图像捕获功能并设置视频输入单元17。就是说，从参照图7所述的图像捕获装置102删除所述图像捕获光学系统1、所述图像捕获元件2和所述相机信号处理器53，替代地设置视频输入单元17。 
图9中所示的图像记录器件200在所述视频输入单元17中接收从外 部视频输出器件供给的视频信号。此时，接收的所述视频信号是与常规视频速率两倍高的速率(本实施例中为每秒120帧)的运动图像数据。此外，输入的所述视频信号格式可符合数字视频信号格式，如HDMI标准或DVI标准，或者其符合在D端口中使用的模拟分量信号格式等。所述视频输入单元17根据所述输入视频信号格式进行信号转换处理。 
所述图像记录器件200对从外部接收的所述视频信号进行时间子带分割，记录由所述第一编解码器和所述第二编解码器压缩的流数据。此外，所述图像记录器件200再现记录的流数据，在所述第一编解码器和所述第二编解码器中进行解压缩处理，并进行与所述时间子带分割相反的变换，然后进行视频输出。 
在其中将要进行每秒60帧的再现的情形中，与所述图像捕获装置100类似，只驱动所述第一编解码器单元61，输出低频的图像数据。 
下面将参照图10描述根据本发明的使用图像压缩处理的图像再现器件的一个实施例。 
图10显示了根据本发明的图像再现器件的一个实施例。图10中所示的图像再现器件300以下述方式构造，即排除参照图9所述的图像记录器件200中的所述视频输入单元17，且只进行再现操作，不进行记录操作。 
图10中所示的图像再现器件300包括可移除了记录介质的记录器8，从而通过外部图像捕获装置或图像记录器件记录的记录介质插入到其中，可再现记录介质上记录的流。这里，在所述记录介质上记录有由根据本发明实施例的图像捕获装置100到103或图像记录器件200压缩的流数据。所述图像再现器件300在所述第一编解码器和所述第二编解码器中对从所述记录器8再现的流数据进行解压缩处理，在所述时间子带合并单元34中进行与所述时间子带分割相反的变换，然后进行视频输出。 
近来的一些图像再现器件包括再现记录介质上所记录的静止图像的功能，大部分图像再现器件都包括作为组件的用于静止图像的JPEG编解码器。因此，在其中通过JPEG编解码器形成用于压缩高频的图像数据的所述第二编解码器单元62的情形中，具有下述优点，即不需要额外的成本来进行高帧频图像捕获。 
如上所述，根据本发明该实施例的图像捕获装置包括用于以常规视频速率两倍高的帧频进行图像捕获的图像捕获元件。通过对从所述图像捕获元件输出的图像捕获数据进行时间子带分割，可通过具有高压缩效率的第 一编解码器压缩低频的运动图像数据，并可通过能以低成本实现的所述第二编解码器压缩高频的运动图像数据。因而，可在抑制成本增加的同时压缩高频的图像捕获信号并将其记录。 
此外，根据本发明该实施例的所述图像捕获装置如此进行时间子带分割，以便将所述图像捕获数据分割为低频的运动图像数据和高频的运动图像数据，然后进行处理。结果，因为所述低频的运动图像数据等价于以常规视频速率(图像捕获视频速率的一半)捕获的运动图像，所以在再现过程中，通过仅进行所述低频的运动图像的处理，很容易以常规视频速率实现运动图像再现。 
在本实施例中，所述常规视频速率设为每秒60帧，所述常规视频速率两倍高的速率设为每秒120帧。然而，所述常规视频速率并不限于此；作为所述常规视频速率，可使用例如每秒24帧、每秒30帧或每秒50帧的帧频。 
C.用于对具有高速(N倍)帧频的图像捕获数据进行处理的构造的示例 
在参照图1至图10描述的实施例中，已经给出了对其中常规帧频设为每秒60帧且以两倍的帧频(即，以每秒120帧)来捕获图像数据的处理的示例的描述。 
在根据本发明的实施例的图像捕获装置中，除了以常规两倍帧频捕获的图像数据之外，针对以任何倍数的常规帧频捕获的(即，以N倍的帧频捕获的)图像数据的处理是可行的。N是等于大于2的整数。下面将给出用于对以N倍帧频捕获的图像数据执行处理的图像捕获装置的配置以及处理的示例的描述。 
在下文中，作为实施例，将给出对其中N＝4的示例的描述。也就是说，这是其中针对以四倍于常规视频速率的帧频捕获的图像数据执行处理的示例。将给出对其中常规帧频设为每秒60帧且针对以四倍的帧频(即，以每秒240帧)捕获的图像数据执行处理的示例的描述。 
图11示出了根据本发明的图像捕获装置的实施例。图11所示的图像捕获装置400是用于以四倍于常规视频速率的帧频来实现图像捕获、处理和记录的设备。图像捕获装置400的时间子带分割单元35针对图像捕获装置100的时间子带分割单元31的两层执行处理，这已在先前参照图1进行了描述。也就是说，通过使用以每秒240帧捕获的图像数据中的四个 连续帧，产生并输出了以每秒60帧的四项图像数据。 
首先将描述在图像捕获期间的操作。图像捕获装置400通过使用图像捕获元件25来接收经由图像捕获光学系统1进入的光。图像捕获元件25是能够以高分辨率(在本实施例中假设为HD(高清晰度)分辨率)和高帧频(在本实施例中假设为每秒240帧)执行图像捕获的固态图像捕获元件(例如CMOS固态图像捕获元件)，并输出经由模数转换器(未示出)进行了数字转换的图像捕获数据。这里，模数转换器被安装在所述CMOS固态图像捕获元件上，或被布置在所述固态图像捕获元件外部。此外，在本实施例中，图像捕获元件25是具有滤色器的单板彩色方法的固态图像捕获元件，该滤色器在光接收表面上对于每个像素而言使不同波长范围的光透过。 
从图像捕获元件25输出的图像捕获数据被输入时间子带分割单元35。时间子带分割单元35将从图像捕获元件25供给的、在当前帧处的图像捕获数据临时存储在帧存储器4中，并且还从帧存储器4读取后四帧的图像捕获数据，根据下述表达式3进行子带分割处理，并输出低频LL信号91、高频LH信号92、高频HL信号93以及高频HH信号94。 
O LL ( x , y , 4 t ) = I ( x , y , 4 t ) + I ( x , y , 4 t + 1 ) + I ( x , y , 4 t + 2 ) + I ( x , y , 4 t + 3 ) 4
O LH ( x , y , 4 t ) = I ( x , y , 4 t ) + I ( x , y , 4 t + 1 ) - I ( x , y , 4 t + 2 ) - I ( x , y , 4 t + 3 ) 4 + Range 2
O HL ( x , y , 4 t ) = I ( x , y , 4 t ) - I ( x , y , 4 t + 1 ) + I ( x , y , 4 t + 2 ) - I ( x , y , 4 t + 3 ) 4 + Range 2
O HH ( x , y , 4 t ) = I ( x , y , 4 t ) - I ( x , y , 4 t + 1 ) - I ( x , y , 4 t + 2 ) + I ( x , y , 4 t + 3 ) 4 + Range 2
(表达式3) 
上述表达式3表示在时间方向上的小波变换，其中使用哈尔函数作为基。在上述表达式中示出了以下值： 
I(x，y，4t)：在时间4t时在像素位置(x，y)处的输入值， 
I(x，y，4t+1)：在时间4t+1时在像素位置(x，y)处的输入值， 
I(x，y，4t+2)：在时间4t+2时在像素位置(x，y)处的输入值， 
I(x，y，4t+3)：在时间4t+3时在像素位置(x，y)处的输入值， 
OLL(x，y，4t)：在时间4t时在像素位置(x，y)处的低频LL信号输出值， 
OLH(x，y，4t)：在时间4t时在像素位置(x，y)处的高频LH信号输出值， 
OHL(x，y，4t)：在时间4t时在像素位置(x，y)处的高频HL信号输出值， 
OHH(x，y，4t)：在时间4t时在像素位置(x，y)处的高频HH信号输出值，以及 
Range：一个像素的像素值的分辨率的数字。 
在例如针对每种颜色使用8位表示一个像素的情况下，分辨率的数字为256。在本实施例中，每种颜色被描述为8位。 
通过用于将四个连续输入帧的相应像素值相加的处理来产生低频LL信号输出值OLL(x，y，4t)。通过表达式3中所示的基于四个连续输入帧的相应像素值的加法/减法处理来产生其它三个高频信号输出值，即，以下高频信号输出值： 
高频LH信号输出值OLH(x，y，4t)， 
高频HL信号输出值OHL(x，y，4t)，以及 
高频HH信号输出值OHH(x，y，4t)。 
以以下方式来设置高频HL信号输出值OLH(x，y，4t)：将四个连续输入帧的相应像素中的、在时间4t和4t+1时的前两个帧的相应像素值(信号值)设为加法数据，并将在时间4t+2和4t+3时的后两个帧的相应像素值设为减法数据。 
以以下方式来设置高频HL信号输出值OHL(x，y，4t)：将四个连续输入帧的相应像素中的、在时间4t和4t+2时的两个帧的相应像素值设为加法数据，并将在时间4t+1和4t+3时的两个帧的相应像素值设为减法数据。 
以以下方式来设置高频HH信号输出值OHH(x，y，4t)：将四个连续输入帧的相应像素中的、在时间4t和4t+3时的两个帧的相应像素值设为加法数据，并将在时间4t+1和4t+2时的两个帧的相应像素值设为减法数据。 
时间子带分割单元35基于与上述的时间方向上连续的四个帧相对应的信号值来产生一个低频信号输出值和三个高频信号输出值。作为该处理的结果，输出帧频变为相对于输入帧频的1/4。下面示出的表达式4表示其中使用哈尔函数作为基的小波逆变换。 
R ( x , y , 4 t ) = O LL ′ ( x , y , 4 t ) + O LH ′ ( x , y , 4 t ) + O ′ HL ( x , y , 4 t ) + O ′ HH ( x , y , 4 t ) - 3 Range 2
R ( x , y , 4 t + 1 ) = O LL ′ ( x , y , 4 t ) + O LH ′ ( x , y , 4 t ) - O ′ HL ( x , y , 4 t ) - O ′ HH ( x , y , 4 t ) + Range 2
R ( x , y , 4 t + 2 ) = O LL ′ ( x , y , 4 t ) - O LH ′ ( x , y , 4 t ) + O ′ HL ( x , y , 4 t ) - O ′ HH ( x , y , 4 t ) + Range 2
R ( x , y , 4 t + 3 ) = O LL ′ ( x , y , 4 t ) - O LH ′ ( x , y , 4 t ) - O ′ HL ( x , y , 4 t ) + O ′ HH ( x , y , 4 t ) + Range 2
(表达式4) 
表达式4中所示的小波逆变换是用于以下计算的表达式：根据前述的表达式3中所示的小波变换中产生的值[OLL(x，y，4t)]、[OLH(x，y，4t)]、[OHL(x，y，4t)]和[OHH(x，y，4t)]，计算在时间4t、4t+1、4t+2和4t+3时以初始帧频的四个连续帧的相应像素(x，y)的像素值[R(x，y，4t)]、[R(x，y，4t+1)]、[R(x，y，4t+2)]和[R(x，y，4t+3)]。上述表达式4用于解码处理。 
在本实施例中，在时间子带分割单元35中的时间子带分割处理中使用易于实现的哈尔小波。可以使用其中使用另外的基的小波变换、或另外的子带分割处理。 
图12示出了在时间子带分割单元35中的时间子带分割处理的细节。图12示出了从帧存储器4读取的第一帧(帧0)、第二帧(帧1)、第三帧(帧2)和第四帧(帧3)的图像捕获数据。每个图像捕获数据帧是对于每个像素而言具有单色信号的RAW数据，所述单色信号即具有RGB之一的一个颜色信号。例如，每帧的左上端为G信号，每个信号值被按GRGR的顺序存储在右侧，并且按BGBG的顺序将信号值存储在第二行中。例如，对于在每个帧的左上端的G信号，显示了以下值： 
G(0，0，0)中的G是RGB信号的G信号， 
G(0，0，0)中的起首的(0，0)表示坐标位置(x，y)＝(0，0)
G(0，0，0)中的末尾的(0)表示帧ID＝帧0。 
就四个连续帧中的空间而言，时间子带分割单元35在位于相同位置处的像素之间执行加法处理和减法处理。例如，在图12所示的第一帧的像素G(0，0，0)、第二帧的像素G(0，0，1)、第三帧的像素G(0，0，2)、以及第 四帧的像素G(0，0，3)之间，执行表达式3所示的处理。用于将四个连续输入帧的相应像素值相加的处理计算低频信号输出值OLL(x，y，4t)。用于将四个连续输入帧的相应像素值相加和相减的处理产生三个信号，即，高频信号输出值OLH(x，y，4t)、高频信号输出值OHL(x，y，4t)、以及高频信号输出值OHH(x，y，4t)。 
在下文中，根据信号值是RGB中的哪一个，将[OLL(x，y，4t)]、[OLH(x，y，4t)]、[OHL(x，y，4t)]和[OHH(x，y，4t)]表示如下： 
在R的情况下，表示为[RLL(x，y，4t)]、[RLH(x，y，4t)]、[RHL(x，y，4t)]和[RHH(x，y，4t)]， 
在G的情况下，表示为[GLL(x，y，4t)]、[GLH(x，y，4t)]、[GHL(x，y，4t)]和[GHH(x，y，4t)]， 
在B的情况下，表示为[BLL(x，y，4t)]、[BLH(x，y，4t)]、[BHL(x，y，4t)]和[GHH(x，y，4t)]。 
时间子带分割单元35例如在图12所示的第一帧的像素G(0，0，0)、第二帧的像素G(0，0，1)、第三帧的像素G(0，0，2)、以及第四帧的像素G(0，0，3)之间、执行表达式3所示的处理，并产生四个输出值。 
也就是说，用于将四个连续输入帧的相应像素值相加的处理产生低频信号输出值GLL(0，0，0)。此外，用于将四个连续输入帧的相应像素值相加和相减的处理产生高频信号GLH(0，0，0)、高频信号输出值GHL(0，0，0)、以及高频信号输出值GHH(0，0，0)。 
以类似的方式，在像素R(1，0，0)、像素R(1，0，1)以及像素R(1，0，2)之间执行处理，由此输出低频信号输出值RLL(1，0，0)和三个信号，所述三个信号即高频信号RLH(1，0，0)、高频信号RHL(1，0，0)、以及高频信号RHH(1，0，0)。 
由时间子带分割单元35转换的低频信号91是通过将图像捕获数据的四个相邻帧的像素相加来获得的，并且对应于以图像捕获帧频(在本实施例中为每秒240帧)的1/4的帧频(每秒60帧)的、图像捕获RAW数据。另一方面，由时间子带分割单元35转换的高频信号92至94是通过确定图像捕获数据的四个相邻帧之间的差别来获得的，并且是变成指示以下内容的固定值(就安装而言制定了中心值128)的RAW数据：只在运动物体的区域中存在有效像素值，在其它区域中无差别。低频信号91和高频信号92至94中的每个信号的帧频均是每秒60帧。 
时间子带分割部件35接收从图像捕获元件25输出的图像信号，并在 时间方向上执行子带分割处理，由此产生由低频分量构成的低频子带分割信号以及多个由高频分量形成的高频子带分割信号，其中使所述低频子带分割信号具有比来自图像捕获元件25的信号的输入帧频低的帧频。 
如上文所述，根据本实施例的时间子带分割部件35产生多个高频子带分割信号作为高频子带分割信号。由时间子带分割部件35产生的低频子带分割信号和多个高频子带分割信号中的每个信号的帧频是根据所述较低频子带分割信号和多个高频子带分割信号的总数来确定的。 
从时间子带分割单元35输出的低频信号91(低频信号OLL)被输入到相机信号处理器A56。以类似的方式，从时间子带分割单元35输出的高频信号92(高频信号OLH)被输入到相机信号处理器B57。由此而来的高频信号93(高频信号OHL)被输入到相机信号处理器C58。由此而来的高频信号94(高频信号OHH)被输入到相机信号处理器D59。 
相机信号处理器A56、B57、C58和D59对从时间子带分割单元35输出的低频信号91和高频信号92至94执行相机信号处理，例如白平衡校正、增益校正、去马赛克(demosaic)处理、矩阵处理和伽玛校正。相机信号处理器A56和相机信号处理器B57至D59是执行相同的处理且分别对低频信号91和高频信号92至94并行地执行处理的处理器。 
如上文所述，从时间子带分割单元35输出的低频信号91和高频信号92至94是每秒60帧(60f/s)的数据，所述每秒60帧(60f/s)是从作为图像捕获帧频的高速(240f/s)帧频进行速率转换后的帧频。 
相机信号处理器A56和相机信号处理器B57至D59应当针对以每秒60帧(60f/s)的数据执行信号处理。也就是说，可以以与针对以每秒60帧的图像捕获RAW数据的处理速度相等的处理速度来执行处理。 
从时间子带分割单元35输出的高频信号92至94是指示四个相邻帧之间的差别的RAW数据。因此，在在相机信号处理器B57至D59中的去马赛克处理中执行非线性处理的情况下，存在可能在亮度变化之处的边缘部分中产生噪声的可能性。但是，在根据本实施例的图像捕获装置400的配置的情况下，由于可通过以常规帧频(每秒60帧)的处理来实现所述相机信号处理器A56和相机信号处理器B57至D59，因此存在不必加速的优点。 
已将相机信号处理器A56、B57、C58和D59以及时间子带分割单元35描述为用于分别对低频信号91和高频信号92至94执行诸如白平衡校 正、增益校正、去马赛克处理、矩阵处理和伽玛校正之类的相机信号处理的组件。所述信号处理形式不限于该示例，并且各种形式都是可能的。之后将参照图13和14来描述时间子带分割单元35中的处理的细节。 
从相机信号处理器A56输出的低频图像数据被输入到第一编解码器单元63，并且还被输入到取景器输出单元9。从相机信号处理器B57输出的高频图像数据被输入到第二编解码器单元64。在下文中，以类似的方式，从相机信号处理器C58输出的高频图像数据被输入到第三编解码器单元65，并且从相机信号处理器D59输出的高频图像数据被输入到第四编解码器单元66。 
取景器输出单元9将从相机信号处理器A56供给的低频图像数据转换为要在取景器(未示出)上显示的信号并输出该信号。要在取景器上显示的图像的分辨率和帧频与输入图像数据相比可能不相同。在这种情况下，取景器输出单元9执行分辨率转换处理和帧频转换处理。在要执行帧频转换处理时，使用帧存储器(未示出)。要在取景器上显示的图像可能必须是亮度图像。在这种情况下，取景器输出单元9将输入图像转换为亮度图像并将其输出。 
第一编解码器单元63通过使用第一图像编解码器来压缩从相机信号处理器A56供给的较低频的图像数据，并输出低频流数据95。第一编解码器单元63由例如使用H.264编解码方法的帧间编解码器构成。如上文所述，低频图像数据对应于以作为图像捕获帧频的1/4的帧频(本实施例中为每秒60帧)的图像捕获数据。 
第一编解码器单元63通过将低频图像数据假设为以常规的每秒60帧的运动图像数据来根据诸如H.264高画质规范之类的标准规范对图像数据进行压缩。但是第一编解码器不限于H.264编解码器。可以使用任何方法，只要该方法可以压缩常规的运动图像数据即可。例如，可以使用以诸如MPEG-2等的帧间编解码器、以诸如Motion-JPEG等的帧内编解码器、或根据MPEG4格式或AVCHD格式执行处理的编解码器。此外，由第一编解码器单元63输出的流数据95可以不符合标准规范。 
第二编解码器单元64对与从相机信号处理器B57供给的高频信号92(高频信号OLH)相对应的高频图像数据进行压缩，并输出高频流数据96。 
第二编解码器64由例如以JPEG编解码方法的帧内编解码器构成。 如上文所述，所述高频图像数据使得四个相邻帧之间的差别被确定，并且是使得只在运动物体的区域中存在有效像素值的运动图像数据。也就是说，所述高频图像数据使得：在没有与时间相关的变化的部分中不存在信息(变成固定值)，并且在存在动作的部分中、在具有小的亮度差的区域中具有少量信息。通常，这种图像信号易于压缩。即使不使用具有高压缩效率(尽管该处理是复杂的且具有高成本)的帧间编解码器，诸如低成本的JPEG编解码器之类的帧内编解码器也允许压缩到足够小的量的信息。因此，第二编解码器单元64通过使用JPEG编解码器来针对每一帧压缩高频图像数据。 
第三编解码器单元65对与从相机信号处理器C58供给的高频信号93(高频信号OHL)相对应的高频图像数据进行压缩，并输出高频流数据97。 
根据与第二编解码器单元64相类似的编解码器构造(例如以JPEG方法的帧内编解码器)来配置第三编解码器单元65。 
第四编解码器单元66对与从相机信号处理器D59供给的高频信号93(高频信号OHH)相对应的高频图像数据进行压缩，并输出高频流数据98。 
同样地，根据与第二编解码器单元64相类似的编解码器构造(例如以JPEG编解码器方法的帧内编解码器)来配置第四编解码器单元66。 
如上文所述，第一编解码器单元63被设置为具有比第二编解码器单元64至第四编解码器单元66的压缩效率高的压缩效率的压缩处理部件。第二编解码器单元64至第四编解码器单元66可以被配置为具有比第一编解码器单元63的压缩效率低的压缩效率且具有小的电路尺寸。 
许多近来的图像捕获装置具有捕获静止图像的功能，并且其中大多数包括作为组件的用于静止图像的JPEG编解码器。因此，在通过JPEG编解码器来配置用于压缩高频图像数据的第二编解码器单元64至第四编解码器单元66的情况下，可以使用用于静止图像的JPEG编解码器。在这种情况下存在以下优点：用于执行对高帧频图像的压缩的额外成本是不必要的。但是，第二编解码器单元64至第四编解码器单元66不限于JPEG编解码器。可以使用任何用于压缩常规图像数据的方法。例如，可以使用以JPEG 2000等的帧内编解码器或以MPEG-2等的帧间编解码器。 
可以通过具有相同形式的编码处理部件来配置用于对多个高频子带 分割信号中的每个信号执行压缩处理的第二编解码器单元64至第四编解码器单元66。此外，可以通过用于执行不同的编码处理的编码处理部件来配置编解码器单元64至66。 
分别从第一编解码器单元63和第二编解码器单元64至第四编解码器单元66输出的、压缩的流数据95和流数据96至98被输入到流控制器71中。 
流控制器71将从第一编解码器单元63输入的、通过压缩低频图像数据而获得的流数据95与从第二编解码器单元64至第四编解码器单元66输入的、通过压缩高频图像数据而获得的流数据96至98相合并，并将作为结果的数据输出至记录器81。如上文所述，从第一编解码器单元63供给的低频流数据95是通过利用H.264编解码器压缩每秒60帧的运动图像而获得的数据，并且是符合标准规范的流。 
另一方面，从第二编解码器单元64至第四编解码器单元66供给的高频流数据96至98是通过利用JPEG编解码器压缩每秒60帧的差分图像而获得的数据，所述流数据96至98与标准视频流不同。流控制器71将从第二编解码器单元64至第四编解码器单元66供给的流数据96至98打包，并将该流数据作为用户数据叠加在从第一编解码器单元63供给的符合标准规范的流上。 
也就是说，流控制器71将通过将从第二编解码器单元64至第四编解码器单元66供给的压缩的高频数据打包而获得的数据作为用户数据而叠加在从第一编解码器单元63供给的符合标准规范的流上。对于解码而言，将被设置为用户数据的包分离，并将执行处理。稍后将描述该处理。 
从流控制器71输出的合并的流数据被输入到记录器81中。 
记录器81将从流控制器71供给的符合标准规范的流数据记录在诸如磁带、磁光盘、硬盘或半导体存储器之类的记录介质上。 
作为上述操作的结果，通过应用具有超级压缩效率的第一编解码器和可以以低成本实现的第二至第四编解码器，变得可以：以与以常规帧频(在本实施例中为每秒60帧)的处理速度相匹配的速度，压缩以作为常规帧频的四倍的帧频(在本实施例中为每秒120帧)捕获的图像信号。因此，提供了在使成本增加最小化的同时以高帧频实现图像捕获、处理和记录的图像捕获装置。 
在本实施例中，已经描述了以作为常规帧频的四倍的帧频(每秒240 帧)来实现图像捕获、处理和记录的图像捕获装置。该处理不限于两倍或四倍的帧频。可以将本实施例扩展到以N倍(N是2的幂)的帧频(每秒60的N倍个帧)来实现图像捕获、处理和记录的图像捕获装置。 
接下来将参照附图来描述在再现过程中的操作。 
为了再现所记录的运动图像，图像捕获装置400根据用户的操作以所述方式来读取记录在记录器81中的流数据。从记录器81读取的流数据被输入到流控制器71中。 
流控制器71接收从记录器81供给的流数据，并将其分离为由第一编解码器单元63压缩的低频流数据和由第二编解码器单元64至66压缩的高频流数据。如上文所述，记录器81中记录的流数据是以第一编解码器单元63的压缩方法的、符合标准规范的流数据。由第二编解码器单元64至66压缩的流数据已被打包并被作为用户数据而叠加。 
流控制器71从记录器81接收的流数据中提取通过对由第二编解码器单元64至第四编解码器单元66压缩的流数据进行打包而获得的、已被作为用户数据而叠加的数据，并将该数据分离为由第一编解码器单元63压缩的低频流数据95和由第二编解码器单元64至第四编解码器单元66压缩的高频流数据96至98，并将它们分别输出至第一编解码器单元63和第二编解码器单元64至第四编解码器单元66。 
第一编解码器单元63接收从流控制器71供给的流数据95，并执行解码(即解压缩处理)。如上文所述，第一编解码器单元63由例如以H.264编解码方法的帧间编解码器构成。此外，流数据95是在第一编解码器单元63中根据诸如H.264高画质规范之类的标准规范而压缩的流。第一编解码器单元63将流数据95解压缩，并将其转换为每秒60帧的低频运动图像数据。如上文所述，由于低频运动图像数据对应于每秒60帧的图像捕获数据，因此从第一编解码器单元63输出的运动图像数据是以常规的每秒60帧的运动图像。 
第二编解码器单元64接收从流控制器71供给的流数据96，并执行解压缩处理。如上文所述，第二编解码器单元64由例如以JPEG编解码方法的帧内编解码器构成。第二编解码器单元64将流数据96解压缩以将其转换为每秒60帧的高频运动图像。如上文所述，由于高频运动图像数据使得图像捕获数据的相邻的四个帧之间的差别被确定，因此从第二编解码器单元64输出的运动图像数据是每秒60帧的时间差分运动图像。 
第三编解码器单元65接收从流控制器71供给的流数据97，并执行解压缩处理。如上文所述，第三编解码器单元65是与第二编解码器单元64相同的处理器，并且从第三编解码器单元65输出的运动图像数据是每秒60帧的时间差分运动图像。 
第四编解码器单元66接收从流控制器71供给的流数据98，并执行解压缩处理。如上文所述，第四编解码器单元66是与第二编解码器单元64相同的处理器，并且从第四编解码器单元66输出的运动图像数据是每秒60帧的时间差分运动图像。 
可以通过具有相同形式的解码处理部件来配置用于对从流控制器71供给的高频流数据96至98执行解压缩处理的第二编解码器单元64至第四编解码器单元66。此外，可以通过执行不同的解码处理的解码部件来配置它们。 
从第一编解码器单元63输出的所有运动图像数据以及从第二编解码器单元64至第四编解码器单元66输出的运动图像数据被输入到时间子带分割单元35中。在这种情况下，时间子带分割单元用作时间子带合并单元35。也就是说，通过接收第一编解码器单元63和第二编解码器单元64至第四编解码器单元66的解码结果，并通过在时间方向上进行子带合并处理，产生了合并的图像信号，该合并的图像信号的帧频比由每个编解码器输出的图像信号的帧频高。 
更具体地，时间子带分割单元(时间子带合并单元)35根据上述的表达式4、对从第一编解码器单元63和第二编解码器单元64至第四编解码器单元66供给的低频运动图像数据和高频运动图像数据进行逆变换(在时间方向上的小波逆变换)，由此产生以每秒240帧的具有四个连续帧的图像。时间子带分割单元35将该四个连续帧图像临时存储在帧存储器4中，并且还以四倍的帧频(每秒240帧)交替读取之前的连续四个帧的图像。通过进行这种处理，可以恢复每秒240帧的运动图像数据。 
由时间子带分割单元(时间子带合并单元)35产生的运动图像是以基于以下图像信号的总数而确定的帧频的、合并的图像信号：具有由第一编解码器单元63产生的低频分量的图像信号，以及具有由第二编解码器单元64至第四编解码器单元66产生的高频分量的图像信号。 
此外，当用户的操作或从连接的图像显示器件获得的信息要求输出每秒60帧的运动图像时，时间子带分割单元35按原样输出从第一编解码器 单元63供给的低频运动图像数据。如上文所述，由于从第一编解码器单元63输出的运动图像数据是通过以每秒240帧将四个相邻帧图像相加而产生的运动图像，因此该运动图像数据对应于以每秒60帧捕获的运动图像。当要进行这种操作时，控制器(未示出)可以控制第二编解码器单元64至第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。 
此外，当用户的操作和从连接的图像显示器件获得的信息要求输出每秒120帧的运动图像时，时间子带分割单元35基于从第一编解码器单元63供给的低频运动图像数据和从第二编解码器单元64供给的高频运动图像数据、根据下面示出的表达式5来转换数据，由此产生每秒120帧的运动图像。 
R ′ ( x , y , 4 t ) = O LL ′ ( x , y , 4 t ) + O LH ′ ( x , y , 4 t ) - Range 2
R ′ ( x , y , 4 t + 2 ) = O LL ′ ( x , y , 4 t ) - O LH ′ ( x , y , 4 t ) + Range 2
(表达式5) 
上述转换后的运动图像数据是通过以每秒120帧将两个相邻帧图像相加而获得的运动图像，并且对应于以每秒120帧捕获的运动图像。在要进行这种操作的情况下，控制器(未示出)可以控制第三编解码器单元65和第四编解码器单元66不进行操作，并且具有低功耗的操作是可行的。 
从时间子带分割单元35输出的运动图像数据被输入到视频输出单元10中。 
视频输出单元10将从时间子带分割单元35供给的运动图像数据作为每秒240帧的视频数据而输出。在此要输出的视频数据可以是一种符合诸如HDMI(高清多媒体接口)标准或DVI(数字视频接口)标准之类的数字视频信号格式的视频数据，或者可以是一种符合使用D端子的模拟分量信号格式的视频数据。视频输出单元10根据输出的视频信号的格式来执行信号转换处理。 
作为上述操作的结果，可以再现其中记录有以四倍于常规帧频的帧频(本实施例中为每秒240帧)捕获的图像信号的数据，并且可以通过使用具有超级压缩效率的第一编解码器和能以低成本实现的第二至第四编解码器来解压缩该数据。因此，提供了在使成本增加最小化的同时实现对高 帧频视频的再现输出的图像捕获装置。 
此外，如上文所述，在根据从连接的图像显示器件获得的信息来要求输出每秒60帧的运动图像的情况下，可以以直接输出从第一编解码器单元63供给的低频运动图像数据的方式来形成该结构。在此情况下，在再现过程中，可以停止第二至第四编解码器的处理，并且可以实现功耗的减少以及以常规视频帧频的视频图像输出。 
此外，如上文所述，在根据从连接的图像显示器件获得的信息来要求输出每秒120帧的运动图像的情况下，可以以输出根据以下数据创建的运动图像的方式来形成该结构：从第一编解码器单元63供给的低频运动图像数据，以及从第二编解码器单元64供给的高频运动图像数据。在此情况下，在再现过程中，可以停止第三编解码器单元65和第四编解码器单元66的处理，并且可以实现功耗的减少以及以常规视频帧频的视频图像输出。 
在上述的本实施例中，已经描述了以四倍于常规帧频的帧频(每秒240帧)来实现视频再现的图像捕获装置。该处理不限于两倍或四倍的帧频，并且可以将本实施例扩展到以N倍(N是2的幂)的帧频(每秒60的N倍个帧)来实现视频输出的图像捕获装置，这可以通过分层时间子带分割来实现。此时，可以以任意的M倍(M是2的幂，且小于等于N)的帧频(每秒60的M倍个帧)来实现视频再现。在以M倍的帧频的再现的情况下，可以通过停止一些编解码器单元的处理来实现功耗的减少。 
将参照图13至15来描述本图像捕获装置中的时间子带分割单元35中的时间子带分割处理和编解码处理的示例性操作。 
首先将参照图13来描述在图像捕获过程中的操作。 
图13示出了在图像捕获过程中在时间子带分割单元35中的时间子带分割处理，即，针对时间方向上的连续帧的处理。 
(a)图像捕获元件输出的数据是图11所示的图像捕获元件25的输出。对于该数据，具有HD分辨率的图像帧(图中的N至N+7)以每秒240帧的速度输出。这里N是任意整数。 
(b)低频LL图像数据是低频的图像数据(本实施例中为每秒60帧)，其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为在相机信号处理器A56和第一编解码器单元63中处理后的信号而输出。 
(c)高频LH图像数据是高频的图像数据(本实施例中为每秒60帧)， 其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为在相机信号处理器B57和第二编解码器单元64中处理后的信号而输出。 
(d)高频HL图像数据是高频的图像数据(本实施例中为每秒60帧)，其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为在相机信号处理器C58和第三编解码器单元65中处理后的信号而输出。 
(e)高频HH图像数据是高频的图像数据(本实施例中为每秒60帧)，其由图11所示的时间子带分割单元35中的时间子带处理产生，并被作为在相机信号处理器D59和第四编解码器单元66中处理后的信号而输出。 
从图像捕获元件25输出的帧图像被临时存储在时间子带分割单元35中的帧存储器4中。此时，存储到帧存储器4中的存储速度是每秒240帧。时间子带分割单元35将帧图像存储在帧存储器4中，同时还读取已存储的之前的连续四个帧的图像。此时，从帧存储器4读取连续四个帧的图像的速度是每秒60帧。 
下面将给出对用于在时间子带分割单元35中产生(b)低频LL图像数据、(c)高频LH图像数据、(d)高频HL图像数据和(e)高频HH图像数据的、涉及对帧存储器4的控制的处理的具体操作示例的描述。当图像捕获开始时，在图13所示的周期A中，时间子带分割单元35接收从图像捕获元件25输入的帧图像N，并将该帧图像N存储在帧存储器4中。接着，在周期B中，时间子带分割单元35接收来自图像捕获元件25的帧图像N+1，并将该帧图像N+1存储在帧存储器4中。以类似的方式，时间子带分割单元35在周期C中接收来自图像捕获元件25的帧图像N+2，在周期D中接收帧图像N+3，并将其存储在帧存储器4中。 
在周期E中，时间子带分割单元35将帧图像N+4存储在帧存储器4中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图像N+3。此时，由于读取速度是存储速度的1/4(本实施例中为每秒240帧/4＝60帧/秒)，因此对于帧图像N至N+3，只读取屏幕的上1/4部分。图15示出了存储在帧存储器4中的一个帧图像数据。在周期E中，时间子带分割单元35只读取帧图像N至N+3的屏幕的上1/4部分(图15所示的I部分)。 
在接下来的周期F中，时间子带分割单元35将帧图像N+5存储在帧存储器4中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2 和帧图像N+3。在周期F中，读取帧图像N至N+3的接下来的1/4数据，即，只读取图15所示的J区域。 
在周期G中，时间子带分割单元35将帧图像N+6存储在帧存储器4中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图像N+3。在周期G中，读取帧图像N至N+3的接下来的1/4数据，即，只读取图15所示的K区域。 
在周期H中，时间子带分割单元35将帧图像N+5存储在帧存储器4中，同时还从存储器4读取帧图像N、帧图像N+1、帧图像N+2和帧图像N+3。在周期H中，读取帧图像N至N+3的剩余的1/4数据，即，只读取图15所示的L区域。 
如上文所述，在时间子带分割单元35中产生了针对四个帧的延迟。 
从帧存储器4读取的连续四帧图像(例如图中的N、N+1、N+2和N+3)在时间子带分割单元35中经历前述的表达式3中所示的变换，并被分割为低频图像数据(LL图像数据)和三项高频图像数据(LH图像数据、HL图像数据和HH图像数据)。这里，所述低频图像数据和高频图像数据中的每种数据均是每秒60帧的运动图像数据。 
如上文所述，从时间子带分割单元35输出的低频图像数据被相机信号处理器A56处理，然后在第一编解码器单元63(图中为H.264编码器)中经历压缩处理。另一方面，如上文所述，从时间子带分割单元35输出的高频图像数据在相机信号处理器B57至相机信号处理器D59中被处理，然后在第二编解码器单元64至第四编解码器单元66(图中为JPEG编码器)中经历压缩处理。 
接下来将参照图14来描述再现过程中的操作。 
图14示出了在再现过程中对时间方向上连续的帧的处理。 
从记录器81读取的流数据在流控制器71中被分离为低频流数据和三种高频流数据。这些流数据分别在第一编解码器单元63(图中为H.264编码器)和第二编解码器单元64至第四编解码器单元66(图中为JPEG编码器)中经历解压缩处理。作为经历解压缩处理的结果，从第一编解码器单元63输出低频图像数据，从第二编解码器单元64至第四编解码器单元66输出三种高频图像数据。这些图像数据均为每秒60帧的运动图像数据。它们是图14所示的(f)低频LL图像数据、(g)高频LH图像数据、(h)高频HL图像数据和(i)高频HH图像数据。 
从第一编解码器单元63和第二编解码器单元64至第四编解码器单元66输出的图像数据都被输入到时间子带分割单元35中。时间子带分割单元35对该图像数据执行上述的表达式4所示的变换(使用哈尔函数作为基的小波逆变换)，使得该图像数据被转换为每秒240帧的运动图像中的连续四帧图像(例如图中的N、N+1、N+2和N+3)。转换后的连续四帧图像被时间子带分割单元35临时存储在帧存储器4中。 
此时，存储到帧存储器4中的速度是每秒60帧。时间子带分割单元(时间子带合并单元)35将所述连续四帧图像存储在帧存储器4中，并且还读取已经存储的之前的帧图像。此时，从帧存储器4读取帧图像的速度是每秒240帧。 
下面将更具体地描述与对帧存储器的控制相关的操作。 
当再现开始时，在周期A′中，时间子带分割单元(时间子带合并单元)35只对低频LL图像、高频LH图像、高频HL图像和高频HH图像的第一帧图像(例如N+(N+1)+(N+2)+(N+3))中的1/4数据部分执行逆变换。 
下面将参照图15进行描述。时间子带分割单元(时间子带合并单元)35只对图15所示的帧数据中的I区域执行逆变换，由此产生具有帧图像N至N+3的1/4的图像数据(图15中的I区域)。同时，时间子带分割单元(时间子带合并单元)35将该具有帧图像N至N+3的1/4的图像数据(图15中的I区域)存储在帧存储器4中。 
接下来，在周期B′中，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的第一帧图像(例如N+(N+1)+(N+2)+(N+3))中的每个帧图像的、接下来的1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N至N+3中的、图15中的J区域。同时，时间子带分割单元35将该帧图像N至N+3的屏幕中的、图15中的J区域存储在帧存储器4中。 
在周期C′中，以类似的方式，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的第一帧图像(例如N+(N+1)+(N+2)+(N+3))中的每个帧图像的、接下来的1/4数据(图15所示的K区域)执行逆变换。产生了帧图像N至N+3的屏幕中的、图15中的K区域。同时，时间子带分割单元35将该帧图像N至N+3的屏幕上的、图15中的K区域存储在帧存储 器4中。 
在周期D′中，以类似的方式，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的第一帧图像(例如N+(N+1)+(N+2)+(N+3))中的每个帧图像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了帧图像N至N+3的屏幕上的、图15所示的L区域。同时，时间子带分割单元35将该帧图像N至N+3的屏幕上的、图15中的L区域存储在帧存储器4中。 
接下来，在周期E′中，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的下一帧图像(例如(N+4)+(N+5)+(N+6)+(N+7))中的每个帧图像的、接下来的1/4数据(图15所示的I区域)执行逆变换。产生了帧图像N+4至N+7的屏幕上的、图15中的I区域。同时，时间子带分割单元35将该帧图像N+4至N+7的屏幕上的、图15中的I区域存储在帧存储器4中，并且还读取帧图像N。 
在周期F′中，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的帧图像(例如(N+4)+(N+5)+(N+6)+(N+7))中的每个帧图像的、接下来的1/4数据(图15所示的J区域)执行逆变换。产生了帧图像N+4至N+7的屏幕上的、图15中的J区域。同时，时间子带分割单元35将该帧图像N+4至N+7的屏幕上的、图15中的J区域存储在帧存储器4中，并且还读取帧图像N+1。 
在周期G′中，以类似的方式，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的帧图像(例如(N+4)+(N+5)+(N+6)+(N+7))中的每个帧图像的、接下来的1/4数据(图15所示的K区域)执行逆变换。产生了帧图像N+4至N+7的屏幕上的、图15中的K区域。同时，时间子带分割单元35将该帧图像N+4至N+7的屏幕上的、图15中的K区域存储在帧存储器4中，并且还读取帧图像N+2。 
在周期H′中，以类似的方式，时间子带分割单元(时间子带合并单元)35对相对于低频LL图像、高频LH图像、高频HL图像和高频HH图像的帧图像(例如(N+4)+(N+5)+(N+6)+(N+7))中的每个帧图像的、接下来的1/4数据(图15所示的L区域)执行逆变换。产生了 帧图像N+4至N+7的屏幕上的、图15中的L区域。同时，时间子带分割单元35将该帧图像N+4至N+7的屏幕上的、图15中的L区域存储在帧存储器4中，并且还读取帧图像N+3。 
如上文所述，对于从时间子带分割单元35输出的图像数据，产生了针对四个帧的延迟。此外，作为执行图14所示的操作的结果，图像捕获装置400实现了每秒240帧的运动图像输出。 
对于已参照图11至15描述的、用于以高速(N倍的)帧频来对图像捕获数据执行处理的配置的示例而言，与先前参照图6至10描述的那些修改相同的修改是可行的。 
也就是说，以下配置是可行的：
其中省略了参照图6描述的一些相机信号处理器的配置， 
其中将参照图7描述的相机信号处理器设于图像捕获元件与时间子带分割单元之间的配置， 
其中基于每个信号地设置参照图8描述的流控制器和存储单元的配置， 
参照图9描述的、其中输入视频信号并执行处理的配置， 
参照图10描述的、用于只执行再现处理的图像处理设备的配置，以及 
图11所示的配置，其中该配置被用作基础并被修改为图6至10所示的每个配置，并且执行处理。 
上面在参照具体实施例的同时详细描述了本发明。然而，在本发明的精神和范围内可进行实施例的修改和替换，这是显而易见的。就是说，作为典型的实施例公开了本发明，不应解释为限制。为了确定本发明的本质，应考虑权利要求。 
注意，可通过硬件、软件或它们的组合进行说明书中描述的一系列处理。在其中通过软件进行所述一系列处理的情形中，可在嵌在专门硬件中的计算机中的存储器中安装记录所述处理顺序的程序并执行。可选择地，所述程序可安装在能进行各种处理的通用计算机上。例如，所述程序可记录在记录介质上。注意，除将所述记录介质的程序安装到计算机之外，所述程序还可通过诸如LAN(局域网)或因特网这样的网络安装在诸如内部硬盘这样的记录介质上。 
注意，说明书中描述的各种处理不必按所述的顺序连续进行，其可根据进行所述处理的装置的处理性能或的必要性而并行或单独进行。此外，本说明书中的系统是指多个装置的逻辑组合，不限于其中在单个壳体中包含具有单独结构的装置的组合。 
本领域技术人员应当理解，根据设计条件和其他因素可产生各种修改、组合、再组合和替换，只要它们在所附权利要求或其等价物的范围内就行。 

Claims (19)

1.一种图像处理装置，包括：
时间子带分割部件，用于通过在时间方向上对图像信号进行子带分割处理而产生低频子带分割信号和高频子带分割信号，所述低频子带分割信号由帧频比所述图像信号的帧频低的低频分量形成，所述高频子带分割信号由高频分量形成；
第一编码部件，用于压缩所述低频子带分割信号以输出低频流数据；和
第二编码部件，用于压缩所述高频子带分割信号以输出高频流数据，
其中所述第一编码部件和所述第二编码部件进行不同的编码处理，并且所述图像处理装置进一步包括流控制器和记录部件，其中，所述流控制器将所述高频流数据打包并作为用户数据叠加到所述低频流数据中，并且将叠加后的流数据输出到所述记录部件以进行记录。
2.根据权利要求1所述的图像处理装置，其中所述第一编码部件包括压缩效率比所述第二编码部件高的编码处理部件。
3.根据权利要求1所述的图像处理装置，其中所述第二编码部件包括电路尺寸比所述第一编码部件小的编码处理部件。
4.根据权利要求1所述的图像处理装置，其中所述时间子带分割部件是在所述时间方向上的小波变换器，并进行下述处理，即通过在所述时间方向上相邻的多个帧之间进行哈尔变换而将帧信号分割为低频分量和高频分量。
5.根据权利要求1所述的图像处理装置，其中所述时间子带分割部件接收P帧每秒的图像信号作为所述图像信号，P为整数，并通过在所述时间方向上进行子带分割处理而产生P/Q帧每秒的低频子带分割信号和高频子带分割信号，Q为2或比2大的整数。
6.根据权利要求5所述的图像处理装置，其中所述第一编码部件和所述第二编码部件每个都以P/Q帧每秒进行编码处理。
7.根据权利要求1所述的图像处理装置，其中，所述流控制器进一步从所述记录部件读取流数据，并且将读取的所述流数据分离为由所述第一编码部件压缩的所述低频流数据和由所述第二编码部件压缩的所述高频流数据，并且所述图像处理装置进一步包括：
第一解码部件，用于接收由所述流控制器分离的所述低频流数据并进行用于将低频分量解压缩的处理；
第二解码部件，用于接收由所述流控制器分离的所述高频流数据并进行用于将高频分量解压缩的处理；和
时间子带合并部件，用于通过对作为所述第一解码部件和所述第二解码部件的解码结果的图像信号进行在所述时间方向上的子带合并处理，产生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的图像信号的帧频高的合并后图像信号。
8.根据权利要求7所述的图像处理装置，其中所述时间子带合并部件是在所述时间方向上的小波逆变换器。
9.根据权利要求1所述的图像处理装置，其中
所述时间子带分割部件产生多个高频子带分割信号作为所述高频子带分割信号，
所述低频子带分割信号的帧频和所述多个高频子带分割信号的帧频是根据所述低频子带分割信号和所述多个高频子带分割信号的总数而确定的。
10.根据权利要求9所述的图像处理装置，其中所述第二编码部件包括用于对所述多个高频子带分割信号中的每个进行压缩处理的多个不同的编码部件。
11.根据权利要求1所述的图像处理装置，其中所述时间子带分割部件通过对包含在所述图像信号中的相对于时间连续的N个图像帧的相应像素的信号值执行加法处理而产生一个低频子带分割信号，N≥2，并通过对包含在所述图像信号中的相对于时间连续的N个图像帧的相应像素的信号值执行加法和减法处理而产生N-1个高频子带分割信号，
所述N-1个高频子带分割信号中的每个是通过区别地设定被执行加法处理和减法处理的图像帧的组合而计算得到的信号。
12.根据权利要求1所述的图像处理装置，其中还包括图像捕获元件，该图像捕获元件被配置成通过光电转换获得图像信号，
所述时间子带分割部件通过对来自所述图像捕获元件的图像信号进行处理而产生高频子带分割信号和帧频比来自所述图像捕获元件的信号的帧频低的低频子带分割信号。
13.一种图像处理装置，包括：
记录部件，用于记录将高频流数据打包并作为用户数据叠加到低频流数据中而形成的流数据；
流控制器，用于从所述记录部件读取所述流数据，并且将读取的所述流数据分离为所述低频流数据和所述高频流数据；
第一解码部件，用于接收由所述流控制器分离的所述低频流数据并进行用于将低频分量解压缩的处理；
第二解码部件，用于接收由所述流控制器分离的所述高频流数据并进行用于将高频分量解压缩的处理；和
时间子带合并部件，用于通过在时间方向上对作为所述第一解码部件和所述第二解码部件的解码结果的图像信号进行子带合并处理，产生帧频比作为所述第一解码部件和所述第二解码部件的解码结果的所述图像信号的帧频高的合并后图像信号。
14.根据权利要求13所述的图像处理装置，其中所述第一解码部件对编码数据进行压缩效率比所述第二解码部件高的解码。
15.根据权利要求13所述的图像处理装置，其中所述第二解码部件接收在所述记录部件中记录的多个不同的高频流数据并产生由高频分量组成的多个不同的图像信号；和
所述时间子带合并部件通过在所述时间方向上对作为所述第一解码部件的解码结果的图像信号和作为所述第二解码部件的解码结果的多个不同的图像信号进行子带合并处理，产生高帧频的合并后图像信号。
16.根据权利要求13所述的图像处理装置，其中所述时间子带合并部件产生的合并后图像信号的帧频是根据由所述第一解码部件产生的所述低频分量图像信号和由所述第二解码部件产生的高频分量图像信号的总数而确定的。
17.根据权利要求13所述的图像处理装置，其中所述第二解码部件包括用于对在所述记录部件中记录的多个高频流数据中的每个进行解压缩处理的多个不同的解码部件。
18.一种图像处理方法，包括下述步骤：
通过在时间方向上对图像信号进行子带分割处理，产生由帧频比所述图像信号的帧频低的低频分量形成的低频子带分割信号和由高频分量形成的高频子带分割信号；
压缩所述低频子带分割信号以输出低频流数据；和
压缩所述高频子带分割信号以输出高频流数据，
其中在压缩所述低频子带分割信号的步骤和压缩所述高频子带分割信号的步骤中，进行不同的编码处理，并且所述图像处理方法进一步包括：
将所述高频流数据打包并作为用户数据叠加到所述低频流数据中；以及
记录叠加后的流数据。
19.一种图像处理方法，包括下述步骤：
读取将高频流数据打包并作为用户数据叠加到低频流数据中而形成的流数据；
将读取的所述流数据分离为所述低频流数据和所述高频流数据；
接收所述低频流数据并进行用于将低频分量解压缩的处理；
接收所述高频流数据并进行用于将高频分量解压缩的处理；和
基于用于将所述低频流数据解压缩的处理而获得的第一图像信号和用于将所述高频流数据解压缩的处理而获得的第二图像信号，通过在时间方向上进行子带合并处理产生帧频比所述第一图像信号的帧频高的合并后图像信号。
CN2009100056824A 2008-02-19 2009-02-19 图像处理装置和图像处理方法 Expired - Fee Related CN101516031B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-037049 2008-02-19
JP2008037049 2008-02-19
JP2008037049 2008-02-19

Publications (2)

Publication Number Publication Date
CN101516031A CN101516031A (zh) 2009-08-26
CN101516031B true CN101516031B (zh) 2012-06-13

Family

ID=40668265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100056824A Expired - Fee Related CN101516031B (zh) 2008-02-19 2009-02-19 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20090219404A1 (zh)
EP (1) EP2094018B1 (zh)
JP (1) JP4849130B2 (zh)
CN (1) CN101516031B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006483B (zh) * 2009-09-03 2013-05-01 中兴通讯股份有限公司 一种视频编解码方法及装置
JP5558766B2 (ja) * 2009-09-24 2014-07-23 キヤノン株式会社 画像処理装置及びその制御方法
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP2011239150A (ja) * 2010-05-10 2011-11-24 Sony Corp 制御装置、カメラシステム及びプログラム
WO2012088629A1 (en) * 2010-12-29 2012-07-05 Technicolor (China) Technology Co., Ltd. Method for generating motion synthesis data and device for generating motion synthesis data
US20140198098A1 (en) * 2013-01-16 2014-07-17 Tae Joo Experience Enhancement Environment
CN103152573A (zh) * 2013-03-15 2013-06-12 惠州Tcl移动通信有限公司 一种移动终端与智能电视间图像帧传输的方法及系统
KR20140123753A (ko) * 2013-04-15 2014-10-23 삼성전자주식회사 무선 통신 시스템에서 비디오 트래픽 스케줄링 방법 및 장치
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
KR102184884B1 (ko) 2014-06-26 2020-12-01 엘지디스플레이 주식회사 유기발광표시장치의 데이터 처리장치
US9613127B1 (en) 2014-06-30 2017-04-04 Quantcast Corporation Automated load-balancing of partitions in arbitrarily imbalanced distributed mapreduce computations
CN107925765B (zh) 2015-08-19 2022-01-18 索尼公司 发送装置、发送方法、接收装置及接收方法
KR20180043786A (ko) * 2015-08-25 2018-04-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20180044902A (ko) * 2015-09-01 2018-05-03 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CA2997523A1 (en) 2015-09-10 2017-03-16 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN105260983B (zh) * 2015-11-11 2018-07-17 西安电子科技大学 基于HyperX平台的5/3小波变换方法
US9955176B2 (en) * 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
JP6694280B2 (ja) * 2016-01-22 2020-05-13 日本放送協会 映像信号送信装置、映像信号受信装置及び映像信号送受信システム
CN111147787B (zh) * 2019-12-27 2021-05-04 Oppo广东移动通信有限公司 插帧处理方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611077A (zh) * 2001-10-26 2005-04-27 皇家飞利浦电子股份有限公司 空间可缩放的压缩
CN1784902A (zh) * 2003-05-02 2006-06-07 皇家飞利浦电子股份有限公司 多层编码支持到新标准的迁移

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2675065B2 (ja) 1988-05-13 1997-11-12 株式会社日立製作所 高速撮影システム
JPH05316402A (ja) 1992-05-13 1993-11-26 Nippon Avionics Co Ltd 高速ビデオカメラ
US7076107B1 (en) * 1999-04-15 2006-07-11 Ricoh Co., Ltd. Method and apparatus for high speed data compression and decompression
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
US20060012680A1 (en) * 2002-10-16 2006-01-19 Arnaud Bourge Drift-free video encoding and decoding method, and corresponding devices
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
JP4025310B2 (ja) * 2004-04-28 2007-12-19 日本電信電話株式会社 画像変換装置、画像変換方法、画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、動画像変換装置、動画像変換方法、動画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN1969559A (zh) * 2004-06-11 2007-05-23 日本电气株式会社 移动图像编码装置和移动图像译码装置、其方法和程序
JP2006108923A (ja) * 2004-10-01 2006-04-20 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム
JP4385928B2 (ja) * 2004-11-08 2009-12-16 日本電信電話株式会社 スケーラブル動画像符号化・復号化方法及びシステム
JP4992336B2 (ja) 2006-08-09 2012-08-08 大日本印刷株式会社 伝票封筒

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611077A (zh) * 2001-10-26 2005-04-27 皇家飞利浦电子股份有限公司 空间可缩放的压缩
CN1784902A (zh) * 2003-05-02 2006-06-07 皇家飞利浦电子股份有限公司 多层编码支持到新标准的迁移

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pesquet-Popescu B et al.《Three-dimensional lifting schemes for motion compensated video compression》.《Acoustics,Speech, and Signal Processing,2001,Proceedings,(ICASSP"01),2001 IEEE International Conference on 》.2001,第3卷(第7期),第1793-1796页. *
Xiangyang Ji et al.《Architectures of Incorporating MPEG-4 Avc into Three-Dimensional Subband Video Coding》.《picture coding symposium 2004》.2004,摘要、正文第1-2部分、附图1-3. *

Also Published As

Publication number Publication date
CN101516031A (zh) 2009-08-26
JP2009225431A (ja) 2009-10-01
EP2094018A1 (en) 2009-08-26
JP4849130B2 (ja) 2012-01-11
EP2094018B1 (en) 2011-11-09
US20090219404A1 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
CN101516031B (zh) 图像处理装置和图像处理方法
US7907785B2 (en) Image processing apparatus and image processing method
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
JP5149310B2 (ja) クロマ・サンプル位置決め情報のシグナリングおよび使用
US8189932B2 (en) Image processing apparatus and image processing method
US20190082185A1 (en) Efficient lossless compression of captured raw image information systems and methods
JP2016500965A (ja) 高解像度クロマ・サンプリング・フォーマットのフレーム・パッキング／アンパッキングのための帯域分離フィルタリング／逆フィルタリング
CN104919804A (zh) 帧封装和解封较高分辨率色度采样格式
JP2014078952A (ja) 変換ベースのデジタル・メディア・コーデックにおける計算の複雑性及び精度の制御
CA2886174C (en) Video compression method
JP2004201315A (ja) 空間スケーラブルな動きベクトルを用いたウェーブレット理論に基づく多重解像度映像表示
US8867624B2 (en) H.264/AVC based approach to scalable video compression
JP2005176383A (ja) 色空間の符号化フレームワーク
CN115298710A (zh) 基于人脸复原的视频会议框架
KR102649023B1 (ko) 복호 방법 및 장치와, 부호화 방법 및 장치
JP4513487B2 (ja) 映像データ圧縮装置
US9064294B2 (en) Image processing apparatus and method
CN105359508A (zh) 视频多级时空分辨率的增加
JP2004007266A (ja) 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2006042371A (ja) 画像記録再生装置及び画像再生装置
Thomas et al. Towards Low-Complexity Scalable Coding for Ultra-High Resolution Video And Beyond
Vadhana et al. Performance Evaluation of Low Bitrate Video Compression using Adaptive Motion Matching
JP2004282345A (ja) 画像処理装置
JP4470440B2 (ja) 画像群のウェーブレット時間係数を算出する方法
JP2020072390A (ja) 画像符号化装置、及びこれらの制御方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120613

Termination date: 20150219

EXPY Termination of patent right or utility model