CN102905126A - 图像处理方法、编码设备、解码设备以及图像处理装置 - Google Patents

Abstract

本发明提供了图像处理方法、编码设备、解码设备以及图像处理装置。图像处理方法包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；计算所分离的至少一个第二帧与第一帧之间的低频分量差值；对第一帧执行用户设计的信号处理；利用经过信号处理的第一帧中的低频分量和所述低频分量差值，来解压缩近似地经过信号处理的至少一个第二帧中的低频分量；并且利用解压缩的至少一个第二帧中的低频分量和至少一个第二帧中的高频分量，来解压缩近似地经过信号处理的至少一个第二帧。

Description

图像处理方法、编码设备、解码设备以及图像处理装置

技术领域

本发明涉及一种适于处理例如由高速摄像机拍摄的高速图像的图像处理方法、编码设备、解码设备以及图像处理装置。

背景技术

为实现以慢动作再现图像，最近市场上出现了能以每秒数百到数千帧的高帧率来成像的高速摄像机，其帧率比普通相机的帧率(每秒24或30帧)高很多。

作为示例，日本专利申请特开No.2010-278481(以下指专利文件1)描述了一种有关数据处理装置的技术，该数据处理装置能通过高速摄像机采集高速视频，对高速视频执行信号处理并且以慢动作再现视频。专利文件1的数据处理装置以n帧为单元划分高速摄像机拍摄的高速视频，并且将结果帧存入数据存储装置。该数据处理装置从数据存储装置读取帧，对这些帧进行压缩并编码，并且将这些帧记录在数据存储装置上作为流数据。记录在数据存储装置上的流数据通过该数据处理装置中的解码设备被解码，然后被提供给显示设备以供显示。对于专利文件1的这样的数据处理装置，描述了不使用高性能处理装置的效果，因为摄像机输出信号是以独立的帧为基础被处理的，这与对直接接收的摄像机输出信号执行一系列处理的情况不同。

发明内容

高速摄像机拍摄的图像数据(以下称作“高速图像数据”)数据量巨大。因此，如果高速图像数据经过作为图像处理的普通信号处理，则信号处理的总的操作复杂性亦将大大增加。尽管诸如CPU(中央处理单元)之类的近期的处理单元在处理速度上已的确显著提高，但在时间受限的情况下，对每秒数百帧到数千帧的高帧率的高速图像执行图像处理必然导致增加使用的硬件资源。

鉴于上述情况，希望提供一种能减少处理信号用的硬件的大小并提高图像传输效率的图像处理方法、编码设备、解码设备和图像处理装置。

根据本发明的实施例，提供了一种信息处理方法，包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；计算所分离的至少一个第二帧与第一帧之间的低频分量差值；对第一帧执行用户设计的信号处理；利用经过所述信号处理的所述第一帧中的低频分量和所述低频分量差值，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及利用解压缩的所述至少一个第二帧中的低频分量以及所述至少一个第二帧中的高频分量，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

利用这样的信息处理方法，仅仅通过对第一帧执行信号处理，将要再现的图像就近似地全部经过信号处理。这因此减少了信号处理部的大小，并且还降低了功率消耗。此外，利用此图像处理方法，减少了第二帧的代码的传输量，因此提高了图像传输效率。

该信息处理方法还包括：对所述至少一个第二帧中的与所述信号处理之前的第一帧的低频分量差值在阈值以上的像素执行所述信号处理。这因此提高了对第二帧执行信号处理的质量，使得可预期增加第一和第二帧连续再现时的图像质量。

该信息处理方法还包括：通过分析至少所分离的至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以用于替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。这样，特别是在第二帧中的像素按照预期无需全部经过信号处理，即使在此情况下，所得的图像与对帧全部执行信号处理的图像实质上相同。因此对第二帧的信号处理执行得更好，并且因此可按照预期提高第一和第二帧连续再现时的图像质量。

根据本发明的另一实施例，提供了一种编码设备，该编码设备包括帧分离部、第一分频部、差值生成部、压缩与编码部、第一信号处理部和传输部。帧分离部被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数。第一分频部被配置为将所分离的第一帧和至少一个第二帧中的每个分成低频分量以及高频分量。差值生成部被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量的差值数据。压缩编码部被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码。第一信号处理部被配置为对所分离的第一帧执行用户指定的信号处理。传输部被配置为传输经压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过了所述信号处理的所述第一帧。

根据本发明的又一实施例，提供了一种用于解码由编码设备传输的信息的解码设备，该编码设备包括：帧分离部，被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；第一分频部，被配置为将所分离的第一帧和至少一个第二帧中的每个分成低频分量以及高频分量；差值生成部，被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量的差值数据；压缩编码部，被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码；第一信号处理部，被配置为对所分离的第一帧执行用户指定的信号处理；和传输部，被配置为传输经压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过了所述信号处理的所述第一帧，所述解码设备包括：分离部，被配置为将所述编码设备传输的信息分成所述差值数据的压缩代码，所述至少一个第二帧中的高频分量的压缩代码和经过所述信号处理的所述第一帧；扩展部，被配置为对所分离的所述差值数据和所分离的所述至少一个第二帧中的高频分量的压缩代码进行扩展；低频分量解压缩部，被配置为使用经过所述信号处理的所述第一帧中的低频分量和经扩展的差值数据，来解压缩近似地经过所述信号处理的所述至少一个第二帧中；和帧解压缩部，被配置为使用解压缩的所述至少一个第二帧中的低频分量和扩展的所述至少一个第二帧中的高频分量，通过分频的逆操作，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

根据本发明的又一实施例，提供了一种图像处理方法，包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；对所分离的第一帧执行用户指定的信号处理；并且对通过所分离的至少一个第二帧和所述信号处理之前的所述第一帧之间执行的像素对像素的比较而被检测为具有阈值以上差值的像素执行信号处理，，并且通过对被检测为不具有阈值以上差值的像素提供经过所述信号处理的所述第一帧中的相同位置处的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。利用这样一种图像处理方法，因此减少了信号处理部的大小，并且还降低了功率消耗。

根据本发明的又一实施例，提供了一种图像处理装置，包括：帧分离部、第一信号处理部、比较部、第三信号处理部、复制处理部和结合部。帧分离部被设置成将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数。第一信号处理部被设置成对所分离的第一帧执行用户指定的信号处理。比较部被设置为在所分离的至少一个第二帧与所述信号处理之前的所述第一帧之间执行像素对像素比较。第三信号处理部被设置为对被检测为具有阈值以上差值的像素执行所述信号处理。复制处理部被设置成向被检测为不具阈值以上差值的像素提供经过所述信号处理的所述第一帧中的相同位置处的像素的值。结合部被设置为将来自所述第三信号处理部的输出与来自所述复制处理部的输出结合，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

如上所述，根据本发明，减小了信号处理用硬件的大小，并且提高了图像传输的效率。

如附图所示，鉴于下文对最佳实施例的详述，本发明的这些或其他目的、特征和优点将变得更加清晰。

附图说明

图1为示出本发明的第一到第四实施例的高速图像数据及其编码处理的概要的示图；

图2为示出本发明第一实施例中的编码设备的配置的框图；

图3为表示图2中的编码设备执行的处理的流程图；

图4为示出图2中的编码设备对16倍高速图像数据执行的处理的示图；

图5为示出用于与图2中的编码设备结合使用的解码设备的配置的框图；

图6为示出本发明第二实施例中的编码设备的配置的框图；

图7为表示图6中的编码设备的操作的流程图；

图8为示出本发明第三实施例中的编码设备的配置的框图；

图9为表示图8中的编码设备的操作的流程图；

图10为图示通过在水平方向上进行图像扫描来提取特征点的方法的示图；

图11为图示针对像素间的差值落入阈值范围内的矩形区的各个群组提取像素作为特征点的方法的示图；

图12为图示通过小波变换提取特征点的方法的示图；

图13为示出本发明第四实施例中的图像处理装置的配置的框图；以及

图14为表示第四实施例中的图像处理装置的操作的流程图。

具体实施方式

下文将参照附图描述本发明的实施例。

实施例是关于一种适于对高速图像数据进行信号处理的图像处理方法、编码设备、解码设备和图像处理装置。

【关于高速图像数据】

首先将描述高速图像数据。

高速图像数据是高速摄像机拍摄的视频数据。与每秒24或30帧的普通摄像机成像相比，高速摄像机能以高帧率执行成像，例如，每秒数百帧、数千帧或数万帧。利用这种高速摄像机，例如，以每秒120帧的帧率拍摄的图像以每秒30帧的通常速度再现，从而以(等倍速)1倍速的四分之一的速度实现高清晰度慢动作再现。此外，为了以1倍速再现以每秒120帧的速度拍摄的高速图像数据，如图1所示，这些帧可以以1/4为周期再现。在以下描述中，将要处理以1倍速再现的帧被称为“1倍速帧”(第一帧)，其他帧被称为“非1倍速帧”(第二帧)。

【编码设备的概要】

对于上述高速图像数据的信号处理，实施例的编码设备对1倍速帧执行用户指定类型的信号处理。该编码设备还对所有帧进行分频以具有低频分量和高频分量，然后将非1倍速帧中的高频分量进行压缩并编码。该编码设备然后针对各个非1倍速帧，获得非1倍速帧与紧在其前面的1倍速帧之间的低频分量的差值的数据，并且对产生的差值数据进行压缩并编码。至于此类非1倍速帧的差值数据，该编码设备将其中的压缩代码与非1倍速帧中的高频分量的压缩数据结合，并且将结合结果与上述对1倍速帧执行的信号处理的结果一起传输。

【解码设备的概要】

另一方面，实施例的解码设备将进入的图像信息分为经过信号处理的1倍速帧、非1倍速帧中高频分量的压缩数据和非1倍速帧的低频分量差值数据中的压缩代码。然后，该解码设备对所分离的结果，即，非1倍速帧中高频分量的压缩数据和低频分量差值数据中的压缩代码进行扩展。然后，该解码设备使用经扩展的低频分量差值数据和经过信号处理的1倍速帧中的低频分量，来解压缩近似地经过信号处理的非1倍速帧中的低频分量。然后，该解码设备使用解压缩的非1倍速帧中的低频分量和非1倍速帧中的高频分量，通过分频的逆操作来解压缩经过信号处理的非1倍速帧。解压缩的非1倍速帧与经过信号处理的1倍速帧结合，并且结合结果作为解压缩图像被输出。

【第一实施例】

接下来，将详细描述本发明的第一实施例。

【编码设备的配置】

图2为示出本发明第一实施例中的编码设备的配置的框图。

编码设备100被设置成包括帧分离部101、第一信号处理部103、第一小波变换部105、第一缓冲器107、差值生成部109、第一熵编码部111、第二熵编码部113、第一结合部115和传输部117。

帧分离部101从高速相机(未示出)输入的高速图像数据分离出任何1倍速帧。帧分离部101将分离的1倍速帧提供给第一信号处理部103，并且将包括1倍速帧在内的所有帧提供给第一小波变换部105。

第一信号处理部103对1倍速帧执行用户预先指定类型的信号处理。信号处理的类型将随后描述。

第一小波变换部105(分频部)对于帧分离部101提供的帧执行分频的小波变换。利用小波变换，图像被分为低频分量、X方向高频分量、Y方向高频分量和XY方向高频分量。第一小波变换部105将通过对1倍速帧执行小波变换而获得的低频分量存储在第一缓冲器107。第一小波变换部105将通过对非1倍速帧执行小波变换而获得的低频分量提供给差值生成部109，并且将剩余分量提供给第二熵编码部113，该剩余分量也就是X方向高频分量、Y方向高频分量和XY方向高频分量。

第一缓冲器107存储第一小波变换部105对1倍速帧执行小波变换而获得的低频分量。

差值生成部109生成第一小波变换部105对非1倍速帧执行小波变换而获得的低频分量与存储在第一缓冲器107中的1倍速帧的低频分量之间的差值的数据。所得的差值数据被提供给第一熵编码部111。

第一熵编码部111(压缩和编码部)通过熵编码对由差值生成部109生成的差值数据进行压缩并编码。熵编码包括霍夫曼编码、算术编码及其他。

第二熵编码部113(压缩和编码部)通过熵编码对由第一小波变换部105对非1倍速帧执行小波变换而获得的高频分量进行压缩。

第一结合部115将来自第一熵编码部111的输出(即，非1倍速帧的压缩的低频分量差值数据)和来自第二熵编码部113的输出(即，非1倍速帧的高频分量的压缩数据)进行结合。然后第一结合部115将结合的结果提供给传输部117。

传输部117传输经过第一信号处理部103执行的信号处理的未压缩的1倍速帧和第一结合部115得到的结合结果，即，非1倍速帧的压缩数据。

【编码设备100的操作】

接下来描述的是编码设备100的操作。

图3为表示编码设备置100的操作的流程图。

首先，在编码设备100的寄存器和存储器上执行初始化处理(步骤S101)。

在初始化完成之后，高速图像数据例如通过高速摄像机(未示出)被输入(步骤S102)。

帧分离部101从输入的高速图像数据分离任何1倍速帧以提供到第一信号处理部103，并且将包括1倍速帧在内的所有帧提供给第一小波变换部105(步骤S103)。

第一信号处理部103对所提供的1倍速帧执行用户提前指定的信号处理(步骤S104)，并且将结果提供给传输部117。这样，对1倍速帧执行信号处理的结果被传输(步骤S111)。

另一方面，当1倍速帧输入时以及当非1倍速帧输入时，第一小波变换部105执行不同的操作。

当1倍速帧被输入到第一小波变换部105时，第一小波变换部105对1倍速帧执行小波变换(步骤S105)，并且将1倍速帧中的低频分量存储在第一缓冲器107中(步骤S106)。

此外，当非1倍速帧被输入到第一小波变换部105时，第一小波变换部105对非1倍速帧执行小波变换(步骤S107)。然后，第一小波变换部105将非1倍速帧中的低频分量提供给差值生成部109，并且将其中的高频分量提供给第二熵编码部113。第二熵编码部113对非1倍速帧中的高频分量进行压缩并编码(步骤S108)，并且将结果提供给第一结合部115。

另一方面，差值生成部109计算(由第一小波变换部105提供的)非1倍速帧的低频分量与(存储在第一缓冲器107中的)1倍速帧的低频分量之间的差值(步骤S109)。第一熵编码部111通过熵编码对此差值数据进行压缩并编码(S110)，然后该差值数据在第一结合部115中被与非1倍速帧中的高频分量的压缩数据结合。结合结果通过传输部117被传输(步骤S111)。

当从高速摄像机(未示出)输入高速图像数据时，重复以上所述操作(步骤S112)。

图4为示出编码设备100对16倍速(每秒16帧)的高速图像数据执行的处理的示图。

注意，尽管为方便起见在各帧的左下角分别设有帧号(1-16)，但实际图像没有这种帧号。

在此实例中，假设帧号为1的帧为1倍速帧。此1倍速帧未经压缩而传输。帧号为2-16的余下的15帧分别处理为非1倍速帧。第一小波变换部105对帧号为1-16的所有帧执行小波变换。在小波变换之后，1倍速帧中的低频分量被存储在第一缓冲器107中。差值生成部109然后计算具有帧号为2-16的各个帧中的低频分量与存储在第一缓冲器107中的低频分量的差值。各帧所得的差值数据在第一熵编码部111中被压缩并编码。在如此压缩和编码后，各个帧的差值数据与经第二熵编码部113压缩并编码的相同帧中的高频分量的数据结合。然后，结合结果通过传输部117被传输。

【编码设备的配置】

接下来描述的是结合以上所述实施例中的编码设备100使用的解码设备。

图5为示出了解码设备的配置的框图。

解码设备200被设置成包括分离部201、第二小波变换部203、第二缓冲器205、第一熵编码部207、第二熵编码部209、解压缩处理部211、第二结合部213、逆小波变换部215和图像输出部217。

分离部201将编码装置100传输来的压缩图像数据分为：经过信号处理的未压缩的1倍速帧、非1倍速帧的压缩的低频分量差值数据以及非1倍速帧的高频分量的压缩数据。

第二小波变换部203对分离部201分离的未压缩的1倍速帧执行分频的小波变换。第二小波变换部203使得第二缓冲器205将小波变换获得的1倍速帧中的低频分量存储在其中。

第一熵解码部207(扩展部)通过熵解码对分离部201所分离的压缩的差值数据进行扩展。

第二熵解码部209(扩展部)通过熵解码对分离部201所分离的高频分量的压缩数据进行扩展。

使用第一熵解码部207扩展的差值数据和存储在第二缓冲器205中的未压缩的1倍速帧中的低频分量，解压缩处理部211(低频分量解压缩部)解压缩近似地经过了信号处理的非1倍速帧中的低频分量。

第二结合部213将解压缩处理部211获得的非1倍速帧中的低频分量和第二熵解码部209获得的非1倍速帧中的高频分量结合为各帧的小波变换图像。

使用第二结合部213得到作为结合结果的小波变换图像，逆小波变换部215(帧解压缩部)解压缩非1倍速帧。所得的非1倍速帧被提供给图像输出部217。

图像输出部217将分离部201分离的未压缩的1倍速帧和逆小波变换部215获得的非1倍速帧作为解压缩的图像输出。

【解码设备200的操作】

接下来描述的是解码设备200的操作。

首先，在解码设备200的寄存器和存储器上执行初始化处理。

此后，分离部201被提供来自上述编码装置100的压缩图像。

分离部201分离的未压缩的1倍速帧按原样提供给图像输出部217。因此，当用户指示解码设备200执行1倍速帧再现时，分离部201可以从输入压缩图像仅仅分离出未压缩的1倍速帧以提供给图像输出部217。

当用户指示解码设备200执行慢动作再现时，分离部201将此压缩图像分离为未压缩的1倍速帧、非1倍速帧的压缩的低频分量差值数据以及非1倍速帧中的高频分量的压缩数据。分离部201分离的未压缩的1倍速帧被提供给图像输出部217和第二小波变换部203。第二小波变换部203将通过对未压缩的1倍速帧执行小波变换而获得的低频分量提供给第二缓冲器205以存储在其中。

分离部201分离的非1倍速帧的压缩的低频分量差值数据在第一熵解码部207中被扩展。所得的低频分量差值数据被提供给解压缩处理部211。在接收到低频分量差值数据之后，解压缩处理部211从第二缓冲器205读取1倍速帧中的低频分量。使用1倍速帧中的低频分量和非1倍速帧的低频分量差值数据，解压缩处理部211解压缩近似地经过信号处理的非1倍速帧中的低频分量。此解压缩过程例如是通过从1倍速帧中的低频分量减去差值数据而执行的。因为未压缩的1倍速帧是在编码设备100中经过信号处理的帧，所以解压缩处理部211将要解压缩的非1倍速帧中的低频分量近似地经过信号处理。如此解压缩的非1倍速帧中的低频分量被提供给第二结合部213。

此外，分离部201分离的非1倍速帧中的高频分量的压缩数据通过第二熵解码部209被扩展，然后被提供给第二结合部213。第二结合部213将解压缩处理部211解压缩的非1倍速帧中的低频分量与第二熵解码部209扩展的非1倍速帧中的高频分量结合。结合结果被提供给逆小波变换部215。使用所提供的非1倍速帧中的低频分量和高频分量，逆小波变换部215通过逆小波变换解压缩非1倍速帧以提供给图像输出部217。以此方式，非1倍速帧被从图像输出部217输出。

1倍速帧和非1倍速帧从图像输出部217按照帧号的顺序连续被输出，并且通过如此的重复输出，以慢动作再现了图像。

根据上述第一实施例，仅仅通过对1倍速帧执行信号处理，有待于以慢动作再现的图像近似地全部经过信号处理。这因此减少了用于对高速图像应用信号处理的信号处理部的大小，并且还降低了功耗。此外，根据第一实施例，由于具有减小硬件大小的效果，所以减少了非1倍速帧的代码的传输量，从而提高了高速图像的传输效率。

【第二实施例】

接下来描述的是本发明第二实施例中的编码设备100A。

第二实施例中的编码设备100A的特征在于不仅对1倍速帧执行信号处理，而且还对非1倍速帧中的低频分量与1倍速帧的差值在阈值遇上的任何部分执行信号处理。

图6为示出本发明第二实施例中的编码设备100A的配置的框图。图7为表示本实施例中的编码设备100A的操作的流程图。

与第一实施例中的编码设备100相比，本实施例中的编码设备100A还具有第二信号处理部108A。除了其中的部件在各附图标记末尾具有“A”以外，剩余的配置与第一实施例中编码设备100的相同。

第二信号处理部108A确定(由第一小波变换部105A输出的)非1倍速帧的低频分量与(第一缓冲器107A中所存储的)1倍速帧的低频分量之间的低频分量的差值在阈值以上的部分(步骤S207-1)。第二信号处理部108A对所定义的部分执行信号处理(步骤S207-2)而不对剩余的部分执行信号处理。第二信号处理部108A的输出被提供给差值生成部109A。差值生成部109A获得来自第二信号处理部108A的输出与从第一缓冲器107A读取的1倍速帧中低频分量之间的差值的数据。所得的差值数据被提供给第一熵编码部111A(步骤S209)。此后的操作类似于第一实施例中编码设备100中的操作。

同样，在第二实施例中，第一信号处理部103A对1倍速帧执行信号处理，并且第二信号处理部108A对(由第一小波变换部105A输出的)非1倍速帧的低频分量与(由第一缓存器107A存储的)1倍速帧的低频分量之间的低频分量的差值在阈值以上的任何部分执行信号处理。如此，尽管与第一实施例中只对1倍速帧执行信号处理的情况相比，信号处理的总量在某种程度上增加了，但是对非1倍速帧的信号处理执行得更好。这样，可期望提高慢动作再现时的图像质量。

应注意，此编码设备100A将要获得的压缩图像将要被第一实施例中的解码设备200解压缩。

【第三实施例】

接下来描述的是本发明第三实施例中的编码设备。

图8为示出本发明第三实施例中的编码设备100B的配置的框图。图9为表示本实施例中的编码设备100B的操作的流程图。

与第二实施例中的编码设备100A相比，本实施例中的编码设备100B另外具有帧内(in-frame)压缩信号处理部102B。除了其中的部件在各附图标记末尾以“B”代替“A”之外，剩余的配置与第二实施例中编码设备100A的配置相同。

帧内压缩信号处理部102B从图像的各个帧中提取表示图像特征的一个或多个像素的位置作为(一个或多个)特征点。帧内压缩信号处理部102B对所提取的作为特征点的像素应用信号处理，并且根据信号处理的结果创建用以代替不是特征点的像素的值的插值(interpolation)值。以此方式，帧中的像素并非全部经过信号处理，但是所得的图像与对帧中各个像素执行信号处理的图像实质上相同。

图10至图12分别为图示通过分析图像中的频率成分提取特征点的方法的示图。

提取特征点的方法示例如下。

A.帧内压缩信号处理部102B在水平方向(或垂直方向)上扫描图像，并且在各像素群中发现作为特征点的像素。此像素群是在扫描方向上彼此相邻的像素之间的差值在阈值范围内的区域。这里的阈值根据信号处理的类型任意选择(参照图10)。

B.帧内压缩信号处理部102B在各矩形区(群)中找出作为特征点的像素，在矩形区(群)中，在水平方向或垂直方向上彼此相邻的像素之间的差值在阈值范围内(参照图11)。

C.帧内压缩信号处理部102B以(例如)2×2像素区和4×4像素区为基础执行小波变换，以具有低频分量和高频分量。帧内压缩信号处理部102B在各群中找出作为特征点的一个或多个像素。此群是在2×2像素区和4×4像素区中执行小波变换所获得的最大像素数的区域，并且在这样的区预中，在垂直方向、横向和斜向上的像素之间的差值(例如，平均值或最大值)在阈值范围内。通过在2×2像素区上执行小波变换所获得的这样的区域中，当在垂直方向、横向和斜向上的像素之间的差值(例如，平均值或最大值)不在阈值范围内时，帧内压缩信号处理部102B将所有2×2个像素全部定义为特征点(参照图12)。注意，图12中示出了对2×2像素和4×4像素执行小波变换的情况。可替代地，小波变换可以基于更大数目的像素的区域用于特征点提取来执行。

在第三实施例的下列描述中，详细描述了使用上述方法A提取特征点的情况，但是剩下的其他方法也可以类似地使用。

在图10中，对于输入图像，帧内压缩信号处理部102B以P1到P2、P2到P3、P3到P4等顺序计算在扫描方向上彼此相邻的像素之间的差值。在图10的图像中，矩形对应于像素，并且具有相同设计的矩形表示在扫描方向上彼此相邻的像素的差值落入阈值范围内。此外，在扫描方向上的具有相同设计的一个或多个连续的像素表示这些像素形成像素群。例如，从P1到P5的一系列像素形成像素群G1，像素P6形成像素群G2，而从P7到P13的一系列像素形成像素群G3。在此实例中，G1到G12的12个像素群为帧内压缩信号处理部102B提取特征点的目标。

然后，帧内压缩信号处理部102B在各像素群中定义像素作为特征点。作为实例，图10示出了在各像素群中在扫描方向上的第一像素被定义为特征点(即，C1到C12)的情况。

帧内压缩信号处理部102B对帧中作为特征点的像素执行用户指定的信号处理，并且使用信号处理的结果，对不是特征点的像素的值进行插值(图9中步骤S303-1)。对于这样的插值，例如，对特征点执行的信号处理的结果可用于对特征点所属的像素群中不是特征点的像素的值进行插值。这种插值方法示例为一种复制方法，利用该复制方法，对特征点执行信号处理的结果按照原样提供给不是特征点的像素，但是本发明并不限于此。

在帧内压缩信号处理部102B随后的阶段中，来自帧内压缩信号处理部102B的输出通过与第二实施例中的编码设备100A类似的部件即，通过第一小波变换部105B、第二信号处理部108B、差值生成部109B、第一熵编码部111B和第二熵编码部113B，进行处理。

根据本实施例中的编码设备100B，帧内压缩信号处理部102B特别地对非1倍速帧中作为图像特征点的像素执行信号处理，并且使用根据信号处理的结果建立的插值值来替换不是特征点的像素的值。如此，虽然非1倍速帧中的像素并非全部经过信号处理，但是所得的图像与对帧中每个像素都执行信号处理的图像实质上相同。因此对非1倍速帧的信号处理执行得更好，并且因此可预期能提高低运动再现时的图像质量。

此外，非1倍速帧中的低频分量与1倍速帧中的低频分量的差值较大的部分由第二信号处理部108B单独进行信号处理。如此，可期望进一步提高慢动作再现时的图像质量。

【第四实施例】

接下来描述本发明的第四实施例。

上述实施例中的编码设备都采用对非1倍速帧执行小波变换和熵编码的技术。然而，当主要考虑降低对高速图像的信号处理的总的操作复杂度时，小波变换和熵编码的技术并非必需的。鉴于此，接下来描述主要用于降低对高速图像的信号处理的总的复杂度的图像处理装置。

图13为示出本发明第四实施例中的图像处理装置的配置的方框图。

图像处理装置100C被设置为包括帧分离部101C、第一信号处理部103C、第一帧缓冲器107C、第二帧缓存器119C、差值确定部109C、第三信号处理部121C、复制处理部123C、第一结合部115C和传输部117C。

帧分离部101C从高速摄像机(未示出)输入的高速图像数据分离任何1倍速帧，并且将1倍速帧提供给第一信号处理部103C。

第一信号处理部103C对帧分离部101C分离的1倍速帧执行用户指定的信号处理。

第一帧缓冲器107C存储帧分离部101C分离的1倍速帧。

第二帧缓冲器119C存储经过第一信号处理部103C执行的信号处理的1倍速帧。

差值确定部109C(比较部)请求第三信号处理部121C对帧分离部101C分离的非1倍速帧中的任何像素(即，被确定为与从第一帧缓冲器107C读取的1倍速帧的差值在阈值以上的任何像素)执行信号处理。对于被确定为不具有阈值以上差值的像素，差值确定部109C则请求复制处理部123C对这些像素执行复制处理。

响应于差值确定部109C的请求，第三信号处理部121C类似于第一信号处理部103C对目标像素执行信号处理，并且将结果提供给第一结合部115C。

响应于差值确定部109C的请求，复制处理部123C为各个目标像素提供存储在第二帧缓存器119C中的经过信号处理的帧中的位于相同位置处的像素的值，。结果被提供给第一结合部115C。

第一结合部115C将来自第三信号处理部121C的输出和来自复制处理部123C的输出结合，从而建立近似地经过信号处理的非1倍速帧。

传输部117C传输第一信号处理部103C提供的1倍速帧和第一结合部115C提供的非1倍速帧。

【图像处理装置100C的操作】

图14为表示第四实施例中的图像处理装置的操作的流程图。

首先，在图像处理装置100C的寄存器和存储器上执行初始化过程(步骤S401)。在初始化完成之后，高速图像数据例如从高速摄像机(未示出)输入(步骤S402)。

帧分离部101C从输入的高速图像数据分离任何1倍速帧，并且将1倍速帧提供给第一信号处理部103C和第一帧缓冲器107C。帧分离部101C将非1倍速帧提供给差值确定部109C(步骤S403)。以此方式，1倍速帧被存储在第一帧缓冲器107C(步骤S404)。存储在第一帧缓冲器107C中的1倍速帧保持被存储，直到帧分离部101C提供任何新的1倍速帧为止。

第一信号处理部103C对帧分离部101C提供的1倍速帧执行提前指定的信号处理，并且将结果提供给传输部117C(步骤S405)。以此方式，经过信号处理的1倍速帧被传输(步骤S411)。经过信号处理的1倍速帧被提供给第二帧缓存器119C以存储在其中(步骤S406)。

另一方面，至于帧分离部101C提供的非1倍速帧，差值确定部109C确定他们与存储在第一帧缓冲器107C中的1倍速帧的差值。差值确定部109C请求第三信号处理部121C对被确定为具有阈值以上差值的任何像素执行信号处理。至于被确定为不具有阈值以上差值的像素，差值确定部109C则请求复制处理部123C对这些像素执行复制处理(步骤S407)。

响应于差值确定部109C的请求，第三信号处理部121C对任何目标像素执行信号处理(步骤S409)，并且将结果提供给第一结合部115C。另一方面，响应于差值确定部109C的请求，复制处理部123C为各个目标像素提供存储在第二帧缓存器119C中经过信号处理的帧中的位于相同位置处的像素的值(步骤S408)。结果被提供给第一结合部115C。

第三信号处理部121C的输出与复制处理部123C的输出在结合部115C中被空间地结合，由此，解压缩出近似地经过信号处理的非1倍速帧(步骤S410)。此后，这些近似地经过信号处理的非1倍速帧由传输部117C被传输(步骤S411)。

当高速摄像机(未示出)输入高速图像数据时(步骤S412)，重复上述操作，并且经过信号处理的高速图像数据被连续传输。

注意，本实施例中，在图像处理装置100C进行信号处理之后传输的高速图像是仅仅通过按照顺序对这些帧进行处理被再现的。

根据本实施例中的图像处理装置100C，只通过对1倍速帧和非1倍速帧中被确定为具有与1倍速帧的差值在阈值以上的任何像素执行信号处理，要以慢动作再现的图像就全部近似地经过图像处理。这因此减少了负责向高速图像应用信号处理的信号处理部的大小，并且降低了功耗。

【关于信号处理】

以上描述的是通过上述各实施例中的图像处理装置实现的降低信号处理总的操作复杂度的效果，但是在现实世界中，降低操作复杂度的效果根据信号处理的类型而变化。

对像素的值执行的信号处理主要包括使用抽头(Tap)完成的数字信号处理以及不使用抽头完成的数字信号处理。对于使用抽头完成的数字信号处理，对第n像素执行信号处理的算法仅使用有关第n像素的信息。这样的使用抽头完成的数字信号处理例如包括白平衡调节、黑平衡调节、伽玛校正、拐点校正、白电平裁减(WhiteClip)校正、饱和度校正、亮度校正、矩阵校正、偏移处理、阴影校正和渐晕校正。对于不使用抽头完成的数字信号处理，对第n像素的信号处理的算法不仅使用关于第n像素的信息，而且使用关于坐标空间中第n像素之前、之后、之上、之下或周围的像素的信息。这样的不使用抽头完成的数字信号处理例如包括低通滤波、DNR(数字降噪)、高通滤波、详细处理和放大像差校正。

上述第一到第三实施例中的编码设备均获得非1倍速帧中的低频分量与信号处理之前1倍速帧中的低频分量的差值的数据。使用所得的差值数据和有关经过信号处理的1倍速帧中低频分量中相同位置处的像素的信息，编码设备生成近似地经过信号处理的1倍速帧中的低频分量。因此，对于使用抽头完成的数字信号处理，顺利地生成了近似地经过信号处理的非1倍速帧中的低频分量。然而，这些实施例并不适于使用要获得其信息的像素周围的像素有关的信息的这种数字信号处理类型(不使用抽头完成的数字信号处理)。

注意，对于不使用抽头完成的数字信号处理，使用低通滤波器和DNR(数字降噪)的低通处理是例外情况。原因如下：即，利用上述实施例中的编码设备，有关非1倍速帧中的低频分量的信息在被差值数据替换后才被传输。由于使用预定位数的差值数据替换了非1倍速帧中的低频分量，所以可忽略低频分量中最高频率范围中的任何差值(微小差值)。因此，在第一到第三实施例中的编码设备均做为与低频分量相关的低通设备而稳定地操作，因此当第一信号处理部对1倍速帧执行低通信号处理时，他们被认为是高效的。

如此，以上描述了用于处理高速摄像机拍摄的高速图像数据的方法和装置，毫无疑问，本发明还可适用于(例如)通常的电影摄像机或处理摄像机拍摄的图像数据的装置，从而试图减少用于信号处理的硬件的大小。

本发明还采用以下结构。

(1)一种图像处理方法，包括：

将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和至少一个第二帧，其中n是整数2或更大的整数；

计算所分离的至少一个第二帧与第一帧之间的低频分量差值；

对所述第一帧执行用户设计的信号处理；

利用经过所述信号处理的所述第一帧中的低频分量和所述低频分量差值，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及

利用解压缩的所述至少一个第二帧中的低频分量及其中的高频分量来解压缩近似地经过所述信号处理的所述至少一个第二帧。

(2)根据(1)所述的图像处理方法，进一步包括：

对所述至少一个第二帧中的与所述信号处理之前的所述第一帧的所述低频分量差值在阈值以上的像素执行所述信号处理。

(3)根据(1)或(2)所述的图像处理方法，进一步包括：

通过分析至少所分离的至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

(4)一种编码设备，包括：

帧分离部，被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和至少一个第二帧，其中n是整数2或更大的整数；

第一分频部，被配置为将所分离的第一帧和至少一个第二帧中的每个分成低频分量以及高频分量；

差值生成部，被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量中的差值数据；

压缩编码部，被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码；

第一信号处理部，对所分离的第一帧执行用户指定的信号处理；以及

传输部，被配置为传输被压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过所述信号处理的所述第一帧。

(5)根据(4)所述的编码设备，进一步包括：第二信号处理部，被配置为对所述至少一个第二帧中的与所述第一帧的所述低频分量差值在阈值以上的像素执行所述信号处理。

(6)根据(5)所述的编码设备，进一步包括：

帧内压缩信号处理部，被配置为通过分析至少所分离的至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以用于替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

(7)一种用于解码根据(4)到(6)中任意一项所述编码设备传输信息的解码设备，该解码设备包括：

分离部，被配置为将所述编码设备传输的信号分成差值数据的压缩代码、所述至少一个第二帧中的高频分量的压缩代码和经过所述信号处理的所述第一帧中；

扩展部，被配置为对所分离的差值数据和所分离的所述至少一个第二帧中的高频分量中的压缩代码进行扩展；

低频分量解压缩部，被配置为使用经过所述信号处理的所述第一帧中的低频分量和经扩展的差值数据，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及

帧解压缩部，被配置为使用解压缩的所述至少一个第二帧中的低频分量和扩展的所述至少一个第二帧中的高频分量，通过分频的逆操作，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

本发明包含于2011年7月25日提交到日本专利局的日本优先专利申请JP 2011-161791中所公开的主题有关的主题，该申请的全部内容以引用方式并入于此。

本领域技术人员可以理解的是，在所附权利要求书或其等同形式的范围内，可以根据设计需求及其具有的其他因素进行各种修改、组合、子组合或替换。

Claims (9)

1.一种图像处理方法，包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；

计算所分离的所述至少一个第二帧与所述第一帧之间的低频分量差值；

对所述第一帧执行用户指定的信号处理；

利用经过所述信号处理的所述第一帧中的低频分量和所述低频分量差值，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及

利用解压缩的所述至少一个第二帧中的低频分量以及所述至少一个第二帧中的高频分量，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

2.根据权利要求1所述的图像处理方法，进一步包括：对所述至少一个第二帧中的与所述信号处理之前的所述第一帧的所述低频分量差值在阈值以上的像素执行所述信号处理。

3.根据权利要求2所述的图像处理方法，进一步包括：通过分析至少所分离的所述至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以用于替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

4.一种编码设备，包括：帧分离部，被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；

第一分频部，被配置为将所分离的所述第一帧和所述至少一个第二帧中的每个分成低频分量以及高频分量；

差值生成部，被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量的差值数据；

压缩编码部，被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码；

第一信号处理部，被配置为对所分离的所述第一帧执行用户指定的信号处理；以及

传输部，被配置为传输经压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过了所述信号处理的所述第一帧。

5.根据权利要求4所述的编码设备，进一步包括：第二信号处理部，被配置为对所述至少一个第二帧中的与所述第一帧的所述低频分量差值在阈值以上的像素执行所述信号处理。

6.根据权利要求5所述的编码设备，进一步包括：帧内压缩信号处理部，被配置为通过分析至少所分离的所述至少一个第二帧中的频率分量以提取作为特征点的像素，通过对这些像素执行信号处理，并且通过根据信号处理结果生成插值值以用于替换不是特征点的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

7.一种用于解码由编码设备传输的信息的解码设备，

所述编码设备包括：帧分离部，被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；

第一分频部，被配置为将所分离的所述第一帧所述和至少一个第二帧中的每个分成低频分量以及高频分量；

差值生成部，被配置为生成所述至少一个第二帧与所述第一帧之间的低频分量的差值数据；

压缩编码部，被配置为对所述至少一个第二帧中的高频分量和所述差值数据进行压缩并编码；

第一信号处理部，被配置为对所分离的所述第一帧执行用户指定的信号处理；以及

传输部，被配置为传输经压缩并编码的所述至少一个第二帧中的高频分量和所述差值数据以及经过了所述信号处理的所述第一帧，

所述解码设备包括：

分离部，被配置为将所述编码设备传输的信息分成所述差值数据的压缩代码，、所述至少一个第二帧中的高频分量的压缩代码以及经过所述信号处理的所述第一帧；

扩展部，被配置为对所分离的所述差值数据和所分离的所述至少一个第二帧中的高频分量的压缩代码进行扩展；

低频分量解压缩部，被配置为使用经过所述信号处理的所述第一帧中的低频分量和经扩展的差值数据，来解压缩近似地经过所述信号处理的所述至少一个第二帧中的低频分量；以及

帧解压缩部，被配置为使用经解压缩的所述至少一个第二帧中的低频分量和经扩展的所述至少一个第二帧中的高频分量，通过分频的逆操作，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

8.一种图像处理方法，包括：将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和除第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；

对所分离的所述第一帧执行用户指定的信号处理；以及

对通过在所分离的所述至少一个第二帧和所述信号处理之前的所述第一帧之间执行的像素对像素的比较而被检测为具有阈值以上差值的像素执行所述信号处理，并且通过对被检测为不具有阈值以上差值的像素提供经过所述信号处理的所述第一帧中的相同位置处的像素的值，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

9.一种图像处理装置，包括：帧分离部，被配置为将以预定帧率拍摄的图像分离为以1/n为周期的第一帧和第一帧以外的至少一个第二帧，其中n是整数2或更大的整数；

第一信号处理部，被配置为对所分离的所述第一帧执行用户指定的信号处理；

比较部，被配置为在所分离的所述至少一个第二帧与所述信号处理之前的所述第一帧之间执行像素对像素比较；

第三信号处理部，被配置为对被检测为具有阈值以上差值的像素执行所述信号处理；

复制处理部，被配置为向被检测为不具有阈值以上差值的像素提供经过所述信号处理的所述第一帧中的相同位置处的像素的值；以及

结合部，被配置为将来自所述第三信号处理部的输出与来自所述复制处理部的输出结合，来解压缩近似地经过所述信号处理的所述至少一个第二帧。

Images