CN104349056A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

提供一种图像处理设备、图像处理方法和程序。图像处理设备包括：图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

Description

图像处理设备、图像处理方法和程序

相关申请的交叉引用

本申请要求于2013年8月7日提交的日本优先权专利申请JP2013-163718的利益，其全部内容通过引用包含于此。

背景技术

本公开涉及一种图像处理设备、图像处理方法和程序。具体地讲，本公开涉及一种能够基于深度信息容易地优化图像处理的图像处理设备、图像处理方法和程序。

通常，图像存储装置压缩图像数据，并且存储压缩图像数据以将数据量减小至最小程度并且将数据存储较长时间。

在压缩处理中，准确区分被分配较大数量的代码以防止图像质量降低的区域与其它区域是很重要的。作为结果，可防止图像质量降低并且同时增加压缩率。

将这些区域彼此进行区分的方法的例子是这样的方法：分析未压缩图像，检测信息(例如，高频分量的存在/不存在、脸区域、沿时间方向的差异等)，并且基于该信息确定区域。例如，在分析整个未压缩图像的频率以检测高频分量的存在/不存在的情况下，具有高频分量的区域被定义为值得注意的区域，即被分配较大数量的代码的区域。另外，在从未压缩图像检测脸区域的情况下，脸区域被定义为具有主被摄体的区域，即被分配较大数量的代码的区域。根据这种方法，因为必须分析未压缩图像以确定被分配较大数量的代码的区域，所以处理量较大。

检测预定区域(诸如，脸区域)的方法的例子是这样的方法：基于距离图像检测人区域，距离图像是基于由采用外部光无源方法的测距装置获得的多个测距点的值产生的(例如，参见日本专利申请提前公开No.2005-12307)。

同时，已知采用图像平面相差自动聚焦方法的照相机。根据这种方法，图像传感器获得图像和以大于像素的单位表示图像的相差的深度图，并且迅速而准确地执行聚焦。

发明内容

如上所述，分析未压缩图像、确定被分配较大数量的代码的区域并且压缩图像的方法的处理量较大。也就是说，优化图像处理(诸如，例如基于图像的压缩处理)的方法的处理量较大。作为结果，被构造为处理图像的图像处理设备的电路的尺寸较大，并且电路消耗大量功率以便准确而迅速地优化图像处理。

考虑到上述情况，希望通过基于深度信息容易地优化图像处理来减小图像处理设备的尺寸、重量和成本。深度信息指示被摄体沿深度方向(即，垂直于成像平面的方向)的位置。深度信息的例子是深度图。深度图具有比图像少的数量的采样。

考虑到上述情况，希望基于深度信息容易地优化图像处理。

根据本公开的实施例，提供一种图像处理设备，所述图像处理设备包括：图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

根据本公开的实施例的图像处理方法和根据本公开的实施例的程序中的每一个对应于根据本公开的实施例的图像处理设备。

根据本公开的实施例，基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

根据本公开的实施例，可基于深度信息容易地优化图像处理。

考虑到下面对如附图中所示的本公开的最佳实施方式的详细描述，本公开的这些和其它目的、特征和优点将会变得更加清楚。

附图说明

图1是显示根据本公开的第一实施例的图像处理设备的结构的例子的方框图；

图2是显示拍摄的图像的例子的示图；

图3是显示图2的拍摄的图像的深度图的例子的示图；

图4是表示由图像处理设备执行的静止图像拍摄处理的流程图；

图5是详细地表示图4的优先级图产生处理的流程图；

图6是表示由图像处理设备执行的运动图像拍摄处理的流程图；和

图7是显示计算机的硬件的结构的例子的方框图。

具体实施方式

以下，将参照附图描述本公开的实施例。

<第一实施例>

(根据第一实施例的图像处理设备的结构的例子)

图1是显示根据本公开的第一实施例的图像处理设备的结构的例子的方框图。

图1的图像处理设备10包括光学系统11、图像传感器12、图像处理器13、压缩处理器14、介质控制器15、存储介质16、相差处理器17、微型计算机18、存储器19和致动器20。图像处理设备10获得图像和相差信息。相差信息以大于像素的单位(以下，称为“检测单位”)指示图像相对于焦平面的位移作为相差。图像处理设备10基于相差信息压缩图像。

具体地讲，光学系统11包括透镜、光阑等。在光学系统11中，图像传感器12收集来自物体的光。致动器20驱动光学系统11。

图像传感器12包括相差检测像素12A。图像传感器12按照像素单位以光电方式转换由光学系统11收集的光，以由此获得静止图像或运动图像的各像素的电信号。此时，相差检测像素12A基于由光学系统11收集的光按照检测单位产生相差信息，并且将相差信息提供给相差处理器17。图像传感器12将各像素的电信号提供给图像处理器13。需要注意的是，以下，如果不必将静止图像和运动图像彼此进行区分，则它们被统称为“拍摄的图像”。

因为相差检测像素12A基于由光学系统11收集的光产生相差信息，所以相差检测像素12A能够获得现在实时获得的图像的相差信息。

图像处理器13执行图像处理，例如，将从图像传感器12提供的各像素的模拟电信号转换成各像素的数字数据(即，图像数据)。图像处理器13将图像数据提供给压缩处理器14和微型计算机18。

压缩处理器14用作图像处理器。压缩处理器14基于从微型计算机18提供的代码分配优先级图压缩从图像处理器13提供的图像数据。需要注意的是，代码分配优先级图显示分配给各像素的代码的优先级。压缩处理器14将较大数量的代码分配给在代码分配优先级图中具有较高优先级的像素，并且压缩图像数据。

例如，JPEG(联合图像专家组)是压缩静止图像数据的方法之一。压缩运动图像数据的方法的例子包括MPEG-2(运动图像专家组阶段2)、MPEG-4等。压缩处理器14将压缩图像数据提供给介质控制器15。

介质控制器15控制存储介质16，并且将从压缩处理器14提供的压缩图像数据存储在存储介质16中。存储介质16由介质控制器15控制，并且存储压缩图像数据。

相差处理器17产生深度图，并且将深度图提供给微型计算机18。深度图包括按照检测单位从相差检测像素12A提供的拍摄的图像的相差信息。

微型计算机18控制图像处理设备10的各个块。例如，微型计算机18将从相差处理器17提供的深度图和从图像处理器13提供的图像数据提供给存储器19。

另外，微型计算机18用作检测单元，并且基于深度图检测主被摄体区域。主被摄体区域是拍摄的图像中的主被摄体的区域。微型计算机18基于主被摄体区域产生代码分配优先级图。

另外，如果拍摄的图像是运动图像，则微型计算机18从存储器19读取在运动图像的当前帧之前的帧的图像数据。然后，例如，微型计算机18将当前帧的运动图像的图像数据与前一帧的运动图像的图像数据进行匹配，以由此检测运动向量。然后，微型计算机18基于运动向量产生代码分配优先级图。

需要注意的是，以下，基于深度图产生的代码分配优先级图将会被称为“相位代码分配优先级图”，并且基于运动向量产生的代码分配优先级图将会被称为“运动代码分配优先级图”，这两种代码分配优先级图彼此不同。

微型计算机18将相位代码分配优先级图和运动代码分配优先级图提供给压缩处理器14。

另外，微型计算机18基于深度图控制致动器20，以使得焦点位置Fcs移动与由用户选择的位置的相差信息代表的位移量相反(inverse)的量。作为结果，可拍摄由用户选择的位置处于聚焦状态的图像。需要注意的是，例如，用户触摸与触摸屏(未示出)集成在一起的显示单元上显示的拍摄的图像的预定位置，以由此选择该位置作为聚焦的位置。

存储器19是微型计算机18的工作区域。存储器19存储由微型计算机18执行的处理的中间结果和最终结果。例如，存储器19存储从微型计算机18提供的深度图和图像数据。

致动器20由微型计算机18控制。致动器20驱动光学系统11，并且控制焦点位置Fcs、孔径值Iris和变焦因子Zm。

(拍摄的图像的例子)

图2是显示拍摄的图像的例子的示图。

在图2的拍摄的图像40中，房子41是前景，并且山42和云43是背景。另外，房子41是拍摄的图像40中的主被摄体，并且房子41处于聚焦状态。

(深度图的例子)

图3是显示图2的拍摄的图像40的深度图的例子的示图。

需要注意的是，在图3中，为了说明的目的，房子41、山42和云43被示出在深度图50上的对应位置。然而，房子41、山42和云43实际上未被显示在深度图50上。

因为在拍摄的图像40中房子41处于聚焦状态，所以如图3中所示，在深度图50上与房子41对应的位置的相差信息近似为0(在图3的例子中，该相差信息为0)。另外，因为山42和云43是背景，所以如图3中所示，在深度图50上与山42和云43对应的位置的相差信息为负(在图3的例子中，该相差信息为-20)。同时，如图3中所示，在深度图50上与位于房子41前方的物体对应的位置的相差信息为正(在图3的例子中，该相差信息为2、4、6和8)。

如上所述，房子41(即，聚焦主被摄体区域)的相差信息近似为0。因此，基于深度图50检测具有等于或大于假设最小尺寸(假设为拍摄的图像40的主被摄体的尺寸的最小尺寸，主被摄体的相差信息近似为0)的尺寸的区域。作为结果，容易地检测到主被摄体区域。也就是说，基于检测到的主被摄体区域分配代码，由此容易地优化压缩处理并且高效而准确地执行压缩处理。

(由图像处理设备执行的处理)

图4是表示由图像处理设备10执行的静止图像拍摄处理的流程图。

在图4的步骤S10中，图像传感器12按照像素单位以光电方式转换由光学系统11收集的光，以由此获得静止图像的各像素的电信号。图像传感器12将电信号提供给图像处理器13。另外，图像传感器12的相差检测像素12A基于由光学系统11收集的光按照检测单位获得相差信息。相差检测像素12A将相差信息提供给相差处理器17。

在步骤S11中，图像处理器13执行图像处理，例如，将从图像传感器12提供的静止图像的各像素的模拟电信号转换成各像素的数字数据(即，图像数据)。图像处理器13将图像数据提供给压缩处理器14和微型计算机18。微型计算机18将从图像处理器13提供的图像数据提供给存储器19，并且将图像数据存储在存储器19中。

在步骤S12中，图像处理设备10产生代码分配优先级图(即，优先级图产生处理)。将参照图5(以下描述)详细地描述优先级图产生处理。

在步骤S13中，压缩处理器14基于相位代码分配优先级图或图像代码分配优先级图(即，基于拍摄的图像产生的代码分配优先级图)压缩静止图像的图像数据。压缩处理器14将压缩图像数据提供给介质控制器15。

在步骤S14中，介质控制器15控制存储介质16，并且将从压缩处理器14提供的压缩图像数据存储在存储介质16中。如此完成静止图像拍摄处理。

图5是详细地表示图4的步骤S12的优先级图产生处理的流程图。

在图5的步骤S31中，相差处理器17基于从相差检测像素12A提供的拍摄的图像的按照检测单位的相差信息产生包括相差信息的深度图。相差处理器17将深度图提供给微型计算机18。微型计算机18将从相差处理器17提供的深度图提供给存储器19，并且将深度图存储在存储器19中。

在步骤S32中，微型计算机18从深度图检测均具有预定绝对值或更小的值(即，近似为0)的相差信息的检测单位。微型计算机18将包括检测到的连续的检测单位的区域视为聚焦区域。

在步骤S33中，微型计算机18确定至少一个聚焦区域的尺寸是否等于或大于假设最小尺寸。如果在步骤S33中确定至少一个聚焦区域的尺寸等于或大于假设最小尺寸，则微型计算机18在步骤S34中将具有等于或大于假设最小尺寸的尺寸的聚焦区域视为主被摄体区域。

在步骤S35中，微型计算机18检测在主被摄体区域周围的区域作为边界区域。

在步骤S36中，微型计算机18产生相位代码分配优先级图，以使得主被摄体区域和边界区域具有较高代码分配优先级。微型计算机18将相位代码分配优先级图提供给压缩处理器14。然后，该处理返回到图4的步骤S12并且前进至步骤S13。

作为结果，当压缩静止图像的图像数据时，较大数量的代码被分配给主被摄体区域和边界区域。较小数量的代码被分配给除这些区域之外的区域。作为结果，压缩图像数据的图像质量增加。

同时，如果在步骤S33中确定所有聚焦区域的尺寸小于假设最小尺寸，则该处理前进至步骤S37。在步骤S37中，微型计算机18以过去的方式基于拍摄的图像的图像数据产生图像代码分配优先级图。微型计算机18将图像代码分配优先级图提供给压缩处理器14。然后，该处理返回到图4的步骤S12并且前进至步骤S13。

作为结果，当压缩静止图像的图像数据时，例如，较大数量的代码被分配给具有高频分量的区域，并且较小数量的代码被分配给不具有高频分量的区域。作为结果，压缩图像数据的图像质量增加。

图6是表示由图像处理设备10执行的运动图像拍摄处理的流程图。

在图6的步骤S50中，图像传感器12按照像素单位以光电方式转换由光学系统11收集的光，以由此获得运动图像的各像素的电信号。图像传感器12将电信号提供给图像处理器13。另外，图像传感器12的相差检测像素12A基于由光学系统11收集的光按照检测单位获得相差信息。相差检测像素12A将相差信息提供给相差处理器17。

在步骤S51中，图像处理器13执行图像处理，例如，将从图像传感器12提供的运动图像的各像素的模拟电信号转换成各像素的数字数据(即，图像数据)。图像处理器13将图像数据提供给压缩处理器14和微型计算机18。微型计算机18将从图像处理器13提供的图像数据提供给存储器19，并且将图像数据存储在存储器19中。

在步骤S52中，图像处理设备10执行图5的优先级图产生处理。

在步骤S53中，微型计算机18确定运动图像的图片类型是否是I图片。

如果在步骤S53中确定运动图像的图片类型是I图片，则该处理前进至步骤S54。在步骤S54中，压缩处理器14基于从微型计算机18提供的相位代码分配优先级图或图像代码分配优先级图压缩从图像处理器13提供的运动图像的图像数据。

作为结果，当压缩I图片的图像数据时，较大数量的代码被分配给主被摄体区域和边界区域。较小数量的代码被分配给除这些区域之外的区域。作为结果，压缩图像数据的图像质量增加。压缩处理器14将压缩图像数据提供给介质控制器15。该处理前进至步骤S64。

同时，如果在步骤S53中图片类型不是I图片，即图片类型是P图片或B图片，则该处理前进至步骤S55。在步骤S55中，例如，微型计算机18将当前帧的运动图像的图像数据与存储在存储器19中的前一帧的运动图像的图像数据进行匹配，以由此检测运动向量。

在步骤S56中，微型计算机18基于运动向量产生运动代码分配优先级图。具体地讲，微型计算机18产生运动代码分配优先级图，以使得运动边界区域(即，其运动向量为0的区域和其运动向量不为0的区域之间的边界区域)的优先级较高。

也就是说，因为运动边界区域不可能包括与前一帧的运动图像对应的区域，所以代码被优先地分配给运动边界区域。同时，因为除运动边界区域之外的区域可能与由前一帧的运动图像中的运动向量指示的区域相同，所以代码不被优先地分配给除运动边界区域之外的区域。微型计算机18将运动代码分配优先级图提供给压缩处理器14。

在步骤S57中，微型计算机18确定是否在步骤S52中产生了相位代码分配优先级图。

如果在步骤S57中确定产生了相位代码分配优先级图，则在步骤S58中，微型计算机18确定是否在步骤S52的处理中产生了前一帧的运动图像的相位代码分配优先级图。如果在步骤S58中确定产生了前一帧的相位代码分配优先级图，则微型计算机18从存储器19读取前一帧的深度图。

然后，在步骤S59中，微型计算机18基于前一帧的深度图和在步骤S52中检测到的当前帧的主被摄体区域确定主被摄体区域是否移动。

具体地讲，微型计算机18执行图5的步骤S32至S34的处理，以由此从前一帧的深度图检测主被摄体区域。如果检测到的前一帧的主被摄体区域的位置不同于在步骤S52中检测到的当前帧的主被摄体区域的位置，则微型计算机18确定主被摄体区域移动。同时，如果检测到的前一帧的主被摄体区域的位置与在步骤S52中检测到的当前帧的主被摄体区域的位置相同，则微型计算机18确定主被摄体区域未移动。

如果在步骤S59中确定主被摄体区域未移动，则在步骤S60中，微型计算机18基于前一帧的主被摄体区域和当前帧的主被摄体区域确定主被摄体区域的形状是否改变。

如果前一帧的主被摄体区域的形状与当前帧的主被摄体区域的形状相同，则在步骤S60中确定主被摄体区域的形状未改变。该处理前进至步骤S61。

在步骤S61中，微型计算机18将相位代码分配优先级图的主被摄体区域的优先级改变为标准值，即除主被摄体区域和边界区域之外的区域的优先级。需要注意的是，微型计算机18不仅可将主被摄体区域的优先级改变为标准值，还可将边界区域的优先级改变为标准值。微型计算机18将改变后的相位代码分配优先级图提供给压缩处理器14。该处理前进至步骤S62。

同时，如果在步骤S58中确定未产生前一帧的相位代码分配优先级图，则微型计算机18将在步骤S52中产生的相位代码分配优先级图按原样提供给压缩处理器14。然后，该处理前进至步骤S62。

另外，如果在步骤S59中确定主被摄体区域移动，或者如果在步骤S60中确定主被摄体区域的形状改变，则微型计算机18将在步骤S52中产生的相位代码分配优先级图按原样提供给压缩处理器14。然后，该处理前进至步骤S62。

在步骤S62中，压缩处理器14基于从微型计算机18提供的相位代码分配优先级图和运动代码分配优先级图压缩从图像处理器13提供的运动图像的图像数据。

作为结果，当压缩P图片或B图片的图像数据时，较大数量的代码被分配给其形状或位置改变的主被摄体区域、边界区域和运动边界区域。较小数量的代码被分配给除这些区域之外的区域。作为结果，压缩图像数据的图像质量增加。压缩处理器14将压缩图像数据提供给介质控制器15。该处理前进至步骤S64。

同时，如果在步骤S57中确定未产生相位代码分配优先级图，则在步骤S63中，压缩处理器14基于运动代码分配优先级图压缩运动图像的图像数据。

作为结果，当压缩P图片或B图片的图像数据时，较大数量的代码被分配给运动边界区域，并且较小数量的代码被分配给除运动边界区域之外的区域。作为结果，压缩图像数据的图像质量增加。

需要注意的是，压缩处理器14不仅可基于运动代码分配优先级图压缩图像数据，还可基于在步骤S52中产生的图像代码分配优先级图压缩图像数据。压缩处理器14将压缩图像数据提供给介质控制器15。该处理前进至步骤S64。

在步骤S64中，介质控制器15控制存储介质16，并且将从压缩处理器14提供的压缩图像数据存储在存储介质16中。如此完成运动图像拍摄处理。

如上所述，图像处理设备10基于当前帧的深度图和前一帧的深度图压缩当前帧的运动图像。考虑到这一点，例如，如果主被摄体区域的位置或形状改变，则图像处理设备10对主被摄体区域设置较高代码分配优先级。如果主被摄体区域的位置或形状未改变，则图像处理设备10对主被摄体区域设置较低代码分配优先级。作为结果，图像处理设备10可高效而准确地压缩图像数据。也就是说，压缩处理被优化。

另外，图像处理设备10基于其采样数量小于拍摄的图像的采样数量的深度图优化压缩处理。作为结果，与基于拍摄的图像优化压缩处理的情况相比，更容易地执行压缩处理。

作为结果，图像处理设备10的功耗可减少。作为结果，图像处理设备10的电池(未示出)可被小型化，电池可工作更长的时间，因为更简单的热辐射结构，图像处理设备10可被小型化并且可在重量方面更轻，并且因为小型化的电池，图像处理设备10的成本可降低。另外，图像处理设备10的微型计算机18可被小型化。

另外，图像处理设备10基于由相差检测像素12A获得以便控制焦点位置Fcs的相差信息优化压缩处理。因为这一点，可另外提供仅最小数量的硬件。

另外，图像处理设备10不仅基于相位代码分配优先级图压缩图像数据，还基于运动代码分配优先级图压缩图像数据。作为结果，压缩效率增加。

需要注意的是，图像处理设备10可基于深度图从拍摄的图像检测运动向量。在这种情况下，图像处理设备10基于运动向量缩窄拍摄的图像的匹配的搜寻区域等，运动向量是基于深度图检测的。

根据这种方法，匹配的计算量可小于在不使用深度图的情况下的匹配的计算量。另外，微型计算机18的功耗可减少，并且电路可被小型化。另外，基于深度图估计运动向量，并且在与估计的运动向量对应的搜寻区域中检测运动向量。作为结果，可利用更高程度的准确性检测运动向量，并且可利用更高程度的准确性分配代码。

另外，图像处理设备10可使用基于深度图检测的主被摄体区域检测通常的拍摄的图像中的主被摄体区域，以由此最终确定主被摄体区域。在这种情况下，主被摄体区域检测处理的处理量小于在不使用基于深度图检测的主被摄体区域的情况下的处理量。微型计算机18的功耗可减少，并且电路可被小型化。

另外，图像处理设备10可不基于深度图产生相位代码分配优先级图，而是可基于主被摄体区域产生图像代码分配优先级图，主被摄体区域是基于深度图检测的。在这种情况下，例如，与除主被摄体区域之外的区域相比，图像处理设备10利用更高程度的准确性在主被摄体区域中检测是否存在高频分量。图像处理设备10仅对在主被摄体区域中检测高频分量的结果进行内插。

(根据本公开的计算机的描述)

除图像拾取处理之外的上述一系列处理可由硬件或软件执行。如果软件执行所述一系列处理，则构造软件的程序被安装在计算机中。这里，计算机的例子包括例如在专用硬件中构造的计算机、能够执行各种功能的安装有各种程序的通用个人计算机等。

图7是显示响应于程序执行上述一系列处理的计算机的硬件的结构的例子的方框图。

在计算机中，CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203经总线204彼此连接。

另外，输入/输出接口205连接到总线204。图像拾取单元206、输入单元207、输出单元208、存储器209、通信单元210和驱动器211连接到输入/输出接口205。

图像拾取单元206包括图1的光学系统11、图像传感器12、致动器20等。图像拾取单元206获得拍摄的图像和相差信息。输入单元207包括键盘、鼠标、麦克风等。输出单元208包括显示器、扬声器等。

存储器209包括硬盘、非易失性存储器等。通信单元210包括网络接口等。驱动器211驱动可移动介质212，诸如磁盘、光盘、磁光盘、存储介质或半导体存储器。

在如上所述构造的计算机中，CPU 201经输入/输出接口205和总线204将存储在例如存储器209中的程序加载到RAM 203中，并且执行该程序以由此执行上述一系列处理。

例如，由计算机(CPU 201)执行的程序可被存储在可移动介质212中，并且被提供作为封装介质等。另外，可经有线/无线传输介质(诸如，局域网、互联网或数字卫星广播)提供该程序。

可移动介质212可被插入在计算机的驱动器211中，并且程序可由此经输入/输出接口205被安装在存储器209。另外，通信单元210可经有线/无线传输介质接收程序，并且程序可被安装在存储器209中。替代地，程序可被预先安装在ROM 202或存储器209中。

需要注意的是，计算机可响应于程序以本说明书中描述的次序按照时间顺序执行处理。替代地，计算机可响应于程序并行地执行处理。替代地，计算机可响应于程序在必要时间(例如，当程序被调用时)执行处理。

另外，本技术的实施例不限于上述实施例。可在本技术的范围内以各种方式修改本技术的实施例。

例如，本公开可被应用于被构造为执行除压缩处理之外的图像处理(诸如，噪声减小处理)的图像处理设备。如果本公开被应用于例如被构造为执行噪声减小处理的图像处理设备，则基于当前帧的深度图和前一帧的深度图检测场景的改变。如果检测到场景的改变，则停止噪声减小处理。作为结果，可防止图像质量因为在场景改变时的噪声减小处理而降低。

另外，本公开可被应用于被构造为按照检测单位获得除相差信息之外的深度信息并且基于该深度信息压缩图像的图像处理设备。

例如，本技术可被构造为云计算。在云计算中，多个设备经网络共享并且以协作方式处理一个功能。

另外，一个设备可执行参照上述流程图描述的步骤。替代地，多个设备可共享并且执行这些步骤。

另外，如果一个步骤包括多种处理，则一个设备可执行该步骤中的所述多种处理。替代地，多个设备可共享并且执行这些处理。

另外，本技术可采用下面的结构。

(1)一种图像处理设备，包括：

图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

(2)如(1)所述的图像处理设备，其中

所述深度信息是指示图像的相差的深度图。

(3)如(1)或(2)所述的图像处理设备，其中

所述图像处理器被构造为基于第一帧的深度信息和第二帧的深度信息压缩第一帧的图像。

(4)如(3)所述的图像处理设备，还包括：

检测单元，被构造为

基于第一帧的深度信息检测第一帧的图像中的主被摄体区域，主被摄体区域是主被摄体的区域，并且

基于第二帧的深度信息检测第二帧的图像中的主被摄体区域，其中

所述图像处理器被构造为基于由检测单元检测的第一帧的主被摄体区域和第二帧的主被摄体区域压缩第一帧的图像。

(5)如(4)所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的主被摄体区域的位置相对于第二帧的主被摄体区域的位置移动的情况下，

对第一帧的主被摄体区域设置较高代码分配优先级，并且

压缩第一帧的图像。

(6)如(4)或(5)所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的主被摄体区域的形状不同于第二帧的主被摄体区域的形状的情况下，

对第一帧的主被摄体区域设置较高代码分配优先级，并且

压缩第一帧的图像。

(7)如(4)至(6)中任何一项所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的图像不同于I图片的情况下，基于第一帧的主被摄体区域和第二帧的主被摄体区域压缩第一帧的图像。

(8)如(7)所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的图像是I图片的情况下，

对第一帧的主被摄体区域设置较高的代码分配优先级，并且压缩第一帧的图像。

(9)一种图像处理方法，包括：

基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

(10)一种程序，被构造为使计算机用作：

图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

Claims (10)

1.一种图像处理设备，包括：

图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

2.如权利要求1所述的图像处理设备，其中

所述深度信息是指示图像的相差的深度图。

3.如权利要求1所述的图像处理设备，其中

所述图像处理器被构造为基于第一帧的深度信息和第二帧的深度信息压缩第一帧的图像。

4.如权利要求3所述的图像处理设备，还包括：

检测单元，被构造为

基于第一帧的深度信息检测第一帧的图像中的主被摄体区域，主被摄体区域是主被摄体的区域，并且

基于第二帧的深度信息检测第二帧的图像中的主被摄体区域，其中

所述图像处理器被构造为基于由检测单元检测的第一帧的主被摄体区域和第二帧的主被摄体区域压缩第一帧的图像。

5.如权利要求4所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的主被摄体区域的位置相对于第二帧的主被摄体区域的位置移动的情况下，

对第一帧的主被摄体区域设置较高的代码分配优先级，并且压缩第一帧的图像。

6.如权利要求4所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的主被摄体区域的形状不同于第二帧的主被摄体区域的形状的情况下，

对第一帧的主被摄体区域设置较高的代码分配优先级，并且压缩第一帧的图像。

7.如权利要求4所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的图像不同于I图片的情况下，基于第一帧的主被摄体区域和第二帧的主被摄体区域压缩第一帧的图像。

8.如权利要求7所述的图像处理设备，其中

所述图像处理器被构造为在第一帧的图像是I图片的情况下，

对第一帧的主被摄体区域设置较高的代码分配优先级，并且压缩第一帧的图像。

9.一种图像处理方法，包括：

基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。

10.一种程序，被构造为使计算机用作：

图像处理器，被构造为基于第一帧的深度信息和在第一帧之前的第二帧的深度信息处理第一帧的图像，深度信息指示图像中的被摄体沿深度方向的位置。