CN101999232A - 图像处理系统、图像处理方法、以及计算机可读介质 - Google Patents

Abstract

本发明提供一种能够削减压缩处理时的运算量的图像处理系统。图像处理系统具备从图像中检测出特征区域的特征区域检测部、以及按每个预定的部分区域压缩图像的压缩部。压缩部在对特征区域中所包含的部分区域的图像进行压缩时，与对特征区域以外的区域中所包含的部分区域的图像进行压缩时相比，以更多的像素的像素值来进行压缩。压缩部具有针对每个部分区域计算空间频率分量的空间频率分量计算部，空间频率分量计算部在计算特征区域中所包含的部分区域的空间频率分量的情况下，与计算特征区域以外的区域的空间频率分量的情况相比，可以使用更多的像素的像素值来算出。

Description

图像处理系统、图像处理方法、以及计算机可读介质

技术领域

本发明涉及一种图像处理系统、图像处理方法、以及计算机可读的介质。本申请与下列的日本申请有关，是主张来自下列的日本申请的优先权的申请。关于认可通过参照文献而编入的指定国，将下列申请所记载的内容通过参照而编入本申请中来作为本申请的一部分。

1、日本特愿2008-097968  申请日2008年4月4日

背景技术

已知如下的分辨率变换方法(例如参照专利文献1)：读出高分辨率的图像编码数据，对其进行熵(entropy)解码，对该解码数据进行逆量化，对该逆量化数据进行从离散余弦变换用矩阵变换到根据想要变换的分辨率而作出的分辨率变换用矩阵的矩阵运算，得到低分辨率的离散余弦变换数据，对该数据进行量化，并且进行熵编码。

另外，已知如下图像处理装置(例如参照专利文献2)：将原图像数据分割为包含多个像素的多个块，对将每个块变换为空间频率分量的频率数据进行图像处理。在该图像处理装置中，对将各块的频率数据中的各个数据按照频率高低进行分割的多个区域，从频率低的区域针对每个区域计算的累计值变成阈值以上的区域设为处理区域，选择直到累计值变得比阈值小为止的处理区域内的数据，并对所选择的数据进行运算。

专利文献1：日本特开平5-316357号公报

专利文献2：日本特许第3722169号说明书

发明内容

然而，根据上述专利文献1和2所述的技术，将全图像区域的像素数据设为运算对象。因此，运算量变多，导致压缩处理需要长的时间。

为了解决上述问题，根据本发明的第一方式，是一种图像处理系统，具备：特征区域检测部，从图像中检测出特征区域；以及压缩部，针对每个预定的部分区域压缩图像，其中，压缩部在对包含在特征区域中的部分区域的图像进行压缩的情况下，与对包含在特征区域以外的区域中的部分区域的图像进行压缩的情况相比，使用更多的像素的像素值来进行压缩。

根据本发明的第二方式，是一种图像处理方法，具备：特征区域检测步骤，从图像中检测出特征区域；以及压缩步骤，针对每个预定的部分区域压缩图像，其中，压缩步骤在对包含在特征区域中的部分区域的图像进行压缩的情况下，与对包含在特征区域以外的区域中的部分区域的图像进行压缩的情况相比，使用更多的像素的像素值来进行压缩。

根据本发明的第三方式，是一种存储图像处理系统用的程序的计算机可读介质，该程序使计算机作为如下单元工作：特征区域检测部，从图像中检测出特征区域；以及压缩部，针对每个预定的部分区域压缩图像，在对包含在特征区域中的部分区域的图像进行压缩的情况下，与对包含在特征区域以外的区域中的部分区域的图像进行压缩的情况相比，使用更多的像素的像素值来进行压缩。

此外，上述发明的概要并不是列举出本发明的全部必要特征。另外，这些特征群的组合也还能够构成发明。

附图说明

图1是表示与一个实施方式有关的图像处理系统10的一个例子的图。

图2是表示图像处理装置120的模块结构的一个例子的图。

图3是表示图像处理装置170的模块结构的一个例子的图。

图4是表示压缩部230的压缩处理的一个例子的图。

图5是表示特征区域附近的背景区域的一个例子的图。

图6是表示包含区域的一个例子的图。

图7是表示作为编码器240进行编码的处理单位的部分区域的图。

图8是表示与其它实施方式有关的图像处理系统20的一个例子的图。

图9是表示图像处理装置120及图像处理装置170的硬件构成的一个例子的图。

附图标记

10图像处理系统，20图像处理系统，100摄像装置，102摄像部，104摄像动态图像压缩部，110通信网络，120图像处理装置，130人物，140移动体，150监视对象空间，160空间，170图像处理装置，175图像DB，180显示装置，200图像处理部，201压缩动态图像取得部，202压缩动态图像解压缩部，203特征区域检测部，206对应处理部，207输出部，210包含区域确定部，220压缩控制部，230压缩部，232像素选择部，234动态图像构成图像选择部，240编码器，242空间频率分量计算部，244量化部，246编码部，301压缩图像取得部，302对应分析部，304输出部，310解压缩控制部，320解压缩部，322部分区域图像放大部，324合成部，330解码器，332解码部，334逆量化部，336逆变换部，400动态图像构成图像，410移动体区域，420身体部区域，430头部区域，510前方区域，520后方区域，530后方区域，540前方区域，550后方区域，560前方区域，610包含区域，620包含区域，630包含区域，804图像处理部，1505 CPU，1510 ROM，1520 RAM，1530通信接口，1540硬盘驱动器，1550软盘驱动器，1560 CD-ROM驱动器，1570输入输出芯片，1575图像控制器，1580显示设备，1582主控制器，1584输入输出控制器，1590软盘，1595 CD-ROM，1598网络通信设备。

具体实施方式

下面通过发明的实施方式来说明本发明，但是以下的实施方式并不限定权利要求所涉及的发明。另外，在实施方式中所说明的特征组合并非全部都是发明的解决手段所必须的。

图1表示与一个实施方式有关的图像处理系统10的一个例子。图像处理系统10以维持图像中的特征区域的画质的同时削减图像的编码量为目的。如下面所说明，图像处理系统10能够作为监视系统工作。

图像处理系统10具备拍摄监视对象空间150的多个摄像装置100a-d(下面统称为摄像装置100)、对由摄像装置100拍摄的图像进行处理的多个图像处理装置120a以及图像处理装置120b(下面统称为图像处理装置120)、通信网络110、图像处理装置170、图像DB 175、以及多个显示装置180a-d(下面统称为显示装置180)。

此外，图像处理装置120a连接在摄像装置100a以及摄像装置100b中，图像处理装置120b连接在摄像装置100c以及摄像装置100d中。此外，图像处理装置170以及显示装置180设在区别于监视对象空间150的空间160中。

摄像装置100a具有摄像部102a以及摄像动态图像压缩部104a。摄像部102a通过拍摄监视对象空间150来生成摄像动态图像。摄像动态图像压缩部104a根据MPEG编码等来压缩由摄像部102a拍摄的摄像动态图像，生成摄像动态图像数据。由此，摄像装置100a对拍摄监视对象空间150所得到的摄像动态图像进行编码来生成摄像动态图像数据。摄像装置100a将该摄像动态图像数据输出到连接了摄像装置100a的图像处理装置120a中。

此外，摄像装置100b、摄像装置100c、以及摄像装置100d分别具有与摄像装置100a相同的结构，因此省略摄像装置100b、摄像装置100c、以及摄像装置100d的各构成要素的说明。此外，摄像装置100b将生成的摄像动态图像数据输出到连接了摄像装置100b的图像处理中120a中。另外，摄像装置100c以及摄像装置100d将生成的摄像动态图像数据输出到图像处理装置120b中。由此，图像处理装置120从分别连接的摄像装置100中取得由摄像装置100生成的摄像动态图像数据。

而且，图像处理装置120对从摄像装置100取得的摄像动态图像数据进行解码来生成摄像动态图像，从生成的摄像动态图像中检测如拍摄人物130的区域、拍摄车辆等移动体140的区域等那样特征种类不同的多个特征区域。而且，图像处理装置120从摄像动态图像中生成多个特征区域的各个比特征区域以外的区域更高画质的压缩动态图像数据。此外，图像处理装置120生成特征区域的图像转换为与特征区域的各个的重要性相应的画质的图像的压缩动态图像数据。而且，图像处理装置120将压缩动态图像数据与作为表示特征区域的信息的特征区域信息对应起来，通过通信网络110发送给图像处理装置170。

图像处理装置170从图像处理装置120中接收将特征区域信息对应起来的压缩动态图像数据。而且，图像处理装置170使用对应起来的特征区域信息来解压缩所接收的压缩动态图像数据，生成显示用动态图像，将生成的显示用动态图像提供给显示装置180。显示装置180显示从图像处理装置170提供的显示用动态图像。

另外，图像处理装置170也可以将该压缩动态图像数据与特征区域信息对应起来记录在图像DB 175中，其中，该特征区域信息与压缩动态图像数据对应起来。而且，图像处理装置170也可以根据来自显示装置180的请求，从图像DB 175中读出压缩动态图像数据以及特征区域信息，使用特征区域信息来解压缩所读出的压缩动态图像数据，生成显示用动态图像，并提供给显示装置180。

此外，特征区域信息可以是特征区域的位置、特征区域的大小、特征区域的数量、包含识别检测到特征区域的动态图像构成图像的识别信息等的文本数据、或者对该文本数据进行压缩、加密等处理的数据。而且，图像处理装置170根据特征区域信息所包含的特征区域的位置、特征区域的大小、特征区域的数量等，确定满足各种检索条件的动态图像构成图像。而且，图像处理装置170可以对特定的动态图像构成图像进行解码，并提供给显示装置180。

由此，根据图像处理系统10，将特征区域与动态图像对应起来进行记录，因此能够高速地检索动态图像中符合预定条件的动态图像构成图像并找出开头。另外，根据图像处理系统10，能够只对符合预定条件的动态图像构成图像进行解码，因此能够响应再现指示快速地显示符合预定条件的部分动态图像。

图2表示图像处理装置120的模块结构的一个例子。图像处理装置120具备压缩动态图像取得部201、压缩动态图像解压缩部202、以及图像处理部200。

压缩动态图像取得部201取得被压缩的动态图像。具体地说，压缩动态图像取得部201取得摄像装置100所生成的被编码的摄像动态图像数据。压缩动态图像解压缩部202解压缩压缩动态图像取得部201取得的摄像动态图像数据，生成包含在摄像动态图像中的多个动态图像构成图像。具体地说，压缩动态图像解压缩部202对压缩动态图像取得部201取得的被编码的摄像动态图像数据进行解码，生成包含在摄像动态图像中的多个动态图像构成图像。此外，动态图像构成图像包含帧图像以及场图像。

图像处理部200从包含由压缩动态图像解压缩部202生成的多个动态图像构成图像的摄像动态图像中检测特征区域，根据检测的特征区域的特征来对该摄像动态图像进行压缩处理，并输出到图像处理装置170中。下面说明图像处理部200的动作的一个例子。

图像处理部200具有特征区域检测部203、包含区域确定部210、压缩控制部220、压缩部230、对应处理部206、以及输出部207。特征区域检测部203从包含多个动态图像构成图像的动态图像中检测特征区域。例如，特征区域检测部203可以将在动态图像中包含移动目标的区域检测作为特征区域。

此外，通过摇动摄像装置100，图像上的目标位置有时在帧间产生小偏差。因此，希望图像上位置偏差小的目标不被检测作为移动的目标。因此，特征区域检测部203可以将包含与作为动态图像构成图像包含在动态图像中的其它摄像图像之间的位置差比预定值还大的目标的区域，检测作为特征区域。除此之外，特征区域检测部203也可以将包含与其它摄像图像之间的位置差比与该其它摄像图像间的图像整体的偏差量还大的目标的区域，检测作为特征区域。由此，有时能够事先防止以摄像装置100的摇动等为原因产生位置偏差的目标被检测作为移动目标的情况。

特征区域检测部203将表示检测的特征区域的信息提供给压缩控制部220。此外，表示特征区域的信息，包括表示特征区域位置的特征区域的坐标信息、表示特征区域种类的种类信息。

压缩控制部220根据从特征区域检测部203取得的表示特征区域的信息，根据特征区域控制压缩部230的动态图像的压缩处理。具体地说，压缩控制部220使压缩部230进行下面说明的压缩处理。

具体地说，压缩部230与动态图像构成图像中的特征区域的图像相比，将特征区域以外的区域的图像，在更多的动态图像构成图像中使用多个动态图像构成图像中的至少一部分动态图像构成图像中的至少一部分区域的图像信息来表现，从而生成压缩动态图像的压缩动态图像。作为一个例子，压缩部230可以根据表示使用至少一部分区域的图像信息来表现的符号来对特征区域以外的区域的图像进行编码。例如，压缩部230可以根据表示将至少一部分区域的图像进行复制的符号来对特征区域以外的区域的图像进行编码。

具体地说，压缩部230可以使用检测出该特征区域的动态图像构成图像以外的动态图像构成图像中的至少一部分区域的图像信息来表现特征区域以外的区域的图像。例如，压缩部230通过用检测出该特征区域的动态图像构成图像以外的动态图像构成图像中的至少一部分区域的图像信息来表现特征区域以外的区域的图像，生成以低于特征区域的时间分解来表示特征区域以外的区域的压缩动态图像。除此之外，压缩部230也可以通过使用检测出该特征区域的动态图像构成图像中的其它区域的图像信息来表现特征区域以外的区域的图像，从而生成压缩动态图像。

例如，压缩部230可以根据表示用检测出特征区域的动态图像构成图像以外的动态图像构成图像或者检测出该特征区域的动态图像构成图像中的至少一部分区域的图像信息来表现特征区域以外的区域的图像的符号，对特征区域进行编码。此外，在下面的说明中，有时将这种编码称为参考编码。此外，这里所说的参考编码包含基于用其它动态图像构成图像中的至少一部分区域的图像信息来表现图像的编码、和用同一动态图像构成图像中的其它区域的图像信息来表现的编码两种。另外，在参考编码中，可以不使用称为参考编码对象的区域的图像信息。

下面说明压缩部230的各构成要素的动作。压缩部230通过针对包含在动态图像构成图像中的预定的多个部分区域来压缩图像，生成压缩动态图像。具体地说，压缩部230通过使用至少一部分动态图像构成图像中的至少一部分区域的图像信息来表现包含在特征区域以外的区域的多个部分区域的各个图像，生成压缩动态图像。由此，压缩部230针对包含在特征区域以外的区域中的每个部分区域，根据参考编码进行编码。

作为一个例子，压缩部230可以通过用0矢量的运动矢量来表现包含在特征区域以外的区域中的多个部分区域的各个图像，生成压缩动态图像。另外，压缩部230也可以通过作为用0矢量的运动矢量以及预测图像之间的差分值以0的差分值来表现包含在特征区域以外的区域中的多个部分区域的各个图像，生成压缩动态图像。除此之外，压缩部230也可以通过根据表示表现该图像的区域的符号来对包含在特征区域以外的区域中的多个部分区域的图像进行编码，生成压缩动态图像。此外，该部分区域可以是宏模块。另外，压缩部230可以将包含在特征区域以外的区域中的多个宏模块的各个当作跳跃宏模块(skipped macroblock)来处理。

此外，特征区域检测部203可以从动态图像中检测特征种类不同的多个特征区域。此外，特征种类可以将如人物和移动体等那样将目标的种类设为指标。目标的种类，可以根据目标的形状或者目标的颜色的一致性来决定。

例如，特征区域检测部203可以从多个动态图像构成图像的各个中抽出以预定的一致性以上的一致性与预定形状图案一致的目标，将包含抽取的目标的动态图像构成图像中的区域，检测作为特征种类相同的特征区域。此外，形状图案可以针对特征的每个种类而确定多个。另外，作为形状图案的一个例子，能够示例出人物的脸的形状图案。此外，可以针对多个人物确定不同的脸图案。由此，特征区域检测部203能够将分别包含不同人物的不同区域检测作为不同的特征区域。

在特征区域检测部203从动态图像中检测了特征种类不同的多个特征区域的情况下，压缩部230也可以通过用检测出该特征区域的动态图像构成图像以外的动态图像构成图像中的至少一部分区域的图像信息来表现根据特征种类预定的数量的动态图像构成图像中的多个特征区域的图像，生成多个特征区域的各个以根据特征种类预定的时间分解表示的压缩动态图像。由此，压缩部230能够提供动态图像中的多个特征区域转变为与各个特征相应的画质的动态图像。

此外，包含区域确定部210确定包含区域，该包含区域包含特征区域检测部203检测的连续的多个动态图像构成图像的各个中的多个特征区域。包含区域确定部210将表示该包含区域的信息提供给压缩控制部220。压缩控制部220根据表示该包含区域的信息，使压缩部230进行与对上述特征区域的处理相同的处理。即，压缩部230通过使用至少一部分动态图像构成图像中的至少一部分区域的图像信息来表现连续的多个动态图像构成图像中的一个以上的动态图像构成图像中包含在包含区域以外的区域的多个部分区域的各个图像，生成压缩动态图像。

此外，包含区域特定部210将包含多个动态图像构成图像的各个中的多个特征区域的部分区域的集合区域确定为包含区域。例如，包含区域确定部210可以将包含多个动态图像构成图像的各个中的多个特征区域的宏模块的集合区域确定为包含区域。此外，压缩部230通过针对由预定的数量的动态图像构成图像所形成的部分动态图像来压缩动态图像，生成压缩动态图像。在这种情况下，连续的多个动态图像构成图像包含在相同的部分动态图像中。例如，压缩部230在以GOP单位来压缩动态图像的情况下，连续的多个动态图像构成图像包含在相同的GOP中。

此外，压缩部230包含像素选择部232、动态图像构成图像选择部234、以及编码器240。而且，动态图像构成图像选择部234根据特征种类，选择应该进行上述参考编码的动态图像构成图像。例如，动态图像构成图像选择部234可以从多个动态图像构成图像中，将根据特征区域的特征种类预定的数量的动态图像构成图像选择作为应该进行参考编码的动态图像构成图像。另外，动态图像构成图像选择部234可以针对每个特征种类选择应该进行参考编码的动态图像构成图像。另外，动态图像构成图像选择部234将特征区域以外的区域的图像设为应该进行参考编码的动态图像构成图像，可以将特征区域的图像选择得比应该进行参考编码的动态图像构成图像更多。

而且，编码器240对由压缩动态图像解压缩部202进行解压缩所得到的多个动态图像构成图像进行编码。此时，编码器240在由动态图像构成图像选择部234选择的动态图像构成图像中，对多个特征区域以及特征区域以外的区域中所包含的部分区域的图像进行参考编码，没有由动态图像构成图像选择部234选择的动态图像构成图像则根据参考编码以外的编码方法来进行编码。此外，像素选择部232以及编码器240所具有的构成要素的功能以及动作将在后面说明。

在上述的说明中，说明了压缩部230进行参考编码时的压缩部230的动作。下面说明图像处理装置120的各构成要素对进行参考编码的部分区域以外的部分区域的动作。如上所述，压缩部230针对压缩部分区域的每个来压缩图像，但是压缩部230在压缩包含在特征区域中的部分区域的图像的情况下，与压缩包含在特征区域以外的区域中的部分区域的图像的情况相比，使用更多像素的像素值来进行压缩。具体地说，压缩部230在对包含在特征区域中的部分区域的图像进行压缩的情况下，与对包含在特征区域以外的区域中的部分区域的图像进行压缩的情况相比，使用部分区域内的更多像素的像素值来进行压缩。此外，压缩部230在对包含在特征区域中的部分区域的图像进行压缩的情况下，与对包含在特征区域以外的区域中的部分区域的图像进行压缩的情况相比，也可以使用包含部分区域以外的像素的更多像素的像素值来进行压缩。下面说明压缩部230所包含的各构成要素的动作。

压缩部230具有空间频率分量计算部242、量化部244、以及编码部246。空间频率分量计算部242针对每个部分区域计算空间频率分量。此外，空间频率分量计算部242可以通过由离散余弦变换将各部分区域的图像变换为DCT系数，针对每个部分区域算出空间频率分量。除此之外，空间频率分量计算部242可以通过由小波变换将各部分区域的图像变换为小波展开系数，算出空间频率分量。

量化部244将由空间频率分量计算部242算出的空间频率分量进行量化。编码部246将由量化部244量化的空间频率分量，例如通过熵编码来进行编码。

空间频率分量计算部242在算出包含在特征区域中的部分区域的空间频率分量的情况下，与算出特征区域以外的区域的空间频率分量的情况相比，使用更多像素的像素值来进行计算。具体地说，空间频率分量计算部242在算出特征区域以外的区域中的空间频率分量的情况下，与算出特征区域中的空间频率分量的情况相比，减少变成算出空间频率分量的计算单位的像素数。换句话说，空间频率分量计算部242在算出包含在特征区域以外的区域中的部分区域的空间频率分量的情况下，与算出包含在特征区域中的部分区域的空间频率分量的情况相比，减小作为算出空间频率分量的计算单位的宏模块大小。

此时，像素选择部232从包含在特征区域以外的区域中的部分区域中所包含的像素中选择该减小的宏模块大小的像素数的像素。而且，空间频率分量计算部242从由像素选择部232选择的像素中，算出空间频率分量。另外，量化部244在对包含在特征区域中的部分区域中算出的空间频率分量进行量化的情况下，与对包含在特征区域以外的区域中的部分区域中算出的空间频率分量进行量化的情况相比，以更小的量化步长来进行量化。

此外，像素选择部232可以从包含在多个特征区域的各个中的部分区域中所包含的像素中，选择根据特征区域的特征种类预定的数量的像素。而且，空间频率分量计算部242将算出空间频率分量的计算单位设为由根据特征区域的特征种类预定的数量的像素所形成的大小的宏模块。另外，量化部244可以对在包含在多个特征区域的各个中的部分区域中算出的空间频率分量，以根据特征种类预定的量化步长来进行量化。如以上所说明，压缩部230能够以与特征区域的特征种类相应的压缩率来压缩特征区域的图像。

压缩部230将由编码部246进行编码所得到的压缩动态图像提供给对应处理部206。对应处理部206在从压缩部230取得的压缩动态图像中，将从压缩控制部220取得的特征区域信息对应起来。作为一个例子，对应处理部206将特征区域信息附加在压缩动态图像中，该特征区域信息是将识别包含在压缩动态图像中的多个动态图像构成图像的信息、识别特征区域位置的信息、以及识别特征区域的特征种类的信息对应起来。而且，输出部207将附加特征区域信息的压缩动态图像输出到图像处理装置170中。具体地说，输出部207将附加该特征区域信息的压缩动态图像，面向图像处理装置170向通信网络110送出。

图3表示图像处理装置170的模块结构的一个例子。图像处理装置170具备压缩图像取得部301、对应分析部302、解压缩控制部310、解压缩部320、以及输出部304。压缩图像取得部301取得包含多个由压缩部230进行压缩的动态图像构成图像的压缩动态图像。具体地说，压缩图像取得部301取得附加特征区域信息的压缩动态图像。

而且，对应分析部302分离压缩动态图像和在该压缩动态图像中附加的特征区域信息，将压缩动态图像提供给解压缩部320。另外，对应分析部302分析特征区域信息，将特征区域的位置以及特征的种类提供给解压缩控制部310。解压缩控制部310根据从对应分析部302取得的特征区域的位置以及特征种类，控制基于解压缩部320的解压缩处理。例如，解压缩控制部310根据压缩部230根据特征区域的位置以及特征种类来压缩动态图像的各区域的压缩方式，使解压缩部320解压缩压缩动态图像所示的动态图像的各区域。

下面说明解压缩部320所具有的各构成要素的动作，该解压缩部针对每个部分区域将压缩图像取得部301所取得并压缩的动态图像构成图像进行解码。解压缩部320具有解码器330、部分区域图像放大部322、以及合成部324。

解码器330对编码的压缩动态图像进行解码。例如，解码器330对包含在压缩动态图像中的被编码的动态图像构成图像的各个部分区域(例如宏模块)进行解码。具体地说，解码器330具有解码部332、逆量化部334、以及逆变换部336。

解码部332对由编码部246进行编码的编码数据进行解码，抽取量化的空间频率分量。逆量化部334将量化的空间频率分量进行逆量化，抽出空间频率分量。逆变换部336根据基于空间频率分量计算部242向空间频率分量的变换的逆变换处理，算出像素值。

此外，如上所述，从包含在部分区域中的多个像素中选择的像素的像素值被编码器240编码的区域的数据，该选择的数量的像素的像素值从解码器330中输出。因此，部分区域图像放大部322将输出的像素值所示的该区域的图像放大为预定大小的部分区域的图像大小。由此，部分区域图像放大部322以与压缩部230用于压缩的像素数相应的放大率来放大由解压缩部解码的部分区域的图像。由此，生成包含在动态图像构成图像中的各部分区域的图像。

而且，合成部324通过合成各部分区域的图像来生成一个动态图像构成图像。此外，关于进行参考编码的部分区域的图像，合成部324能够从其它动态图像构成图像或者相同的动态图像构成图像中的其它区域的图像中取得。解压缩部320将通过解压缩压缩动态图像所生成的动态图像构成图像输出到输出部304中。输出部304将从对应分析部302取得的特征区域信息以及由解压缩所生成的动态图像构成图像，输出到显示装置180或者图像DB 175中。此外，图像DB 175可以将特征区域信息表示的特征区域位置、特征区域的特征种类、特征区域的数量与识别动态图像构成图像的信息对应起来，记录在硬盘等非易失性记录介质中。

根据以上说明的图像处理系统10，通过根据特征区域的特征高效率地压缩动态图像，能够削减数据量且保证特征区域的画质。此外，本实施方式中的动态图像构成图像可以是图像处理装置120以及图像处理装置170进行处理的图像的一个例子。即图像处理装置120除了如动态图像那样以多个动态图像构成图像单位进行压缩之外，还能够以像素单位来压缩图像。而且，图像处理装置170能够解码以像素单位压缩的压缩图像。换句话说，图像处理装置120以及图像处理装置170能够处理静态图像。

图4表示压缩部230的压缩处理的一个例子。多个动态图像构成图像400a-i表示由压缩动态图像解压缩部202解压缩的动态图像构成图像。在此，特征区域检测部203从动态图像构成图像400a-i中，将移动体区域410a-i、身体部区域420a-i、头部区域430a-i检测作为特征区域。作为一个例子，移动体区域410a-i表示拍摄移动体140的区域，身体部区域420a-i表示拍摄人物130的体部的区域，头部区域430a-i表示拍摄人物130的头部的区域。此外，在下面的说明中，有时将动态图像构成图像400a-i统称为动态图像构成图像400，将移动体区域410a-i统称为移动体区域410，身体部区域420a-i统称为身体部区域420，将头部区域430a-i统称为头部区域430。

动态图像构成图像选择部234作为对移动体区域410的区域的图像进行参考编码的动态图像构成图像400，选择动态图像构成图像400b-d、以及动态图像构成图像400f-h。另外，动态图像构成图像选择部234作为对身体部区域420的区域的图像进行参考编码的动态图像构成图像400隔着一个选择动态图像构成图像400，选择动态图像构成图像400b、动态图像构成图像400d、动态图像构成图像400f、以及动态图像构成图像400h。另外，动态图像构成图像选择部234作为对特征区域的以外的区域、即在本图的例子中不相当于移动体区域410、头部区域430、身体部区域420中的任意一个的区域(以后有时将该区域统称为背景区域)进行参考编码的动态图像构成图像400，选择动态图像构成图像400b-h。

此外，在动态图像构成图像400中进行参考编码的区域，以本图的斜线来图示。由此，压缩部230不对头部区域430进行参考编码。此外，作为对特征区域的图像进行参考编码的动态图像构成图像400应该选择的动态图像构成图像400的数量比例，可以与识别特征区域的特征种类的信息对应起来，由动态图像构成图像选择部234来预先存储。另外，作为对背景区域的图像进行参考编码的动态图像构成图像400应该选择的动态图像构成图像400的数量比例，可以与表示背景区域的信息对应起来，由动态图像构成图像选择部234来预先存储。

动态图像构成图像选择部234可以取得与识别特征区域的特征种类的信息或者表示背景区域的信息对应起来存储的该应该选择的动态图像构成图像400的比例，根据取得的比例来算出作为进行参考编码的动态图像构成图像400应该选择的动态图像构成图像400的数量，选择算出的数量的动态图像构成图像400。此外，上述比例可以是表示相对于动态图像构成图像400的数量，从该数量的动态图像构成图像400中参考编码的动态图像构成图像400的数量之比的信息。

由此，动态图像构成图像234能够根据多个图像区域的各自的重要性，将不同数量的动态图像构成图像选择作为应该进行参考编码的动态图像构成图像。因而，图像处理装置120能够提供以与各自重要性相应的时间分辨率来显示多个图像区域的一个流(stream)的压缩动态图像。另外，压缩部230通过将进行参考编码的图像区域的运动矢量设为0矢量、或将包含在该图像区域中的宏模块作为跳跃宏模块进行处理、或将应该参考的图像区域以指定的信息等来进行编码，生成以与各自的重要性相应的时间分辨率来显示多个图像区域的一个流的压缩动态图像，因此能够显著削减压缩动态图像的编码量。

图5表示特征区域附近的背景区域的一个例子。在图5中，前方区域510表示在由动态图像构成图像400e-i表示的部分动态图像中移动体区域410e移动的区域。后方区域520表示在由动态图像构成图像400a-d表示的部分动态图像中移动体区域410e移动的区域。如图4中所示，在由动态图像构成图像400a-i表示的部分动态图像中，移动体区域410在图像上向左移动。因而，相对于移动体区域410e的移动方向，位于移动体区域410e的相反侧的后方区域520的图像，不包含在动态图像构成图像400a中。另外，比移动体区域410e更位于该移动方向侧的前方区域510的图像，不包含在动态图像构成图像400i中。

由此，前方区域510以及后方区域520中的图像，只包含在不进行参考编码的动态图像构成图像400a以及动态图像构成图像400i中的一个中。因而，如前方区域510以及后方区域520那样，在对成为移动体背景的图像区域进行参考编码的情况下，不得不恰当选择应该进行参考的动态图像构成图像400。

在这种情况下，压缩部230根据表示使用动态图像构成图像400i的图像信息来表现的意思的符号、或者表示使用通过使用动态图像构成图像400i的图像来表现后方区域520的动态图像构成图像400的图像信息来表现的意思的符号，来对后方区域520的图像进行编码。另外，压缩部230根据表示使用动态图像构成图像400a的图像来表现的意思的符号、或者表示使用通过使用动态图像构成图像400a的图像来表现前方区域510的动态图像构成图像400的图像信息来表现的意思的符号，来对前方区域510的图像进行编码。

此外，压缩部230对后方区域530及前方区域540、以及后方区域550及前方区域560也能够同样地进行处理。即，压缩部230根据表示使用后面显示的动态图像构成图像400的图像信息来表现的意思的符号、或者使用通过使用后面显示的动态图像构成图像400的图像来表现后方区域530以及后方区域550的动态图像构成图像400的图像信息表现的意思的符号，来对后方区域530以及后方区域550的图像进行编码。另外，压缩部230根据表示使用前面显示的动态图像构成图像400的图像来表现的意思的符号、或者表示使用通过使用前面显示的动态图像构成图像400的图像来表现前方区域540以及前方区域560的动态图像构成图像400的图像信息表现的意思的符号，来对前方区域540以及前方区域560的图像进行编码。

由此，压缩部230使用比检测该特征区域的动态图像构成图像更前面显示的至少一部分动态图像构成图像中的至少一部分区域的图像信息，来表现比特征区域更位于移动方向所示的方向的位置上的特征区域的以外的区域中所包含的多个部分区域的图像。另外，压缩部230使用比检测该特征区域的动态图像构成图像更后面显示的至少一部分动态图像构成图像中的至少一部分区域的图像信息，来表现比特征区域位于移动方向的相反方向的位置上的特征区域的以外的区域中所包含的多个部分区域的图像。此外，上述的前面显示的动态图像构成图像可以是前面拍摄的动态图像构成图像，上述的后面显示的动态图像构成图像可以是后面拍摄的动态图像构成图像。

如以上所说明，压缩部230通过使用根据连续的多个动态图像构成图像中的多个特征区域的位置的移动方向来选择的至少一部分动态图像构成图像中的至少一部分区域的图像信息来表现包含在特征区域以外的区域中的多个部分区域的图像，生成压缩动态图像。由此，压缩部230恰当地选择包含移动体的移动区域的背景区域的动态图像构成图像，因此能够恰当地对拍摄移动体的动态图像进行编码。

图6表示包含区域的一个例子。包含区域确定部210在动态图像构成图像400a-i中的部分动态图像中，确定移动体区域410的包含区域610、身体部区域420的包含区域620、以及头部区域430的包含区域630。由此，包含区域确定部210在包含多个动态图像构成图像的部分动态图像中，针对特征区域的每个特征种类确定包含区域。此外，包含区域确定部210可以针对特征区域的每个特征种类，包含各自的特征区域，将由一个以上的宏模块的集合形成的区域确定为包含区域。

而且，压缩部230通过压缩控制部220的控制来对动态图像构成图像400a-i的各自的包含区域610以外的区域进行参考编码。此外，压缩部230对动态图像构成图像400a-i的各自的包含区域610不进行参考编码。由此，压缩部230通过将进行参考编码的区域限定在部分动态图像中移动体不移动的区域中，能够事先防止在进行参考编码的区域中出现表示包含在其它动态图像构成图像400中的移动体的目标。此外，压缩部230可以以根据特征种类预定的强度来压缩针对特征区域的每个特征种类确定的包含区域的图像。

图7表示作为编码器240进行编码时的处理单位的部分区域。编码器240针对由16像素×16像素形成的每个部分区域，对动态图像构成图像进行编码。

在此，在编码器240对头部区域430的图像进行编码的情况下，编码器240通过压缩控制部220的控制，以对16像素×16像素的宏模块进行编码的动作模式进行动作。具体地说，像素选择部232从包含在头部区域430中的16像素×16像素的部分区域中选择全部的像素，将该像素值提供给编码器240。编码器240使用由像素选择部232提供的16像素×16像素的像素值进行编码。更具体地说，空间频率分量计算部242使用由像素选择部232提供的16像素×16像素的像素值来进行离散余弦变换。而且，量化部244将由空间频率分量计算部242算出的变换系数进行量化。另外，编码部246对量化的值进行例如霍夫曼编码、算术编码等的熵编码。

另一方面，在编码器240对身体部区域420的图像进行编码的情况下，编码器240根据压缩控制部220的控制，以对8像素×8像素的宏模块进行编码的动作模式进行动作。具体地说，像素选择部232从包含在身体部区域420中的16像素×16像素的部分区域中选择8像素×8像素的像素，将该像素值提供给编码器240。编码器240使用由像素选择部232提供的8像素×8像素的像素值来进行编码。

更具体地说，空间频率分量计算部242使用由像素选择部232提供的8像素×8像素的像素值来进行离散余弦变换。而且，量化部244将由空间频率分量计算部242算出的变换系数进行量化。另外，编码部246对量化的值通过例如霍夫曼编码、算术编码等进行熵编码。此外，编码器240不对包含在身体部区域420中的16像素×16像素的部分区域中由像素选择部232选择的8像素×8像素的像素以外的像素进行编码。

同样地，在编码器240对移动体区域410的图像进行编码的情况下，编码器240根据压缩控制部220的控制，以对4像素×4像素的宏模块进行编码的动作模式进行动作。具体地说，像素选择部232从包含在身体部区域420中的16像素×16像素的部分区域中选择4像素×4像素的像素，将该像素值提供给编码器240。编码器240使用由像素选择部232提供的4像素×4像素的像素值来进行编码。

更具体地说，空间频率分量计算部242使用由像素选择部232提供的4像素×4像素的像素值来进行离散余弦变换。而且，量化部244将由空间频率分量计算部242算出的变换系数进行量化。另外，编码部246对量化的值通过例如霍夫曼编码、算术编码等进行熵编码。此外，编码器240不对包含在移动体区域410中的16像素×16像素的部分区域中由像素选择部232选择的4像素×4像素的像素以外的像素进行编码。

另外，在编码器240对背景区域的图像进行编码的情况下，编码器240根据压缩控制部220的控制，以对2像素×2像素的宏模块进行编码的动作模式进行动作。具体地说，像素选择部232从包含在身体部区域420中的16像素×16像素的部分区域中选择2像素×2像素的像素，将该像素值提供给编码器240。编码器240使用由像素选择部232提供的2像素×2像素的像素值来进行编码。

更具体地说，空间频率分量计算部242使用由像素选择部232提供的2像素×2像素的像素值来进行离散余弦变换。而且，量化部244将由空间频率分量计算部242算出的变换系数进行量化。另外，编码部246对量化的值通过例如霍夫曼编码、算术编码等进行熵编码。此外，编码器240不对包含在背景区域中的16像素×16像素的部分区域中由像素选择部232选择的2像素×2像素的像素以外的像素进行编码。

由此，压缩控制部220以对根据特征区域的特征种类或者背景区域预定的像素数的像素块(换句话说预定大小的像素块)进行编码的动态模式，设定编码器240。而且，像素选择部232从包含在部分区域中的多个像素中选择该预定的像素数的像素，并提供给编码器240。因而，编码器240在对一个部分区域的图像进行编码的情况下，只要使用由像素选择部232提供的像素值、例如由像素选择部232抽取的像素的像素值进行编码即可，包含在部分区域中的其它像素值不作为编码的运算对象。因此，能够显著降低编码器240中的运算量，能够显著提高图像的编码速度。

此外，在图像处理装置170中，解压缩控制部310以对根据特征区域的特征种类或者背景区域预定的像素数的像素块进行解码的动作模式，设定解码器330。而且，部分区域图像放大部322通过放大处理由解码器330提供的像素值，得到一个部分区域的图像。由此，在图像处理装置120以及图像处理装置170中，对根据特征区域的特征种类或者背景区域预定的像素数的像素进行运算，因此能够显著削减运算量，能够显著提高图像处理速度。

图8表示与其它实施方式有关的图像处理系统20的一个例子。本实施方式中的图像处理系统20的结构，除了摄像装置100a-d分别具有图像处理部804a-d(下面统称为图像处理部804)这点之外，与图1中说明的图像处理系统10的结构相同。

图像处理部804分别具有与图像处理部200相同的结构。而且，包含在图像处理部804中的各构成要素的功能以及动作，除了代替包含在图像处理部200中的各构成要素对通过压缩动态图像解压缩部202的解压缩处理所得到的摄像动态图像进行处理，而是处理由摄像部102拍摄的摄像动态图像这点之外，可以与包含在图像处理部200中的各构成要素的功能以及动作大体相同。在这种结构的图像处理系统20中，也能够得到与参照图1至图7对图像处理系统10说明的效果大体相同的效果。

图9示出图像处理装置120及图像处理装置170的硬件配置的一个示例。图像处理装置120及图像处理装置170具有CPU周边部、输入/输出部以及传统的输入/输出部。CPU周边部包括通过主控制器1582彼此连接的CPU1505、RAM1520、图像控制器1575、以及显示器件1580。输入/输出部包括通过输入/输出控制器1584连接到主控制器1582的通信接口1530、硬盘驱动器1540、以及CD-ROM驱动器1560。传统的输入/输出部包括连接到输入/输出控制器1584的ROM1510、软盘驱动器1550、以及输入/输出芯片1570。

主控制器1582连接RAM1520、以更高传输速率访问RAM1520的CPU1505和图像控制器1575。CPU1505根据存储在ROM1510和RAM1520上的程序的内容而运行，控制每个组件。图像控制器1575获得CPU1505等在RAM1520内设置的帧缓冲器上生成的图像数据，并使显示器件1580显示获得的图像数据。取而代之，图像控制器1575也可在内部包括用于存储CPU1505等生成的图像数据的帧缓冲器。

输入/输出控制器1584连接主控制器1582、作为相对高速的输入/输出装置的硬盘驱动器1540、通信接口1530、以及CD-ROM驱动器1560。硬盘驱动器1540存储CPU1505使用的程序和数据。通信接口1530与网络通信装置1598连接，收发程序或数据。CD-ROM驱动器1560从CD-ROM1595中读取程序和数据，并通过RAM1520向硬盘驱动器1540及通信接口1530提供所读取的程序和数据。

在输入/输出控制器1584上连接：作为相对低速的输入/输出装置的ROM1510、软盘驱动器1550以及输入/输出芯片1570。ROM1510存储由图像处理装置120及图像处理装置170在启动时执行的引导程序，或依存于图像处理装置120及图像处理装置170的硬件的程序等。软盘驱动器1550从软盘1590读取程序或数据，并通过RAM1520向硬盘驱动器1540及通信接口1530提供读取的程序或数据。输入/输出芯片1570通过软盘驱动器1550、或并行端口、串行端口、键盘端口、鼠标端口等连接各种输入/输出装置。

CPU1505执行的程序是被存储于软盘1590、CD-ROM1595或IC卡等记录介质上，而由用户提供的。被记录介质存储的程序可以是压缩的也可以是非压缩的。程序从记录介质被安装到硬盘驱动器1540中，通过RAM1520读取，并由CPU1505执行。被CPU1505执行的程序，使图像处理装置120作为如图1至图11描述的图像处理装置120所具有的各构成要素来发挥功能。使图像处理装置170作为如图1至11描述的图像处理装置170所具有的各构成要素来发挥功能。

以上所示程序，也可以存储在外部的存储介质中。作为存储介质，除软盘1590、CD-ROM1595以外，还能够使用DVD或PD等光学记录介质、MD等光磁记录介质、磁带介质、IC卡等半导体存储器等。此外，还可以使用设置于与专用通信网络或者互联网连接的服务器系统中的硬盘或RAM等存储装置作为记录介质，并作为借助网络的程序而提供给图像处理装置120及图像处理装置170。这样，由程序控制的计算机将作为图像处理装置120及图像处理装置170而发挥作用。

以上，用实施方式说明了本发明，不过，本发明的技术范围不受上述实施方式记载的范围所限定。本领域技术人员清楚，可对上述实施方式进行多种多样的变形及改进。从权利要求书可以明白，这样的变形及改进均被包括在本发明的技术范围内。

权利要求书、说明书、和在附图中表示的装置、系统、程序、和在方法中的动作、次序、步骤和阶段等各处理的执行顺序，只要没有特别注明“比…先”、“在…之前”等，而且只要不是后面的处理必须使用前面的处理的输出，就能以任意的顺序实施。有关权利要求书、说明书和附图中的动作流程，为了说明上的方便，即便是使用了“首先”、“其次”、等字样加以说明，但也不意味着以这个程序实施是必须的条件。

Claims (11)

1.一种图像处理系统，其中，具备：

特征区域检测部，从图像中检测出特征区域；以及

压缩部，在每个预定的部分区域压缩所述图像，

所述压缩部在对包含在所述特征区域中的所述部分区域的图像进行压缩时，与对包含在所述特征区域以外的区域中的所述部分区域的图像进行压缩时相比，使用更多的像素的像素值来进行压缩。

2.根据权利要求1所述的图像处理系统，其中，

所述压缩部具有空间频率分量计算部，该空间频率分量计算部针对每个所述部分区域计算空间频率分量，

所述空间频率分量计算部在计算包含在所述特征区域中的所述部分区域的空间频率分量时，与计算所述特征区域以外的区域的空间频率分量时相比，使用更多的像素的像素值来计算。

3.根据权利要求2所述的图像处理系统，其中，

所述压缩部还具有量化部，该量化部对由所述空间频率分量计算部所计算的所述空间频率分量进行量化。

4.根据权利要求3所述的图像处理系统，其中，

所述量化部，在对所述特征区域中所包含的所述部分区域中计算出的空间频率分量进行量化时，与对所述特征区域以外的区域中所包含的所述部分区域中计算出的空间频率分量进行量化时相比，以更小的量化步长来进行量化。

5.根据权利要求3所述的图像处理系统，其中，

所述压缩部还具有编码部，该编码部对由所述量化部进行量化后的所述空间频率分量进行编码。

6.根据权利要求2所述的图像处理系统，其中，

所述空间频率分量计算部针对每个所述部分区域计算DCT系数。

7.根据权利要求4所述的图像处理系统，其中，

所述特征区域检测部，从包含在作为所述图像的动态图像中的多个动态图像构成图像中检测出所述特征区域，

所述空间频率分量计算部，计算出从所述动态图像构成图像中检测出的所述动态图像构成图像中的所述特征区域中所包含的所述部分区域的空间频率分量，

所述量化部在对所述特征区域中所包含的所述部分区域中计算出的空间频率分量进行量化时，与对所述特征区域以外的区域中所包含的所述部分区域中计算出的空间频率分量进行量化时相比，以更小的量化步长来进行量化。

8.根据权利要求7所述的图像处理系统，其中，

所述特征区域检测部，从所述多个动态图像构成图像中检测出特征的种类不同的多个所述特征区域，

所述量化部，将所述多个特征区域分别包含的所述部分区域中计算出的空间频率分量，以对应所述特征的种类而预先确定的量化步长进行量化。

9.根据权利要求1所述的图像处理系统，其中，还具备：

压缩图像取得部，取得被所述压缩部压缩后的图像；

解压缩部，将所述压缩图像取得部所取得的所述被压缩的图像，针对每个所述部分区域进行解码；以及

部分区域图像放大部，以与所述压缩部压缩时使用的像素数相对应的放大率来放大由所述解压缩部解码的所述部分区域的像素。

10.一种图像处理方法，其中，具有：

特征区域检测步骤，从图像中检测出特征区域；以及

压缩步骤，针对每个预定的部分区域压缩所述图像，

所述压缩步骤，在对包含在所述特征区域中的所述部分区域的图像进行压缩时，与对包含在所述特征区域以外的区域中的所述部分区域的图像进行压缩时相比，使用更多的像素的像素值来进行压缩。

11.一种计算机可读介质，用于存储图像处理系统用的程序，其中，该程序使计算机作为如下单元工作：

特征区域检测部，从图像中检测出特征区域；以及

压缩部，针对每个预定的部分区域压缩所述图像，在对包含在所述特征区域中的所述部分区域的图像进行压缩时，与对包含在所述特征区域以外的区域中的所述部分区域的图像进行压缩时相比，使用更多的像素的像素值来进行压缩。

Images