CN101755461A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN101755461A
CN101755461A CN200880025407A CN200880025407A CN101755461A CN 101755461 A CN101755461 A CN 101755461A CN 200880025407 A CN200880025407 A CN 200880025407A CN 200880025407 A CN200880025407 A CN 200880025407A CN 101755461 A CN101755461 A CN 101755461A
Authority
CN
China
Prior art keywords
image
characteristic
area
characteristic area
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880025407A
Other languages
English (en)
Other versions
CN101755461B (zh
Inventor
龟山祐和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008148576A external-priority patent/JP2009049976A/ja
Priority claimed from JP2008148584A external-priority patent/JP5531327B2/ja
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101755461A publication Critical patent/CN101755461A/zh
Application granted granted Critical
Publication of CN101755461B publication Critical patent/CN101755461B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像处理设备，包括：特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。本发明还提供了一种图像处理设备，包括：编码方式存储部分，以与对象的特征的量相关联的方式来存储编码方式；特征区域检测部分，从图像中检测多个特征区域；以及压缩部分，以编码方式存储部分中以与所述多个特征区域中包括的对象的特征的量相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。

Description

图像处理设备、图像处理方法和程序
技术领域
本发明涉及一种图像处理设备、图像处理方法和程序。更具体地，本发明涉及一种用于处理图像的图像处理设备和图像处理方法，以及一种在所述图像处理设备中使用的程序。本专利申请在此以引用方式并入以下日本专利申请的内容(如果适用)：2008年3月25日提交的No.2008-078636、2008年3月25日提交的No.2008-078641、2008年3月31提交的No.2008-091562和2008年4月4日提交的No.2008-098600。本专利申请要求以下日本专利申请的优先权并将其内容以引用方式并入此处：2007年7月20日提交的No.2007-190149、2007年9月10日提交的No.2007-234756、2008年6月5日提交的No.2008-148576和2008年6月5日提交的No.2008-148584。
背景技术
例如，日本专利No.2828977中公开的一种已知的运动图像编码设备将已编码的屏幕图像与要编码的屏幕图像进行比较，以标识屏幕内的改变区域；将要编码的屏幕图像分为多个图像块；并且对包括改变区域在内的图像块进行编码。在对包括改变区域在内的图像块进行编码时，同分配给包含改变区域中其余区域在内的图像块的信息比特数目相比，该运动图像编码设备将较大数目的信息比特分配给包含改变区域中另一限制区域在内的图像块。此外，例如在日本专利申请公开No.2003-250132中公开了一种已知的数字图像产生方法，产生与数字图像的主体的重要性相关的附加信息和与主体相对应的背景区域，并且以与该附加信息相关联的方式来保存通过对数字图像进行压缩而得到的压缩数字图像。有一种已知的视频记录器/播放器，根据数据的重要性来动态改变对输入数据进行压缩的水平，并以较低的压缩水平来存储重要数据(参见例如日本专利申请公开No.2003-189242)。此外，还有一种已知的运动图像压缩器，即使在从监视摄像机提供的图像数据包含较大运动的情况下，也能使监视器的屏幕上显示的被监视对象的图像保持清晰，以允许观看者对所监视区域的情形进行充分观察(参见例如日本专利申请公开No.10-70716)。
发明内容
本发明要解决的技术问题
然而，上述专利文献中公开的技术不能根据区域的特征来对多个区域中的每一个进行压缩。日本专利申请公开No.2003-189242的发明基于运动区域的位移矢量来确定运动矢量。日本专利申请公开No.10-70716的发明可以增大运动区域的量化粗糙度。然而，日本专利申请公开No.2003-189242和日本专利申请公开No.10-70716的技术不能以合适的压缩率来压缩图像，这是由于这些技术不能以适配于对象的方式对运动区域中的任何对象进行压缩和编码。
解决问题的技术方案
为了解决上述问题，本发明的第一实施例提供了一种图像处理设备，包括：特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
特征区域检测部分可以检测运动图像中包括的多幅运动图像分量图像中的多个特征区域。压缩控制部分可以参照条件存储部分上存储的条件，根据所述多个特征区域的特征，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
条件存储部分可以在其上存储根据特征区域的类型而不同的条件。压缩控制部分可以参照条件存储部分上存储的条件，根据所述多个特征区域的类型，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
特征区域检测部分可以检测多幅运动图像分量图像中具有不同类型特征的多个特征区域，压缩部分可以分别对多幅特征区域运动图像进行压缩，其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像。压缩控制部分可以参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对压缩部分对所述多幅特征区域运动图像中每一幅进行压缩的压缩强度进行控制。
条件存储部分可以在其上存储根据特征区域的类型而不同的图像质量降低量；压缩部分可以包括图像质量降低部分，降低多幅特征区域运动图像的图像质量，其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像；以及压缩控制部分可以参照条件存储部分上存储的图像质量降低量，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区域运动图像中每一幅的图像质量降低的图像质量降低量进行控制。
本发明的第二实施例提供了一种图像处理方法，包括：检测图像中的多个特征区域；存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及参照存储步骤中存储的条件，根据所述多个特征区域的特征，对压缩步骤中分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
本发明的第三实施例提供了一种与图像处理设备一起使用的程序。所述程序使图像处理设备用作：特征区域检测部分，检测图像中的多个特征区域；条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
根据本发明的第四方面，提供了一种图像处理设备，包括：特征区域检测部分，从图像中检测多个特征区域；以及压缩部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。所述图像处理设备还可以包括编码方式存储部分，以与对象的特征的量相关联的方式来存储编码方式，并且所述压缩部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的特征的量相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。
编码方式存储部分可以以与对象的类型相关联的方式来存储编码方式，并且压缩部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。特征区域检测部分可以从运动图像(即前述图像)中包括的多幅运动图像组成图像中的每一幅中检测多个特征区域，并且压缩部分可以以编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的编码方式，分别对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
根据本发明的第五方面，提供了一种图像处理方法，包括：从图像中检测多个特征区域；以及根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。根据本发明的第六方面，提供了一种用于图像处理设备的程序，所述程序控制图像处理设备用作：特征区域检测部分，从图像中检测多个特征区域；以及压缩部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。
这里，在发明内容中未列出本发明的所有必要特征。这些特征的子组合可以形成本发明。
附图说明
图1示意了与本发明的实施例相关的图像处理系统2010的示例。
图2示意了图像处理设备2120的示例模块配置。
图3示意了图像处理设备2170的示例模块配置。
图4示意了图像处理设备2120执行的操作的示例流程。
图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图像质量。
图6示意了图像处理设备2170执行的操作的示例流程。
图7示意了图像处理设备2120中包括的压缩控制单元2700的示例配置。
图8示意了条件存储部分2750上存储的数据的示例。
图9示意了条件存储部分2750上存储的数据的不同示例。
图10示意了信息量计算部分2720上存储的数据的示例。
图11示意了压缩强度确定部分2740执行的确定压缩强度的示例操作。
图12示意了作为示例的信息量计算部分2720所计算的信息量随时间的变化。
图13示意了作为示例的ROI的边界区域。
图14示意了图像处理设备2120的另一示例模块配置。
图15A示意了级间差异压缩部分2282a和2282b的示例模块配置。
图15B示意了运动分析部分2285a和差异处理部分2287a的示例模块配置。
图15C示意了运动分析部分2285b和差异处理部分2287b的示例模块配置。
图16示意了与不同实施例相关的图像处理系统2020的示例配置。
图17示意了图像处理设备2120和2170的示例硬件配置。
图18示出了根据实施例的图像处理系统3010的一个示例。
图19示出了图像处理设备3120的一示例模块配置。
图20A示出了级间差异压缩部分3282a和3282b的一示例模块配置。
图20B示出了级间差异压缩部分3282a中包括的运动分析部分3285a和差异处理部分3287a的一示例模块配置。
图20C示出了级间差异压缩部分3282b中包括的运动分析部分3285b和差异处理部分3287b的一示例模块配置。
图21示出了压缩控制部分3250的一示例模块配置。
图22示出了根据另一实施例的图像处理设备3120的一示例模块配置。
图23示出了编码部分3231的一示例模块配置。
图24示出了图像处理设备3170的一示例模块配置。
图25是示出了编码方式存储部分3410中存储的示例数据的表。
图26示出了编码方式存储部分3410中存储的示例量化步长校正值。
图27示出了校正前的码量的比值与量化校正量Q之间的关系。
图28是示出了编码方式存储部分3410中存储的另一示例数据的表。
图29示出了用于确定差异获得目标区域的差异获得目标区域确定部分3294的示例确定方法。
图30示出了图像处理系统3020的示例。
图31示出了图像处理设备3120和图像处理设备3170的一示例硬件配置。
具体实施方式
以下将描述本发明的一些实施例。这些实施例不限制根据权利要求的本发明，并且对本发明的各方面所提供的手段而言，实施例中描述的特征的全部组合不一定是必不可少的。
图1示意了与本发明的实施例相关的图像处理系统2010的示例。图像处理系统2010被设计为维持特征主体的图像的高质量，并且可以降低整幅图像的数据量。
图像处理系统2010包括：多个图像捕捉设备2100a至2100c(以下统称为图像捕捉设备2100)，用于捕捉被监视空间2150的图像；多个图像处理设备2120a至2120c(以下统称为图像处理设备2120)，用于处理图像；图像处理设备2170；通信网络2110；图像数据库2175和多个显示设备2180a至2180c(以下统称为显示设备2180)。
图像处理设备2120a连接至图像捕捉设备2100a。图像处理设备2120b连接至图像捕捉设备2100b。图像处理设备2120c连接至图像捕捉设备2100c。图像处理设备2170和显示设备2180在与被监视空间2150不同的空间2160内提供。
以下描述图像捕捉设备2100a、图像处理设备2120a、图像处理设备2170和显示设备2180a的操作。图像捕捉设备2100a捕捉被监视空间2150的图像，对捕捉运动图像进行MPEG编码以产生捕捉运动图像数据，并将产生的捕捉运动图像数据输出至图像捕捉设备2100a所连接的图像处理设备2120a。
这里，图像捕捉设备2100a包括图像捕捉部分2102a和捕捉运动图像压缩部分2104a。图像捕捉部分2102a对被监视空间2150进行图像捕捉，以产生捕捉运动图像中包括的多幅运动图像分量图像。图像捕捉部分2102a可以以RAW格式来产生运动图像分量图像。捕捉运动图像压缩部分2104a对图像捕捉部分2102a产生的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理以获得包括多幅运动图像分量图像在内的捕捉运动图像，并且使用如MPEG编码之类的技术对捕捉运动图像进行压缩。按照这种方式，捕捉运动图像压缩部分2104a产生捕捉运动图像数据。
图像处理设备2120a获得图像捕捉设备2100a产生的捕捉运动图像数据。图像处理设备2120a对从图像捕捉设备2100a获得的捕捉运动图像数据进行解码以所产生的捕捉运动图像，并且检测捕捉运动图像中的多个特征区域。这里，特征区域包含不同类型的特征，包括人2130和运动物体2140(如车辆)。基于捕捉运动图像，图像处理设备2120a产生与不同类型的特征一一对应的多幅特征区域运动图像。在每幅特征区域运动图像中，特征区域中相应的一个具有比其余区域更高的图像质量。图像处理设备2120a还产生背景区域运动图像，该背景区域运动图像是捕捉运动图像中除特征区域之外的背景区域的运动图像。背景区域运动图像具有比特征区域运动图像更低的图像质量。
图像处理设备2120a对特征区域运动图像和背景区域运动图像分别进行编码，以产生多份特征区域运动图像数据和一份背景区域运动图像数据。同时，图像处理设备2120a将多份特征区域运动图像数据与一份背景区域运动图像数据互相关联，并将互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据经由通信网络2110发送至图像处理设备2170。
图像处理设备2170对从图像处理设备2120a接收到的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据分别进行解码，以获得多幅特征区域运动图像和背景区域运动图像。图像处理设备2170将特征区域运动图像与背景区域运动图像进行组合，以产生单幅组合运动图像，并将该组合运动图像提供给显示设备2180a。显示设备2180a显示从图像处理设备2170提供的运动图像。
图像处理设备2170可以将组合运动图像或从图像处理设备2120a获得的捕捉运动图像数据记录在图像数据库2175上。图像处理设备2170可以响应于显示设备2180a发出的请求，将图像数据库2175上记录的组合运动图像提供给显示设备2180a。如上所述，图像处理设备2170可以对图像数据库2175上记录的捕捉运动图像数据进行解码，并响应于显示设备2180a发出的请求，将得到的运动图像提供给显示设备2180a。图像数据库2175可以具有非易失性记录介质(如硬盘)，并在记录介质上记录从图像处理设备2170提供的组合运动图像。
图像捕捉设备2100b和2100c分别包括具有与图像捕捉设备2100a的组件相同功能的组件。图像捕捉设备2100c和2100b具有与图像捕捉设备2100a相同的功能和操作，但是图像捕捉设备2100b和2100c分别将捕捉运动图像数据提供给图像处理设备2120b和2120c。因此，这里不对图像捕捉设备2100b和2100c进行解释。注意，以下描述可能将图像捕捉部分2102a至2102c称为图像捕捉部分2102，并且可能将捕捉运动图像压缩部分2104a至2104c称为捕捉运动图像压缩部分2104。
图像处理设备2120b和2120c可以具有与图像处理设备2120a相同的功能和操作，但是图像处理设备2120b和2120c分别从图像捕捉设备2100b和2100c获得捕捉运动图像数据。因此，这里不对图像处理设备2120b和2120c进行解释。图像处理设备2170基于从图像处理设备2120b和2120c中的每一个接收到的、互相关联的多个特征区域运动图像数据和背景区域运动图像数据来产生单幅运动图像，并将该单幅运动图像提供给显示设备2180b和2180c中相应的一个。显示设备2180b和2180c分别显示从图像处理设备2170提供的运动图像。
当例如用作监视系统时，与本实施例相关的图像处理系统2010能够保持人、运动物体和要监视的其他特征主体的高质量图像。此外，与本实施例相关的图像处理系统2010能够减少运动图像的数据量。
图2示意了图像处理设备2120的示例模块配置。图像处理设备2120包括压缩运动图像获得部分2201、压缩运动图像扩展部分2202、特征区域检测部分2203、图像划分部分2204、图像产生部分2205、值固定单元2210、降低单元2220、编码单元2230、关联部分2206和输出部分2207。
值固定单元2210包括多个值固定部分2211a至2211c(以下统称为值固定部分2211)。降低单元2220包括多个图像质量降低部分2221a至2221d(以下统称为图像质量降低部分2221)。
编码单元2230包括背景区域运动图像编码部分2231a和多个特征区域运动图像编码部分2231b至2231d(以下统称为特征区域运动图像编码部分2231)。这里，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d可以统称为编码部分2231。
图像质量降低部分2221a和背景区域运动图像编码部分2231a一起用作压缩部分2240a。图像质量降低部分2221b和特征区域运动图像编码部分2231b一起用作压缩部分2240b。图像质量降低部分2221c和特征区域运动图像编码部分2231c一起用作压缩部分2240c。图像质量降低部分2221d和特征区域运动图像编码部分2231d一起用作压缩部分2240d。这些压缩部分2240a至2240d统称为压缩部分2240。
压缩运动图像获得部分2201获得压缩运动图像。具体而言，压缩运动图像获得部分2201获得由图像捕捉设备2100产生的捕捉运动图像数据。压缩运动图像扩展部分2202对压缩运动图像获得部分2201获得的运动图像进行解压，以产生运动图像中包括的运动图像分量图像。具体而言，压缩运动图像扩展部分2202对压缩运动图像获得部分2201获得的捕捉运动图像数据进行解码，以产生运动图像中包括的运动图像分量图像。运动图像分量图像可以是帧图像、场图像等等。
特征区域检测部分2203检测运动图像中包括的运动图像分量图像中的特征区域。图像划分部分2204将每个运动图像分量图像划分为特征区域和背景区域。
图像产生部分2205从运动图像分量图像中提取特征区域图像，以产生多幅特征区域压缩运动图像。这里，每一幅特征区域压缩运动图像包括多幅特征区域图像。具体而言，图像产生部分2205通过复制运动图像来产生用于产生多幅特征区域运动图像的多幅特征区域压缩运动图像和用于产生背景区域运动图像的背景区域压缩运动图像。
值固定部分2211将每一幅特征区域压缩运动图像中包括的运动图像分量图像中不同于特征区域的区域(以下称为非特征区域)的像素值设置为固定值。例如，值固定部分2211将特征区域压缩运动图像中非特征区域的像素值设置为预定值(例如将亮度值设置为0)。然后，压缩部分2240以根据特征区域压缩运动图像的特征量而确定的强度，对包括其中非特征区域的像素值被设为固定值的运动图像分量图像在内的每一幅特征区域压缩运动图像进行压缩。如上所述，压缩部分2240以根据压缩运动图像的特征量而确定的强度，对特征区域压缩运动图像和背景区域压缩运动图像独立地进行压缩。
如上所述，特征区域检测部分2203检测图像中的特征区域。图像划分部分2204将每幅图像划分为特征区域和背景区域。压缩部分2240以不同的强度对示出特征区域的特征区域图像和示出背景区域的背景区域图像独立地进行压缩。压缩部分2240以不同的强度对每幅包括多幅特征区域图像的特征区域运动图像和每幅包括多幅背景区域图像的背景区域运动图像分别进行压缩。
压缩部分2240b、2240c和2240d中的每一个被配置为对预定类型的特征区域运动图像进行压缩。压缩部分2240b、2240c和2240d中的每一个对示出预定类型特征的特征区域运动图像进行压缩。这里，以与特征类型相关联的方式，预先确定对示出不同类型特征的特征区域运动图像进行压缩的压缩强度。压缩部分2240b、2240c和2240d中的每一个以与预定特征类型相关联的预定压缩强度来对示出预定类型特征的特征区域运动图像进行压缩。按照这种方式，压缩部分2240使用以与图像划分部分2204定义的图像区域一一对应的方式提供的压缩器来并行压缩多个区域。
压缩部分2240可以由单一压缩器来实现。在这种情况下，压缩部分2240可以在时间上依次压缩特征区域运动图像和背景区域运动图像。备选地，压缩部分2240可以通过以针对特征类型和区域背景预先确定的压缩率对图像划分部分2204定义的区域进行压缩，来对压缩运动图像扩展部分2202的解码操作获得的捕捉运动图像进行压缩。按照这种方式，压缩部分2240可以产生份运动图像数据。
注意，特征区域检测部分2203在运动图像中包括的多幅运动图像分量图像中检测到具有不同类型特征的多个特征区域。图像划分部分2204将每幅运动图像分量图像划分为多个特征区域和背景区域。压缩部分2240以根据运动图像的特征量而确定的强度，对多幅特征区域运动图像和背景区域运动图像分别进行压缩。在此，这里的特征量指示主体类型、对象大小、运动物体的运动速度和特征区域大小中的任一项。
具体而言，对于特征区域运动图像和背景区域运动图像，图像质量降低部分2221通过根据它们的相应的特征量降低它们的图像质量，来对它们进行压缩。更具体地，对于特征区域运动图像和背景区域运动图像，图像质量降低部分2221通过根据它们的相应的特征量降低帧率的分辨率，来对它们进行压缩。对于特征区域运动图像和背景区域运动图像，编码部分2231通过使用根据它们的相应的特征量而设置的值对运动图像进行编码，来对它们进行压缩。例如，对于特征区域运动图像和背景区域运动图像，编码部分2231通过使用根据它们的相应的特征量而分配的码量对运动图像进行编码，来对它们进行压缩。
关联部分2206将多个压缩部分2240通过对特征区域运动图像和背景区域运动图像进行压缩而产生的多个特征区域运动图像数据和背景区域运动图像数据互相关联。例如，这种关联是通过添加标记信息来实现的。输出部分2207将由关联部分2206互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据发送至通信网络2110。
根据图2所示的配置，图像处理设备2120中包括的压缩部分2240以一一对应的方式对特征区域图像和背景区域图像进行压缩。然而，根据不同的配置，图像处理设备2120可以包括单一压缩部分2240，该单一压缩部分2240可以以不同的强度对特征区域图像和背景区域图像分别进行压缩。例如，可以以时间共享的方式，将特征区域图像和背景区域图像依次提供给单一压缩部分2240，并且单一压缩部分2240可以以不同的强度依次对特征区域图像和背景区域图像分别进行压缩。
备选地，单一压缩部分2240可以通过分别以不同的量化系数对特征区域的多条图像信息和背景区域的一条图像信息分别进行量化，来以不同的强度对特征区域图像和背景区域图像分别进行压缩。此外，可以将特征区域图像和背景区域图像转换为具有不同图像质量的图像，并且可以将得到的图像提供给单一压缩部分2240。单一压缩部分2240可以对从特征区域图像和背景区域图像获得的所提供的图像分别进行压缩。
在单一压缩部分2240以不同的量化系数对每个区域的图像进行量化或者对具有不同图像质量的每个区域的图像进行压缩的上述实施例中，单一压缩部分2240可以对单一整幅图像或者图像划分部分2204定义的图像的每个部分区域进行压缩(如参照图2所述)。当单一压缩部分2240对单一整幅图像进行压缩时，图像划分部分2204执行的图像划分操作和值固定部分2211执行的值固定操作不是必要的。因此，图像处理设备2120可以被配置为不具有图像划分部分2204和值固定单元2210。
图3示意了图像处理设备2170的示例模块配置。图像处理设备2170包括压缩运动图像获得部分2301、关联分析部分2302、压缩运动图像扩展单元2310、组合部分2303和输出部分2304。压缩运动图像扩展单元2310包括多个压缩运动图像扩展部分2311a至2311d(以下统称为压缩运动图像扩展部分2311)。
压缩运动图像获得部分2301获得从输出部分2207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。例如，关联分析部分2302对添加的标记信息进行分析，以检索压缩运动图像获得部分2301获得的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。
压缩运动图像扩展部分2311对多份特征区域运动图像数据和一份背景区域运动图像数据进行解码。具体而言，压缩运动图像扩展部分2311a对背景区域运动图像数据进行解码。压缩运动图像扩展部分2311b至2311d中的每一个对特征区域运动图像数据中的一份进行解码。按照这种方式，压缩运动图像扩展部分2311a至2311d获得背景区域运动图像和多幅特征区域运动图像。这里，以与多个不同类型特征一一对应的方式提供压缩运动图像扩展部分2311b至2311d，压缩运动图像扩展部分2311b至2311d中的每一个对一种类型的一份特征区域运动图像数据进行解码。
组合部分2303将通过压缩运动图像扩展部分2311的解码操作而获得的运动图像分量图像组合在一起。具体而言，组合部分2303通过将从压缩运动图像扩展部分2311b至2311d的解码操作得到的特征区域运动图像中包括的运动图像分量图像重叠至背景区域运动图像中包括的运动图像分量图像上，来产生运动图像分量图像。输出部分2304将包括组合部分2303所产生的运动图像分量图像在内的运动图像提供给显示设备2180。这里，输出部分2304可以将包括组合部分2303所产生的运动图像分量图像在内的运动图像记录在图像数据库2175上。图像处理设备2170可以将从输出部分2207输出的、互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据记录在图像数据库2175上。在这种情况下，压缩运动图像获得部分2301可以从图像数据库2175获得互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据。
根据本实施例，压缩运动图像扩展单元2310包括多个压缩运动图像扩展部分2311，其数目与特征类型的数目相对应。然而，在其他实施例中，压缩运动图像扩展单元2310可以包括单一压缩运动图像扩展部分2311，该单一压缩运动图像扩展部分2311可以依次对一份背景区域运动图像数据和多份特征区域运动图像数据进行解码。当图像处理设备2120向图像处理设备2170提供单份运动图像数据时，单一压缩运动图像扩展部分2311可以对所提供的单份运动图像数据进行解码，并且输出部分2304可以输出解码操作所获得的运动图像。
图4示意了图像处理设备2120执行的操作的示例流程。在步骤2401中，压缩运动图像获得部分2201获得捕捉运动图像数据。压缩运动图像扩展部分2202通过对捕捉运动图像数据进行解码来产生多幅帧图像2410。在步骤2402中，特征区域检测部分2203基于每幅帧图像2410或多份帧图像2410所示的内容来检测感兴趣的区域(ROI)，ROI被示为特征区域的示例。
特征区域检测部分2203检测包含人脸、人体和运动物体的区域，作为不同类型的ROI。例如，特征区域检测部分2203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人脸的预定图案相匹配的对象在内的区域，并将检测到的脸部区域指定为ROI。此外，特征区域检测部分2203通过模式匹配技术等来检测包含以高于预定匹配度的匹配度与人体图案相匹配的对象在内的区域，并将检测到的区域指定为ROI。这里，特征区域检测部分2203可以检测脸部区域附近的身体区域。
特征区域检测部分2203基于多幅帧图像所示的内容来标识包含运动物体在内的运动区域。例如，特征区域检测部分2203将在帧图像之间像素值变化大于预定值的区域标识为运动区域。此外，特征区域检测部分2203使用边缘提取技术等从帧图像中提取对象。特征区域检测部分2203可以依次标识以高于预定匹配度的匹配度互相匹配并且在不同帧图像中位于不同位置的对象，并且将包含所标识对象在内的区域标识为运动区域。
如上所述，特征区域检测部分2203将满足与图像内容相关的预定条件的区域检测为ROI。具体而言，特征区域检测部分2203将包含满足预定条件的对象在内的区域检测为ROI。例如，特征区域检测部分2203将包含以高于预定匹配度的匹配度与预定形状相匹配的对象在内的区域检测为ROI。此外，特征区域检测部分2203将图像变化比预定变化更为显著的区域检测为ROI。例如，特征区域检测部分2203将帧图像之间像素值变化大于预定变化的区域检测为ROI。
除了上述列出的人脸和人体之外，特征区域检测部分2203可以将示出人的头部的一部分、人体的一部分(如手)或不同于人的活体对象的至少一部分的区域检测为ROI。注意，活体对象包括活体对象内的特定组织，例如肿瘤组织或血管。此外，除了活体对象之外，特征区域检测部分2203可以将示出货币、卡(如现金卡)、车辆或车辆的牌照的区域检测为ROI。
除了包括模板匹配技术在内的模式匹配技术之外，特征区域检测部分2203可以使用例如日本专利申请公开No.2007-188419中公开的机器学习(例如adaboost)的结果来检测ROI。例如，特征区域检测部分2203基于从预定主体的图像中提取的图像特征量和从不同于预定主体的主体的图像中提取的图像特征量，来学习从预定主体的图像中提取的图像特征量的独特性。特征区域检测部分2203可以将从中提取了具有与所学习的独特性相匹配的独特性的图像特征量的区域检测为ROI。按照这种方式，特征区域检测部分2203可以将示出预定主体的区域检测为ROI。特征区域检测部分2203可以检测具有任何形状(例如矩形)的ROI。
特征区域检测部分2203可以使用在日本专利申请No.2008-078641中公开的方法来检测特征区域。例如，特征区域检测部分2203以单一或多个预定速率来丢弃要在其中检测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部分2203产生由所捕捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检测部分2203将第一滤波器应用至第一图像来计算评估值。这里，在所产生的图像组中包括的图像中，第一图像具有相对较小的大小，并且，第一滤波器作用于图像上的二维区域，并产生表示该区域内存在特定类型对象的可能性的评估值。第一滤波器可以从分别作用于不同大小的区域的滤波器组中选择，并且被设计为作用于相对较小的区域，其中，根据图像上区域的大小，每个滤波器具有预定数目的像素。特征区域检测部分2203从第一图像中提取主候选区域，该主候选区域产生超过预定第一阈值的评估值。
然后，特征区域检测部分2203将第二滤波器应用至第二图像中与主候选区域相对应的区域，以计算评估值，其中，第二图像所具有的像素比第一图像多预定数目，第二滤波器是从所述滤波器组中选择的并被设计为作用于比第一滤波器所作用的区域大预定大小的区域。按照这种方式，特征区域检测部分2203提取次候选区域，该次候选区域产生超过预定第二阈值的评估值。
特征区域检测部分2203将被设计为作用于不同大小的区域的上述滤波器组应用至图像组中包括的相应大小的区域，以重复上述提取候选区域的提取操作。这里，特征区域检测部分2203以如下方式重复执行提取操作：从应用被设计为作用于相对较小区域的滤波器的提取操作开始，依次增大所应用的滤波器所作用的区域的大小。具体而言，特征区域检测部分2203以如下方式重复并依次执行提取操作：从将被设计为作用于相对较小区域的滤波器应用至相对较小图像的提取操作开始，以将被设计为作用于相对较大区域的滤波器应用至相对较大图像的提取操作结束。特征区域检测部分2203重复执行两个或更多提取操作，以提取最终候选区域。按照这种方式，特征区域检测部分2203检测特定类型的对象。然后，特征区域检测部分2203将其中存在该特定类型对象的区域检测为特征区域。如上所述，特征区域检测部分2203将滤波器的应用限制于恰在之前的提取操作中提取的区域。换言之，相应提取操作依次判断对象是否存在。因此，特征区域检测部分2203可以精确地检测特征区域。此外，由于上述方法使用较小区域来大致检测特征区域，因此特征区域检测部分2203可以在较短时间内检测特征区域。
备选地，特征区域检测部分2203可以通过使用日本专利申请No.2008-078636中公开的方法来检测特征区域。例如，特征区域检测部分2203通过多个滤波器来检测特征区域，每个滤波器被设计为作用于所捕捉的图像中具有预定大小的二维区域并计算与特定类型的对象的轮廓和所占面积相关的不同的特征量之一。具体而言，特征区域检测部分2203将这些滤波器应用至要在其中检测对象的所捕捉的图像上具有预定大小的区域，以计算多个特征量。这里，每个滤波器与滤波器所计算的特征量与表示存在特定类型对象的可能性的主评估值之间的关系相关联。特征区域检测部分2203参照这种关系，并获得与所计算的特征量相关的主评估值。然后，特征区域检测部分2203将与这些滤波器相对应的主评估值相结合，以获得表示区域中存在特定类型对象的可能性的次评估值。特征区域检测部分2203将次评估值与阈值进行比较，以提取产生超过阈值的次评估值并且其中非常可能存在特定类型对象的区域。按照上述方式，特征区域检测部分2203将所提取的区域检测为其中存在特定类型对象的特征区域。如上所述，特征区域检测部分2203将提取与对象轮廓和所占面积的各种特征相关的特征量的多个滤波器进行组合。因此，与仅参照例如对象的轮廓形状来执行的特征区域检测操作相比，特征区域检测部分2203可以更精确地提取特征区域。
特征区域检测部分2203可以将日本专利申请No.2008-078636和No.2008-078641中公开的方法进行组合，来检测特征区域。具体而言，与日本专利申请No.2008-078636中公开的方法相关的上述滤波器可以包括多个滤波器集合，其中每个滤波器集合与特定大小的区域相对应。每个集合中的滤波器具有预定数目的像素。每个滤波器可以与上述特征量与主评估值之间的上述关系相关联。特征区域检测部分2203可以以单一或多个预定速率来丢弃要在其中检测对象的所捕捉的图像中的一些像素。按照这种方式，特征区域检测部分2203产生由所捕捉的图像和一个或多个像素丢弃后的图像组成的图像组。特征区域检测部分2203将多个第一滤波器应用至第一图像来计算多个特征量。这里，在图像组中包括的图像中，第一图像具有相对较小的大小，并且，第一滤波器被设计为作用于相对较小的区域。基于相应地与第一滤波器相关联的关系，特征区域检测部分2203获得与所计算的特征量相对应的主评估值。然后，特征区域检测部分2203将主评估值相结合以获得表示区域中存在特定类型对象的可能性的次评估值。特征区域检测部分2203将所获得的次评估值与第一阈值进行比较，以提取产生超过第一阈值的次评估值并且其中非常可能存在特定类型对象的主候选区域。
特征区域检测部分2203将多个第二滤波器应用至第二图像中与主候选区域相对应的区域，以计算多个特征量。这里，第二图像包括在该图像组中，并具有比第一图像多预定数目的像素，第二滤波器被设计为作用于比第一滤波器所作用的区域大预定大小的区域。基于与第二滤波器相关联的关系，特征区域检测部分2203获得与所计算的特征量相对应的主评估值。然后，特征区域检测部分2203将与第二滤波器相对应的主评估值相结合，以获得表示与主候选区域相对应的区域中存在特定类型对象的可能性的次评估值。特征区域检测部分2203将所获得的次评估值与第二阈值相比较，以提取产生超过第二阈值的次评估值并且其中非常可能存在特定类型对象的次候选区域。
特征区域检测部分2203通过将上述多个滤波器集合(其中每个集合被设计为作用于不同大小的区域)应用至图像组中相应不同大小的区域，来重复执行提取候选区域的提取操作。这里，特征区域检测部分2203以如下方式重复执行提取操作：从应用被设计为作用于相对较小区域的滤波器的提取操作开始，依次增大所应用的滤波器所作用的区域的大小。具体而言，特征区域检测部分2203以如下方式重复并依次执行提取操作：从将被设计为作用于相对较小区域的滤波器应用至相对较小图像的提取操作开始，以将被设计为作用于相对较大区域的滤波器应用至相对较大图像的提取操作结束。特征区域检测部分2203重复执行两个或更多提取操作，以提取最终候选区域。按照这种方式，特征区域检测部分2203检测特定类型的对象。然后，特征区域检测部分2203将其中存在该特定类型对象的区域检测为特征区域。
特征区域检测部分2203可以使用日本专利申请No.2008-098600中公开的方法来检测特征区域。例如，特征区域检测部分2203从多个图像捕捉设备2100捕捉运动图像中包括的多幅所捕捉的图像中检测特征区域。例如，假定图像捕捉设备2100a和2100b捕捉相同场景的图像。例如，图像捕捉设备2100a和2100b可以用作立体摄像机。在以下描述中，图像对表示由图像捕捉设备2100a捕捉的第一捕捉图像和图像捕捉设备2100b捕捉的第二捕捉图像组成的对。特征区域检测部分2203检测该图像对中特定类型的对象，并且将其中存在所检测的特定类型对象的区域检测为特征区域。
特征区域检测部分2203在形成图像对的第一和第二捕捉图像中的每一个中提取其中示出特定类型对象的区域。这里，特征区域检测部分2203可以检测其中以低精度示出特定类型对象的区域。特征区域检测部分2203然后通过检测第一和第二捕捉图像上所提取区域中的一对对应区域，来检测特定类型的对象。例如，特征区域检测部分2203参照这一对区域图像来计算图像捕捉设备2100a和2100b与这些区域中所示主体的距离。特征区域检测部分2203使用基于与对象的距离而获得的主体的三维形状来检测特定类型的对象。
当检测这对对应区域时，特征区域检测部分2203将从形成图像对的第一和第二捕捉图像中检测到的、其中示出特定类型对象的每个区域划分为多个子区域。特征区域检测部分2203计算表征每个子区域中的部分图像的特征量，然后计算表示子区域的特征量的矢量。这里，特征量可以示例为像素值，矢量可以示例为梯度矢量(例如像素值梯度矢量)。特征区域检测部分2203计算第一图像上的区域的所计算的矢量与第二图像上的区域的所计算的矢量之间的逻辑距离。特征区域检测部分2203将其间的逻辑距离短于预定值的一对区域检测为这对对应区域。这里，逻辑距离可以示例为矢量的分量之间的差的平方和的平方根。按照上述方式，特征区域检测部分2203可以精确地从图像对中提取这对对应区域，从而精确计算与主体的距离。因此，特征区域检测部分2203可以精确识别主体的三维形状，并且可以精确地检测特定类型的对象。
特征区域检测部分2203可以使用日本专利申请No.2008-091562中公开的方法来检测特征区域。例如，特征区域检测部分2203从运动图像中包括的每一幅所捕捉的图像中提取与特定类型的主体类似的主体类似形状，以及主体类似形状的尺寸和在图像捕捉设备2100的视角下主体类似形状的位置信息。该视角下的位置信息可以示例为所捕捉的图像内的图像区域的位置。特征区域检测部分2203判断所提取的主体类似形状是否表示特定类型的主体，然后提取特定类型的主体。例如，特征区域检测部分2203可以对包括具有主体类似形状的主体在内的预定搜索区域中具有主体类似形状并具有与所提取的主体类似形状相同尺寸的主体的数目进行计数，并在计数大于或等于阈值的情况下提取具有主体类似形状的主体作为特定类型的主体。特征区域检测部分2203可以将包含特定类型主体在内的区域检测为特征区域。按照这种方式，特征区域检测部分2203可以将其中检测到具有与预定尺寸相似尺寸的大量主体的图像区域中存在的具有主体类似形状的主体检测为特定类型的主体。这里，可以防止特征区域检测部分2203将不同于该图像区域的区域中存在的具有主体类似形状的主体检测为特定类型的主体。因此，特征区域检测部分2203被配置为不太可能错误地将不同于上述图像区域的区域中存在的具有主体类似形状的主体检测为特定类型的主体。
当图像捕捉设备2100具有可变视角时，上述视角下的位置信息可以示例为图像捕捉设备2100在捕捉图像时所面对的方向和所捕捉的图像上的位置。当可以使用多个图像捕捉设备2100来捕捉比使用单一图像捕捉设备2100时更大连续场的图像时，上述视角下的位置信息可以示例为相应图像捕捉设备2100在捕捉图像时所面对的方向和图像捕捉设备2100分别捕捉的所捕捉图像上的位置。
在步骤2403中，基于以上述方式检测的ROI，图像处理设备2120产生压缩运动图像。具体而言，图像划分部分2204将每幅帧图像划分为ROI和其余区域。随后，图像产生部分2205通过复制帧图像2410，产生特征区域运动图像2430、特征区域运动图像2440、特征区域运动图像2450和背景区域运动图像2420。具体而言，图像产生部分2205通过复制帧图像2410，产生针对脸部区域的特征区域运动图像2450、针对人区域的特征区域运动图像2440、针对运动区域的特征区域运动图像2430和针对背景区域的背景区域运动图像2420。
然后，在步骤2404a、2404b、2404c和2404d中，图像处理设备2120使用值固定部分2211和图像质量降低部分2221来降低特征区域运动图像2430、2440和2450以及背景区域运动图像2420的图像质量。具体而言，在特征区域运动图像2430、2440和2450中每一幅中包括的帧图像中，值固定部分2211维持图像划分部分2404所定义的ROI中对应的一个ROI中的像素值，并将不同于该对应ROI的区域中的像素值设置为预定值(例如将亮度值设为0)。这里，值固定部分2211可以将不同于该ROI的区域中的像素值设置为与该ROI相邻的区域的平均像素值。
按照上述方式，图像产生部分2205和值固定部分2211产生特征区域运动图像2430、2440和2450以及背景区域运动图像2420，其中每幅图像包括具有相同视角的多幅帧图像。如以后更详细所述，图像处理设备2170通过将其中非ROI区域的值被设置为固定值的运动图像(例如特征区域运动图像2430、2440和2450)重叠在背景区域运动图像2420上来产生运动图像。因此，背景区域运动图像2420和特征区域运动图像2430、2440和2450可以分别被视为背景层、运动区域层、人区域层和脸部区域层。
在特征区域运动图像2430、2440和2450中每一幅中包括的帧图像中，图像质量降低部分2221根据特征类型降低ROI中图像的图像质量。具体而言，由包括分辨率、灰度级数和颜色数目在内的至少一个参数预先对脸部、人和运动区域的图像质量进行定义。例如，预先指定脸部、人和运动区域以分辨率的降序来布置。
图像质量降低部分2221根据特征类型，将特征区域运动图像2430、2440和2450中每一幅中包括的帧图像中ROI的图像改变为具有预定分辨率、灰度级数和颜色数目的图像。图像质量降低部分2221还将背景区域运动图像中包括的帧图像的图像质量设置为低于ROI中的图像的图像质量。例如，图像质量降低部分2221将背景区域运动图像中包括的帧图像的分辨率设置为低于ROI中图像的分辨率。
图像质量降低部分2221降低背景区域运动图像2420和特征区域运动图像2430、2440和2450的帧率。例如，每种特征类型，即脸部，人和运动区域中的每一个与预定帧率相关联。图像质量降低部分2221通过根据与特征类型相关联的预定帧率，以预定间隔来丢弃特征区域运动图像2430、2440和2450中每一幅中包括的一些帧图像，来降低特征区域运动图像2430、2440和2450中每一幅的帧率。图像质量降低部分2221还通过根据预定帧率来丢弃背景区域运动图像2420中包括的一些帧图像，来降低背景区域运动图像2420的帧率。
这里，图像质量降低部分2221a降低背景区域运动图像2420的图像质量。图像质量降低部分2221b、2221c和2221d分别降低特征区域运动图像2430、2440和2450的图像质量。
随后，在步骤2405a、2405b、2405c和2405d中，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d分别对图像质量已被图像质量降低部分2221降低的相应运动图像进行编码。例如，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d对图像质量已被图像质量降低部分2221降低的相应运动图像进行MPEG编码。
例如，背景区域运动图像编码部分2231a根据针对背景区域运动图像的编码设置，对背景区域运动图像进行MPEG编码。特征区域运动图像编码部分2231b、2231c和2231d根据分别针对运动、人和脸部区域运动图像的编码设置，对相应特征区域运动图像分别进行MPEG编码。这里，编码设置包括设置例如用于MPEG编码的量化表。编码设置将参照图5来描述。
在步骤406中，关联部分2206通过添加标记信息，将通过背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d的编码操作而获得的一份背景区域运动图像数据和多份特征区域运动图像数据互相关联，并且输出部分2207将一份背景区域运动图像数据和多份特征区域运动图像数据输出至图像处理设备2170。这里，关联部分2206可以将定时信息添加至标记信息，其中定时信息是例如时间戳并包括指示背景区域运动图像和特征区域运动图像中包括的帧图像的显示定时的信息。关联部分2206可以将指示每个特征区域的范围的特征区域信息、标识产生捕捉运动图像数据(从其中产生背景区域运动图像和特征区域运动图像)的图像捕捉设备100的标识信息以及其他信息添加至标记信息。
如上所述，特征区域检测部分2203从运动图像中包括的多幅运动图像分量图像中，检测示出不同类型主体的多个特征区域。压缩部分2240以根据主体类型而确定的强度，对多幅特征区域运动图像分别进行压缩。在本实施例中，不同类型的主体包括例如人脸和人体。然而在其他实施例中，不同类型的主体可以包括汽车的牌照和汽车中不同于牌照的不同部分。
不同类型的主体可以包括人脸的前视图和侧视图。不同类型的主体可以包括静止和运动的主体。特征区域检测部分2203可以将包含位置与图像捕捉设备2100相距不同距离的多个主体在内的多个区域检测为具有不同类型特征的多个特征区域。
压缩部分2240对特征区域运动图像进行压缩的压缩强度可以以运动区域、人体、人脸侧视图和人脸正视图(这些是示例性的不同类型的特征)的顺序降序排列。由于图像处理系统2010用作本实施例中的监视系统，图像处理系统2010被配置为将包含人脸的区域检测为ROI，并将所检测的ROI的图像质量设置为高于非ROI区域的图像质量。然而，图像处理系统2010可以用于例如捕捉街道的图像。当用于这种目的时，图像处理系统2010可以将包含人脸的区域检测为ROI，并且将所检测的ROI的图像质量设置为低于非ROI区域的图像质量，以保护个人信息。例如，压缩部分2240对特征区域运动图像和背景区域运动图像进行压缩的压缩强度可以以人脸正视图、人脸侧视图、人体、运动区域和背景区域的顺序降序排列。
特征区域检测部分2203可以从多幅帧图像中检测包含以不同速度运动的主体在内的多个特征区域。在这种情况下，随着对象的速度增大，图像质量降低部分2221通过转换特征区域运动图像而获得的运动图像的帧率增大。这就是说，压缩部分2240可以以根据特征区域运动图像的主体速度而确定的强度，对其分别进行压缩。
如上所述，图像处理设备2120将特征区域运动图像中分别包括的帧图像中的非ROI区域中的值设置为固定值，并产生均具有相同视角的多幅特征区域运动图像和背景区域运动图像。因此，图像处理设备2120能够使用通用编码器，以高压缩率来对特征区域运动图像进行压缩，而不使用专门设计的编码器。例如，当如在MPEG编码技术中那样通过运动矢量来对特征区域运动图像进行编码时，在值被设为固定值的非ROI区域内的宏块中，像素值可能通常具有为0的差分值。因此，上述值固定操作能够降低图像处理设备2120的制造成本，并且可以维持高压缩率。
在以上描述中，压缩部分2240对包括其中非ROI区域的值被设置为固定值的帧图像在内的特征区域运动图像进行压缩。压缩部分2240可以对来自特征区域运动图像中包括的帧图像的ROI内的图像进行剪裁，对剪裁的图像进行压缩，并输出压缩图像作为特征区域运动图像。
当特征区域检测部分2203未检测到ROI时，输出部分2207将从压缩部分2240a输出的背景区域运动图像数据输出至图像处理设备2170。在这种情况下，图像产生部分2205可能不需要产生特征区域运动图像2430、2440和2450。在特征区域检测部分2203检测到ROI的情况下，图像产生部分2205产生特征区域运动图像2430、2440和2450，并且输出部分2207将以上述方式获得的多份特征区域运动图像数据和一份背景区域运动图像数据输出至图像处理部分2170。在此期间，压缩部分2240a可以继续以预定背景区域压缩率来对背景区域运动图像2420进行压缩。
在特征区域检测部分2203未检测到ROI时，压缩部分2240可以以预定无ROI压缩率来对背景区域运动图像进行压缩，该预定无ROI压缩率低于上述背景区域压缩率且高于针对特征区域运动图像的压缩率。在特征区域检测部分2203检测到ROI的情况下，压缩部分2240可以以上述背景区域压缩率来对背景区域运动图像进行压缩。这里，压缩部分2240可以以低于无ROI压缩率的压缩率来对特征区域运动图像进行压缩。
直到特征区域检测部分2203检测到ROI后过去预定时段之前，压缩部分2240可以以无ROI压缩率对背景区域运动图像进行压缩，并且在过去预定时段之后，以背景区域压缩率对背景区域运动图像进行压缩。使用这种配置，即使在特征区域检测部分2203未将原先期望被检测为ROI的区域检测为ROI的情况下，图像处理设备2120也能够以合理的高图像质量来提供背景区域运动图像。压缩部分2240可以以以下方式以不同压缩率对相应区域进行压缩。特征区域检测部分2203检测帧图像中的ROI，并且使用所检测的ROI的位置来估计不同帧图像中的ROI。在不同的帧图像中，包含该ROI的区域具有高于非ROI区域的图像质量。
图5示出了作为示例的特征区域运动图像的图像质量和背景区域运动图像的图像质量。为了简化说明，假定压缩运动图像获得部分2201所获得的捕捉运动图像数据具有16fps的帧率，并且捕捉运动图像数据中包括的帧图像具有72dpi的分辨率。
图像质量降低之后背景区域运动图像420中包括的帧图像的分辨率与捕捉运动图像中包括的帧图像410的分辨率的分辨率比被预先设置为1/8。图像质量降低部分2221通过在图像质量降低之前丢弃背景区域运动图像2420中包括的帧图像的一些像素，来产生9-dpi帧图像，其中，9dpi的分辨率是由图像产生部分2205通过复制捕捉运动图像而产生的图像质量降低之前的背景区域运动图像2420中包括的帧图像的分辨率的1/8。此外，图像质量降低之后背景区域运动图像2420的帧率与捕捉运动图像的帧率的帧率比预先被设置为1/8。图像质量降低部分2221通过在图像质量降低之前丢弃背景区域运动图像2420中包括的一些帧图像来产生2-fps背景区域运动图像2420，其中2fps的帧率是图像质量降低之前背景区域运动图像2420的帧率的1/8。
类似地，以与相应特征区域运动图像相关联的方式，预先指定分辨率比和帧率比。例如，针对特征区域运动图像2430，分辨率比和帧率比被设置为1/4；针对特征区域运动图像2440，分辨率比和帧率比被设置为1/2；针对特征区域运动图像2450，分辨率比和帧率比被设置为1/1。在这种情况下，图像质量降低部分2221b产生具有4fps的帧率和18dpi的帧图像分辨率的特征区域运动图像2430。图像质量降低部分2221c产生具有8fps的帧率和36dpi的帧图像分辨率的特征区域运动图像2440。图像质量降低部分2221d产生具有16fps的帧率和72dpi的帧图像分辨率的特征区域运动图像2450。
在上述示例情况下，图像质量降低部分2221通过丢弃特征区域运动图像和背景区域运动图像中包括的帧图像的一些像素来降低帧图像的图像质量。备选地，图像质量降低部分2221可以通过使用滤波器来降低帧图像的图像质量，其中每个滤波器允许通过预定频带(例如低通滤波器)。如果是这种情况，则与每种特征相关联的滤波器可以具有预定属性，其中不同类型的特征包括背景区域、运动区域、人区域和脸部区域，滤波器属性包括通过每个滤波器的频带和通过程度。
除了图像质量降低部分2221执行的图像质量降低之外，或者作为其替代，编码部分2231可以降低帧图像的图像质量。例如，编码部分2231可以通过增大用于MPEG编码的量化表的值来降低图像质量。每个量化表的值可以根据不同特征类型中对应的一种来预先设置。例如，背景区域运动图像编码部分2231a和特征区域运动图像编码部分2231b至2231d可以使用具有预定值的量化表来对相应运动图像进行编码。参照量化表，值与频率分量相关联。这种值可以根据不同特征类型来预先进行不同的设置。
图像质量降低部分2221也可以对背景区域运动图像中包括的多幅帧图像进行平均。按照这种方式，当帧图像中包括表示运动物体的对象时，图像质量降低部分2221可以获得将表示运动物体的对象进行平均的帧图像。当连续显示这种平均后的帧图像时，观看者可以享受到观看运动物体的平滑运动。
根据上述实施例，图像产生部分2205对捕捉运动图像进行复制，以产生特征区域运动图像和背景区域运动图像，并且压缩部分2240通过丢弃一些帧图像和像素来压缩所产生的特征区域运动图像和背景区域运动图像。备选地，图像产生部分2205可以通过根据帧率比来丢弃捕捉运动图像中包括的一些帧图像，来产生具有降低帧率的特征区域运动图像和背景区域运动图像。此后，值固定部分2211执行值固定操作，图像质量降低部分2221降低分辨率以降低特征区域运动图像和背景区域运动图像的图像质量。
图6示意了图像处理设备2170执行的操作的示例流程。在步骤2601中，压缩运动图像获得部分2301从图像处理设备2120获得互相关联的多份特征区域运动图像数据和一份背景区域运动图像数据，并且参照所添加的标记信息，获得定时信息、标识图像捕捉设备2100的标识信息和其他信息。在步骤2602a中，压缩运动图像扩展部分2311对多份特征区域运动图像数据和一份背景区域运动图像数据进行解码，以产生表示背景层的背景区域运动图像2610。同时，在步骤2602b、2602c和2602d中，压缩运动图像扩展部分2311产生表示运动区域层的特征区域运动图像2620、表示人区域层的特征区域运动图像2630和表示脸部区域层的特征区域运动图像2640。
在步骤2603中，组合部分2303将背景区域运动图像2610和特征区域运动图像2620、2630和2640中包括的帧图像组合在一起。这里，组合部分2303根据背景区域运动图像2610和特征区域运动图像2620、2630和2640中包括的帧图像的相应分辨率，以相应帧图像中的相同主体互相重叠的方式对其进行放大，并将放大后的帧图像层叠以产生组合的帧图像。
组合部分2303对来自特征区域运动图像2620、2630和2640中包括的帧图像的特征区域的图像进行剪裁，并将剪裁后的图像覆盖在背景区域运动图像2610中包括的帧图像上。按照这种方式，组合部分2303产生组合的帧图像。当背景区域运动图像2610和特征区域运动图像2620、2630和2640具有不同帧率时，组合部分2303将背景区域运动图像2610和特征区域运动图像2620、2630和2640中最新的帧图像组合在一起。
按照上述方式，组合部分2303产生组合的帧图像。组合部分2303还产生包括多幅组合帧图像在内的组合的运动图像2650。在步骤2604中，输出部分2304参照由压缩运动图像获得部分2301获得的标记信息来选择要显示组合运动图像的显示设备2180，并将组合的运动图像提供给所选择的显示设备2180。
图7示意了图像处理设备2120中还包括的压缩控制单元2700的示例配置。压缩控制单元2700包括边界区域标识部分2710、信息量计算部分2720、相同主体区域标识部分2730、压缩强度确定部分2740、条件存储部分2750、条件获得部分2752和压缩控制部分2760。
条件存储部分2750存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度。具体而言，条件存储部分2750存储根据特征区域的类型而不同的条件。
参照条件存储部分2750上存储的条件，压缩控制部分2760根据特征区域的特征来控制压缩部分2240对特征区域图像进行压缩的压缩强度。具体而言，参照条件存储部分2750上存储的条件，压缩控制部分2760根据特征区域的特征来控制压缩部分2240对特征区域图像进行压缩的压缩强度。更具体地，参照条件存储部分2750上存储的条件，压缩控制部分2760根据特征区域的类型来控制压缩部分2240对特征区域图像进行压缩的压缩强度。
压缩部分2240对多幅特征区域运动图像进行压缩，其中每一幅包括多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像。这里，压缩控制部分2760根据特征区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的条件，控制压缩部分2240对特征区域运动图像进行压缩的压缩强度。
条件存储部分2750可以存储根据特征区域的类型而不同的图像质量降低量。图像质量降低部分2221可以降低特征区域运动图像的图像质量，其中每一幅特征区域运动图像包括运动图像分量图像中具有相同类型特征的特征区域图像。这里，压缩控制部分2760可以根据特征区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的图像质量降低量，来控制图像质量降低部分2221将图像质量降低的图像质量降低量。
压缩控制部分2760可以根据特征区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的条件，来控制压缩部分2240对特征区域运动图像进行压缩的压缩强度。这里，压缩运动图像获得部分2201获得从不同位置捕捉的多幅运动图像。例如，压缩运动图像获得部分2201获得图像捕捉设备2100a至2100c所捕捉的多幅运动图像。
相同主体区域标识部分2730对从被配置为获得运动图像的运动图像获得部分所获得的运动图像之一中包括的运动图像分量图像中提取的并且包含与从所获得的运动图像中不同的一幅运动图像中包括的运动图像分量图像中提取的特征区域所包含的相同主体的特征区域进行标识。具体而言，相同主体区域标识部分2730参照压缩运动图像扩展部分2202通过对压缩运动图像获得部分2201获得的压缩运动图像数据进行扩展而获得的运动图像，并对从所参照的运动图像之一中包括的运动图像分量图像中提取的并且包含与从所参照的运动图像中不同的一幅运动图像中包括的运动图像分量图像中提取的特征区域所包含的相同主体的特征区域进行标识。压缩控制部分2760根据特征区域的特征，参照条件存储部分2750上存储的条件，来控制压缩部分2240对被相同主体区域标识部分2730标识为包括相同主体的特征区域中至少一个特征区域的特征区域图像进行压缩的压缩强度，并且将压缩部分2240对不同特征区域的特征区域图像进行压缩的压缩强度设置为高于压缩部分2240对上述至少一个特征区域的特征区域图像进行压缩的压缩率。
边界区域标识部分2710对位于特征区域和非特征区域之间的边界附近的边界区域进行标识。压缩强度确定部分2740确定对边界区域的图像进行压缩的压缩强度，其中，用于边界区域的压缩强度落入对特征区域的图像进行压缩的压缩强度与对背景区域的图像进行压缩的压缩强度之间。压缩部分2240以压缩强度确定部分2740所确定的压缩强度对边界区域的图像进行压缩。如上所述，压缩部分2240以不同的强度对特征区域、背景区域和边界区域的图像进行压缩。
压缩强度确定部分2740使对特征区域附近给定区域的图像进行压缩的压缩强度随着给定区域更接近于特征区域而更接近于对特征区域的图像进行压缩的压缩强度。压缩部分2240以压缩强度确定部分2740根据边界区域的位置而确定的压缩强度，对边界区域的图像进行压缩。
压缩强度确定部分2740根据特征区域的特征类型来确定特征区域的图像压缩后的图像质量，将背景区域的图像的压缩后的图像质量确定为低于特征区域的图像的压缩后的图像质量，并将边界区域的图像的压缩后的图像质量确定为落入特征区域的图像的压缩后的图像质量与背景区域的图像的压缩后的图像质量之间。图像质量降低部分2221将特征区域、背景区域和边界区域的图像的图像质量降低为压缩强度确定部分2740所确定的图像质量。
更具体地，压缩强度确定部分2740根据特征区域的特征类型来确定特征区域的图像的压缩后的分辨率，将背景区域的图像的压缩后的分辨率确定为低于特征区域的图像的压缩后的分辨率，并将边界区域的图像的压缩后的分辨率确定为落入特征区域的图像的压缩后的分辨率与背景区域的图像的压缩后的分辨率之间。图像质量降低部分2221将特征区域、背景区域和边界区域的图像的分辨率降低为压缩强度确定部分2740所确定的分辨率。
信息量计算部分2720计算特征区域中包含的主体提供的信息量。例如，在ROI是脸部区域的情况下，ROI中的对象具有与人脸相关的信息，并且信息量计算部分2720计算该信息的量。例如，信息量可以是指示在该图像中识别出人脸的容易程度的值。在这种情况下，信息量可以是人脸的面积或表示人脸的图像区域中包括的像素数目。
压缩部分2240对特征区域图像进行压缩。这里，随着信息量的增大，压缩强度确定部分2740增大压缩部分2240对特征区域图像进行压缩的压缩强度。当人脸在ROI中显得足够大时，ROI通常仍具有足够高的图像质量，从而即使在以较高强度对ROI进行压缩之后也能分辨出脸部，因此其图像质量略微降低。因此，当将与本实施例相关的图像处理设备2120用于实际使用时，例如在人脸在ROI中显得足够大的情况下，以高压缩率来压缩ROI。因此，图像处理设备2120能够防止图像的数据量不必要的增大。
特征区域检测部分2203可以将包含以高于预定值的程度满足预定条件的对象在内的区域检测为特征区域。特征区域检测部分2203可以将包含以高于预定值的程度满足与图像所示内容相关的预定条件的对象在内的区域检测为特征区域，其中所述预定条件用于判断该对象是否是人2130的头部。
在这种情况下，信息量计算部分2720所计算的信息量可以随着特征区域中包含的对象满足条件的程度增大而增大。随着满足程度的增大，压缩强度确定部分2740可以增大压缩部分2240对特征区域进行压缩的压缩强度。
特征区域检测部分2203可以将包含图案以高于预定匹配度的匹配度与预定图案相匹配的对象在内的区域检测为特征区域。在这种情况下，信息量计算部分2720所计算的信息量可以随着匹配度的增大而增大。随着匹配度的增大，压缩强度确定部分2740可以增大压缩部分2240对特征区域进行压缩的压缩强度。
信息量计算部分2720可以标识捕捉图像的图像捕捉设备2100与特征区域中包含的主体之间的距离。在这种情况下，信息量计算部分2720所计算的信息量可以随着所标识距离的减小而增大。此外，信息量计算部分2720所计算的信息量可以随着特征区域大小的增大而增大。
当特征区域检测部分2203从图像检测具有不同类型特征的多个特征区域时，信息量计算部分2720可以分别计算这些特征区域中包含的主体的信息量。压缩强度确定部分2740可以以压缩率随信息量增大而增大的方式，针对特征区域图像分别确定压缩强度。压缩部分2240可以以压缩强度确定部分2740所确定的压缩率来对特征区域图像进行压缩。
当特征区域检测部分2203从运动图像中包括的每一幅运动图像分量图像中检测特征区域时，信息量计算部分2720可以计算每幅运动图像分量图像中多个特征区域中包含的主体的信息量。压缩强度确定部分2740可以以压缩强度随信息量增大而增大的方式，确定压缩部分2240对相应运动图像分量图像的特征区域图像进行压缩的压缩强度。压缩部分2240可以以压缩强度确定部分2740所确定的压缩强度，对相应运动图像分量图像的特征区域图像进行压缩。
相同主体区域标识部分2730从相应运动图像分量图像的特征区域中，标识包含相同主体的多个特征区域。具体而言，相同主体区域标识部分2730从多幅帧图像中标识包含相同人的ROI。
压缩强度确定部分2740确定用于特征区域的信息量落入预定信息量范围内的一幅或更多运动图像分量图像中的特征区域图像的压缩强度，相同主体区域标识部分2730所标识的特征区域的信息量中的最大信息量落入所述预定信息量范围内，其中，所确定的压缩强度低于用于至少一幅不同的运动图像分量图像中的特征区域图像的压缩强度。使用这种配置，例如当运动图像的一些帧图像包含许多关于主体的信息时，以高图像质量来记录这些帧图像，而可以以更高的强度来对包含相同主体的其他帧图像进行压缩。因此，与本实施例相关的图像处理系统2010能够以高图像质量记录在所需定时捕捉的主体的图像，并且可以有效降低运动图像的数据量。
条件获得部分2752从图像处理设备2120外部的源获得要存储在条件存储部分2750上的信息。具体而言，条件获得部分2752可以获得根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度。具体而言，条件获得部分2752可以获得根据特征区域的类型而不同的分配条件。例如，条件获得部分2752可以获得根据特征区域的类型而不同的图像质量降低量，即根据特征区域的类型而不同的空间分辨率的降低量、根据特征区域的类型而不同的时间分辨率的降低量等等。条件存储部分2750可以存储由条件获得部分2752获得的、根据特征区域的类型而不同的图像质量降低量。按照这种方式，条件存储部分2750可以存储条件获得部分2752获得的分配条件。
条件获得部分2752可以获得根据特征区域所指示的区域的特征而不同的分配条件。具体而言，条件获得部分2752可以获得根据特征区域的数目、大小或位置而不同的分配条件。此外，条件获得部分2752可以获得根据特征区域图像中包含的对象的特征而不同的分配条件。具体而言，条件获得部分2752可以获得根据特征区域图像中包含的对象的形状、面对方向、运动方向或已运动距离而不同的分配条件。
条件获得部分2752可以经由通信网络2110，从图像处理设备2170或显示设备2180获得上述分配条件。例如，图像处理设备2170可以向图像处理设备2120发送指示根据图像数据库2175的记录介质的剩余空间而确定的图像质量等级的信息。例如，随着剩余空间的减少，图像处理设备2170可以降低要发送至图像处理设备2120的信息所指示的图像质量等级。
图8使用表示意了条件存储部分2750上存储的数据的示例。条件存储部分2750以与每个参数相关联的方式存储空间分辨率索引，所述参数包括：表示所检测ROI的数目的ROI数目、表示所检测ROI的面积的ROI面积、表示所检测ROI的位置的ROI位置、表示ROI中人脸所朝向的方向的面对方向、以及表示ROI中被识别为脸部对象的对象数目的脸部元素数目。这里，脸部元素数目可以表示以高于预定匹配度的匹配度与预期脸部中包括的对象(如眼、口和鼻)相匹配的对象的数目。
空间分辨率索引可以指示压缩后的帧图像的图像质量。具体而言，空间分辨率索引可以指示压缩后的帧图像的分辨率、灰度级数和颜色数目中的至少一项，以及指示编码单元2230的量化程度的量化系数。如上所述，空间分辨率索引包括真实空间的分辨率和颜色空间的分辨率。这里，图像质量随着空间分辨率索引的增大而提高。
参照图8所示条件存储部分2750上存储的数据，空间分辨率索引可以随着ROI数目的减小而增大。此外，空间分辨率索引可以随着ROI面积的减小而增大。此外，当ROI位置指示帧图像上预定位置与ROI的中心之间的距离时，空间分辨率索引可以随着该距离的减小而增大。在这种情况下，随着ROI的位置变得更接近于预期出现脸部的预定位置，空间分辨率索引增大。
此外，空间分辨率索引随着ROI中包含的对象所指示的脸部变为朝向更加向前倾斜的方向而增大。空间分辨率索引可以随着脸部变为朝向更加向后的方向而减小。此外，空间分辨率索引可以随着脸部元素数目的增大而增大。
当特征区域检测部分2203检测到作为脸部区域的ROI时，压缩强度确定部分2740针对作为脸部区域的所检测的ROI，计算如ROI数目、ROI面积、ROI位置、面对方向和脸部元素数目之类的参数。然后，压缩强度确定部分2740参考条件存储部分2750上存储的数据，以计算指示空间分辨率等级的空间分辨率索引。例如，压缩强度确定部分2740提取条件存储部分2750上以与所计算的ROI数目、ROI面积、ROI位置、面对方向和脸部元素数目相关联的方式存储的空间分辨率索引，并计算所提取的空间分辨率索引之和。
压缩强度确定部分2740随着该和的增大而增大空间分辨率。压缩强度确定部分2740可以参照将分辨率索引之和与空间分辨率相关联的预定表来确定空间分辨率。
作为空间分辨率索引的替代，条件存储部分2750可以直接存储分辨率、灰度级数、颜色数目或指示编码单元2230执行的量化程度的量化系数。空间分辨率索引可以指示空间频带，在所述空间频带内，预期压缩后的帧图像具有显著的频率分量。
图9使用表来示意条件存储部分2750上存储的数据的不同示例。条件存储部分2750以与ROI的运动速度相关联的方式来存储时间分辨率索引。这里，时间分辨率索引可以指示压缩后的运动图像的时间分辨率。具体而言，时间分辨率索引可以指示压缩后的运动图像的帧率或比特率。这里，时间分辨率可以随着时间分辨率索引的增大而增大。从图9所示的条件存储部分2750上存储的数据可以看出，时间分辨率索引可以随着运动速度的增大而增大。
当特征区域检测部分2203从每幅帧图像中检测作为脸部区域的ROI时，压缩强度确定部分2740基于每幅帧图像中ROI的位置来计算ROI的运动速度。压缩强度确定部分2740然后提取条件存储部分2750上以与所计算的运动速度相关联的方式存储的时间分辨率索引。然后，压缩强度确定部分2740根据所提取的时间分辨率索引来确定时间分辨率。作为时间分辨率索引的替代，条件存储部分2750可以直接存储压缩后的帧率或比特率。
根据图8和9，条件存储部分2750上存储的示例图像质量索引值被分配给脸部区域ROI。然而，条件存储部分2750还可以针对人区域和运动区域ROI存储与类似于上述的参数相关联的空间分辨率索引和时间分辨率索引。这就是说，以与ROI中预期要包含的每个对象相关联的方式来指定空间分辨率索引和时间分辨率索引。因此，可以针对帧图像中ROI的图像来分别确定图像质量等级。
如上所述，条件存储部分2750可以以与每种对象类型相关联的方式，存储压缩后ROI的图像质量或码量。因此，条件存储部分2750可以以与每种对象类型相关联的方式，存储表示ROI的图像质量、ROI之间压缩后的码量之比等等的优先级顺序。
如上所述，压缩强度确定部分2740根据特征区域的特征，来确定对特征区域的图像进行压缩的压缩强度。具体而言，压缩强度确定部分2740根据特征区域的特征类型，来确定对特征区域的图像进行压缩的压缩强度。压缩强度确定部分2740将对背景区域的图像进行压缩的压缩强度设置为高于用于特征区域的图像的压缩强度。
条件存储部分2750存储根据特征区域的类型而不同的空间分辨率降低量，或者根据特征区域的类型而不同的时间分辨率降低量。压缩控制部分2760根据特征区域运动图像中包括的特征区域图像的特征类型，参照条件存储部分2750上存储的空间分辨率降低量与时间分辨率降低量中的至少一个，来控制图像质量降低部分2221实现的空间或时间分辨率降低量。
条件存储部分2750存储根据特征区域所指示的区域的特征而不同的条件。压缩控制部分2760根据特征区域所指示的区域的特征，参照条件存储部分2750上存储的条件，来控制压缩部分2240分别对特征区域图像进行压缩的压缩强度。
具体而言，条件存储部分2750存储根据特征区域的数目、特征区域的大小或者特征区域的位置而不同的条件。压缩控制部分2760根据特征区域所指示的区域的数目、大小或位置，参照条件存储部分2750上存储的条件，来控制压缩部分2240对相应特征区域图像进行压缩的压缩强度。
条件存储部分2750存储根据特征区域图像中包含的对象的特征而不同的条件。压缩控制部分2760根据特征区域图像中包含的对象的特征，参照条件存储部分2750上存储的条件，来控制压缩部分2240对相应特征区域图像进行压缩的压缩强度。
条件存储部分2750可以存储根据特征区域图像中包含的对象的形状、对象的面对方向、对象的运动方向或者对象的已运动距离而不同的条件。压缩控制部分2760可以根据特征区域图像中包含的对象的形状、对象的面对方向、对象的运动方向或者对象的已运动距离，参照条件存储部分2750上存储的条件，来控制压缩部分2240对相应特征区域图像进行压缩的压缩强度。
图10使用表示意了信息量计算部分2720上存储的数据的示例。信息量计算部分2720以与面对方向和脸部元素匹配度相关联的方式来存储信息量，其中，面对方向表示人脸朝向的方向，脸部元素匹配度表示ROI中包含的对象与人脸中应当存在的对象相匹配的程度。
信息量计算部分2720基于表示脸部区域ROI中包含的人脸的对象的图像所示的内容来标识面对方向。例如，信息量计算部分2720基于表示人头部的对象中表示眼、鼻和口的对象的位置来标识面对方向。信息量计算部分2720随所标识的面对方向更加向前倾斜而增大信息量，并且随所标识的面对方向更加向后而减小信息量。
信息量计算部分2720例如使用模式匹配技术来计算表示人脸的对象的轮廓与预定人脸图案之间的匹配度。信息量计算部分2720随所计算的匹配度的增大而增大信息量。
如上所述，信息量计算部分2720随特征区域中包含的对象满足预定条件的程度增大而增大信息量，其中所述预定条件与图像所示内容相关，并且指示特征区域中包含的对象是人2130的脸部中应当存在的对象。信息量计算部分2720标识由以高于预定值的程度满足预定条件的对象所表示的人2130的头部的面对方向，并随所标识的头部面对方向与预定方向之间匹配度的增大而增大信息量。
图11示意了压缩强度确定部分2740执行的确定压缩强度的示例操作。参照图11，以下通过坐标轴表示脸部元素匹配度和身体元素匹配度的空间来描述其中压缩强度确定部分2740控制压缩强度的域。这里，身体元素匹配度可以是例如帧图像中包含的对象的轮廓与人体的预定图案之间的匹配度。
特征区域检测部分2203针对帧图像中包含的对象来计算身体元素匹配度和脸部元素匹配度。这里，定义了连接身体元素匹配度的坐标轴上的点(指示值α)和脸部元素匹配度的坐标轴上的点(指示值β)的线。关于这条线，定义不包括空间原点在内的域。当针对该对象而计算的身体元素匹配度和脸部元素匹配度包括在该域内时，特征区域检测部分2203将包含该对象的区域检测为ROI。关于图11描述的方法仅仅是ROI检测方法之一。特征区域检测部分2203可以使用不同方法来检测ROI。
针对脸部元素匹配度低于预定值γ的对象，随着脸部元素匹配度的降低，压缩强度确定部分2740减小压缩强度。备选地，针对脸部元素匹配度大于或等于预定值γ的对象，随着脸部元素匹配度的降低，压缩强度确定部分2740减小压缩强度。
如上所述，压缩强度确定部分2740针对包含极可能是人但是极不可能是人脸的对象在内的区域，确定低压缩强度。按照这种方式，压缩强度确定部分2740针对人脸显得不够清晰的ROI，确定低压缩强度。因此，本实施例能够避免以高强度来压缩这种ROI并且变得更加难以分辨出脸部的情况。在以上关于图11的描述中，为使表述简单，压缩强度确定部分2740使用脸部元素匹配度(其为指示信息量的索引之一)来确定压缩强度。压缩强度确定部分2740可以使用不同于脸部元素匹配度的其他信息量索引来确定压缩强度。
图12示意了作为示例的信息量计算部分2720所计算的信息量随时间的变化。参考标号P1至P15分别与多幅帧图像相对应。被分配以参考标号P1至P15的每个点指示从帧图像P1至P15中相应的一幅检测到的ROI中包含的相同主体的信息量。从图12可以看到，信息量随着时间的逝去而增大，并且信息量在帧图像P7中包含的ROI处达到局部最大值。此后，信息量减小。
当信息量以上述方式变化时，压缩强度确定部分2740确定用于从帧图像P1至P15中检测到的ROI的压缩率，以使得通过对从帧图像P6、P7和P8中检测到的每个ROI进行压缩而获得的数据的信息量超过通过对从其他帧图像P1至P5和P9至P15中检测到的每个ROI进行压缩而获得的数据的信息量，其中应当注意，帧图像P6和P8是在捕捉帧图像P7的定时附近的定时捕捉的。此外，压缩强度确定部分2740确定用于ROI的压缩强度，以使得在通过对从帧图像P1至P5和P9至P15中检测到的每个ROI进行压缩而获得的数据中，信息量实质上相同。
具体而言，压缩强度确定部分2740针对从帧图像P6至P8中检测到的ROI确定预定低压缩率，使得这些ROI的压缩以相对不明显的方式使信息量退化。此外，压缩强度确定部分2740针对从不同于帧图像P6至P8的帧图像中检测到的ROI中信息量等于或低于预定值的ROI(从帧图像P1至P3和P12至P15中检测到的ROI)确定低压缩率，使得这些ROI的压缩以相对不明显的方式使信息量退化。此外，压缩强度确定部分2740针对从不同于帧图像P6至P8的帧图像中检测到的ROI中信息量高于该预定值的ROI(从帧图像P4、P5、P9、P10和P11中检测到的ROI)确定高于低压缩率的中等压缩率，使得通过对这些ROI中的每一个进行压缩而获得的数据的信息量实质上等于通过对从帧图像P1至P3和P12至P15中检测到的每个ROI进行压缩而获得的数据的信息量。
如图12所示，例如，当人从较远位置移动至更接近于图像捕捉设备2100，然后移动远离图像捕捉设备2100时，信息量可以随时间改变。在这种情况下，图像处理设备2120能够通过以低压缩率对从帧图像P6、P7和P8中检测到的ROI进行压缩，来记录人的高质量可靠图像，并且合理地降低其他帧图像的图像质量。使用这种配置，图像处理设备2120能够减少运动图像的数据量，并且可以记录人的高质量图像。
图13示意了ROI的边界区域的示例。如上所述，压缩强度确定部分2740根据如ROI类型和ROI数目之类的参数来确定ROI的压缩强度。例如，压缩强度确定部分2740确定ROI的分辨率。此外，压缩强度确定部分2740控制ROI与背景区域之间的边界区域的分辨率。
这里，特征区域检测部分2203将由区域2810、2811和2812组成的区域检测为脸部区域ROI。特征区域检测部分2203还将该脸部区域附近由区域2820、2821和2822组成的区域检测为人区域ROI。按照以上关于图1至12所述的方式，压缩强度确定部分2740确定用于脸部区域ROI的分辨率A、用于人区域ROI的分辨率B和用于背景区域的分辨率C。
在这种情况下，边界区域标识部分2710将沿脸部区域ROI的外围具有预定宽度的区域和沿人区域ROI的外围具有预定宽度的区域标识为边界区域。边界区域标识部分2710可以标识ROI之内或之外的边界区域。备选地，边界区域标识部分2710可以标识同时占据ROI内外区域的边界区域。压缩强度确定部分2740根据包括边界区域在内的ROI的分辨率和不同ROI或背景区域的分辨率来确定背景区域的分辨率。
具体而言，压缩强度确定部分2740将分辨率A和B之间的平均分辨率确定为脸部区域ROI和人区域ROI之间的边界区域2812和2822的分辨率。此外，压缩强度确定部分2740将分辨率A和C之间的平均分辨率确定为脸部区域ROI和背景区域之间的边界区域2811的分辨率。此外，压缩强度确定部分2740将分辨率B和C之间的平均分辨率确定为人区域ROI和背景区域之间的边界区域2821的分辨率。注意，压缩强度确定部分2740可以针对边界区域的分辨率确定以预定梯度逐渐变化的分辨率。
如上所述，边界区域标识部分2710将特征区域与非特征区域之间的边界附近的特征区域内的区域标识为边界区域。这里，边界区域标识部分2710可以随着特征区域大小的增大来增大边界区域的大小。边界区域标识部分2710可以随着用于特征区域的图像的压缩强度与用于背景区域的图像的压缩强度之间的差异的增大来增大边界区域的大小。
对于彼此位于对方附近的特征区域，边界区域标识部分2710将这些特征区域之间的边界附近的区域标识为边界区域。然后，压缩强度确定部分2740将用于这些特征区域之间的边界附近的边界区域的图像的压缩强度确定为落入用于特征区域之一的图像的压缩强度与用于另一特征区域的图像的压缩强度之间的范围内。压缩部分2240以压缩强度确定部分2740所确定的压缩强度来对特征区域之间的边界附近的边界区域的图像进行压缩。
如上所述，压缩强度确定部分2740将边界区域的分辨率设置为落入ROI的分辨率与背景区域的分辨率之间的范围内。使用这种配置，本实施例能够在由图像处理设备2170产生的组合运动图像中包括的帧图像中，使得ROI的分辨率与背景区域的分辨率之间的差异不明显。图14示意了图像处理设备2120的另一示例模块配置。图像处理设备2120包括压缩运动图像获得部分2201、压缩运动图像扩展部分2202、特征区域检测部分2203、压缩部分2240、压缩控制单元2700、关联部分2206和输出部分207。压缩部分2240包括图像质量控制部分2280、图像质量降低部分2281、多个级间差异(inter-grade difference)压缩部分2282a至2282d(以下统称为级间差异压缩部分2282)。
压缩运动图像获得部分2201、压缩运动图像扩展部分2202、特征区域检测部分2203、压缩控制单元2700、关联部分2206和输出部分2207具有与参照图2至13所述的压缩运动图像获得部分2201、压缩运动图像扩展部分2202、特征区域检测部分2203、压缩控制单元2700、关联部分2206和输出部分2207实质上相同的功能和操作。因此，以下不解释这些组件，除非它们与参照图2至13描述的其对等物有所差别。
图像质量控制部分2280根据特征区域的特征量，控制压缩运动图像扩展部分2202产生的每一幅运动图像分量图像中特征区域的图像质量和非特征区域的图像质量。
图像质量降低部分2281降低运动图像的图像质量，并产生具有预定的不同图像质量的多幅运动图像。图像质量降低部分2281将所产生的具有不同图像质量的运动图像提供给级间差异压缩部分2282。具体而言，图像质量降低部分2281通过降低运动图像的帧率，或降低运动图像中包括的运动图像分量图像的分辨率，来产生具有不同图像质量的运动图像。级间差异压缩部分2282从图像质量降低部分2281分别获得具有预定的不同图像质量的运动图像，并对所获得的运动图像进行压缩。这里，每个级间差异压缩部分2282对具有不同图像质量的运动图像进行压缩。注意，与特征区域图像(其为提供给级间差异压缩部分2282b至2282d的运动图像中包括的运动图像分量图像)相比，提供给级间差异压缩部分2282a的运动图像中包括的运动图像分量图像具有较低的图像质量。这就是说，图像质量降低部分2281产生具有比提供给级间差异压缩部分2282b至2282d的特征区域图像更低图像质量的低图像质量图像，并将这些低图像质量图像提供给级间差异压缩部分2282a。
如上所述，级间差异压缩部分2282a从图像质量降低部分2281获得具有比级间差异压缩部分2282b至2282d中任一个所接收的运动图像分量图像更低分辨率的运动图像分量图像，并对所获得的运动图像分量图像进行压缩。级间差异压缩部分2282b至2282d从图像质量降低部分2281获得运动图像分量图像并对所获得的运动图像分量图像进行压缩。这里，运动图像分量图像的分辨率以级间差异压缩部分2282b、2282c和2282d的顺序依次变高。
级间差异压缩部分2282b对经过级间差异压缩部分2282a压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分2281获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分2282b对放大的运动图像分量图像与从图像质量降低部分2281获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分2282b产生在特征区域中具有差分值但在非特征区域中不具有差分值的差分图像，并对所产生的差异图像进行压缩。
级间差异压缩部分2282c对经过级间差异压缩部分2282b压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量降低部分2281获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分2282c对放大的运动图像分量图像与从图像质量降低部分2281获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分2282c产生在至少一些特征区域中具有差分值但在不同于上述一些特征区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压缩。这里，上述一些特征区域是根据特征区域的特征量来选择的。
级间差异压缩部分2282d对经过级间差异压缩部分2282c压缩的运动图像分量图像进行扩展，并将得到的运动图像分量图像放大至与从图像质量控制部分2280获得的运动图像分量图像具有相同的分辨率。级间差异压缩部分2282d对放大的运动图像分量图像与从图像质量控制部分2280获得的运动图像分量图像之间的差分图像进行压缩。这里，级间差异压缩部分2282d产生在至少一些特征区域中具有差分值但在不同于上述一些特征区域的区域中不具有差分值的差分图像，并对所产生的差分图像进行压缩，其中，上述一些特征区域是根据特征量来选择的。
如上所述，级间差异压缩部分2282b至2282d中的每一个通过计算从图像质量控制部分2280或图像质量降低部分2281接收到的运动图像分量图像与通过对具有较低分辨率的运动图像分量图像进行放大而获得的运动图像分量图像之间的差异，来产生差分图像。关联部分2206将通过级间差异压缩部分2282a至2282d的压缩操作而获得的包括运动图像分量图像在内的压缩运动图像数据与标识特征区域的信息相关联。输出部分2207向图像处理设备2170输出由关联部分2206与标识特征区域的信息相关联的压缩运动图像数据。因此，图像处理设备2120可以提供已根据特征区域的特征量进行了可缩放压缩和编码的运动图像。
图15A示意了级间差异压缩部分2282a和2282b的示例模块配置。图15B示意了运动分析部分2285a和差异处理部分2287a的示例模块配置。图15C示意了运动分析部分2285b和差异处理部分2287b的示例模块配置。级间差异压缩部分2282a包括运动分析部分2285a、运动编码部分2286a、差异处理部分2287a和编码部分2288a。运动分析部分2285a包括差异目标区域确定部分2294a和位置差信息产生部分2295a。差异处理部分2287a包括差分像素图像产生部分2296a、空间频率域变换部分2297a和量化部分2298a。
级间差异压缩部分2282b包括运动分析部分2285b、运动编码部分2286b、差异处理部分2287b、图像放大部分2293b、图像解码部分2292b、像素值改变部分2291b和编码部分2288b。运动分析部分2285b包括差异目标区域确定部分2294b和位置差信息产生部分2295b。差异处理部分2287b包括差分像素图像产生部分2296b、空间频率域变换部分2297b、量化部分2298b和频域图像质量转换部分2299b。注意，级间差异压缩部分2282c和2282d具有与级间差异压缩部分2282b实质上相同的组件，因此这里不再说明。
以下描述级间差异压缩部分2282a的组件的功能和操作。运动分析部分2285a从图像质量降低部分2281接收运动图像分量图像，基于所接收的运动图像分量图像所示的内容来分析多幅运动图像分量图像之间的运动，并参照所分析的运动来确定运动图像分量图像中要压缩的部分区域。
具体而言，差异目标区域确定部分2294a参照该部分区域中运动图像分量图像的像素值，并且在运动图像分量图像是通过计算其与不同运动图像分量图像的差异来压缩的情况下，确定该不同运动图像分量图像中的该部分区域，，该不同运动图像分量图像是要进行比较以计算差异的差异目标图像。差异目标区域确定部分2294a将要压缩的运动图像分量图像的该部分区域的像素信息和差异目标图像的该部分区域的像素信息提供给差异处理部分2287a。
位置差信息产生部分2295a产生位置差信息，指示要压缩的该部分区域与差异目标图像中该部分区域之间的位置差异。具体而言，位置差信息产生部分2295a产生与运动补偿技术一起使用的运动矢量。位置差信息产生部分2295a将产生的位置差信息提供给运动编码部分2286a。
运动编码部分2286a对从位置差信息产生部分2295a提供的位置差信息进行编码，并将编码的位置差信息提供给关联部分2206。例如，运动编码部分2286a对多条相邻部分区域的位置差信息之间的差异进行编码，并将结果提供给关联部分2206。
差异处理部分2287a基于从运动分析部分2285a接收到的要压缩的部分区域的像素信息和差异目标图像中该部分区域的像素信息间的差，对要压缩的部分区域的图像进行压缩。具体而言，差分像素图像产生部分2296a基于要压缩的部分区域的像素信息与差异目标图像中该部分区域的像素信息之间的差异，来产生差分像素图像。
空间频率域变换部分2297a将每个部分区域的差分像素图像变换至空间频率域。具体而言，空间频率域变换部分2297a使用离散余弦变换(DCT)，将每个部分区域的差分像素图像变换至空间频率域。这里，空间频率域变换部分2297a可以使用包括哈达玛变换和小波变换在内的各种频率变换技术，将每个部分区域的差分像素图像变换至空间频率域。
当运动分析部分2285a判定运动图像分量图像中的部分区域不是使用其与不同运动图像分量图像中的部分区域的差异来压缩时，差异处理部分2287a将要压缩的部分区域的像素信息提供给空间频率域变换部分2297a。空间频率域变换部分2297a如上所述将每个部分区域的像素信息变换至空间频率域。
量化部分2298a对由于空间频率域变换部分2297a所执行的变换至空间频率域的操作而获得的变换系数进行量化。编码部分2288a对量化部分2298a所获得的量化的变换系数进行编码，以对量化的变换系数进行压缩。例如，编码部分2288a通过熵编码(如霍夫曼编码和算术编码)来对量化部分2298a所获得的量化的变换系数进行编码。编码部分2288a将编码的运动图像提供给关联部分2206。
以下描述级间差异压缩部分2282b的组件的功能和操作。这里，级间差异压缩部分2282b的一些组件被分配以与级间差异压缩部分2282a的组件相同的参考标号，并具有与级间差异压缩部分2282a中其对应组件类似的功能和操作。因此以下不描述这种组件，除非其有所区别。
对于从图像质量降低部分2281接收的每一幅运动图像分量图像，与差异目标区域确定部分2294a类似，差异目标区域确定部分2294b标识不同运动图像分量图像中要进行比较以计算其与要压缩的运动图像分量图像中的部分区域的差异的部分区域。如上所述，针对特征区域图像中的部分区域，差异目标区域确定部分2294b确定由不同运动图像分量图像产生的特征区域图像中包括的并且要进行比较以计算其与该特征区域图像中的该部分区域的差异的部分区域。差异目标区域确定部分2294b将要压缩的部分区域的像素信息和差异目标图像中该部分区域的像素信息提供给像素值改变部分2291b。
图像解码部分2292b从编码部分2288a获得运动图像分量图像，并且从运动编码部分2286a获得位置差信息。图像解码部分2292b根据从运动编码部分2286a获得的位置差信息，对从编码部分2288a获得的运动图像分量图像进行解码。图像解码部分2292b可以获得已经由量化部分2298a量化的运动图像分量图像，并对所获得的运动图像分量图像进行解码，或者可以获得已经由编码部分2288a编码的运动图像分量图像，并对所获得的运动图像分量图像进行解码。
图像放大部分2293b对已经由图像解码部分2292b解码的运动图像分量图像进行放大，以产生放大图像。像素值改变部分2291b将未包含在特征区域中的部分区域的像素值替换为放大图像中部分区域的像素值，而不改变包含特征区域的部分区域的像素值，其中，两个部分区域均由差异目标区域确定部分2294b来确定。按照这种方式，像素值改变部分2291b基于所接收的运动图像分量图像来产生特征区域图像，特征区域图像中非特征区域的像素值已经被放大图像的像素值所替代。
差异处理部分2287b从像素值改变部分2291b接收要压缩的特征区域图像、作为该特征区域图像中包含的部分区域的差异目标的部分区域的图像信息、以及放大图像。差异处理部分2287b随后针对要压缩的特征区域图像中包含的每个部分区域，选择以下三种编码技术之一，其中这三种编码技术包括帧内编码、帧间编码和级间编码。帧内编码使用包含该部分区域的特征区域图像的像素信息来对该部分区域进行编码。帧间编码根据该部分区域与不同运动图像分量图像中包含的差异目标部分区域之间的差异来对该部分区域进行编码。级间编码根据该部分区域与放大图像之间的差异来对该部分区域进行编码。在进行选择时，差异处理部分2287b对实现最小码量的编码方法给予优先。注意，差异处理部分2287b针对非特征区域选择级间编码，这是由于非特征区域中的像素值被替换为没有差异。因此，以下首先描述级间编码，随后解释帧间编码和帧内编码。
当差异处理部分2287b选择级间编码时，差分像素图像产生部分2296b产生表示特征区域图像与放大图像之间的像素值差异的差分像素图像。具体而言，差分像素图像产生部分2296b基于其中非特征区域中的像素值被替换的特征区域图像与放大图像之间的差异来产生差分像素图像。由于特征区域图像的非特征区域中的像素值被替换为放大图像的像素值，因此差分像素图像产生部分2296b可以产生在特征区域中具有表示特征区域图像与放大图像之间的像素值差异的差分值并且在非特征区域中不具有这种差分值的差分像素图像。
当差异处理部分2287b选择帧间编码时，差分像素图像产生部分2296b计算像素值改变部分2291b基于运动图像分量图像产生的特征区域图像与像素值改变部分2291b基于不同运动图像分量图像产生的特征区域图像之间的差异。具体而言，差分像素图像产生部分2296b计算特征区域中包含的部分区域的图像与差异目标区域确定部分2294b针对该部分区域所确定的差异目标部分区域的图像之间的差异。由于特征区域图像中非特征区域中的像素值被替换为放大图像的像素值，差分像素图像产生部分2296b可以产生在特征区域中包含的部分区域中具有表示该部分区域与由差异目标区域确定部分2294b所确定的部分区域之间的像素值差异的差分值并且在非特征区域中具有表示非特征区域与由差异目标区域确定部分2294b所确定的部分区域之间的像素值差异的差分值的差分像素图像。
当差异处理部分2287b选择帧内编码时，差分像素图像产生部分2296b通过计算每幅特征区域图像中包含的该部分区域的图像与特征区域图像的不同区域之间的像素值差异，或者每幅特征区域图像中包含的该部分区域的图像与特征区域图像的相同部分区域之间的像素值差异，来产生差分像素图像。
空间频率域变换部分2297b将每个部分区域的差分像素图像变换至空间频率域。具体而言，与空间频率域变换部分2297a类似，空间频率域变换部分2297b使用DCT、哈达玛变换或小波变换，将每个部分区域的差分像素图像所表示的差分值变换至空间频率域。与量化部分2298b类似，量化部分2298b对由于空间频率域变换部分2297b执行的至空间频率域的变换而获得的变换系数进行量化。
频域图像质量改变部分2299b从通过空间频率域变换部分2297b执行的空间频率域变换而获得的相应部分区域的空间频率分量中减少包含非特征区域在内的至少一些部分区域的空间频率分量的数据量，来产生特征区域差异图像。具体而言，频域图像质量改变部分2299b减少指示高于预定频率的频率分量的变换系数的值。频域图像质量改变部分2299b可以将指示高于预定频率的频率分量的变换系数的值设置为0。
如上所述，差异处理部分2287b产生在特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在非特征区域中具有数据量减少的空间频率分量的特征区域差异图像。编码部分2288b对差异处理部分2287b产生的特征区域差异图像进行编码。
同样如上所述，差异处理部分2287b产生表示特征区域图像中特征区域的图像与低图像质量图像中特征区域的图像之间的差分图像的特征区域差异图像。具体而言，差异处理部分2287b产生表示特征区域图像中特征区域的图像与通过对低图像质量图像中特征区域的图像进行放大而获得的图像之间的差异的特征区域差异图像。
根据以上描述，像素值改变部分2291b将非特征区域的像素值替换为放大图像的像素值，从而差分像素图像在至少非特征区域中具有为0的差分值，其中非特征区域不同于具有预定类型特征的特征区域，也不同于具有期望具有高于特征区域的分辨率的特定类型特征的特征区域。然而，像素值改变部分2291b可以使用不同的方法将差分像素图像中的差分值设置为0。
例如，像素值改变部分2291b可以将从图像质量降低部分2281获得的运动图像分量图像中非特征区域的像素值改变为预定像素值，并且将放大图像中相同图像区域的像素值改变为该预定像素值。这种备选方法还产生了以下效果：差分像素图像在非特征区域中具有为0的差分值，从而实质上减少了非特征区域的信息量。
如上所述，像素值改变部分2291b通过将运动图像分量图像中非特征区域的像素值替换为预定值，并将放大图像中非特征区域的像素值替换为该预定值，来产生特征区域图像。差分像素图像产生部分2296b通过计算特征区域图像与放大图像之间的差异来产生差分像素图像，在特征区域图像和放大图像中，非特征区域中的像素值已经被替换。
像素值改变部分2291b可以将从图像质量降低部分2281获得的运动图像分量图像的非特征区域的像素值替换为通过对提供给较低级的级间差异压缩部分2282(例如级间差异压缩部分2282a)的运动图像分量图像进行放大而获得的图像中相同区域的像素值。这种备选方法也使差分像素图像能够在非特征区域中具有实质上为0的差分值，从而实质上减少了非特征区域的信息量。
位置差信息产生部分2295b产生指示非特征区域中包含的差异目标部分区域的位置差异的位置差信息。具体而言，与位置差信息产生部分2295a类似，位置差信息产生部分2295b产生指示要通过计算差异来压缩的部分区域与要进行比较以计算差异的差异目标部分区域之间的位置差异的位置差信息。这里，位置差信息包括与运动补偿一起使用的运动矢量。
位置差信息改变部分2290b改变位置差信息，使得位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。具体而言，位置差信息改变部分2290b将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的位置差信息。位置差信息改变部分2290b从运动编码部分2286a获得位置差信息，并将非特征区域中包含的该部分区域的位置差信息改变为指示不存在位置差异的信息。具体而言，位置差信息改变部分2290b将非特征区域的运动矢量的值设置为0。例如，位置差信息改变部分2290b将从位置差信息产生部分2295b接收到的非特征区域的运动矢量的值设置为0，并将从运动编码部分2286a接收到的非特征区域的运动矢量的值设置为0。
运动编码部分2286b对位置差信息进行编码。具体而言，与运动编码部分2286a类似，运动编码部分2286b对多条相邻部分区域的位置差信息之间的差异进行编码。运动编码部分2286b将编码的位置差信息提供给关联部分2206。
在本实施例中，位置差信息改变部分2290改变非特征区域的位置差信息。位置差信息改变部分2290b可以通过运动编码部分2286b使用的编码格式来改变非特征区域的位置差信息。这就是说，位置差信息改变部分2290b可以改变已经由运动编码部分2286编码的位置差信息，使得改变后的位置差信息指示非特征区域中包含的部分区域与相同位置的部分区域进行比较以计算差异。
编码部分2288b可以产生在非特征区域中不具有差异信息的编码数据。具体而言，编码部分2288b可以产生在非特征区域中包含的部分区域中不具有差异信息的编码数据。运动编码部分2286b可以产生针对非特征区域中包含的部分区域不具有位置差信息的编码数据。如上所述，编码部分2288b和运动编码部分2286b产生编码数据，该编码数据通过不具有差异信息和位置差信息来指示该非特征区域示出了与不同运动图像分量图像中相同区域相同的图像。例如，编码部分2288b和运动编码部分2286b可以产生包括部分区域类型的编码数据，部分区域类型指示该非特征区域中包含的部分区域示出了与不同运动图像分量图像中相同区域相同的图像。
例如，编码部分2288b和运动编码部分2286b可以产生包括部分区域类型的编码数据，部分区域类型指示了非特征区域中包含的部分区域是使用基于简单帧间预测编码并不具有转换系数的编码模式来编码的。例如，部分区域类型可以与MPEG编码技术的非MC不编码(Non MC Not Coded)模式相对应。如上所述，由于编码部分2288b和运动编码部分2286b产生编码数据，该编码数据没有指示运动矢量的值和差异信息被设为0的信息，因此，本实施例可以进一步减少编码的运动图像分量图像的码量。这里，在确定包括上述编码模式的预测模式时，级间差异压缩部分2282b可以基于不定乘数的拉格朗日方法来选择可以将率失真代价最小化的预测模式。
级间差异压缩部分2282c和2282d均包括与级间差异压缩部分2282b的组件具有相同功能的组件。在以下描述中，级间差异压缩部分2282c和2282d中具有与级间差异压缩部分2282b的对应组件相同名称的组件被分配以相同参考标号，其中将字母b、c和d添加至参考标号以表示级间差异压缩部分2282b、2282c和2282d中相应组件的所属关系。
例如，运动分析部分2285c是级间差异压缩部分2282c的组件之一，运动分析部分2285d是级间差异压缩部分2282d的组件之一。在以下描述中，不带字母的参考标号指代级间差异压缩部分2282b至2282d的所有对应组件。例如，像素值改变部分2291表示像素值改变部分2291b至2291d。
在操作和功能方面，级间差异压缩部分2282c和2282d与级间差异压缩部分2282b在以下方面有所差异。级间差异压缩部分2282c和2282d从图像质量降低部分2281获得与从级间差异压缩部分2282b所获得的运动图像相比具有不同图像质量的运动图像，并对所获得的运动图像进行处理，位置差信息改变部分2290c和2290d以及图像解码部分2292c和2292d从被设计用于处理具有较低图像质量的运动图像的不同级间差异压缩部分282获得位置差信息和运动图像分量图像以用于差分处理。
更具体地，位置差信息改变部分2290c从运动编码部分2286b获得位置差信息，并改变所获得的位置差信息。图像解码部分2292c从运动编码部分2286b获得位置差信息，从编码部分2288b获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。位置差信息改变部分2290d从运动编码部分2286c获得位置差信息，并改变所获得的位置差信息。图像解码部分2292d从运动编码部分2286c获得位置差信息，从编码部分2288c获得运动图像分量图像，并使用所获得的位置差信息来对所获得的运动图像分量图像进行解码。特征区域检测部分2203从输入的运动图像分量图像中检测具有多种特征类型的多个特征区域。在这种情况下，图像质量降低部分2281通过降低具有特定类型特征的特征区域的分辨率来由输入的运动图像分量图像产生特征区域图像，并由输入的运动图像分量图像产生在具有不同类型特征的特征区域中具有高于上述特征区域图像的分辨率的不同特征区域图像。级间差异压缩部分2282b至2282d以一一对应的方式与特征类型相关联。级间差异压缩部分2282b至2282d中每一个对特征区域图像进行压缩，该特征区域图像中至少具有预定类型特征的特征区域具有与非特征区域不同的分辨率。
具体而言，级间差异压缩部分2282b对在所有特征区域中具有最低分辨率的低分辨率特征区域图像进行处理。级间差异压缩部分2282c对在预定特征类型的特征区域中具有高于低分辨率特征区域图像的分辨率的中等分辨率特征区域图像进行处理。级间差异压缩部分2282d对在不同预定特征类型的特征区域中具有高分辨率的高分辨率特征区域图像进行处理。
如上所述，差异处理部分2287产生在具有特定类型特征的特征区域和具有不同类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像。
如上所述，差异处理部分2287产生在具有特定类型特征的特征区域中具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域差异图像，并产生在具有不同类型特征的特征区域中具有通过将不同特征区域图像与通过对不同特征区域图像中的特征区域进行放大而获得的图像之间的差异变换至空间频率域而获得的空间频率分量并且在其余区域中具有数据量减少的空间频率分量的特征区域间差异图像。
编码部分2288对特征区域差异图像、特征区域间差异图像和低图像质量图像进行编码。关联部分2206将运动编码部分2286a至2286d编码的位置差信息和编码部分2288a至2288d编码的运动图像分量图像(例如低图像质量图像、特征区域差异图像、特征区域间差异图像)与标识特征区域的信息相关联。
如上所述，级间差异压缩部分2282a产生在包括特征区域在内的整个区域中图像质量降低的运动图像分量图像，换言之，产生包含输入的运动图像分量图像的低空间频率分量的运动图像分量图像。级间差异压缩部分2282b产生的运动图像分量图像所具有的频率分量高于级间差异压缩部分2282a的频率分量并且低于级间差异压缩部分2282c的频率分量。级间差异压缩部分2282b产生其中表示运动图像分量图像与由级间差异压缩部分2282a产生的运动图像分量图像之间的差异的差分值在非特征区域中减小的运动图像分量图像。
类似地，级间差异压缩部分2282c产生的运动图像分量图像所具有的频率分量高于级间差异压缩部分2282b的频率分量并且低于级间差异压缩部分2282d的频率分量。级间差异压缩部分2282d产生的运动图像分量图像的频率分量高于级间差异压缩部分2282c。级间差异压缩部分2282c和2282d产生其中表示运动图像分量图像与由级间差异压缩部分2282b和2282c产生的运动图像分量图像之间的相应差异的差分值在非特征区域中的运动图像分量图像。
如上所述，级间差异压缩部分2282b、2282c和2282d中的每一个对其中具有预定类型特征的特征区域具有高于其余区域的图像质量的运动图像进行处理。因此，级间差异压缩部分2282b、2282c和2282d可以向外提供图像质量根据特征类型而不同的运动图像。这里，级间差异压缩部分2282b、2282c和2282d中的每一个可以通过对其运动图像分量图像与由级间差异压缩部分2282b、2282c和2282d中不同的一个处理的、具有较低图像质量的运动图像分量图像之间的差异进行压缩，来高效地压缩运动图像。
在检测每个特征区域的特征量时，特征区域检测部分2203可以针对每个特征区域来计算指示该特征区域有多可靠的可靠性程度。级间差异压缩部分2282b、2282c和2282d中的每一个对分辨率根据特征区域的特征量和可靠性程度而调整的特征区域的图像进行压缩。例如，图像质量降低部分2281可以根据特征区域的特征量和可靠性程度，对每个特征区域的图像的分辨率进行调整，并将调整后的图像提供给级间差异压缩部分2282中相应的一个。例如，图像质量降低部分2281可以随着可靠性程度的降低而提高每幅特征区域图像的图像分辨率，其中调整后的分辨率高于根据特征量的预定分辨率。
如上所述，图像处理设备2120通过对具有不同分辨率的不同级的图像之间的差异进行编码，来执行分级编码。从这种配置中显而易见，图像处理设备2120使用的压缩方法部分包括H.264/SVC的压缩方法。在对这种分级布置的压缩运动图像进行扩展时，图像处理设备2170逐一对多份相应级的运动图像数据进行解码，以获得多幅与每一级相关联的运动图像分量图像。然后，图像处理设备2170将所获得的、使用级间差异来编码的运动图像分量图像的区域和与用于比较以计算级间差异的不同级相关联的运动图像分量图像的区域相加在一起。按照这种方式，图像处理设备2170可以针对每一级产生运动图像中包含的多幅运动图像分量图像。
图16示意了与不同实施例相关的图像处理系统2020的示例配置。与本实施例相关的图像处理系统2020以与图1所示的图像处理系统2010相同的方式配置，但是使用图像捕捉设备2100a至2100c中包括的图像处理部分2604a至2604c(以下统称为图像处理部分2604)来替换图像处理设备2120a至2120c。
图像处理部分2604包括图像处理设备2120的组件，除压缩运动图像获得部分2201和压缩运动图像扩展部分2202以外。图像处理部分2604的组件可以具有与图像处理设备2120的相应组件实质上相同的功能和操作，但是图像处理部分2604的组件处理图像捕捉部分2102捕捉的捕捉运动图像，而图像处理设备2120的组件处理通过压缩运动图像扩展部分2202的扩展操作而获得的捕捉运动图像。具有上述配置的图像处理系统2020可以产生与关于图1至15所述的图像处理系统2010相同的效果。
图像捕捉设备2100中包括的条件获得部分2752可以从图像捕捉设备2100的用户而不是从图像处理设备2170获得上述分配条件。例如，图像捕捉设备2100可以具有用于显示设置屏幕的显示设备，并且该显示设备可以显示用于设置分配条件的设置屏幕，以便根据相应对象来分配不同的图像质量。条件获得部分2752可以通过该设置屏幕从用户获得分配条件。例如，条件获得部分2752可以通过在设置屏幕仍显示在显示设备上时获取用户操作产生的信息，来获得分配条件。
图像处理部分2604可以从图像捕捉部分2102获得包括具有RAW格式的多幅运动图像分量图像在内的捕捉运动图像。图像处理部分2604可以检测具有RAW格式的每幅运动图像分量图像中的一个或多个特征区域。图像处理部分2604可以在不改变RAW格式的情况下，对获得的捕捉运动图像中包括的具有RAW格式的运动图像分量图像进行压缩。这里，图像处理部分2604可以使用参照图1至15关于图像处理设备2120的操作而描述的压缩方法来对捕捉运动图像进行压缩。
图像处理设备2170可以通过对从图像处理部分2604获得的压缩运动图像进行扩展，来获得具有RAW格式的运动图像分量图像。图像处理设备2170可以例如逐区域地对通过扩展获得的具有RAW格式的运动图像分量图像执行颜色估计(重合)处理，其中这些区域包括非特征区域和包含特征区域在内的区域。这里，图像处理设备2170可以对特征区域执行比对非特征区域更加精确的同步操作。
图像处理设备2170可以对通过对运动图像分量图像进行同步而获得的特征区域的图像执行超分辨率(super-resolution)处理。图像处理设备2170执行的超分辨率处理可以示例为日本专利申请公开No.2006-350498中公开的基于主要分量分析的超分辨率处理，或者日本专利申请公开No.2004-88615中公开的基于主体运动的超分辨率处理。
这里，图像处理设备2170可以对特征区域中包含的每个对象进行超分辨率处理。例如，当特征区域包含人脸的图像时，图像处理设备2170可以对作为对象示例示出的每个脸部元素(例如眼、鼻、口等)执行超分辨率处理。在这种情况下，图像处理设备2170可以存储每个脸部元素(例如眼、鼻、口等)的学习数据，其中学习数据是例如日本专利申请公开No.2006-350498中公开的基于主要分量分析的模型。图像处理设备2170可以使用与脸部元素关联选择的学习数据，对特征区域中包括的每个脸部元素的图像进行超分辨率处理。
如上所述，图像处理设备2170可以使用主要分量分析来重构特征区域的图像。除了主要分量分析(PCA)之外，图像处理设备2170进行的图像重构和用于图像重构的学习可以通过局部性预留投影(LPP)、线性判别式分析(LDA)、独立分量分析(ICA)、多维缩放(MDS)、支持矢量机(支持矢量回归)、神经网络、隐式马尔科夫模型、贝叶斯估计、最大后验(MAP)估计、迭代返回投影(IBP)、小波变换、局部线性嵌入(LLE)、马尔科夫随机场(MRF)等来实现。
除了日本专利申请公开No.2006-350498中公开的模型之外，学习数据可以包括对象图像的低频分量和高频分量，这些分量是从对象的大量采样图像中提取的。这里，可以使用K-means方法或其他方法将多个不同类型对象中每一个的图像的低频分量聚集为多个群集。每个群集可以与代表性低频分量(例如重心的值)相关联。
图像处理设备2170从运动图像分量图像中的特征区域中包含的对象的图像中提取低频分量。然后，图像处理设备2170从由对象(其类型与所提取对象的类型相同)的采样图像中提取的低频分量的群集中标识代表性低频分量与所提取的低频分量相匹配的群集。然后，图像处理设备2170标识与所标识的群集中包括的低频分量相关联的高频分量的群集。按照上述方式，图像处理设备2170可以标识与从运动图像分量图像中包含的对象中提取的低频分量相关的高频分量的群集。
图像处理设备2170可以使用表示所标识的高频分量的群集的高频分量，将对象的图像转换为具有较高图像质量的高图像质量图像。例如，图像处理设备2170可以将与对象关联选择的高频分量添加至每个对象的图像，其中权值根据从对象中心至表面上的处理位置的距离而确定。这里，每个群集的代表性高频分量可以使用闭环训练方法产生。如上所述，图像处理设备2170可以针对每个对象，从通过学习对象而产生的多份学习数据中选择所需学习数据，并使用所选择的学习数据。因此，图像处理设备2170能够更精确地增强对象图像的图像质量。注意，当包括在参照图1至15描述的图像处理系统2010中时，图像处理设备2170可以对特征区域的图像执行上述超分辨率处理。
根据日本专利申请公开No.2006-350498中公开的基于主要分量分析而进行的超分辨率处理，使用主要分量矢量和加权因子来表示物体的图像。加权因子和主要分量矢量的数据量明显小于物体的图像的像素数据的数据量。因此，在对从图像捕捉部分2102获得的运动图像分量图像的特征区域的图像进行压缩时，图像处理部分2604可以由特征区域中包含的物体的图像计算上述加权因子。换言之，图像处理部分2604可以通过使用主要分量矢量和加权因子来表示图像，从而对特征区域中包含的物体的图像进行压缩。图像处理部分2604可以将主要分量矢量和加权因子发送至图像处理设备2170。
在这种情况下，图像处理设备2170可以使用从图像处理部分2604获得的主要分量矢量和加权因子来重构特征区域中包含的物体的图像。这里，图像处理部分2604也可以使用利用与日本专利申请公开No.2006-350498中公开的基于主要分量分析的模型不同的各种其他特征参数来表示物体的模型，来对特征区域中包含的物体的图像进行压缩。
图17示意了图像处理设备2120和2170的示例硬件配置。图像处理设备2120和2170均由CPU外围部分、输入/输出(I/O)部分和传统I/O部分构成。CPU外围部分包括通过主机控制器2582互相连接的CPU 2505、RAM 2520、图形控制器2575和显示设备2580。I/O部分包括通过I/O控制器2584连接至主机控制器2582的通信接口2530、硬盘驱动器2540和CD-ROM驱动器2560。传统I/O部分包括连接至I/O控制器2584的ROM 2510、软盘驱动器2550和I/O芯片2570。
主机控制器2582将RAM 2520与以高传输速率访问RAM 2520的CPU 2505和图形控制器2575连接。CPU 2505根据ROM 2510和RAM 2520上存储的程序进行操作，以控制这些组件。图形控制器2575在RAM 2520内提供的帧缓冲器上获得CPU 2505等产生的图像数据，并使显示设备2580显示所获得的图像数据。备选地，图形控制器2575中可以包括用于将CPU 2505等产生的图像数据存储在其上的帧缓冲器。
I/O控制器2584将作为以相对高速率操作的I/O设备的硬盘驱动器2540、通信接口2530和CD-ROM驱动器2560连接至主机控制器2582。硬盘驱动器2540上存储CPU 2505要使用的程序和数据。通信接口2530耦合至网络通信设备2598以发送/接收程序或数据。CD-ROM驱动器2560从CD-ROM 2595中读取程序或数据，并将所读取的程序或数据经由RAM 2520提供给硬盘驱动器2540和通信接口2530。
I/O控制器2584也连接至作为以相对低速率操作的I/O设备的ROM 2510、软盘驱动器2550和I/O芯片2570。ROM 2510上存储图像处理设备2120和2170在启动时执行的引导程序、依赖于图像处理设备2120和2170的硬件的程序等等。软盘驱动器2550从软盘2590中读取程序或数据，并经由RAM 2520将所读取的程序或数据提供给硬盘驱动器2540和通信接口2530。I/O芯片2570用于经由例如并行端口、串行端口、键盘端口、鼠标端口等来连接各种I/O设备，如软盘驱动器2550。
CPU 2505要执行的程序在被存储在如软盘2590、CD-ROM 2595和IC卡之类的记录介质的状态下由用户提供。程序可以在压缩或未压缩的状态下存储在记录介质上。程序从记录介质安装到硬盘驱动器2540上，由RAM 2520读取，并由CPU 2505来执行。CPU 2505执行的程序使图像处理设备2120用作参照图1至16所描述的压缩运动图像获得部分2201、压缩运动图像扩展部分2202、特征区域检测部分2203、图像划分部分2204、图像产生部分2205、值固定部分2211、图像质量降低部分2221、编码部分2231、关联部分2206、输出部分2207、边界区域标识部分2710、信息量计算部分2720、相同主体区域标识部分2730、压缩强度确定部分2740、条件存储部分2750、条件获得部分2752和压缩控制部分2760。CPU 2505执行的程序也使图像处理设备2170用作参照图1至16所描述的压缩运动图像获得部分2301、关联分析部分2302、压缩运动图像扩展部分2311、组合部分2303和输出部分2304。
上述程序可以存储在外部记录介质上。除了软盘2590和CD-ROM2595之外，记录介质是例如光记录介质(如DVD和PD)、磁-光记录介质(如MD)、磁带介质、半导体存储器(如IC卡等)。记录介质可以是在连接至专用通信网络或因特网的服务器系统中提供的存储设备(如硬盘或RAM)，程序可以经由网络提供给图像处理设备2120和2170。
图18示出了根据实施例的图像处理系统3010的一个示例。图像处理系统3010的目的在于，在保持特征对象的高图像质量的同时，减小图像的数据量。
图像处理系统3010包括：多个图像捕捉设备3100a至3100c(以下统称为图像捕捉设备3100)，用于捕捉被监视区域3150的图像；多个图像处理设备3120a至3120c(以下统称为图像处理设备3120)，用于处理图像；图像处理设备3170；通信网络3110、图像数据库(DB)3175；以及多个显示设备3180a至3180c(以下统称为显示设备3180)。
图像处理设备3120a连接至图像捕捉设备3100a。图像处理设备3120b连接至图像捕捉设备3100b。图像处理设备3120c连接至图像处理设备3100c。图像处理设备3170和显示设备3180在与被监视区域3150不同的区域3160中提供。
以下解释图像捕捉设备3100a、图像处理设备3120a、图像处理设备3170和显示设备3180a的操作。图像捕捉设备3100a捕捉被监视区域3150的图像，根据MPEG方案对获取的所捕捉的图像进行编码以产生捕捉运动图像数据，并将该数据输出至图像捕捉设备3100a所连接的图像处理设备3120a。
具体地，图像捕捉设备3100a包括图像捕捉部分3102a和捕捉运动图像压缩部分3104a。图像捕捉部分3102a捕捉被监视区域3150的图像，并产生捕捉运动图像中包括的多幅运动图像组成图像。图像捕捉部分3102a可以以RAW格式来产生运动图像组成图像。捕捉运动图像压缩部分3104a对图像捕捉部分3102a产生的具有RAW格式的运动图像组成图像执行颜色估计(重合处理)，并根据MPEG编码等对包括通过颜色估计(重合处理)得到的多幅运动图像组成图像在内的捕捉运动图像进行压缩，从而产生捕捉运动图像数据。
图像处理设备3120a获取图像捕捉设备3100a产生的捕捉运动图像数据。图像处理设备3120通过对从图像捕捉设备3100获取的捕捉运动图像数据进行解码来产生捕捉运动图像，并且从产生的捕捉运动图像中检测包括互不相同类型特征(例如包括人3130和运动物体3140(如汽车)等)的多个特征区域。图像处理设备3120a通过产生多幅运动图像，由捕捉运动图像产生与多幅特征区域运动图像，在每幅特征区域运动图像中，相应类型特征的特征区域的图像质量高于运动图像中的其余区域。图像处理设备3120a产生背景区域运动图像，该背景区域运动图像以比特征区域运动图像更低的图像质量示出了特征区域的背景区域。
图像处理设备3120a对多幅所产生的特征区域运动图像和所产生的背景区域运动图像进行编码，以产生多个特征区域运动图像数据和背景区域运动图像数据。同时，图像处理设备3120a将通过编码获得的多个特征区域运动图像数据与同样通过编码获得的背景区域运动图像数据相关联，并将每个互相关联的数据经由通信网络3110发送至图像处理设备3170。
图像处理设备3170对从图像处理设备3120a发送的多个特征区域运动图像数据和背景区域运动图像数据中的每一个进行解码，以获得多幅特征区域运动图像和背景区域运动图像。图像处理设备3170将多幅特征区域运动图像与背景区域运动图像进行组合，以产生合成运动图像，并将所产生的合成运动图像提供给显示设备3180a。显示设备3180a显示从图像处理设备3170提供的运动图像。
图像处理设备3170可以将所产生的合成运动图像或从图像处理设备3120a获得的捕捉运动图像数据记录在图像DB 3175中。图像处理设备3170可以针对来自显示设备3180a的请求，将图像DB 3175中记录的合成运动图像提供给显示设备3180a。图像处理设备3170可以按上述解码方式对图像DB 3175中记录的捕捉运动图像数据进行解码，并针对来自显示设备3180a的请求，将其提供给显示设备3180a。图像DB 3175可以包括例如非易失性记录介质(如硬盘)，并在记录介质中记录从图像处理设备3170提供的合成运动图像。
图像捕捉设备3100b和3100c包括具有与图像捕捉设备3100a中包括的组件相同功能的组件。图像捕捉设备3100b和3100c具有与图像捕捉设备3100a相同的功能和操作，因此这里不再解释，但是图像捕捉设备3100b和3100c分别将捕捉运动图像数据提供给图像处理设备3120b和3120c。注意，在以下解释中，可能有时将图像捕捉部分3102a至3102c统称为图像捕捉部分3102，并且可能有时将捕捉运动图像压缩部分3104a至3104c统称为捕捉运动图像压缩部分3104。
图像处理设备3120b和图像处理设备3120c可以具有与图像处理设备3120a相同的功能和操作，但是图像处理设备3120c和3120c分别从图像捕捉设备3100b和3100c获取捕捉运动图像数据。因此，这里不对图像处理设备3120b和3120c的功能和操作进行解释。图像处理设备3170根据从图像捕捉设备3100b或图像捕捉设备3100c获取的、互相关联的多个特征区域运动图像数据和背景区域运动图像数据来产生一幅运动图像，并将所产生的运动图像提供给显示设备3180b或显示设备3180c。显示设备3180b和显示设备3180c显示从图像处理设备3170提供的运动图像。
当例如用作监督系统时，根据本实施例的图像处理系统3010能够获取如人、运动物体等突出的任何合适的监督目标对象的高质量图像。此外，图像处理系统3010能够减少运动图像的数据量。
图19示出了图像处理设备3120的一示例模块配置。图像处理设备3120包括压缩运动图像获取部分3201、压缩运动图像解压部分3202、条件存储部分3260、压缩控制部分3250、压缩部分3240和输出部分3207。压缩部分3240包括输入运动图像质量控制部分3280、图像质量退化部分3281和级间差异压缩部分3282a至3282d(以下统称为级间差异压缩部分3282)。
压缩运动图像获取部分3201获得压缩的运动图像。具体而言，压缩运动图像获取部分3201获得编码后的、由图像捕捉设备3100产生的捕捉运动图像数据。压缩运动图像解压部分3202从压缩运动图像获取部分3201获取的数据中恢复运动图像，以产生运动图像中包括的多幅运动图像组成图像。
具体而言，压缩运动图像解压部分3202对压缩运动图像获取部分3201获取的捕捉运动图像数据进行解码，以产生运动图像中包括的多幅运动图像组成图像。运动图像组成图像包括帧图像和场图像。运动图像组成图像是根据本发明的输入图像的一个示例。
特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测特征区域。压缩部分3240对压缩运动图像解压部分3202产生的多幅运动图像组成图像进行压缩。例如，压缩部分3240根据特征区域检测部分3203检测到的特征区域的特征的量，来对运动图像组成图像进行压缩。
例如，压缩部分3240根据多个特征区域中分别包括的对象的特征的量，以不同的编码方式分别对多个特征区域的图像进行压缩。具体地，压缩控制部分3250将指示特征区域检测部分3203所检测的特征区域的信息提供给压缩部分3240，并控制压缩部分3240对多幅运动图像组成图像进行压缩的编码方式。以下将描述压缩部分3240的每个组件的功能和操作。压缩控制部分3250的功能和操作将参照图21来进行解释。
输入运动图像质量控制部分3280根据压缩运动图像解压部分3202所产生的多幅运动图像组成图像中包括的特征区域的特征的量，控制特征区域的图像质量和不同于特征区域的区域的图像质量。输入运动图像质量控制部分3280的功能和操作将参照图22来详细解释。
图像质量退化部分3281通过对运动图像的图像质量进行退化，产生具有预定的互不相同图像质量的多幅运动图像。图像质量退化部分3281将所产生的具有不同图像质量的运动图像提供给级间差异压缩部分3282。具体地，图像质量退化部分3281通过降低运动图像的帧率，或降低运动图像中包括的运动图像组成图像的分辨率或分级，来产生具有不同图像质量的运动图像。级间差异压缩部分3282从图像质量退化部分3281获取具有预定图像质量的运动图像，并对所获取的运动图像进行压缩。每个级间差异压缩部分3282对具有不同图像质量的运动图像中不同的一幅运动图像进行压缩。
图像质量退化部分3281提供给级间差异压缩部分3282a的运动图像中包括的运动图像组成图像可以是通过降低接收的运动图像组成图像的图像质量而获得的低质量图像的一个示例。图像质量退化部分3281或输入运动图像质量控制部分3280提供给级间差异压缩部分3282b至3282d的运动图像中包括的运动图像组成图像可以是特征区域图像的一个示例，在所述特征区域图像中，特征区域的图像质量高于低质量图像的图像质量。在这种情况下，图像质量退化部分3281和输入运动图像质量控制部分3280用作产生低质量图像的图像产生部分。
级间差异压缩部分3282a从图像质量退化部分3281获取具有比级间差异压缩部分3282b至3282d中任一个所接收的运动图像组成图像更低分辨率的运动图像组成图像，并对所获取的图像进行压缩。级间差异压缩部分3282b、级间差异压缩部分3282c和级间差异压缩部分3282d从图像质量退化部分3281或输入运动图像质量控制部分3280获取具有升序排列的分辨率的运动图像组成图像，并对所获取的图像分别进行压缩。
级间差异压缩部分3282b对级间差异压缩部分3282a压缩的运动图像组成图像进行解压，并将解压的运动图像组成图像放大至与其从图像质量退化部分3281获取的运动图像组成图像的分辨率相同的分辨率。级间差异压缩部分3282b对包括放大的运动图像组成图像与从图像质量退化部分3281获取的运动图像组成图像之间的任何差异的差分图像进行压缩。注意，级间差异压缩部分3282b产生在特征区域中具有差异但在任何其他区域中不具有差异的差分图像，并对所产生的差分图像进行压缩。
级间差异压缩部分3282c对级间差异压缩部分3282b压缩的运动图像组成图像进行解压，并将解压的运动图像组成图像放大至与其从图像质量退化部分3281获取的运动图像组成图像的分辨率相同的分辨率。级间差异值压缩部分3282c对包括放大的运动图像组成图像与从图像质量退化部分3281获取的运动图像组成图像之间的任何差异的差分图像进行压缩。注意，级间差异压缩部分3282c产生根据特征区域的特征的量在多个特征区域中的至少一个特征区域中具有差异值但在包括多个特征区域中的其他特征区域在内的任何其他区域中不具有差异值的差分图像，并对所产生的差分图像进行压缩。
级间差异压缩部分3282d对级间差异压缩部分3282c压缩的运动图像组成图像进行解压。级间差异压缩部分3282d将解压的运动图像组成图像放大至与其从输入运动图像质量控制部分3280获取的运动图像组成图像的分辨率相同的分辨率。级间差异压缩部分3282d对包括放大的运动图像组成图像与从输入运动图像质量控制部分3280获取的运动图像组成图像之间的任何差异的差分图像进行压缩。注意，级间差异压缩部分3282d产生根据特征区域的特征的量在多个特征区域中的至少一个特征区域中具有差异值但在包括多个特征区域中的其他特征区域在内的任何其他区域中不具有差异值的差分图像，并对所产生的差分图像进行压缩。
按照这种方式，级间差异压缩部分3282b至3282d对通过导出从输入运动图像质量控制部分3280或图像质量退化部分3281获得的运动图像组成图像与具有较低分辨率的运动图像组成图像的放大版本之间的差异而获得的差分图像进行压缩。输出部分3207对通过相应级间差异压缩部分3282的压缩而得到的运动图像进行复用和输出。具体地，输出部分3207将通过级间差异压缩部分3282的压缩而得到的运动图像发送至图像处理设备3170。按照这种方式，图像处理设备3120可以提供根据特征区域的特征的量来可缩放地压缩和编码的运动图像。
图20A至20C示出了级间差异压缩部分3282a和3282b的一示例模块配置。级间差异压缩部分3282a包括运动分析部分3285a、运动编码部分3286a、差异处理部分3287a和编码部分3288a。运动分析部分3285a包括差异获得目标区域确定部分3294a和位置差信息产生部分3295a。差异处理部分3287a包括差分像素图像产生部分3296a、空间频率域变换部分3297a和量化部分3298a。
级间差异压缩部分3282b包括运动分析部分3285b、运动编码部分3286b、差异处理部分3287b、图像放大部分3293b、图像解码部分3292b和编码部分3288b。运动分析部分3285b包括差异获得目标区域确定部分3294b和位置差信息产生部分3295b。差异处理部分3287b包括差分像素图像产生部分3296b、空间频率域变换部分3297b、量化部分3298b和频域图像质量改变部分3299b。级间差异压缩部分3282c和3282d具有与级间差异压缩部分3282b实质上相同的组件，因此这里不再说明。
以下描述级间差异压缩部分3282a的每个组件的功能和操作。对于从图像质量退化部分3281接收的多幅运动图像组成图像，运动分析部分3285a基于这些组成图像的图像内容，来分析贯穿多幅运动图像组成图像出现的任何运动，从而确定基于其对运动图像组成图像执行基于运动的压缩的部分区域。
具体地，差异获得目标区域确定部分3294a基于贯穿多幅运动图像组成图像的任何部分区域所取的像素值，在运动图像组成图像是要基于其与该参考运动图像组成图像的差异来进行编码的情况下，确定被称为差异获得目标的给定运动图像组成图像中的部分区域。差异获得目标区域确定部分3294a将作为压缩目标的部分区域的像素信息和作为差异获得目标的这样的所确定的部分区域的像素信息提供给差异处理部分3287a。
位置差信息产生部分3295a产生位置差信息，指示要以差分方式压缩的部分区域与被称为差异获得目标的部分区域之间的位置差。具体地，位置差信息产生部分3295a产生用于运动补偿的运动矢量。位置差信息产生部分3295a将产生的位置差信息提供给运动编码部分3286a。
运动编码部分3286a对从位置差信息产生部分3295a提供的位置差信息进行编码，并将编码的信息提供给输出部分3207。例如，运动编码部分3286a对一个部分区域的位置差信息与相邻部分区域的位置差信息之间的差异进行编码，并将编码的差异提供给输出部分3207。
差异处理部分3287a基于从运动分析部分3285a获取的压缩目标部分区域的像素信息和差异获得目标部分区域的像素信息间的差异，对压缩目标部分区域的图像进行压缩。具体地，差分像素图像产生部分3296a基于压缩目标部分区域的像素信息与差异获得目标部分区域的像素信息之间的差异，来产生差分像素图像。
空间频率域变换部分3297a以逐部分区域的方式，将差分像素图像变换至空间频率域。具体地，空间频率域变换部分3297a使用离散余弦变换(DCT)，将差分像素图像中的每个部分区域变换至空间频率域。空间频率域变换部分3297a可以使用如哈达玛变换和小波变换等各种频率变换方式，将差分像素图像中的每个部分区域变换至空间频率域。
当运动分析部分3285a确定压缩将不基于从另一运动图像组成图像的部分区域计算的差异时，差异处理部分3287a将压缩目标部分区域的像素信息提供给空间频率域变换部分3297a。空间频率域变换部分3297a以如上所述的方式，以逐部分区域的方式将像素信息变换至空间频率域。
量化部分3298a对由于空间频率域变换部分3297a所执行的变换至空间频率域的操作而获得的变换系数进行量化。编码部分3288a通过对量化部分3298a量化的变换系数进行编码来执行压缩。例如，编码部分3288通过熵编码(如霍夫曼编码和算术编码等)来对量化部分3298a量化的变换系数进行编码。编码部分3288a将编码得到的运动图像提供给输出部分3207。
以下描述级间差异压缩部分3282b中包括的每个组件的功能和操作。在级间差异压缩部分3282b中包括的组件中，以与级间差异压缩部分3282a中包括的组件的参考标号相同的参考标号来标记的组件具有与级间差异压缩部分3282a中包括的组件相同的功能和操作，因此以下仅解释其间的任何差异。
对于从图像质量退化部分3281获取的多幅运动图像组成图像中的每一幅，与差异获得目标区域确定部分3294a类似，差异获得目标区域确定部分3294b指定另一运动图像组成图像中的部分区域(应当获得该部分区域与所涉及的运动图像组成图像中包括的压缩目标部分区域之间的差异)。按照这种方式，差异获得目标区域确定部分3294b确定差异获得目标部分区域，该差异获得目标部分区域是由运动图像组成图像产生的特征区域图像中的部分区域(应当获得该特征区域图像与另一特征区域图像之间的差异)。差异获得目标区域确定部分3294b将压缩目标部分区域的像素信息和差异获得目标部分区域的像素信息提供给像素值改变部分3291b。
图像解码部分3292b从编码部分3288a获取运动图像组成图像，并且从运动编码部分3286a获取位置差信息。图像解码部分3292b基于从运动编码部分3286a获取的位置差信息，对从编码部分3288a获取的运动图像组成图像进行解码。图像解码部分3292b可以获取由量化部分3298a量化的运动图像组成图像，并对所获取的运动图像组成图像进行解码，或者可以获取编码部分3288a编码的运动图像组成图像，并对所获取的运动图像组成图像进行解码。通过图像解码部分3292b解码得到的运动图像组成图像可以是根据本发明的低质量图像的一个示例。在这种情况下，级间差异压缩部分3282a用作产生根据本发明的低质量图像的图像产生部分。
图像放大部分3293b通过对图像解码部分3292b解码的运动图像组成图像进行放大来产生放大图像。在差异获得目标区域确定部分3294b确定的部分区域中，像素值改变部分3291b保持特征区域中包括的部分区域具有不变的像素值，而将特征区域中未包括的部分区域改变为具有被放大图像中包括的部分区域的像素值替换的像素值。
按照这种方式，像素值改变部分3291b由输入运动图像组成图像产生特征区域图像，所述特征区域图像中不同于特征区域的区域的像素值已经被替换为放大图像中的像素值。注意，像素值改变部分3291b可以用作产生特征区域图像的图像产生部分，所述特征区域图像中不同于特征区域的区域的像素值已经被替换为放大图像中的像素值。
差异处理部分3287b从像素值改变部分3291b接收作为压缩目标的特征区域图像、部分区域(应当获得其与压缩目标特征区域图像中包括的部分区域之间的差异)的图像信息、以及放大图像。差异处理部分3287b针对压缩目标特征区域图像中包括的多个部分区域中的每一个，确定应当采用帧内编码、帧间编码和级间编码中的哪一个。这里，帧内编码要使用相同特征区域图像内的像素信息来对图像进行编码。帧间编码要基于与另一运动图像组成图像中包括的差异获得目标部分区域的差异来对图像进行编码。级间编码要基于与放大图像的差异来对图像进行编码。此时，差异处理部分3287b优先选择在编码的图像中产生较小码量的编码方式。以下描述首先解释选择级间编码的情况，应当选择级间编码是由于已经对像素值进行了替换，使得不同于特征区域的区域不具有差异。此后解释选择帧间编码和帧内编码的情况。
当选择级间编码时，差分像素图像产生部分3296b产生指示特征区域图像与放大图像之间的像素值差异的差分像素图像。具体地，差分像素图像产生部分3296b基于其中不同于特征区域的区域中的像素值被替换了的特征区域图像与放大图像之间的差异，来产生差分像素图像。由于特征区域图像中不同于特征区域的区域的像素值已经被替换为放大图像中的像素值，因此差分像素图像产生部分3296b可以产生差分像素图像，其中每个特征区域具有特征区域图像的像素值与放大图像的像素值之间的差异，并且不同于特征区域的区域不具有像素值差异。
当选择帧间编码时，差分像素图像产生部分3296b获得像素值改变部分3291b产生的特征区域图像与像素值改变部分3291b由另一运动图像组成图像产生的特征区域图像之间的差异。具体地，差分像素图像产生部分3296b获得特征区域中包括的任何部分区域的图像与差异获得目标区域确定部分3294b针对该部分区域所确定的差异获得目标部分区域的图像之间的差异。由于特征区域图像中不同于特征区域的区域的像素值被替换为放大图像中的像素值，差分像素图像产生部分3296b产生差分像素图像，其中特征区域中包括的部分区域具有与由差异获得目标区域确定部分3294b所确定的部分区域的像素值差异，并且不同于特征区域的区域具有与由差异获得目标区域确定部分3294b所确定的部分区域的像素值差异。
当选择帧内编码时，差分像素图像产生部分3296b通过获得每幅特征区域图像中包括的每个部分区域与相同特征区域图像中另一区域之间的像素值差异，或者通过获得给定部分区域中的像素值与相同部分区域中的像素值之间的差异，来产生差分像素图像。
空间频率域变换部分3297b以逐部分区域的方式，将差分像素图像变换至空间频率域。具体地，与空间频率域变换部分3297a类似，空间频率域变换部分3297b使用离散余弦变换(DCT)、哈达玛变换、小波变换等，将每个部分区域变换至空间频率域。与量化部分3298b类似，量化部分3298b对由于空间频率域变换部分3297b执行的至空间频率域的变换而获得的变换系数进行量化。
频域图像质量改变部分3299b从通过空间频率域变换部分3297b执行的至空间频率域的变换而获得的相应部分区域的空间频率分量中，减少包括不同于特征区域的区域在内的至少一个部分区域的空间频率分量的数据量，来产生特征区域差异图像或特征区域间差异图像。具体地，频域图像质量改变部分3299b减少指示高于预定频率的频率分量的任何变换系数的幅度。频域图像质量改变部分3299b可以将指示高于预定频率的频率分量的变换系数改变为0。
按照这种方式，差异处理部分3287b产生特征区域差异图像，其中每个特征区域具有通过将特征区域图像与放大图像之间的差异变换至空间频率域而获得的空间频率分量，并且不同于特征区域的区域具有数据量减少的空间频率分量。编码部分3288b对差异处理部分3287b产生的特征区域差异图像进行编码。
如上所述，差异处理部分3287b产生的特征区域差异图像表示特征区域图像中每个特征区域的图像与低质量图像中每个特征区域的图像之间的差分图像。具体地，差异处理部分387b产生的特征区域差异图像指示特征区域图像中每个特征区域的图像与低质量图像中每个特征区域的放大图像之间的差异。
在以上解释中，像素值改变部分3291b将不同于特征区域的区域中的像素值替换为放大图像中的像素值，使得差分像素图像中不同于特征区域的区域中差异将为0，即，使得不是具有预定类型特征的特征区域，也不是具有应当被给予高于前述特征区域的分辨率的预定类型特征的特征区域的区域中的差异将为0。然而，可以使用任何其他方式来使差分像素图像中的差异为0。
例如，像素值改变部分3291b可以将从图像质量退化部分3281获取的运动图像组成图像中不同于特征区域的区域的像素值改变为预定像素值，并且将放大图像中不同于特征区域的对应区域的像素值改变为相同的预定像素值。按照这种方式，也可以使差分像素图像中不同于特征区域的区域中的差异为0，从而实质上减少不同于特征区域的区域的信息量。
按照这种方式，像素值改变部分3291b由运动图像组成图像，产生特征区域图像(其中不同于特征区域的区域的像素值被替换为预定值)和放大图像(其中不同于特征区域的区域的像素值被替换为预定值)。然后，差分像素图像产生部分3296基于特征区域图像与放大图像之间的差异来产生差分像素图像，在特征区域图像和放大图像中，不同于特征区域的区域中的像素值已经被替换。
像素值改变部分3291b可以将从图像质量退化部分3281获取的运动图像组成图像中不同于特征区域的区域的像素值替换为提供给下级的级间差异压缩部分3282(例如级间差异压缩部分3282a)的运动图像组成图像的放大版本中对应区域的像素值。按照这种方式，也可以使差分像素图像中的差异实质上为0，从而实质上减少了不同于特征区域的区域的信息量。
位置差信息产生部分3295b产生指示不同于特征区域的区域中包括的部分区域与应当获得与其的差异的部分区域之间的位置差的位置差信息。具体地，与位置差信息产生部分3295a类似，位置差信息产生部分3295b产生指示要以差分方式压缩的部分区域与差异获得目标部分区域(应当获得与其的差异)之间的位置差的位置差信息。注意，位置差信息包括用于运动补偿的运动矢量。
位置差信息改变部分3290b改变位置差信息，使得位置差信息将指示应当从在相同位置处的部分区域获得不同于特征区域的区域中包括的部分区域的差异。具体地，位置差信息改变部分3290b将不同于特征区域的区域中包括的部分区域的位置差信息改变为指示不存在位置差异的信息。此外，位置差信息改变部分3290b从运动编码部分3286a获取位置差信息，并将不同于特征区域的区域中包括的部分区域的位置差信息改变为指示不存在位置差的信息。具体地，位置差信息改变部分3290b将不同于特征区域的区域的运动矢量的长度改变为0。具体地，位置差信息改变部分3290b将从位置差信息产生部分3295b获取的运动矢量的长度改变为0，并将从运动编码部分3286a获取的运动矢量的长度改变为0。
然后，运动编码部分3286b对位置差信息进行编码。具体地，与运动编码部分3286a类似，运动编码部分3286b对一个部分区域的位置差信息与相邻部分区域的位置差信息之间的差异进行编码。将运动编码部分3286b编码的位置差信息提供给输出部分3207。
在本实施例中，位置差信息改变部分3290改变不同于特征区域的区域的位置差信息，但是，位置差信息改变部分3290b可以改变运动编码部分3286b编码得到的编码图像中不同于特征区域的区域的位置差信息。这就是说，位置差信息改变部分3290b可以改变运动编码部分3286编码的位置差信息，使得该信息指示应当从在相同位置处的部分区域获得不同于特征区域的部分区域的差异。
编码部分3288b可以产生在不同于特征区域的区域中不包括差异信息的编码数据。具体地，编码部分3288b可以产生在不同于特征区域的区域中包括的部分区域中不具有差异信息的编码数据。运动编码部分3286b可以产生在不同于特征区域的区域中包括的部分区域中不具有位置差信息的编码数据。按照这种方式，编码部分3288b和运动编码部分3286b产生编码数据，该编码数据通过不包括差异信息也不包括位置差信息来指示不同于特征区域的区域中的图像内容与另一运动图像组成图像中对应区域中的图像内容相同。例如，编码部分3288b和运动编码部分3286b可以产生包括一类部分区域的编码数据，指示不同于特征区域的区域中包括的所涉及的部分区域的图像内容与另一运动图像组成图像中对应区域的图像内容相同。
例如，编码部分3288b和运动编码部分3286b可以产生包括一类部分区域的编码数据，指示不同于特征区域的区域中包括的所涉及的部分区域是以简单帧间预测编码模式来编码的，因此不具有转换系数。例如，这些部分区域的类型可以与MPEG编码中的非MC不编码等效。通过产生包括指示运动矢量的长度的信息和差异信息均为0的编码数据，编码部分3288b和运动编码部分3286b可以进一步减少编码后的运动图像组成图像的码量。在确定包括上述编码模式的预测模式时，级间差异压缩部分3282b可以基于不定乘数的拉格朗日方法来选择可以将率失真代价最小化的预测模式。
级间差异压缩部分3282c和级间差异压缩部分3282d包括与级间差异压缩部分3282b的组件具有相同功能的组件。在以下解释中，级间差异压缩部分3282c和级间差异压缩部分3282d中具有与级间差异压缩部分3282的组件相同名称的组件以相同的参考标号表示。组件的参考标号的最后的字母(b、c、d)指示了这些组件被包括在级间差异压缩部分3282b至2282d中的哪一个。
例如，运动分析部分3285c是级间差异压缩部分3282c的组件，运动分析部分3285d是级间差异压缩部分3282d的组件。在以下描述中，没有结尾字母的任何参考标号可以指示级间差异压缩部分3282b至3282d中包括的以该参考标号标记的所有组件。例如，“像素值改变部分3291”可以指示像素值改变部分3291b至3291d中的每一个。
级间差异压缩部分3282c和级间差异压缩部分3282d的功能和操作与级间差异压缩部分3282b的功能和操作在以下方面有所差异：级间差异压缩部分3282c和3282d对从图像质量退化部分3281和输入运动图像质量控制部分3280获取的具有不同图像质量的运动图像分别进行处理；位置差信息改变部分3290c和3290d以及图像解码部分3292c和3292d从用于处理具有较低图像质量的运动图像的另一级间差异压缩部分3282获取用于差异获得目的的位置差信息和用于差异获得目的的运动图像组成图像。
具体地，位置差信息改变部分3290c从运动编码部分3286b获取位置差信息，并改变所获取的位置差信息。图像解码部分3292c从运动编码部分3286b获取位置差信息，从编码部分3288b获取运动图像组成图像，并基于所获取的位置差信息来对所获取的运动图像组成图像进行解码。位置差信息改变部分3290d从运动编码部分3286c获取位置差信息，并改变所获取的位置差信息。图像解码部分3292d从运动编码部分3286c获取位置差信息，从编码部分3288c获取运动图像组成图像，并基于所获取的位置差信息来对所获取的运动图像组成图像进行解码。
特征区域检测部分203从输入运动图像组成图像中检测具有互不相同类型的多个特征区域。具体地，条件存储部分3260以与每种特征区域类型相关联的方式，存储该类型的特征区域的运动矢量或变换系数应当满足的条件。例如，条件存储部分3260可以存储以下条件：运动矢量的空间方向不均匀性应当小于预定值。条件存储部分3260可以存储以下条件：在推定的特征区域中，指示该区域的空间频率分量的变换系数(如DCT系数)的频率级分布应当以高于预定符合度的符合度，与针对任何类型特征区域而预定的这种分量的频率级分布相符合。
特征区域检测部分203将具有满足条件存储部分3260中存储的条件的运动矢量和变换系数的区域检测为特征区域。按照这种方式，特征区域检测部分3203将具有满足预定条件的变换系数的区域检测为特征区域。可以使用如日本专利申请公开No.2007-188419中公开的机器学习(如adaboost)来检测特征区域。已知该方法要使用预定对象的图像的变换系数和不同于预定对象的任何位置的图像的变换系数来学习预定对象的图像的变换系数的特征。条件存储部分260存储预定对象的图像的变换系数所满足的条件，该条件是基于学习来产生的。
取代使用变换系数来检测特征区域，或者除了使用变换系数来检测特征区域之外，特征区域检测部分3203可以基于图像的像素值来检测特征区域。甚至基于像素值来检测特征区域的方法可以使用通过上述机器学习来进行的检测。特征区域检测部分3203可以使用模板匹配来检测特征区域，模板匹配涉及与表示预定对象的模板图像进行比较。
注意，预定对象可以是人脸的至少一部分、人体的一部分(如头、手等)、整个人、硬币、卡(如现金卡等)、汽车和汽车的一部分(如汽车登记牌照)。预定对象可以是不同于人体的活体。预定对象可以是包括人体在内的活体中存在的特定组织，如包括人体在内的活体中的肿瘤组织、血管等等。特征区域检测部分3203可以使用各种检测方法(如模板匹配、机器学习等)，将包括所捕捉的预定对象的图像在内的区域检测为特征区域。特征区域检测部分3203可以检测具有任何形状(如矩形)的特征区域。
特征区域检测部分3203可以使用在日本专利申请公开No.2008-078641中公开的方法来检测特征区域。例如，特征区域检测部分3203以预定的稀疏比率，使从中检测到对象的所捕捉的图像变稀疏，或者以该稀疏比率逐步使这样稀疏的图像进一步变稀疏，从而产生包括所捕捉的图像和一个或更多稀疏图像在内的图像集合。然后，特征区域检测部分3203将第一滤波器应用至所产生的图像集合中相对较小的第一图像，从而计算评估值。这里，第一滤波器作用于图像中的二维区域，并产生表示该区域内可能存在特定类型对象的概率的百分比的评估值。在分别作用于不同大小的区域(其中，与每个区域的大小相对应的、区域中包括的像素数目以预定比率不同，或者以预定比率逐步不同)的至少两个滤波器中，第一滤波器可以是作用于相对较窄区域的滤波器。特征区域检测部分3203从第一图像中提取从中获得大于预定第一阈值的评估值的区域作为主候选区域。
然后，特征区域检测部分3203将这些滤波器中的第二滤波器应用至第二图像中与主候选区域相对应的区域，并计算评估值。第二图像包括的像素数目比第一图像中的像素数目大一个步长。第二滤波器作用于比第一滤波器应当应用至的区域宽一个步长的区域。特征区域检测部分3203提取从中获得大于预定第二阈值的评估值的区域作为次候选区域。
特征区域检测部分3203重复将为不同大小的区域分别准备的多个滤波器中任一滤波器应用至图像集合中具有相应大小的区域的提取操作，以提取候选区域。此时，特征区域检测部分3203按照执行针对较窄区域应用滤波器的提取过程和针对较宽区域应用滤波器的提取过程的顺序来执行提取过程。具体地，特征区域检测部分3203按照执行将为较窄区域准备的滤波器应用至较小图像的提取过程和将为较宽区域准备的滤波器应用至较大图像的提取过程的顺序来执行提取过程。特征区域检测部分3203重复提取过程2次或更多次，并提取最终候选区域，从而检测预定类型的对象。特征区域检测部分3203将其中存在预定类型对象的区域检测为特征区域。这里，在给定提取过程中，特征区域检测部分3203仅将滤波器应用至在恰在之前的提取过程中已经提取的区域。相应地，通过重复的提取过程，重复地鉴别之后的图像中存在还是不存在先前图像中存在的对象，实现了特征区域的更精确检测。此外，由于首先对较小图像进行了针对特征区域的粗略滤波，可以更快地检测特征区域。
特征区域检测部分3203可以通过使用日本专利申请公开No.2008-078636中公开的方法来检测特征区域。例如，特征区域检测部分3203通过使用多个滤波器来检测特征区域，所述多个滤波器作用于所捕捉的图像中具有预定大小的相同二维区域，以计算预定类型的对象的轮廓和内部区域的任意特征(该特征不同于多个滤波器中的任何其他滤波器所计算的特征)的量。具体地，特征区域检测部分3203通过将多个滤波器应用至所捕捉的图像上要从中检测对象的具有预定大小的区域，以计算多个特征的量。多个滤波器中的每一个与主评估值相关联，滤波器所计算的特征的量与主评估值进行比较以获得所涉及的特征可能属于预定类型对象的概率的百分比。基于这种关联，特征区域检测部分3203鉴别与每个所计算的特征的量相对应的主评估值。特征区域检测部分3203将针对多个滤波器而分别鉴别的多个主评估值相加，从而获得次评估值，次评估值表示所滤波区域中可能存在预定类型对象的概率的百分比。特征区域检测部分3203将次评估值与阈值进行比较，并且在该区域中可能存在预定类型对象的概率的百分比高于该阈值的情况下，提取其中存在预定类型对象的区域作为特征区域。通过将提取对象的轮廓和内部区域的各种特征的量的多个滤波器进行组合，同仅基于例如轮廓的形状来提取特征区域相比，特征区域检测部分3203可以更精确地提取特征区域。
特征区域检测部分3203可以将日本专利申请公开No.2008-078636中描述的方法和日本专利申请公开No.2008-078641中描述的方法进行组合，来检测特征区域。具体地，与日本专利申请公开No.2008-078636中描述的方法相结合来解释的多个滤波器可以包括多个滤波器组，其中每个滤波器组是为特定大小的区域而准备的，即多个滤波器组分别作用于具有不同大小的区域，在这些区域中，每个区域中包括的像素的数目以预定比率不同于或以预定比率逐步不同于其他区域中的像素数目。如上所述，每个滤波器可以与合适的评估值相关联。通过以预定的稀疏比率，使从中检测到对象的所捕捉的图像变稀疏，或者以该稀疏比率逐步使这样稀疏的图像进一步变稀疏，特征区域检测部分3203产生包括所捕捉的图像和一个或更多稀疏图像在内的图像集合。特征区域检测部分3203通过将针对较窄区域的多个第一滤波器应用至所产生的图像集合中相对较小的第一图像来计算多个特征的量。特征区域检测部分3203基于针对多个第一滤波器中的每一个给出的关联，针对所计算的多个特征中的每一个的量，来鉴别主评估值。特征区域检测部分3203将多个主评估值相加，从而获得次评估值，该次评估值表示在所滤波区域中可能存在预定类型对象的概率的百分比。特征区域检测部分3203将所获得的次评估值与第一阈值进行比较，并且在该区域中可能存在预定类型对象的概率的百分比高于该第一阈值的情况下，提取该区域作为主候选区域。
特征区域检测部分3203通过将多个第二滤波器应用至图像集合中的第二图像中与主候选区域相对应的区域来计算多个特征的量，其中多个第二滤波器针对比多个第一滤波器所作用于的区域宽一个步长的区域，所述图像集合包括比第一图像中的像素数目大一个步长的像素数目。特征区域检测部分3203基于针对多个第二滤波器中的每一个给出的关联，针对所计算的多个特征中的每一个的量，来鉴别主评估值。特征区域检测部分3203将分别与多个第二滤波器相对应的多个主评估值相加，从而获得次评估值，该次评估值表示在与主候选区域相对应的区域中可能存在预定类型对象的概率的百分比。特征区域检测部分3203将所获得的次评估值与第二阈值进行比较，并且在该区域中可能存在预定类型对象的概率的百分比高于该第二阈值的情况下，提取该区域作为次候选区域。
特征区域检测部分3203重复将为不同大小的区域分别准备的多个滤波器组中的每一个应用至图像集合中具有相应大小的区域的提取操作，以提取候选区域。此时，特征区域检测部分3203按照执行针对较窄区域应用滤波器组的提取过程和针对较宽区域应用另一滤波器组的提取过程的顺序来执行提取过程。具体地，特征区域检测部分3203按照执行将为较窄区域准备的滤波器组应用至较小图像的提取过程和将为较宽区域准备的另一滤波器组应用至较大图像的提取过程的顺序来执行提取过程。特征区域检测部分3203重复提取过程2次或更多次，并提取最终候选区域，从而检测预定类型的对象。特征区域检测部分3203将其中存在预定类型对象的区域检测为特征区域。
特征区域检测部分3203可以使用日本专利申请公开No.2008-098600中描述的方法来检测特征区域。例如，特征区域检测部分3203从多个图像捕捉设备3100捕捉运动图像中包括的多幅所捕捉的图像中检测特征区域。例如，假定图像捕捉设备3100a和图像捕捉设备3100b捕捉与对方所捕捉的相同场景。例如，图像捕捉设备3100a和3100b可以用作立体摄像机。在以下解释中，可以将图像捕捉设备3100a获得的第一捕捉图像和图像捕捉设备3100b获得的第二捕捉图像称为成对图像。特征区域检测部分3203从成对图像中检测成对图像中捕捉的预定类型的对象，并且将其中存在所检测的预定类型对象的区域检测为特征区域。
特征区域检测部分3203从成对的第一和第二捕捉图像中的每一个中提取其中捕捉了预定类型对象的区域。特征区域检测部分3203可以以粗略的检测精度来检测其中捕捉了预定类型对象的区域。特征区域检测部分3203通过从第一捕捉图像中所提取区域中以及从第二捕捉图像中所提取的区域中检测一对对应区域，来检测预定类型的对象。例如，特征区域检测部分3203计算从成对的对应区域中的每一个到在所提取区域中捕捉的对象的距离。特征区域检测部分3203可以基于由所计算的与对象的距离获得的对象的三维形状，来检测预定类型的对象。
当检测一对对应区域时，特征区域检测部分3203将从成对的第一和第二捕捉图像中的每一幅中提取的、在其中捕捉了预定类型对象的区域划分为多个子区域。特征区域检测部分3203计算表征每个子区域中的部分图像的特征量的跨过一些子区域的矢量。特征量可以是例如像素值。跨过一些子区域的矢量可以是例如梯度矢量(例如像素值梯度矢量)。特征区域检测部分3203计算第一图像中所计算的矢量与第二图像中所计算的矢量之间的逻辑距离。如果矢量之间的逻辑距离小于预定值，则特征区域检测部分3203将第一图像中由矢量所跨过的子区域组成的区域和第二图像中由矢量所跨过的子区域组成的区域检测为一对对应区域。逻辑距离可以是例如一个矢量的各个分量与另一矢量的对应分量之间的差的平方和的平方根。特征区域检测部分3203可以以高精度从成对图像中提取一对对应区域，从而可以以高精度计算与对象的距离。因此，特征区域检测部分3203可以以高精度识别对象的三维形状，并且因此可以以高精度检测预定类型的对象。
特征区域检测部分3203可以使用日本专利申请公开No.2008-091562中描述的方法来检测特征区域。例如，特征区域检测部分3203从运动图像中包括的多幅所捕捉的图像中提取与预定类型的对象类似的推定对象形状，以及推定对象形状的尺寸和以图像捕捉设备3100的场角来指示推定对象形状的位置的位置信息。以该场角表示的位置信息可以例如是每幅所捕捉的图像中图像区域中的位置。特征区域检测部分3203确定所提取的推定对象形状所表示的物体是否是预定类型的对象，从而提取预定类型的对象。例如，特征区域检测部分3203可以对从环绕由推定对象形状表示的物体的预定搜索区域中搜索到由推定对象形状表示的、具有相同尺寸的物体的次数进行计数，并可以在计数大于或等于阈值的情况下，提取推定对象形状表示的物体作为预定类型的对象。特征区域检测部分3203可以将包括预定类型对象在内的区域检测为特征区域。因此，特征区域检测部分3203可以将从中密集搜索到具有与预定尺寸接近尺寸的物体的图像区域中存在的由推定对象形状表示的物体检测为预定类型的对象。特征区域检测部分3203不需要将不同于所涉及的图像区域的任何位置中存在的具有推定对象形状的物体检测为预定类型的对象。因此，特征区域检测部分3203可以降低错误地将不同于所涉及的图像区域的任何位置中存在的具有推定对象形状的物体检测为预定类型的对象的可能性。
如果图像捕捉设备3100可以以可变场角来捕捉图像，则以场角表示的前述位置信息可以例如是图像捕捉设备3100捕捉图像的方向和所捕捉的图像中位置。如果可以通过使用多个图像捕捉设备3100来捕捉比一个图像捕捉设备3100所捕捉的场深度更大的连续深度的场，则以场角表示的位置信息可以例如是每个图像捕捉设备3100捕捉图像的方向，以及每个图像捕捉设备3100所捕捉的捕捉图像中的位置。
当特征区域检测部分3203从输入的运动图像组成图像中检测不同类型的多个特征区域时，图像质量退化部分3281通过降低一种类型的特征区域的分辨率来由输入图像产生一幅特征区域图像，并产生其中另一类型的特征区域的分辨率高于前述特征区域图像中的分辨率的另一特征区域图像。级间差异压缩部分3286b至3286d对分别与特定类型的特征区域相对应的特征区域图像进行处理，其中至少预定类型的特征区域具有与图像中该区域的其余部分不同的分辨率。
具体而言，级间差异压缩部分3282b对在包括所有特征区域的区域中具有最低分辨率的低分辨率特征区域图像进行处理。级间差异压缩部分3282c对其中预定类型的特征区域具有高于低分辨率特征区域图像的分辨率的中等分辨率特征区域图像进行处理。级间差异压缩部分3282d对其中另一预定类型的特征区域具有高分辨率的高分辨率特征区域图像进行处理。
差异处理部分3287产生特征区域差异图像，其中(1)一种类型的特征区域和另一类型的特征区域均具有空间频率分量，该空间频率分量是被变换至空间频率域的一幅特征区域图像与其对应的放大图像之间的差异并且(2)不同于该一种类型的特征区域和该另一类型的特征区域的区域具有数据量减少的空间频率分量。
差异处理部分3287产生特征区域差异图像，其中(a)一种类型的特征区域具有空间频率分量，该空间频率分量是被变换至空间频率域的一幅特征区域图像与其对应的放大图像之间的差异，并且(b)不同于该一种类型的特征区域的区域具有数据量减少的空间频率分量，或者产生特征区域间差异图像，其中(i)另一类型的特征区域具有空间频率分量，该空间频率分量是被变换至空间频率域的另一特征区域图像与其中将该另一特征区域图像中的特征区域放大的放大图像之间的差异，并且(ii)不同于该另一类型的特征区域的区域具有数据量减少的空间频率分量。
编码部分3288对特征区域差异图像、特征区域间差异图像和低质量图像分别进行编码。输出部分3207对运动编码部分3286a至3286d编码的位置差信息和编码部分3288a至3288d编码的运动图像组成图像(例如低质量图像、特征区域差异图像和特征区域间差异图像)进行复用，并输出复用的数据。
从上述解释显而易见地，级间差异压缩部分3282a产生在包括特征区域在内的整个图像区域具有低图像质量的运动图像组成图像，即产生具有输入的运动图像组成图像的低空间频率分量的运动图像组成图像。级间差异压缩部分3282b产生的运动图像组成图像所具有的频率分量高于级间差异压缩部分3282a所产生的图像的频率分量并且低于级间差异压缩部分3282c所产生的图像的频率分量。在级间差异压缩部分3282b产生的运动图像压缩图像中，不同于特征区域的区域的、与级间差异压缩部分3282a所产生的运动图像组成图像的差异减小。
类似地，级间差异压缩部分3282c产生的运动图像组成图像所具有的频率分量高于级间差异压缩部分3282b所产生的图像的频率分量并且低于级间差异压缩部分3282d所产生的图像的频率分量。级间差异压缩部分3282d产生的运动图像组成图像的频率分量高于级间差异压缩部分3282c所产生的图像的频率分量。在级间差异压缩部分3282c和级间差异压缩部分3282d产生的运动图像压缩图像中，不同于特征区域的区域的、与级间差异压缩部分3282b和级间差异压缩部分3282c所产生的运动图像组成图像的差异减小。
级间差异压缩部分3282b至3282d中的每一个可以通过对其中预定类型的特征区域具有高于其他区域的图像质量的运动图像进行处理，来向外提供图像质量根据特征区域的类型而不同的运动图像。此时，级间差异压缩部分3282b至3282d可以基于与另一个级间差异压缩部分3282所处理的低质量运动图像组成图像的差异来进行压缩，因此压缩变得高效。
在特征区域检测部分3203检测多个特征区域中每一个特征区域的特征的量时，它可以针对多个特征区域中的每一个来计算指示所检测的特征属于特征区域的确定程度的可靠性程度。级间差异压缩部分3282b至3282d对分辨率根据特征的量和其可靠性程度(均是针对多个特征区域中的每一个而获得的)而调整了的特征区域的图像进行压缩。例如，图像质量退化部分3281可以根据针对每个特征区域而获得的特征的量和可靠性程度，对多个特征区域的图像的分辨率进行调整，并可以将调整后的图像提供给级间差异压缩部分3282。例如，图像质量退化部分3281可以将多个特征区域的图像改变为比根据特征的量而预定的分辨率高的分辨率(可靠性程度越低，高的量越大)。
图像处理设备3120通过对具有不同分辨率的不同级的多幅图像之间的差异进行编码，来执行分级编码。由此显而易见，图像处理设备3120使用的压缩方法包括H.264/SVC的压缩方法。
压缩运动图像解压部分3202可以对编码的运动图像组成图像的一些区域进行解码。例如，压缩运动图像解压部分3202可以将编码的图像中被帧内编码的这种区域解码为像素值。特征区域检测部分3203可以基于压缩运动图像解压部分3202解码获得的像素值来检测编码的图像中的特征区域。编码的运动图像组成图像是编码的图像的一个示例。
具体地，压缩运动图像解压部分3202将编码的运动图像组成图像中的I画面解码为像素值。压缩运动图像解压部分3202可以将运动矢量所参考的区域和被帧内编码的区域解码为像素值。特征区域检测部分3202可以基于压缩运动图像解压部分3202解码获得的像素值来检测编码的图像中的特征区域。
压缩部分3240可以使用通过压缩运动图像解压部分3202解码得到的编码的数据来对运动图像组成图像进行压缩。具体地，级间差异压缩部分3282使用编码的图像中包括的编码的数据，将不同的图像质量给予特征区域的图像和不同于特征区域的区域的图像。具体地，级间差异压缩部分3282使用编码的图像中包括的编码的数据，来将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。
压缩运动图像获取部分3201获取多幅编码的图像，这些图像是编码后的、运动图像中包括的多幅运动图像组成图像。这里，编码的图像可以是MPEG、H.264或运动JPEG编码的运动图像中包括的运动图像组成图像。级间差异压缩部分3282使用多个编码的图像中包括的编码的数据，来将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。
压缩运动图像解压部分3202对编码的图像的一些部分进行解码，以获取编码的图像中至少一些区域的像素信息和与该像素信息的编码相关的编码信息。特征区域检测部分3203基于像素信息和编码信息中的至少一个来检测特征区域。输入运动图像质量控制部分3280和图像质量退化部分3281对像素信息和编码信息中的至少一个进行处理，并且将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。级间差异压缩部分3282基于编码信息来对像素信息进行编码。
压缩运动图像获取部分3201获取多幅编码的图像，这些图像是由运动矢量编码的多幅运动图像组成图像。压缩运动图像解压部分3202对编码的图像的一些部分进行解码，以获取像素信息和运动矢量。特征区域检测部分3203基于像素信息和运动矢量中的至少一个来检测编码的图像中的特征区域。输入运动图像质量控制部分3280和图像质量退化部分3281对像素信息和编码信息中的至少一个进行处理，并且将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。级间差异压缩部分3282基于运动矢量来对像素信息进行编码。
压缩运动图像获取部分3201获取编码的图像，这些图像是基于通过将像素数据变换至空间频率域而获得的变换系数并基于运动矢量来编码的。压缩运动图像解压部分3202对编码的图像的一些部分进行解码，以获取变换系数和运动矢量。级间差异压缩部分3282通过减少指示空间频率大于预定频率的频率分量的变换系数的信息量，来将同被给予不同于特征区域的区域的图像的图像质量相比，较高的图像质量给予特征区域的图像。
压缩运动图像获取部分3201获取编码的图像，这些图像是基于运动矢量起始的区域与运动矢量所参考的部分区域之间图像的差异来编码的。特征区域检测部分3203将其中包括运动对象的运动图像中的区域检测为特征区域。级间差异压缩部分3282将运动矢量与不同于特征区域的区域的图像之间的差异改变为指示不同于特征区域的区域具有与另一运动图像组成图像中的部分区域相同图像内容的值。具体地，如上所述，级间差异压缩部分3282b至3282d将不同于特征区域的区域的运动矢量改变为0，并将不同于特征区域的区域的图像的差异信息改变为0。
图21示出了压缩控制部分3250的一示例模块配置。压缩控制部分3250包括编码方式存储部分3410、编码方式获取部分3412、编码方式选择部分3420、位置差计算部分3440和相同对象区域标识部分3430。
编码方式存储部分3410以与对象的特征的量相关联的方式存储编码方式。具体地，编码方式存储部分3410以与对象类型相关联的方式存储编码方式。编码方式选择部分3420选择编码方式存储部分3410中以与特征区域检测部分3203所检测的特征区域中包括的对象的类型相关联的方式来存储的编码方式。
压缩部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对多个特征区域的图像进行压缩。具体地，压缩部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
更具体地，编码方式存储部分3410以与对象类型相关联的方式存储或为帧内编码或为帧间编码的编码方式。压缩部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的帧内编码方式或帧间编码方式，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
编码方式存储部分3410以与对象类型相关联的方式存储指示用于帧内编码的帧内预测方向的编码方式。压缩部分3240通过按照编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的方向来执行帧内预测，对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
编码方式存储部分3410以与对象类型相关联的方式存储指示用于帧间编码的运动预测单元的编码方式。压缩部分3240通过使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的运动预测单元来执行运动预测，对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
编码方式存储部分3410以与对象类型相关联的方式存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小。压缩部分3240通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分3410中以与对象的类型相关联的方式存储的大小的部分区域，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
编码方式存储部分3410以与对象大小相关联的方式存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小。压缩部分3240通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分3410中以与对象的大小相关联的方式存储的大小的部分区域，来对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
如上所述，压缩部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的特征的量相关联的方式存储的编码方式，来对多个特征区域的图像分别进行压缩。编码方式存储部分3410可以以与对象的类型相关联的方式来存储设置目标码量的编码方式。在这种情况下，压缩部分3240使用编码方式存储部分3410中以与多个特征区域中包括的对象的类型相关联的方式存储的编码方式，来对图像中多个特征区域的图像分别进行压缩。
具体地，编码方式存储部分3410以与对象的类型相关联的方式，存储指示量化步长的编码方式。压缩部分3240通过使用编码方式存储部分3410以与多个特征区域中包括的对象的类型相关联的方式存储的量化步长来对图像中的多个特征区域的图像进行量化，以分别对其进行压缩。
相同对象区域标识部分3430从另一运动图像组成图像中，对包括与多幅运动图像组成图像中的一幅运动图像组成图像的特征区域中包括的对象相同的对象的特征区域进行标识。位置差计算部分3440计算位置差，该位置差是相同对象区域标识部分3430所标识的该另一运动图像组成图像中的特征区域的位置与该一幅运动图像组成图像中特征区域的位置之间的差异。
对于相同对象区域标识部分3430所标识的该另一运动图像组成图像中的特征区域的至少部分区域的图像，压缩部分3240通过将至少该部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的区域的图像进行比较，来对至少该部分区域的图像进行压缩。具体地，运动分析部分3285通过将相同对象区域标识部分3430所标识的、该另一运动图像组成图像中的特征区域的至少该部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的区域的图像进行比较，来计算该一幅运动图像组成图像与该另一运动图像组成图像之间的图像内容的改变量。运动分析部分3285将该另一运动图像组成图像中的特征区域中包括的多个部分区域中每一个部分区域的图像与该一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置周围的部分区域的图像进行比较，从而计算多个部分区域中的每一个部分区域中组成图像之间图像内容的改变量。
在这种情况下，差异获得目标区域确定部分3294针对该另一运动图像组成图像中的特征区域中包括的一个部分区域和另一部分区域中的每一个，基于图像内容的改变量来确定比较目标部分区域，该比较目标部分区域是该一幅运动图像组成图像中与该另一运动图像组成图像中的该一个部分区域或该另一部分区域相距所计算的位置差的位置周围的部分区域。差异处理部分3287通过将该一个部分区域和该另一部分区域的图像与差异获得目标区域确定部分3294分别针对这些部分区域而确定的比较目标部分区域的图像进行比较，来对该一个部分区域和该另一部分区域的图像进行压缩。运动编码部分3286对指示该一个部分区域的位置与针对该一个部分区域所确定的比较目标部分区域的位置之间的差异的部分区域位置差进行压缩，并对指示该另一部分区域的位置与针对该另一部分区域所确定的比较目标部分区域的位置之间的差异的部分区域位置差进行压缩。
注意，差异获得目标区域确定部分3294针对该一个部分区域和该另一部分区域中的至少一个来确定比较目标部分区域，以使得与该一个部分区域相关的部分区域位置差和与该另一部分区域相关的部分区域位置差之间的差异变得小于预定值。运动编码部分3286通过将与该一个部分区域相关的部分区域位置差同与该另一部分区域相关的部分区域位置差进行比较，来对与该一个部分区域相关的部分区域位置差进行压缩。如上所述，运动编码部分3286基于部分区域位置差之间的差异来对其进行压缩，因此可以通过更多地减小部分区域位置差来更多地压缩数据。
差异处理部分3287通过获得每个部分区域与差异获得目标区域确定部分3294针对该部分区域而确定的比较目标部分区域之间的差异，来对该一个部分区域和该另一部分区域的图像进行压缩。运动编码部分3286通过获得与该一个部分区域相关的部分区域位置差和与该另一部分区域相关的部分区域位置差之间的差异，来对与该一个部分区域相关的部分区域位置差进行压缩。
相同对象区域标识部分3430从多幅运动图像组成图像中标识包括相同对象的特征区域。位置差计算部分3440针对相同对象区域标识部分3430所标识的多幅运动图像组成图像中每种类型的特征区域来计算位置差。运动分析部分3285针对相同对象区域标识部分3430从其中标识出特征区域的多幅运动图像组成图像中的每一幅，通过将包括相同对象的该特征区域的至少部分区域的图像与另一运动图像组成图像中与至少该部分区域的位置相距所计算的位置差的位置周围的区域的图像进行比较，来计算该运动图像组成图像与另一运动图像组成图像之间图像内容的改变量。压缩部分3240基于图像内容的改变量来压缩至少该部分区域的图像。具体地，压缩部分3240基于图像内容的改变量来对多个部分区域中每一个的图像进行压缩。
相同对象区域标识部分3430从应当被帧间编码的多幅运动图像组成图像中，标识包括相同对象的特征区域。具体地，相同对象区域标识部分3430从应当被编码为P画面或B画面的多幅运动图像组成图像中，标识包括相同对象的特征区域。
根据本发明的差异获得目标区域确定部分3294和运动编码部分3286分别用作确定上述比较目标部分区域的比较目标区域确定部分和对上述部分区域位置差进行压缩的运动压缩部分。运动分析部分3285用作计算上述图像内容的改变量的改变计算部分。位置差信息改变部分3290、运动编码部分3286、图像解码部分3292、图像放大部分3293、像素值改变部分3291、差异处理部分3287和编码部分3288用作基于图像内容的改变量来压缩图像的图像压缩部分。
在以上解释中，运动分析部分3285计算运动矢量，作为图像内容的改变量的一个示例。图像内容的改变量不仅可以是例如运动矢量表示的、部分区域的平行位移量，也可以是图像放大/缩减量、图像旋转量和图像失真量中的至少一个。压缩部分3240可以基于图像放大/缩减量、图像旋转量和图像失真量来压缩运动图像组成图像。例如，压缩部分3240可以与上述基于运动补偿来标识比较目标图像(要获得与其的差异)相同的方式，基于图像放大/缩减量、图像旋转量和图像失真量中的至少一个，来产生比较目标图像(要获得与其的差异)。
编码方式获取部分3412从图像处理设备3120外部获取信息以存储在编码方式存储部分3410中。具体地，编码方式获取部分3412以与对象的特征的量相关联的方式来获取编码方式。编码方式获取部分3412可以以与对象的特征的量相关联的方式，获取多种编码方式和选择这些编码方式的顺序。编码方式存储部分3410可以以与对象的特征的量相关联的方式来存储编码方式获取部分3412以与对象的特征的量相关联的方式获取的编码方式。
如上所述，对象的特征的量可以是例如对象的类型、对象的大小等等。例如，编码方式可以是帧内编码或帧间编码、帧内预测的方向、运动预测的单元、要用作编码单元的部分区域的大小、目标码量和量化步长等等。编码方式获取部分3412可以经由通信网络3110从图像处理设备3170或显示设备3180获取包括这些编码方式的信息。例如，图像处理设备3170可以经由通信网络3110向图像处理设备3120发送适于未使用并且在图像DB 3175中包括的记录介质中可用的存储器容量的编码方式。例如，图像处理设备3170可以向图像处理设备3120发送指定在未使用的存储器容量不足时可以将数据编码为较小码量的编码方式的信息。
图22示出了根据另一实施例的图像处理设备3120的一示例模块配置。图像处理设备3120包括压缩运动图像获取部分3201、压缩运动图像解压部分3202、特征区域检测部分3203、图像划分部分3204、图像产生部分3205、值固定单元3210、退化单元3220、编码单元3230、压缩控制部分3250、关联处理部分3206、条件存储部分3260和输出部分3207。
压缩运动图像获取部分3201、压缩运动图像解压部分3202、特征区域检测部分3203、图像划分部分3204、图像产生部分3205和条件存储部分3260的每个组件的功能和操作与参照图19至21所解释的、由相同参考标号表示的组件的功能和操作总体相同。因此不再解释这些组件。
值固定单元3210包括多个值固定部分3211a至3211c(以下可以统称为值固定部分3211)。退化单元3220包括多个图像质量退化部分3221a至3221d(以下可以统称为图像质量退化部分3221)。
编码单元3230包括背景区域运动图像编码部分3231a和多个特征区域运动图像编码部分3231b至3231d(以下可以统称为特征区域运动图像编码部分3231)。注意，背景区域运动图像编码部分3231a和特征区域运动图像编码部分3231b至3231d有时可以统称为编码部分3231。
图像质量退化部分3221a和背景区域运动图像编码部分3231a用作压缩部分3240a。图像质量退化部分3221b和特征区域运动图像编码部分3231b用作压缩部分3240b。类似地，图像质量退化部分3221c和特征区域运动图像编码部分3231c用作压缩部分3240c。图像质量退化部分3221d和特征区域运动图像编码部分3231d用作压缩部分3240d。多个压缩部分3240a至3240d可以统称为压缩部分3240。
压缩运动图像获取部分3201获取压缩的运动图像。具体地，压缩运动图像获取部分3201获取由图像捕捉设备3100产生的捕捉运动图像的编码后的数据。压缩运动图像解压部分3202恢复压缩运动图像获取部分3201获取的运动图像，以产生运动图像中包括的多幅运动图像组成图像。具体地，压缩运动图像解压部分3202对压缩运动图像获取部分3201获取的捕捉运动图像数据进行解码，以产生运动图像中包括的多幅运动图像组成图像。运动图像组成图像包括帧图像和场图像。
特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测特征区域。图像划分部分3204将多幅运动图像组成图像中的每一幅划分为特征区域和背景区域。
图像产生部分3205从多幅运动图像组成图像中提取特征区域图像，从而产生多幅特征区域压缩用运动图像，其中每一幅特征区域压缩用运动图像包括多幅所提取的特征区域图像中不同的一幅。具体地，图像产生部分3205拷贝所获取的运动图像来产生多幅特征区域压缩用运动图像(其中每一幅是要压缩的相应特征区域运动图像的基础)和背景区域压缩用运动图像(其为要压缩的背景区域运动图像的基础)。
值固定部分3211中的每一个对相应特征区域压缩用运动图像中包括的多幅运动图像组成图像中不同于特征区域图像的区域中的像素值给予固定值。例如，值固定部分3211将不同于特征区域图像的区域中的像素值设置为预定值(例如亮度值为0)。压缩部分3240中的每一个以与对应特征区域压缩用运动图像的特征的量相对应的强度，对包括其中不同于特征区域图像的区域中的像素值被设为固定值的多幅运动图像组成图像在内的对应特征区域压缩用运动图像进行压缩。按照这种方式，压缩部分3240以与相应运动图像的特征的量相对应的强度，对多幅特征区域压缩用运动图像和背景区域压缩用运动图像进行压缩。
如上所述，特征区域检测部分3203从图像中检测特征区域。图像划分部分3204将图像划分为特征区域和不同于特征区域的背景区域。压缩部分3240以不同的强度对表示特征区域的特征区域图像和表示背景区域的背景区域图像分别进行压缩。每一个压缩部分3240以对应的强度对包括多幅运动图像组成图像(其中包括对应的特征区域图像)的对应特征区域运动图像和包括多幅运动图像组成图像(其中包括背景区域图像)的背景区域运动图像进行压缩。
压缩部分3240b、压缩部分3240c和压缩部分3240d被预先分配以特征区域运动图像的类型以进行压缩，因此压缩部分3240b、压缩部分3240c和压缩部分3240d分别对预先分配给它们的类型的特征区域运动图像进行压缩。针对相应特征类型，预先确定对特征区域运动图像进行压缩的压缩强度，并且压缩部分3240b、压缩部分3240c和压缩部分3240d以针对这些类型预定的压缩强度，对预先分配给它们的类型的特征区域运动图像进行压缩。按照这种方式，压缩部分3240对多个区域同时进行压缩，其中压缩器是针对图像划分部分3204所划分的图像区域分别准备的。
压缩部分3240可以由一个压缩器来实现，使得可以依次地一次一个地压缩多幅特征区域运动图像和背景区域运动图像。在另一示例中，压缩部分3240可以通过针对图像划分部分3204划分的每个区域使用针对特征区域的类型或针对背景预定的压缩率，对压缩运动图像解压部分3202解码的捕捉运动图像进行压缩，来产生一运动图像数据。
特征区域检测部分3203从运动图像中包括的多幅运动图像组成图像中检测不同类型的多个特征区域。图像划分部分3204将多幅运动图像组成图像划分为多个特征区域和不同于多个特征区域的背景区域。压缩部分3240以与图像的特征的量相对应的强度，对多幅特征区域运动图像和背景区域运动图像进行压缩。特征的量包括对象类型、对象大小、运动对象运动的速度和特征区域的大小。
具体地，对于多幅特征区域运动图像和背景区域运动图像，图像质量退化部分3221通过根据其特征的量对运动图像的图像质量进行退化，来对其进行压缩。更具体地，对于多幅特征区域运动图像和背景区域运动图像，图像质量退化部分3221通过根据其特征的量降低分辨率或帧率，来对其进行压缩。对于多幅特征区域运动图像和背景区域运动图像，编码部分3231通过使用与其特征的量相对应的设置值对其进行编码，来对其进行压缩。例如，对于多幅特征区域运动图像和背景区域运动图像，编码部分3231通过使用针对其特征的量而分配的码量对其进行编码，来分别对其进行压缩。
特征区域检测部分3203针对多个特征区域中的每一个，计算在检测特征区域的特征的量时获得的可靠性程度。对于多幅特征区域运动图像，压缩部分3240以与其特征的量和可靠性程度相对应的强度来对其进行压缩。例如，对于多幅特征区域运动图像，图像质量退化部分3221通过根据其特征的量和可靠性程度降低分辨率或帧率，来对其进行压缩。对于多幅特征区域运动图像，编码部分3231通过使用与其特征的量和可靠性程度相对应的设置值对其进行编码，来对其进行压缩。例如，对于多幅特征区域运动图像，压缩部分3240可以以比与其特征的量相对应的强度低的强度(可靠性程度越低，低的量越大)来对其进行压缩。
关联处理部分3206将通过对多幅特征区域运动图像和背景区域运动图像进行压缩而产生的多个特征区域运动图像数据和背景区域运动图像数据互相关联(例如附加添加标记信息等)。输出部分3207将由关联处理部分3206关联的多个特征区域运动图像数据和背景区域运动图像数据发送至通信网络3110。
在图22的配置中，图像处理设备3120中包括的多个压缩部分3240对多个特征区域的图像和背景区域的图像分别进行压缩，而在另一配置中，图像处理设备3120可以包括一个压缩部分3240，使得该一个压缩部分3240可以使用不同的编码方式对多个特征区域的图像和背景区域的图像分别进行压缩。例如，可以以时分方式，将多个特征区域的图像和背景区域的图像依次提供给该一个压缩部分3240，并且该一个压缩部分3240可以使用不同的编码方式，依次对多个特征区域的图像和背景区域的图像分别进行压缩。
例如，该一个压缩部分3240可以以不同的量化系数对多个特征区域的图像信息和背景区域的图像信息分别进行量化。备选地，可以将已被改变为具有互不相同图像质量的多个特征区域的图像和背景区域的图像提供给该一个压缩部分3240，并且该一个压缩部分3240可以使用不同的编码方式，对所提供的多个特征区域和背景区域的图像分别进行压缩。
在一个压缩部分3240以不同的量化系数对相应区域进行量化或者对被改变为具有不同图像质量的相应区域的图像进行压缩的上述实施例中，该一个压缩部分3240可以对单一图像进行压缩，或者可以对图像划分部分3204划分的图像进行压缩(如参照图22所述)。当一个压缩部分3240对单一图像进行压缩时，图像划分部分3204和值固定部分3211不需要执行其图像划分和值固定操作。因此，图像处理设备3120不一定必须包括图像划分部分3204和值固定单元3210。
图23示出了编码部分3231的一示例模块配置。每个编码部分3231包括运动分析部分3285、差异处理部分3287、运动编码部分3286和编码部分3288。运动分析部分3285包括差异获得目标区域确定部分3294和位置差信息产生部分3295。差异处理部分3287包括差分像素图像产生部分3296、空间频率域变换部分3297和量化部分3298。图23所示的组件的功能和操作与参照图20A至20C解释的由相同参考标号表示的组件的功能和操作总体相同。因此不再解释这些组件，除非存在任何差异。
差分像素图像产生部分3296基于作为压缩目标的部分区域的像素信息与作为差异获得目标区域确定部分3294所确定的差异获得目标的部分区域的像素信息之间的差异，来产生差分像素图像。编码部分3288通过对量化部分3298量化的变换系数进行编码来压缩图像。运动编码部分3286对位置差信息产生部分3295提供的位置差信息进行编码，并将编码的位置差信息提供给输出部分3207。差异获得目标区域确定部分3294基于压缩控制部分3250提供的特征区域信息，来确定运动图像组成图像(其图像质量被图像质量退化部分3221退化)的差异获得目标区域。
图24示出了图像处理设备3170的一示例模块配置。图像处理设备3170包括压缩运动图像获取部分3301、关联分析部分3302、压缩运动图像解压单元3310、组合部分3303和输出部分3304。压缩运动图像解压单元3310包括多个压缩运动图像解压部分3311a至3311d(以下可以统称为压缩运动图像解压部分3311)。以下要解释的是用于对从参照图21至图23解释的图像处理设备3120获取的运动图像数据进行处理的图像处理设备3170的每个组件的功能和操作。
压缩运动图像获取部分3301获取输出部分3207输出的、互相关联的多个特征区域运动图像数据和背景区域运动图像数据。例如，关联分析部分3302对附加的标记信息进行分析，以检索压缩运动图像获取部分3301获取的、互相关联的多个特征区域运动图像数据和背景区域运动图像数据。
压缩运动图像解压部分3311对多个特征区域运动图像数据和背景区域运动图像数据分别进行解码。具体地，压缩运动图像解压部分3311a对背景区域运动图像数据进行解码。压缩运动图像解压部分3311b至3311d中的每一个对多个特征区域运动图像数据中的一个特征区域运动图像进行解码。从而，获得多幅特征区域运动图像和背景区域运动图像。针对特征的类型分别提供压缩运动图像解压部分3311b至3311d，压缩运动图像解压部分3311b至3311d中的每一个对一种类型的特征区域运动图像数据进行解码。
组合部分3303将通过压缩运动图像解压部分3311解码而获得的运动图像组成图像组合在一起。具体地，组合部分3303产生运动图像组成图像，其中将从压缩运动图像解压部分3311b至3311d解码得到的多幅特征区域运动图像中包括的运动图像组成图像中特征区域的图像覆盖至背景区域运动图像中包括的运动图像组成图像上。输出部分3304将组合部分3303所产生的包括多幅运动图像组成图像在内的运动图像提供给显示设备3180。输出部分3304可以将组合部分2303所产生的包括多幅运动图像组成图像在内的运动图像记录在图像DB3175中。图像处理设备3170可以将输出部分3207输出的多个特征区域运动图像数据和背景区域运动图像数据关联地记录在图像DB 3175中。在这种情况下，压缩运动图像获取部分3301可以获取图像DB3175中记录的、互相关联的多个特征区域运动图像数据和背景区域运动图像数据。
根据本实施例，压缩运动图像解压单元3310包括多个压缩运动图像解压部分3311，而在另一实施例中，压缩运动图像解压单元3310中包括的一个压缩运动图像解压部分3311可以依次对背景区域运动图像数据和多个特征区域运动图像数据进行解码。当图像处理设备3120将多个特征区域运动图像数据和背景区域运动图像数据作为单一运动图像数据来提供时，该一个压缩运动图像解压部分3311可以对该单一运动图像数据进行解码，并且输出部分3304可以输出解码操作所获得的运动图像。
当图像处理设备3170对参照图19至图21来解释的图像处理设备3120所产生的运动图像数据进行处理时，图像处理设备3170获取级间差异压缩部分3282a至3282d分别压缩的多个运动图像组成图像集合。图像处理设备3170对所获取的多个运动图像组成图像集合中的每一个进行解码。图像处理设备3170将通过解码获得的多个运动图像组成图像集合中的对应图像叠加在一起，以产生组合图像。图像处理设备3170将包括所产生的组合图像作为其组成图像的运动图像提供给显示设备3180。
图25是示出了编码方式存储部分3140中存储的示例数据的表。编码方式存储部分3410存储对象类型、编码模式、帧内预测的方向、运动补偿的单元、宏块大小和量化步长。
对象类型可以是用于标识运动图像组成图像中所捕捉的对象的类型的信息。编码模式可以是用于标识部分区域应当是帧内编码还是帧间编码的信息。
帧内预测的方向指示在要对块进行帧内编码时的预测方向。例如，帧内预测的方向可以是用于标识对帧内块中的像素值进行预测的预测模式(预测模式是根据例如H.264方案的方法)的信息。例如，帧内预测的方向可以是指示是否要基于块中的平均来预测像素值的信息，或者可以是指示像素的信息(参考该像素的像素值和位置来预测相同块中像素的像素值)。
运动补偿的单元可以是指示块中运动矢量的精度的信息。宏块大小可以是指示宏块大小的信息。宏块大小可以是特征区域的按单位面积计算的宏块大小。在这种情况下，当特征区域的面积较大时，压缩部分3240可以使用较大的宏块大小。量化步长可以是指示量化步长的校正值的信息。将参照图26和图27来解释量化步长。
优选地，编码方式存储部分3410存储适于对象类型所标识的对象所拥有的特征空间频率分量的帧内预测的方向。例如，编码方式存储部分3410可以以与预期包括更多垂直边缘的对象的类型相关联的方式，存储基于上方像素的像素值来预测像素的像素值的预测模式0作为帧内预测的方向。
编码方式存储部分3410可以以与预期包括更多水平边缘的对象的类型相关联的方式，存储基于左侧像素的像素值来预测像素的像素值的预测模式1作为帧内预测的方向。编码方式存储部分3410可以以与预期包括更多低频分量的对象的类型相关联的方式，或者以与预期包括许多颜色的对象的类型相关联的方式，存储基于平均来预测像素的像素值的预测模式2作为帧内预测的方向。
编码方式选择部分3420可以根据在检测特征区域时获得的可靠性程度，确定是否基于对象类型来选择任何编码方式。例如，在检测中的可靠性程度高于预定值的条件下，编码方式选择部分3420可以基于对象类型来选择任何编码方式。
图26示出了编码方式存储部分3410中存储的示例量化步长校正值。编码方式存储部分3410存储用于对量化部分3298所使用的量化表的每个字段处的量化步长值进行校正的校正值。在图26的示例中，该表示出了用于要应用至4×4宏块的量化步长的校正值Δquv。这里，u和v＝0，1，2和3。
该表中左上角字段中的值Δq00指示用于对要应用至指示DC分量的空间频率域值的量化步长进行校正的校正值。向右和向下字段上的值Δquv指示用于要应用至更高空间频率分量值的量化步长的校正值。
适应于对象类型、图像复杂度和编码差异，编码方式存储部分3410可以存储各种频率分量的量化步长校正值Δquv。图像复杂度索引可以是针对宏块中包括的每个像素而计算的、所涉及的像素的像素值与宏块中包括的像素的平均像素值之间的差异的绝对值之和。备选地，图像复杂度索引可以是通过使用高通滤波器(如拉普拉斯滤波器)来处理宏块中的图像而获得的、宏块中图像的高频分量的大小。
编码方式存储部分3410可以针对较高图像复杂度存储较大的量化步长校正值Δquv。因此，较大的量化步长用于更复杂的图像内容。可以预期，当图像更加复杂时，指示高频分量的空间频率域值将更大。由于编码方式存储部分3410针对更复杂的图像存储较大的量化步长校正值Δquv，因此将以较大的量化步长来处理更复杂的图像，这将造成减少了量化后的图像的信息量。
编码方式存储部分3410可以针对较大的编码差异来存储较小的量化步长校正值Δquv。编码差异可以是指示经历有损编码之前的图像和经历有损编码之后的图像之间的差异量的值。例如，编码差异可以是至少编码前后之间的编码差异，或者是量化前后之间的量化差异。可以预期，随着编码差异越大，图像质量越低，而编码方式存储部分3410以与较大编码差异相关联的方式存储较小的量化步长校正值Δquv。因此，可以针对较大的编码差异选择较小的量化步长，这将造成增加了编码后的图像的信息量。按照这种方式，根据对象类型、图像复杂度和编码差异来确定量化步长。
量化差异可以是量化部分3298量化之前的图像信号与量化后的图像信号之间的差异。例如，量化差异可以是针对图像信号中的每个像素值计算的、量化前的像素值与量化后的像素值之间的差异的绝对值之和。量化差异可以是针对图像信号中的每个像素值计算的、量化前的像素值与量化后的像素值之间的差异的平方和。编码差异可以是编码前的图像信号与编码后的图像信号之间的差异。例如，编码差异可以是针对图像信号中的每个像素值计算的、编码前的像素值与编码后的像素值之间的差异的绝对值之和。编码差异可以是针对图像信号中的每个像素值计算的、编码前的像素值与编码后的像素值之间的差异的平方和。这里，编码包括空间频率域变换部分3297执行的至空间频率分量的变换，以及量化部分3298执行的量化。
使用编码方式存储部分3410中存储的根据图像复杂度和编码差异的量化步长校正值Δquv，可以减少由于复杂图像导致的信息量增加，或者减少由于涉及空间频率变换或量化的编码而导致的图像质量的降低。图26已经解释了以宏块为单位来减少信息量的增加，而图27将解释减少整幅图像中信息量的波动。除了图26中所示的用于4×4宏块的量化步长校正值Δquv之外，编码方式存储部分3410还可以存储用于各种宏块(包括8×8、16×16等)的量化步长校正值Δquv。
图27示出了校正前的码量的比值与量化校正量Q之间的关系。线3910指示了特征区域上对量化量的校正量。线3920指示了背景区域上对量化量的校正量。
校正前码量的比值是在特征区域的图像质量和背景区域的图像质量未经量化部分3298调整时，特征区域中的码量与整个图像区域中的码量的比值。特征区域中的码量可以是针对特征区域中包括的每个宏块而计算的、宏块的图像复杂度与宏块上的量化量之间的乘积之和。整个图像区域中的码量可以是针对整个图像区域中包括的每个宏块而计算的、宏块的图像复杂度与宏块上的量化量之间的乘积之和。
量化量指示量化的程度。这就是说，量化步长越小，量化量越大。量化校正量Q指示当量化步长是以量化步长校正值Δquv来校正时，量化量的增加量。校正前的量化量是根据缓冲器中被占用的存储器量、图像复杂度和目标码量来确定的。
码量的索引可以是量化量。如果基于图像复杂度来调整量化量，则基于由量化量索引的码量来计算的校正前码量的比值预期实质上等于上述基于这种图像复杂度和量化量来加权的校正前码量的比值。备选地，码量可以仅仅由面积来进行索引。同样使用这种索引，只要特征区域的图像复杂度与背景区域的图像复杂度相等，基于由面积索引的码量来计算的校正前码量的比值预期实质上等于上述基于这种图像复杂度和量化量来加权的校正前码量的比值。根据上述解释，为了便于解释，基于以图像复杂度为基础来加权的校正前码量的比值，来确定特征区域和不同于特征区域的区域上的量化的校正量。类似地，可以基于以参照图26所解释的编码差异为基础来加权的校正前码量的比值，来确定特征区域和不同于特征区域的区域上的量化的校正量。
使用这种过程，可以根据通过提高特征区域的图像质量而导致的码量增加，来减少背景区域中的码量。因此，可以通过对特征区域和背景区域之间的图像质量进行平衡，来防止码量增加。优选地，编码方式存储部分3410存储满足上述关系的量化步长校正值Δq。压缩部分3240可以通过将时域低通滤波器应用至根据图像复杂度、编码差异和对象类型而计算的量化校正量，每单位时间将量化校正量的波动量保存为等于或低于预定量。
图28是示出了编码方式存储部分3410中存储的另一示例数据的表。编码方式存储部分3410以与对象类型相关联的方式存储帧内预测的方向和优先程度。帧内预测的方向已经参照图25解释过，因此这里不再解释。优先程度指示根据其选择帧内预测的方向的优先程度。
编码方式存储部分3410以与特征区域中包括的对象的类型相关联的方式，存储多个编码方式和选择多个编码方式的顺序。编码方式选择部分3420按照该顺序，针对多个特征区域中的每一个，选择编码方式存储部分3410中以与特征区域中包括的对象的类型相关联的方式存储的编码方式。
如果编码方式可以将特征区域的图像压缩至与图像质量平衡的压缩量(该量高于预定压缩率)，则编码方式选择部分3420选择该编码方式作为要被用于对特征区域的图像进行压缩的方式。压缩部分3240使用编码方式选择部分3420选择的编码方式，对运动图像组成图像中多个特征区域的图像进行压缩。
如上所述，编码方式选择部分3420针对要压缩的多幅运动图像组成图像中的每一幅，从多个编码方式中优选选择可以实现与图像质量平衡的较高压缩量的编码方式。因此，通过以与对象类型相匹配的优先顺序来测试编码方式，编码方式选择部分3420可以降低可能对任何不必要的编码模式进行测试的概率。因此，编码方式选择部分3420有时可以快速指定适于对象类型的帧内预测的方向。
编码方式存储部分3410可以以与对象类型相关联的方式，存储多个编码方式的各种组合。在这种情况下，编码方式选择部分3420针对要压缩的多幅运动图像组成图像中的每一幅，从多个编码方式中优选选择可以实现与图像质量平衡的较高压缩量的编码方式。
针对多个特征区域中的每一个，编码方式选择部分3420从编码方式存储部分3410以与特征区域中包括的对象的类型相关联的方式存储的多个编码方式中，优选选择可以实现与特征区域的图像中的图像质量平衡的较高压缩量的编码方式。
压缩部分3240使用编码方式选择部分3420选择的编码方式，对多幅运动图像组成图像中的每一幅中的多个特征区域中的每一个特征区域的图像进行压缩。按照这种方式，编码方式选择部分3420有时也可以快速地指定适于对象类型的帧内预测的方向。
图29示出了用于确定差异获得目标区域的差异获得目标区域确定部分3294的一个示例确定方法。假定相同对象区域标识部分3430标识了分别包括对象3904和对象3214的特征区域3902和特征区域3212，对象3904和对象3214是分别来自运动图像组成图像3200和运动图像组成图像3810的相同对象。在这种情况下，位置差计算部分3440计算特征区域的位置之间的位置差，该位置差是特征区域3902的左上角坐标与特征区域3212的左上角坐标之间的差异。
在图29的示例中，位置差计算部分3440导出位置差(x1-x0，y1-y0)。差异获得目标区域确定部分3294确定运动图像组成图像3200中的差异获得目标区域，以通过帧间编码来对特征区域3212中包括的宏块3216进行编码。当宏块3216的左上角坐标为(x2，y2)并且宏块3216的右下角坐标为(x3，y3)时，差异获得目标区域确定部分3294确定矩形区域3906中的差异获得目标区域，在运动图像组成图像3200中，矩形区域3906的相对角是(x2-(x1-x0)-Δ，y2-(y1-y0)-Δ)和(x3+(x1-x0)+Δ，y3+(y1-y0)+Δ)。这里，原点在运动图像组成图像3200和运动图像组成图像3810的左上角位置。
要在其中确定差异获得目标区域的跟踪范围的面积由Δ来定义。值Δ可以是预定的像素数目。备选地，值Δ可以是根据特征区域3902和3212中包括的对象的类型来预定义的。例如，差异获得目标区域确定部分3294可以针对预期以较高速度运动的对象类型，使用较大的Δ值来确定差异获得目标区域。按照这种方式，对于相同对象区域标识部分3430所标识的另一运动图像组成图像中的特征区域的至少部分区域的图像，压缩部分3240通过将至少该部分区域的图像与以下范围内的区域的图像进行比较，来对至少该部分区域的图像进行压缩：所述范围与一幅运动图像组成图像中与该部分区域的位置相距所计算的位置差的位置相距预定像素数目。
差异获得目标区域确定部分3294可以根据在检测特征区域时获得的可靠性程度来确定是否要基于特征区域之间的位置差来确定差异获得目标区域。例如，差异获得目标区域确定部分3294可以在可靠性程度高于预定值的条件下，基于特征区域之间的位置差来确定差异获得目标区域。
如上所述，差异获得目标区域确定部分3294可以通过使用特征区域之间的位置差来缩窄在其中跟踪运动矢量的范围。因此，差异获得目标区域确定部分3294可以快速计算运动矢量。特征区域3212可以防止其内的运动矢量在方向上不均匀。因此，当运动编码部分3286基于相邻宏块中的运动矢量之间的差异来对运动矢量进行编码时，该差异可以变得更小。因此，图像处理设备3170可以以较高压缩率来对运动矢量进行压缩。
图30示出了根据另一实施例的图像处理系统3020的一个示例。根据本实施例相关的图像处理系统3020具有与参照图1解释的图像处理系统3010相同的配置，但是去除了图像处理设备3120，取而代之地，图像捕捉设备3100a至3100d包括图像处理部分3604a至3604d(以下可以统称为图像处理部分3604)。
图像处理部分3604包括图像处理设备3120的组件，除压缩运动图像获取部分3201和压缩运动图像解压部分3202以外。图像处理部分3604中包括的相应组件的功能和操作可以与图像处理设备3120中包括的组件的功能和操作实质上相同，但是图像处理部分3604的组件处理图像捕捉部分3102捕捉的捕捉运动图像，而不像图像处理设备3120的组件处理通过压缩运动图像解压部分3202解压得到的捕捉运动图像。具有这种配置的图像处理系统3020也可以实现与参照图18至图29的图像处理系统3010相结合来解释的效果相似的效果。
图像捕捉设备3100中包括的编码方式获取部分3412可以从图像处理设备3170或从图像捕捉设备3100的用户获取上述编码方式。例如，图像捕捉设备3100可以具有在其上显示设置屏幕的显示设备。该显示设备可以显示设置屏幕，从该设置屏幕来设置适于特征区域的特征的量的编码方式。编码方式获取部分3412可以经由设置屏幕从用户获取编码方式。例如，编码方式获取部分3412可以通过在显示设备上显示设置屏幕时获取指示用户操作的信息，来获取编码方式。
图像处理部分3604可以从图像捕捉部分3102获取包括以RAW格式表示的多幅运动图像组成图像在内的捕捉运动图像。图像处理部分3604可以从以RAW格式表示的多幅运动图像组成图像中的每一幅中检测一个或多个特征区域。图像处理部分3604可以对获取的捕捉运动图像中包括的以RAW格式表示的运动图像组成图像进行压缩，这是由于这些图像具有RAW格式。此时，图像处理部分3604可以使用参照图18至图29结合图像处理设备3120的操作而解释的压缩方法来对捕捉运动图像进行压缩。
图像处理设备3170可以通过对从图像处理部分3604获取的压缩运动图像进行解压，来获得以RAW格式表示的多幅运动图像组成图像。图像处理设备3170可以以区域为单位(即分别以不同于特征区域的每个区域为单位和以多个特征区域中的每一个为单位)，对通过解压获得的具有RAW格式的多幅运动图像组成图像执行颜色估计(重合处理)。此时，图像处理设备3170可以对特征区域以比对不同于特征区域的区域更高的精度来执行颜色估计(重合处理)。
图像处理设备3170可以对通过同步得到的运动图像组成图像中的特征区域的图像应用超分辨率(super-resolution)处理。图像处理设备3170执行的超分辨率处理可以是日本专利申请公开No.2006-350498中描述的基于主要分量分析的处理，或者日本专利申请公开No.2004-88615中描述的基于对象运动的处理。
图像处理设备3170可以对特征区域中的每个对象分别应用超分辨率处理。例如，当特征区域包括人脸的图像时，图像处理设备3170可以对均作为对象示例的每个脸部部分(例如眼、鼻、口等)应用超分辨率处理。在这种情况下，图像处理设备3170存储每个脸部部分(例如眼、鼻、口等)的学习数据，如日本专利申请公开No.2006-350498中描述的基于主要分量分析(PCA)的模型。图像处理设备3170可以使用针对脸部部分来选择的学习数据，对特征区域中包括的每个脸部部分的图像分别应用超分辨率处理。
按照这种方式，图像处理设备3170可以使用主要分量分析(PCA)来重配置特征区域的图像。除了主要分量分析(PCA)的学习和图像重配置之外，图像处理设备3170可以使用局部性预留投影(LPP)、线性判别式分析(LDA)、独立分量分析(ICA)、多维缩放(MDS)、支持矢量机(支持矢量回归)、神经网络、隐式马尔科夫模型、贝叶斯推论、最大后验概率估计、迭代返回投影、小波变换、局部线性嵌入(LLE)、马尔科夫随机场(MRF)等来作为图像重配置技术和用于图像重配置技术的学习技术。
除了日本专利申请公开No.2006-350498中描述的模型之外，学习数据可以包括对象的图像的低频分量和高频分量，这些分量是从为该类型的对象准备的许多采样图像中提取的。这里，针对多种类型的对象中的每一种，可以使用K-means方法或类似方法对对象的图像中的低频分量进行聚集，使得可以将每种类型的对象的图像中的低频分量聚集为多个群集。可以针对每个群集来确定代表性低频分量，如群集的中值点的值。
图像处理设备3170从运动图像组成图像中的特征区域中包括的对象的图像中提取低频分量。图像处理设备3170从为相应类型的对象准备的采样图像中提取的低频分量的群集中，指定所确定的代表性低频分量是与所提取的低频分量中的任一个相匹配的值的任何群集。图像处理设备3170指定与所指定的群集中包括的低频分量相关联的高频分量的群集。按照这种方式，图像处理设备3170可以指定与从运动图像组成图像中包括的对象中提取的低频分量相关的高频分量的群集。
图像处理设备3170可以使用所指定的高频分量群集的代表性高频分量，将对象的图像改变为具有较高图像质量的图像。例如，图像处理设备3170可以基于与从对象中心至表面上的处理目标的位置的距离相对应的权值，将为对象选择的高频分量添加至每个对象的图像。代表性高频分量可以使用闭环学习来产生。由于图像处理设备3170可以使用针对每个对象从通过关于对象的学习而产生的学习数据中选择的所需学习数据，图像处理设备3170有时可以以更高精度使对象成为高质量图像。此外，在参照图18至图29解释的图像处理系统3010中，图像处理设备3170可以对特征区域的图像应用上述超分辨率处理。
在日本专利申请公开No.2006-350498中描述的基于主要分量分析的超分辨率处理中，使用主要分量矢量和加权系数来表示对象的图像。加权系数和主要分量矢量的数据量明显小于对象的图像中包括的像素数据的数据量。因此，在对从图像捕捉部分3102获取的多幅运动图像组成图像中特征区域的图像进行压缩的过程中，图像处理部分3604可以由特征区域中包括的对象的图像来计算加权系数。这就是说，图像处理部分3604可以通过使用主要分量矢量和加权系数来表示图像，从而对特征区域中包括的对象的图像进行压缩。图像处理部分3604可以将主要分量矢量和加权系数发送至图像处理设备3170。
在这种情况下，图像处理设备3170可以使用从图像处理部分3604获取的主要分量矢量和加权系数来重配置特征区域中包括的对象的图像。不言自明，图像处理部分3604可以使用各种特征参数来表示对象的模型，而不使用日本专利申请公开No.2006-350498中描述的基于主要分量分析的模型，来对特征区域中包括的对象的图像进行压缩。
图31示出了图像处理设备3120和3170的一示例硬件配置。图像处理设备3120和3170包括由CPU外围部分、输入/输出部分和传统输入/输出部分。CPU外围部分包括通过主机控制器3582互相连接的CPU 3505、RAM 3520、图形控制器3575和显示设备3580。输入/输出部分包括通过输入/输出控制器3584连接至主机控制器3582的通信接口3530、硬盘驱动器3540和CD-ROM驱动器3560。传统输入/输出部分包括连接至输入/输出控制器3584的ROM 3510、软盘驱动器3550和输入/输出芯片3570。
主机控制器3582将以高传输速率访问RAM 3520的CPU 3505和图形控制器3575连接至RAM 3520。CPU 3505基于ROM 3510和RAM3520上存储的程序进行操作，以控制每个组件。图形控制器3575在RAM 3520中提供的帧缓冲器上获取CPU 3505等产生的图像数据，并在显示设备3580上显示图像。取而代之地，图形控制器3575中可以包括用于存储CPU 3505等产生的图像数据的帧缓冲器。
输入/输出控制器3584将作为相对高速率输入/输出设备的硬盘驱动器3540、通信接口3530和CD-ROM驱动器3560连接至主机控制器3582。硬盘驱动器3540上存储CPU 3505要使用的程序和数据。通信接口3530与网络通信设备3598连接以发送或接收程序或数据。CD-ROM驱动器3560从CD-ROM 3595中读出程序或数据，并将其经由RAM 3520提供给硬盘驱动器3540和通信接口3530。
ROM 3510和相对低速率的输入/输出设备(如软盘驱动器3550和输入/输出芯片3570连接至输入/输出控制器3584。ROM 3510存储图像处理设备3120和图像处理设备3170激活时执行的引导程序、或者符合图像处理设备3120和图像处理设备3170的硬件的程序。软盘驱动器3550从软盘3590中读出程序或数据，并经由RAM 3520将其提供给硬盘驱动器3540或通信接口3530。输入/输出芯片3570是通过软盘驱动器3550、并行端口、串行端口、键盘端口、鼠标端口等来连接各种输入/输出设备的连接接口。
CPU 3505执行的程序在如软盘3590、CD-ROM 3595和IC卡等记录介质中由用户提供。存储在记录介质中的程序可以压缩也可以不压缩。记录介质中的程序安装到硬盘驱动器3540上，读出至RAM 3520并由CPU 3505来执行。CPU 3505执行的程序使图像处理设备3120用作参照图18至图30解释的图像处理设备3120。程序还使图像处理设备3170用作参照图18至30解释的图像处理设备3170。
程序可以存储在外部记录介质中。记录介质可以是软盘3590和CD-ROM 3595，或者备选地，可以是光记录介质(如DVD和PD)、磁-光记录介质(如MD)、磁带介质、半导体存储器(如IC卡)。在连接至专用通信网络或因特网的服务器系统上安装的存储器设备(如硬盘、RAM等)可以用作记录介质，使得程序可以经由网络提供给图像处理设备3120和和图像处理设备3170。
尽管通过示例实施例描述了本发明的一些方面，但是应当理解，本领域技术人员在不背离仅由所附权利要求限定的本发明的精神和范围的前提下，可以做出许多改变和替换。

Claims (31)

1.一种图像处理设备，包括：
特征区域检测部分，检测图像中的多个特征区域；
条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；
压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及
压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
2.如权利要求1所述的图像处理设备，其中
特征区域检测部分检测运动图像中包括的多幅运动图像分量图像中的多个特征区域，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多个特征区域的特征，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
3.如权利要求2所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域的类型而不同的条件，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多个特征区域的类型，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
4.如权利要求3所述的图像处理设备，其中
特征区域检测部分检测多幅运动图像分量图像中具有不同类型特征的多个特征区域，
压缩部分分别对多幅特征区域运动图像进行压缩，其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多幅特征区域图像，以及
压缩控制部分参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对压缩部分对所述多幅特征区域运动图像中每一幅进行压缩的压缩强度进行控制。
5.如权利要求4所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域的类型而不同的图像质量降低量；
压缩部分包括：
图像质量降低部分，降低多幅特征区域运动图像的图像质量，
其中每一幅特征区域运动图像包括所述多幅运动图像分量图像中具有相同类型特征的多个特征区域；以及
压缩控制部分参照条件存储部分上存储的图像质量降低量，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区域运动图像中每一幅的图像质量降低的图像质量降低量进行控制。
6.如权利要求5所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域的类型而不同的空间分辨率降低量，或根据特征区域的类型而不同的时间分辨率降低量，以及
压缩控制部分参照条件存储部分上存储的空间或时间分辨率的降低量，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对图像质量降低部分将所述多幅特征区域运动图像中每一幅的图像质量降低的空间或时间分辨率降低量进行控制。
7.如权利要求5所述的图像处理设备，还包括：
条件获得部分，获得根据特征区域的类型而不同的图像质量降低量，其中
条件存储部分在其上存储由条件获得部分获得的、根据特征区域的类型而不同的图像质量降低量。
8.如权利要求2所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域所指示的区域的特征而不同的条件，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多个特征区域所指示的区域的特征，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
9.如权利要求8所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域所指示的区域的数目、大小或位置而不同的条件，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多个特征区域所指示的区域的数目、大小或位置，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
10.如权利要求2所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域的特征区域图像中包含的对象的特征而不同的条件，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多幅特征区域图像中包含的对象的特征，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
11.如权利要求10所述的图像处理设备，其中
条件存储部分在其上存储根据特征区域图像中包含的对象的形状、面对方向、运动方向或已运动距离而不同的条件，以及
压缩控制部分参照条件存储部分上存储的条件，根据所述多幅特征区域图像中包含的对象的形状、面对方向、运动方向或已运动距离，来对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
12.如权利要求4所述的图像处理设备，还包括：
图像产生部分，通过复制运动图像来产生具有不同类型特征的多幅特征区域运动图像，其中
压缩控制部分参照条件存储部分上存储的条件，根据特征区域运动图像中包括的多幅特征区域图像的特征类型，对压缩部分对所述多幅特征区域运动图像中每一幅进行压缩的压缩强度进行控制。
13.如权利要求2所述的图像处理设备，还包括：
运动图像获得部分，获得从不同位置捕捉的多幅运动图像；以及
相同主体区域标识部分，标识由运动图像获得部分所获得的多幅运动图像中的一幅运动图像中包括的运动图像分量图像中的特征区域和所述多幅运动图像中不同的一幅运动图像中包括的运动图像分量图像中的特征区域，所述特征区域包含相同的主体，其中
参照条件存储部分上存储的条件，压缩控制部分(i)根据特征区域的特征，控制压缩部分对由相同主体区域标识部分所标识的特征区域中的至少一个特征区域的特征区域图像进行压缩的压缩强度，以及(ii)将压缩部分对所标识的特征区域中不同的一个特征区域的特征区域图像进行压缩的压缩强度设置为高于压缩部分对所述至少一个特征区域的特征区域图像进行压缩的压缩强度。
14.一种图像处理方法，包括：
检测图像中的多个特征区域；
存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；
对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及
参照存储步骤中存储的条件，根据所述多个特征区域的特征，来对分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
15.一种与图像处理设备一起使用的程序，所述程序使图像处理设备用作：
特征区域检测部分，检测图像中的多个特征区域；
条件存储部分，在其上存储根据特征区域的特征而不同的分配条件，以便根据特征区域的特征来分配不同的压缩强度；
压缩部分，分别对多幅特征区域图像进行压缩，所述多幅特征区域图像是所述多个特征区域的图像；以及
压缩控制部分，参照条件存储部分上存储的条件，根据所述多个特征区域的特征，对压缩部分分别对所述多幅特征区域图像进行压缩的压缩强度进行控制。
16.一种图像处理设备，包括：
特征区域检测部分，从图像中检测多个特征区域；以及
压缩部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。
17.如权利要求16所述的图像处理设备，还包括：编码方式存储部分，以与对象的特征的量相关联的方式来存储编码方式，
其中，压缩部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的特征的量相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。
18.如权利要求17所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式来存储编码方式，以及
压缩部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的编码方式，分别对所述多个特征区域的图像进行压缩。
19.如权利要求18所述的图像处理设备，
其中，特征区域检测部分从运动图像中包括的多幅运动图像组成图像中的每一幅中检测多个特征区域，所述运动图像为所述图像，以及
压缩部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的编码方式，分别对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
20.如权利要求19所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储或为帧内编码类型或为帧间编码类型的编码方式，以及
压缩部分按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的帧内编码方式或帧间编码方式，分别对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
21.如权利要求20所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储指示帧内编码的帧内预测方向的编码方式，以及
压缩部分通过按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的方向来执行帧内预测，分别对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
22.如权利要求20所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储指示帧间编码的运动预测单元的编码方式，以及
压缩部分通过按照编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式而存储的运动预测单元来执行运动预测，分别对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
23.如权利要求20所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小，以及
压缩部分通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分中以与该特征区域中包括的对象的类型相关联的方式存储的大小的部分区域，对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
24.如权利要求17所述的图像处理设备，
其中，编码方式存储部分以与对象的大小相关联的方式，存储要被用作对运动图像组成图像进行编码的编码单元的部分区域的大小，以及
压缩部分通过将特征区域中包括的每个对象的图像划分为具有编码方式存储部分中以与该特征区域中包括的对象的大小相关联的方式存储的大小的部分区域，对所述多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
25.如权利要求18所述的图像处理设备，还包括：编码方式选择部分，针对多幅运动图像组成图像中的每一幅，从多种编码方式中，优先选择能够实现与图像质量平衡的较高压缩量的编码方式，作为要用于对该运动图像组成图像进行压缩的编码方式，
其中，编码方式存储部分以与对象的类型相关联的方式来存储多种编码方式的不同组合，
编码方式选择部分针对所述多个特征区域中的每一个，从编码方式存储部分中以与该特征区域中包括的对象的类型相关联的方式存储的多种编码方式中，优先选择能够实现与该特征区域的图像中的图像质量平衡的较高压缩量的编码方式，以及
压缩部分使用编码方式选择部分选择的编码方式，对多幅运动图像组成图像中每一幅中的多个特征区域的图像进行压缩。
26.如权利要求18所述的图像处理设备，还包括：编码方式选择部分，针对多幅运动图像组成图像中的每一幅，从多种编码方式中，优先选择能够实现与图像质量平衡的较高压缩量的编码方式，作为要用于对该运动图像组成图像进行压缩的编码方式，
其中，编码方式存储部分以与特征区域中包括的对象的类型相关联的方式来存储多种编码方式和选择所述编码方式应当依据的顺序，
如果所选的编码方式能够将该特征区域的图像压缩至与图像质量平衡的、高于预定压缩率的压缩量，编码方式选择部分针对所述多个特征区域中的每一个，按照所述顺序来选择编码方式存储部分中以与该特征区域中包括的对象的类型相关联的方式存储的编码方式，作为要用于对该特征区域的图像进行压缩的编码方式，以及
压缩部分使用编码方式选择部分选择的编码方式，对每幅运动图像组成图像中的多个特征区域的图像进行压缩。
27.如权利要求18所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储指示目标码量的编码方式，以及
压缩部分使用编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式存储的编码方式，对所述图像中多个特征区域的图像进行压缩。
28.如权利要求27所述的图像处理设备，
其中，编码方式存储部分以与对象的类型相关联的方式，存储指示量化步长的编码方式，以及
压缩部分通过使用编码方式存储部分中以与所述多个特征区域中包括的对象的类型相关联的方式存储的量化步长对图像进行量化，来对所述图像中多个特征区域的图像进行压缩。
29.如权利要求17所述的图像处理设备，还包括：编码方式获取部分，以与对象的特征的量相关联的方式来获取编码方式，
其中，编码方式存储部分以与对象的特征的量相关联的方式，存储编码方式获取部分以与对象的特征的量相关联的方式获取的编码方式。
30.一种图像处理方法，包括：
从图像中检测多个特征区域；以及
根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。
31.一种用于图像处理设备的程序，所述程序控制图像处理设备用作：
特征区域检测部分，从图像中检测多个特征区域；以及
压缩部分，根据所述多个特征区域中包括的对象的特征的量，以不同的编码方式分别对所述多个特征区域的图像进行压缩。
CN2008800254072A 2007-07-20 2008-07-16 图像处理设备、图像处理方法 Expired - Fee Related CN101755461B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP190149/2007 2007-07-20
JP2007190149 2007-07-20
JP234756/2007 2007-09-10
JP2007234756 2007-09-10
JP2008148576A JP2009049976A (ja) 2007-07-20 2008-06-05 画像処理装置、画像処理方法、及びプログラム
JP148584/2008 2008-06-05
JP2008148584A JP5531327B2 (ja) 2007-09-10 2008-06-05 画像処理装置、画像処理方法、およびプログラム
JP148576/2008 2008-06-05
PCT/JP2008/063226 WO2009014156A1 (en) 2007-07-20 2008-07-16 Image processing apparatus, image processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011102835064A Division CN102325257A (zh) 2007-07-20 2008-07-16 图像处理设备和图像处理方法

Publications (2)

Publication Number Publication Date
CN101755461A true CN101755461A (zh) 2010-06-23
CN101755461B CN101755461B (zh) 2012-06-13

Family

ID=42046234

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008800254072A Expired - Fee Related CN101755461B (zh) 2007-07-20 2008-07-16 图像处理设备、图像处理方法
CN2011102835064A Pending CN102325257A (zh) 2007-07-20 2008-07-16 图像处理设备和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011102835064A Pending CN102325257A (zh) 2007-07-20 2008-07-16 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (2) US8363953B2 (zh)
EP (1) EP2179589A4 (zh)
CN (2) CN101755461B (zh)
WO (1) WO2009014156A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977305A (zh) * 2010-10-27 2011-02-16 北京中星微电子有限公司 一种视频处理方法及装置和系统
CN102340665A (zh) * 2010-07-20 2012-02-01 Vixs系统公司 利用区域检测的资源自适应视频编码系统及其使用的方法
CN102469332A (zh) * 2010-11-09 2012-05-23 夏普株式会社 修改立体图像对的方法和系统
CN102842167A (zh) * 2011-06-24 2012-12-26 日立欧姆龙金融系统有限公司 具有图像证迹功能的自动交易装置
CN107113429A (zh) * 2014-10-03 2017-08-29 微软技术许可有限责任公司 在兴趣区域内自适应量化
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN109716770A (zh) * 2017-01-20 2019-05-03 谷歌有限责任公司 基于语义相关性的图像压缩
CN111127310A (zh) * 2019-12-13 2020-05-08 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111201787A (zh) * 2017-10-16 2020-05-26 索尼公司 成像装置、图像处理装置和图像处理方法
CN111295878A (zh) * 2017-11-13 2020-06-16 索尼公司 信息处理器、信息处理方法和程序
CN116132431A (zh) * 2023-04-19 2023-05-16 泰诺尔(北京)科技有限公司 一种数据传输方法及系统

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548049B2 (en) * 2007-07-02 2013-10-01 Vixs Systems, Inc Pattern detection module, video encoding system and method for use therewith
US9313504B2 (en) * 2007-07-02 2016-04-12 Vixs Systems, Inc. Pattern detection module with region detection, video encoding system and method for use therewith
WO2009014156A1 (en) * 2007-07-20 2009-01-29 Fujifilm Corporation Image processing apparatus, image processing method and program
JP4508256B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 映像信号処理装置、撮像装置及び映像信号処理方法
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
AU2010234364B2 (en) 2009-04-08 2014-12-11 Newrow, Inc. System and method for image compression
US9253505B2 (en) 2009-04-08 2016-02-02 Newrow, Inc. System and method for image compression
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
US8346005B2 (en) * 2009-09-24 2013-01-01 Sony Corporation System and method for “Bokeh-Aji” shot detection and region of interest isolation
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
EP2549755B1 (en) 2010-03-18 2017-09-27 Panasonic Intellectual Property Corporation of America Data processing device and data processing method
US8948252B2 (en) * 2010-03-30 2015-02-03 Sony Corporation Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
CN102238376B (zh) * 2010-04-28 2014-04-23 鸿富锦精密工业（深圳）有限公司 图像处理系统及方法
US8712930B1 (en) 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
KR20120028121A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 스테레오 카메라의 컨버전스 각도 결정 방법 및 장치
JP5531881B2 (ja) * 2010-09-22 2014-06-25 富士通株式会社 動画像復号装置、動画像復号方法、及び集積回路
JP5247793B2 (ja) * 2010-12-21 2013-07-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
DE102011010315A1 (de) * 2011-02-03 2012-08-09 Hönigsberg & Düvel Datentechnik GmbH Erkennung von Objekten
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
US9020273B2 (en) * 2011-04-20 2015-04-28 Panasonic Intellectual Property Corporation Of America Image processing method, image processor, integrated circuit, and program
EP2720458A4 (en) * 2011-06-09 2015-02-25 Aisin Seiki IMAGING DEVICE
FR2978639B1 (fr) * 2011-07-29 2015-09-25 Cassidian Sas Procedes de compression et de decompression d'images animees
KR101901591B1 (ko) * 2011-11-01 2018-09-28 삼성전자주식회사 얼굴 인식 장치 및 그 제어방법
CN103517072B (zh) * 2012-06-18 2017-11-03 联想(北京)有限公司 视频通信方法和设备
JP6024952B2 (ja) * 2012-07-19 2016-11-16 パナソニックＩｐマネジメント株式会社 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
US9690334B2 (en) 2012-08-22 2017-06-27 Intel Corporation Adaptive visual output based on change in distance of a mobile device to a user
US10771801B2 (en) * 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
CN103002282B (zh) * 2012-11-13 2015-10-28 北京大学 一种颜色数目自适应决策方法和图像压缩方法
US9679370B2 (en) * 2012-12-06 2017-06-13 Nec Corporation Image processing device and image processing method
US9154709B2 (en) * 2012-12-21 2015-10-06 Google Inc. Recommending transformations for photography
US10115431B2 (en) * 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
WO2015042976A1 (zh) * 2013-09-30 2015-04-02 酷派软件技术（深圳）有限公司 图像编码、解码方法和系统以及终端
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
JP6344800B2 (ja) * 2014-01-09 2018-06-20 株式会社日立国際電気 画像処理装置及び動画像伝送方法
KR102104413B1 (ko) * 2014-01-16 2020-04-24 한화테크윈 주식회사 감시 카메라 및 디지털 비디오 리코더
JP6261372B2 (ja) * 2014-02-20 2018-01-17 オリンパス株式会社 固体撮像装置および撮像システム
KR101535016B1 (ko) * 2014-04-15 2015-07-07 현대자동차주식회사 차량용 블랙박스의 영상 처리 장치 및 그 방법
CN105468627A (zh) * 2014-09-04 2016-04-06 纬创资通股份有限公司 屏蔽与过滤网页内容的方法与系统
WO2016054307A1 (en) * 2014-10-03 2016-04-07 Microsoft Technology Licensing, Llc Adapting quantization within regions-of-interest
GB201417535D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting encoding properties
WO2016054306A1 (en) * 2014-10-03 2016-04-07 Microsoft Technology Licensing, Llc Adapting encoding properties based on user presence in scene
CN104363403B (zh) * 2014-11-14 2017-12-15 浙江宇视科技有限公司 一种视频监控系统中视频数据的存储方法及存储设备
CN106034237B (zh) * 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
EP3267895B1 (en) * 2015-03-12 2020-12-23 Asto CT, Inc. Method for in situ targeting of objects
TW201642655A (zh) 2015-04-21 2016-12-01 Ｖｉｄ衡器股份有限公司 基於藝術意向之視訊編碼
GB201508074D0 (en) * 2015-05-12 2015-06-24 Apical Ltd People detection
US10163247B2 (en) * 2015-07-14 2018-12-25 Microsoft Technology Licensing, Llc Context-adaptive allocation of render model resources
US9589323B1 (en) * 2015-08-14 2017-03-07 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
EP3151563A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Encoding method and device for encoding a sequence of frames into two video streams, decoding method and device and corresponding computer program products
CN105761215B (zh) * 2016-01-27 2018-11-30 京东方科技集团股份有限公司 一种图像压缩方法、图像重构方法、装置及系统
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
US10771745B2 (en) * 2016-08-23 2020-09-08 Nec Corporation Image processing apparatus, image processing method, and storage medium having program stored therein
JP6929044B2 (ja) * 2016-11-14 2021-09-01 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
EP3710109B1 (en) 2016-11-21 2023-08-23 Leo Cancer Care, Inc. Three-dimensional tracking of a target in a body
US11443233B2 (en) * 2017-02-21 2022-09-13 Nec Corporation Classification apparatus, classification method, and program
CN107168668A (zh) * 2017-04-28 2017-09-15 北京七鑫易维信息技术有限公司 图像数据传输方法、装置以及存储介质、处理器
CN107153519A (zh) 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
KR102256110B1 (ko) * 2017-05-26 2021-05-26 라인 가부시키가이샤 영상 압축 방법 및 영상 복원 방법
GB201714791D0 (en) * 2017-09-14 2017-11-01 Univ Bristol Video processing method
JP6961443B2 (ja) * 2017-09-29 2021-11-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6907888B2 (ja) * 2017-10-30 2021-07-21 富士通株式会社 情報処理システム、情報処理装置および情報処理プログラム
JP7006302B2 (ja) * 2018-01-23 2022-01-24 株式会社リコー 画像処理装置、画像処理システム、及びビデオ会議システム
JP7050509B2 (ja) * 2018-01-31 2022-04-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7187154B2 (ja) * 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11202088B2 (en) * 2018-03-15 2021-12-14 Sony Corporation Image processing apparatus and method
JP2019180080A (ja) * 2018-03-30 2019-10-17 株式会社リコー 映像処理装置、通信端末、テレビ会議システム、映像処理方法、およびプログラム
WO2020008511A1 (ja) 2018-07-02 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN108833886A (zh) * 2018-09-14 2018-11-16 恒信东方文化股份有限公司 一种标定焦点的方法
JP7213662B2 (ja) * 2018-11-09 2023-01-27 キヤノン株式会社 画像処理装置、画像処理方法
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
JPWO2021193649A1 (zh) * 2020-03-25 2021-09-30
JP2021174049A (ja) * 2020-04-20 2021-11-01 東芝テック株式会社 硬貨処理装置
US11558548B2 (en) * 2020-05-04 2023-01-17 Ademco Inc. Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution
CN114205584A (zh) * 2020-09-17 2022-03-18 华为技术有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
DE102021207142A1 (de) 2021-07-07 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung, Verfahren zur Überwachung, Computerprogramm und Speichermedium
DE102021207643A1 (de) 2021-07-16 2023-01-19 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung und Verfahren zur Überwachung
CN114531599B (zh) * 2022-04-25 2022-06-21 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种用于医疗图像存储的图像压缩方法
CN115439522B (zh) * 2022-06-06 2023-04-11 中国极地研究中心(中国极地研究所) 一种用于提取冰层界面的方法、系统及其存储介质
CN115114465A (zh) * 2022-07-19 2022-09-27 重庆紫光华山智安科技有限公司 图像记录关联存储方法、装置、设备及存储介质
CN116935418B (zh) * 2023-09-15 2023-12-05 成都索贝数码科技股份有限公司 一种三维图文模板自动重组方法、设备及系统

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2828977B2 (ja) 1987-09-22 1998-11-25 株式会社東芝 動画像符号化装置
JP3197420B2 (ja) * 1994-01-31 2001-08-13 三菱電機株式会社 画像符号化装置
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JP3778960B2 (ja) * 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
JPH0879756A (ja) * 1994-08-31 1996-03-22 Sanyo Electric Co Ltd 動画像符号化装置
JP3764765B2 (ja) * 1995-09-06 2006-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の処理方法及びシステム
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
US5995080A (en) * 1996-06-21 1999-11-30 Digital Equipment Corporation Method and apparatus for interleaving and de-interleaving YUV pixel data
JPH1070716A (ja) 1996-08-27 1998-03-10 Toyo Commun Equip Co Ltd 動画像圧縮装置
JPH10126778A (ja) * 1996-10-21 1998-05-15 Fuji Photo Film Co Ltd 画像圧縮方法および装置
KR100246918B1 (ko) * 1997-12-31 2000-03-15 윤종용 모션벡터 검출장치
JP3856262B2 (ja) * 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
JP2000261794A (ja) * 1999-03-10 2000-09-22 Toshiba Corp 動画像表示システム及びこの表示方法
JP3919426B2 (ja) * 1999-08-03 2007-05-23 キヤノン株式会社 画像符号化装置及びその方法並びに記憶媒体
JP2001298746A (ja) * 2000-03-09 2001-10-26 Samsung Techwin Co Ltd デジタル記録システムのデータ圧縮装置及びその制御方法
JP2002152733A (ja) * 2000-11-08 2002-05-24 Fujitsu Ltd 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、動画像符号化プログラムを記録した記録媒体、動画像復号化プログラムを記録した記録媒体、および動画像符号化データを記録した記録媒体
US7020335B1 (en) * 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
JP4649781B2 (ja) * 2001-06-20 2011-03-16 ソニー株式会社 画像処理方法および装置
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
JP2003189242A (ja) 2001-12-21 2003-07-04 Matsushita Electric Ind Co Ltd 映像記録再生装置および再生方法
CN1266947C (zh) * 2001-12-25 2006-07-26 松下电器产业株式会社 活动图象压缩编码装置及运动矢量检测方法
JP3958583B2 (ja) * 2002-01-10 2007-08-15 富士フイルム株式会社 画像データ圧縮装置
JP4173705B2 (ja) 2002-08-28 2008-10-29 富士フイルム株式会社 動画像合成方法および装置並びにプログラム
JP3915652B2 (ja) * 2002-10-09 2007-05-16 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
EP1565875A1 (en) * 2002-11-25 2005-08-24 Sarnoff Corporation Method and apparatus for measuring quality of compressed video sequences without references
JP4140499B2 (ja) * 2002-11-29 2008-08-27 カシオ計算機株式会社 通信端末、及び、プログラム
CN1757240A (zh) * 2003-03-03 2006-04-05 皇家飞利浦电子股份有限公司 视频编码
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7558466B2 (en) * 2003-12-08 2009-07-07 Canon Kabushiki Kaisha Moving image playback apparatus and its control method, computer program, and computer-readable storage medium
US7403641B2 (en) * 2004-05-28 2008-07-22 Matsushita Electric Works, Ltd. Object recognition system
JP4488805B2 (ja) * 2004-06-25 2010-06-23 パナソニック株式会社 動きベクトル検出装置および方法
US20060017835A1 (en) * 2004-07-22 2006-01-26 Dana Jacobsen Image compression region of interest selection based on focus information
JP2006202209A (ja) * 2005-01-24 2006-08-03 Toshiba Corp 画像圧縮方法および画像圧縮装置
JP2006253768A (ja) * 2005-03-08 2006-09-21 Uniden Corp デジタルカメラ
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JP2009509218A (ja) * 2005-09-01 2009-03-05 アストラグループ エイエス（ア ノルウェギアン カンパニー） ポストレコーディング分析
JP4407600B2 (ja) * 2005-09-22 2010-02-03 日本ビクター株式会社 画像処理装置
US20070086528A1 (en) * 2005-10-18 2007-04-19 Mauchly J W Video encoder with multiple processors
JP2007158410A (ja) * 2005-11-30 2007-06-21 Sony Computer Entertainment Inc 画像符号化装置、画像復号装置、および画像処理システム
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4712563B2 (ja) * 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP2008010110A (ja) * 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
US20080089072A1 (en) * 2006-10-11 2008-04-17 Alti-Electronics Co., Ltd. High Power Light Emitting Diode Package
WO2009014156A1 (en) * 2007-07-20 2009-01-29 Fujifilm Corporation Image processing apparatus, image processing method and program
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP5027030B2 (ja) 2008-03-25 2012-09-19 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5227629B2 (ja) 2008-03-25 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5096211B2 (ja) 2008-03-31 2012-12-12 富士フイルム株式会社 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム
JP2009251892A (ja) 2008-04-04 2009-10-29 Fujifilm Corp オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340665A (zh) * 2010-07-20 2012-02-01 Vixs系统公司 利用区域检测的资源自适应视频编码系统及其使用的方法
CN102340665B (zh) * 2010-07-20 2016-09-07 Vixs系统公司 利用区域检测的资源自适应视频编码系统及其使用的方法
CN101977305A (zh) * 2010-10-27 2011-02-16 北京中星微电子有限公司 一种视频处理方法及装置和系统
CN102469332A (zh) * 2010-11-09 2012-05-23 夏普株式会社 修改立体图像对的方法和系统
CN102842167A (zh) * 2011-06-24 2012-12-26 日立欧姆龙金融系统有限公司 具有图像证迹功能的自动交易装置
CN102842167B (zh) * 2011-06-24 2015-05-13 日立欧姆龙金融系统有限公司 纸币处理装置及进行纸币处理装置的控制的方法
CN107113429A (zh) * 2014-10-03 2017-08-29 微软技术许可有限责任公司 在兴趣区域内自适应量化
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN109716770A (zh) * 2017-01-20 2019-05-03 谷歌有限责任公司 基于语义相关性的图像压缩
CN109716770B (zh) * 2017-01-20 2023-10-03 谷歌有限责任公司 用于图像压缩的方法和系统以及非暂时性计算机可读介质
CN111201787A (zh) * 2017-10-16 2020-05-26 索尼公司 成像装置、图像处理装置和图像处理方法
CN111201787B (zh) * 2017-10-16 2022-09-20 索尼公司 成像装置、图像处理装置和图像处理方法
CN111295878A (zh) * 2017-11-13 2020-06-16 索尼公司 信息处理器、信息处理方法和程序
CN111127310A (zh) * 2019-12-13 2020-05-08 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111127310B (zh) * 2019-12-13 2023-06-06 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN116132431A (zh) * 2023-04-19 2023-05-16 泰诺尔(北京)科技有限公司 一种数据传输方法及系统
CN116132431B (zh) * 2023-04-19 2023-06-30 泰诺尔(北京)科技有限公司 一种数据传输方法及系统

Also Published As

Publication number Publication date
WO2009014156A1 (en) 2009-01-29
EP2179589A4 (en) 2010-12-01
US8363953B2 (en) 2013-01-29
CN101755461B (zh) 2012-06-13
US20120236937A1 (en) 2012-09-20
US20100119157A1 (en) 2010-05-13
US8532394B2 (en) 2013-09-10
CN102325257A (zh) 2012-01-18
EP2179589A1 (en) 2010-04-28

Similar Documents

Publication Publication Date Title
CN101755461B (zh) 图像处理设备、图像处理方法
CN101755460B (zh) 图像处理设备、图像处理方法、图像处理系统和程序
CN101803389B (zh) 图像处理装置以及图像处理方法
US20090022403A1 (en) Image processing apparatus, image processing method, and computer readable medium
CN101990757B (zh) 图像处理系统、图像处理方法、以及存储程序的介质
CN101317462B (zh) 应用系数重新排序的编码方法和装置
KR20190117651A (ko) 이미지 프로세싱 및 비디오 압축 방법
EP2782340B1 (en) Motion analysis method based on video compression code stream, code stream conversion method and apparatus thereof
US20110243470A1 (en) Apparatus, process, and program for image encoding
CN101243685A (zh) 对图像压缩的变换系数的预测
WO2007024351A2 (en) Region of interest tracking and integration into a video codec
CN101990762B (zh) 图像处理系统、图像处理方法
JP2009089354A (ja) 画像処理装置、画像処理方法、およびプログラム
CN101272489A (zh) 视频图像质量增强的编解码装置与编解码方法
JP2009049976A (ja) 画像処理装置、画像処理方法、及びプログラム
Uddin et al. Double compression detection in HEVC-coded video with the same coding parameters using picture partitioning information
CN103609109A (zh) 动态图像编码装置以及动态图像编码方法
CN116233479B (zh) 基于数据处理的直播信息内容审核系统及方法
JP2009296382A (ja) 画像処理システム、画像処理方法、およびプログラム
CN111277835A (zh) 一种结合yolo3与flownet2网络的监控视频压缩及解压方法
CN117714697B (zh) 数字人视频显示方法及设备
CN117319685A (zh) 基于云边协同的多屏幕图像实时优化上传方法
Jenab VIDEO ENCODING QUALITY AND BIT RATE PREDICTION, AND ITS APPLICATION IN RESOLUTION, AND FRAME-RATE ADAPTIVE ENCODING
Wang et al. STSIC: Swin-transformer-based scalable image coding for human and machine
Youssef Detection of Double and Triple Compression in Videos for Digital Forensics Using Machine Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120613

Termination date: 20160716