CN101990762B - 图像处理系统、图像处理方法 - Google Patents

图像处理系统、图像处理方法 Download PDF

Info

Publication number
CN101990762B
CN101990762B CN2009801124600A CN200980112460A CN101990762B CN 101990762 B CN101990762 B CN 101990762B CN 2009801124600 A CN2009801124600 A CN 2009801124600A CN 200980112460 A CN200980112460 A CN 200980112460A CN 101990762 B CN101990762 B CN 101990762B
Authority
CN
China
Prior art keywords
image
characteristic area
characteristic
image processing
dynamic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801124600A
Other languages
English (en)
Other versions
CN101990762A (zh
Inventor
龟山祐和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101990762A publication Critical patent/CN101990762A/zh
Application granted granted Critical
Publication of CN101990762B publication Critical patent/CN101990762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

提供一种能够高速地计算出运动矢量的图像处理系统。图像处理系统具备：特征区域检测部，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测特征区域；特征区域规定部，规定多个动态图像构成图像之间相关性高的特征区域；位置差计算部，计算由特征区域规定部所规定的相关性高的特征区域之间的位置差；险索区域决定部，决定运动矢量检索区域，位置差的大小越小，所决定的运动矢量检索区域越狭窄；以及压缩部，使用通过在由检索区域决定部所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩动态图像。

Description

图像处理系统、图像处理方法
技术领域
本发明涉及一种图像处理系统、图像处理方法、以及存储程序的计算机可读取介质。本申请与下列的日本申请有关，是主张来自下列的日本申请的优先权的申请。关于认可通过参照文献而加入的指定国，将下列申请所记载的内容通过参照而加入本申请中来作为本申请的一部分。 
1.日本特愿2008-100542，申请日2008年4月8日 
背景技术
目前，已知如下的运动矢量检测装置(例如参照专利文献1)：其检测变成原图像数据相对于参照图像数据的画面全体偏移量的全体矢量，并且计算当通过配置使参照图像数据和原图像数据相互错开在决定全体矢量时的偏移量时的相关性，通过全体矢量和相关性来指定运动矢量检索区域的大小和位置，通过对检索区域进行块匹配来检测各处理模块的运动矢量。另外，已知如下的运动矢量检测电路(例如参照专利文献2)：其累加与对宏块的运动矢量候补相对应的原图像以及参照图像的各个像素的信号强度差，将累加结果中的最小矢量选择作为运动矢量。 
专利文献 
专利文献1日本专利公开2005-228303号公报 
专利文献2日本专利公开平11-219436号公报 
根据上述专利文献的技术，无法根据图像内目标的运动量来控制检索范围的面积。因此，即使在目标运动量小的情况下也将检索宽广 的检索区域，从而担心无法高速地计算出运动矢量。 
发明内容
为了解决上述问题，根据本发明的第一方式提供一种图像处理系统，其具备：特征区域检测部，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测出特征区域；特征区域规定部，规定在多个动态图像构成图像之间相关性高的特征区域；位置差计算部，计算由特征区域规定部所规定的相关性高的特征区域之间的位置差；检索区域决定部，决定运动矢量检索区域，位置差的大小越小，所决定的运动矢量检索区域越狭窄；以及压缩部，使用通过在由检索区域决定部所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩动态图像。 
根据本发明的第二方式提供一种图像处理方法，其包括：特征区域检测步骤，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测特征区域；特征区域规定步骤，规定在多个动态图像构成图像之间相关性高的特征区域；位置差计算步骤，计算在特征区域规定步骤中所规定的相关性高的特征区域之间的位置差；检索区域决定步骤，决定运动矢量检索区域，位置差的大小越小，所决定的运动矢量检索区域越狭窄；以及压缩步骤，使用通过在检索区域决定步骤中所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩动态图像。 
根据本发明的第三方式提供一种计算机可读取介质，其存储图像处理系统用的程序，该程序使计算机作为如下各部工作：特征区域检测部，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测特征区域；特征区域规定部，规定在多个动态图像构成图像之间相关性高的特征区域；位置差计算部，计算由特征区域规定部所规定的相关性高的特征区域之间的位置差；检索区域决定部，决定运动矢量检索区域，位置差的大小越小，所决定的运动矢量检索 区域越狭窄；以及压缩部，其使用通过在由检索区域决定部所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩动态图像。 
此外，上述发明的概要并未列举出本发明的全部必要特征。另外，这些特征群的变形也能够构成本发明。 
附图说明
图1是表示与一个实施方式有关的图像处理系统10的一个例子的图。 
图2是表示图像处理装置120的模块结构的一个例子的图。 
图3是表示压缩部230的模块结构的一个例子的图。 
图4是表示图像处理装置170的模块结构的一个例子的图。 
图5是表示压缩部230的其它模块结构的一个例子的图。 
图6是表示由摄像装置100所得到的摄像动态图像的一个例子的图。 
图7是表示特征区域或者背景区域中的灰度值的柱状图700的一个例子的图。 
图8是表示灰度变换用的变换曲线的一个例子的图。 
图9是表示压缩控制部210按照每个区域选择压缩参数的选择方法的一个例子的图。 
图10是表示运动矢量检索范围的一个例子的图。 
图11是表示检索区域宽度对位置差大小的依存性的一个例子的图。 
图12是表示特征区域内的部分区域的重要性水平的图。 
图13是表示基于显示装置180的显示例的图。 
图14是表示其它结构中的图像处理装置170的模块结构的一个例子的图。 
图15是表示人脸中的特征点的一个例子的图。 
图16是示意性地表示改变加权系数b时的脸形状变化的一个例子的图。 
图17是表示将样本图像变换为平均脸形状而得到的图像的一个例子的图。 
图18是示意性地表示改变加权系数q时的像素值的变化的一个例子的图。 
图19是以表格形式表示由模型保存部350所保存的模型的一个例子的图。 
图20是表示与其它实施方式有关的图像处理系统20的一个例子的图。 
图21是表示图像处理装置120以及图像处理装置170的硬件结构的一个例子的图。 
附图标记说明 
10图像处理系统，20图像处理系统，100摄像装置，102摄像部，104摄像图像压缩部，110通信网络，120图像处理装置，130人物，140移动体，150监视对象空间，160空间，170图像处理装置，175图像DB，180显示装置，201压缩图像获取部，202压缩动态图像解压缩部，203特征区域检测部，204画质获取部，205条件获取部，206对应处理部，207输出部，208输出图像数获取部，209阈值获取部，210压缩控制部，212特征区域规定部，214位置差计算部，216检索区域决定部，230压缩部，232图像分割部，234固定值化部，236压缩处理部，240图像变换单元，241图像变换部，250图像获取部，262分辨率决定部，264灰度数决定部，266色数决定部，268动态范围决定部，301图像获取部，302对应解析部，310解压缩控制部，320解压缩部，322解码器，332图像放大部，330合成部，340输出部，350模型保存部，360特征区域信息获取部，370特征区域选择部，372照明条件规定部，374方向规定部，376相关值获取部，380图像生成部，390指示获取部，510画质变换部，520差分处理部，522阶层间差分处理部，530编码部，532编码器，600摄像图像，601头部区域，602体部区域，603移动体区域，610摄像图像，611头部区域，612体部区域，620摄像图像，621头部区域，622体部区域，630摄 像图像，631头部区域，632体部区域，700柱状图，710特性长，810变换曲线，820变换曲线，804图像处理部，1000摄像图像，1010特征区域，1020区域，1100线，1200头部区域，1210眼部区域，1212眼区域，1214眉区域，1220口区域，1230鼻子区域，1240耳朵区域，1300动态图像区域，1301关注图像区域，1310头部区域，1311头部图像，1505 CPU，1510 ROM，1520 RAM，1530通信接口，1540硬盘驱动器，1550软盘驱动器，1560 CD-ROM驱动器，1570输入输出芯片，1575图像控制器，1580显示设备，1582主控制器，1584输入输出控制器，1590软盘，1595 CD-ROM，1598网络通信设备 
具体实施方式
下面通过发明的实施方式来说明本发明，但是以下的实施方式并不限定权利要求所涉及的发明。另外，在实施方式中所说明的特征组合并非全部都是发明的解决手段所必须的。 
图1表示与一个实施方式有关的图像处理系统10的一个例子。如下面所说明，图像处理系统10能够作为监视系统而工作。 
图像处理系统10具备：拍摄监视对象空间150的多个摄像装置100a-d(以下统称为摄像装置100)、对由摄像装置100所拍摄的摄像图像进行处理的图像处理装置120、通信网络110、图像处理装置170、图像DB 175、以及多个显示装置180a-d(以下统称为显示装置180)。图像处理装置170以及显示装置180设在有别于监视对象空间150的空间160中。 
摄像装置100a具有摄像部102a以及摄像图像压缩部104a。摄像部102a通过连续拍摄监视对象空间150来拍摄出多个摄像图像。此外，由摄像部102a所得到的摄像图像可以是RAW形式的摄像图像。摄像图像压缩部104a使由摄像部102a所拍摄的RAW形式的摄像图像同步化，根据MPEG编码等来压缩包含同步而得到的多个摄像图像的摄像 动态图像，从而生成摄像动态图像数据。由此，摄像装置100a对拍摄监视对象空间150所得到的摄像动态图像进行编码来生成摄像动态图像数据。摄像装置100a将该摄像动态图像数据输出到图像处理装置120中。 
此外，摄像装置100b、摄像装置100c以及摄像装置100d分别具有与摄像装置100a相同的结构，因此省略摄像装置100b、摄像装置100c以及摄像装置100d的各结构要素的说明。由此，图像处理装置120从多个摄像装置100的各个装置中分别获取分别由多个摄像装置100生成的摄像动态图像数据。 
而且，图像处理装置120通过对由摄像装置100所获取的摄像动态图像数据进行解码来获取摄像动态图像。图像处理装置120从包含在所获取的摄像动态图像中的多个摄像图像的各个摄像图像中，分别检测如拍摄人物130的区域、拍摄车辆等移动物体140的区域等那样特征种类不同的多个特征区域。而且，图像处理装置120以与特征种类相应的强度来压缩特征区域的图像，并且以强于压缩各个特征区域的图像的压缩强度的强度来压缩特征区域以外的区域的图像。 
此外，图像处理装置120将摄像图像中的各特征区域的图像变换为与特征区域的特征种类相应的色数以及/或者灰度数的图像。另外，在计算帧间压缩中的运动矢量的情况下，多个摄像图像之间的类似特征区域的位置差越大，图像处理装置120使用于计算运动矢量的运动矢量检索范围越宽广。 
此外，图像处理装置120生成特征区域信息，该特征区域信息包含用于规定从摄像图像检测到的特征区域的信息。而且，图像处理装置120将特征区域信息附带于压缩动态图像数据中，通过通信网络110发送给图像处理装置170。 
图像处理装置170从图像处理装置120中接收对应有特征区域信息的压缩动态图像数据。而且，图像处理装置170使用相对应的特征区域信息来解压缩所接收的压缩动态图像数据从而生成显示用动态图像，并将所生成的显示用动态图像提供给显示装置180。此外，此时图像处理装置170可以生成以相同大小显示特征区域图像的显示用动态图像。而且，显示装置180显示由图像处理装置170提供的显示用动态图像。 
另外，图像处理装置170也可以与对应于压缩动态图像数据的特征区域信息相对应，将该压缩动态图像数据记录在图像DB 175中。此外，图像DB 175可以具有硬盘等非易失性记录介质，可以将压缩动态图像数据和特征区域信息保持在该记录介质中。 
而且，图像处理装置170也可以根据来自显示装置180的请求，从图像DB 175中读出压缩动态图像数据和特征区域信息，通过利用特征区域信息来解压缩所读出的压缩动态图像数据从而生成显示用动态图像，并提供给显示装置180。 
此外，特征区域信息可以是包含特征区域的位置、特征区域的大小、特征区域的数量、识别被检测出特征区域的摄像图像的识别信息等的文本数据、或者对该文本数据进行压缩、加密等处理的数据。而且，图像处理装置170根据特征区域信息所包含的特征区域的位置、特征区域的大小、特征区域的数量等来规定满足各种检索条件的摄像图像。而且，图像处理装置170可以对所规定的摄像图像进行解码，并提供给显示装置180。 
由此，根据图像处理系统10，与动态图像对应而记录特征区域，因此能够使其高速地检索、提示动态图像中符合预定条件的摄像图像群。另外，根据图像处理系统10，能够只对符合预定条件的摄像图像群进行解码，因此能够当即响应重放指示快速地显示符合预定条件的 部分动态图像。 
图2表示图像处理装置120的模块结构的一个例子。图像处理装置120具备图像获取部250、画质获取部204、条件获取部205、输出图像数获取部208、阈值获取部209、特征区域检测部203、压缩控制部210、压缩部230、对应处理部206、以及输出部207。图像获取部250具有压缩图像获取部201和压缩动态图像解压缩部202。 
压缩图像获取部201获取被压缩的动态图像。具体地说，压缩图像获取部201获取由摄像装置100所生成的被编码的摄像动态图像数据。压缩动态图像解压缩部202解压缩由压缩图像获取部201所获取的摄像动态图像数据，生成包含在摄像动态图像中的多个摄像图像。具体地说，压缩动态图像解压缩部202对由压缩图像获取部201所获取的被编码的摄像动态图像数据进行解码，生成包含在摄像动态图像中的多个摄像图像。此外，包含在摄像动态图像中的摄像图像可以是帧图像和场图像。由此，图像获取部250获取由多个摄像装置100中的各个摄像装置拍摄的多个动态图像。 
此外，本实施方式中的摄像图像是本发明中的动态图像构成图像的一个例子，除了摄像图像之外，图像处理装置120和图像处理装置170还可以处理静态图像等简单图像。 
将通过压缩动态图像解压缩部202而得到的多个摄像图像提供给特征区域检测部203和压缩部230。特征区域检测部203从包含多个摄像图像的动态图像中检测特征区域。具体地说，特征区域检测部203从多个摄像图像的各个摄像图像中检测特征区域。此外，上述中的摄像动态图像可以是以下说明中的动态图像的一个例子。 
例如，特征区域检测部203将在动态图像中图像内容变化的图像区域检测作为特征区域。例如，特征区域检测部203将包含符合预定 条件的目标的区域检测作为特征区域。具体地说，条件获取部205获取包含在特征区域中的目标应该符合的条件。而且，特征区域检测部203将包含符合由条件获取部205所获取的条件的目标的区域检测作为特征区域。 
具体地说，特征区域检测部203可以将包含运动目标的图像区域检测作为特征区域检测出来。此外，特征区域检测部203可以从多个摄像图像的各个摄像图像中检测出特征种类不同的多个特征区域。此外，所谓的特征种类，可以把如人物和移动物体等那样的目标种类作做为指标。目标种类可以是根据目标的形状或者目标的颜色的一致性来决定。由此，特征区域检测部203可以从多个摄像图像中检测出所包含的目标的种类不同的多个特征区域。 
此外，条件获取部205可以获取表示包含在特征区域中的目标应该符合的形状的条件。而且，特征区域检测部203可以将包含符合由条件获取部205所获取的条件所示形状的目标的区域检测作为特征区域。具体地说，特征区域检测部203可以分别从多个摄像图像的各个摄像图像中提取以预定的一致度以上的一致度与预定的形状图案一致的目标，并检测出包括所提取的目标的摄像图像中的区域作为特征种类相同的特征区域。此外，形状图案可以按照每个特征种类规定多个。另外，作为形状图案的一个例子，可以示例出人物的脸形状图案。此外，还可以指定多个人物的每个不同的脸的图案。由此，特征区域检测部203能够检测出分别包含不同的人物的不同区域而作为不同的特征区域。由此，特征区域检测部203可以将包含预定形状的目标的区域检测作为特征区域。此外，除了上述的人物的脸之外，特征区域检测部203还能够将包含人物的头部或者人物的手等人体的一部分部位、或者人体以外的活体中至少局部部位的区域作为特征区域检测。此外，活体包含如活体内部的肿瘤组织或者血管等那样存在于活体内部的规定组织。除此之外，除了活体之外，特征区域检测部203还可以将拍摄有货币、银行卡等卡片、车辆、或者车辆牌照的区域作为特征区域 而检测出来。 
另外，除了基于模板匹配等的图案匹配之外，特征区域检测部203还能够根据基于例如日本特开2007-188419号公报所述的机器学习(例如AdaBoost)等的学习结果来检测特征区域。例如，使用从预定的被摄体图像中抽取的图像特征量、以及从预定的被摄体以外的被摄体图像中抽取的图像特征量，学习从预定被摄体的图像中抽取的图像特征量的特征。而且，特征区域检测部203可以将抽取了具有符合该学习的特征的特征的图像特征量的区域检测作为特征区域。由此，特征区域检测部203能够将拍摄预定被摄体的区域检测作为特征区域。 
如以上所说明，特征区域检测部203从包含在多个动态图像的各个动态图像中的多个摄像图像中检测多个特征区域。而且，特征区域检测部203将表示检测到的特征区域的信息提供给压缩控制部210。此外，所谓表示特征区域的信息，包含表示特征区域位置的特征区域坐标信息、表示特征区域种类的种类信息、以及识别检测到的特征区域的摄像动态图像的信息。 
压缩控制部210具有特征区域规定部212、位置差计算部214、检索区域决定部216、分辨率决定部262、灰度数决定部264、色数决定部266、以及动态范围决定部268。特征区域规定部212规定在包含于动态图像中的多个摄像图像之间相关性高的特征区域。位置差计算部214计算由特征区域规定部212所规定的相关性高的特征区域之间的位置差。 
而且，检索区域决定部216决定运动矢量检索区域，位置差大小越小，所决定的运动矢量检索区域越狭窄。具体地说，位置差大小越小，检索区域决定部216将计算用于压缩包含在摄像图像中的特征区域中的图像时的运动矢量的运动矢量检索区域决定得越狭窄。此外，特征区域规定部212及位置差计算部214、以及检索区域决定部216的 动作的具体例子将在后面说明。 
压缩控制部210根据表示从特征区域检测部203获取的特征区域的信息，控制根据特征区域基于压缩部230的动态图像的压缩处理。例如，压缩部230通过使包含在动态图像中的摄像图像中的特征区域以外的区域的分辨率低分辨率化来压缩摄像图像。由此，压缩部230以与重要性相应的强度来压缩摄像图像中的各图像区域的各个图像区域。此外，压缩控制部210将表示由检索区域决定部216所决定的运动矢量检索区域的信息提供给压缩部230。而且，压缩部230使用通过在由检索区域决定部216所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩动态图像。此外，关于压缩部230更具体的内部的压缩动作，将在后面说明。 
此外，特征区域规定部212将图像内容的一致性大于预定值的特征区域规定作为相关性高的特征区域。例如，特征区域规定部212将多个摄像图像间的特征区域的图像的差分值小于预定值的特征区域规定作为相关性高的特征区域。此外，阈值获取部209可以从图像处理装置120的外部获取特征区域中的图像内容的一致性的阈值。而且，特征区域规定部212可以将图像内容的一致性大于该阈值的特征区域规定作为相关性高的特征区域。除此之外，特征区域规定部212也可以将大小的一致性大于预定值的特征区域规定作为相关性高的特征区域。例如，阈值获取部209从图像处理装置120的外部获取特征区域中的大小的一致性的阈值。而且，特征区域规定部212将大小的一致性大于该阈值的特征区域规定作为相关性高的特征区域。 
除此之外，特征区域规定部212可以将关于摄像图像中的特征区域的位置具有大于预定值的相关性的特征区域规定作为相关性高的特征区域。具体地说，特征区域规定部212可以将关于在多个摄像图像之间的特征区域的位置变化具有大于预定值的相关性的特征区域规定作为相关性高的特征区域。另外，更具体地说，特征区域规定部212 可以将关于在多个摄像图像之间的特征区域的位置的移动方向具有大于预定值的相关性的特征区域规定作为相关性高的特征区域。除此之外，特征区域规定部212可以将关于在多个摄像图像之间的特征区域的位置的移动速度具有大于预定值的相关性的特征区域规定作为相关性高的特征区域。此外，阈值获取部209可以从图像处理装置120的外部中获取关于特征区域的位置的相关值的阈值。而且，特征区域规定部212可以将关于动态图像构成图像中的特征区域的位置具有大于该阈值的相关值的特征区域规定作为相关性高的特征区域。 
此外，位置差计算部214计算在通过帧间预测压缩的摄像图像和成为预测图像源的摄像图像之间相关性高的特征区域的位置差。例如，位置差计算部214计算在作为I帧处理的摄像图像和作为P帧处理的摄像图像之间相关性高的特征区域的位置差。除此之外，位置差计算部214可以计算在作为I帧或者P帧处理的摄像图像和作为P帧处理的摄像图像之间、或者作为I帧或者P帧处理的摄像图像和作为B帧处理的摄像图像之间相关性高的特征区域的位置差。 
此外，在特征区域检测部203从摄像图像中检测多个特征区域的情况下，特征区域规定部212对由特征区域检测部203从摄像图像检测的多个特征区域的各个特征区域规定相关性高的特征区域。而且，位置差计算部214对由特征区域检测部203从摄像图像中检测的多个特征区域的各个特征区域计算位置差。而且，检索区域决定部216决定运动矢量检索范围，对由特征区域检测部203从摄像图像检测的多个特征区域的各个计算的位置差的最大值越小，所决定的运动矢量检索范围越狭窄。此外，检索区域决定部216也可以是对由特征区域检测部203从摄像图像中检测的多个特征区域的各个特征区域计算出的位置差的平均值越小，选择越狭窄的运动矢量检索范围。 
由此，检索区域决定部216根据特征区域的运动量来限定运动矢量检索范围。因此，压缩部230能够高速地算出运动矢量，能够快速 地向图像处理装置170提供压缩动态图像。 
此外，分辨率决定部262根据多个特征区域的特征种类来决定多个特征区域的各个特征区域中的分辨率。另外，灰度数决定部264根据多个特征区域的特征种类来决定多个特征区域的各个特征区域中的像素值的灰度数。例如，灰度数决定部264根据多个特征区域的图像中的灰度值的频度分布，对多个特征区域的各个特征区域决定由后述的图像变换部241变换而得到的图像中的灰度数。 
另外，色数决定部266根据多个特征区域的特征种类来决定表现多个特征区域的各个特征区域中的像素值的色数。例如，色数决定部266可以根据多个特征区域的图像中的颜色的频度分布，对多个特征区域的各个特征区域决定由图像变换部241变换而得到的图像中的色数。 
另外，动态范围决定部268根据多个特征区域的特征种类来决定多个特征区域的各个特征区域中的图像的动态范围。例如，动态范围决定部268根据多个特征区域的图像中的灰度值的频度分布，对多个特征区域的各个特征区域决定由图像变换部241变换而得到图像中的动态范围。此外，分辨率决定部262、灰度数决定部264、色数决定部266、以及动态范围决定部268进一步分别决定背景区域中的分辨率、灰度数、色数、以及动态范围。 
此外，上述的分辨率、灰度数、色数以及动态范围可以是从图像处理装置120的外部进行指定。具体地说。画质获取部204与特征区域的特征相对应而获取分辨率、灰度数、色数以及动态范围中的至少任意一个。而且，分辨率决定部262可以将多个特征区域的各个特征区域中的分辨率决定为与特征区域的特征种类相对应而由画质获取部204获取的分辨率。另外，灰度数决定部264以将多个特征区域的各个中的灰度数决定为与特征区域的特征种类相对应而由画质获取部204获取的灰度数。另外，色数决定部266可以将多个特征区域的各个 特征区域中的色数决定为与特征区域的特征种类相对应而由画质获取部204获取的色数。另外，动态范围决定部268可以将多个特征区域的各个特征区域中的分辨率决定为与特征区域的特征种类相对应而由画质获取部204获取的动态范围。 
表示由分辨率决定部262决定的分辨率、由灰度数决定部264决定的灰度数、由色数决定部266决定的色数、以及由动态范围决定部268决定的动态范围的信息，提供给压缩部230。压缩部230通过将摄像图像中的各区域的图像变换为这些分辨率、灰度数、色数、以及动态范围的图像，压缩摄像图像。 
此外，输出图像数获取部208从图像处理装置120的外部中获取应该与特征区域的特征相对应而输出的摄像图像的数量。例如，在图像处理装置120输出由多个摄像装置100中的一部分摄像装置100拍摄的摄像图像的情况下，输出图像数获取部208与特征区域的特征相对应而从图像处理装置120的外部中获取应该从输出部207输出摄像图像的摄像装置100的数量。输出图像数获取部208获取的数量提供给压缩部230。压缩部230按照每个特征区域选择由图像获取部250提供的摄像图像中由输出图像数获取部208提供的数量的摄像图像并进行压缩。由此，输出部207能够输出与多个特征区域的特征相对应而由输出图像数获取部208获取的数量的特征区域内图像，该特征区域内图像是从摄像图像中的多个特征区域的各个特征区域中生成的。 
对应处理部206将规定从摄像图像检测到的特征区域的信息对应到摄像图像中。具体地说，对应处理部206将规定从摄像图像检测到的特征区域的信息对应到作为动态图像构成图像包含摄像图像的压缩动态图像。而且，输出部207将由对应处理部206对应特征区域的压缩动态图像输出到图像处理装置170。 
而且，输出部207将从图像处理装置120获取的压缩动态图像记 录在图像DB 175中。由此，输出部207将由特征区域检测部203检测的表示多个特征区域位置的信息的各个信息，与识别检测到特征区域的摄像图像的信息相对应而记录在图像DB 175中。 
图3表示压缩部230的模块结构的一个例子。压缩部230具有图像分割部232、多个固定值化部234a-c(以下有时统称为固定值化部234)、包含多个图像变换部241a-d(以下统称为图像变换部241)的图像变换单元240、以及多个压缩处理部236a-d(以下有时统称为压缩处理部236)。 
图像分割部232从图像获取部250中获取多个摄像图像。而且，图像分割部232将多个摄像图像分割为特征区域和特征区域以外的背景区域。具体地说，图像分割部232将多个摄像图像分割为多个特征区域的各个特征区域、和特征区域以外的背景区域。由此，图像分割部232将多个摄像图像的各个特征区域分割为特征区域和背景区域。 
图像变换部241将摄像图像变换为在摄像图像中的特征区域和图像中的特征区域以外的区域中不同的灰度数的图像。具体地说，图像变换部241将图像中的特征区域以外的区域的图像变换为少于特征区域的灰度数的图像。 
更具体地说，图像变换部241将图像中的多个特征区域的图像分别变换为根据特征区域的特征而预定的灰度数的图像。图像变换部241将图像中的多个特征区域的图像分别变换为根据特征区域的特征种类而预定的灰度数的图像。此外，图像变换部241将图像中的多个特征区域的图像分别变换为根据包含在特征区域中的目标的种类而预定的灰度数的图像。由此，本实施方式中的特征种类可以是包含在特征区域中的目标的种类。 
此外，各图像区域的灰度数是如上所述地由灰度数决定部264决 定。而且，图像变换部241将图像中的多个特征区域的图像分别变换为由灰度数决定部264决定的灰度数的图像。 
另外，图像变换部241将摄像图像变换为在摄像图像中的特征区域和图像中的特征区域的以外的区域中不同色数的图像。具体地说，图像变换部241将图像中的特征区域以外的区域的图像变换为少于特征区域的色数的图像。此外，图像变换部241可以将摄像图像中的特征区域以外的区域的图像变换为以由少于特征区域的数量的颜色成份生成的颜色来表现的图像。 
另外，图像变换部241可以将摄像图像中的多个特征区域的图像分别变换为根据特征区域的特征预定的色数的图像。此外，图像变换部241可以将摄像图像中的多个特征区域的图像分别变换为以根据特征区域的特征预定的组合的颜色来表现的图像。具体地说，图像变换部241可以将摄像图像中的多个特征区域的图像变换为以由根据特征区域的特征预定的数量的颜色成份生成的颜色来表现的图像。 
此外，各图像区域中的色数是如上所述地由色数决定部266决定。而且，图像变换部241将摄像图像中的多个特征区域的图像分别变换为由色数决定部266决定的色数的图像。 
图像变换部241将摄像图像变换为在摄像图像中的特征区域和图像中的特征区域以外的区域中不同的动态范围的图像。此外，图像变换部241将图像中的特征区域以外的区域的图像变换为宽于特征区域的动态范围的图像。具体地说，图像变换部241将图像中的多个特征区域的图像分别变换为根据特征区域的特征预定的动态范围的图像。图像变换部241将图像中的多个特征区域的图像分别变换为根据特征区域的特征的种类预定的动态范围的图像。 
此外，各图像区域中的动态范围是如上所述地由动态范围决定部 268决定。而且，图像变换部241将图像中的多个特征区域的图像分别变换为由动态范围决定部268决定的动态范围的图像。此外，图像变换部241可以将特征区域以及背景区域的图像变换为上述的灰度数、色数、以及动态范围的组合图像。 
而且，压缩处理部236分别以不同的强度来压缩作为特征区域的图像的特征区域图像和作为背景区域的图像的背景区域图像。具体地说，压缩处理部236分别以不同的强度来压缩包含多个特征区域图像的特征区域动态图像和包含多个背景区域图像的背景区域动态图像。 
具体而言，图像分割部232通过分割多个摄像图像，按照多个特征的种类的每一个特征的种类来生成特征区域动态图像。并且，固定值化部234针对按每个特征的种类已生成的多个特征区域动态图像中包括的特征区域图像，分别将各自的特征的种类的特征区域以外的区域的像素值设定为固定值。具体而言，固定值化部234将特征区域以外的区域的像素值设置成预定的像素值。然后，压缩处理部236按照每个特征的种类，压缩多个特征区域动态图像。例如，压缩处理部236按照每个特征的种类对多个特征区域动态图像进行MPEG压缩。 
固定值化部234a、固定值化部234b、和固定值化部234c，分别使第一特征的种类的特征区域动态图像、第二特征的种类的特征区域动态图像、和第三特征的种类的特征区域动态图像为固定值。然后，压缩处理部236a、压缩处理部236b、和压缩处理部236c，压缩第一特征的种类的特征区域动态图像、第二特征的种类的特征区域动态图像、和第三特征的种类的特征区域动态图像。 
另外，压缩处理部236a-c以根据特征的种类而预定的强度来压缩特征区域动态图像。例如，压缩处理部236，可以按照根据特征的种类而预定的不同的分辨率来转换特征区域动态图像，并将已经转换的特征区域动态图像进行压缩。另外，压缩处理部236在利用MPEG编 码来压缩特征区域动态图像时，可以以按照特征的种类而预定的不同的量化参数来压缩特征区域动态图像。 
再者，压缩处理部236a-c，可以在包含特征区域的宏块被编码而得到的编码数据列的前头，插入表示可从该数据列解码的意思的码。作为该码，能示例有同步复苏标记(maka)。另外，压缩处理部236a-c，可以在包含特征区域的全部宏块被编码而得到的多个编码数据列的各自前头，插入上述码。同时，压缩处理部236a-c，可以只在包含特征区域的宏块被编码而得到的，连续的多个编码数据列的前头插入上述码。另外，压缩处理部236a-c，不仅仅是在将宏块的DC成份编码得到的编码数据列，还在包含特征区域的宏块的AC成份被编码而得到的编码数据列的前头，插入上述码。
另外，压缩处理部236d对背景区域动态图像进行压缩。并且，压缩处理部236d可以用比任何一个压缩处理部236a-c的强度高的强度来压缩背景区域动态图像。被压缩处理部236压缩的特征区域动态图像及背景区域动态图像，提供给对应处理部206。 
这样，输出部207输出被图像变换部241转换而得到的摄像图像。具体而言，与被图像变换部241转换得到的图像摄像图像相对应，输出用于规定特征区域检测部203检测出的多个特征区域的信息。具体而言，规定特征区域检测部203检测出了的多个特征区域的信息及规定多个特征区域的特征的信息，与被图像变换部241转换得到的图像对应，从输出部207输出。 
另外，因为特征区域以外的区域被固定值化部234固定为固定值，所以在压缩处理部236通过MPEG编码等进行预测编码时，能在特征区域以外的区域中显著地降低与预测图像之间的图像差分量。因此，能够显著地提高特征区域动态图像的压缩率。 
此外，压缩部230根据特征区域的面积以不同的压缩方式进行压缩。例如，压缩部230根据从一个摄像图像检测到的一个以上的特征区域的合计面积以不同的压缩方式进行压缩。更具体地说，压缩部230在合计面积为规定阈值以下的情况下，根据第一压缩方式进行压缩，在合计面积为阈值以上的情况下，根据第二压缩方式进行压缩。例如，压缩部230以合计面积是阈值以下为条件，如上所述地以不同强度来压缩特征区域和特征区域以外的区域。下面，说明合计面积为阈值以上的情况下以第二压缩方式进行的动作。 
在合计面积为阈值以上的情况下，在压缩处理部236中以最高的画质压缩摄像图像的压缩处理部236c中对全图像区域进行压缩处理。具体而言，固定值化部234c不对提供的摄像图像进行固定值化处理，并提供给图像变换部241c。而且，图像变换部241c将摄像图像变换为预定的画质。此外，在合计面积为阈值以上的情况下，图像变换部241c也可以不对摄像图像进行画质变换。而且，压缩处理部236c压缩从图像变换部241c提供的摄像图像。此外，压缩处理部236c如上所述地将多个摄像图像压缩为动态图像。 
由此，在合计面积为阈值以上的情况下，压缩部230执行与假定摄像图像的全区域被检测为特征区域时所进行的压缩处理相同的压缩处理。根据第一压缩方式进行的动作，特征区域的图像是由压缩处理部236d和压缩处理部236a～c中的任意一个重复进行编码来一起输出。因此，在合计面积显著变大的情况下以第一压缩方式进行处理时，有时产生使由于背景区域被低画质化而编码量的降低量上升到上述重复的编码量的状况。 
因而，有时先预定好预测产生这种状况的上述阈值，在合计面积变为该阈值以上的情况下，如上所述地通过由压缩处理部236c压缩摄像图像的全区域图像，能够事先防止编码量如上述那样上升的情况。此外，在合计面积变为该阈值以上的情况下，特征区域检测部203也 可以降低检测特征区域的时间频度。例如，特征区域检测部203可以从连续拍摄的多个摄像图像中的一部分摄像图像中检测特征区域。此时，特征区域检测部203在合计面积更大的情况下，可以从更少的摄像图像中检测特征区域。由此，能够缩短特征区域检测所需的时间。 
此外，即使在合计面积变为该阈值以上的情况下，压缩处理部236a、压缩处理部236b、以及压缩处理部236d也可以压缩摄像图像。在这种情况下，输出部207可以将由压缩处理部236a、压缩处理部236b以及压缩处理部246d压缩的压缩数据至少不发送给图像处理装置170。除此之外，向压缩处理部236a、压缩处理部236b、以及压缩处理部236d提供全面被固定值化的摄像图像，可以发送从压缩处理部236a、压缩处理部236b、以及压缩处理部236d输出的压缩数据。如以上所说明，通过由压缩部230根据合计面积变更压缩处理方式，有时能够容易地防止发送给图像处理装置170的数据量增大的情况。 
此外，在本图中，压缩部230所具有的多个压缩处理部236的各个分部压缩多个特征区域的图像以及背景区域的图像，但是在其它方式中，压缩部230可以具有一个压缩处理部236，一个压缩处理部236可以分别以不同的强度压缩多个特征区域的图像以及背景区域的图像。例如，多个特征区域的图像以及背景区域的图像以分时依次提供给一个压缩处理部236，一个压缩处理部236可以分别以不同的强度依次压缩多个特征区域的图像以及背景区域的图像。 
除此之外，一个压缩处理部236通过以不同的量化系数分别量化多个特征区域的图像信息以及背景区域的图像信息，可以分别以不同的强度压缩多个特征区域的图像以及背景区域的图像。另外，多个特征区域的图像以及背景图像的图像分别变换为不同画质的图像提供给一个压缩处理部236，一个压缩处理部236可以分别压缩多个特征区域的图像以及背景区域的图像。此外，该画质变换处理可以由一个图像变换单元240来完成。另外，如上述那样一个压缩处理部236以每个 区域中不同的量化系数进行量化、或由一个压缩处理部236来压缩变换为每个区域中不同的画质的图像的方式中，一个压缩处理部236可以压缩一个图像，如本图中所说明，也可以分别压缩由图像分割部232分割的图像。此外，在一个压缩处理部236压缩一个图像的情况下，可以不进行基于图像分割部232的分割处理以及基于固定值化部234的固定值化处理，因此压缩部230也可以不具有图像分割部232以及固定值化部234。 
图4表示图像处理装置170的模块结构的一个例子。图像处理装置170具备图像获取部301、对应解析部302、特征区域信息获取部360、解压缩控制部310、解压缩部320、合成部330、指示获取部390、特征区域选择部370、图像生成部380以及输出部340。 
图像获取部301获取被压缩部230压缩的压缩动态图像。具体地说，图像获取部301获取包含多个特征区域动态图像以及、将第一摄像图像以及第二摄像图像作为动态构成图像而包含的背景区域动态图像的压缩动态图像。更具体地说，图像获取部301获取附带特征区域信息的压缩动态图像。 
对应解析部302，将从图像DB175取得的压缩动态图像，分离成多个特征区域动态图像及背景区域动态图像和特征区域信息，将多个特征区域动态图像及背景区域动态图像供给解压缩部320。同时，对应解析部302分析特征区域信息，对解压缩控制部310及特征区域信息获取部360供给特征区域的位置及特征的种类。 
这样，特征区域信息获取部360，取得表示在动态图像包含的多个摄像图像中的特征区域的位置的信息。特征区域信息获取部360取得的特征区域信息，供给至合成部330、特征区域选择部370、和图像生成部380。 
解压缩控制部310按照从对应解析部302取得的特征区域的位置及特征的种类，控制由解压缩部320进行的解压缩处理。比如，解压缩控制部310，按照特征区域的位置及特征的种类，根据压缩部230压缩了动态图像的各区域的压缩方式，让解压缩部320对压缩动态图像表示的动态图像的各区域进行解压缩。 
以下，说明解压缩部320具有的各构成要素的动作。解压缩部320，包含多个解码器322a-d(以下，总称解码器322)。解码器322，将被编码的多个特征区域动态图像及背景区域动态图像的任一个解码。具体而言，解码器322a、解码器322b、解码器322c和解码器322d，分别将第一特征区域动态图像、第二特征区域动态图像、第3特征区域动态图像和背景区域动态图像解码。 
合成部330，合成被解压缩部320解压缩后的多个特征区域动态图像及背景区域动态图像，生成1个显示动态图像。具体而言，合成部330，对背景区域动态图像中包含的摄像图像，通过合成多个特征区域动态图像中包含的摄像图像上的特征区域的图像，生成1个显示动态图像。合成部330向输出部340供给所生成的显示动态图像。输出部340对显示装置180输出从对应解析部302取得的特征区域信息及显示动态图像。 
再者，将合成部330生成的动态图像包含的多个摄像图像中特征区域内的图像向特征区域选择部370供给。特征区域选择部370选择多个特征区域中符合预定的条件的多个特征区域。具体而言，特征区域选择部370选择特征种类不相同的多个特征区域中有预定的种类的特征的多个特征区域。更具体而言，特征区域选择部370选择所包含的目标不相同的多个特征区域中包含预定的目标的多个特征区域。 
并且，图像生成部380，缩小或放大特征区域选择部370选择的多个特征区域的图像的各个图像，分别生成显示图像。这样，图像生成 部380，基于特征区域信息获取部360取得的信息所表示的位置，分别缩小或放大多个摄像图像中分别包含的特征区域的图像，分别生成大体上同样大小的显示图像。 
图像生成部380生成的显示图像，被供给至输出部340。另外，输出部340可以对合成部330生成的显示动态图像，进行显示图像重叠或合成而让显示装置180显示。 
这样，图像生成部380，如果被检测出规定的种类的特征区域时，或是检测出包含规定的目标的特征区域等，能够生成以同样大小显示那些特征区域的图像的的显示图像。因此，特征区域的图像任何时候都能够以同样的大小被显示。从而，根据图像处理系统10，能够提供监视者容易看懂的监视影像。 
另外，特征区域选择部370，可以选择从多个特征区域中经过比被预定的时间长度长的期间的动态图像检测出的多个特征区域。此时，能够提供长时间内出现的目标的影像动态图像。另外，特征区域选择部370，可以选择多个特征区域中具有比预定的值高的相关性的多个特征区域。 
另外，在图像处理装置170中的上述的动作，也可以在指示获取部390取得了应该显示的显示图像的意思的指示后进行。即，图像生成部380在指示获取部390取得了指示时，根据与动态图像对应记录在图像DB175的信息表示的多个特征区域的位置，分别缩小或放大多个摄像图像中分别包含的特征区域的图像，分别生成大体上同样大小的显示图像。 
另外，解压缩部320，当指示获取部390取得了指示时，规定根据表示多个特征区域的位置的信息各自对应记录的信息而识别的多个摄像图像。并且，解压缩部320，对包含被压缩了的动态图像中的，显示 规定的多个摄像图像的显示定时的期间的部分动态图像进行解压缩。这样，解压缩部320，在指示获取部390取得了指示时，对动态图像中的规定的部分动态图像进行解压缩。并且，图像生成部380，在指示获取部390取得了指示时，按照与被压缩的动态图像对应而记录的信息所表示的多个特征区域的位置，分别缩小或放大被解压缩部解压缩后的部分动态图像包含的多个摄像图像中的多个特征区域的图像，各自生成显示图像。为此，根据图像处理装置170，能够很快地向显示装置180提供显示图像。 
图5，表示压缩部230的其他方块构成的一个例子。在本构成中的压缩部230，通过与特征的种类对应的空间可扩展(scalable)的编码处理，对多个摄像图像进行压缩。 
在本构成中的压缩部230具有画质变换部510、差分处理部520、和编码部530。差分处理部520包括多个阶层间差分处理部522a-d(以下，总称为阶层间差分处理部522)。编码部530包括多个编码器532a-d(以下，总称为编码器532)。 
画质变换部510从图像获取部250取得多个摄像图像。此外，画质变换部510取得用于指定特征区域检测部203所检测出的特征区域的信息、及用于指定特征区域的特征的种类的信息。然后，画质变换部510通过复制摄像图像，生成特征区域的特征的种类数目的摄像图像。然后，画质变换部510将所生成的摄像图像转换成与特征的种类对应的分辨率的图像。 
例如，画质变换部510生成转换成与背景区域对应的分辨率的摄像图像(以下，称为低分辨率图像)、转换成与第一特征的种类对应的第一分辨率的摄像图像(以下，称为第一分辨率图像)、转换成与第二特征的种类对应的第二分辨率的摄像图像(以下，称为第二分辨率图像)、及转换成与第三特征的种类对应的第三分辨率的摄像图像(以下，称为第 三分辨率图像)。另外，在这里，设第一分辨率图像比低分辨率图像的分辨率高，第二分辨率图像比第一分辨率图像分辨率高，第三分辨率图像比第二分辨率图像分辨率高。 
然后，画质变换部510，分别向阶层间差分处理部522d、阶层间差分处理部522a、阶层间差分处理部522b及阶层间差分处理部522c供给低分辨率图像、第一分辨率图像、第二分辨率图像和第三分辨率图像。另外，画质变换部510，通过对多个摄像图像的各个摄像图像进行上述的画质变换处理，从而向各个阶层间差分处理部522供给动态图像。 
另外，画质变换部510可以根据特征区域的特征的种类，转换向各个阶层间差分处理部522供给的动态图像的帧速率。例如，画质变换部510可以向阶层间差分处理部522d供给比向阶层间差分处理部522a供给的动态图像帧速率低的动态图像。此外，画质变换部510可以将比向阶层间差分处理部522b供给的动态图像还低的帧速率的动态图像提供给阶层间差分处理部522a。将比向阶层间差分处理部522c供给的动态图像还低的帧速率的动态图像提供给阶层间差分处理部522b。另外，画质变换部510可以通过根据特征区域的特征的种类对摄像图像进行间隔抽取，来转换对阶层间差分处理部522供给的动态图像的帧速率。 
阶层间差分处理部522d和编码器532d，对包括多个低分辨率图像的背景区域动态图像进行预测编码。具体而言，阶层间差分处理部522生成与由其他的低分辨率图像被生成的预测图像的差分图像。然后，编码器532d将差分图像转换成空间频率分量后得到的变换系数进行量化后，将被量化得到的变换系数通过熵编码等进行编码。另外，这种预测编码处理可以按照每个低分辨率图像的部分区域进行。 
此外，阶层间差分处理部522a对包括从画质变换部510供给的多 个第一分辨率图像的第一特征区域动态图像进行预测编码。同样，阶层间差分处理部522b和阶层间差分处理部522c，对包括多个第二分辨率图像的第二特征区域动态图像及包括多个第三分辨率图像的第三特征区域动态图像分别进行预测编码。以下，对阶层间差分处理部522a及编码器532a具体的动作加以说明。 
阶层间差分处理部522a对由编码器532d进行编码后的第一分辨率图像进行解码，将解码后的图像放大成与第一分辨率同样的分辨率的图像，然后，阶层间差分处理部522a生成放大后的图像与低分辨率图像之间的差分图像。这时，阶层间差分处理部522a将背景区域的差分值设置为0。然后，编码器532a与编码器532d同样地将差分图像编码。另外，由阶层间差分处理部522a及编码器532a进行的编码处理，可以按照每个第一分辨率图像的部分区域来实施。 
另外，阶层间差分处理部522a在对第一分辨率图像编码时，比较当将与低分辨率图像之间的差分图像进行了编码时的被预测的编码量、和当将与从其他的第一分辨率图像生成的预测图像之间的差分图像进行了编码时的被预测的编码量。在后者的编码量小的情况下，阶层间差分处理部522a生成与从其他的第一分辨率图像生成的预测图像之间的差分图像。另外，在被预测出以不取与低分辨率图像或预测图像的差分的方式进行编码会使编码量变小的情况下，阶层间差分处理部522a可以不取与低分辨率图像或预测图像间的差分。 
另外，阶层间差分处理部522a也可以不将在背景区域的差分值设置为0。在这种情况下，编码器532a也可以将对在特征区域以外的区域的差分信息进行编码后的数据设置为0。例如，编码器532a可以将转换为频率分量之后的变换系数设置为0。并且，阶层间差分处理部522d进行了预测编码时的运动矢量信息被提供给阶层间差分处理部522a，阶层间差分处理部522a可以采用由阶层间差分处理部522d所供给的运动矢量信息来计算预测图像用的运动矢量。 
另外，阶层间差分处理部522b和编码器532b的动作，除了编码第二分辨率图像之处；和在编码第二分辨率图像时，有时取与基于编码器532a的编码后的第一分辨率图像的差分之处以外，阶层间差分处理部522b和编码器532b的动作与阶层间差分处理部522a和编码器532a的动作大体上相同，所以省略说明。同样，阶层间差分处理部522c和编码器532c的动作，除了编码第三分辨率图像之处；和在编码第三分辨率图像编码时，有时取与基于编码器532b的编码后的第二分辨率图像的差分之处以外，与阶层间差分处理部522a和编码器532a的动作大体上相同，所以省略说明。 
如以上说明的那样，画质变换部510，由多个摄像图像的各个摄像图像，生成将画质降低成低画质之后的低画质图像、及至少在特征区域中比低画质图像画质高的高画质的特征区域图像。然后，差分处理部520生成对在特征区域图像中的特征区域的图像与在低画质图像中的特征区域的图像之间的差分图像进行表示的特征区域差分图像。然后，编码部530分别对特征区域差分图像及低画质图像进行编码。 
此外，画质变换部510生成由多个摄像图像被降低了分辨率的低画质图像，差分处理部520，生成在特征区域图像中的特征区域的图像和将低画质图像中的特征区域的图像放大后的图像之间的特征区域差分图像。此外，差分处理部520，生成在特征区域中具有将特征区域图像和放大后的图像之间的差分转换成空间频域的空间频率分量、且在特征区域以外的区域中降低了空间频率分量的数据量的特征区域差分图像。 
如以上所说明，压缩部230通过对分辨率不同的多个层次间的图像的差分进行编码来层次性地进行编码。如从中可明确，根据本结构的压缩部230的压缩方式的一部分，显然包含基于H.264/SVC的压缩方式。此外，在图像处理装置170解压缩这种被层次化的压缩动态图 像的情况下，解码各层次的动态图像数据，对通过层次间差分进行编码的区域，根据与以取得差分的层次进行解码的摄像图像的加法处理，能够生成原分辨率的摄像图像。 
图6表示根据摄像装置100得到的摄像动态图像的一个例子。摄像装置100a拍摄的摄像动态图像A包含多个摄像图像600-1～3(以后统称为摄像图像600)。另外，摄像装置100b拍摄的摄像动态图像B包含多个摄像图像610-1～3(以后统称为摄像图像610)，摄像装置100c拍摄的摄像动态图像C包含多个摄像图像620-1～3(以后统称为摄像图像620)，摄像装置100d拍摄的摄像动态图像D包含多个摄像图像630-1～3(以后统称为摄像图像630)。 
此外，由摄像装置100a、摄像装置100b、摄像装置100c、以及摄像装置100d拍摄的摄像区域至少有一部分重复。而且，摄像装置100a、摄像装置100b、摄像装置100c、以及摄像装置100d从相互不同的方向拍摄该重复的摄像区域。 
此外，特征区域检测部203从摄像图像600中检测作为特征区域的一个例子的头部区域601-1～3(以下统称为头部区域601)、体部区域602-1～3(以后统称为体部区域602)、以及移动物体区域603-1～3(以后统称为移动物体区域603)。另外，特征区域检测部203从摄像图像610中检测作为特征区域的一个例子的头部区域611-1～3(以后统称为头部区域611)以及体部区域612-1～3(以后统称为体部区域612)。另外，特征区域检测部203从摄像图像620中检测作为特征区域的一个例子的头部区域621-1～3(以后统称为头部区域621)以及体部区域622-1～3(以后统称为体部区域622)。另外，特征区域检测部203从摄像图像630中检测作为特征区域的一个例子的头部区域631-1～3(以后统称为头部区域631)以及体部区域632-1～3(以后统称为体部区域632)。 
由此，在图像获取部301获取从设在不同位置上的多个摄像装置100拍摄的多个摄像图像的情况下，输出部207可以按照每个区域决定输出的图像数。例如，输出部207根据特征区域的种类输出预定的数量的特征区域的图像。具体地说，输出部207关于头部区域，决定应该输出从由四个摄像装置100拍摄得到的四个全部的摄像图像、例如摄像图像600-1、摄像图像610-1、摄像图像620-1、以及摄像图像630-1生成的头部区域的图像(头部区域601-1的图像、头部区域611-1的图像、头部区域621-1的图像、头部区域631-1的图像)的意思。 
另外，输出部207对于体部区域，决定应该输出从由不同的摄像装置100拍摄的三个摄像图像、例如摄像图像600-1、摄像图像610-1、以及摄像图像620-1生成的体部区域的图像(体部区域602-1的图像、体部区域612-1的图像、体部区域622-1的图像)的意思。另外，输出部207关于移动物体区域，决定应该输出由两个摄像装置100拍摄的两个摄像图像的意思，对于背景区域，决定应该输出由一个摄像装置100拍摄的一个摄像图像的意思。 
此外，摄像图像600-1、摄像图像610-1、摄像图像620-1、以及摄像图像630-1中检测到移动物体区域的图像只有摄像图像600-1，因此输出部207决定应该输出摄像图像600-1中的移动物体区域603-1的图像。另外，输出部207对背景区域决定应该输出摄像图像600-1中的背景区域的图像的意思。 
此外，输出部207可以按照预先分配给摄像装置100的优先级来选择摄像装置600。例如，输出部207可以更优先地选择被分配的优先级更高的摄像装置100所拍摄的摄像图像600。而且，输出部207输出包含在所选择的摄像图像600中的特征区域的图像以及背景区域的图像中所决定的图像数的图像。 
由此，输出部207输出作为从第一数量的摄像图像中分别生成的 拍摄在特征区域内的被摄体图像的第一数量的特征区域内图像、以及作为从不同于第一数量的第二数量的摄像图像中分别生成的拍摄在特征区域外的被摄体图像的第二数量的特征区域外图像。而且，输出部207输出从多于第二数量的第一数量的摄像图像中分别生成的第一数量的特征区域内图像。另外，在检测到多个特征区域的情况下，输出部207输出从摄像图像中的特征区域的各个特征区域中生成的多个特征区域内图像中根据多个特征区域的特征来预定的数量的特征区域内图像。 
由此，根据图像处理系统10，能够提供比拍摄在背景区域中的被摄体从更多方向对拍摄在特征区域的被摄体进行拍摄的图像。因此，能够在后面高精度地解析拍摄在特征区域中的被摄体。另外，根据图像处理系统10，不发送从一部分摄像装置100拍摄的摄像图像中的背景区域的图像，因此能够显著削减发送的数据量。 
图7表示特征区域或者背景区域中的灰度值的柱状图700的一个例子。特性长710表示柱状图700所示的分布的宽度。此外，作为特性长710的一个例子，能够示例半值宽度。 
灰度数决定部264决定根据特征区域的特征种类来预定的灰度数。另外，灰度数决定部264关于背景区域，决定少于对特征区域预定的灰度数的预定灰度数。而且，灰度数决定部264决定特性长710的长度越短则越少的灰度数。例如，灰度数决定部264可以从根据特征区域的特征种类预定的灰度数中减去与特性长710的长度成反比的数的值决定作为特征区域的图像的灰度数。 
由此，压缩部230在图像区域中的柱状图700所示的分布宽度更小的情况下，将该图像区域的图像变换为更少灰度数的图像。因此，提高压缩率。 
图8表示灰度变换用的变换曲线的一个例子。动态范围决定部268预先存储变换曲线810、变换曲线820等变换输入像素值的多个变换曲线。而且，动态范围决定部268从预先存储的多个变换曲线中按照每个区域选择一个变换曲线。此外，动态范围决定部268可以对特征区域选择表示宽动态范围的变换曲线，对背景区域可以选择具有比特征区域窄的动态范围的变换曲线。 
图9表示压缩控制部210按照每个区域选择压缩参数的选择方法的一个例子。压缩控制部210对应存储有作为识别区域种类的信息的种类ID、识别柱状图的图案的信息、识别灰度变换方法的信息、以及识别颜色集合的信息。种类ID表示其为特征区域还是背景区域、以及识别特征区域的特征种类的信息。识别柱状图的图案的信息可以是表示与图7相关联而说明的柱状图的分布的信息。作为一个例子，识别柱状图的信息可以是特性长710。 
识别灰度变换方法的信息，可以是识别LUT的信息。该LUT可以是实现与图8相关联而说明的变换曲线的变换的LUT。另外，识别颜色组合的信息，可以是表示能够作为像素值使用的颜色组合的颜色集合。 
动态范围决定部268规定用于识别LUT的信息，该LUT是与识别符合区域的种类ID以及符合区域中的柱状图图案的图案的信息对应而存储。而且，动态范围决定部268将由该信息规定的LUT信息提供给压缩部230。由此，动态范围决定部268按照每个区域决定动态范围。 
另外，色数决定部266规定与识别符合区域的种类ID以及符合区域中的柱状图图案的图案的信息对应而存储的颜色集合。色数决定部266将由该信息规定的颜色集合提供给压缩部230。由此，色数决定部266按照每个区域决定所使用的色数。 
此外，与特征区域相对应而存储的颜色集合可以由以三个以上数量的原色(例如5原色或者7原色)表现的颜色形成，与背景区域相对应而存储的颜色集合可以由以3原色(例如RGB)表现的颜色形成。另外，与特征区域相对应而存储的颜色集合包含具有色差成份的颜色，与背景区域相对应而存储的颜色集合也可以不包含具有色差成份的颜色。此外，上述的颜色变换、动态范围变换、分辨率变换、以及灰度数变换，能够由图像变换部241或者画质变换部519来完成。 
图10表示运动矢量检索范围的一个例子。特征区域检测部203从摄像图像1000-1以及摄像图像1000-3(以后统称为摄像图像1000)中分别检测特征区域1010-1以及特征区域1010-3(以后统称为特征区域1010)。另外，特征区域1010-1以及特征区域1010-3根据特征区域规定部212规定为相关性高的特征区域。 
在这种情况下，位置差计算部214计算特征区域1010-1以及特征区域1010-3之间的位置差。此外，在特征区域1010-3的重心位于(x1，y1)、特征区域1010-1的重心处于(x2，y2)的情况下，位置差变成(x2-x1，y2-y1)。而且，检索区域决定部216将包含(x2，y2)的区域1020决定为运动矢量检索范围。 
此时，检索区域决定部216在位置差的大小更小的情况下，可以决定更小的区域1020。检索区域决定部216决定的运动矢量检索范围提供给压缩部230。而且，压缩部230在对特征区域1010-3进行帧间压缩的情况下，通过在由检索区域决定部216决定的运动矢量检索范围内进行运动预测处理来算出运动矢量。 
由此，检索区域决定部216在从根据帧间预测进行压缩的摄像图像1000-3中的相关性高的特征区域的位置中偏离了该被压缩的摄像图像1000-3和帧间预测中的预测图像源的摄像图像1000-1之间的相关性高的特征区域的位置差的该预测图像源的摄像图像1000-1中的位置的 附近区域中，决定用于计算在压缩包含在被压缩的摄像图像100-3中的特征区域中的图像时所用的运动矢量的运动矢量检索区域。因而，压缩部230只要在狭窄的范围内进行运动预测即可，因此能够降低运动矢量计算时的运算量。因此，能够高速地算出运动矢量，提高压缩速度。另外，压缩部230能够以更高的精度算出运动矢量。此外，检索区域决定部216在位置差所示的特征区域的移动方向的方向中，可以决定比垂直于该方向的方向的宽度更长的运动矢量检索区域。 
图11表示检索区域宽度相对于位置差大小的依存性的一个例子。此外，位置差计算部214计算x方向和y方向的各个方向上以像素单位表示的位置差。 
如表示依存性的线1100所示，检索区域决定部216在位置差计算部214算出的位置差到预定的ΔNα为止之间，单调地增加运动矢量检索范围的宽度。在位置差计算部214算出的位置差为ΔNα以上的情况下，检索区域决定部216将运动矢量检索区域的宽度设为上限值ΔNβ。由此，检索区域决定部216在位置差大小大于预定值的情况下，决定预定宽度的运动矢量检索区域。此外，阈值获取部209从图像处理装置120的外部获取位置差的阈值。而且，检索区域决定部216在位置差大小大于阈值的情况下，决定预定宽度的运动矢量检索区域。如以上所说明，在运动矢量检索区域的宽度上设有上限，因此能够事先防止运动矢量检索区域变大到所需以上。 
图12表示特征区域内的部分区域的重要性水平。特征区域检测部203在作为特征区域的一个例子的头部区域1200内，检测重要性不同的多个区域。例如，特征区域检测部203在头部区域1200内，检测眼部区域1210a以及眼部区域1210b(以下统称为眼部区域1210)、口区域1220、鼻子区域1230、以及耳朵区域1240a以及耳朵区域1240b(以下统称为耳朵区域1240)。 
此外，重要性是以眼部区域1210、鼻子区域1230、口区域1220、耳朵区域1240的顺序变高。表示由特征区域检测部203检测到的头部区域1200内的各区域的位置的信息，提供给压缩部230。而且，压缩部230以与重要性相应的强度来压缩头部区域1200内的各区域的图像。 
具体地说，压缩部230对头部区域1200内的各区域的图像控制空间频率滤波器强度以及/或者量化系数，使得编码量变成根据各区域的重要性规定的目标编码量。此外，重要性可以根据人物识别额正确率来预先规定。由此，压缩部230根据重要性来压缩从头部区域1200层次地检测出的重要性不同的区域。由此，图像处理装置170从被压缩的摄像图像中也能够以更高的精度检测/识别人物。 
另外，特征区域检测部203还在眼部区域1210内也检测重要性不同的多个区域。例如特征区域检测部203在眼部区域1210内，检测眼区域1212a和眼区域1212a(以下统称为眼区域1212)、以及眉区域1214a和眉区域1214b(以下统称为眉区域1214)。此外，眼区域1212可以比眉区域1214重要性高。而且，压缩部230与在头部区域1200内对各区域的压缩处理相同，可以以与重要性相应的强度来压缩眼部区域1210内的各区域的图像。 
图13表示基于显示装置180的显示例子。在基于显示装置180的显示区域中，包含动态图像区域1300以及关注图像区域1301。图像处理装置170将由合成部330得到的动态图像显示在动态图像区域1300上的动态图像数据提供给显示装置180。另外，图像处理装置170将由图像生成部380生成的显示图像显示在关注图像区域1301上的动态图像数据提供给显示装置180。 
具体地说，图像生成部380生成作为包含在显示于动态图像区域1300上的动态图像中的人物的头部区域1310a-c(以下统称为头部区域 1310)的图像的头部图像1311a-c(以下统称为头部图像1311)。此外，头部区域1310是特征区域的一个例子，头部图像1311可以是上述显示图像的一个例子。 
此时，图像生成部380通过放大或者缩小头部区域1310的图像来生成整理大小的头部图像1311。由此，以相同大小显示头部图像1311，因此变成监视者容易看到的监视影像。 
另外，图像生成部380从头部区域1310的图像中生成显示在不同位置上的头部图像1311。此外，图像生成部380可以生成显示区域不重复的头部图像1311。由此，图像生成部380分别生成多个特征区域的图像同时显示在分别预先定好的位置上的显示图像。 
此外，图像生成部380可以生成包含多个头部图像1311的动态图像。例如，图像生成部380可以从包含在动态图像中的多个摄像图像的各个摄像图像中的头部区域1310的图像中分别生成多个头部图像1311。此时，特征区域选择部370选择多个摄像图像的各个摄像图像中的多个头部区域1310中关于头部区域1310的下部区域的图像内容具有高于预定值高的相关的多个头部区域1310。 
例如，特征区域选择部370从多个摄像图像的各个摄像图像中的头部区域1310的下部区域的图像中分别抽取服装的纹理信息。而且，作为相关性高的头部区域1310，特征区域选择部370可以选择处于被抽取的纹理信息以大于预定值的一致性一致的下部区域的上部的多个头部区域1310。除此之外，作为相关性高的头部区域1310，特征区域选择部370可以选择处于包含的颜色的组合以大于预定值的一致性一致的下部区域的上部的多个头部区域1310。 
而且，图像生成部380可以该多个头部图像1311a连续显示在相同位置上的动态图像。由此，图像生成部380可以根据由特征区域信 息获取部360获取的信息所示的位置，生成份别包含在多个摄像图像中的特征区域的图像的各个显示在大致相同的位置上的显示图像。此时，图像生成部380可以生成拍摄相同被摄体的特征区域的图像的各个图像显示在大致相同的位置上的显示图像。 
此外，在本图的例子中，任意一个头部图像1311都设为相同大小，但是图像生成部380也可以根据头部区域1310的位置生成预定大小的头部图像1311。例如，图像生成部380可以从处于更重要位置的头部区域1310的图像中生成更大的头部图像1311。在本图的例子中，图像生成部380可以从处于离计数器的距离短于预定距离的位置上的头部区域1310(例如头部区域1310b)中生成大于其它头部图像1311的头部图像1311。因而，根据图像处理系统10，能够强调显示位于重要区域中的人物的图像。 
由此，图像生成部380可以缩小或者放大多个特征区域的图像的各个图像，分别生成与多个特征区域的位置相应的大小的显示图像。此外，图像生成部380缩小或者放大多个特征区域的图像的各个图像，可以分别生成与存在多个特征区域的位置所示的实际空间中的被摄体的位置相应的大小的显示图像。另外，图像生成部380缩小或者放大多个特征区域的图像的各个图像，也可以分别生成与多个特征区域的大小所示的实际空间中的被摄体大小相应的大小的显示图像。 
此外，图像生成部380也可分别生成多个特征区域的图像根据动态图像中的显示时间同时显示在预定位置上的显示图像。例如，图像生成部380也可以生成按照显示顺序向规定方向排列而显示的头部图像1311。此外，显示该特征区域的图像的位置可以根据特征区域的大小、包含在特征区域中的规定被摄体的大小、或者头部的下部区域(例如衣服区域)的图像内容的至少任意一个来决定。 
图14是表示图像处理装置170的模块结构的其它一个例子。本结 构的图像处理装置170通过对特征区域的图像进行超分辨处理来使特征区域高画质化。本结构的图像处理装置170具备图像获取部301、对应解析部302、解压缩控制部310、解压缩部320、图像生成部380、特征区域信息获取部360、特征区域选择部370、照明条件规定部372、方向规定部374、相关值获取部376、模型保存部350以及输出部340。图像生成部380具有图像放大部332和合成部330。 
图像获取部301获取通过压缩部230压缩的压缩动态图像。具体地说，图像获取部301获取包含多个特征区域动态图像和背景区域动态图像的压缩动态图像。更具体地说，图像获取部301获取附带特征区域信息的压缩动态图像。此外，压缩动态图像可以是向图像处理装置170的输入动态图像的一个例子。另外，在压缩动态图像中作为动态图像构成图像而包含的摄像图像，可以是向图像处理装置170的输入图像的一个例子。由此，图像获取部301将通过压缩部230被低画质化的摄像图像作为输入图像来获取。 
而且，对应解析部302将压缩动态图像分离为多个特征区域动态图像以及背景区域动态图像和特征区域信息，将多个特征区域动态图像和背景区域动态图像提供给解压缩部320。另外，对应解析部302解析特征区域信息，将特征区域的位置和特征的种类提供给解压缩控制部310和特征区域信息获取部360。由此，特征区域信息获取部360能够获取表示多个摄像图像的各个摄像图像中的特征区域的信息、例如表示特征区域位置的信息。 
解压缩控制部310根据从对应解析部302获取的特征区域的位置和特征种类，控制基于解压缩部320的解压缩处理。例如，解压缩控制部301根据特征区域的位置和特征的种类根据压缩部230压缩动态图像的各区域的压缩方式，使解压缩部320解压缩压缩动态图像所示的动态图像的各区域。 
下面说明解压缩部320所具有的各结构要素的动作。解压缩部320具有多个解码器322a-d(以下统称为解码器322)。解码器322对被编码的多个特征区域动态图像和背景区域动态图像中的任意一个进行解码。具体地说，解码器322a、解码器322b、解码器322c以及解码器322d分别对第一特征区域动态图像、第二特征区域动态图像、第三区域动态图像以及背景区域动态图像进行解码。解压缩部320将解码得到的第一特征区域动态图像、第二特征区域动态图像、第三区动态图像以及背景区域动态图像提供给图像生成部380。 
图像生成部380根据第一特征区域动态图像、第二特征区域动态图像、第三区动态图像以及背景区域动态图像来生成一个显示动态图像。而且，输出部340将从对应解析部302获取的特征区域信息以及显示动态图像输出到显示装置180或者图像DB 175中。此外，图像DB 175与识别包含在显示动态图像中的摄像图像的信息相对应而将特征区域信息所示的特征区域的位置、特征区域的特征种类、特征区域的数量记录在硬盘等非易失性记录介质中。 
特征区域选择部370选择多个摄像图像的各个特征区域中具有高于预定值的相关性的第一特征区域以及第二特征区域。具体地说，相关值获取部376获取与该相关性有关的阈值。而且，特征区域选择部370选择多个动态构成图像的各个构成图像的特征区域中具有高于相关值获取部376所获取的阈值的相关性的第一特征区域以及第二特征区域。 
例如，特征区域选择部370可以选择从多个摄像图像的各个摄像图像中检测到的特征区域中图像内容的一致性高于预定值的第一特征区域以及第二特征区域。 
除此之外，特征区域选择部370可以根据多个摄像图像的各个摄像图像中的特征区域的位置来选择第一特征区域以及第二特征区域。 例如，特征区域选择部370可以根据多个摄像图像中的特征区域的位置变化量，选择作为在压缩动态图像中移动速度的变化量小于预定值的特征区域的第一特征区域以及第二特征区域。另外，特征区域选择部370可以根据多个摄像图像中的特征区域的位置的变化方向，选择作为在输入动态图像中移动方向的变化量小于预定值的特征区域的第一特征区域以及第二特征区域。而且，特征区域选择部370将表示所选择的第一特征区域以及第二特征区域的信息提供给图像生成部380。 
而且，图像生成部380使用第一特征区域的图像、第二特征区域的图像以及第一特征区域和第二特征区域之间的位置差，生成比第一特征区域的图像以及第二特征区域的图像更高分辨率的高画质图像。例如，图像生成部380通过根据位置差来合成第一特征区域的图像和第二特征区域的图像，生成高画质图像。例如，图像生成部380通过使第一特征区域的图像和第二特征区域的图像错开该位置差而重合，生成高画质图像。 
此外，特征区域选择部370也可以选择从多个摄像图像的各个摄像图像中检测到的特征区域中具有高于预定值的相关性的三个以上的特征区域。而且，图像生成部380也可以使用三个以上的特征区域的图像、以及三个以上的特征区域的位置差来生成比三个以上的特征区域的图像更高分辨率的高画质图像。 
图像放大部332将摄像图像中的特征区域以外的区域的图像放大到与该高画质图像相同分辨率的图像。而且，合成部330合成通过图像放大部332所得到的图像和高画质图像，生成作为显示动态图像的动态图像构成图像的一个摄像图像。由此，图像生成部380将摄像图像中的特征区域以外的区域的图像放大到与高画质图像相同分辨率的图像，通过合成经过放大得到的图像和高画质图像，生成一个摄像图像。图像生成部380通过对多个摄像图像的各个摄像图像实施上述处理，生成以动态图像构成图像包含多个摄像图像的显示动态图像。 
此外，图像生成部380通过使包含在特征区域中的物体的图像适合到数学模型，可以生成高画质图像。具体地说，模型保存部350保存以特征参数来表现物体的模型。更具体地说，模型保存部350保存以统计性的特征参数来表现物体的模型。例如，模型保持部350保存以基于主成份分析的主成份(例如主成份矢量)来表现物体的模型。 
此外，模型保存部350可以保存以基于主成份分析的主成份表现物体形状的模型。另外，模型保存部350可以保存基于主成份分析的主成份来表现物体颜色的模型。 
而且，图像生成部380通过使包含在摄像图像中的特征区域的物体的图像适应到模型中，将包含在摄像图像中的特征区域的物体的图像变换为比该摄像图像更高画质的高画质图像。 
此外，模型保存部350将从不同方向看的物体的模型与该方向对应而保存。而且，方向规定部374规定在摄像图像中的特征区域中拍摄的物体被拍摄的方向。而且，图像生成部380可以通过使包含在摄像图像中的特征区域物体的图像适应到与由方向规定部374所规定的方向相对应而由模型保存部350保存的模型，变换为高画质图像。 
另外，模型保存部350将以不同的照明条件照明的物体的模型与该照明条件相对应而保存。而且，照明条件规定部372规定对在输入图像中的特征区域拍摄的物体进行照明的照明条件。而且，图像生成部380通过使包含在输入图像中的特征区域的物体的图像适应到与由照明条件规定部372规定的照明条件相对应而由模型保存部350保存的模型，变换为高画质图像。由此，图像生成部380通过使包含在所输入的摄像图像中的特征区域的物体的图像适应到模型中，生成比所输入的摄像图像更高分辨率的高画质图像。 
而且，输出部340输出包含该高画质图像以及特征区域以外的图像的图像。具体地说，输出部340输出作为动态图像构成图像包含如上述那样由合成部330得到的摄像图像的显示动态图像。 
图15表示人脸中的特征点的一个例子。如与图14相关联所说明，模型保存部350保存用特征参数来表现物体的模型。下面，作为生成由模型保存部350所保存的模型的生成方法的一个例子，说明使用AAM方法来生成作为物体的一个例子的人物的脸的模型的情况。 
如图15所示，对表现了成为样本的人的脸部分的多个脸图像(以下，称作样本图像)的各个脸图像设定n个表示脸形状的特征点。此外，在此使特征点的数量少于脸图像的像素数。各特征点可以预先定好表示脸的哪个部位使得例如第一个特征点为左眼的左端、第11个特征点为眉间中央。另外，各特征点也可以由手动操作来设定，也可以通过认识处理来自动设定。 
而且，根据设定在各样本图像中的特征点来计算出脸的平均形状。具体地说，求出各样本图像中的表示相同部位的每个特征点的位置坐标的平均。而且，根据表示各样本图像中脸形状的特征点及其平均形状的位置坐标来进行主成份分析。其结果，任意的脸形状S能够由S＝S0+∑pibi(i＝1～n)来表现。 
在此，S是排列脸形状的各特征点的位置坐标来表现的形状矢量(x1，y1，…，xn，yn)，S0表示排列平均脸形状的各特征点的位置坐标来表现的平均脸形状矢量，pi表示通过主成份分析得到的关于脸形状的第i主成份的固有矢量，bi表示对各固有矢量pi的加权系数。 
图16是示意性地表示改变加权系数b时的脸形状的变化的一个例子。在本图中，示意性地表示改变对通过主成份分析得到的上位两个主成份的固有矢量p1、p2的加权系数的值时的脸形状变化情况。a)表 示改变加权系数b1时的脸形状的变化，b)表示改变加权系数b2时的脸形状的变化。在a)和b)的任意一个中，关于各主成份的三个脸形状中央都表示平均的脸形状。 
在该例子中，进行主成份分析的结果可知，作为第一主成份抽取影响脸的轮廓形状的成份，通过改变加权系数b1，脸形状从a)左端所示的细长脸变化为a)右端所示的圆脸。同样地可知，作为第二主成份抽取影响嘴的开闭状态和下颚长度的成份，通过改变加权系数b2，脸形状从如b)左端所示的张嘴状态且下颚长的脸变化为如b)右端所示的闭嘴的状态且下颚短的脸。此外，各主成份作为结果影响哪种形状要素，这由人来解释。根据主成份分析，在所使用的各样本图像中表现更大的形状差异将作为更低层次的主成份来抽取。 
图17表示将样本图像变换为平均脸形状而得到的图像的一个例子。将各样本图像变换((warping)变形)为平均脸形状。具体地说，对各特征点算出各样本图像和平均脸形状之间的位移量。而且，根据该位移量，算出各样本图像的每个像素向平均脸形状的位移量，将各样本图像按照每个像素向平均脸形状变形。 
而且，将变换为平均脸形状后的每个样本图像的各像素的R、G、B颜色成份的像素值作为变量进行主成份分析。其结果，任意的脸图像的平均脸形状下的R、G、B的颜色成份的像素值能够由A＝A0+∑qiλi(i＝1～m)来近似。 
在此，A是排列平均脸形状下的各像素的R、G、B颜色成份的各个像素值来表现的矢量(r1，g1，b1，r2，g2，b2，…，rm，gm，bm)。此外，r、g、b分别表示R、G、B颜色成份的像素值，1～m表示识别各像素的下标，m表示平均脸形状中的总像素数。此外，矢量成份的排列顺序不限于上述顺序。 
另外，A0表示排列平均脸形状的各样本图像的每个像素的R、G、B颜色成份的各个像素值的平均值来表现的平均矢量，qi表示通过主成份分析得到的关于脸的R、G、B颜色成份的像素值的第i主成份的固有矢量，λi表示对各固有矢量qi的加权系数。 
图18是示意性地表示改变加权系数q时的像素值的变化的一个例子。在本图中，示意性地表示改变对通过主成份分析得到的上位两个主成份的固有矢量q1、q2的加权系数λ1、λ2的值时的脸像素值变化情况。a)表示改变加权系数λ1时的像素值的变化，b)表示改变加权系数λ2时的像素值的变化。在a)和b)的任意一个中，关于各主成份的三个脸形状中央都表示平均的像素值。 
在该例子中，进行主成份分析的结果可知，作为第一主成份抽取影响有无胡须的成份，通过改变加权系数λ1，从a)左端所示的没有胡须的脸变化为a)右端所示的胡须浓密的脸。可知，作为第二主成份抽取影响眉毛浓度的成份，通过改变加权系数λ2，从如b)左端所示的眉毛浅淡的脸变化为如b)右端所示的眉毛浓密的脸。 
以上，通过图16～图18所说明的处理来生成脸的模型。该模型是由表示脸形状的多个固有矢量pi、和表示平均脸形状下的脸的像素值的固有矢量qi来表现脸。模型所具有的各固有矢量的合计数远小于形成脸图像的像素数。此外，在上述的例子中，形状和像素值由脸形状和关于R、G、B颜色成份的像素值的各自的加权系数bi、λi来表现个别的脸图像，但是脸形状和颜色成份的像素值的变化中具有相关性，还能够对包含特征点和像素值两者的特征参数进行主成份分析。 
接着，说明图像生成部380使用由模型保存部350所保存的模型对特征区域的图像进行高分辨率化的处理的一个例子。图像生成部380将包含在特征区域中的输入脸图像进行标准化，算出平均脸形状中的R、G、B颜色成份的像素值。此外，有时输入脸图像未必是来自正面 的图像、或照明条件不同于拍摄样本图像时的照明条件。因而，这里所说的标准化不仅包括整列上述中所说明的正面脸的特征点的处理，而且还包括如将斜向拍摄所得到的输入脸图像的方向变换为从正面拍摄的脸图像的变换处理、或去除照明引起的影子的影响的去影处理等那样变换为在与样本图像相同的摄影环境下拍摄的脸图像的处理。 
而且，图像生成部380通过将相对于平均脸的像素值之差投影到主成份矢量qi来算出加权系数λi。具体地说，图像生成部380能够通过与主成份矢量qi的内积来算出加权系数λi。而且，图像生成部380使用算出的加权系数λi、平均脸的像素值A0、以及主成份矢量qi来算出平均脸形状下的像素值A。 
图像生成部380通过与上述的像素值A的计算处理相同的处理还计算出脸的特征点S。具体地说，图像生成部380通过将相对于平均脸的特征点位置差投影到主成份矢量qi来算出加权系数bi，使用算出的加权系数bi、平均脸的特征点S0、以及主成份矢量pi来算出特征点A。而且，图像生成部380对由像素值A和特征点A表示的图像实施上述标准化处理中除了整理特征点的处理之外的处理的逆变换处理。 
通过以上处理，图像生成部380从由输出部207输出的摄像图像中的特征区域的图像中生成比该摄像图像更高画质的高画质图像。具体地说，图像生成部380能够生成比从输出部207输出的摄像图像中的特征区域的图像更高分辨率的图像、更锐利的图像、噪声更少的图像、灰度数更多的图像或者色数更多的图像。 
图19以表格形式表示由模型保存部350保存的模型的一个例子。模型保存部350按照多个表情以及多个方向的各个组合中的每个组合保存模型。作为表情包含处于喜怒哀乐各自状态时的脸、以及表情严肃的脸，作为方向包含正面、上方、下方、右方、左方、以及后方。图像生成部380能够根据包含在特征区域中的脸图像的图像内容来规 定脸的表情和脸的方向，使用与所规定的表情和方向的组合相对应并由模型保存部350所保存的模型来进行上述重构处理。 
此外，图像生成部380能够通过口以及/或者眼睛的形状来规定表情，能够通过眼睛、口、鼻子、以及耳朵的位置关系等来规定脸的方向。此外，图像处理装置120可以规定脸的表情和脸的方向，通过输出部207可以与摄像图像相对应而输出脸的表情和脸的方向。 
另外，模型保存部350除了脸的表情和方向之外，还可以如上述那样与照明条件相对应而保存模型。例如，模型保存部350可以与照明强度和照明方向相对应而保存模型。而且，图像生成部380可以根据包含在特征区域中的脸图像的图像内容来规定对脸的照明条件。例如，图像生成部380能够根据影子的位置和大小来规定照明强度和照明方向，使用与所规定的照明强度和照明方向相对应而由模型保存部350保存的模型来进行上述的重构处理。 
此外，在上述的例子中，说明了表现整体脸的模型的生成以及使用该模型的重构过程。除了这种整体脸的模型之外，图像处理系统10能够使用脸的每个部位的模型。除此之外，图像处理系统10还能够使用不同性别以及/或者每个人种的脸(或者脸的每个部位)的模型。另外，图像处理系统10除了人物模型之外，还能够为车辆、船舶等图像处理系统10设为监视对象的物体的每个种别保存模型。而且，图像生成部380还能够根据包含在特征区域中的物体的种类来选择模型并进行重构。这种种类是在图像处理装置120中被检测，可以与摄像图像相对应而发送给图像处理装置170。 
如上所说明，模型保存部350能够将不同种类的物体的模型与该种类相对应而保存。而且，特征区域信息获取部360获取表示拍摄在输入图像中的特征区域的物体种类的信息。而且，图像生成部380通过使包含在摄像图像中的特征区域的物体的图像适应到与由特征区域 信息获取部360所获取的在特征区域中拍摄的物体的种类相对应而由模型保存部350保存的模型，来变换为高画质图像。 
根据以上所说明的图像处理系统10，对特征区域使用模型进行超析象化化，另一方面对背景区域不进行使用模型的超析象化。因此，能够显著地削减超析象处理的运算量。另外，如背景区域那样重要性低的区域不被高画质化，因此能够削减图像的数据量。另外，根据图像处理系统10，将规定特征区域的信息发送给图像处理装置170，因此能够事先防止只包含低画质信息的背景区域误被超分辨处理的情况。 
此外，如上所述，模型保存部350为作为表示目标种类的信息的每个脸部位(例如、眼睛、鼻子、嘴等)保存学习数据。在此，作为学习数据除了上述模型之外，还可以包含从目标的多个样本图像中分别抽取的、目标的图像的低频成份和高频成份。由此，模型保存部350作为与目标的种类相对应而保存目标的图像的高频成份的目标图像信息保存部而工作。此外，通过对多个目标的种类的各个种类以K-means法等将目标的图像的低频成份进行分组，在多个目标的种类的各个种类中目标的图像的低频成份被分类到多个簇中。另外，可以按照各簇(cluster)的每个簇规定代表性的低频成份(例如重心值)。 
而且，图像生成部380从包含在摄像图像中的目标的图像中抽取低频成份。而且，图像生成部380规定从该目标的种类的目标的样本图像中抽取的低频成份的簇中适合于所抽取的低频成份的值规定为代表性低频成份的簇。而且，图像生成部380规定与包含在所规定的簇中的低频成份相对应的高频成份的簇。由此，图像生成部380能够规定与从包含在摄像图像中的目标中抽取的低频成份有相关性的高频成份的簇。而且，图像生成部380可以使用代表所规定的高频成份的簇的高频成分将目标的图像变换为更高画质的高画质图像。例如，图像生成部380以与从各目标的中心到脸上的处理对象位置的距离相应的 权重将按照每个目标选择的该高频成份加到目标的图像中。此外，该代表性的高频成份可以通过闭环学习来生成。由此，图像生成部380从通过对各目标的每个目标进行学习而生成的学习数据中，为每个目标选择利用所期望的学习数据，因此有时能够以更高的精度使目标的图像高画质化。 
如上所述，图像处理装置170，能用主要成份分析(PCA)重新构成特征区域的图像。而且，作为图像处理装置170的图像重构手法，及该图像重构用的学习法，除通过主要成份分析(PCA)的学习·图像重构以外，还可以采用局部保存投影(locality preserving projection:LPP)，线形辨别分析(Linear Discriminant Analysis:LDA)，独立成份分析(Independent component analysis:ICA)，多维定标(multidimensional scaling:MDS)，支持矢量机(support vector regression支持矢量回归)，神经网络(neural network)，隐马尔可夫模型(hidden Markov model)，Bayes推论，最大事后概率推定，反复逆投影，小波变换(wavelet transform)，局部线形埋入(locally linear embedding:LLE)，马尔可夫随机场(Markov random field:MRF)等的手法。 
如以上说明，图像处理装置170，通过超析象处理特征区域的图像，使特征区域的图像高质量化。再者，图像处理装置170，可以进行图1～图13相关说明的图像处理装置170的处理，和图14～图19相关联说明的图像处理装置170的处理的组合处理。比如，图像处理装置170，将在特征区域中实施图14～图19相关说明过的超析象处理而得到的摄像图像，与如图1～图13有关说明的一样地，对应用于规定特征区域的数、特征区域的位置、特征区域的大小、特征区域中包含的目标的种类的信息等预先存储在图像DB175中。并且，图像处理装置170，如图1～图13相关联说明的那样，对应来自监视者的指示，基于指定摄像图像对应的特征区域的数、特征区域的位置、特征区域的大小、特征区域包含的目标的种类的信息等，比如，可以将特征区域的图像大小合适地显示在相同的位置。 
图20表示其他的实施方式涉及的图像处理系统20的一个例子。在本实施方式中的图像处理系统20的构成，除摄像装置100a-d还分别具有图像处理部804a-d(以下，总称为图像处理装置804)之处以外，均与图1中说明过的图像处理系统10的构成相同。 
图像处理部804，有着图像处理装置120中包含的构成要素中图像获取部250以外的构成要素。并且，图像处理部804中包含的各构成要素的功能及动作，除更换为处理由压缩动态图像解压缩部202的解压缩处理得到的图像处理装置120中包含的各构成要素的摄像动态图像，处理由摄像部102摄像的摄像动态图像这样一点以外，可以与图像处理装置120中包含的各构成要素的机能及动作大体上同样。在这样的构成的图像处理系统20中也能得到图1到图13有关图像处理系统10所说明的效果大体上同样的效果。 
另外，图像处理部804，从摄像部102取得包含以RAW格式表示的多个摄像图像的摄像动态图像，并将所取得的摄像动态图像中包含的用RAW形式表示的多个摄像图像，以RAW形式直接压缩。再者，图像处理部804，可以从以RAW形式表示的多个摄像图像检测出1以上的特征区域。同时，图像处理部804，可以压缩包含已经被压缩了的RAW形式的多个摄像图像的摄像动态图像。再者，图像处理部804，能按照图1～图19有关作为图像处理装置120的动作而说明的压缩方法压缩摄像动态图像。再者，图像处理装置170，通过对图像处理部804所取得的动态图像进行解压缩，而能够取得以RAW形式表示的多个摄像图像。图像处理装置170，分别在每个区域放大通过解压缩取得的以RAW形式被显示的多个摄像图像。在每个区域同时实施。这个时候，图像处理装置170，可以对特征区域实施比其特征区域以外的区域更高精度的同步化处理。 
并且，图像处理装置170，可以对同步化处理而得到的摄像图像中 的特征区域的图像，实施象图14～图19有关说明的一样的超析象处理。另外，象图1～图19有关说明的一样，图像处理装置170算出了在超析象处理中以上所述的加权系数。这种情况下，特征区域中包含的物体的图像，由主要成份矢量及加权系数表示物体的图像。这些的加权系数及主要成份矢量的数据量，大幅度小于物体的图像本身具有的象素数据的数据量。因此，图像处理部804，在压缩从摄像部102取得的多个动态图像构成图像中的特征区域的图像的压缩处理中，从特征区域包含的物体的图像计算出上述加权系数。即，图像处理部804，能够将在特征区域包含的物体的图像通过用主要成份矢量及加权系数表示，得以压缩。并且，图像处理部804，可以将主要成份矢量及加权系数传送至图像处理装置170。在图像处理装置170中，能用从图像处理部804取得的主要成份矢量及加权系数，重新构成象上述那样的特征区域中包含的物体的图像。 
这样，图像处理部804，可以通过使特征区域的图像中包含的物体图像，适应用特征参数表现物体的模型，算出表示特征区域的图像中包含的物体的，该模型中的特征参数值。并且，图像处理部804，可以输出所算出的特征参数值及特征区域以外的区域的图像。并且，图像处理装置170，通过在模型中使用从图像处理部804取得的特征参数值生成物体的图像后，可以用所生成的物体的图像及特征区域以外的区域的图像生成一摄像图像。 
图21示出图像处理装置120及图像处理装置170的硬件配置构成的一个示例。图像处理装置120及图像处理装置170具有CPU周边部、输入输出部以及传统的输入输出部。CPU周边部包括通过主控制器1582彼此连接的CPU1505、RAM1520、图像控制器1575、以及显示器件1580。输入输出部包括通过输入输出控制器1584连接到主控制器1582的通信接口1530、硬盘驱动器1540、以及CD-ROM驱动器1560。传统的输入输出部包括连接到输入输出控制器1584的ROM1510、软盘驱动器1550、以及输入输出芯片1570。 
主控制器1582连接RAM1520、以更高传输速率访问RAM1520的CPU1505和图像控制器1575。CPU1505根据存储在ROM1510和RAM1520上的程序而运行，控制每个组件。图像控制器1575获得CPU1505等在RAM1520内设置的帧缓冲器上生成的图像数据，并使显示器件1580显示获得的图像数据。取而代之，图像控制器1575也可在内部包括用于存储CPU1505等生成的图像数据的帧缓冲器。 
输入输出控制器1584连接：主控制器1582、作为相对高速的输入输出装置的硬盘驱动器1540、通信接口1530、以及CD-ROM驱动器1560。硬盘驱动器1540存储CPU1505使用的程序和数据。通信接口1530与网络通信装置1598连接，收发程序或数据。CD-ROM驱动器1560从CD-ROM1595中读取程序或数据，并通过RAM1520向硬盘驱动器1540及通信接口1530提供所读取的程序或数据。 
在输入输出控制器1584上连接有作为相对低速的输入输出装置的ROM1510、软盘驱动器1550以及输入输出芯片1570。在ROM1510上存储由图像处理装置120及图像处理装置170在启动时执行的引导程序，或依存于图像处理装置120及图像处理装置170硬件的程序等。软盘驱动器1550从软盘1590读取程序和数据，并通过RAM1520向硬盘驱动器1540及通信接口1530提供读取的程序和数据。输入输出芯片1570通过软盘驱动器1550、或并行端口、串行端口、键盘端口、鼠标端口等连接各种输入输出装置。 
CPU1505执行的程序是被存储于软盘1590、CD-ROM1595和IC卡等记录介质上，而由用户提供的。被记录介质存储的程序可以是压缩的也可以是非压缩的。程序从介质被安装到硬盘驱动器1540中，通过RAM1520读取，并由CPU1505执行。被CPU1505执行的程序，使图像处理装置120作为与图1至图20相关联说明的图像处理装置120所具有的各构成要素来发挥功能。使图像处理装置170作为与图1至 图20相关联说明的图像处理装置170所具有的各构成要素来发挥功能。 
以上所示程序，也可以存储在外部的记录介质中。作为记录介质，除软盘1590、CD-ROM1595以外，还能够使用DVD或PD等的光学记录介质、MD等的光磁记录介质、磁带介质，IC卡等的半导体存储器等。此外，还可以使用设置于与专用通信网络或者互联网连接的服务器系统中的硬盘或RAM等的存储装置作为记录介质，并作为借助网络的程序而提供给图像处理装置120及图像处理装置170。这样，由程序控制的计算机会作为图像处理装置120及图像处理装置170而发挥作用。 
以上，用实施方式说明了本发明，不过，本发明的技术范围不受上述实施方式记载的范围所限定。本领域技术人员清楚，可对上述实施的方式进行多种多样的变形及改进。从技术方案的范围可以明白，这样的变形及改进均被包括在本发明的技术范围内。 
权利要求书、说明书、和在附图中表示的装置、系统、程序、和在方法中的动作、次序、步骤，和阶段等的各处理的执行顺序，只要没有特别注明“比…先”、“在…之前”等，而且只要不是后面的处理必须使用前面的处理的输出，就能以任意的顺序实施。有关权利要求书、说明书和附图中的动作流程，为了说明上的方便，即便是使用了“首先”、“其次”等字样加以说明，但也不意味着必须以这个顺序实施。 

Claims (23)

1.一种图像处理系统，其特征在于，具有：
特征区域检测部，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测出特征区域；
特征区域规定部，规定所述多个动态图像构成图像之间相关性高的特征区域；
位置差计算部，计算由所述特征区域规定部所规定的所述相关性高的特征区域之间的位置差；
检索区域决定部，决定运动矢量检索区域，所述位置差的大小越小，所决定的运动矢量检索区域则越狭窄；以及
压缩部，使用通过在由所述检索区域决定部所决定的运动矢量检索区域内进行检索而计算出的运动矢量来压缩所述动态图像。
2.根据权利要求1所述的图像处理系统，其特征在于，所述特征区域检测部检测出包含符合预定条件的目标的区域作为所述特征区域。
3.根据权利要求2所述的图像处理系统，其特征在于，所述特征区域检测部检测出包含符合预定形状的目标的区域作为所述特征区域。
4.根据权利要求2所述的图像处理系统，其特征在于，所述特征区域检测部检测出在动态图像中包含运动的目标的区域作为所述特征区域。
5.根据权利要求2所述的图像处理系统，其特征在于，所述特征区域规定部将图像内容的一致性大于预定值的所述特征区域规定为所述相关性高的特征区域。
6.根据权利要求2所述的图像处理系统，其特征在于，所述特征区域规定部将大小的一致性大于预定值的所述特征区域规定为所述相关性高的特征区域。
7.根据权利要求2所述的图像处理系统，其特征在于，所述特征区域规定部将对于动态图像构成图像中的所述特征区域的位置，具有大于预定值的相关性的所述特征区域规定为所述相关性高的特征区域。
8.根据权利要求7所述的图像处理系统，其特征在于，所述特征区域规定部将对于多个动态图像构成图像之间所述特征区域的位置变化，具有大于预定值的相关性的所述特征区域规定为所述相关性高的特征区域。
9.根据权利要求8所述的图像处理系统，其特征在于，
所述特征区域规定部将对于多个动态图像构成图像之间所述特征区域的位置移动方向，具有大于预定值的相关性的所述特征区域规定为所述相关性高的特征区域。
10.根据权利要求8所述的图像处理系统，其特征在于，
所述特征区域规定部将对于多个动态图像构成图像之间所述特征区域的位置移动速度，具有大于预定值的相关性的所述特征区域规定为所述相关性高的特征区域。
11.根据权利要求4所述的图像处理系统，其特征在于，所述位置差计算部计算在根据帧间预测进行压缩的动态图像构成图像和成为预测图像源的动态图像构成图像之间所述相关性高的特征区域的位置差。
12.根据权利要求4所述的图像处理系统，其特征在于，
所述检索区域决定部决定用于计算在压缩包含在所述动态图像构成图像中的所述特征区域中的图像时所使用的所述运动矢量的所述运动矢量检索区域，所述位置差的大小越小，所述运动矢量检索区域则越狭窄。
13.根据权利要求12所述的图像处理系统，其特征在于，
所述检索区域决定部在从根据帧间预测进行压缩的动态图像构成图像中的所述相关性高的特征区域的位置中偏离该被压缩的动态图像构成图像和帧间预测中的预测图像源的动态图像构成图像之间的所述相关性高的特征区域的位置差的该预测图像源的动态图像构成图像中的位置的附近区域中，决定用于计算在压缩包含在所述被压缩的动态图像构成图像中的所述特征区域中的图像时所用的所述运动矢量的所述运动矢量检索区域。
14.根据权利要求13所述的图像处理系统，其特征在于，
所述特征区域检测部从所述动态图像构成图像中检测出多个特征区域，
所述特征区域规定部对由所述特征区域检测部从所述动态图像构成图像中检测出的所述多个特征区域的各个特征区域规定所述相关性高的特征区域，
所述位置差计算部对由所述特征区域检测部从所述动态图像构成图像中检测到的所述多个特征区域的各个特征区域计算所述位置差，
所述检索区域决定部决定所述运动矢量检索区域，对由所述特征区域检测部从所述动态图像构成图像中检测到的所述多个特征区域的各个特征区域计算的所述位置差的最大值越小，所述运动矢量检索区域则越狭窄。
15.根据权利要求2所述的图像处理系统，其特征在于，所述检索区域决定部在所述位置差的大小大于预定值的情况下，决定被预定了宽度的所述运动矢量检索区域。
16.根据权利要求2所述的图像处理系统，其特征在于，所述压缩部还在所述特征区域和所述特征区域以外的区域中以不同的强度来压缩所述动态图像。
17.根据权利要求2所述的图像处理系统，其特征在于，
还具备条件获取部，用于获取包含在所述特征区域中的目标应该符合的条件，
所述特征区域检测部检测出包含符合于由所述条件获取部所获取的条件的目标的区域来作为所述特征区域。
18.根据权利要求3所述的图像处理系统，其特征在于，
还具备条件获取部，获取表示包含在所述特征区域中的目标应该符合的形状的条件，
所述特征区域检测部检测出包含其形状为符合由所述条件获取部所获取的条件所示形状的目标的区域来作为所述特征区域。
19.根据权利要求5所述的图像处理系统，其特征在于，
还具备阈值获取部，获取所述特征区域中的图像内容的一致性的阈值，
所述特征区域规定部将图像内容的一致性大于所述阈值的所述特征区域规定为所述相关性高的特征区域。
20.根据权利要求6所述的图像处理系统，其特征在于，还具备阈值获取部，获取所述特征区域中的大小的一致性的阈值，
所述特征区域规定部将大小的一致性大于所述阈值的所述特征区域规定为所述相关性高的特征区域。
21.根据权利要求7所述的图像处理系统，其特征在于，还具备阈值获取部，获取与所述特征区域的位置相关的相关值的阈值，
所述特征区域规定部将关于动态图像构成图像中的所述特征区域的位置，具有大于所述阈值的相关值的所述特征区域规定为所述相关性高的特征区域。
22.根据权利要求15所述的图像处理系统，其特征在于，还具备阈值获取部，获取所述位置差的阈值，
所述检索区域决定部在所述位置差的大小大于所述阈值的情况下，决定预定宽度的所述运动矢量检索区域。
23.一种图像处理方法，其特征在于，包括：
特征区域检测步骤，从包含在动态图像中的多个动态图像构成图像的各个动态图像构成图像中检测特征区域；
特征区域规定步骤，规定所述多个动态图像构成图像之间相关性高的特征区域；
位置差计算步骤，计算在所述特征区域规定步骤中所规定的所述相关性高的特征区域之间的位置差；
检索区域决定步骤，决定运动矢量检索区域，所述位置差的大小越小，则所决定的运动矢量检索区域越狭窄；以及
压缩步骤，使用通过在所述检索区域决定步骤所决定的运动矢量检索区域内进行检索而算出的运动矢量来压缩所述动态图像。
CN2009801124600A 2008-04-08 2009-04-02 图像处理系统、图像处理方法 Active CN101990762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-100542 2008-04-08
JP2008100542A JP5239095B2 (ja) 2008-04-08 2008-04-08 画像処理システム、画像処理方法、およびプログラム
PCT/JP2009/001555 WO2009125561A1 (ja) 2008-04-08 2009-04-02 画像処理システム、画像処理方法、およびプログラムを記憶する媒体

Publications (2)

Publication Number Publication Date
CN101990762A CN101990762A (zh) 2011-03-23
CN101990762B true CN101990762B (zh) 2013-04-03

Family

ID=41161698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801124600A Active CN101990762B (zh) 2008-04-08 2009-04-02 图像处理系统、图像处理方法

Country Status (4)

Country Link
US (1) US20110019741A1 (zh)
JP (1) JP5239095B2 (zh)
CN (1) CN101990762B (zh)
WO (1) WO2009125561A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650515A (zh) * 2012-07-09 2018-10-12 株式会社尼康 解码装置及图像压缩装置
CN102868891B (zh) * 2012-09-18 2015-02-18 哈尔滨商业大学 基于支持向量回归多视角视频色差校正方法
JP2014219724A (ja) * 2013-05-01 2014-11-20 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
US11082715B2 (en) * 2017-09-29 2021-08-03 Nikon Corporation Video compression apparatus, electronic apparatus, and video compression program
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US20220124256A1 (en) * 2019-03-11 2022-04-21 Nokia Technologies Oy Conditional display of object characteristics
CN112509146B (zh) * 2020-11-23 2023-06-20 歌尔科技有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
JP2002051342A (ja) * 2000-08-04 2002-02-15 Canon Inc 符号化装置及び符号化方法並びに記憶媒体
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
JP2004072311A (ja) * 2002-08-05 2004-03-04 Fuji Photo Film Co Ltd 撮像装置
JP4214738B2 (ja) * 2002-08-16 2009-01-28 ソニー株式会社 画像処理装置
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US20050163221A1 (en) * 2004-01-14 2005-07-28 Matsushita Electric Industrial Co., Ltd. Motion vector detecting device
JP4671696B2 (ja) * 2004-01-14 2011-04-20 パナソニック株式会社 動きベクトル検出装置
US7782998B2 (en) * 2004-12-21 2010-08-24 General Electric Company Method and apparatus for correcting motion in image reconstruction
WO2008057285A2 (en) * 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
JP2008141740A (ja) * 2006-11-07 2008-06-19 Fujifilm Corp 撮影装置および方法並びにプログラム
US20080181457A1 (en) * 2007-01-31 2008-07-31 Siemens Aktiengesellschaft Video based monitoring system and method
US8218025B2 (en) * 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2002-51342A 2002.02.15
JP特开2004-72311A 2004.03.04
JP特开2004-78522A 2004.03.11

Also Published As

Publication number Publication date
US20110019741A1 (en) 2011-01-27
CN101990762A (zh) 2011-03-23
JP2009253746A (ja) 2009-10-29
WO2009125561A1 (ja) 2009-10-15
JP5239095B2 (ja) 2013-07-17

Similar Documents

Publication Publication Date Title
CN101990757B (zh) 图像处理系统、图像处理方法、以及存储程序的介质
CN101990762B (zh) 图像处理系统、图像处理方法
CN101755461B (zh) 图像处理设备、图像处理方法
CN102405638B (zh) 图像处理装置及图像处理方法
WO2009122760A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
CN113196761A (zh) 用于评估视频的主观质量的方法及装置
CN1825976B (zh) 译码数字影像序列的方法及装置
US20110019910A1 (en) Image processing system
CN111062314A (zh) 图像选取方法、装置、计算机可读存储介质及电子设备
US11636626B2 (en) Apparatus and method of using AI metadata related to image quality
JP2013051737A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5337970B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5156982B2 (ja) 画像処理システム、画像処理方法、およびプログラム
US20230326086A1 (en) Systems and methods for image and video compression
JP2009273116A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2009125578A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP4961582B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5105179B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5142204B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN117714697B (zh) 数字人视频显示方法及设备
JP5337969B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP5082142B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2009273117A (ja) 画像処理システム、画像処理方法、およびプログラム
JP2009253742A (ja) 画像処理システム、画像処理方法、およびプログラム
CN117319685A (zh) 基于云边协同的多屏幕图像实时优化上传方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant