CN102405638B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN102405638B
CN102405638B CN201080017665.3A CN201080017665A CN102405638B CN 102405638 B CN102405638 B CN 102405638B CN 201080017665 A CN201080017665 A CN 201080017665A CN 102405638 B CN102405638 B CN 102405638B
Authority
CN
China
Prior art keywords
image
characteristic area
image processing
parameter
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080017665.3A
Other languages
English (en)
Other versions
CN102405638A (zh
Inventor
亀山祐和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102405638A publication Critical patent/CN102405638A/zh
Application granted granted Critical
Publication of CN102405638B publication Critical patent/CN102405638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种图像处理装置，具备：图像获取部，获取输入图像；第1图像处理部，使用预先决定的图像处理参数来生成将输入图像进行高画质化的规定画质图像；显示部，显示规定画质图像；特征区域指定部，指定输入图像中的多个特征区域；参数决定部，对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进一步高画质化的图像处理参数；第2图像处理部，使用参数决定部所决定的图像处理参数来生成将多个特征区域的图像分别进行高画质化的多个高画质特征区域图像；以及显示控制部，在显示部进行显示的规定画质图像中的多个特征区域中显示多个特征区域图像。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置、图像处理方法以及计算机可读介质。
背景技术
公知有如下技术：在分辨率变换时，在原图像的每个区域应用有关所对应的被摄体特性学习后的分辨率变换规则的技术(例如，参照专利文献1。)。另外，有如下公知技术(例如，参照专利文献2。)：并行地执行高分辨率的动态图像的解码和低分辨率的动态图像的解码，直到规定的分辨率的动态图像的解码完成为止，放大低分辨率的动态图像并进行代用的技术。
专利文献1：国际公开第2006-59504号小册子
专利文献2：日本特开2003-224846号公报
发明内容
发明要解决的课题
存在如下课题：当没有对每个特征区域恰当地选择高画质化处理时将导致运算量变多，导致直到显示高画质的图像为止所花费的时间变长。
用于解决课题的手段
为了解决上述课题，在本发明的一方式中提供一种图像处理装置，其具备：图像获取部，获取输入图像；第1图像处理部，使用预先决定的图像处理参数来生成将输入图像进行高画质化的规定画质图像；显示部，显示规定画质图像；特征区域指定部，指定输入图像中的多个特征区域；参数决定部，对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进一步高画质化的图像处理参数；第2图像处理部，使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行高画质化的多个高画质特征区域图像；以及显示控制部，在显示部进行显示的规定画质图像中的多个特征区域中显示多个高画质特征区域图像。
参数决定部可以根据多个特征区域的各自的图像的重要度，而对多个特征区域的每个特征区域决定图像处理参数。参数决定部可以决定将重要度更大的特征区域以更大的强度进行高画质化的图像处理参数。
参数决定部可以根据多个特征区域的各自的图像的特征的种类，而对多个特征区域的每个特征区域决定图像处理参数。参数决定部可以根据多个特征区域内拍摄的被摄体的种类，而对多个特征区域的每个特征区域决定图像处理参数。
参数决定部可以根据在第2图像处理部中将多个特征区域分别进行高画质化所需的处理所需量，来决定图像处理参数。参数决定部可以在处理所需量更小的情况下，决定以更大的强度进行高画质化的图像处理参数。
参数决定部可以在多个特征区域的面积更小的情况下，决定以更大的强度进行高分辨率化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行高分辨率化的多个高画质特征区域图像。
图像获取部可以获取包含在动态图像中的多个输入图像，参数决定部可以根据动态图像的帧频来决定图像处理参数。
参数决定部可以在动态图像的帧频更小的情况下，决定以更大的强度进行高画质化的图像处理参数。
参数决定部可以在多个特征区域的像素数更少的情况下，决定以更大的强度进行高画质化的图像处理参数。
参数决定部可以根据作为在第2图像处理部中允许的处理量的可处理容量，决定图像处理参数。参数决定部可以在可处理容量更小的情况下，决定以更大的强度进行高画质化的图像处理参数。
参数决定部可以为多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行高分辨率化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行高分辨率化的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行多灰阶数化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行多灰阶数化的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行多色数化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行多色数化的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行低噪声化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行低噪声化的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行低伪影化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行低伪影化的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定降低多个特征区域的各自的图像的模糊的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成降低了将多个特征区域的图像的各自的模糊的多个高画质特征区域图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行清晰化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成将多个特征区域的图像分别进行清晰化的多个高画质特征区域图像。
图像获取部可以获取包含在动态图像中的多个输入图像。
参数决定部可以对多个特征区域的每个特征区域决定将多个特征区域的各个进行高帧频化的图像处理参数，第2图像处理部使用参数决定部所决定的图像处理参数，来生成进行高帧频化的多个高画质特征区域图像。
此外，上述的发明的概要没有列举本发明的必要特征的全部。另外，这些特征群的子组合还能够构成发明
附图说明
图1是表示与一个实施方式有关的图像处理系统10的一个例子的图。
图2是表示图像处理装置120的模块结构的一个例子的图。
图3是表示压缩部240的模块结构的一个例子的图。
图4是表示图像处理装置170的模块结构的一个例子的图。
图5是表示压缩部240的模块结构的其它一个例子的图。
图6是表示特征区域指定部203的模块结构的一个例子的图。
图7是表示特征区域指定部203中的特征区域的指定处理的一个例子的图。
图8是表示特征区域指定部203中的特征区域的指定处理的其它一个例子的图。
图9是表示第2特征区域指定部620的特征区域的判断处理的一个例子的图。
图10是表示图像处理装置170所具有的图像处理部330的模块结构的一个例子的图。
图11是以表格形式表示参数保存部1010进行保存的参数的一个例子的图。
图12是表示指定参数的加权的一个例子的图。
图13是表示显示装置180的模块结构的一个例子的图。
图14是表示显示区域1400的一个例子的图。
图15是表示与其它实施方式有关的图像处理系统20的一个例子的图。
附图标记说明
10：图像处理系统；20：图像处理系统；80：记录介质；100：摄像装置；102：摄像部；104：摄像图像压缩部；110：通信网络；120：图像处理装置；130：人物；140：移动体；150监视对象空间；160：空间；165：空间；170：图像处理装置；175：图像DB；180：显示装置；201：压缩动态图像获取部；202：压缩动态图像解压缩部；203：特征区域指定部；206：处理部；207：输出部；210：压缩控制部；232：图像分割部；234：固定值化部；236：压缩处理部；240：压缩部；250：图像获取部；280：外部信息获取部；301：图像获取部；302：解析部；310：解压缩控制部；320：解压缩部；322：解码器；330：图像处理部；380：外部信息获取部；510：画质变换部；520：差分处理部；522：阶层间差分处理部；530：编码部；532：编码器；610：第1特征区域指定部；620：第2特征区域指定部；622：部分区域判断部；624：特征区域判断部；630：区域推定部；640：高画质化区域决定部；650：参数保存部；660：图像生成部；700：摄像图像；710、722：区域；720：图像；800：摄像图像；804：图像处理部；810：区域；820：高画质图像；900：图像区域；910：部分区域；1000：图像生成部；1010：参数保存部；1020：属性指定部；1030：指定目标区域检测部；1040：参数选择部；1050：权重决定部；1060：参数生成部；1200：图像；1210、1220、1230、1250：区域；1300：图像获取部；1310：第1图像处理部；1320：特征区域指定部；1330：参数决定部；1340：显示控制部；1350：第2图像处理部；1380：外部信息获取部；1390：显示部；1400：显示区域；1410：特征区域的区域；1412：规定画质图像；1414：高画质图像；1420：特征区域的区域；1422：规定画质图像；1424：高画质图像；1430：特征区域的区域；1432：规定画质图像；1434：高画质图像。
具体实施方式
下面，通过发明的实施方式来说明本发明，但是下面的实施方式并非限定与权利要求范围有关的发明。另外，不一定在实施方式中进行说明的特征的组合的全部都是发明的解决手段所必须的。
图1表示与一个实施方式有关的图像处理系统10的一个例子。如下所述，图像处理系统10作为一个例子能够作为监视系统而发挥功能。
图像处理系统10具备：拍摄监视对象空间150的多个摄像装置100a-d、处理通过摄像装置100进行拍摄的摄像图像的图像处理装置120、通信网络110、图像处理装置170、图像DB175、以及多个显示装置180a-d。图像处理装置170设置在与监视对象空间150不同的空间165。另外，显示装置180设置在与监视对象空间150以及空间165不同的空间160。
在以下的说明中，有时把摄像装置100a以及摄像装置100b总称为摄像装置100。另外，有时将显示装置180a-b总称为显示装置180。同样，在以后的说明中，通过将末尾的英文字母等与数字符号连接的文字省略，来总称由数字符号所指的内容。
摄像装置100a具有摄像部102a以及摄像图像压缩部104a。摄像部102a通过连续拍摄监视对象空间150来拍摄出多个摄像图像。此外，由摄像部102a获得的摄像图像可以是RAW形式的摄像图像。摄像图像压缩部104a使由摄像部102a拍摄的RAW形式的摄像图像同步化，根据MPEG编码等压缩包含同步化获得的多个摄像图像的动态图像，生成动态图像数据。由此，摄像装置100a对拍摄监视对象空间150所获得的动态图像进行编码，生成动态图像数据。摄像装置100a将该动态图像数据输出到图像处理装置120中。
此外，摄像装置100b、摄像装置100c以及摄像装置100d分别具有与摄像装置100a相同的结构，因此省略摄像装置100b、摄像装置100c以及摄像装置100d的各结构要素的说明。由此，图像处理装置120从多个摄像装置100的各个中获取分别由多个摄像装置100的各个生成的动态图像数据。
图像处理装置120通过对从摄像装置100获取的动态图像数据进行解码后得到动态图像。图像处理装置120从包含在所获取的动态图像中的多个摄像图像的各个中，分别检测特征种类不同的多个特征区域，比如拍摄人物130的区域、拍摄车辆等移动物体140的区域等。而且，图像处理装置120以与特征种类相应的强度来压缩特征区域的图像，并且以强于压缩各个特征区域的图像的压缩强度的强度来压缩特征区域以外的区域的图像。
此外，图像处理装置120生成特征区域信息，该特征区域信息包含用于指定从摄像图像检测到的特征区域的信息。而且，图像处理装置120将特征区域信息附带在压缩动态图像数据中，通过通信网络110发送给图像处理装置170。
图像处理装置170从图像处理装置120中接收与特征区域信息对应的压缩动态图像数据。而且，图像处理装置170也可以对应于与压缩动态图像数据相对应的特征区域信息，将该压缩动态图像数据记录在图像DB 175中。此外，图像DB 175可以在硬盘等非易失性记录介质中存储压缩动态图像数据。这样，图像DB 175存储被压缩的摄像图像。
而且，图像处理装置170也可以根据来自显示装置180的请求，从图像DB 175中读出压缩动态图像数据和特征区域信息，通过利用特征区域信息来解压缩所读出的压缩动态图像数据从而生成显示用动态图像，并通过通信网络110发送给显示装置180。显示装置180显示从图像处理装置170接收的显示用动态图像。
另外，图像处理装置170利用特征区域信息，将从图像处理装置120中获取的压缩动态图像数据解压并生成显示用动态图像，存储在图像DB 175中。此时，图像处理装置170也可以让图像DB 175与特征区域信息对应地存储显示用动态图像。另外，图像处理装置170也可以根据来自显示装置180的请求，从图像DB 175中读出显示用动态图像，与特征区域信息共同发送给显示装置180。
另外，显示装置180可以从图像处理装置170或图像处理装置120接收特征区域信息及压缩动态图像数据。显示装置180将所接收的压缩动态图像数据进行解码并让显示装置180表示时，将经过解码得到的撮像图像中的特征区域暂时单纯扩大，让显示装置180表示。显示装置180，可以按照在显示装置180的处理容量决定各特征区域的画质，并按照所决定的画质，使特征区域的图像实现高画质。显示装置180用高画质化后的特征区域的图像替换在显示装置180显示的撮像图像中的特征区域的图像，让显示装置180显示。
还有，特征区域信息，可以是包含特征区域的位置、特征区域的大小、特征区域的数目、识别特征区域被检测出的撮像图像的识别信息等的文本数据，或对该文本数据进行了压缩、加密等处理的数据。并且，图像处理装置170，根据特征区域信息包含的特征区域的位置、特征区域的大小、特征区域的数等，指定满足种种检索条件的撮像图像。并且，图像处理装置170，通过将特别指定的撮像图像解码并提供给显示装置180，而让显示装置180显示。
由此，根据图像处理系统10，可与动态图像对应而记录表示特征区域的信息，因此能够高速地检索、提示动态图像中符合规定条件的摄像图像群，确定起始位置。另外，根据图像处理系统10，能够只对符合规定条件的摄像图像群进行解码，因此能够当即响应再现指示而快速地显示符合规定条件的部分动态图像。
再者，记录介质80，存储着图像处理装置120、图像处理装置170、显示装置180用的程序。记录介质80保存的程序提供给作为本实施方式涉及的图像处理装置120、图像处理装置170、显示装置180而分别发挥功能的计算机等的电子信息处理装置。该计算机具有的CPU，按照该程序的内容进行工作，控制该计算机的各部分。CPU实行的程序使该计算机具有本图以及以后的图中说明的图像处理装置120、图像处理装置170、显示装置180等的功能。
作为记录介质80，除了CD-ROM以外，还可以列举出DVD或PD等光学记录介质，MO或MD等光磁记录介质，带介质或硬盘装置等磁记录介质，半导体存储器，磁存储器等。同时，在与专用通信网络或互联网连接的服务器系统中设置的硬盘或RAM等存储装置也可以作为记录介质80而发挥作用。
图2表示图像处理装置120的模块结构的一个例子。图像处理装置120具备图像获取部250、特征区域指定部203、外部信息获取部280、压缩控制部210、压缩部240、对应处理部206、以及输出部207。图像获取部250具有压缩动态图像获取部201和压缩动态图像解压缩部202。
压缩动态图像获取部201获取被压缩的动态图像。具体地说，压缩动态图像获取部201获取由摄像装置100所生成的被编码的动态图像数据。压缩动态图像解压缩部202解压缩由压缩动态图像获取部201所获取的动态图像数据，生成包含在动态图像中的多个摄像图像。具体地说，压缩动态图像解压缩部202对由压缩动态图像获取部201所获取的被编码的动态图像数据进行解码，提取包含在动态图像中的多个摄像图像。此外，包含在动态图像中的摄像图像可以是帧图像也可以是场图像。
将通过压缩动态图像解压缩部202而得到的多个摄像图像提供给特征区域指定部203和压缩部240。特征区域指定部203从包含多个摄像图像的动态图像中检测特征区域。具体地说，特征区域指定部203从多个摄像图像的各个中检测特征区域。
例如，特征区域指定部203检测出在动态图像中图像内容变化的图像区域而作为特征区域。具体地说，特征区域指定部203将包含运动目标的图像区域作为特征区域检测。此外，特征区域指定部203可以从多个摄像图像的各个中检测出特征种类不同的多个特征区域。此外，所谓的特征种类，可以是如人物和移动物体等那样把目标种类作作为指标进行分类的种类。目标种类可以是根据目标的形状或者目标的颜色的一致性来决定。由此，特征区域指定部203可以从多个摄像图像中检测出所包含的目标的种类不同的多个特征区域。
比如，特征区域指定部203可以分别从多个摄像图像的各个中提取以预定的一致度以上的一致度与预定的形状图案一致的目标，并检测出包括所提取的目标的摄像图像中的区域作为特征种类相同的特征区域。此外，形状图案可以对每个特征种类规定多个。另外，作为形状图案的一个例子，可以示例出人物的脸形状图案。此外，还可以指定多个人物的每个不同的脸的图案。由此，特征区域指定部203能够检测出分别包含不同的人物的不同区域来作为不同的特征区域。
此外，除了上述的人物的脸之外，特征区域指定部203还能够将包含人物的头部或者人物的手等人体的一部分部位、或者人体以外的活体中至少局部部位的区域作为特征区域检测。此外，活体包含如活体内部的血管等那样存在于活体内部的特定组织。当图像处理系统10是内窥镜系统的情况下等，对活体内部的图像进行处理时，作为存在于活体内部的特定组织，可以是活体内部的肿瘤组织等的细胞群、蛋白质、DNA以及RNA等活体高分子、以及活体低分子等。除此之外，除了活体之外，特征区域指定部203还可以将拍摄有药物等化合物及蛋白质、货币、银行卡等卡片、车辆、或者车辆牌照的区域作为特征区域而检测出来。此外，特征区域指定部203可以将被复印机等的扫描仪设备扫描后的文档的字符、图、表格、照片等作为特征区域而检测出来。特征区域指定部203除了这些目标外，还可以检测出如纹理之类，作为图像信息存在统计偏差的群体的区域而作为特征区域。特征区域指定部203能够将这样的各种对象作为特定区域检测对象。
另外，除了基于模板匹配等的图案匹配之外，特征区域指定部203还能够根据基于例如日本特开2007-188419号公报所述的机器学习(例如AdaBoost)等的学习结果来检测特征区域。例如，使用从预定的被摄体图像中提取的图像特征量、以及从预定的被摄体以外的被摄体图像中提取的图像特征量，学习从预定被摄体的图像中提取的图像特征量的特征。而且，特征区域指定部203可以将提取了具有符合该学习的特征的特征的图像特征量的区域检测作为特征区域。
此外，特征区域指定部203可以以日本专利申请2008-078641号所述的方法来检测特征区域。例如，特征区域指定部203将目标检测对象的摄像图像通过以规定比率来进行间取、或者通过以该规定比率来阶段性地进行间取，生成包含摄像图像和大于等于一张的间取图像的图像群。并且，特征区域指定部203对生成的图像群中的相对小的第1图像使第1过滤器作用来计算出评价值。这里，第1过滤器通过作用在图像上的二维地扩大的区域，生成表示在该区域内有特定种类的目标存在的概率的评价值。另外，第1过滤器可以是如下过滤器：与图像上的区域的宽度相对应的像素数以规定比率不同、或者以该规定比率阶段性地不同的、包含分别作用于多个宽度的区域的多个过滤器的过滤器群中的、作用于相对窄的区域的过滤器。多个宽度的区域例如可以是32×32像素的区域、16×16像素的区域、以及8×8像素的区域。特征区域指定部203从第1图像中提取获得超过规定的第1阈值的评价值的一次候补区域。
并且，特征区域指定部203在像素数比第1图像多一层的第2图像中的与一次候补区域相当的区域使第2过滤器作用来计算出评价值，该第2过滤器作用在比过滤器群中的第1过滤器还宽一层的区域。并且，特征区域指定部203提取获得超过规定的第2阈值的评价值的二次候补区域。
这里，特征区域指定部203重复将作用于上述的不同宽度的区域的多个过滤器作用在图像群中相对应的宽度的区域来提取上述候补区域的提取过程。此时，特征区域指定部203从使作用于相对窄的区域的过滤器进行作用的提取过程依次重复使作用于相对宽的区域的过滤器进行作用的提取过程。具体地说，特征区域指定部203从使作用于相对窄的区域的过滤器对相对小的图像进行作用的提取过程朝着使作用于相对宽的区域的过滤器对相对大的图像进行作用的提取过程依次重复。并且，特征区域指定部203通过重复大于等于2的提取过程而最终提取候补区域来检测确定种类的目标。并且，特征区域指定部203将该确定种类的目标存在的区域检测为特征区域。这样，特征区域指定部203在后面的提取过程中，使过滤器限定在由刚刚之前的过程进行提取的区域来进行作用。因此，在多个各提取过程中依次挑选目标的存在的有无，能够更高精度地检测特征区域。另外，按照小尺寸的图像来进行特征区域的粗筛选，因此能够更高速地检测特征区域。
另外，特征区域指定部203可以用日本专利申请2008-078636号所述的方法来检测特征区域。例如，特征区域指定部203使用多个过滤器来检测特征区域，该多个过滤器作用于与摄像图像的二维地扩大的规定的宽度的区域，计算出特定种类的目标的轮廓以及内部中的相互不同的任一个特征量。具体地说，特征区域指定部203使该多个过滤器分别作用于目标检测对象的摄像图像上的规定的宽度的区域来计算出多个特征量。这里，在该多个过滤器中，将通过多个过滤器各自计算出的各特征量和表示作为特定种类的目标的概率的一次评价值的对应关系对应起来。特征区域指定部203根据该对应关系来获取与计算出的各特征量相对应的各一次评价值。并且，特征区域指定部203通过综合与多个过滤器相对应的多个一次评价值来获取表示在该区域内特定种类的目标存在的概率的二次评价值。例如，特征区域指定部203通过将一次评价值以规定的加权进行相加来获取二次评价值。并且，特征区域指定部203比较二次评价值与阈值，提取超过该阈值而特定种类的目标存在的概率高的区域。此外，作为过滤器能够例示：对规定位置的像素值取x方向的差分的过滤器、对规定位置的像素值取y方向的差分的过滤器、通过规定位置的像素值的差分运算来检测曲线的边缘的过滤器等。由此，特征区域指定部203将该区域检测为特定种类的目标存在的特征区域。这样，特征区域指定部203通过组合提取表示目标的轮廓/内部的各种特征的特征量的多个过滤器，例如与只由轮廓的形状的提取相比能够高精度地提取特征区域。
此外，特征区域指定部203可以根据日本专利申请2008-078636号所述的方法、和日本专利申请2008-078641号所述的方法进行组合的方法来检测特征区域。具体地说，与日本专利申请2008-078636号所述的方法关联而进行说明的上述的多个过滤器可以包含像素数以规定比率不同、或者以规定比率阶段性地不同的、分别作用于多个宽度的区域的、针对每1个宽度的多个过滤器。各过滤器的各个可以对应与该各过滤器各个相应的上述对应关系。并且，特征区域指定部203将目标检测对象的摄像图像通过以规定比率来进行间取、或者通过以规定比率来阶段性地进行间取，生成包含摄像图像和大于等于一张的间取图像的图像群。并且，特征区域指定部203通过使作用于相对窄的区域多个第1过滤器对图像群中的相对小的第1图像进行作用来计算出多个特征量。并且，特征区域指定部203根据与该多个第1过滤器各个相对应的对应关系来获取与计算出的各特征量相对应的各一次评价值。并且，特征区域指定部203通过综合多个一次评价值来获取表示在该区域内特定种类的目标存在的概率的二次评价值。并且，特征区域指定部203比较求出的二次评价值与第1阈值，提取超过该第1阈值而特定种类的目标存在的概率高的一次候补区域。
另外，特征区域指定部203通过使作用于比多个第1过滤器还宽一层的区域的多个第2过滤器对在像素数比上述图像群中的第1图像多一层的第2图像的与一次候补区域相当的区域进行作用来计算出多个特征量。并且，特征区域指定部203根据与该多个第2过滤器各个相对应的对应关系来获取与计算出的各特征量相对应的各一次评价值。并且，特征区域指定部203通过综合与多个第2过滤器相对应的多个一次评价值来获取表示在与该一次候补区域相当的区域内特定种类的目标存在的概率的二次评价值。并且，特征区域指定部203比较求出的二次评价值和第2阈值，提取超过第2阈值而特定种类的目标存在的概率高的二次候补区域。
这里，特征区域指定部203重复使作用于上述的不同宽度的区域的多个过滤器作用于图像群中的相对应的宽度的区域来提取上述候补区域的提取过程。此时，特征区域指定部203从使作用于相对窄的区域过滤器进行作用的提取过程开始依次重复使作用于相对宽的区域的过滤器进行作用的提取过程。具体地说，特征区域指定部203从使作用于相对窄的区域的过滤器对相对小的图像进行作用的提取过程朝着使作用于相对宽的区域的过滤器对相对大的图像进行作用的提取过程依次重复。并且，特征区域指定部203通过重复大于等于2的提取过程而最终提取候补区域来检测特定种类的目标。并且，特征区域指定部203将该特定种类的目标存在的区域检测为特征区域。
另外，特征区域指定部203可以以日本专利申请2008-098600号所述的方法来检测特征区域。例如，特征区域指定部203从包含在通过多个摄像装置100进行拍摄的动态图像中的多个摄像图像中检测特征区域。作为一个例子，设为摄像装置100a以及摄像装置100b拍摄相互相同的场景。例如，摄像装置100a以及摄像装置100b能够作为立体照相机而发挥功能。另外，在本说明中将摄像装置100a进行拍摄的第1摄像图像、和摄像装置100b进行拍摄的第2摄像图像称作成对图像。特征区域指定部203从成对图像中检测映现在该成对图像中的特定种类的目标，将检测出的特定种类的目标的区域检测为特征区域。
特征区域指定部203对被看作成对图像的第1以及第2各摄像图像，在各摄像图像上提取拍入了特定种类的目标的区域。这里，特征区域指定部203可以以粗的检测精度检测拍入了特定种类的目标的区域。例如，特征区域指定部203可以提取包含在各摄像图像的目标的尺寸，将拍入了大致相同的尺寸的目标的区域检测为拍入了特定种类的目标的区域。并且，特征区域指定部203通过从提取的第1摄像图像上的区域和第2摄像图像上的区域中检测相互对应的区域的成对来检测特定种类的目标。例如，特征区域指定部203计算出从该成对的区域的图像到拍入到该区域的被摄体为止的距离。例如，特征区域指定部203能够从相同被摄体的图像上的位置差计算出该距离。特征区域指定部203能够根据基于到被摄体为止的距离的被摄体的3维形状来检测特定种类的目标。
这里，特征区域指定部203在检测相互对应的区域的成对的情况下，将从视作成对图像的第1以及第2摄像图像检测出的、拍入了特定种类的目标的区域分为多个子区域。并且，特征区域指定部203计算出将映现在各子区域的部分图像添加特征的特征量的涉及多个子区域的矢量。这里，作为特征量能够例示像素值。另外，作为涉及多个子区域的矢量能够例示梯度矢量(例如，像素值梯度矢量)。并且，特征区域指定部203计算出被计算出的第1图像上的区域的矢量与第2图像上的矢量之间的逻辑上的距离。特征区域指定部203将逻辑上的距离比预先决定的值小的区域的成对检测为相互对应的区域的成对。此外，作为上述逻辑上的距离能够例示对于形成矢量的各成分彼此之间的差的平方和的平方根。由此，特征区域指定部203能够从成对图像高精度地提取相对应的区域的成对，因此能够高精度地计算出到被摄体为止的距离。因而，特征区域指定部203能够高精度地识别被摄体的3维形状，其结果，能够更高精度地检测确定种类的目标。
另外，特征区域指定部203可以根据日本专利申请2008-091562号所述的方法来检测特征区域。例如，特征区域指定部203从包含在动态图像中的多个摄像图像的各个中，伴随与特定种类的被摄体类似的类被摄体形状的尺寸和该摄像装置100的视角上的位置信息来提取该类被摄体形状。例如，特征区域指定部203在人物的头部为检测对象的情况下，与尺寸和视角上的位置信息一起提取上半部分的轮廓类似于半圆形的类被摄体形状。作为视角上的位置信息能够例示摄像图像中的图像区域上的位置。并且，特征区域指定部203判定提取的类被摄体形状的被摄体是否为特定种类的被摄体，来提取该特定种类的被摄体。例如，特征区域指定部203对从类被摄体形状的被摄体的周围的预先决定的检索区域检测出分类为相同尺寸的类被摄体形状的被摄体的个数进行计数，在该计数值大于等于阈值的情况下，可以将该类被摄体形状的被摄体提取为特定种类的被摄体。并且，特征区域指定部203可以将包含特定种类的被摄体的区域检测为特征区域。因此，特征区域指定部203能够将集中检测出与规定的尺寸接近的尺寸的被摄体的图像区域内的类被摄体形状的被摄体检测为特定种类的被摄体。并且，可以不将该图像区域以外的区域中的类被摄体形状的被摄体检测为特定种类的被摄体。因此，能够减低将该图像区域以外的区域中的类被摄体形状的被摄体误检测为特定种类的被摄体的概率。
此外，在摄像装置100能够使视角可变地进行拍摄的情况下，作为上述的视角上的位置信息能够例示摄像装置100的摄像方向以及摄像图像上的位置。另外，在能够通过多个摄像装置100来拍摄比一个摄像装置100进行摄像的视野宽的连续的视野的情况下，作为上述的视角上的位置信息能够例示多个摄像装置100的各自的摄像方向、以及通过多个摄像装置100的各个进行拍摄的摄像图像上的位置。
特征区域指定部203能够将拍摄了预先决定的被摄体的区域检测为特征区域。此外，特征区域指定部203可以检测具有包含矩形的任意形状的特征区域。
由此，特征区域指定部203从包含在多个动态图像的各个中的多个摄像图像中检测多个特征区域。并且，特征区域指定部203将表示检测出的特征区域的信息提供给压缩控制部210。此外，表示特征区域的信息包含：表示特征区域的位置的特征区域的坐标信息、表示特征区域的种类的种类信息、以及识别检测出特征区域的动态图像的信息。
压缩控制部210根据从特征区域指定部203获取的表示特征区域的信息来控制压缩部240的动态图像的压缩处理。压缩部240通过压缩控制部210的控制，如下面说明那样在摄像图像中的特征区域和摄像图像中的特征区域以外的区域中以不同强度来压缩摄像图像。例如，压缩部240通过使包含在动态图像中的摄像图像中的特征区域以外的区域的分辨率低于特征区域来压缩摄像图像。这样，压缩部240将摄像图像中的各图像区域的各个以与图像区域的重要度相应的强度来进行压缩。
此外，在特征区域指定部203检测出多个特征区域的情况下，压缩部240可以将摄像图像中的多个特征区域的图像分别以与特征区域的特征的种类相应的强度来进行压缩。例如，压缩部240可以将摄像图像中的多个特征区域的图像的分辨率减低为根据特征区域的特征的种类来决定的分辨率。
对应处理部206将指定从摄像图像检测出的特征区域的信息与摄像图像建立对应。具体地说，对应处理部206将指定从摄像图像检测出的特征区域的信息与作为动态图像构成图像包含摄像图像的压缩动态图像建立对应。并且，输出部207将通过对应处理部206与指定特征区域的信息相对应的压缩动态图像数据输出到图像处理装置170。
此外，外部信息获取部280从图像处理装置120的外部获取用于特征区域指定部203指定特征区域的处理的数据。特征区域指定部203使用外部信息获取部280所获取的数据来指定特征区域。关于外部信息获取部280所获取的数据参照图6进行说明。
图3表示压缩部240的模块构成的一个例子。压缩部240具有图像分割部232、多个固定值化部234a-c(以下，有时总称为固定值化部234)、及多个压缩处理部236a-d(以下，有时总称为压缩处理部236)。
图像分割部232，从图像获取部250取得多个摄像图像。然后，图像分割部232把多个摄像图像分割成特征区域和特征区域以外的背景区域。具体地说，图像分割部232把多个摄像图像分别分割成多个特征区域的每一个以及特征区域以外的背景区域。这样，图像分割部232，把多个摄像图像的各个分割成特征区域和背景区域。并且，压缩处理部236，分别以不同的强度压缩作为特征区域的图像的特征区域图像和作为背景区域的图像的背景区域图像。具体地说，压缩处理部236，分别以不同的强度压缩包含多个特征区域图像的特征区域动态图像和包含多个背景区域图像的背景区域动态图像。
更具体地说，图像分割部232通过分割多个摄像图像，而按照多个特征的种类的每一个生成特征区域动态图像。并且，固定值化部234，对于按照每个特征的种类生成的多个特征区域动态图像中包含的特征区域图像，分别将各自的特征的种类的特征区域以外的区域的象素值设定为固定值。具体地说，固定值化部234，将特征区域以外的区域的象素值设成预设的象素值。并且，压缩处理部236针对每个特征种类，压缩多个特征区域动态图像。比如，压缩处理部236，针对每个特征对多个特征区域动态图像进行MPEG压缩。
固定值化部234a、固定值化部234b和固定值化部234c，分别使第1特征的种类的特征区域动态图像、第2特征的种类的特征区域动态图像和第3特征的种类的特征区域动态图像设为固定值。并且，压缩处理部236a、压缩处理部236b和压缩处理部236c，压缩第1特征的种类的特征区域动态图像、第2特征的种类的特征区域动态图像和第3特征的种类的特征区域动态图像。
另外，压缩处理部236a-c，按照特征的种类，以预定的强度压缩特征区域动态图像。比如，压缩处理部236，将特征区域动态图像转换成按照特征的种类预先设定的不同分辩率的动态图像，并将已经转换的特征区域动态图像压缩。此外，压缩处理部236，在由MPEG编码而压缩特征区域动态图像时，可以以按照特征的种类预先设定的不同的量化参数压缩特征区域动态图像。
另外，压缩处理部236d压缩背景区域动态图像。另外，压缩处理部236d，可以用比压缩处理部236a-c的任何一个的压缩强度高的强度，压缩背景区域动态图像。被压缩处理部236压缩的特征区域动态图像及背景区域动态图像，被提供给对应处理部206。
另外，因为固定值化部234将特征区域以外的区域固定值化，所以在压缩处理部236通过MPEG编码等进行预测编码时，能够在特征区域以外的区域中显著地降低与预测图像之间的图像差分量。因此，压缩部240能够以更高的压缩率压缩特征区域动态图像。
此外，在本图的构成中，压缩部240所具有的多个压缩处理部236的各个分别压缩多个特征区域的图像以及背景区域的图像，但是在其它方式中，压缩部240可以具有一个压缩处理部236，一个压缩处理部236可以分别以不同的强度压缩多个特征区域的图像以及背景区域的图像。例如，多个特征区域的图像以及背景区域的图像分时依次提供给一个压缩处理部236，一个压缩处理部236可以分别以不同的强度依次压缩多个特征区域的图像以及背景区域的图像。
除此之外，一个压缩处理部236可以通过以不同的量化系数分别量化多个特征区域的图像信息以及背景区域的图像信息，而分别以不同的强度压缩多个特征区域的图像以及背景区域的图像。另外，可以将多个特征区域的图像以及背景图像的图像分别变换为不同画质的图像并将变换后的图像提供给一个压缩处理部236，而由一个压缩处理部236分别压缩多个特征区域的图像以及背景区域的图像。另外，如上述那样一个压缩处理部236对每个区域以不同的量化系数进行量化、或由一个压缩处理部236来压缩对每个区域变换为不同的画质的图像的方式中，一个压缩处理部236可以压缩一个图像全体，也可以如本图中所说明，分别压缩由图像分割部232分割的图像。此外，在一个压缩处理部236压缩一个图像全体的情况下，可以不进行图像分割部232的分割处理以及固定值化部234的固定值化处理，因此压缩部240也可以不具有图像分割部232以及固定值化部234。
图4表示图像处理装置170的模块结构的一个例子。图像处理装置170具备压缩图像获取部301、对应解析部302、解压缩控制部310、解压缩部320、外部信息获取部380、以及图像处理部330，解压缩部320具有多个解码器322a-d(以下总称为解码器322)。
压缩图像获取部301获取被图像处理装置170压缩的压缩动态图像。具体地说，压缩图像获取部301获取包含多个特征区域动态图像以及背景区域动态图像的压缩动态图像。更具体地说，压缩图像获取部301获取附带特征区域信息的压缩动态图像。
对应解析部302，将压缩动态图像分离成多个特征区域动态图像及背景区域动态图像和特征区域信息，将多个特征区域动态图像及背景区域动态图像提供给解压缩部320。同时，对应解析部302分析特征区域信息，对解压缩控制部310及图像处理部330供给特征区域的位置及特征的种类。
解压缩控制部310按照从对应解析部302取得的特征区域的位置及特征的种类，控制由解压缩部320进行的解压缩处理。比如，解压缩控制部310，按照特征区域的位置及特征的种类，根据压缩部230压缩了动态图像的各区域的压缩方式，让解压缩部320对压缩动态图像表示的动态图像的各区域进行解压缩。
解码器322，将被编码的多个特征区域动态图像及背景区域动态图像的其中一个解码。具体地说，解码器322a、解码器322b、解码器322c和解码器322d，分别将第一特征区域动态图像、第二特征区域动态图像、第3特征区域动态图像以及背景区域动态图像解码。
图像处理部330，合成被解压缩部320解压缩后的多个特征区域动态图像及背景区域动态图像，生成1个动态图像。具体地说，图像处理部330对背景区域动态图像中包含的摄像图像，通过合成多个特征区域动态图像中包含的摄像图像上的特征区域的图像，生成1个显示动态图像。图像处理部330可以生成特征区域比背景区域的画质高的显示动态图像。
而且，图像处理部330将从对应解析部302获取的特征区域信息以及显示动态图像输出到显示装置180或者图像DB 175中。此外，图像DB 175与识别包含在显示动态图像中的摄像图像的信息相对应而将特征区域信息所示的特征区域的位置、特征区域的特征种类、特征区域的数量记录在硬盘等非易失性存储介质中。
再者，外部信息获取部380，从图像处理装置170的外部取得图像处理部330中的图像处理所使用的数据。图像处理部330采用外部信息获取部380取得的数据进行图像处理。关于外部信息获取部380取得的数据，在图10中说明。
图5表示压缩部240的其他模块构成的一个例子。本构成中的压缩部240，通过与特征的种类对应的空间可分级(scalable)的编码处理，对多个摄像图像进行压缩。
本构成中的压缩部240具有画质变换部510、差分处理部520、和编码部530。差分处理部520包括多个阶层间差分处理部522a-d(以下，总称为阶层间差分处理部522)。编码部530包括多个编码器532a-d(以下，总称为编码器532)。
画质变换部510从图像获取部250取得多个摄像图像。此外，画质变换部510取得用于指定特征区域指定部203所检测出的特征区域的信息、及用于指定特征区域的特征的种类的信息。然后，画质变换部510通过复制摄像图像，生成特征区域的特征的种类数目的摄像图像。然后，画质变换部510将所生成的摄像图像转换成与特征的种类对应的分辨率的图像
例如，画质变换部510生成转换成与背景区域对应的分辨率的摄像图像(以下，称为低分辨率图像。)、转换成与第一特征的种类对应的第一分辨率的摄像图像(称为第一分辨率图像)、转换成与第二特征的种类对应的第二分辨率的摄像图像(称为第二分辨率图像)、及转换成与第三特征的种类对应的第三分辨率的摄像图像(称为第三分辨率图像)。另外，在这里，设第一分辨率图像比低分辨率图像的分辨率高，第二分辨率图像比第一分辨率图像的分辨率高，第三分辨率图像比第二分辨率图像的分辨率高。
然后，画质变换部510，分别向阶层间差分处理部522d、阶层间差分处理部522a、阶层间差分处理部522b、及阶层间差分处理部522c供给低分辨率图像、第一分辨率图像、第二分辨率图像、和第三分辨率图像。另外，画质变换部510，通过对多个摄像图像的各个摄像图像进行上述的画质变换处理，从而向各个阶层间差分处理部522供给动态图像。
另外，画质变换部510可以根据特征区域的特征的种类，转换向各个阶层间差分处理部522供给的动态图像的帧频。例如，画质变换部510可以向阶层间差分处理部522d供给比向阶层间差分处理部522a供给的动态图像的帧频低的动态图像。此外，画质变换部510可以将比向阶层间差分处理部522b供给的动态图像还低的帧频的动态图像提供给阶层间差分处理部522a。将比向阶层间差分处理部522c供给的动态图像还低的帧频的动态图像提供给阶层间差分处理部522b。另外，画质变换部510可以通过根据特征区域的特征的种类对摄像图像进行间取，来转换对阶层间差分处理部522供给的动态图像的帧频。
阶层间差分处理部522d和编码器532d，对包括多个低分辨率图像的背景区域动态图像进行预测编码。具体而言，阶层间差分处理部522生成与由其他的低分辨率图像生成的预测图像的差分图像。然后，编码器532d将差分图像转换成空间频率分量后得到的变换系数进行量化后，将被量化得到的变换系数通过熵编码等进行编码。另外，这种预测编码处理可以按每个低分辨率图像的部分区域进行。
此外，阶层间差分处理部522a，对包括从画质变换部510供给的多个第一分辨率图像的第一特征区域动态图像进行预测编码。同样，阶层间差分处理部522b和阶层间差分处理部522c，对包括多个第二分辨率图像的第二特征区域动态图像及包括多个第三分辨率图像的第三特征区域动态图像分别进行预测编码。以下，对阶层间差分处理部522a及编码器532a具体的动作加以说明。
阶层间差分处理部522a，对由编码器532d进行编码后的第一分辨率图像进行解码，将解码后的图像扩大成与第一分辨率同样的分辨率的图像，然后，阶层间差分处理部522a生成扩大后的图像与低分辨率图像之间的差分图像。这时，阶层间差分处理部522a将背景区域的差分值设置为0。然后，编码器532a与编码器532d同样地将差分图像编码。另外，由阶层间差分处理部522a及编码器532a进行的编码处理，可以按每个第一分辨率图像的部分区域来实施。
另外，阶层间差分处理部522a在对第一分辨率图像编码时，比较当将与低分辨率图像之间的差分图像进行了编码时预测的代码量、和当将与从其他的第一分辨率图像生成的预测图像之间的差分图像进行了编码时预测的代码量。在后者的代码量小的情况下，阶层间差分处理部522a生成与从其他的第一分辨率图像生成的预测图像之间的差分图像。另外，在预测出以不取与低分辨率图像或预测图像的差分的方式进行编码会使代码量变小的情况下，阶层间差分处理部522a可以不取与低分辨率图像或预测图像之间的差分。
另外，阶层间差分处理部522a也可以不将在背景区域的差分值设置为0。在这种情况下，编码器532a也可以将对在特征区域以外的区域的差分信息进行编码后的数据设置为0。例如，编码器532a可以将转换为频率分量之后的变换系数设置为0。并且，阶层间差分处理部522d进行了预测编码时的运动矢量信息被提供给阶层间差分处理部522a，阶层间差分处理部522a可以采用由阶层间差分处理部522d所供给的运动矢量信息来计算预测图像用的运动矢量。
另外，阶层间差分处理部522b和编码器532b的动作，除了编码第二分辨率图像之处、和在编码第二分辨率图像时有时取与基于编码器532a的编码后的第一分辨率图像的差分之处以外，阶层间差分处理部522b和编码器532b的动作与阶层间差分处理部522a和编码器532a的动作大体上相同，所以省略说明。同样，阶层间差分处理部522c和编码器532c的动作，除了编码第三分辨率图像之处、和在编码第三分辨率图像编码时有时取与基于编码器532b的编码后的第二分辨率图像的差分之处以外，与阶层间差分处理部522a和编码器532a的动作大体上相同，所以省略说明。
如以上说明的那样，画质变换部510，由多个摄像图像的每一个摄像图像，生成将画质降低成低画质之后的低画质图像、及至少在特征区域中比低画质图像画质高的高画质的特征区域图像。然后，差分处理部520生成特征区域差分图像，该特征区域差分图像表示特征区域图像中的特征区域的图像与低画质图像中的特征区域的图像之间的差分图像。然后，编码部530分别对特征区域差分图像及低画质图像进行编码。
此外，画质变换部510生成由多个摄像图像降低了分辨率的低画质图像，差分处理部520生成特征区域图像中的特征区域的图像和将低画质图像中的特征区域的图像放大后的图像之间的特征区域差分图像。此外，差分处理部520生成在特征区域中具有将特征区域图像和扩大后的图像之间的差分转换成空间频域的空间频率分量、且在特征区域以外的区域中降低了空间频率分量的数据量的特征区域差分图像。
如以上所说明，压缩部240通过对分辨率不同的多个阶层间的图像的差分进行编码来阶层性地进行编码。如从中可明确，根据本结构的压缩部240的压缩方式的一部分，显然包含基于H.264/SVC的压缩方式。此外，在图像处理装置170解压缩这种被阶层化的压缩动态图像的情况下，解码各阶层的动态图像数据，对通过阶层间差分进行编码的区域，根据与在取得差分的阶层进行解码的摄像图像的加法处理，能够生成原分辨率的摄像图像。
图6表示特征区域指定部203的模块结构的一个例子。特征区域指定部203具有：第1特征区域指定部610、第2特征区域指定部620、区域推定部630、高画质化区域决定部640、参数保存部650、以及图像生成部660。第2特征区域指定部620包含部分区域判断部622以及特征区域判断部624。
第1特征区域指定部610从图像获取部250获取作为包含在动态图像中的动态图像构成图像的摄像图像。第1特征区域指定部610从摄像图像指定特征区域。第1特征区域指定部610可以通过使用与图2关联而作为特征区域指定部203的动作进行说明的特征区域的检测方法来检测特征区域，从摄像图像指定特征区域。
图像生成部660从摄像图像生成将没有通过第1特征区域指定部610指定为特征区域的区域中的被指定为特征区域的可能性更高的区域更高画质化的高画质图像。第2特征区域指定部620从高画质图像中探索特征区域。第1特征区域指定部610以及第2特征区域指定部620所指定的特征区域都作为特征区域指定部203所指定的特征区域提供给压缩控制部210。
此外，第2特征区域指定部620可以从高画质图像中比第1特征区域指定部610更详细地探索特征区域。例如，第2特征区域指定部620可以由比第1特征区域指定部610指定特征区域的检测精度更高精度地检测特征区域的检测器来实现。更具体地说，在第1特征区域指定部610以及第2特征区域指定部620由检测特征区域的检测器实现的情况下，可以由能够比作为第1特征区域指定部610进行实现的检测器的检测精度更高精度地进行检测的检测器来实现第2特征区域指定部620。
此外，第2特征区域指定部620可以从输入图像比第1特征区域指定部610更详细地探索特征区域。例如，第2特征区域指定部620可以由比第1特征区域指定部610指定特征区域的检测精度更高精度地检测特征区域的检测器来实现。更具体地说，在第1特征区域指定部610以及第2特征区域指定部620由检测特征区域的检测器来实现的情况下，可以由能够比实现第1特征区域指定部610的检测器的检测精度更高精度地进行检测的检测器来实现第2特征区域指定部620。
此外，图像生成部660可以从摄像图像中生成将没有通过第1特征区域指定部610指定为特征区域的区域中被指定为特征区域的可能性更高的区域更优先地进行高画质化的高画质图像。另外，图像生成部660可以通过对于摄像图像的图像处理来生成高画质图像。
另外，图像生成部660可以在第1特征区域指定部610指定了特征区域之后，从摄像图像中生成将没有通过第1特征区域指定部610指定为特征区域的区域中被指定为特征区域的可能性更高的区域更高画质化的高画质图像。这里，“没有通过第1特征区域指定部610指定为特征区域的区域”可以是如下区域：在第1特征区域指定部610进行指定的阶段中，没有通过第1特征区域指定部610指定为特征区域。在这种情况下，通过第2特征区域指定部620来再次探索特征区域。
除此之外，“没有通过第1特征区域指定部610指定为特征区域的区域”还可以是如下区域：在第1特征区域指定部610没有进行指定的阶段中，预测不会由第1特征区域指定部610指定。例如，在第1特征区域指定部610将符合预先决定的条件的区域检测为特征区域的情况下，“没有通过第1特征区域指定部610指定为特征区域的区域”可以是不符合该条件的区域。图像生成部660可以在第1特征区域指定部610没有指定特征区域的阶段中生成高画质图像。
此外，在本模块图中以不同功能模块来表示第1特征区域指定部610以及第2特征区域指定部620，但是当然能够以单一的功能要素来实现。例如，第1特征区域指定部610以及第2特征区域指定部620能够将特征区域检测用的电气回路等的硬件要素、特征区域检测用的软件等的软件要素等至少共有一部分。
此外，在上述中，以图像生成部660生成将输入图像进行高画质化的图像的情况为例进行了说明，但是图像生成部660可以生成比设为第1特征区域指定部610指定特征区域的特征区域指定处理的对象的图像更高画质的图像并提供给图像生成部660。例如，在第1特征区域指定部610对输入图像施以规定的图像处理来指定特征区域的情况下，图像生成部660可以生成比通过该图像处理所获得的图像更高画质的图像并提供给第2特征区域指定部620。
这里，本实施方式中的高画质图像只要是比第1特征区域指定部610用于特征区域指定处理的图像更高画质的图像即可，还包含比输入图像更高画质的图像和比输入图像更低画质的图像中的任一种。这样，图像生成部660从输入图像中生成将没有通过第1特征区域指定部610指定为特征区域的区域变更为与指定为特征区域的可能性相应的画质的高画质图像。另外，图像生成部660可以生成与指定为特征区域的可能性相应的精度的画质的高画质图像。此外，本实施方式中的高画质图像能够视作本发明中的画质变更图像的一个例子。
区域推定部630在摄像图像中推定应该指定为特征区域的区域。例如，在特征区域指定部203应该将在动态图像中移动的目标的区域指定为特征区域的情况下，区域推定部630推定在动态图像中移动的目标存在的区域。例如，区域推定部630根据从作为包含在相同的动态图像中的动态图像构成图像的其它大于等于1的摄像图像中提取的移动的目标的位置、拍摄了其它摄像图像的时间等，推定移动的目标所存在的位置。并且，区域推定部630可以将包含所推定的位置的规定大小的区域推定为在动态图像中移动的目标存在的区域。
在这种情况下，第1特征区域指定部610从摄像图像中的区域推定部630进行推定的区域中将移动的目标的区域指定为特征区域。并且，图像生成部660可以生成将区域推定部630进行推定的区域中没有通过第1特征区域指定部610指定为移动的目标的区域的区域成为更高画质的高画质图像。
由此，在从移动的目标存在的可能性高的区域没有能够检测出移动的目标的情况下，能够通过再探索提取移动的目标的可能性得到提高。这样，能够减低在特征区域指定部203中产生特征区域的检测遗漏的概率。
部分区域判断部622判断在指定的图像区域中存在于预先决定的位置的大于等于1的部分区域的图像是否分别符合预先决定的条件。并且，特征区域判断部624根据部分区域判断部622的判断结果来判断指定的图像区域是否为特征区域。例如，在判断指定的图像区域是否为特征区域的情况下，部分区域判断部622对指定的图像区域上的不同的多个部分区域的各个判断是否分别符合预先决定的条件。并且，特征区域判断部624在获得否的判断结果的部分区域的数比预先决定的值小的情况下，判断指定的图像区域为特征区域。
在判断指定的图像区域是否为特征区域的情况下，第2特征区域指定部620对在该指定的图像区域中存在于预先决定的位置的大于等于1的部分区域通过上述的处理来进行判断的情况下，在图像生成部660生成将该指定的图像区域进行高画质化的高画质图像的情况下，可以将该大于等于1的部分区域进行高画质化。由此，能够只将对特征区域检测处理有效的区域进行高画质化，因此能够减低与特征区域的再检测处理有关的运算量。
此外，高画质化区域决定部640决定图像生成部660进行高画质化的区域。具体地说，高画质化区域决定部640将图像生成部660进行高画质化的区域在该区域确定为特征区域的可能性更低的情况下决定得更宽。图像生成部660生成将高画质化区域决定部640所决定的区域更高画质的高画质图像。由此，能够提高通过再探索提取移动的目标的可能性，能够减低在特征区域指定部203中产生特征区域的检测遗漏的概率。
参数保存部650与从图像提取的特征量对应起来保存为了将该图像进行高画质化而使用的图像处理参数。并且，图像生成部660使用与符合从高画质化的对象区域中提取的特征量的特征量对应起来由参数保存部650进行保存的图像处理参数，来生成将高画质化的对象区域进行高画质化的高画质图像。参数保存部650可以将通过将提取了相互类似的特征量的多个图像用作教师图像的学习而计算出的图像处理参数，与代表该类似的特征量的特征量对应起来进行保存。此外，作为图像处理参数，可以是应该相加到高画质化对象的图像数据的具有更高的频率区域的空间频率成分的图像数据。除此之外，作为图像处理参数，在将多个像素的像素值的数据或者多个特征量成分的数据设为输入数据的情况下，还能够例示在表示高画质图像的数据中变换了输入数据的矢量、矩阵、张量、n维混合正态分布、n维混合多项分布等。此外，这里的n设为大于等于1的整数。关于图像处理参数，与图像处理装置170的动作关联而进行后述。
外部信息获取部280从外部获取参数保存部650进行保存的图像处理参数以及特征量的至少一个。参数保存部650保存外部信息获取部280所获取的图像处理参数以及特征量的至少一个。
图7表示特征区域指定部203中的特征区域的指定处理的一个例子。这里，说明指定摄像图像700中的特征区域的处理。
第1特征区域指定部610对摄像图像700的多个图像区域计算出向预先决定的条件的符合度。并且，第1特征区域指定部610将在摄像图像中向预先决定的条件的符合度比第1阈值大的区域710-1以及区域710-2指定为特征区域。
并且，高画质化区域决定部640选择在摄像图像中与预先决定的条件的符合度小于等于第1阈值且大于第2阈值的区域710-3以及区域710-4。并且，高画质化区域决定部640将包含区域710-3、与对于上述条件的区域710-3的图像的符合度相应的大小的区域710-5决定为图像生成部660的高画质化的对象区域。另外，高画质化区域决定部640将包含区域710-4、与对于上述条件的区域710-4的图像的符合度相应的大小的区域710-6决定为图像生成部660的高画质化的对象区域。
在本图例中，假设相对于区域710-4计算出比区域710-3更小的符合度，高画质化区域决定部640将以更大的放大率放大了区域710-4后的区域710-6决定为图像生成部660的高画质化的对象区域。这样，高画质化区域决定部640将以与符合度相应的放大率对与条件的符合度比预先决定的第2阈值更大的区域放大而获得的区域，决定为图像生成部660的高画质化的对象区域。
并且，第2特征区域指定部620从进行高画质化的区域710-5以及区域710-6的图像中探索特征区域。第2特征区域指定部620可以通过与第1特征区域指定部610相同的处理，从进行高画质化的区域710-5以及区域710-6的图像中探索符合上述条件的区域。这里，第2特征区域指定部620判断为在进行高画质化的区域710-5的图像720中区域722符合上述条件。在这种情况下，除了第1特征区域指定部610所指定的区域710-1以及区域710-2之外，特征区域指定部203将与图像720上的区域722相对应的区域710-7指定为特征区域。
这样，图像生成部660从摄像图像中生成将没有通过第1特征区域指定部610指定为特征区域的区域中与规定的条件的符合度更大的区域成为更高画质的高画质图像。具体地说，图像生成部660生成没有通过第1特征区域指定部610指定为特征区域的区域中与上述条件的符合度比预先决定的第2阈值大的区域成为更高画质的高画质图像。由此，能够提高从作为特征区域的可能性高的区域提取特征区域的可能性，能够减低产生特征区域的检测遗漏的概率。
如以上说明那样，除了通过第1特征区域指定部610指定为特征区域的区域以及高画质化的对象区域的区域，决定为不是特征区域的非特征区域。此外，可以根据第1特征区域指定部610以及第2特征区域指定部620的特征区域的指定结果、事先的试验结果、或者事后的试验结果等，来设定第1阈值的值以使不是特征区域的区域被指定为特征区域的概率变得比预先决定的值大。由此，能够降低在第1特征区域指定部610指定为特征区域的区域中包含非特征区域的可能性。关于非特征区域也有时计算出与第1阈值接近的符合度，但是通过如上述那样设定第1阈值，能够减低导致这种区域误检测为特征区域的可能性。
另外，可以根据第1特征区域指定部610以及第2特征区域指定部620的特征区域的指定结果、事先的试验结果、或者事后的试验结果等，来设定第2阈值的值使得从特征区域计算出的符合度大于等于第2阈值。由此，能够减低在计算出小于等于第2阈值的符合度的区域中包含特征区域的可能性。关于特征区域也有时计算出与第2阈值接近的符合度，但是通过如上述那样设定第2阈值，能够减低导致这种区域设为非特征区域的可能性。
另一方面，根据第1阈值以及第2阈值的设定，具有在计算出比第2阈值大、小于等于第1阈值的符合度的区域中包含特征区域的可能性。根据特征区域指定部203，针对这种区域，进行高画质化之后通过第2特征区域指定部620来探索特征区域，因此能够适当地分开特征区域和非特征区域，还能够减低导致检测特征区域而受损的概率以及导致将非特征区域检测为特征区域的概率的任一个。这里，根据特征区域指定部203，能够提供灵敏度以及特异度都高的特征区域检测器。
此外，图像生成部660除了如上述那样以符合度与阈值的关系来决定高画质化处理的有无之外，可以生成将输入图像的至少一部的图像区域以与对于上述条件的符合度相应的高画质化精度来进行高画质化的高画质图像。在这种情况下，高画质化精度可以以与符合度相应的连续函数或者不连续函数来决定。
图8表示特征区域指定部203中的特征区域的指定处理的其它一个例子。这里，特别表示从动态图像中将移动的目标的区域指定为特征区域的情况下的特征区域指定部203的处理的一个例子。
通过第1特征区域指定部610或者第2特征区域指定部620，在摄像图像800-1以及摄像图像800-2中，将区域810-1以及区域810-2分别指定为特征区域。这里，设为在区域810-1以及区域810-2中存在拍摄了相同的被摄体的目标。
在这种情况下，区域推定部630根据区域810-1以及区域810-2的各自的图像上的位置、拍摄了摄像图像800-1以及摄像图像800-2的各个的定时、以及拍摄了摄像图像800-3的定时，在摄像图像800-3中，作为相同的被摄体的目标应该存在的区域来决定区域810-3。例如，区域推定部630根据区域810-1以及区域810-2的各自的图像上的位置、拍摄了摄像图像800-1以及摄像图像800-2的各个的定时，计算出移动的目标的图像区域上的速度，根据计算出的速度、区域810-2的位置、以及拍摄了摄像图像800-2的定时和拍摄了摄像图像800-3的定时之间的时间差，作为相同的被摄体的目标应该存在的区域来决定区域810-3。
第1特征区域指定部610从区域810-3中探索移动的目标。在通过第1特征区域指定部610没有从区域810-3检测出移动的目标的情况下，图像生成部660生成将区域810-3进行高画质化的高画质图像820-4。并且，第2特征区域指定部620从高画质图像820-4探索移动的目标。由此，能够提高从检测出移动的目标的可能性高的区域提取该目标的可能性，能够减低产生移动的目标的检测遗漏的概率。
此外，图像生成部660也可以生成将区域810-3内的更中央的区域更高画质化的高画质图像820-4。由此，关于移动的目标存在的概率低的区域，能够降低高画质化的强度。因此，在将整体以高强度来同样地进行高画质化的情况相比，有时能够减低与高画质化有关的运算量。
图9表示第2特征区域指定部620的特征区域的判断处理的一个例子。第2特征区域指定部620在判断指定的图像区域900是否为特征区域时，从位于图像区域900内的规定的位置关系的部分区域910-1～4中提取特征量。此时，第2特征区域指定部620从部分区域910的各个中提取根据图像区域900内的部分区域910的各自的位置来预先决定的种类的特征量。
第2特征区域指定部620对每个部分区域910计算出从部分区域910的图像中提取的特征量相对于预先决定的条件的的符合度。第2特征区域指定部620根据对每个部分区域910计算出的符合度来判断图像区域900是否为特征区域。第2特征区域指定部620可以在符合度的加权合计值比预先决定的值大的情况下，判断图像区域900为特征区域。另外，第2特征区域指定部620可以在计算出比预先决定的值大的符合度的部分区域910的数比预先决定的值大的情况下，判断图像区域900为特征区域。
此外，从上述的特征量的提取到符合度算出为止的处理能够通过图像过滤器来实现。另外，该处理能够由弱识别器实现。另外，部分区域910的位置可以根据应该提取为特征区域的目标的种类来决定。例如在应该将包含人物的面部的目标的区域检测为特征区域的情况下，部分区域910可以确定在对于人物的面部的目标的判别力变得比预先决定的值高的位置。所谓判别力高，可以理解为对于人物的面部的目标，判别结果为真的概率高，对于人物的面部以外的目标的判别结果为伪的概率高的意思。
这里，图像生成部660不将部分区域910以外的区域进行高画质化，只将部分区域910进行高画质化。并且，如上所述，第2特征区域指定部620从进行高画质化的图像中提取特征区域，判断图像区域900是否为特征区域。由此，能够限定进行高画质化的图像区域且提高特征区域的检测概率，或者能够高速且高概率地检测特征区域。此外，在上述的说明中说明了第2特征区域指定部620中的特征区域的判断处理，但是第1特征区域指定部610也可以通过相同的处理来判断是否为特征区域。
此外，第1特征区域指定部610以及第2特征区域指定部620中的处理能够通过多个弱识别器来实现。下面以使用全N个弱识别器来实现的情况为例进行说明。在第1特征区域指定部610中，使用Nf个弱识别器判别是否为特征区域。符合度是根据判别结果来计算出的，如上述那样，符合度比第1阈值大的区域决定为特征区域，符合度小于等于第2阈值的区域决定为非特征区域。
符合度小于等于第1阈值、且比第2阈值大的区域通过图像生成部660来进行高画质化。在第2特征区域指定部620中，使用第1特征区域指定部610所使用的Nf个弱识别器、和该Nf个弱识别器以外的Nb个弱识别器，来判别进行高画质化的图像是否为特征区域。例如，可以基于根据Nf+Nb个弱识别器的各判别结果计算出的符合度来判别是否是特征区域。
此外，可以对没有通过第1特征区域指定部610指定为特征区域的区域中根据比第1阈值小且比第2阈值大的第3阈值与符合度的比较结果而决定的多个区域，通过相互不同的处理指定特征区域。例如，可以不通过图像生成部660对计算出比第3阈值大的符合度的区域进行高画质化，在第2特征区域指定部620中通过Nf+Nb个弱识别器来判别是否为特征区域。另一方面，可以通过图像生成部660针对计算出小于等于第3阈值的符合度的区域进行更高画质化，在第2特征区域指定部620中通过Nf+Nb个弱识别器来判别是否为特征区域。
此外，在第2特征区域指定部620的处理中使用的弱识别器的数Nb可以根据符合度来进行调整。例如，符合度越小，越可以在第2特征区域指定部620中使用更多的弱识别器来判别是否为特征区域。如以上说明那样，第2特征区域指定部620可以符合度越低越是更详细地从画质变更图像中探索特征区域。此外，作为上述第1特征区域指定部610以及第2特征区域指定部620的至少一个中的弱识别器结构，能够例示Adaboost的弱识别器(弱分类器)结构。
此外，第1特征区域指定部610以及第2特征区域指定部620也可以从分别由多重分辨率表现构成的低分辨率图像群中检测特征区域。在这种情况下，图像生成部660可以通过比第1特征区域指定部610中的多重分辨率化更高精度地进行多重分辨率化来生成低分辨率图像群。作为第1特征区域指定部610中的多重分辨率化处理，能够例示双三次插值法(Bicubic法)的缩小处理。另外，作为第2特征区域指定部620中的多重分辨率化处理，能够例示基于事先学习的缩小处理。第2特征区域指定部620可以使用通过使用原尺寸的图像和目标分辨率的图像的学习而获得的图像处理参数，来从输入图像中生成低分辨率图像群。此外，在学习中更优选使用折返噪声更小的目标分辨率的图像。例如，能够将具有不同数的摄像元件的不同的摄像装置获得的图像用于学习。
此外，作为与图3、图6～图9关联而进行说明的高画质化处理，能够例示高分辨率化处理。即，图像生成部660可以生成将指定为特征区域的可能性更高的区域更高分辨率化的高画质图像。此外，作为高分辨率化处理，能够例示后面说明的超分辨处理。
另外，作为高画质化处理，能够例示增加灰阶数的多灰阶数化处理、增加色数的多色数化处理。即，图像生成部660可以生成把被指定为特征区域的可能性更高的区域进行更多灰阶数化而得到的高画质图像。另外，图像生成部660可以生成将被指定为特征区域的可能性更高的区域进行更多色数化的高画质图像。
此外，在成为高画质化的对象的摄像图像为动态图像的动态图像构成图像的情况下，在高分辨率化、多色数化、多灰阶数化、低噪声化、降低块状噪声以及蚊式噪声等的伪影(antifact)的伪影减低化、模糊减低化、清晰化、高帧频化、宽动态范围化、减低折返成分的缩小处理、色灰阶校正处理、像差失真校正处理、包含编码处理的变换处理等的高画质化处理中，也可以使用其它摄像图像的像素值来进行高画质化。例如，也可以通过使用摄像定时的不同引起的移动体的摄像位置的偏差来进行高画质化。即，图像生成部660可以使用作为包含在动态图像中的动态图像构成图像的摄像图像以及包含在该动态图像中的其它动态图像构成图像来生成高画质图像。
另外，作为低噪声化处理，除了使用多个动态图像构成图像的处理以外，还可以列举如日本特开2008-167949号公报、日本特开2008-167950号公报、日本特开2008-167948号公报，以及日本特开2008-229161号公报所记载的处理。例如，图像生成部660可以利用使用了噪声量较多的图像和噪声量较少的图像的事先学习的结果，减少噪声。例如，可以将作为噪音量较多的图像的低质量图像和噪音量较少的高质量图像作为一对，学习转换关系，使用所学的变换关系减少被摄体像的噪声。在如本实施方式那样减低用可见光进行摄像的图像的噪声量的情况下，能够代替如日本特开2008-167949号公报所述的、将用少线量摄像的图像用于事先学习，而将在更少的光量的环境光下进行摄像的图像用于事先学习。另外，在清晰化处理中，作为更高精度的清晰化处理，能够例示是使用了更大的过滤器尺寸的过滤器的处理、在更多的方向上进行清晰化的处理。
图10表示图像处理装置170所具有的图像处理部330的模块结构的一个例子。图像处理部330包含：参数保存部1010、属性指定部1020、指定目标区域检测部1030、参数选择部1040、权重决定部1050、参数生成部1060、以及图像生成部1000。
参数保存部1010与关于被摄体像的多个属性分别对应而保存将各自的属性的被摄体像分别进行高画质化的多个图像处理参数。属性指定部1020指定包含在输入图像中的被摄体像的属性。这里所说的输入图像可以是通过解压缩部320而获得的帧图像。参数选择部1040更优先地选择根据通过属性指定部1020指定的属性而与适合的属性对应起来由参数保存部1010进行保存的多个图像处理参数。图像生成部1000一起使用通过参数选择部1040进行选择的多个图像处理参数，来生成将包含在输入图像中的被摄体像进行高画质化的高画质图像。
这里，作为属性，能够例示被摄体的朝向等、被摄体的状态。即，参数保存部1010分别与表示拍摄为被摄体像的被摄体的状态的多个属性对应起来保存了多个图像处理参数。属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的被摄体的状态。
作为被摄体的状态，能够例示当进行摄像时的被摄体的朝向。即，参数保存部1010分别与表示拍摄为被摄体像的被摄体的朝向的多个属性对应起来保存了多个图像处理参数。属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的被摄体的朝向。被摄体的朝向可以是作为被摄体的一个例子的人物的面部的朝向。即，参数保存部1010分别与表示拍摄为被摄体像的人物的面部的朝向的多个属性对应起来保存了多个图像处理参数。属性指定部1020从该被摄体像中确定拍摄为包含在输入图像中的被摄体像的人物的面部的朝向。
除此之外，属性也可以是被摄体的类别。即，参数保存部1010分别与表示拍摄为被摄体像的被摄体的类别的多个属性对应起来保存了多个图像处理参数。属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的被摄体的类别。
这里，所谓被摄体的类别，可以是作为被摄体的人物的性别。即，参数保存部1010分别与表示拍摄为被摄体像的人物的性别的多个属性对应起来保存了多个图像处理参数。属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的人物的性别。除此之外，被摄体的类别也可以是人物的年龄。即，参数保存部1010分别与表示拍摄为被摄体像的人物的年龄的多个属性对应起来保存了多个图像处理参数。并且，属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的人物的年龄。除此之外，作为被摄体的类别，能够例示表情等。
除了被摄体的朝向、被摄体的类别之外，作为被摄体像的属性，能够例示摄像的被摄体的大小以及位置、摄像的人物的表情、摄像的人物的举动、摄像的人物的姿势、拍摄的人物的人种、摄像的人物穿着的穿着物、照明状态等。作为穿着物，能够例示眼镜、墨镜、面具、帽子等、人物穿着在头部的物件。参数保存部1010可以分别与包含这些各种属性中的至少任一个的多个属性对应起来保存多个图像处理参数。在这种情况下，属性指定部1020从该被摄体像中指定拍摄为包含在输入图像中的被摄体像的人物的相对应的属性。作为被摄体像的属性，能够包含这种各种模态。
权重决定部1050决定将包含在输入图像中的被摄体像进行高画质化的情况中对于多个图像处理参数的权重。并且，图像生成部1000根据权重决定部1050所决定的权重，一并使用通过参数选择部1040选择的多个图像处理参数，来生成将输入图像进行高画质化的高画质图像。此外，权重决定部1050可以对与比所指定的属性的符合度更大的属性对应的图像处理参数决定更大的权重。
参数生成部1060生成合成了参数选择部1040所选择的多个图像处理参数的合成参数。并且，图像生成部1000通过使用参数生成部1060所生成的合成参数，将包含在输入图像中的被摄体像进行高画质化，从而生成高画质图像。
此外，在上述中，说明根据被摄体的属性来生成图像处理参数。除此之外图像处理部330也可以在图像上改变高画质化的强度。
参数保存部1010保存作为为了将指定的目标的图像进行高画质化而使用的图像处理参数的指定参数、以及作为为了将没有指定目标的图像进行高画质化而使用的图像处理参数的非指定参数。如后面说明那样，非指定参数可以是不依赖于目标而具有一定程度高画质化的效果的通用的图像处理参数。
确定目标区域检测部1030从输入图像中检测作为指定目标的区域的指定目标区域。并且，权重决定部1050决定将检测出指定目标区域的输入图像进行高画质化的情况中的指定参数以及非指定参数的权重。图像生成部1000根据权重决定部1050所决定的权重，一并使用指定参数以及非指定参数，而生成将输入图像进行高画质化的高画质图像。
此外，指定目标可以是应该检测为特征区域的被摄体的目标。权重决定部1050对输入图像中的指定目标区域的图像决定对于指定参数的加权比非指定参数大的权重。由此，能够将应该检测为特征区域的指定目标整齐地进行高画质化。另外，权重决定部1050对作为指定目标区域以外的区域的非指定目标区域的图像决定对于非指定参数的加权比指定参数大的权重。由此，能够事先防止以指定的目标专用的图像处理参数进行高画质化处理。
此外，参数保存部1010保存通过将指定的目标的多个图像用为训练图像的学习来计算出的指定参数、以及通过将不是指定的目标的图像的多个图像用为训练图像的学习来计算出的非指定参数。由此，能够计算出指定为指定目标的指定参数。另外，能够计算出对于多种目标的通用的指定参数。
此外，在事先学习中，不是训练图像的亮度信息本身，而是优选学习利用了训练图像的边缘信息等的空间变化信息的图像处理参数。通过使用减低了低空间频率区域的信息的边缘信息，能够实现对于照明变动、特别是低频的照明变化具有鲁棒性的高画质化处理。
此外，参数生成部1060可以通过以权重决定部1050所决定的权重来合成非指定参数和指定参数，生成合成参数。图像生成部1000可以通过使用参数生成部1060所生成的合成参数将输入图像进行高画质化来生成高画质图像。
在上述的例子中，说明了使用根据属性指定部1020指定的被摄体的属性而选择的多个图像处理参数来生成高画质图像的情况的动作。除此之外，图像生成部1000也可以使用多个图像处理参数的不同组合来将包含在输入图像中的被摄体像进行高画质化。例如，图像生成部1000可以使用预先决定的多个图像处理参数的不同组合来将包含在输入图像中的被摄体像进行高画质化。并且，图像生成部1000可以从进行高画质化而获得的多个图像中根据与输入图像的比较来选择至少1个图像，并将选择的图像设为高画质图像。例如，图像生成部1000可以将进行高画质化而获得的多个图像中图像内容与输入图像更类似的图像更优先地选择为高画质图像。
此外，参数选择部1040可以根据从输入图像指定的被摄体的属性来选择多个图像处理参数的不同的组合。图像生成部1000可以使用选择的多个图像处理参数来将包含在输入图像中的被摄体像进行高画质化。并且，图像生成部1000也可以从进行高画质化而获得的多个图像中根据与输入图像的比较来选择至少1个图像，并将选择的图像设为高画质图像。
如以上说明那样，图像处理装置170能够使用图像处理参数来进行高画质化，该图像处理参数在参数保存部1010保存有受限的数量的图像处理参数也能够应对多种属性的被摄体的图像。
外部信息获取部380从外部获取参数保存部1010进行保存的图像处理参数。参数保存部1010保存外部信息获取部380所获取的图像处理参数。具体地说，外部信息获取部380从外部获取指定参数以及非指定参数的至少一个。参数保存部1010保存外部信息获取部380所获取的指定参数以及非指定参数的至少一个。
此外，作为高画质化，除了高分辨率化、多灰阶数化、多色数化之外，还能够例示低噪声化、低伪影化、模糊的减低化、清晰化、高帧频化等。参数保存部1010能够保存这些的各种高画质化处理用的图像处理参数。
图11以表格形式表示参数保存部1010进行保存的参数的一个例子。参数保存部1010将作为人物的面部用的图像处理参数的指定参数A0、A1···与面部的朝向对应起来进行保存。指定参数A0、A1是通过将相对应的面部的朝向的图像设为训练图像的事先学习来预先计算出的。
这里，以通过加权相加关注像素的周边像素的像素值而进行的高分辨率化处理为例来说明事先学习的指定参数A的计算处理。这里，假定为关注像素的像素值y是通过n个周边像素的像素值xi(其中，i＝1～n)的加权相加来计算出的。即假定为y＝Σ(wixi)。这里，Σ表示涉及i的相加。wi是对于周边像素的像素值xi的加权系数，加权系数wi成为应该通过事先学习来计算出的指定参数A。
将拍摄了特定的朝向的面部的m个面部图像作为训练图像使用。当设第k个(其中，k＝1～m)训练图像的关注像素的像素值为yk时，用yk＝Σwixki来表示。在这种情况下，能够通过最小二乘法等的运算处理计算出加权系数wi。例如，能够通过最小二乘法等的运算处理计算出将用ek＝yk-Σ(wixki)表示第k个成分ek的矢量的平方实际上最小化的wi。通过对多个面部朝向的面部图像进行上述的指定参数的计算处理，能够计算出与各面部朝向相对应的指定参数A。
另外，参数保存部1010对不是人物的面部的目标保存了非指定参数B。非指定参数B是通过将多种多样的被摄体的图像设为训练图像的事先学习来预先计算出。此外，非指定参数B能够通过与指定参数A相同的事先学习处理来计算出。例如，在计算出指定参数A的事先学习处理中，作为训练图像不是使用面部图像而是使用人物以外的图像，能够计算出非指定参数B。
图12表示指定参数的加权的一个例子。作为特征区域，设为图像1200内的粗线的内部的区域1210以及区域1220被检测为特征区域。权重决定部1050在特征区域的更内部的区域1210中将指定参数的权重系数决定为100％、非指定参数的权重系数决定为0％。另外，在比区域1210靠近非特征区域的区域1220中将指定参数的权重系数决定为80％、非指定参数的权重系数决定为20％。
另外，对于特征区域的外侧的区域，在特征区域的附近的区域1230中将指定参数的权重系数决定为50％、非指定参数的权重系数决定为50％。并且，在更外侧的区域1250中将指定参数的权重系数决定为0％、非指定参数的权重系数决定为100％。
这样，权重决定部1050对输入图像中的指定目标区域的更内侧的区域的图像，决定对于指定参数的加权更大的权重。另外，权重决定部1050对作为指定目标区域以外的区域的非指定目标区域的图像决定权重，越是接近指定目标区域，对于指定参数的加权越大。这样，权重决定部1050从特征区域的中心向外侧，从特征区域向非特征区域，使指定参数的权重系数阶段性地减少。另外，权重决定部1050除了阶段性地减少权重系数之外，也可以与离特征区域的中心的距离、或者离特征区域的周围区域等的距离成比例而连续地减少权重系数。例如，权重决定部1050可以决定使权重系数的值相对于距离x按照1/x、1/x2、e-x等函数减少等、相对于距离x乘幂地、或者指数函数地减少的值的权重系数。
此外，权重决定部1050也可以根据作为特征区域的检测可靠度来控制权重系数。具体地说，权重决定部1050对作为指定目标的区域的检测可靠度更大的指定目标区域的图像决定对于指定参数的加权更大的权重。
当设为在没有检测为特征区域的区域中存在指定目标时，有时将该区域以通用的非指定参数来进行高画质化也无法判别指定目标是否存在。根据图像处理部330，在没有检测为特征区域的区域中也进行具有指定目标用的指定参数的效果的高画质化处理，因此有时能够从进行高画质化的图像容易地判别指定目标是否存在。
此外，指定参数也可以是将与图11关联而进行说明的多个图像处理参数进行合成的图像处理参数。例如，设为在检测出的特征区域内包含从正面面部朝横向15°的人物的面部的图像。在这种情况下，权重决定部1050将对于指定参数A0的权重系数决定为25％，将对于指定参数A1的权重系数决定为75％。然后，参数生成部1060生成将指定参数A0和指定参数A1分别用25％和75％的权重系数合成后的合成参数。并且，画像生成部1000使用对参数合成部所生成的合成参数和非指定参数进行图12所图示的比例的加权后得到的图像处理参数进行高画质化。
例如，在使用通过周边像素的加权相加进行高画质化的图像处理参数(指定定参数或者非指定参数)的情况下，参数生成部1060可以将图像处理参数的权重系数以权重决定部1050所决定的权重系数来进行加权相加，计算出通过获得的加权系数表示的合成参数。作为可相加的图像处理参数，除了加权系数之外，还能够例示空间频率区域中的空间频率成分或者像素数据本身(例如，高频成分的图像数据)。
除此之外，在高画质化处理以相对于特征量矢量等的矢量运算、矩阵运算、或者张量运算来表示的情况下，参数生成部1060可以通过作为这些图像处理参数的矢量、矩阵、张量、n维混合正态分布、或者n维混合多项分布的加权相加或者相乘来生成合成参数。此外，这里的n设为大于等于1的整数。例如，通过在特征矢量空间中进行矢量插值，有时能够减轻在标量中无法表现的矢量上合成造成的模糊。例如，作为1例能够示出将对0°的朝向的特征矢量乘以系数0.25的特征矢量与对20°的朝向的特征矢量乘以系数0.75的特征矢量之和设为15°的朝向的特征矢量的运算。另外，有时通过在后述的各种变换(例如，主成分分析(PCA)、局部保存投影(LPP))的空间上进行插值能够进一步减轻合成模糊。此外，参数生成部1060能够从指定参数和非指定参数计算出合成参数。另外，参数生成部1060还能够从不同的多个指定参数中计算出合成参数。
此外，图像生成部1000在使用指定参数和非指定参数来生成高画质图像的情况下，可以通过将使用指定参数进行图像处理而获得的图像信息和使用非指定参数进行图像处理而获得的图像信息以权重决定部1050所决定的权重系数进行相加来生成高画质图像。除此之外，图像生成部1000也可以通过对使用指定参数进行图像处理而获得的图像信息，使用非指定参数来进行图像处理，而生成高画质图像。同样的处理能够应用于使用了多个指定参数的高画质化处理。此外，作为这里所说的图像数据能够例示像素值本身、特征量空间中的特征量矢量、矩阵、n维混合正态分布、n维混合多项分布等。例如，通过在特征矢量空间中进行矢量插值，有时能够减轻在标量中无法表现的矢量上合成造成的模糊。
此外，在参照图11以及图12进行说明的高画质化处理中，根据从特征区域内的图像中指定的人物的面部的朝向，通过参数选择部1040选择用于在将特征区域进行高画质化的情况的多个图像处理参数。并且，图像生成部1000使用通过参数选择部1040进行选择的多个图像处理参数生成1个高画质化图像。
除此之外，图像生成部1000也可以从图像生成部1000进行保存的图像处理参数的多个组合的各个中生成多个将特征区域进行高画质化的图像。并且，图像生成部1000可以将获得的多个图像中与特征区域内的图像最类似的图像生成为将特征区域进行高画质化的高画质图像。
例如，图像生成部1000使用与0°的朝向相对应的指定参数A0和与20°的朝向相对应的指定参数A1的合成参数来生成将特征区域的图像进行高画质化的图像。图像生成部1000还使用其它大于等于1的组合的指定参数的合成参数来生成将特征区域的图像进行高画质化的大于等于1的图像。
并且，图像生成部1000将生成的多个图像的各个与特征区域内的图像进行比较，计算出图像内容的一致度。图像生成部1000将生成的多个图像中获得了最高的一致度的图像决定为高画质图像。
此外，在生成将特征区域的图像进行高画质化的多个图像的情况下，图像生成部1000可以通过基于预先决定的指定参数的多个组的多个合成参数的各个来将特征区域内的图像进行高画质化。在这种情况下，可以不用进行属性指定部1020指定面部的朝向的处理，而由参数选择部1040选择预先决定的指定参数的多个组。
除此之外，参数选择部1040还可以根据从特征区域内的图像指定的人物的面部的朝向来选择多个指定参数的组。例如，参数选择部1040可以将确定指定参数的多个组的信息和确定人物的面部的朝向的信息对应起来进行存储，选择与从特征区域内的图像指定的人物的面部的朝向对应起来存储的指定参数的多个组。并且，也可以通过基于选择的多个组的多个合成参数的各个来将特征区域内的图像进行高画质化，生成多个将特征区域的图像进行高画质化的图像。
另外，在生成将特征区域的图像进行高画质化的多个图像的情况下，图像生成部1000也可以通过多个指定参数的各个来将特征区域内的图像进行高画质化。并且，图像生成部1000也可以将获得的多个图像中与特征区域内的图像最类似的图像生成为将特征区域进行高画质化的高画质图像。在这种情况下，也可以不进行属性指定部1020指定面部的朝向的处理，参数选择部1040选择预先决定的多个指定参数，也可以根据从特征区域内的图像指定的人物的面部的朝向来由参数选择部1040选择多个指定参数。
如参照图11进行说明的那样，能够从特定的面部朝向的训练图像中计算出将特定的面部朝向的面部图像进行高画质化的图像处理参数(指定参数)。关于其它的多个面部朝向，也能够通过分别同样地计算出图像处理参数来计算出与多个面部朝向的各个相对应的图像处理参数。并且，参数保存部1010将计算出的各自的图像处理参数与相对应的面部朝向对应起来预先进行保存。另外，作为将面部图像高画质化的图像处理参数，可以是将整个面部高画质化的图像处理参数，但是，还可以是将眼的图像、口的图像、鼻的图像、耳朵的图像等脸部图像图像中包含的至少一部分的目标高画质化的图像处理参数。
面部朝向是本发明中的被摄体的朝向的一个例子，关于被摄体的朝向，也可以与面部朝向同样地，计算出分别与多个被摄体的朝向相对应的多个图像处理参数。在被摄体为人物的情况下，作为被摄体的朝向能够例示人体的朝向，更具体地说能够将体部的朝向、手的朝向等例示为人体的朝向。另外，在被摄体为人物以外的情况下，也可以与面部图像同样地，计算出将拍摄了多个方向的被摄体的被摄体像分别进行高画质化的多个图像处理参数。
被摄体的朝向是本发明中的被摄体的状态的一个例子，被摄体的状态能够根据人物的表情来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数将表现出分别不同的特定的表情的面部的图像分别进行高画质化。例如，参数保存部1010进行保存的多个图像处理参数，将人物处于喜怒哀乐的各自的状态时的面部、人物处于紧张状态时的面部、人物的严肃的面部等进行高画质化。
另外，被摄体的状态能够根据人物的举动来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数将进行分别不同的特定的举动的状态的人物的图像进行高画质化。例如，参数保存部1010进行保存的多个图像处理参数将走着的状态的人物像、快走的状态的人物像、要走的状态的人物像、物色物体的状态的人物像等分别进行高画质化。
另外，被摄体的状态能够根据人物的姿势来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数将进行分别不同的特定的姿势的状态的人物的图像分别进行高画质化。例如，参数保存部1010进行保存的多个图像处理参数将弯着背的状态的人物像、手放在兜里的状态的人物像、抱着胳膊的状态的人物像、面部和身体的朝向不一致的状态的人物像等分别进行高画质化。
另外，被摄体的状态能够根据人物的穿着物来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数将穿着分别不同的特定的穿着物的状态的人物的图像分别进行高画质化。例如，参数保存部1010进行保存的多个图像处理参数能够将戴着眼镜的人物像、戴着墨镜的人物像、戴着面具的人物像、戴着帽子的人物像等分别进行高画质化。
如以上说明那样，与被摄体的多个状态相对应而将被摄体分类为多个属性。除此之外，被摄体还能够根据被摄体的类别来分类为多个属性。作为被摄体的类别能够例示人物的人种。作为人物的人种能够例示亚洲系的人种、欧洲系的人种等以地域进行分类的人种、以人类体格学(形質人類学)进行分类的人种等。在这种情况下，参数保存部1010进行保存的多个图像处理参数将分类为分别相对应的人种的人物的图像分别进行高画质化。
另外，作为被摄体的类别能够如男性/女性那样以人物的性别来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数将男性的图像或者女性等、相对应的性别的人物的图像分别进行高画质化。另外，作为被摄体的类别，能够以人物的年龄层来进行分类。在这种情况下，参数保存部1010进行保存的多个图像处理参数能够将十岁代的人物的图像、二十岁代的人物的图像等、相对应的年代的人物的图像分别进行高画质化。
在上述中根据例示的被摄体的类别、被摄体的多个状态、或者这些组合来规定被摄体像的属性。并且，参数保存部1010与规定的属性的各个对应起来预先保存将属于各属性的被摄体像进行高画质化的图像处理参数。通过参数保存部1010进行保存的图像处理参数，能够根据与各面部朝向用的图像处理参数的计算方法相同的方法来计算出。例如，在以表情来规定了属性的情况下，通过将拍摄了笑着的面部的多个图像作为训练图像进行事先学习，能够计算出将笑着的面部的图像进行高画质化的图像处理参数。关于愤怒的面部的图像等其它表情的图像，也可以分别通过同样地进行事先学习，计算出将各表情的面部图像分别进行高画质化的多个图像处理参数。关于根据举动、姿势、穿着物、人种、性别、年龄等来规定的各属性，也能够同样地计算出图像处理参数。
属性指定部1020通过例如根据Adaboost等将通过Boosting预先计算出的识别器应用于被摄体像，能够确定被摄体像的属性。例如，将拍摄了特定的朝向的面部的多个面部图像用为教师图像，通过Boosting处理统合弱识别器而生成识别器。根据在生成的识别器中应用了被摄体像的情况下所获得的对错的识别结果，能够判定是否为特定的面部朝向的面部图像。例如，在获得了对的识别结果的情况下，能够判定输入的被摄体像为特定的面部朝向的面部图像。
关于其它多个面部朝向，也可以同样地通过根据Boosting处理生成识别器，生成与各面部朝向分别相对应的多个识别器。属性指定部1020将这些多个识别器分别应用于被摄体像，能够根据从各识别器所获得的对错的识别结果来确定面部朝向。除了面部朝向之外，关于以表情、性别等来规定的其它大于等于1的属性，能够分别通过应用根据Boosting处理按每个属性所生成的识别器来确定。属性指定部1020能够通过除了Boosting的学习之外以线性判别法、高斯混合模型等各种方法按每个属性进行学习的识别器应用于被摄体像来确定属性。
图13表示显示装置180的模块结构的一个例子。显示装置180具有：图像获取部1300、第1图像处理部1310、特征区域指定部1320、参数决定部1330、显示控制部1340、第2图像处理部1350、外部信息获取部1380、以及显示部1390。
图像获取部1300获取输入图像。这里所说的输入图像可以是包含在从图像处理装置170接收的动态图像中的帧图像。第1图像处理部1310生成使用预先决定的图像处理参数将输入图像进行高画质化的规定画质图像。例如第1图像处理部1310在进行高分辨率化的情况下，使用单纯插值放大处理等、所需运算量比预先决定的值小的方式的图像处理参数生成规定画质图像。
显示控制部1340将第1图像处理部1310所生成的规定画质图像显示在显示部1390。这样，显示部1390显示规定画质图像。
特征区域指定部1320指定输入图像中的多个特征区域。特征区域指定部1320可以以显示部1390显示规定画质图像的状态来指定输入图像中的多个特征区域。此外，图像处理装置170可以将指定特征区域的信息在动态图像中作为附带信息进行附带并发送给显示装置180。特征区域指定部1320可以通过从图像获取部1300获取的动态图像的附带信息中提取指定特征区域的信息，来指定多个特征区域。
参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进一步高画质化的图像处理参数。例如，参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各自的图像以不同强度进行高画质化的图像处理参数。“以不同强度进行高画质化”可以意味着：以不同运算量进行高画质化、以单位面积上不同的运算量来进行高画质化、以不同的所需运算量的高画质化方式进行高画质化。
第2图像处理部1350使用参数决定部1330所决定的图像处理参数来生成将多个特征区域的图像分别进行高画质化的多个高画质特征区域图像。显示控制部1340在显示部1390进行显示的规定画质图像中的多个特征区域显示多个高画质特征区域图像。因此，显示控制部1340，在生成了高画质图像后的阶段，代替显示部1390已经显示的规定画质图像，而显示高画质图像。显示部1390因为能够快速生成并显示规定画质图像，所以用户可以基本上没有延迟地观察某程度的画质的监控影像。
参数决定部1330可以根据多个特征区域的各自的图像的重要度，对多个特征区域的每个特征区域决定图像处理参数。表示重要度的信息可以附带在上述附带信息中。另外，重要度可以根据特征区域的被摄体的类别来预先决定。被摄体的每个类别的重要度也可以由观察显示部1390的用户来进行设定。参数决定部1330决定将重要度更大的特征区域以更大的强度来进行高画质化的图像处理参数。因此，用户能够观察重要的特征区域为更高画质的图像。
参数决定部1330根据多个特征区域的各自的图像的特征的种类，对多个特征区域的每个特征区域决定图像处理参数。另外，参数决定部1330也可以根据拍摄在多个特征区域内的被摄体的种类，对多个特征区域的每个特征区域决定图像处理参数。这样，参数决定部1330可以根据被摄体的种类而直接地决定图像处理参数。
此外，参数决定部1330根据在第2图像处理部1350中将多个特征区域分别进行高画质化所需的处理所需量来决定图像处理参数。具体地说，参数决定部1330在处理所需量更小的情况下，决定以更大的强度进行高画质化的图像处理参数。
例如，参数决定部1330可以在多个特征区域的面积更小的情况下，决定以更大的强度进行高分辨率化的图像处理参数。并且，第2图像处理部1350使用参数决定部1330所决定的图像处理参数，来生成将多个特征区域的图像分别进行高分辨率化的多个高画质特征区域图像。另外，参数决定部1330可以在多个特征区域的像素数更少的情况下，决定以更大的强度进行高画质化的图像处理参数。
另外，参数决定部1330根据作为在第2图像处理部1350中允许的处理量的可处理容量来决定图像处理参数。具体地说，参数决定部1330可以在可处理容量更小的情况下，决定以更大的强度进行高画质化的图像处理参数。
因此，能够根据第2图像处理部1350可处理的运算量来控制高画质化的程度。因此，有时能够事先防止显示部1390的负荷由于高画质化处理而陷入过负荷、导致图像的显示被延迟。如果显示部1390的运算量中有冗余，则快速地生成高画质图像，因此能够进行观察。
如上述那样，作为高画质化能够例示高分辨率化。具体地说，参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行高分辨率化的图像处理参数。第2图像处理部1350使用参数决定部1330所决定的图像处理参数，来生成将多个特征区域的图像分别进行高分辨率化的多个高画质特征区域图像。这里，以大的强度来进行高分辨率化，包含高精度地进行高分辨率化、以及生成更多的像素数的高画质图像。
作为高画质化处理，包含多灰阶数化处理。具体地说，参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行多灰阶数化的图像处理参数。并且，第2图像处理部1350使用参数决定部1330所决定的图像处理参数，来生成将多个特征区域的图像分别进行多灰阶数化的多个高画质特征区域图像。
除此之外，作为高画质化处理还包含多色数化处理。具体地说，参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各自的图像进行多色数化的图像处理参数。并且，第2图像处理部1350使用参数决定部1330所决定的图像处理参数，来生成将多个特征区域的图像分别进行多色数化的多个高画质特征区域图像。
除此之外，作为高画质化，还能够例示低噪声化、低伪影化、模糊减低化、清晰化。关于这些的各种高画质化，也可以与高分辨率化等相同，参数决定部1330对多个特征区域的每个特征区域决定进行各种高画质化的图像处理参数，第2图像处理部1350使用参数决定部1330所决定的图像处理参数，生成将多个特征区域的图像分别进行各种高画质化的多个高画质特征区域图像。
此外，如上述那样，图像获取部1300可以将包含在动态图像中的多个动态图像构成图像获取为输入图像。参数决定部1330对多个特征区域的每个特征区域决定将多个特征区域的各个进行高帧频化的图像处理参数。并且，第2图像处理部1350可以使用参数决定部1330所决定的图像处理参数，来生成进行高帧频化的多个高画质特征区域图像。
此外，参数决定部1330根据动态图像的帧频来决定图像处理参数。具体地说，参数决定部1330在动态图像的帧频更小的情况下，可以决定以更大的强度进行高画质化的图像处理参数。第2图像处理部1350可以通过使用决定的图像处理参数将输入图像分别进行高画质化来生成高画质化的动态图像。此外，第2图像处理部1350的高画质化与图像处理装置170的高画质化相同，可以包含高分辨率化、多色数化、多灰阶数化、低噪声化、减低块状噪声以及蚊式噪声等的伪影的伪影减低化、模糊减低化、清晰化、高帧频化、宽动态范围化、减低折返成分的缩小处理、色灰阶校正处理、像差失真校正处理、包含编码处理的变换处理的概念，第2图像处理部1350通过这些处理能够生成高画质化图像。
这样，显示装置180能够根据应该高画质化的图像的数据量、能够分配给高画质化处理的运算量来决定高画质化的强度。根据显示装置180，能够将一定程度品质的图像快速地提供给用户、并且能够事先防止进行高画质化处理的图像的显示被极度地延迟。因此，能够事先防止显示装置180由于高画质化处理而变得过负荷，能够平滑地再现从图像处理装置170提供的动态图像。
此外，外部信息获取部1380从显示装置180的外部获取对每个特征区域决定图像处理参数的决定条件。参数决定部1330根据外部信息获取部1380所获取的决定条件，来对多个特征区域的每个特征区域决定图像处理参数。作为决定条件，能够例示以特征区域的重要度、特征区域的特征的种类、处理所需量、特征区域的面积、特征区域的像素数、可处理容量等为参数的条件。
图14表示显示区域1400的一个例子。显示区域1400设为是通过显示部1390显示输入图像的区域。这里，设从输入图像指定3个特征区域。这些特征区域的图像显示在显示区域1400中的特征区域的区域1410、特征区域的区域1420、以及特征区域的区域1430。
在图像获取部1300获取了输入图像的情况下，显示控制部1340将获取的输入图像直接显示在显示部1390的显示区域1400。
在显示了输入图像的状态下，第2图像处理部1350对各特征区域的图像实施单纯插值等的所需运算量比预先决定的值小的规定的高分辨率化处理，来生成各特征区域的图像的规定画质图像(第1高分辨率化阶段)。在该第1高分辨率化阶段中高分辨率化的强度不依赖于特征区域的像素数、帧频等图像的数据量、特征区域的重要度、被摄体的种类、以及第2图像处理部1350中的运算允许量等，第2图像处理部1350实施规定强度的高分辨率化处理。此外，将该规定强度的高分辨率化处理实施在输入图像的全域中所需的运算量，可以始终分配在第2图像处理部1350。
当第1高分辨率化阶段完成而生成规定画质图像1412、规定画质图像1422、以及规定画质图像1432时，显示控制部1340将规定画质图像1412、规定画质图像1422、以及规定画质图像1432分别显示在相对应的特征区域的区域1410、特征区域的区域1420、以及特征区域的区域1430。
在显示了规定画质图像1412、规定画质图像1422、以及规定画质图像1432的状态下，第2图像处理部1350以参数决定部1330对每个特征区域决定的强度来进行高分辨率化处理，生成各特征区域的图像的高画质图像(第2高分辨率化阶段)。在该第2高分辨率化阶段中，高分辨率化的强度是通过参数决定部1330所决定的强度，依赖于特征区域的像素数以及帧频等图像的数据量、特征区域的重要度、被摄体的种类、以及第2图像处理部1350中的运算允许量。
当第2高分辨率化阶段完成而生成高画质图像1414、高画质图像1424、以及高画质图像1434时，显示控制部1340将高画质图像1414、高画质图像1424、以及高画质图像1434分别显示在相对应的特征区域的区域1410、特征区域的区域1420、以及特征区域的区域1430。
这样，第2图像处理部1350根据与当前的负荷量、高画质化所需的运算量对应的强度来进行高分辨率化，因此能够在可提供的范围内将高画质的图像快速地提供给用户。
图15表示与其它实施方式有关的图像处理系统20的一个例子。本实施方式中的图像处理系统20的结构除了摄像装置100a-d分别具有图像处理部804a-d(下面，统称为图像处理部804。)的点之外，与图1中进行说明的图像处理系统10的结构相同。
图像处理部804具有包含在图像处理装置120中的结构要素中除了图像获取部250的结构要素。并且，包含在图像处理部804中的各结构要素的功能以及动作，除了代替包含在图像处理装置120的各结构要素处理通过压缩动态图像解压缩部202的解压缩处理所获得的动态图像而处理通过摄像部102进行摄像的动态图像的点之外，可以与包含在图像处理装置120中的各结构要素的功能以及动作大致相同。在这种结构的图像处理系统20中，也能够获得与涉及图1～图14与图像处理系统10关联而进行说明的效果相同的效果。
此外，图像处理部804可以从摄像部102获取包含以RAW形式表示的多个摄像图像的动态图像，将包含在获取的动态图像中的以RAW形式表示的多个摄像图像直接以RAW形式进行压缩。此外，图像处理部804可以从以RAW形式表示的多个摄像图像中检测大于等于1的特征区域。另外，图像处理部804可以压缩包含被压缩的RAW形式的多个摄像图像的动态图像。此外，图像处理部804能够将动态图像以与图1～图9关联而作为图像处理装置120的动作进行说明的压缩方法来进行压缩。另外，图像处理装置170能够通过解压缩从图像处理部804获取的动态图像来获取以RAW形式表示的多个摄像图像。图像处理装置170将通过解压缩而获取的以RAW形式表示的多个摄像图像分别对每个区域进行放大，对每个区域实施同步化(synchronisation)处理。此时，图像处理装置170可以在特征区域中实施比特征区域以外的区域更高精度的同步化处理。
此外，图像处理装置170可以对通过同步化处理所获得的摄像图像中的特征区域的图像实施超分辨处理。作为图像处理装置170中的超分辨处理，能够例示如日本特开2006-350498号公报所述那样的基于主成分分析的超分辨处理、或者如日本特开2004-88615号公报所述那样的基于被摄体的移动的超分辨处理。此外，日本特开2004-88615号公报所述的超分辨处理可以通过能够不限定在目标而使用的图像处理参数即非指定参数来实现。
此外，图像处理装置170可以对包含在特征区域中的每个目标实施超分辨处理。例如，在特征区域包含人物的面部图像的情况下，图像处理装置170对作为目标的一个例子的面部部位(例如，眼、鼻、口等)的每个实施超分辨处理。在这种情况下，图像处理装置170将如日本特开2006-350498号公报所述那样的模型等的学习数据按每个面部部位(例如，眼、鼻、口等)进行存储。并且，图像处理装置170可以使用对包含在特征区域中的每个面部部位选择的学习数据，来对各面部部位的图像实施超分辨处理。
此外，模型等的学习数据可以按多个表情、多个面部方向、多个照明条件的各自的每个组合进行存储。作为表情，包含处于喜怒哀乐的各自的状态时的面部、以及严肃的面部，作为面部方向包含正面、上方、下方、右方、左方、以及后方。作为照明条件，包含关于照明强度以及照明的方向的条件。图像处理装置170可以使用与面部的表情、面部方向、照明条件的组合相对应的学习数据，来对面部图像实施超分辨处理。
此外，面部的表情以及面部的方向能够根据包含在特征区域中的面部图像的图像内容来确定。另外，表情能够根据口以及/或者眼的形状确定，面部的方向能够根据眼、口、鼻、以及耳的位置关系等确定。另外，向面部的照明强度以及照明方向能够根据影的位置以及大小等、面部图像的图像内容来确定。此外，面部的表情、面部方向、照明条件可以在图像处理装置120中确定，从输出部207与图像对应起来发送确定的面部的表情、面部方向、照明条件。图像处理装置170可以使用与从输出部207接收的面部的表情、面部方向、照明条件相对应的学习数据来实施超分辨处理。
此外，作为模型等的学习数据，除了表现面部整体的模型之外，还能够使用面部的每个部位的模型。除此之外，还能使用各个性别以及/或者人种的面部的模型。作为模型不限于人物，能够按车辆、船舶等、成为监视对象的物体的类别保存模型。
这样，图像处理装置170能用主要成分分析(PCA)重新构成特征区域的图像。而且，作为由图像处理装置170进行的图像重构手法、及该图像重构用的学习方法，除通过主要成分分析(PCA)的学习及图像重构以外，还可以采用局部保存投影(locality preserving projection:LPP)，线形辨别分析(Linear Discriminant Analysis:LDA)，独立成分分析(Independent component analysis:ICA)，多维定标(multidimensionalscaling:MDS)，支持矢量回归(support vector regression)，神经网络(neural network)，隐式马尔可夫模型(hidden Markov model)，Bayes推论，最大事后概率推定，反复逆投影，小波变换(wavelet transform)，局部线形埋入(locally linear embedding:LLE)，马尔可夫随机场(Markovrandom field:MRF)等的手法。
同时，作为学习数据，除了如特开2006-350498号公报记载的模型以外，还可以包含从目标的多数的采样图像分别提取的目标的图像的低频成分以及高频成分。在这里，可以通过对多个目标的种类的各个将目标的图像的低频成分通过K-means法等来进行分组，在多个目标的种类的各个中目标的图像的低频成分被分组为多个组。另外，可以对各组的每个决定代表性的低频成分(例如，重心值)。
并且，图像处理装置170从包含在摄像图像中的特征区域中的目标的图像中提取低频成分。并且，图像处理装置170确定从提取的目标种类的目标的采样图像提取的低频成分的组中适合于提取的低频成分的值被决定为代表性的低频成分的组。并且，图像处理装置170确定与包含在确定的组中的低频成分对应起来的高频成分的组。由此，图像处理装置170能够确定与从包含在摄像图像中的目标提取的低频成分具有相关的高频成分的组。并且，图像处理装置170可以使用代表确定的高频成分的组的高频成分来将目标的图像变换为更高画质的高画质图像。例如，图像处理装置170可以以与从各目标的中心到面部上的处理对象位置为止的距离相应的权重来将对每个目标选择的该高频成分相加到目标的图像。此外，该代表的高频成分可以通过闭环学习来生成。这里，图像处理装置170从通过对各目标的每个进行学习而生成的学习数据中，对每个目标选择希望的学习数据来利用，因此有时能够将目标的图像以更高的精度进行高画质化。
此外，图像处理装置170也可以不通过K-means法等来进行分组，而使用存储的低频成分以及高频成分来将输入图像进行高画质化。例如，图像处理装置170存储作为从低分辨率的训练图像内的各片(Patch，补丁)提取的边缘成分的低分辨率边缘成分、和作为从高分辨率的训练图像内的各片提取的边缘成分的高分辨率边缘成分的成对。这些边缘成分可以存储为PCA等的特征空间上的矢量。
在将高画质化对象的输入图像进行高画质化的情况下，图像处理装置170从将输入图像以双三次等规定的方法进行放大而获得的放大图像中，对每片提取边缘成分。图像处理装置170围绕输入图像内的各片，在PCA等的特征空间上计算出被提取的边缘成分和存储的边缘成分之间的范数(norm)。图像处理装置170从存储的片中选择计算出比预先决定的值小的范数的多个片。并且，图像处理装置170对关注片以及其周围片，设定提取的边缘成分以及选择的多个片的高分辨率边缘成分的马尔可夫概率场。图像处理装置170通过将对每个关注片进行设定的马尔可夫概率场模型的能量最小化问题使用迭代信念传播法(LBP)等进行求解，从存储的高分辨率边缘成分中对每个关注片选择应该相加到各关注片内的图像的高分辨率边缘成分。图像处理装置170通过将对各片的每个选择的各高分辨率边缘成分相加到放大图像的各片的图像成分来生成高画质图像。
除此之外，图像处理装置170还能够使用多组的高斯混合模型(Gaussian mixture models)将输入图像进行高画质化。例如，将低分辨率的训练图像内的各片的图像矢量、和高分辨率的训练图像内的各片的图像矢量设为学习数据。使用从低分辨率的训练图像内的各片的图像矢量求出的组矢量，通过EM算法等来计算出与高斯混合模型中的各组相对应的密度分布的平均以及分散、以及对于各组的权重。图像处理装置170将这些的平均、分散、以及权重存储为学习数据。在将高画质化对象的输入图像进行高画质化的情况下，图像处理装置170使用输入图像内的各片的图像矢量、从该图像矢量求出的组矢量、存储为学习数据的平均、分散、以及权重来生成高画质图像。
除此之外，图像处理装置170还能够使用从输入图像提取的轮廓信息来只从输入图像生成高画质图像。例如，图像处理装置170在将从输入图像提取的轮廓付近的指定的图像区域进行高分辨率化的情况下，通过将包含在沿着该轮廓的其它区域中的像素的像素值配置在指定的图像区域内，能够生成将指定的图像区域进行高分辨率化的高画质图像。例如，图像处理装置170根据包含在其它区域中的像素的位置与轮廓的位置之间的位置关系来决定对指定的图像区域内的哪个位置配置该像素的像素值，通过在决定的位置配置该像素值，能够将指定的图像区域进行高分辨率化。
此外，图像处理装置170可以将使用了这种轮廓信息的高分辨率化处理限定于在输入图像中包含边缘的边缘区域的附近来实施。对于边缘区域以外的图像区域，可以通过过滤器方式等来进行高分辨率化。例如，图像处理装置170可以对提取了小于等于规定量的边缘量的平坦区域使用过滤器方式来进行高分辨率化。图像处理装置170可以对提取了比规定量更大的边缘量的纹理区域，通过对使用过滤器方式进行高分辨率化的图像加以修正使得满足从输入图像生成的条件来进行高分辨率化。
此外，如以上说明那样，使用了低频成分以及高频成分的高画质化处理、使用了高斯混合模型、以及轮廓信息的高分辨率化处理能够利用在将没有指定目标的图像进行高画质化的情况。参数保存部1010能够保存用于图像处理装置170的高画质化处理的参数、例如与上述低频成分相对应的上述高频成分的数据、将上述平坦区域进行高分辨率化的过滤器、与高斯混合模型相关的上述学习数据等。作为将指定了目标的图像进行高画质化的处理，能够例示下面说明的使用了张量的高画质化处理、使用了局部保存投影的高画质化处理等。
作为使用张量的高画质化处理，下面以对于面部图像的高画质化处理为例进行说明。作为用于通过学习计算出将分辨率、片(Patch，补丁)位置、个人、以及像素设为学习对象的4阶张量的学习图像，使用分辨率、人物、以及片位置不同的面部图像。使用这些学习图像分别将分辨率、片位置、人物、以及像素值设为对象，计算出特征空间中的固有矢量。计算出的固有矢量的乘积的4阶张量用于从包含在输入图像中的面部图像生成中分辨率的面部图像的情况。此外，固有矢量能够通过固有值分解法、局部保存投影(LPP)等的学习来计算出。此外，用于从中分辨率的面部图像恢复高频成分的高分辨率片，是从高分辨率的学习图像中获得。图像处理装置170存储获得的张量以及高分辨率片。
在将包含在高画质化对象的输入图像中的面部图像进行高画质化的的情况下，图像处理装置170通过由存储的4阶张量将面部图像以片单位进行变换，获得形成中分辨率的面部图像的片。并且，图像处理装置170设定该中分辨率的片以及存储的高分辨率片的马尔可夫概率场。通过将马尔可夫概率场模型的全片的能量最小化问题使用逐次改良法(ICM)等来求解，获得恢复了高频成分的高分辨率的面部图像。
此外，图像处理装置170作为获得中分辨率的片的前处理，可以进行从包含在输入图像中的面部图像生成低分辨率的面部图像的处理。在这种情况下，图像处理装置170通过将由前处理获得的低分辨率的面部图像以上述的4阶张量进行变换来获得中分辨率的片。在前处理中能够包含如下处理：使用将面部的朝向、照明程度、表情、人物、以及像素设为对象而获得的5阶张量来变换包含在输入图像中的面部图像。作为用于获得该5阶张量的学习图像，能够使用面部的朝向、照明程度、表情、以及人物不同的面部图像。
另外，作为前处理，优选包括包含在输入图像中的面部图像的对位处理。例如，可以将面部图像通过仿射变换进行对位。更具体地说，最优化仿射变换的参数来使仿射变换后的面部图像和学习用的面部图像的位置对上。此外，关于学习用的面部图像，当然也优选进行对位处理使得相互的位置对上。
另外，下面说明使用了局部保存投影(LPP)的高画质化处理的一个例子。在学习阶段中，从作为学习图像的低分辨率图像以及高分辨率图像的各个通过局部保存投影(LPP)计算出固有矢量。在LPP空间中，将低分辨率图像和高分辨率图像通过矢径基底函数来关联为网络的权重。另外，计算出以学习图像的低分辨率图像为输入而获得的中分辨率图像与低分辨率图像的残差图像、以及学习图像的高分辨率图像与该中分辨率图像的残差图像。图像处理装置170中将分辨率图像与低分辨率图像的残差图像、以及高分辨率图像与中分辨率图像的残差图像对每个片进行存储。
在将高画质化对象的输入图像进行高画质化的情况下，图像处理装置170从输入图像通过局部保存投影(LPP)生成固有矢量、以及从在学习阶段获得的矢径基底函数生成中分辨率图像。图像处理装置170计算出该中分辨率图像与输入面部图像的残差图像。从该残差图像通过局部线性嵌入(LLE)以及最附近探索，从存储的残差图像中对每个片选择相对应的高分辨率图像与中分辨率图像的残差图像。并且，图像处理装置170通过将平滑化所选择的高分辨率图像与中分辨率图像的残差图像而获得的残差图像相加到从输入图像生成的中分辨率图像来生成高画质图像。
此外，在如日本特开2006-350498号公报所述那样的基于主成分分析的超分辨处理中，通过主成分矢量以及加权系数来表示物体的图像。这些加权系数以及主成分矢量的数据量大幅小于物体的图像本身所具有的像素数据的数据量。因此，图像处理部804在压缩从摄像部102获取的多个摄像图像中的特征区域的图像的压缩处理中，可以从包含在特征区域中的物体的图像中计算出上述加权系数。即，图像处理部804能够通过将包含在特征区域中的物体的图像以主成分矢量以及加权系数表示来进行压缩。并且，图像处理部804可以将主成分矢量以及加权系数发送给图像处理装置170。在这种情况下，在图像处理装置170中，能够使用从图像处理部804获取的主成分矢量以及加权系数来再构成包含在特征区域中的物体的图像。此外，图像处理部804除了如日本特开2006-350498号公报所述那样的基于主成分分析的模型之外，当然也能够使用以各种特征参数来表现物体的模型来压缩包含在特征区域中的物体的图像。
此外，在与图1～14关联而进行说明的图像处理系统10的结构中，图像处理装置170或者显示装置180，作为高画质化处理也能够对特征区域的图像实施上述的超分辨处理。另外，在图像处理系统10以及图像处理系统20中，压缩部240与上述的图像处理装置120同样地，通过将图像以主成分矢量以及加权系数进行表示，还能够进一步压缩摄像图像。
以上，以监视系统为例说明了作为图像处理系统10的动作。作为本发明的其它用途，能够应用于对于通过复印机等的扫描仪设备进行扫描的文档的高画质化处理以及编码。例如，当将文字、图、表、照片等的各区域视作特征区域时，作为对于这些区域的高分辨率化处理，能够应用上述的超分辨处理等高画质化处理。另外，在这些特征区域的检测、编码中能够应用上述的特征区域检测处理、压缩处理。同样地，在内窥镜系统中，也能够在体内部位的检测、高画质化、以及编码中应用上述的特征区域检测处理、高画质化处理、压缩处理。
以上，通过实施方式说明了本发明,不过，以上的实施方式并不限定权利范围所涉及的发明，另外，本领域技术人员明白，能够对上述实施例加以多种多样的改良和变更。根据权利要求的记载可以明确，实施了这样的变更和改良的实施方式也包含在本发明的技术范围之内。
应该注意的是，在权利要求、说明书和附图中表示的装置、系统、程序、和方法中的动作、次序、步骤、和阶段等的各处理的执行顺序，只要没有特别注明“比…先”、“在…之前”等，或者只要不是后边的处理必须使用前面的处理的输出，就可以以任意的顺序实施。有关权利要求、说明书和附图中的动作流程，为了说明上的方便，说明中使用了“首先”、“其次”、等字样，但即使这样也不意味着以这个顺序实施是必须的条件。

Claims (23)

1.一种图像处理装置，其特征在于，具备：
图像获取部，获取输入图像；
第1图像处理部，使用预先决定的图像处理参数来生成将所述输入图像进行高分辨率化的规定画质图像；
显示部，显示所述规定画质图像；
特征区域指定部，指定所述输入图像中的多个特征区域；
参数决定部，对所述多个特征区域的每个特征区域决定将所述多个特征区域的各自的图像进一步高分辨率化的图像处理参数；
第2图像处理部，使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行高分辨率化的多个高画质特征区域图像；以及
显示控制部，利用所述多个高画质特征区域图像来替换由所述显示部显示的所述规定画质图像中的所述多个特征区域的图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述参数决定部根据所述多个特征区域的各自的图像的重要度，而对所述多个特征区域的每个特征区域决定所述图像处理参数。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述参数决定部决定将所述重要度更大的特征区域以更大的强度进行高画质化的所述图像处理参数。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述参数决定部根据所述多个特征区域的各自的图像的特征的种类，而对所述多个特征区域的每个特征区域决定所述图像处理参数。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述参数决定部根据所述多个特征区域内拍摄的被摄体的种类，而对所述多个特征区域的每个特征区域决定所述图像处理参数。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述参数决定部根据在所述第2图像处理部中将所述多个特征区域分别进行高画质化所需的处理所需量，来决定所述图像处理参数。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述参数决定部在所述处理所需量更小的情况下，决定以更大的强度进行高画质化的所述图像处理参数。
8.根据权利要求6所述的图像处理装置，其特征在于，
所述参数决定部在所述多个特征区域的面积更小的情况下，决定以更大的强度进行高分辨率化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行高分辨率化的所述多个高画质特征区域图像。
9.根据权利要求6所述的图像处理装置，其特征在于，
所述图像获取部获取包含在动态图像中的多个所述输入图像，
所述参数决定部根据所述动态图像的帧频来决定所述图像处理参数。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述参数决定部在所述动态图像的帧频更小的情况下，决定以更大的强度进行高画质化的所述图像处理参数。
11.根据权利要求4所述的图像处理装置，其特征在于，
所述参数决定部在所述多个特征区域的像素数更少的情况下，决定以更大的强度进行高画质化的所述图像处理参数。
12.根据权利要求1所述的图像处理装置，其特征在于，
所述参数决定部根据作为在所述第2图像处理部中被允许的处理量的可处理容量决定所述图像处理参数。
13.根据权利要求12所述的图像处理装置，其特征在于，
所述参数决定部在所述可处理容量更小的情况下，决定以更大的强度进行高画质化的所述图像处理参数。
14.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定将所述多个特征区域的各自的图像进行高分辨率化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行高分辨率化的所述多个高画质特征区域图像。
15.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定用于将所述多个特征区域的各自的图像进行多灰阶数化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，生成将所述多个特征区域的图像分别进行了多灰度数化的所述多个高画质特征区域图像。
16.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定用于将所述多个特征区域的各自的图像进行多色数化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行了多色数化的所述多个高画质特征区域图像。
17.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定用于将所述多个特征区域的各自的图像进行低噪声化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行了低噪声化的所述多个高画质特征区域图像。
18.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定用于将所述多个特征区域的各自的图像进行低伪影化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成将所述多个特征区域的图像分别进行了低伪影化的所述多个高画质特征区域图像。
19.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定降低所述多个特征区域的各自的图像的模糊的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，生成降低了所述多个特征区域的图像的各自的模糊的所述多个高画质特征区域图像。
20.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定将所述多个特征区域的各自的图像进行清晰化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，生成将所述多个特征区域的图像分别进行了清晰化处理的所述多个高画质特征区域图像。
21.根据权利要求1～13中的任一项所述的图像处理装置，其特征在于，
所述图像获取部获取包含在动态图像中的多个所述输入图像。
22.根据权利要求21所述的图像处理装置，其特征在于，
所述参数决定部对所述多个特征区域的每个特征区域决定用于将所述多个特征区域的各个进行高帧频化的所述图像处理参数，
所述第2图像处理部使用所述参数决定部所决定的图像处理参数，来生成进行了高帧频化的所述多个高画质特征区域图像。
23.一种图像处理方法，其特征在于，具备：
图像获取阶段，用于获取输入图像；
第1图像处理阶段，使用预先决定的图像处理参数来生成将所述输入图像进行了高分辨率化的规定画质图像；
显示阶段，在显示部显示所述规定画质图像；
特征区域指定阶段，指定所述输入图像中的多个特征区域；
参数决定阶段，对所述多个特征区域的每个特征区域决定将所述多个特征区域的各自的图像进一步高分辨率化的图像处理参数；
第2图像处理阶段，使用在所述参数决定阶段中决定的图像处理参数，生成将所述多个特征区域的图像分别进行了高分辨率化的多个高画质特征区域图像；以及
显示控制阶段，利用所述多个高画质特征区域图像来替换由所述显示部显示的所述规定画质图像中的所述多个特征区域的图像。
CN201080017665.3A 2009-04-20 2010-04-09 图像处理装置及图像处理方法 Active CN102405638B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-102471 2009-04-20
JP2009102471 2009-04-20
PCT/JP2010/002621 WO2010122727A1 (ja) 2009-04-20 2010-04-09 画像処理装置、画像処理方法およびコンピュータ読み取り可能な媒体

Publications (2)

Publication Number Publication Date
CN102405638A CN102405638A (zh) 2012-04-04
CN102405638B true CN102405638B (zh) 2015-07-22

Family

ID=43010856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017665.3A Active CN102405638B (zh) 2009-04-20 2010-04-09 图像处理装置及图像处理方法

Country Status (5)

Country Link
US (1) US8599209B2 (zh)
EP (1) EP2424220A4 (zh)
JP (1) JP5684488B2 (zh)
CN (1) CN102405638B (zh)
WO (1) WO2010122727A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
WO2012026597A1 (ja) * 2010-08-27 2012-03-01 ソニー株式会社 画像処理装置および方法
WO2012102015A1 (ja) * 2011-01-28 2012-08-02 パナソニック株式会社 画像データ処理装置、方法、プログラム及び集積回路
US8965104B1 (en) * 2012-02-10 2015-02-24 Google Inc. Machine vision calibration with cloud computing systems
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
JP2014068276A (ja) * 2012-09-26 2014-04-17 Olympus Imaging Corp 画像編集装置、画像編集方法、およびプログラム
RU2533445C2 (ru) * 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
KR102006875B1 (ko) * 2012-10-05 2019-08-05 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 시인성 평가 방법
CN104813362B (zh) * 2012-11-06 2018-02-16 日本电气株式会社 图像处理设备及图像处理方法
WO2014087652A1 (ja) 2012-12-06 2014-06-12 日本電気株式会社 画像処理装置及び画像処理方法
KR102023067B1 (ko) * 2013-03-15 2019-09-19 삼성전자주식회사 시스템 온 칩과 이를 포함하는 디스플레이 시스템의 동작 방법
US10796617B2 (en) 2013-06-12 2020-10-06 Infineon Technologies Ag Device, method and system for processing an image data stream
EP3123449B1 (en) * 2014-03-25 2020-01-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
JP2015232869A (ja) 2014-05-16 2015-12-24 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
US10043101B2 (en) * 2014-11-07 2018-08-07 Adobe Systems Incorporated Local feature representation for image recognition
JP2018511029A (ja) * 2014-12-18 2018-04-19 スリーエム イノベイティブ プロパティズ カンパニー 自動化された偽造防止のための材料のバッチ真贋判定
US9508121B2 (en) * 2015-01-14 2016-11-29 Lucidlogix Technologies Ltd. Method and apparatus for controlling spatial resolution in a computer system by rendering virtual pixel into physical pixel
CN104754229B (zh) * 2015-03-27 2019-01-15 联想(北京)有限公司 一种图像处理方法及电子设备
JP6597041B2 (ja) * 2015-08-18 2019-10-30 富士ゼロックス株式会社 サーバー装置及び情報処理システム
US9894227B2 (en) * 2015-12-09 2018-02-13 Ricoh Company, Ltd. Information processing apparatus, information processing system, information processing method, and computer program product
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
WO2017176487A1 (en) 2016-04-08 2017-10-12 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
WO2017203705A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6662223B2 (ja) * 2016-07-11 2020-03-11 三菱電機株式会社 映像記録再生装置
JP6729170B2 (ja) * 2016-08-23 2020-07-22 沖電気工業株式会社 画像処理システム及び画像復号装置
JP6929044B2 (ja) * 2016-11-14 2021-09-01 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
CN106991648B (zh) * 2017-04-10 2024-01-02 中国石油大学(华东) 一种基于小波变换和卷积神经网络的图像超分辨率重建方法
WO2018197984A1 (ja) * 2017-04-28 2018-11-01 株式会社半導体エネルギー研究所 表示システムおよび移動体
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
CN108875335B (zh) 2017-10-23 2020-10-09 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
CN108090864B (zh) * 2017-12-18 2021-06-11 辽宁师范大学 基于超像素的四元数小波域图像水印检测方法
CN109949332B (zh) * 2017-12-20 2021-09-17 北京京东尚科信息技术有限公司 用于处理图像的方法和装置
CN110197474B (zh) * 2018-03-27 2023-08-25 腾讯科技（深圳）有限公司 图像处理方法和装置及神经网络模型的训练方法
JP2019180080A (ja) * 2018-03-30 2019-10-17 株式会社リコー 映像処理装置、通信端末、テレビ会議システム、映像処理方法、およびプログラム
CN108574807B (zh) * 2018-04-28 2022-02-22 上海商汤智能科技有限公司 一种影像处理方法及相关设备
JP7292024B2 (ja) * 2018-10-22 2023-06-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、コンピュータプログラム
JP7041380B2 (ja) * 2018-11-14 2022-03-24 日本電信電話株式会社 符号化システム、学習方法、及びプログラム
JP7278766B2 (ja) * 2018-12-21 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109815997A (zh) * 2019-01-04 2019-05-28 平安科技（深圳）有限公司 基于深度学习的识别车辆损伤的方法和相关装置
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11126826B1 (en) * 2019-04-03 2021-09-21 Shallow.Ai Inc. Machine learning system and method for recognizing facial images
CN111818346B (zh) 2019-04-11 2023-04-18 富士通株式会社 图像编码方法和装置、图像解码方法和装置
JP7432321B2 (ja) * 2019-08-23 2024-02-16 株式会社デンソーテン 制御プログラム、制御方法および制御装置
JPWO2021095581A1 (zh) * 2019-11-12 2021-05-20
US20210374467A1 (en) * 2020-05-29 2021-12-02 Fei Company Correlated slice and view image annotation for machine learning
WO2022141265A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 图像处理方法和设备
US11854579B2 (en) 2021-06-03 2023-12-26 Spree3D Corporation Video reenactment taking into account temporal information
US11836905B2 (en) * 2021-06-03 2023-12-05 Spree3D Corporation Image reenactment with illumination disentanglement
WO2023200396A1 (en) * 2022-04-13 2023-10-19 Simpple Pte Ltd System and method for facilitating cleaning area
WO2024042970A1 (ja) * 2022-08-26 2024-02-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータ読み取り可能な非一時的記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142621A1 (en) * 2006-06-02 2007-12-13 Fotonation Vision Limited Modification of post-viewing parameters for digital images using image region or feature information

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206804B1 (en) * 2000-11-10 2007-04-17 Sharp Laboratories Of America, Inc. Methods and systems for transmitting digital images
US6809731B2 (en) * 2002-01-08 2004-10-26 Evans & Sutherland Computer Corporation System and method for rendering high-resolution critical items
JP2003224846A (ja) * 2002-01-29 2003-08-08 Matsushita Electric Ind Co Ltd 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法
JP4173705B2 (ja) 2002-08-28 2008-10-29 富士フイルム株式会社 動画像合成方法および装置並びにプログラム
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
JP4381240B2 (ja) * 2004-06-28 2009-12-09 シャープ株式会社 画像処理装置及びこれを用いた画像表示装置、並びに画像処理方法及びこれをコンピュータに実行させるためのプログラム
JP4527500B2 (ja) * 2004-11-10 2010-08-18 富士フイルム株式会社 画像処理方法および装置並びにプログラム
CN100521743C (zh) 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
JP2006350498A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
US20070120969A1 (en) * 2005-09-15 2007-05-31 Alpha Omega International Audio visual communication system and method
JP4712563B2 (ja) 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
JP2007194928A (ja) * 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd 遠隔監視装置及び遠隔監視方法
JP4767718B2 (ja) 2006-02-24 2011-09-07 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP4831771B2 (ja) 2006-08-24 2011-12-07 Ｎｅｃトーキン株式会社 固体電解コンデンサ
JP5276811B2 (ja) 2006-08-25 2013-08-28 株式会社半導体エネルギー研究所 半導体装置の作製方法
JP2008091562A (ja) 2006-09-29 2008-04-17 Nippon Chemicon Corp 電解コンデンサ
US20080089072A1 (en) 2006-10-11 2008-04-17 Alti-Electronics Co., Ltd. High Power Light Emitting Diode Package
JP4211838B2 (ja) * 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法
JP2008167948A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
JP4913606B2 (ja) 2007-01-12 2012-04-11 富士フイルム株式会社 放射線画像処理方法および装置ならびにプログラム
JP4919408B2 (ja) 2007-01-12 2012-04-18 富士フイルム株式会社 放射線画像処理方法および装置ならびにプログラム
JP2008219484A (ja) * 2007-03-05 2008-09-18 Victor Co Of Japan Ltd 監視用カメラ、表示制御装置、および監視システム
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP4895041B2 (ja) * 2007-07-20 2012-03-14 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009048620A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
EP2179589A4 (en) * 2007-07-20 2010-12-01 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
JP4911468B2 (ja) * 2007-09-14 2012-04-04 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP4900602B2 (ja) * 2007-09-14 2012-03-21 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142621A1 (en) * 2006-06-02 2007-12-13 Fotonation Vision Limited Modification of post-viewing parameters for digital images using image region or feature information

Also Published As

Publication number Publication date
WO2010122727A1 (ja) 2010-10-28
EP2424220A1 (en) 2012-02-29
CN102405638A (zh) 2012-04-04
EP2424220A4 (en) 2014-06-11
JP2010273328A (ja) 2010-12-02
JP5684488B2 (ja) 2015-03-11
US20120032960A1 (en) 2012-02-09
US8599209B2 (en) 2013-12-03

Similar Documents

Publication Publication Date Title
CN102405638B (zh) 图像处理装置及图像处理方法
JP5366855B2 (ja) 画像処理方法及び装置並びにプログラム
US8421885B2 (en) Image processing system, image processing method, and computer readable medium
JP5335713B2 (ja) 画像処理方法及び装置並びにプログラム
Xu et al. 3d human shape and pose from a single low-resolution image with self-supervised learning
EP2461289A1 (en) Image processing device and method, data processing device and method, program, and recording medium
EP2461288A1 (en) Image processing device and method, data processing device and method, program, and recording medium
EP2461287A1 (en) Image processing device and method, data processing device and method, program, and recording medium
US8306316B2 (en) Image processing apparatus and method, data processing apparatus and method, and program and recording medium
JP5193931B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2009122760A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ読取可能な媒体
JP2011035658A (ja) 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
CN111881920B (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
Lu et al. A no-reference image sharpness metric based on structural information using sparse representation
Liu et al. Facial image inpainting using attention-based multi-level generative network
Manimaran et al. Focal-WNet: An architecture unifying convolution and attention for depth estimation
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
JP5352332B2 (ja) 画像処理装置、画像処理方法およびプログラム
Yildiz Enhancing Image Resolution with Generative Adversarial Networks
WO2009125578A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な媒体
JP2009268088A (ja) 画像処理システム、画像処理方法、およびプログラム
Mortazavian et al. 3D-assisted Facial Texture Super-Resolution.
Kountchev Applications of the hierarchical adaptive PCA for processing of medical СТ images
Li et al. Topology-Variant Synthesis
JP2009273117A (ja) 画像処理システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant