CN103685851B - 信号处理装置、信号处理方法、输出装置、输出方法和程序 - Google Patents

信号处理装置、信号处理方法、输出装置、输出方法和程序 Download PDF

Info

Publication number
CN103685851B
CN103685851B CN201310418428.3A CN201310418428A CN103685851B CN 103685851 B CN103685851 B CN 103685851B CN 201310418428 A CN201310418428 A CN 201310418428A CN 103685851 B CN103685851 B CN 103685851B
Authority
CN
China
Prior art keywords
image
unit
signal
feature
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310418428.3A
Other languages
English (en)
Other versions
CN103685851A (zh
Inventor
罗俊
张丽清
招浩华
许伟志
孙振邦
施惟
名云武文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103685851A publication Critical patent/CN103685851A/zh
Application granted granted Critical
Publication of CN103685851B publication Critical patent/CN103685851B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及信号处理装置、信号处理方法、输出装置、输出方法和程序。信号处理装置包括学习单元，所述学习单元针对信号的每个特征，学习系数变得稀疏的多个基信号，以使得通过所述多个基信号的线性运算表示所述信号。

Description

信号处理装置、信号处理方法、输出装置、输出方法和程序
技术领域
本公开涉及信号处理装置、信号处理方法、输出装置、输出方法和程序，并且尤其涉及使得能够获得准确的基信号的信号处理装置、信号处理方法、输出装置、输出方法和程序。
近来，研究了使用稀疏编码的各种图像恢复技术。稀疏编码是一种模拟人类视觉系统将信号划分为基信号并且表示信号的方法。
特别地，在人类视觉系统中，被视网膜捕获的图像事实上并没有被传输到上部识别机构，而是在早期视觉阶段，像下面的表达式1所表示那样被划分成多个基图像的线性和并被传输。
（图像）=Σ[(系数)×(基图像)]---(1)
在表达式1中，大量系数为0，只有少数系数为大值。也就是说，系数是稀疏的。出于这个原因，模拟人类视觉系统、将信号划分成多个基信号并表示信号的方法被称作稀疏编码。
在稀疏编码中，首先，使用下面的表达式2表示的成本函数来学习由上面的表达式1建模的基信号。在这种情况下，假定作为稀疏编码对象的信号为图像。
L=argmin{||Dα-Y||2+μ||α||0}---(2)
在表达式2中，L表示成本函数；D表示矩阵（下文称为基图像矩阵），在该矩阵中，在行方向上设置每一个基图像，在列方向上排列基图像的各个像素的像素值。另外，α表示矢量（下文称为基图像系数矢量），其中在列方向排列各个基图像的系数（下文被称为基图像系数）；Y表示矢量（下文称为学习图像矢量），其中，在列方向上排列学习图像的各个像素的像素值。另外，μ表示预先设置的参数。
下面，在表达式2中，当使用学习的基图像和稀疏编码对象图像而不是学习图像来计算的成本函数为预定值或更小值时，计算基图像系数。
近来，设计出一种将稀疏编码对象图像划分为多个块并以块为单元计算基图像系数的方法（例如，参看Michal Aharon,Michael Elad和Alred Bruckstein,“K-SVD:AnAlgorithm for Designing Overcomplete Dictionaries for Sparse Representation（K-SVD：一种为稀疏表示来设计过度完整的字典的算法）”,IEEE TRANSACTION ON SIGNALPROCESSING,VOL.54,NO.11,2006年9月,P4311-4322)）。
作为成本函数中基图像系数的限制，除了由表达式2表示的L0规则，还存在L1规则或者L1规则的近似表达（例如参看Libo Ma和Liqing Zhang,“Overcomplete topographicindependent component analysis（过度完整地形学独立分量分析）”,Neurocomputing,102008年3月,P2217-2223）。当通过L1规则限制基图像系数时，通过下面的表达式3表示成本函数，而当通过L1规则的近似表达限制基图像系数时，通过下面的表达式4表示成本函数。
L=argmin{||Dα-Y||2+μ||α||1}---(3)
L＝argmin{||Dα-Y||2+μF(αTα)}
在表达式3和4中，L表示成本函数，D表示基图像矩阵，α表示基图像系数矢量，Y表示学习图像矢量，并且μ表示预先设置的参数。在表达式4中，a、y和b表示预先设置的参数。
同时，稀疏编码的最重要的部分是基信号的学习。在现有技术中，针对所有信号共同地学习基信号。
发明内容
但是，难以学习到所有信号共用的基信号，并且可能学习不到准确的基信号。
需要能够获得准确的基信号。
根据本技术的第一实施方式，提供一种信号处理装置，包括学习单元，所述学习单元针对信号的每个特征，学习系数变得稀疏的多个基信号，以使得通过所述多个基信号的线性运算来表示所述信号。
根据本公开的第一实施方式的信号处理方法和程序对应于根据本公开的实施方式的信号处理装置。
根据本公开的第一实施方式，提供一种通过信号处理装置执行的信号处理方法，所述信号处理方法包括：针对信号的每个特征，学习系数变得稀疏的多个基信号，以使得通过所述多个基信号的线性运算来表示所述信号。
根据本公开的第一实施方式，提供一种输出装置，该输出装置包括运算单元，其基于预定信号以及系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是针对信号的每个特征而学习的以使得通过所述多个基信号的线性运算表示所述信号。
根据本公开的第二实施方式的输出方法和程序对应于根据本公开的另一实施方式的输出装置。
根据本技术的第二实施方式，提供一种通过输出装置执行的输出方法，所述输出方法包括：基于预定信号和系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是针对信号的每个特征而学习的以使得通过所述多个基信号的线性运算表示所述信号。
根据第一实施方式的信号处理装置和根据第二实施方式的输出装置可以是独立的装置或者可以是构成一个装置的内部块。
根据上述本公开的第一实施方式，可以学习准确的基信号。
根据上述本公开的第二实施方式，可以获得准确学习到的基信号并且可以运算基信号的系数。
附图说明
图1是示出使用稀疏编码的图像恢复的概要的图；
图2是示出与应用本公开的信号处理装置的第一实施方式相对应的学习装置的配置示例的框图；
图3是示出通过图2的划分单元划分的块的第一示例的图；
图4是示出通过图2的划分单元划分的块的第二示例的图；
图5是示出图2的分类单元12的配置示例的框图；
图6是示出图2的学习装置的分类/学习处理的流程图；
图7是示出图2的学习单元的学习处理的流程图；
图8是示出与应用本公开的输出装置的第一实施方式相对应的图像生成装置的第一配置示例的框图；
图9是示出图8的生成单元的处理的图；
图10是示出图8的图像生成装置的分类/生成处理的流程图；
图11是示出图8的图像生成装置的生成处理的流程图；
图12是示出与应用本公开的输出装置的第一实施方式相对应的图像生成装置的第二配置示例的框图；
图13是示出图12的图像生成装置的生成处理的流程图；
图14是示出在应用本公开的第二实施方式中的稀疏编码的概要的图；
图15是示出与应用本公开的信号处理装置的第二实施方式相对应的学习装置的配置示例的框图；
图16是示出图15的学习装置的分类/学习处理的流程图；
图17是示出与应用本公开的输出装置的第二实施方式相对应的图像生成装置的配置示例的框图；
图18是示出图17的图像生成装置的分类/生成处理的流程图；
图19是示出在应用本公开的第三实施方式中稀疏编码的概要的图；
图20是示出与应用本公开的信号处理装置的第三实施方式相对应的学习装置的配置示例的框图；
图21是示出图20的学习装置的分类/学习处理的流程图；
图22是示出与应用本公开的输出装置的第三实施方式相对应的图像生成装置的配置示例的框图；
图23是示出图22的图像生成装置的分类/生成处理的流程图；
图24是示出在应用本公开的第四实施方式中的稀疏编码的概要的图；
图25是示出与应用本公开的信号处理装置的第四实施方式相对应的学习装置的配置示例的框图；
图26是示出图25的学习装置的分类/学习处理的流程图；
图27是示出与应用本公开的输出装置的第四实施方式相对应的图像生成装置的配置示例的框图；
图28是示出图27的图像生成装置的分类/生成处理的流程图；
图29是示出在应用本公开的第五实施方式中的稀疏编码的概要的图；
图30是示出与应用本公开的信号处理装置的第五实施方式相对应的学习装置的配置示例的框图；
图31是示出图30的学习装置的分类/学习处理的流程图；
图32是示出与应用本公开的输出装置的第五实施方式对应的图像生成装置的配置示例的框图；
图33是示出图32的图像生成装置的分类/生成处理的流程图；
图34是示出在应用本公开的第六实施方式中的稀疏编码的概要的图。
图35是示出与应用本公开的信号处理装置的第六实施方式相对应的学习装置的配置示例的框图；
图36是示出图35的学习装置的分类/学习处理的流程图；
图37是示出与应用本公开的输出装置的第六实施方式相对应的图像生成装置的配置示例的框图；
图38是示出图37的图像生成装置的分类/生成处理的流程图；
图39是示出与应用本公开的信号处理装置的第七实施方式相对应的学习装置的配置示例的框图；
图40是示出与应用本公开的输出装置的第七实施方式相对应的音频生成装置的配置示例的框图；
图41是示出与应用本公开的信号处理装置的第八实施方式相对应的学习装置的配置示例的框图；
图42是示出图41的学习装置的分类/学习处理的流程图；
图43是示出与应用本公开的输出装置的第八实施方式相对应的异常检测装置的配置示例的框图；
图44是示出图43的提取单元所提取的检测区域的示例的图；
图45是示出通过图43的识别单元生成异常信息的方法的图；
图46是示出图43的异常检测装置的分类/异常检测处理的流程图；
图47是示出图43的异常检测装置的异常检测处理的流程图；以及
图48是示出计算机的硬件的配置示例的框图。
具体实施方式
下文中将参考附图详细介绍本公开的优选的实施方式。注意，在说明书和附图中，使用相同的编号表示大体上具有相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
<第一实施方式>
[使用稀疏编码的图像恢复的概要]
图1是示出使用稀疏编码的图像恢复的概要的图。
如图1所示，在使用稀疏编码的图像恢复中，使用大量图像质量没有劣化的学习图像来预先学习基图像，并且存储学习得到的基图像。另外，使用基图像对图像质量劣化的并且作为稀疏编码的对象而输入的劣化图像执行基图像系数优化，并且使用优化的基图像系数和基图像来生成与劣化的图像对应的图像质量没有劣化的图像来作为恢复的图像。
[学习装置的配置示例]
图2是示出与应用本公开的信号处理装置的第一实施方式相对应的学习装置的配置示例的框图。
如图2所示，学习装置10包括划分单元11、分类单元12、学习单元13-1至13-3和存储单元14，并且为了图像恢复而学习稀疏编码的基图像。
特别地，从外部向学习装置10的划分单元11输入大量图像质量没有劣化的学习亮度图像的静止图像。划分单元11将学习亮度图像的静止图像划分成为预定尺寸（例如8*8像素）的块并将这些块提供给分类单元12。
分类单元12针对块的频带的各个特征将从划分单元11提供的块进行分类。特别地，分类单元12将块的频带划分为高频带（高清）、中频带（中分辨率）和低频带（低分辨率）。针对生成的作为划分结果的各个频带的块，分类单元12向学习单元13-1提供高频带的块，向学习单元13-2提供中频带的块，向学习单元13-3提供低频带的块。
学习单元13-1通过表达式1对从分类单元12提供的高频带的块进行建模，并且学习高频带的块单元的基图像。具体地，学习单元13-1使用高频带的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来学习高频带的块单元的基图像。学习单元13-1向存储单元14-1提供学习的高频带的块单元的基图像。
与学习单元13-1类似地，学习单元13-2和13-3中的任一个通过表达式1对从分类单元12提供的块进行建模，并且学习块单元的基图像。学习单元13-2向存储单元14-2提供学习的中频带的块单元的基图像，学习单元13-3向存储单元14-3提供学习的低频带的块单元的基图像。
存储单元14-1存储从学习单元13-1提供的高频带的块单元的基图像。存储单元14-2存储从学习单元13-2提供的中频带的块单元的基图像。存储单元14-3存储从学习单元13-3提供的低频带的块单元的基图像。
下文中，当不需要具体区分学习单元13-1至13-3时，将学习单元13-1至13-3统称为学习单元13。类似地，将存储单元14-1至14-3统称为存储单元14。
[块的示例]
图3是示出通过图2的划分单元11划分的块的第一示例的图。
在图3的示例中，划分单元11将学习亮度图像的静止图像30划分为具有预定尺寸的块。因而，在水平方向上彼此毗邻的块31和块32以及在竖直方向上彼此毗邻的块31和块33彼此不重叠。
图4是示出通过图2的划分单元11划分的块的第二示例的图。
在图4的示例中，划分单元11将学习亮度图像的静止图像40划分为具有预定尺寸（块尺寸）的在水平方向和竖直方向以小于块尺寸的间隔（在图4的示例中，1/4块尺寸）毗邻的块。因而，在水平方向上彼此毗邻的块41和块42与在竖直方向上彼此毗邻的块41和块43彼此重叠。
在如图4所示将块划分成彼此重叠的情况下，与图3的情况相比，学习处理量增加，但是提高了学习准确度。块的形状不限于正方形。
[频带划分单元的配置示例]
图5是示出图2的分类单元12的配置示例的框图。
如图5所示，分类单元12包括低通滤波器61、低通滤波器62、减法单元63和减法单元64。
从图2的划分单元11向低通滤波器61输入块。低通滤波器61从输入的块中提取低频带的块并且将该块提供给低通滤波器62、减法单元63和减法单元64。
低通滤波器62从低通滤波器61提供的低频带的块中提取更加低频带的块。低通滤波器62将提取出的低频带的块提供给减法单元64和学习单元13-3（参见图2）。
减法单元63从划分单元11输入的块中减去从低通滤波器61提供的低频带的块，并且向学习单元13-1提供获取的高频带的块。
减法单元64从低通滤波器61提供的低频带的块中减去从低通滤波器62提供的更加低频带的块，并且将获取的在高频带和低频带之间的频带的块作为中频带的块提供给学习单元13-2。
[学习装置的处理的说明]
图6是示出图2的学习装置10的分类/学习处理的流程图。当从外部向学习装置10输入所有学习亮度图像的静止图像时，离线执行分类/学习处理。
在图6的步骤S11，划分单元11将从外部输入的学习亮度图像的静止图像划分成具有预定尺寸的块，并且将这些块提供给学习单元12。在步骤S12中，分类单元12将从划分单元11提供的块的频带划分为高频带、中频带和低频带。对于生成的作为划分结果的块，分类单元12向学习单元13-1提供高频带的块，向学习单元13-2提供中频带的块，向学习单元13-3提供低频带的块。
在步骤S13中，学习单元13-1使用从分类单元12提供的高频带的块和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行学习处理以学习块单元的基图像。学习单元13-1向存储单元14-1提供学习到的高频带的块单元的基图像。
在步骤S14中，学习单元13-2使用从划分单元11提供的中频带的块和由表达式2至4中的任一个表达式以块单元限定的成本函数来执行学习处理。学习单元13-2向存储单元14-2提供学习到的中频带的块单元的基图像。
在步骤S15中，学习单元13-3使用从划分单元11提供的低频带的块和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行学习处理以学习块单元的基图像。学习单元13-3向存储单元14-3提供学习到的低频带的块单元的基图像。然后，处理结束。
图7是示出学习单元13的学习处理的流程图。
在图7的步骤S31中，学习单元13将重复学习的次数N设置为1。对于学习亮度图像的静止图像的所有块，对于每个块执行下面的步骤S32至S36和S38的处理。
在步骤S32中，学习单元13将块单元的基图像矩阵的值设置为初始值。在步骤S33中，学习单元13使用设置的块单元的基图像矩阵以及从分类单元12提供的块，计算用α对成本函数求偏导而得到的值作为Δα，该成本函数是通过表达式2至4中的任一个表达式以块单元限定的成本函数。
在步骤S34中，学习单元13使用在步骤S33计算的Δα，通过下面的表达式5更新块单元的基图像系数矢量。
α=α+η1Δα---(5)
在表达式5中，α表示块单元基图像系数矢量，η1表示最陡下降法的参数。
在步骤S35中，学习单元13使用在步骤S34更新的块单元的基图像系数矢量和块，计算用D对成本函数求偏导而得到的值作为ΔD，该成本函数是通过表达式2至4中的任一个表达式以块单元限定的成本函数。
在步骤S36中，学习单元13使用在步骤S35中计算的ΔD，通过下面的表达式6更新块单元的基图像矩阵。
D=D+η2ΔD---(6)
在表达式6中，D表示块单元基图像矩阵，η2表示最陡下降法的参数。
在步骤S37中，学习单元13将重复学习的次数N增加1。在步骤S38中，学习单元13使用步骤S34更新的块单元的基图像系数矢量、步骤S36更新的块单元的基图像矩阵和块，计算通过表达式2至4中的任一个表达式以块单元限定的成本函数。
在步骤S39中，学习单元13确定所有学习亮度图像的静止图像的所有块的成本函数的和是否小于预定阈值。当在步骤S39中确定成本函数的和等于或者大于预定阈值时，处理继续到步骤S40。
在步骤S40中，学习单元13确定重复学习的次数N是否大于预定阈值。当在步骤S40中确定重复学习的次数N是预定阈值或比预定值小时，处理返回步骤S33。重复步骤S33至S40的处理，直到成本函数的和小于预定阈值或者重复学习的次数N大于预定阈值为止。
同时，当在步骤S39中确定成本函数之和小于预定阈值或者当在步骤S40中确定重复学习的次数N大于预定阈值时，处理继续到步骤S41。
在步骤S41中，学习单元13向存储单元14提供由上一步骤S36更新的构成块单元基图像矩阵的块单元的基图像，并且使存储单元14存储基图像。
如上所述，在图7的学习处理中，学习单元13使用KSVD方法更新基图像矩阵，并使用匹配追踪方法计算基系数矢量。KSVD方法和匹配追踪方法在下述中详述：MichalAharon,Michael Elad和Alred Bruckstein,“K-SVD:An Algorithm for DesigningOvercomplete Dictionaries for Sparse Representation（K-SVD：为解析表示设计过度完整字典的算法）”,IEEE TRANSACTION ON SIGNAL PROCESSING,VOL.54,NO.11,2006年9月,P4311-4322。
在这种情况下，使用所有学习亮度图像的静止图像的所有块重复地学习块单元基图像矩阵。但是，可以顺次执行使用各块的重复学习。
如上所述，对于学习亮度图像的静止图像的频带的各个特征，学习装置10学习基图像，以使得通过基图像系数稀疏的基图像的线性运算表示学习亮度图像的静止图像。因而，可以学习频带的各个特征的准确基图像。
在稀疏编码中，因为基图像被学习成使得基图像系数变得稀疏，所以基图像的收敛时间通常长。因而，通过学习频带的各个特征的基图像，学习装置10能够降低基图像的收敛时间。因为学习装置10学习频带的各个特征的基图像，所以对于频带的各个特征，学习装置10能够并行地执行学习处理。
[图像生成装置的第一配置示例]
图8是示出图像生成装置的第一配置示例的框图，该图像生成装置使用通过图2的学习装置10学习的频带的各个特征的基图像生成图像，并且对应于应用本公开的输出装置的第一实施方式。
如图8所示，图像生成装置80包括划分单元81、分类单元82、存储单元83-1至83-3、运算单元84-1至84-3、生成单元85-1至85-3以及合成单元86。对于从外界输入作为劣化图像的亮度图像的静止图像，图像生成装置80针对每个频带执行系数编码，并且生成恢复的图像。
特别地，亮度图像的静止图像被作为劣化图像从外部输入到图像生成装置80的划分单元81。与图2的划分单元11类似，划分单元81将从外部输入的劣化图像划分为具有预定尺寸的块，并且向分类单元82提供块。
分类单元82与图5的分类单元12具有相同的配置，并且将划分单元81划分的块的频带划分成高频带、中频带和低频带。对于获得的作为划分结果的块，分类单元82向运算单元84-1提供高频带的块，向运算单元84-2提供中频带的块，向运算单元84-3提供低频带的块。
存储单元83-1存储通过图2的学习装置10学习的并且在存储单元14-1存储的高频带的块单元的基图像。存储单元83-2存储在存储单元14-2存储的中频带的块单元的基图像，以及存储单元83-3存储在存储单元14-3存储的低频带的块单元的基图像。
运算单元84-1从存储单元83-1读取高频带的块单元的基图像。对于从分类单元82提供的劣化图像的高频带的各个块，运算单元84-1计算块单元的基图像系数矢量，以使得成本函数变得小于预定阈值。使用块单元的基图像矩阵（该矩阵包括读取的块单元的基图像），通过将表达式2至4中的任一个表达式中的Y设置为矢量（下文中称为劣化图像矢量）得到的表达式而以块单元限定成本函数，在该矢量中，在列的方向排列劣化图像的各个像素的像素值。运算单元84-1向生成单元85-1提供运算的块单元的基图像系数矢量。
与运算单元84-1类似的，对于分类单元82提供的各个块，运算单元84-2和84-3分别从存储单元83-2和83-3读取块单元的基图像，并且运算块单元的基图像系数矢量。运算单元84-2向生成单元85-2提供运算的块单元的基图像系数矢量，并且运算单元84-3向生成单元85-3提供运算的块单元的基图像系数矢量。
生成单元85-1从存储单元83-1读取高频带的块单元的基图像。对于各个块，生成单元85-1使用从运算单元84-1提供的块单元的基图像系数矢量和块单元的基图像矩阵（该矩阵包括高频带的块单元的基图像），通过下面的表达式7生成块单元的亮度图像的静止图像。
X=D×α
在表达式7中，X表示矢量（下文中称为生成图像矢量），其中，在列方向排列块单元的亮度图像的生成的静止图像的各个像素的像素值，D表示块单元基图像矩阵，α表示块单元基图像系数矢量。
生成单元85-1将生成的块单元的亮度图像的静止图像作为高频带的块单元的亮度图像的静止图像，并且从高频带的块单元的亮度图像的静止图像生成高频带的一个亮度图像的静止图像。另外，生成单元85-1向合成单元86提供高频带的一个亮度图像的静止图像作为高频带的恢复图像。
与生成单元85-1类似，生成单元85-2和85-3分别从存储单元83-2和83-3读取块单元的基图像，并且生成块单元的亮度图像的静止图像。与生成单元85-1类似，生成单元85-2从生成的块单元的亮度图像的静止图像生成中频带的恢复图像，并向合成单元86提供恢复的图像。生成单元85-3从块单元的亮度图像的静止图像生成低频带的恢复的图像并向合成单元86提供恢复的图像。
合成单元86合成分别从生成单元85-1至85-3提供的高频带、中频带和低频带的恢复的图像，并且输出获得的所有频带的恢复的图像作为合成结果。
下文中，当不需要具体区分存储单元83-1至83-3时，将存储单元83-1至83-3统称为存储单元83。类似地，运算单元84-1至84-3统称为运算单元84，生成单元85-1至85-3被统称为生成单元85。
[生成单元的处理示例]
图9是示出当图8的划分单元81将劣化图像划分成图4示出的块时生成单元85的处理的图。
在图9中，实线正方形示出像素，虚线正方形示出块。在图9的示例中，块的尺寸是4×4像素。
如图9所示，当划分单元81将劣化图像100划分成为图4示出的块时，生成单元85生成与各个像素对应的块的块单元生成图像矢量的分量的平均值，作为恢复的图像的各个像素的像素值。
具体地，左上像素101仅被包含在块111中。因而，生成单元85将像素101的像素值设置为与像素101对应的块111的生成图像矢量的分量。
同时，与像素101的右侧毗邻的像素102被包含在块111和块112中。因而，生成单元85将像素102的像素值设置为与像素102对应的块111和块112的生成图像矢量的分量的平均值。
位于像素101下的像素103被包含在块111和块113中。因而，生成单元85将像素103的像素值设置为与像素103对应的块111和块113的块单元生成图像矢量的分量的平均值。
与像素103的右侧毗邻的像素104被包含在块111至块114中。因而，生成单元85将像素104的像素值设置为与像素104对应的块111至块114的块单元生成图像矢量的分量的平均值。
同时，虽然未在图中示出，当划分单元81将劣化图像划分成如图3示出的块时，生成单元85将块单元生成图像矢量的各个分量合成为与各个分量对应的像素的像素值并且生成恢复的图像。
[图像生成装置80的处理的说明]
图10是示出图8的图像生成装置80的分类/生成处理的流程图。当亮度图像的静止图像被从外部作为劣化的图像输入时，开始分类/生成处理。
在图10的步骤S61中，图像生成装置80的划分单元81，与图2的划分单元11类似，将从外部作为劣化图像而输入的亮度图像的静止图像划分成为具有预定尺寸的块，并且将该块提供给分类单元82。
在步骤S62中，分类单元82将从划分单元81提供的块的频带划分成为高频带、中频带和低频带。对于获得的作为划分结果的块，分类单元82向运算单元84-1提供高频带的块，向运算单元84-2提供中频带的块，并向运算单元84-3提供低频带的块。
在步骤S63中，图像生成装置80使用高频带的块执行生成一个亮度图像的静止图像的生成处理。在步骤S64中，图像生成装置80使用中频带的块执行生成处理。在步骤S65中，图像处理装置80使用低频带的块执行生成处理。
在步骤S66中，合成单元86将分别从生成单元85-1至85-3提供的高频带、中频带和低频带的恢复的图像进行合成，并输出所获得的所有频带的恢复的图像作为合成结果。然后，处理结束。
图11是示出图像生成装置80的生成处理的流程图。
以块单元执行图11的步骤S81至S90的处理。
在图11的步骤S81中，运算单元84将块单元基图像系数矢量的运算的重复次数M设置为1。
在步骤S82中，运算单元84从存储单元83读取块单元的基图像。在步骤S83中，使用包括读取的块单元基图像的块单元基图像矩阵以及从分类单元82提供的块，运算单元84计算用α对成本函数求偏导而得到的值作为Δα，该成本函数是通过将表达式2至4的Y设置为劣化图像矢量得到的任何一个表达式以块单元限定的成本函数。
在步骤S84中，使用由步骤S83计算得到的Δα，运算单元84更新表达式5的块单元基图像系数矢量。在步骤S85中，运算单元84将运算的重复次数M增加1。
在步骤S86中，运算单元84使用步骤S84更新的块单元基图像系数矢量、块单元基图像矩阵和劣化图像的块，计算通过将表达式2至4的Y设置为劣化图像矢量得到的任一表达式以块单元限定的成本函数。
在步骤S87中，运算单元84确定成本函数是否小于预定阈值。当在步骤S87中确定成本函数是预定阈值或大于预定阈值时，在步骤S88中运算单元84确定运算的重复次数M是否大于预定阈值。
当在步骤S88中确定运算的重复次数M是预定阈值或更小时，运算单元84返回处理到步骤S83。重复步骤S83至S88的处理，直到成本函数变得小于预定阈值或者运算的重复次数M变得大于预定阈值为止。
同时，当在步骤S87中确定成本函数小于预定阈值或者当在步骤S88中确定运算的重复次数M大于预定阈值时，运算单元84向生成单元85提供由上一步骤S84更新的块单元基图像系数矢量。
在步骤S89中，生成单元85从存储单元83读取块单元的基图像。在步骤S90中，使用包括读取的块单元的基图像的块单元基图像矩阵和由运算单元84提供的块单元基图像系数矢量，生成单元85通过表达式7生成块单元的亮度图像的静止图像。
在步骤S91中，生成单元85根据块划分方法，从块单元的亮度图像的静止图像中生成一个亮度图像的静止图像。在步骤S92中，生成单元85向合成单元86输出生成的一个亮度图像的静止图像作为恢复的图像并且结束处理。
如上所述，基于频带的各个特征的基图像和劣化图像，图像生成装置80获取通过学习装置10学习的频带各个特征的基图像，并且运算频带的各个特征的基图像系数。因而，使用频带的各个特征的基图像和基图像系数，图像生成装置80可以生成提高了重要部分（例如文本或边缘）的图像质量的恢复图像。
在稀疏编码中，因为基图像系数被运算为使得基图像系数变得稀疏，所以基图像系数的收敛时间通常长。因而，通过运算频带的各个特征的基图像系数，图像生成装置80可以降低基图像系数的收敛时间。
使用频带的各个特征的基图像和基图像系数，图像生成装置80生成频带的各个特征的恢复图像。因而，对于频带的各个特征，图像生成装置80可以并行执行生成处理。
[图像生成装置的第二配置示例]
图12是示出图像生成装置的第二配置示例的框图，该图像生成装置使用通过图2的学习装置10学习的基图像生成图像，并且对应于应用本公开的输出装置的第一实施方式。
在图12中示出的结构元件中，使用相同编号标记与图8中的结构元件相同的结构元件。省略对这些结构元件的重复解释。
图12的图像生成装置的配置与图8的配置有下述不同：提供运算单元131-1至131-3而不是运算单元84-1至84-3，提供生成单元132-1至132-3而不是生成单元85-1至85-3。图像生成装置130生成恢复的图像并且学习基图像。
特别地，与图8的运算单元84-1类似，图像生成装置130的运算单元131-1从存储单元83-1读取块单元的基图像。对于从划分单元82提供的高频带的劣化图像的各个块，运算单元131-1运算块单元基图像系数矢量，同时学习高频带的块单元基图像矩阵，以使得成本函数变得小于预定阈值。
使用包括读取的块单元的基图像的块单元基图像矩阵，通过将表达式2至4中的任一个的Y设置为劣化的图像矢量得到的表达式在块单元限定成本函数。运算单元131-1向生成单元132-1提供学习的高频带的块单元基图像矩阵和块单元基图像系数矢量。
与运算单元131-1类似，对于从分类单元82提供的各个块，运算单元131-2和131-3中的每一个运算块单元的基图像系数矢量，而同时学习块单元的基图像矩阵。运算单元131-2向生成单元132-2提供中间频带的块单元的学习的基图像矩阵以及块单元的基图像系数矢量。运算单元131-2向生成单元132-3提供低频带的块单元的学习的基图像矩阵和块单元的基图像系数矢量。
下文中，当不需要具体区分运算单元131-1至131-3时，将运算单元131-1至131-3统称为运算单元131。
使用块单元的基图像系数矢量和由运算单元131-1提供的高频带的块单元的基图像矩阵，对于各个块，生成单元132-1通过表达式7生成块单元的亮度图像的静止图像。与图8的生成单元85-1类似，生成单元132-1从生成的块单元的亮度图像的静止图像生成高频带的恢复图像，并且向合成单元86提供恢复图像。
与生成单元132-1类似，使用块单元的基图像系数矢量和从运算单元131提供的块单元的基图像矩阵，生成单元132-2和132-3的每一个生成块单元的亮度图像的静止图像。与生成单元85-2类似，生成单元132-2从块单元的亮度图像的生成的静止图像生成中频带的恢复图像，并且向合成单元86提供恢复图像。与生成单元85-3类似，生成单元132-3从块单元的亮度图像的生成的静止图像生成低频带的恢复图像，并且向合成单元86提供恢复图像。
下文中，当不需要具体区分生成单元132-1至132-3时，生成单元132-1至132-3统称为生成单元132。
[图像生成装置130的处理说明]
因为除了生成处理外，图12的图像生成装置130的分类/生成处理与图10的分类/生成处理相同，所以只介绍生成处理。
图13是示出图12的图像生成装置130的生成处理的流程图。
因为图13的步骤S101至S104的处理与图11的步骤S81至S84的处理相同，所以省略其重复说明。以块单元执行下述步骤S105至S111的处理。
在步骤S105中，使用通过步骤S104更新的块单元的基图像系数矢量和劣化图像的块，运算单元131计算用D对成本函数求偏导而得到的值作为ΔD，该成本函数是通过将表达式2至4的Y设置为劣化的图像矢量得到的表达式中的任一个表达式以块单元限定的成本函数。
在步骤S106中，运算单元131使用通过步骤S105计算的ΔD更新表达式6的块单元基图像矩阵。在步骤S107中，运算单元131将重复运算的次数M加1。
在步骤S108中，使用在步骤S104中更新的块单元基图像系数矢量、在步骤S106中更新的块单元基图像矩阵和劣化的图像的块，运算单元131计算通过将表达式2至4中的Y设置为劣化的图像矢量得到的任何表达式以块单元限定的成本函数。
在步骤S109中，运算单元131确定成本函数是否小于预定阈值。当在步骤S109中确定成本函数是预定阈值或者比预定阈值大时，处理继续到步骤S110。
在步骤S110中，运算单元131确定重复运算次数M是否大于预定阈值。当在步骤S110中确定重复运算次数M是预定阈值或小于预定阈值时，处理返回步骤S103。重复步骤S103至S110的处理，直到成本函数小于预定阈值或者重复运算的次数M大于预定阈值为止。
同时，当在步骤S109中确定成本函数小于预定阈值或者当在步骤S110中确定重复运算次数M大于预定阈值时，运算单元131向生成单元132提供通过步骤S104更新的基图像系数矢量和通过步骤S106更新的块单元基图像矩阵。
在步骤S111中，使用块单元基图像系数矢量和从运算单元131提供的块单元基图像矩阵，生成单元132通过表达式7生成块单元的亮度图像的静止图像。
因为步骤S112至S113的处理与图11的步骤S91至S92的处理相同，因此省略对其解释。
在图13的生成处理中，对于各个块更新块单元基图像矩阵。但是，可能在劣化图像单元中更新块单元基图像矩阵。在这种情况下，针对劣化图像的所有块计算成本函数，并且基于成本函数之和执行重复运算。
如上所述，因为图像生成装置130生成恢复图像并且学习块单元的基图像，所以可以提高块单元的基图像的精确度并且可以生成高清的恢复图像。
但是，在图像生成装置130中，因为无论是否输入劣化图像都必须执行学习，即，执行在线学习，所以需要高处理能力。因而，优选地将图像生成装置130应用于具有相对高处理能力的个人电脑、云计算等，并且将图像生成装置80应用到具有相对低处理能力的数码摄像机或者便携式终端。
在第一实施方式中，学习图像和劣化图像是亮度图像的静止图像。但是，学习图像和劣化图像还可以是颜色图像的静止图像。
当学习图像和劣化图像是颜色图像的静止图像时，对于各个颜色通道（例如红（R）、绿（G）和蓝（B）），颜色图像的静止图像被划分成具有预定尺寸的块。对于各个颜色限定成本函数。结果，学习装置10学习各个颜色的块单元的基图像，并且图像生成装置80（130）生成各个颜色的颜色图像的静止图像。
学习图像和劣化的图像可以是运动图像。在这种情况下，各个帧的运动图像被划分成具有预定尺寸的块。
在第一实施方式中，亮度图像的静止图像的频带被划分成高频带、中频带和低频带三种频带。但是，频带划分数不限于3。不限制通过低通滤波器61（62）的频带。
<第二实施方式>
[第二实施方式中的稀疏编码的概要的说明]
图14是示出在应用本公开的第二实施方式中的稀疏编码的概要的图。
如图14所述，在第二实施方式中，对于场景的各个特征，预先对大量的图像质量没有劣化的学习亮度图像的静止图像进行分类，并且对于场景的各个特征，使用学习亮度图像的静止图像来学习基图像。保存学习的场景的各个特征的基图像。使用拍摄情形和拍摄模式的组合作为场景的特征。
在这种情况下，拍摄情形的种类是自动拍摄、三脚架拍摄和移动拍摄三种。拍摄模式的种类有12种拍摄模式，夜间场景和人的拍摄模式、夜间场景拍摄模式、自动拍摄模式、人的背光拍摄模式、背光拍摄模式、人拍摄模式、风景拍摄模式、近摄拍摄模式、婴儿拍摄模式、聚光灯拍摄模式、低亮度拍摄模式和放大镜拍摄模式。因而，场景的特征的种类有36（=3*12）种。但是，场景的特征的种类不限于上述示例。
如果劣化的图像被输入作为稀疏编码对象，则基于拍摄情形和拍摄模式将劣化的图像划分成36种场景的特征的任何一种，并且使用场景的特征的基图像来对劣化图像执行基图像系数的优化。使用优化的基图像系数和劣化图像被分类成的场景的特征的基图像生成与劣化的图像对应的图像质量没有劣化的图像。
[学习装置的配置示例]
图15是示出与应用本公开的信号处理装置的第二实施方式对应的学习装置的配置示例的框图。
在图15示出的结构元件中，使用相同的编号标记与图2的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图15的学习装置150的配置与图2的配置有下述不同：提供分类单元151而不是分类单元12，提供学习单元152-1至152-36而不是学习单元13-1至13-3，提供存储单元153-1至153-36而不是存储单元14-1至14-3。学习装置150学习场景的各个特征的基图像。
特别地，从外部向分类单元151输入各个学习亮度图像的静止图像的拍摄情形和拍摄模式。基于从外部输入的各个块的学习亮度图像的静止图像的拍摄情形和拍摄模式，分类单元151将从划分单元11提供的各个块划分成为36种场景的特征的任何一种。分类单元151将块提供给与块被分类成的场景的特征对应的学习单元152-1至152-36的任何一个。
学习单元152-1至152-36对应于36种场景的特征。学习单元152-1通过表达式1对从分类单元151提供的并且被分类到与学习单元152-1对应的场景的特征的块进行建模，并且学习场景的特征的块单元的基图像。特别地，使用被分类到与学习单元对应的场景的特征的块和通过表达式2-4中的任一个以块单元限定的成本函数，学习单元152-1学习场景的块单元的基图像。学习单元152-1向存储单元153-1提供与学习单元对应的场景的特征的学习的块单元的基图像。
与学习单元152-1类似，学习单元152-2至152-36的任一个通过表达式1对从分类单元151提供的并且被分类到与各个学习单元对应的场景的特征的块进行建模，并且学习场景的特征的块单元的基图像。学习单元152-2至152-36分别向存储单元153-2至153-36提供学习的块单元的基图像。下文中，当不需要具体区分学习单元152-1至152-36时，将学习单元152-1至152-36统称为学习单元152。
存储单元153-1至153-36的每一个存储从学习单元152提供的与学习单元152对应的场景的特征的块单元的基图像。下文中，当不需要具体区分存储单元153-1至153-36时，将存储单元153-1至153-36统称为存储单元153。
[学习装置的处理的说明]
图16是示出图15的学习装置150的分类/学习处理的流程图。当从外部向学习装置150输入所有学习亮度图像的静止图像时，离线执行分类/学习处理。
在图16的步骤S131中，划分单元11将从外部输入的学习亮度图像的静止图像划分成具有预定尺寸的块，并且将这些块提供给分类单元151。
在步骤S132中，基于从外部输入的块的学习亮度图像的静止图像的拍摄情形和拍摄模式，分类单元151将从划分单元11提供的块划分为36种场景的特征中的任一种。分类单元151向与块被分类到的场景的特征对应的学习单元152提供块。
在步骤S133中，使用从分类单元151提供的各个场景的特征的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数，学习单元152执行图7的学习处理。然后，处理结束。
如上所述，对于学习亮度图像的静止图像的场景的各个特征，学习装置150学习基图像，以使得通过基图像系数稀疏的基图像的线性运算来表示学习亮度图像的静止图像。因而，可以学习场景的各个特征的准确基图像。
与学习装置10类似，通过学习场景的各个特征的基图像，学习装置150可以降低基图像的收敛时间。因为学习装置150学习场景的各个特征的基图像，所以学习装置150可以并行执行场景的各个特征的学习处理。
[图像生成装置的配置示例]
图17是示出图像生成装置的配置示例的框图，该图像生成装置使用通过图15的学习装置150学习的场景的各个特征的基图像来生成图像，并且对应于应用本公开的输出装置的第二实施方式。
在图17的结构元件中，使用相同的编号标记与图8的结构元件相同的结构元件。省略对这些元件的重复说明。
图17的图像生成装置190的配置与图8的配置有下述不同：提供分类单元191、存储单元192-1至192-36、运算单元193-1至193-36和生成单元194-1至194-36，而不是分类单元82、存储单元83-1至83-3、运算单元84-1至84-3和生成单元85-1至85-3，并且不提供合成单元86。图像生成装置190根据场景的特征对作为劣化图像而从外部输入的亮度图像的静止图像执行稀疏编码，并生成恢复图像。
特别地，从外部向图像生成装置190的分类单元191输入劣化图像的拍摄情形和拍摄模式。基于从外部输入的劣化图像的拍摄情形和拍摄模式，分类单元191将从划分单元181提供的劣化图像的所有块分类成为36种场景的特征的任一种。分类单元191将所有块提供给与所有块被分类成为的场景的特征对应的运算单元193-1至193-36的任一个。
存储单元192-1至192-36的每一个存储通过图15的学习装置150学习的并且在存储单元153中存储的场景的特征的块单元的基图像，该场景对应于各个运算单元193-1至193-36。
运算单元193-1至193-36对应于36种场景的特征。运算单元193-1从存储单元192-1读取与运算单元对应的场景的特征的块单元的基图像。对于从分类单元191提供的与运算单元对应的场景的特征的劣化图像的各个块，运算单元193-1运算块单元的基图像系数矢量，以使得成本函数变得小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2-4中的任一个表达式设置为劣化图像矢量得到的表达式以块单元限定成本函数。运算单元193-1向生成单元194-1提供块单元的基图像系数矢量。
与运算单元193-1类似，运算单元193-2至193-36分别从存储单元192-2至192-36读取与这些运算单元对应的场景的特征的块单元的基图像。与运算单元193-1类似，对于与从分类单元191提供的与各个运算单元对应的场景的特征的劣化的图像的各个块，运算单元193-2至193-36的每一个运算块单元的基图像系数矢量。运算单元193-2至193-36分别向生成单元194-2至194-36提供运算的块单元的基图像系数矢量。
生成单元194-1从存储单元192-1读取与生成单元对应的场景的特征的块单元的基图像。使用从运算单元193-1提供的块单元的基图像系数矢量和包括读取的块单元基图像的块单元基图像矩阵，生成单元194-1通过表达式7生成各个块的块单元的亮度图像的静止图像。生成单元194-1从块单元的亮度图像的静止图像生成一个亮度图像的静止图像，并且输出该静止图像作为恢复的图像。
与生成单元194-1类似，生成单元194-2至194-36从存储单元192-2至192-36分别读取块单元的基图像，并生成块单元的亮度图像的静止图像。生成单元194-2至194-36的每一个从生成的块单元的亮度图像的静止图像生成一个亮度图像的静止图像，并且将该静止图像输出作为恢复的图像。
下文中，当不需要具体区分存储单元192-1至192-36时，将存储单元192-1至192-36统称为存储单元192。类似地，运算单元193-1至193-36被统称为运算单元193，生成单元194-1至194-36被统称为生成单元194。
[图像生成装置130的处理说明]
图18是示出图17的图像生成装置190的分类/生成处理的流程图。当亮度图像的静止图像被从外部输入作为劣化图像时，开始分类/生成处理。
在图18的步骤S151中，与图15的分类单元11类似，图像生成装置190的划分单元81将作为劣化图像而从外部输入的亮度图像的静止图像划分为具有预定尺寸的块，并且将块提供给分类单元191。
在步骤S152中，基于从外部输入的劣化图像的拍摄情形和拍摄模式，分类单元191将从划分单元81提供的劣化图像的所有块划分成36种场景的特征的任何一种。分类单元191将块提供给与所有块被分类成的场景的特征对应的运算单元193。
在步骤S153中，使用所有块被分类成的场景的特征的基图像和所有块，图像生成装置190执行图11的生成处理，并且结束处理。
如上所述，基于劣化图像以及劣化图像的场景的特征的基图像，图像生成装置190获取通过学习装置150学习的场景的各个特征的基图像，并运算基图像系数。因而，根据劣化图像的场景的特征，使用基图像和基图像系数，图像生成装置190可以生成具有适合于该场景的恢复效果的高清的恢复图像。
通过运算场景的各个特征的基图像系数，与生成装置80类似，图像生成装置190可以减少基图像系数的收敛时间。
在第二实施方式中，与第一实施方式类似，学习图像和劣化图像是亮度图像的静止图像。但是，学习图像和劣化图像可以是颜色图像的静止图像。学习图像和劣化图像可以是运动图像。在第二实施方式中，与第一实施方式类似，可以在学习基图像的同时生成恢复图像。
在第二实施方式中，基于从外部输入的拍摄情形和拍摄模式，执行根据场景的特征的分类。但是，可以基于亮度图像的静止图像执行场景的特征的分类。
<第三实施方式>
[第三实施方式的稀疏编码的概要的说明]
图19是示出在应用本公开的第三实施方式中稀疏编码的概要的图。
如图19所示，在第三实施方式中，对于深度图的各个特征，图像质量没有劣化的大量学习亮度图像的静止图像被分类，并且使用深度图的各个特征的学习亮度图像的静止图像来学习基图像。学习的深度图的各个特征的基图像被保存。
深度图是示出学习亮度图像的静止图像的各个像素的对象的深度方向位置的深度值的图。在这种情况下，深度图的特征是三种特征中的特征，即深度值的平均值大于第一阈值的特征（下文称为大深度）、深度值的平均值等于或大于第二阈值并小于第一阈值的特征（下文称为中深度）和深度值的平均值小于第二阈值的特征（下文称为小深度）。
深度图的特征的种类不限于上述示例。例如，可以将深度值的最大值或最小值与预定阈值的关系以及深度值的分布设置为深度图的特征。
如果劣化图像被输入作为稀疏编码对象，根据深度图的各个特征对劣化图像进行分类，并且对于深度图的各个特征，使用深度图的特征的基图像对于劣化图像执行基图像系数的优化。对于深度图的各个特征，使用优化的基图像系数和基图像生成与劣化图像对应的质量没有劣化的图像作为恢复的图像，并且对各个深度图的特征的恢复的图像进行合成。
[学习装置的配置示例]
图20是示出与应用本公开的信号处理装置的第三实施方式对应的学习装置的配置示例的框图。
在图20示出的结构元件中，使用相同的编号标记与图2的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图20的学习装置210的配置与图2的配置具有以下不同：提供分类单元211而不是分类单元12，提供学习单元212-1至212-3而不是学习单元13-1至13-3，并提供存储单元213-1至213-3而不是存储单元14-1至14-3。学习装置210学习深度图的各个特征的基图像。
特别地，分类单元211根据从划分单元11提供的块来生成块的深度图。基于块的深度图，分类单元211将各个块分类为大深度、中深度和小深度。分类单元211向学习单元212-1提供大深度的块，向学习单元212-2提供中深度的块，向学习单元212-3提供小深度的块。
学习单元212-1通过表达式1对从分类单元211提供的大深度的块进行建模，并且学习大深度的块单元的基图像。特别地，使用大深度的块和通过表达式2至4中的任一个表达式在块中限定的成本函数，学习单元212-1学习大深度的块单元的基图像。学习单元212-1向存储单元213-1提供学习的大深度的块单元的基图像。
与学习单元212-1类似，学习单元212-2和212-3的每一个通过表达式1对从分类单元211提供的块进行建模并学习块单元的基图像。学习单元212-2向存储单元14-2提供学习的中深度的块单元的基图像，并且学习单元212-3向存储单元14-3提供学习的小深度的块单元的基图像。下文中，当不需要具体区分学习单元212-1至212-3时，将学习单元212-1至212-3统称为学习单元212。
存储单元213-1存储从学习单元212-1提供的大深度的块单元的基图像。存储单元213-2存储从学习单元212-2提供的中深度的块单元的基图像。存储单元213-3存储从学习单元212-3提供的小深度的块单元的基图像。下文中，当不需要具体区分存储单元213-1至213-3时，将存储单元213-1至213-3统称为学习单元213。
在图21的步骤S170中，划分单元11将从外部输入的学习亮度图像的静止图像划分成为具有预定尺寸的块，并将块提供给分类单元211。在步骤S171中，分类单元211根据划分单元11提供的块来生成块的深度图。
在步骤S172中，分类单元211基于块的深度图将各个块分类成为大深度、中深度和小深度。分类单元211向学习单元212-1提供大深度的块，向学习单元212-2提供中深度的块，并向学习单元212-3提供小深度的块。
在步骤S173中，学习单元212-1使用从分类单元211提供的大深度的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。学习单元212-1向存储单元213-1提供学习的大深度的块单元的基图像。
在步骤S174中，学习单元212-2使用从分类单元211提供的中深度的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。学习单元212-2向存储单元213-2提供学习的中深度的块单元的基图像。
在步骤S175中，学习单元212-3使用从分类单元211提供的小深度的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。学习单元212-3向存储单元213-3提供学习的小深度的块单元的基图像。然后，该处理结束。
如上所述，对于学习亮度图像的静止图像的深度图的各个特征，学习装置210学习基图像，以使得通过基图像系数变得稀疏的基图像的线性运算来表示学习亮度图像的静止图像。因此，可以学习深度图的每个特征的准确基图像。
通过学习深度图的各个特征的基图像，与学习装置10类似，学习装置210可以减少基图像的收敛时间。因为学习装置210学习深度图的各个特征的基图像，对于深度图的各个特征，学习装置210可以并行地执行学习处理。
[图像生成装置的配置示例]
图22是示出图像生成装置的配置示例的框图，该图像生成装置使用通过图20的学习装置210学习的深度图的各个特征的基图像来生成图像，并对应于应用本公开的输出装置的第三实施方式。
在图22示出的结构元件中，使用相同的编号标记与图8的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图22的图像生成装置250的配置与图8的配置具有以下不同：提供分类单元251、存储单元252-1至252-3、运算单元253-1至253-3、生成单元254-1至254-3和合成单元255，而不是分类单元82、存储单元83-1至83-3、运算单元84-1至84-3、生成单元85-1至85-3和合成单元86。对于作为劣化图像而从外部输入的亮度图像的静止图像，图像生成装置250根据深度图的特征执行稀疏编码，并生成恢复的图像。
特别地，图像生成装置250的分类单元251根据从分类单元81提供的块来生成块的深度图。分类单元251基于块的深度图，将各个块分类成为大深度、中深度和小深度。分类单元251向运算单元253-1提供大深度的块，向运算单元253-2提供中深度的块，向运算单元253-3提供小深度的块。
存储单元252-1存储通过图20的学习装置210学习的并且在存储单元213-1中存储的大深度的块单元的基图像。存储单元252-2存储在存储单元213-2中存储的中深度的块单元的基图像，并且存储单元252-3存储在存储单元213-3中存储的小深度的块单元的基图像。
运算单元253-1从存储单元252-1读取大深度的块单元的基图像。对于从分类单元251提供的劣化图像的大深度的各个块，运算单元253-1运算块单元的基图像系数矢量，以使得成本函数变得小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2-4中的任一个表达式的Y设置为劣化图像矢量而得到的表达式以块单元限定成本函数，在该劣化图像矢量中，劣化图像的各个像素的像素值在列方向上排列。运算单元253-1向生成单元254-1提供块单元的基图像系数矢量。
与运算单元253-1类似，针对从分类单元251提供的各个块，运算单元253-2和253-3分别从存储单元252-2和252-3读取块单元的基图像，并且运算块单元的基图像系数矢量。
运算单元253-2向生成单元254-2提供运算的块单元的基图像系数矢量，并且运算单元253-3向生成单元254-3提供运算的块单元的基图像系数矢量。
生成单元254-1从存储单元252-1读取大深度的块单元的基图像。对于各个块，使用从运算单元253-1提供的块单元的基图像系数矢量和包括读取的大深度的块单元基图像的块单元基图像矩阵，生成单元254-1通过表达式7生成大深度的块单元的亮度图像的静止图像。
生成单元254-1根据大深度的块单元的亮度图像的静止图像来生成与劣化图像的大深度区域对应的亮度图像的静止图像，并且将该静止图像作为大深度的恢复图像提供给合成单元255。
与生成单元254-1类似，生成单元254-2和254-3分别从存储单元252-2和252-3读取块单元的基图像，并且生成块单元的亮度图像的静止图像。生成单元254-2根据生成的块单元的亮度图像的静止图像来生成中深度的恢复图像，并且向合成单元255提供恢复图像。生成单元254-3根据生成的块单元的亮度图像的静止图像来生成小深度的恢复图像，并向合成单元255提供恢复图像。
合成单元255将分别从生成单元254-1至254-3提供的大深度、中深度和小深度的恢复图像进行合成，并输出与劣化图像的整个区域对应的恢复图像作为合成结果。
下文中，当不需要具体区分存储单元252-1至252-3时，将存储单元252-1至252-3统称为存储单元252。类似地，将运算单元253-1至253-3统称为运算单元253，将生成单元254-1至254-3统称为生成单元254。
[图像生成装置的处理说明]
图23是示出图22的图像生成装置250的分类/生成处理的流程图。当亮度图像的静止图像被从外部作为劣化图像输入时，开始分类/生成处理。
在图23的步骤S190中，与图20的划分单元11类似，图像生成装置250的划分单元81将作为劣化图像从外部输入的亮度图像的静止图像划分成为具有预定尺寸的块，并且向分类单元251提供块。
在步骤S191中，分类单元251根据从划分单元81提供的块来生成块的深度图。在步骤S192中，基于块的深度图，分类单元251将各个块分类成为大深度、中深度和小深度。对于获取的作为分类结果的块，分类单元251向运算单元253-1提供大深度的块，向运算单元253-2提供中深度的块，向运算单元253-3提供小深度的块。
在步骤S193中，图像生成装置250使用大深度的块来执行生成处理。在步骤S194中，图像生成装置250使用中深度的块来执行生成处理。在步骤S195中，图像生成装置250使用小深度的块来执行生成处理。
除了生成与对应深度图的特征的劣化图像的区域对应的亮度图像的静止图像而不是在步骤S91中生成一个亮度图像的静止图像之外，通过步骤S193至S195执行的生成处理与图11的生成处理相同。
在步骤S196中，合成单元255将分别从生成单元254-1至254-3提供的大深度、中深度和小深度的恢复图像进行合成，并输出得到的与劣化图像的整个区域对应的作为合成结果的恢复图像。然后，处理结束。
如上所述，基于深度图的各个特征的基图像和劣化图像，图像生成装置250对于深度图的各个特征获取通过学习装置210学习的基图像，并且对于深度图的各个特征运算基图像系数。因而，对于深度图的各个特征，使用基图像和基图像系数，图像生成装置250可以生成具有与深度图的特征相适应的恢复效果的高清的恢复图像。
通过运算深度图的各个特征的基图像系数，与图像生成装置80类似，图像生成装置250可以降低基图像系数的收敛时间。因为使用基图像和深度图的各个特征的基图像系数，图像生成装置250生成深度图的各个特征的恢复图像，所以，对于深度图的各个特征，图像生成装置250可以并行执行生成处理。
在第三实施方式中，与第一实施方式类似，学习图像和劣化图像是亮度图像的静止图像。但是，学习图像和劣化图像可以是颜色图像的静止图像。学习图像和劣化的图像可以是运动图像。在第三实施方式中，与第一实施方式类似，可以在学习基图像的同时生成恢复图像。
在第三实施方式中，根据亮度图像的静止图像生成深度图。然而，可以从外部输入深度图。
<第四实施方式>
[第四实施方式中稀疏编码的概要的说明]
图24是示出在应用本公开的第四实施方式中的稀疏编码的概要的图。
如图24所示，在第四实施方式中，对于空间位置的各个特征，没有图像质量劣化的大量学习亮度图像的静止图像被分类，并且使用空间位置的各个特征的学习亮度图像的静止图像来学习基图像。存储学习的空间位置的各个特征的基图像。
在这种情况下，空间位置的特征是四种特征中的特征，即当将屏幕划分为四部分时该空间位置位于左上侧的区域的特征（下文称为左上区域）、该空间位置位于右上侧的区域的特征（下文称为右上区域）、该空间位置位于左下侧的区域的特征（下文称为左下区域）、该空间位置位于右下侧的区域的特征（下文称为右下区域）。空间位置的各种特征不限于上述示例。
如果劣化图像被输入作为稀疏编码对象，基于在屏幕中的空间位置，将劣化图像划分为与空间位置的特征对应的左上区域、右上区域、左下区域和右下区域。另外，对于空间位置的各个特征，使用空间位置的特征的基图像，对于劣化的图像执行基图像系数的优化。对于空间位置的各个特征，使用优化的基图像系数和基图像，生成与劣化图像对应的图像质量没有劣化的图像作为恢复的结果，并且合成各个空间位置的特征的恢复的图像。
[学习装置的配置示例]
图25是示出与应用本公开的信号处理装置的第四实施方式对应的学习装置的配置示例的框图。
在图25示出的结构元件中，使用相同的编号标记与图2的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图25的学习装置270的配置与图2的配置具有以下不同：提供分类单元271而不是分类单元12，提供学习单元272-1至272-4而不是学习单元13-1至13-3，并提供存储单元273-1至273-4而不是存储单元14-1至14-3。学习装置270学习空间位置的各个特征的基图像。
特别地，基于块的空间位置，分类单元271将从划分单元11提供的块分类为左上区域、左下区域、右上区域和右上区域。分类单元271向学习单元272-1提供左上区域的块，向学习单元272-2提供右上区域的块，向学习单元272-3提供左下区域的块，以及向学习单元272-4提供右下区域的块。
学习单元272-1通过表达式1对从分类单元271提供的左上区域的块进行建模，并且学习左上区域的块单元的基图像。特别地，使用左上区域的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数，学习单元272-1学习左上区域的块单元的基图像。学习单元272-1向存储单元273-1提供学习的左上区域的块单元的基图像。
与学习单元272-1类似，学习单元272-2和272-4的每一个通过表达式1对从分类单元271提供的块进行建模，并学习块单元的基图像。学习单元272-2向存储单元273-2提供学习的右上区域的块单元的基图像，并且学习单元212-3向存储单元273-3提供学习的左下区域的块单元的基图像。另外，学习单元272-4向存储单元273-4提供学习的右下区域的块单元的基图像。下文中，当不需要具体区分学习单元272-1至272-4时，将学习单元272-1至272-4统称为学习单元272。
存储单元273-1存储从学习单元272-1提供的左上区域的块单元的基图像，存储单元273-2存储从学习单元272-2提供的右上区域的块单元的基图像。另外，存储单元273-3存储从学习单元272-3提供的左下区域的块单元的基图像，存储单元273-4存储从学习单元272-4提供的右下区域的块单元的基图像。下文中，当不需要具体区分存储单元273-1至273-4时，将存储单元273-1至273-4统称为学习单元273。
[学习装置的处理的说明]
图26是示出图25的学习装置270的分类/学习处理的流程图。当从外部向学习装置270输入所有学习亮度图像的静止图像时，离线执行分类/学习处理。
在图26的步骤S211，划分单元11将从外部输入的学习亮度图像的静止图像划分成具有预定尺寸的块，并且将这些块提供给分类单元271。
在步骤S212中，基于块在屏幕上的位置，分类单元271将从划分单元11提供的块划分到左上区域、左下区域、右下区域和右上区域。分类单元271向学习单元272-1提供左上区域的块，向学习单元272-2提供右上区域的块，分类单元271向学习单元272-3提供左下区域的块，向学习单元272-4提供右上区域的块。
在步骤S213中，学习单元272-1使用从分类单元271提供的左上区域的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。
在步骤S214中，学习单元272-2使用从分类单元271提供的右上区域的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。
在步骤S215中，学习单元272-3使用从分类单元271提供的左下区域的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。
在步骤S215中，学习单元272-4使用从分类单元271提供的右下区域的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。然后，处理结束。
如上所述，对于学习亮度图像的静止图像的空间位置的各个特征，学习装置210学习基图像，以使得通过基图像系数变得稀疏的基图像的线性运算表示学习亮度图像的静止图像。因而，可以学习空间位置的各个特征的准确的基图像。
通过学习空间位置的各个特征的基图像，与学习装置10类似，学习装置270可以减少基图像的收敛时间。因为学习装置270学习空间位置的各个特征的基图像，对空间位置的各个特征，学习装置210可以并行执行学习处理。
[图像生成装置的配置示例]
图27是示出图像生成装置的配置示例的框图，该图像生成装置使用通过图25的学习装置270学习的空间位置的各个特征的基图像来生成图像，并且对应于应用本公开的输出装置的第四实施方式。
在图27的结构元件中，使用相同的编号标记与图8的结构元件相同的结构元件。省略对这些元件的重复说明。
图27的图像生成装置190的配置与图8的配置有下述不同：提供分类单元291、存储单元292-1至292-4、运算单元293-1至293-4、生成单元294-1至294-4和合成单元295，而不是分类单元82、存储单元83-1至83-3、运算单元84-1至84-3、生成单元85-1至85-3和合成单元86。图像生成装置190根据空间位置的特征对从外部作为劣化图像输入的亮度图像的静止图像执行稀疏编码，并生成恢复的图像。
特别地，基于块的空间位置，图像生成装置190的分类单元291将从划分单元81输入的块分类到左上区域、右上区域、左下区域和右下区域。分类单元291向运算单元293-1提供左上区域的块，向运算单元293-2提供右上区域的块，向运算单元293-3提供左下区域的块，向运算单元293-4提供右下区域的块。
存储单元292-1存储通过图25的学习装置270学习的并在存储单元273-1中存储的左上区域的块单元的基图像。存储单元292-2存储在存储单元273-2中存储的右上区域的块单元的基图像，存储单元292-3存储在存储单元273-3中存储的左下区域的块单元的基图像。存储单元292-4存储在存储单元273-4中存储的右下区域的块单元的基图像。
运算单元293-1从存储单元292-1读取左上区域的块单元的基图像。对于从分类单元291提供的劣化图像的左上区域的各个块，运算单元293-1运算块单元的基图像系数矢量，以使得成本函数变得小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2-4中的任一个表达式的Y设置为劣化图像矢量得到的表达式以块单元限定成本函数。运算单元293-1向生成单元294-1提供块单元的基图像系数矢量。
与运算单元293-1类似，运算单元293-2至293-4分别从存储单元292-2至292-4读取块单元的基图像，并且运算块单元的基图像系数矢量。运算单元293-2至293-4分别向生成单元294-2至294-4提供运算的块单元的基图像系数矢量。
生成单元294-1从存储单元292-1读取左上区域的块单元的基图像。使用从运算单元293-1提供的块单元的基图像系数矢量和包括读取的块单元基图像的块单元基图像矩阵，对于每个块，生成单元294-1通过表达式7生成左上区域的块单元的亮度图像的静止图像。
生成单元294-1根据左上区域的块单元的亮度图像的静止图像来生成与劣化图像的左上区域对应的亮度图像的静止图像，并且将静止图像作为左上区域的恢复图像提供给合成单元295。
与生成单元294-1类似，生成单元294-2至294-4从存储单元292-2至292-4分别读取块单元的基图像，并生成块单元的亮度图像的静止图像。生成单元294-2根据生成的块单元的亮度图像的静止图像来生成右上区域的恢复图像，并且将该恢复图像提供给合成单元295。
生成单元294-3根据生成的块单元的亮度图像的静止图像来生成左下区域的恢复图像，并且将该恢复图像提供给合成单元295。生成单元294-4根据生成的块单元的亮度图像的静止图像来生成右下区域的恢复图像，并且将该恢复图像提供给合成单元295。
合成单元295对左上区域、右上区域、左下区域和右下区域的恢复图像进行合成，以使得在屏幕的左上区域设置从生成单元294-1提供的左上区域的恢复图像，在屏幕的右上区域设置从生成单元294-2提供的右上区域的恢复图像，在屏幕的左下区域设置从生成单元294-3提供的左下区域的恢复图像，在屏幕的右下区域设置从生成单元294-4提供的右下区域的恢复图像。合成单元295输出所获得的一个作为合成结果的恢复图像。
下文中，当不需要具体区分存储单元292-1至292-4时，将存储单元292-1至292-4统称为存储单元292。类似地，将运算单元293-1至293-3统称为运算单元293，将生成单元294-1至294-4统称为生成单元294。
[图像生成装置130的处理说明]
图28是示出图27的图像生成装置29的分类/生成处理的流程图。当从外部输入亮度图像的静止图像作为劣化图像时，开始分类/生成处理。
在图28的步骤S231中，与图25的划分单元11类似，图像生成装置290的划分单元81将作为劣化图像从外部输入的亮度图像的静止图像划分为具有预定尺寸的块，并且将块提供给分类单元291。
在步骤S232中，基于块在屏幕上的空间位置，分类单元291将从划分单元81提供的块划分为左上区域、右上区域、左下区域和右下区域。分类单元291向运算单元293-1提供左上区域的块，向运算单元293-2提供右上区域的块，向运算单元293-3提供左下区域的块，并且向运算单元293-4提供右下区域的块。
在步骤S233中，图像生成装置290使用左上区域的块执行生成处理。在步骤S234中，图像生成装置290使用右上区域的块执行生成处理。在步骤S235中，图像生成装置290使用左下区域的块执行生成处理。在步骤S236中，图像生成装置290使用右下区域的块执行生成处理。
除了生成与对应空间位置的特征的劣化图像的区域的对应的亮度图像的静止图像，而不是在步骤S91中生成的一个亮度图像的静止图像外，在步骤S233至S236执行的生成处理与在图11中的生成处理相同。
在步骤S237中，合成单元295对左上区域、右上区域、左下区域和右下区域的恢复图像进行合成，使得在屏幕的左上区域设置从生成单元294-1提供的左上区域的恢复图像，在屏幕的右上区域设置从生成单元294-2提供的右上区域的恢复图像，在屏幕的左下区域设置从生成单元294-3提供的左下区域的恢复图像，在屏幕的右下区域设置从生成单元294-4提供的右下区域的恢复图像。合成单元295输出所获得的一个作为合成结果的恢复图像，并且结束处理。
如上所述，基于劣化图像的空间位置的各个特征的基图像以及劣化图像，图像生成装置250对于空间位置的各个特征获取通过学习装置270学习的基图像，并且对于空间位置的各个特征运算基图像系数。因而，对于空间位置的各个特征，使用基图像和基图像系数，图像生成装置290可以生成具有与空间位置的特征相适应的恢复效果的高清的恢复图像。
通过运算空间位置的各个特征的基图像系数，与图像生成装置80类似，图像生成装置290可以降低基图像系数的收敛时间。因为使用空间位置的各个特征的基图像系数和基图像，图像生成装置290生成空间位置的各个特征的恢复的图像，所以，对于空间位置的各个特征，图像生成装置250可以并行执行生成处理。
在第四实施方式中，与第一实施方式类似，学习图像和劣化图像是亮度图像的静止图像。但是，学习图像和劣化图像可以是颜色图像的静止图像。学习图像和劣化图像可以是运动图像。在第二实施方式中，与第一实施方式类似，可以在学习基图像的同时生成恢复图像。
<第五实施方式>
[第五实施方式中稀疏编码的概述的说明]
图29是示出在本公开应用的第五实施方式中的稀疏编码的概述的图。
如图29所示，在第五实施方式中，对于时间变化的各个特征，图像质量没有劣化的大量学习亮度图像的运动图像被分类，并且对于时间变化的各个特征，使用学习亮度图像的运动图像来学习基图像。保存针对时间变化的各个特征学习的基图像。
在这种情况下，时间变化的特征包括：在N帧之间没有时间变化的情况下，与要成为特征的N帧对应的像素值的平均值（下文称为平均图像）；以及在各帧内存在时间变化的情况下，要成为特征的各帧的像素值与平均值的差值（下文称为差图像）。
如果亮度图像的运动图像被输入作为稀疏编码对象的劣化图像，则运动图像的各个帧被分类为平均图像和差图像。另外，使用平均图像和平均图像的基图像来执行基图像系数的优化，并且使用平均图像的基图像和基图像系数来生成与平均图像对应的图像质量没有劣化的图像作为平均图像的恢复图像。
另外，使用差图像和差图像的基图像来执行基图像系数的优化，并且使用差图像的基图像和基图像系数来生成与差图像对应的图像质量没有劣化的图像作为差图像的恢复图像。针对每个帧，添加每N帧的平均图像的恢复图像和各帧的差图像的恢复图像，并且生成各帧的恢复图像。
[学习装置的配置示例]
图30是示出与应用本公开的信号处理装置的第五实施方式对应的学习装置的配置示例的框图。
图30的学习装置310包括划分单元311、分类单元312、学习单元313-1至313-3和存储单元314-1和314-2，并且针对时间变化的各帧学习基图像。
特别地，从外部向学习装置310的划分单元311输入大量图像质量没有劣化的学习亮度图像的运动图像。划分单元311将学习亮度图像的运动图像划分为具有预定尺寸的块，并将这些块提供给分类单元312。
分类单元312根据从划分单元311提供的各个帧的块来生成每N帧的块单元的平均图像，并且将平均图像提供给学习单元313-1。分类单元312运算各个帧的各个块的像素值与包括该帧的N个帧的平均图像的差值，生成块单元的差图像，并将差图像提供给学习单元313-2。
学习单元313-1通过表达式1对从分类单元312提供的块单元的平均图像进行建模，并且学习平均图像的块单元的基图像。特别地，使用块单元的平均图像和通过表达式2至4中的任一个表达式以块单元限定的成本函数来学习平均图像的块单元的基图像。学习单元313-1向存储单元314-1提供学习的平均图像的块单元的基图像。
与学习单元313-1类似地，学习单元313-2通过表达式1对从分类单元312提供的块单元的差图像进行建模，并且学习差图像的块单元的基图像。学习单元313-2向存储单元314-2提供学习的差图像的块单元的基图像。
存储单元314-1存储从学习单元313-1提供的平均图像的块单元的基图像。存储单元314-2存储从学习单元313-2提供的差图像的块单元的基图像。
下文中，当不需要具体区分学习单元313-1和313-2时，将学习单元313-1和313-2统称为学习单元313。类似地，存储单元314-1和314-2统称为存储单元314。
[学习装置的处理的说明]
图31是示出图30的学习装置310的分类/学习处理的流程图。当从外部向学习装置310输入所有学习亮度图像的运动图像时，离线执行分类/学习处理。
在图31的步骤S251中，对于各帧，划分单元311将从外部输入的学习亮度图像的运动图像划分成具有预定尺寸的块，并且将这些块提供给分类单元312。
在步骤S252中，分类单元312根据从划分单元311提供的各帧的块来生成每N帧的块单元的平均图像，并将该平均图像提供给学习单元313-1。
在步骤S253中，分类单元312运算各帧的各块的像素值与包括该帧的N个帧的平均值的差值，生成块单元的差图像，并且向学习单元313-2提供差图像。
在步骤S254中，使用从分类单元312提供的块单元的平均图像和由表达式2至4中的任一个表达式以块单元限定的成本函数，学习单元313-1执行图7的学习处理。
在步骤S255中，学习单元313-1使用从分类单元312提供的块单元的差图像和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行图7的学习处理。然后，处理结束。
如上所述，对于学习亮度图像的运动图像的时间变化的各个特征，学习装置310学习基图像，以使得通过基图像系数变得稀疏的基图像的线性运算来表示学习亮度图像的运动图像。因而，可以学习时间变化的各个特征的准确基图像。
通过学习时间变化的各个帧的基图像，与学习装置10类似，学习装置310可以降低基图像的收敛时间。因为学习装置310学习时间变化的各个特征的基图像，所以学习装置310可以针对时间变化的各个帧，并行地执行学习处理。
[图像生成装置的配置示例]
图32是示出图像生成装置的配置示例的框图，该图像生成装置使用通过图30的学习装置310学习的时间变化的各特征的基图像来生成图像，并且对应于本公开所应用的输出装置的第五实施方式。
图32的图像生成装置330包括划分单元331、分类单元332、存储单元333-1和333-2、运算单元334-1和334-2、生成单元335-1和335-2以及合成单元336。对于从外界作为劣化图像输入的亮度图像的运动图像，图像生成装置330针对时间变化的各个特征执行稀疏编码，并且生成恢复图像。
特别地，亮度图像的运动图像被作为劣化图像从外部输入到图像生成装置330的划分单元331。与图30的划分单元311类似，对于各帧，划分单元331将从外部输入的劣化图像划分为具有预定尺寸的块，并且向分类单元312提供块。
分类单元332根据从划分单元331提供的各帧的块来生成每N帧的块单元的平均图像，并且向运算单元334-1提供平均图像。分类单元332运算各帧的各块的像素值与包括该帧的N个帧的平均图像的差值，生成块单元的差图像，并且向运算单元334-2提供差图像。
存储单元333-1存储通过图30的学习装置310学习的并且在存储单元314-1存储的平均图像的块单元的基图像，存储单元333-2存储在存储单元314-2存储的差图像的块单元的基图像。
运算单元334-1从存储单元333-1读取平均图像的块单元的基图像。对于从分类单元332提供的块单元的每个平均图像，运算单元334-1运算块单元的基图像系数矢量，以使得成本函数变得小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2至4中的任一个表达式的Y设置为劣化图像矢量得到的表达式以块单元限定成本函数。运算单元334-1向生成单元335-1提供运算的块单元的基图像系数矢量。
与运算单元334-1类似的，对于分类单元222提供的差图像的各个块，运算单元334-2运算块单元的基图像系数矢量，并向生成单元335-2提供基图像系数矢量。
生成单元335-1从存储单元333-1读取平均图像的块单元的基图像。对于各个块，使用从运算单元334-1提供的块单元的基图像系数矢量和包括平均图像的块单元基图像的块单元基图像矩阵，生成单元335-1通过下面的表达式7生成块单元的亮度图像的运动图像。生成单元335-1根据所生成的块单元的亮度图像的运动图像来生成帧单元的亮度图像的运动图像，并且向合成单元336提供该运动图像作为平均图像的恢复图像。
与生成单元335-1类似，生成单元335-2从存储单元333-2读取差图像的块单元的基图像，并生成块单元的亮度图像的运动图像。生成单元335-2根据所生成的块单元的亮度图像的运动图像来生成帧单元的亮度图像的运动图像，并且向合成单元336提供该运动图像作为差图像的恢复图像。
对于各个帧，合成单元336合成（相加）从生成单元335-1提供的平均图像的恢复图像和从生成单元335-2提供的差图像的恢复图像，并生成恢复图像。合成单元336输出所生成的恢复图像。
下文中，当不需要具体区分存储单元333-1和333-2时，将存储单元333-1和333-2统称为存储单元333。类似地，运算单元334-1和334-2统称为运算单元334，生成单元335-1和335-2统称为生成单元335。
[图像生成装置的处理的说明]
图33是示出图32的图像生成装置330的分类/生成处理的流程图。当从外部输入亮度图像的运动图像作为劣化图像时，开始分类/生成处理。
在图33的步骤S271中，与图30的划分单元311类似，图像生成装置330的划分单元331将从外部作为劣化图像输入的亮度图像的运动图像划分为具有预定尺寸的块，并且将该块提供给分类单元332。
在步骤S272中，分类单元332根据从划分单元331提供的各个帧的块来生成每N帧的块单元的平均图像，并且向运算单元334-1提供平均图像。
在步骤S273中，分类单元332运算各个帧的各块的像素值与包括该帧的N帧的平均图像的差值，生成块单元的差图像，并向运算单元334-2提供差图像。
在步骤S274中，图像生成装置330使用块单元的平均图像执行图11的生成处理。在步骤S275中，使用块单元的差图像，图像生成装置330执行图11的生成处理。
在步骤S276中，针对每个帧，合成单元336合成从生成单元335-1提供的平均图像的恢复图像和从生成单元335-2提供的差图像的恢复图像，并且生成恢复图像。合成单元336输出所生成的恢复图像，并且结束处理。
如上所述，基于时间变化的各个帧的基图像和劣化图像，图像生成装置330获取学习装置310针对时间变化的各个特征而学习的基图像，并且对于时间变化的各个特征运算该基图像。因而，使用时间变化的各个特征的基图像和基图像系数，图像生成装置330可以生成平滑且高清的恢复图像。
与图像生成装置80类似，通过运算时间变化的各个特征的基图像系数，图像生成装置330可以降低基图像系数的收敛时间。因为图像生成装置330使用时间变化的各个特征的基图像和基图像系数生成时间变化的各个特征的恢复图像，因而图像生成装置330可以针对时间变化的各个特征执行并行处理。
在第五实施方式中，学习图像和劣化图像是亮度图像的运动图像。但是，学习图像和劣化图像可以是颜色图像的运动图像。与第一实施方式类似，在第五实施方式中，可以在学习基图像的同时生成恢复图像。
<第六实施方式>
[第六实施方式中稀疏编码的概要的说明]
图34是示出在本公开应用的第六实施方式中的稀疏编码的概要的图。
如图34所示，在第六实施方式中，图像生成装置340和终端341-1至341-N采用云计算配置。图像生成装置340向不同的图像生成装置340传输劣化图像，并且从该不同的图像生成装置340接收与劣化图像对应的恢复图像。
在这种情况下，预先地，针对终端341-1至341-N的各个特征对图像质量没有劣化的大量学习亮度图像的静止图像进行分类，并且针对终端341-1至341-N的各个特征利用学习亮度图像的静止图像来学习基图像。保存终端341-1至341-N的各个特征的学习的基图像。
下文中，当不需要具体区分终端341-1至341-N时，将终端341-1至341-N统称为终端341。作为终端341的特征，存在终端341的类型、拍摄设置参数和全球定位系统（GPS）信息。在这种情况下，终端341的特征是终端341的类型，并且终端341的类型是类型A、类型B和类型C这三种类型。
如果从终端341传输作为稀疏编码对象的劣化图像，则基于传输源的终端341的特征，图像生成装置340将劣化图像分类成为类型A至C的任一种。使用劣化图像被分类到的类型的基图像，图像生成装置340针对劣化图像执行基图像系数的优化。使用优化的基图像系数和劣化图像被分类到的类型的基图像，图像生成装置340生成与劣化图像对应的图像质量没有劣化的图像作为恢复图像，并且向终端31传输恢复图像。
[学习装置的配置示例]
图35是示出与应用本公开的信号处理装置的第六实施方式对应的学习装置的配置示例的框图。
在图35示出的结构元件中，使用相同的编号标记与图2的结构元件相同的结构元件。省略这些结构元件的重复说明。
图35的学习装置350的配置与图2的配置的不同在于：提供分类单元351而不是分类单元12，提供学习单元352-1至3521-3而不是学习单元13-1至13-3，提供存储单元353-1至353-3而不是存储单元14-1至14-3。学习装置350学习终端341的各个特征的基图像。
特别地，从外部向分类单元351输入与各个学习亮度图像的静止图像对应的终端341的类型。基于与从外部输入的块的学习亮度图像的静止图像对应的终端341的类型，分类单元351将从划分单元11提供的块分类到类型A至C的任一种。分类单元351向与块被分类成的类型对应的学习单元352-1至352-3的任一种提供块。
学习单元352-1至352-3对应于类型A、B和C。学习单元352-1通过表达式1对从分类单元351提供的类型A的块进行建模，并且学习类型A的块单元的基图像。具体地，学习单元352-1使用类型A的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来学习类型A的块单元的基图像。学习单元352-1向存储单元353-1提供学习的类型A的块单元的基图像。
与学习单元352-1类似地，学习单元352-2和352-3中的任一个通过表达式1对从分类单元351提供的块进行建模，并且学习块单元的基图像。学习单元352-2向存储单元353-2提供学习的类型B的块单元的基图像，并且学习单元352-3向存储单元353-3提供学习的类型C的块单元的基图像。
存储单元353-1存储从学习单元352-1提供的类型A的块单元的基图像，存储单元353-2存储从学习单元352-2提供的类型B的块单元的基图像。存储单元353-3存储从学习单元352-3提供的类型C的块单元的基图像。
下文中，当不需要具体区分学习单元352-1至352-3时，将学习单元352-1至352-3统称为学习单元352。类似地，存储单元353-1至353-3统称为存储单元353。
[学习装置的处理的说明]
图36是示出图35的学习装置350的分类/学习处理的流程图。当从外部向学习装置350输入所有学习亮度图像的静止图像时，离线执行分类/学习处理。
在图36的步骤S291，划分单元11将从外部输入的学习亮度图像的静止图像划分成具有预定尺寸的块，并且将这些块提供给分类单元351。
在步骤S292中，分类单元351基于与从外部输入的块的学习亮度图像的静止图像对应的终端341的类型，分类单元351将从划分单元11提供的块分类到类型A至C的任一种。分类单元351向与块被分类到的类型对应的学习单元352提供块。
在步骤S293中，学习单元352-1使用从分类单元351提供的类型A的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。
在步骤S294中，学习单元352-2使用从分类单元351提供的类型B的块和通过表达式2至4的中任一个表达式以块单元限定的成本函数来执行图7的学习处理。
在步骤S295中，学习单元352-3使用从分类单元351提供的类型C的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数来执行图7的学习处理。然后，处理结束。
如上所述，对于与学习亮度图像的静止图像对应的终端341的各个特征，学习装置350学习基图像，以使得通过基图像系数变的稀疏的基图像的线性运算来表示学习亮度图像的静止图像。因而，可以学习终端341的各个特征的准确的基图像。
通过学习终端341的各个特征的基图像，与学习装置10类似，学习装置350可以降低基图像的收敛时间。因为学习装置350针对终端的各个特征学习基图像，因而学习装置350可以针对终端的各个特征并行执行学习处理。
[图像生成装置的配置示例]
图37是示出图像生成装置的配置示例的框图，该图像生成装置使用通过图35的学习装置350针对终端341的各个特征而学习的基图像来生成图像，并且对应于应用本公开的输出装置的第六实施方式。
图37的图像生成装置340包括划分单元371、分类单元372、存储单元373-1至373-3、运算单元374-1至374-3和生成单元375-1至375-3。图像生成装置340根据终端341的特征对从终端341作为劣化图像传输的亮度图像的静止图像执行稀疏编码，并生成恢复图像。
特别地，图像生成装置340的划分单元371接收从终端341传输的作为劣化图像的亮度图像的静止图像。与图35的划分单元11类似，划分单元371将静止图像划分成为具有预定尺寸的块并将这些块提供给分类单元82。
分类单元372接收从终端341传输的终端341的类型。基于已经传输劣化图像的终端341的类型，分类单元372将从划分单元371提供的劣化图像的所有块分类到类型A至C的任一种。分类单元372将所有块提供给与所有块被分类到的类型对应的运算单元374-1至374-3的任一种。
存储单元373-1存储通过图35的学习装置350学习的并且在存储单元353-1中存储的类型A的块单元的基图像。存储单元373-2存储在存储单元353-2中存储的类型B的块单元的基图像，存储单元373-3存储在存储单元353-3中存储的类型C的块单元的基图像。
运算单元374-1至374-3对应于类型A、B和C。运算单元374-1从存储单元373-1读取类型A的块单元的基图像。对于从分类单元372提供的类型A的劣化图像的各个块，运算单元374-1运算块单元的基图像系数矢量，使得成本函数变得小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2-4的任一个中的Y设置为劣化图像矢量得到的表达式以块单元限定成本函数。运算单元374-1向生成单元375-1提供块单元的基图像系数矢量。
与运算单元374-1类似，对于分类单元372提供的各个块，运算单元374-2和374-3分别从存储单元373-2和373-3读取块单元的基图像，并且运算块单元的基图像系数矢量。运算单元374-2向生成单元375-2提供运算的块单元的基图像系数矢量，并且运算单元374-3向生成单元375-3提供运算的块单元的基图像系数矢量。
生成单元375-1从存储单元373-1读取类型A的块单元的基图像。对于各个块，使用从运算单元374-1提供的块单元的基图像系数矢量和包括读取的类型A的块单元基图像的块单元基图像矩阵，生成单元375-1通过表达式7生成块单元的亮度图像的静止图像。生成单元375-1根据生成的块单元的亮度图像的静止图像生成一个亮度图像的静止图像，并且输出该静止图像作为恢复图像。
与生成单元375-1类似，生成单元375-2和375-3从存储单元373-2和373-3读取块单元的基图像，并生成块单元的亮度图像的静止图像。生成单元375-2和375-3的每一个根据生成的块单元的亮度图像的静止图像生成一个亮度图像的静止图像，并且输出该静止图像作为恢复图像。
下文中，当不需要具体区分存储单元373-1至373-3时，将存储单元373-1至373-3统称为存储单元373。类似地，运算单元374-1至374-3被统称为运算单元374，生成单元375-1至375-3被统称为生成单元375。
[图像生成装置的处理说明]
图38是示出图37的图像生成装置340的分类/生成处理的流程图。当从终端341传输与劣化的图像对应的亮度图像的静止图像和终端341的类型时，开始分类/生成处理。
在图38的步骤S310中，图像生成装置340的划分单元371接收来自终端341的作为劣化图像传输的亮度图像的静止图像，分类单元372接收从终端341传输的终端341的类型。在步骤S311中，与图35的划分单元11类似，划分单元371将接收的劣化图像划分成为具有预定尺寸的块，并且向分类单元372提供。
在步骤S312中，基于通过步骤S310接收的终端341的类型，分类单元372将从划分单元371提供的劣化图像的所有块分类为类型A至C的任一种。分类单元372向与所有块被分类到的类型对应的运算单元374提供所有的块。
在步骤S313中，图像生成装置340使用所有块被分类到的类型的基图像和所有块来执行图11的生成处理，并且结束处理。
如上所述，基于劣化图像和劣化图像的传输源的终端341的特征的基图像，对于终端341的各个特征，图像生成装置340获取通过学习装置350学习的基图像，并且运算基图像系数。因而，使用根据劣化的图像的传输源的终端341的特征的基图像和基图像系数，图像生成装置340可以生成适合于传输源的终端341的特征的恢复效果的高清的恢复图像。
与图像生成装置80类似，通过运算终端341的各个特征的基图像系数，图像生成装置340可以降低基图像系数的收敛时间。
在第六实施方式中，与第一实施方式类似，学习图像和劣化图像是亮度图像的静止图像。但是，学习图像和劣化的图像可以是颜色图像的静止图像。学习图像和劣化图像可以是运动图像。在第六实施方式中，与第一实施方式类似，可以在学习基图像的同时生成恢复图像。
[学习装置的配置示例]
图39是示出与本公开应用的第七信号处理装置对应的学习装置的配置示例的框图。
在图39示出的结构元件中，使用相同的编号标记与图2的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图39的学习装置390的配置与图2的配置有下述不同：提供划分单元391、学习单元392-1至392-3和存储单元393-1至393-3而不是划分单元11、学习单元13-1至13-3和存储单元14-1至14-3。学习装置390为音频恢复而学习稀疏编码的基音频信号。
特别地，从外部向划分单元391或者学习装置390输入没有大的声音质量劣化的大量学习音频信号。划分单元391将学习音频信号划分成预定部分的块（帧）并且，将块提供给分类单元12。
学习单元392-1通过将表达式1的图像设置为音频信号得到的表达式来对从分类单元12提供的高频带的块进行建模，并且学习高频带的块单元的基音频信号。特别地，使用高频带的块和通过将表达式2-4中的任一个的图像设置为音频信号得到的表达式以块单元限定的成本函数，学习单元392-1学习高频带的块单元的基音频信号。学习单元392-1向存储单元393-1提供学习的高频带的块单元的基音频信号。
与学习单元392-1类似，学习单元392-2和392-3的任一个通过将表达式1的图像设置为音频信号得到的表达式对从分类单元12提供的块进行建模，并且学习块单元的基音频信号。学习单元392-2向存储单元393-2提供学习的中频带的块单元的基音频信号，学习单元392-3向存储单元393-3提供学习的低频带的块单元的基音频信号。
存储单元393-1存储从学习单元392-1提供的高频带的块单元的基音频信号，存储单元393-2存储从学习单元392-2提供的中频带的块单元的基音频信号。存储单元393-3存储从学习单元392-3提供的低频带的块单元的基音频信号。
[学习装置的处理的说明]
除了学习信号是音频信号而不是亮度图像的静止图像、学习信号被划分成预定部分单元的块、以及通过将表达式2-4中的任一个的图像设置为音频信号得到的表达式计算成本函数之外，学习装置390的学习处理与图6的分类/学习处理相同。因而，省略对学习处理的示出和说明。
如上所述，针对学习音频信号的频带的各个特征，学习装置390学习基音频信号，以使得通过基音频系数稀疏的基音频信号的线性运算来表示学习音频信号。因而，可以学习频带的各个特征的准确的基音频信号。
通过学习频带的各个特征的基音频信号，与学习装置10类似，学习装置390可以降低基音频信号的收敛时间。因为学习装置390针对频带的各个特征学习基音频信号，所以学习装置390可以针对频带的各个特征并行地执行学习处理。
[音频生成装置的配置示例]
图40是示出音频生成装置的配置示例的框图，该音频生成装置使用通过图39的学习装置390学习的频带的各个特征的基音频信号生成音频信号，并且对应于应用本公开的输出装置的第七实施方式。
在图40中示出的结构元件中，使用相同编号标记与图8中的结构元件相同的结构元件。省略对这些结构元件的重复解释。
图40的音频生成装置的配置与图8的配置有下述不同：提供划分单元411、存储单元412-1至412-3、运算单元413-1至413-3、生成单元414-1至414-3和合成单元415，而不是划分单元81、存储单元82-1至82-3、运算单元83-1至83-3、生成单元84-1至84-3和合成单元86。对于从外部输入的声音质量劣化的劣化音频信号，音频生成装置410针对各个频带执行稀疏编码，并生成恢复音频信号。
特别地，从外部向音频生成装置410的划分单元411输入劣化音频信号。与图39的划分单元391类似，划分单元411将从外部输入的劣化音频信号划分成为预定部分的块，并将这些块提供给分类单元82。
存储单元412-1存储通过图39的学习装置390学习的并且在存储单元393-1内存储的高频带的块单元的基音频信号。存储单元412-2存储在存储单元393-2内存储的中频带的块单元的基音频信号，并且存储单元412-3存储在存储单元393-3内存储的低频带的块单元的基音频信号。
运算单元413-1从存储单元412-1读取高频带的块单元的基音频信号。对于从分类单元82提供的劣化音频信号的高频带的各个块，运算单元413-1运算块单元的基音频系数矢量，以使得成本函数变得小于预定阈值。使用包括读取的块单元的基音频信号的块单元的基音频信号矩阵，通过将表达式2至4中的任一个表达式的Y设置为在列方向排列劣化音频信号的各个采样值的矢量得到的表达式以块单元限定成本函数。运算单元413-1向生成单元414-1提供运算的块单元的基音频系数矢量。
与运算单元413-1类似，运算单元413-2和413-3分别从存储单元412-2和412-3读取块单元的基音频信号。与运算单元413-1类似，对于从分类单元82提供的各个块，运算单元413-2和413-3的每一个运算块单元的基音频系数矢量。
运算单元413-2向生成单元414-2提供运算的块单元的基音频系数矢量，运算单元413-3向生成单元414-3提供运算的块单元的基音频系数矢量。
生成单元414-1从存储单元412-1读取高频带的块单元的基音频信号。对于各个块，使用从运算单元413-1提供的块单元的基音频系数矢量和包括高频带的块单元的基音频信号的块单元的基音频信号矩阵，生成单元414-1通过将表达式7的图像设置为音频信号获得的表达式来生成块单元的音频信号。
生成单元414-1根据生成的块单元的音频信号来生成所有部分的音频信号，并且向合成单元415提供该音频信号作为高频带的恢复音频信号。与生成单元414-1类似，生成单元414-2和414-3分别从存储单元412-2和412-3读取块单元的基音频信号，并且生成块单元的音频信号。
生成单元414-2根据生成的块单元的音频信号来生成中频带的恢复音频信号，并且向合成单元415提供该恢复音频信号。生成单元414-3根据生成的块单元的音频信号来生成低频带的恢复音频信号，并且向合成单元415提供该恢复音频信号。
合成单元415合成分别从生成单元414-1至414-3提供的高频带、中频带和低频带的恢复音频信号，并且输出作为合成结果而获得的一个所有频带的恢复音频信号。
[音频生成装置的处理的说明]
除了稀疏编码对象信号是劣化音频信号而不是劣化图像、稀疏编码对象信号被划分成为预定部分单元的块、通过将表达式2至4中的任一个表达式的图像设置为音频信号得到的表达式来计算成本函数、并且通过将表达式7的图像设置为音频信号得到的表达式来计算块单元的音频信号之外，音频生成装置410的分类/生成处理与图10的分类/生成处理相同。因而，省略对分类/生成处理的示出和说明。
如上所述，基于频带的各个特征的基音频信号和劣化音频信号，音频生成装置410获取学习装置390针对频带的各个特征而学习的基音频，并且对于频带的各个特征运算基音频系数。因而，对于频带的各个特征，使用基音频信号和基音频系数，音频生成装置410可以生成具有与频带的各个特征相适应的恢复效果的高清的恢复音频信号。
通过运算频带的各个特征的基音频系数，与图像生成装置80类似，音频生成装置410可以降低基音频系数的收敛时间。因为使用基音频信号和频带的各个特征的基音频系数，音频生成装置410生成频带的各个特征的恢复音频信号，所以音频生成装置410可以针对频带的各个特征并行地执行生成处理。
在图40所示的结构元件中，使用相同的编号标记与图8的结构元件相同的结构元件。省略对这些结构元件的重复说明。
图41的学习装置430包括提取单元431、分类单元432、学习单元433-1至433-3和存储单元434-1至434-3。通过在图中未示出的监视摄像机拍摄的大量正常亮度图像的运动图像被输入学习装置430作为学习亮度图像的运动图像，并且输入拍摄环境（监视环境）的信息。
学习装置430的提取单元431通过下面描述的异常检测装置，从监视摄像机输入的作为学习亮度图像的运动图像的大量正常亮度图像的运动图像的各帧提取异常检测对象区域（下文中称为检测区域）。
例如，当下面描述的异常检测装置检测人的异常时，提取单元431检测人的区域或者脸，并且提取该区域作为检测区域。当下面要描述的异常检测装置检测车辆的异常时，提取单元431检测车辆的包括在先设置的特征点的区域并且提取该区域作为检测区域。提取单元431提取预定数量的每几帧的检测区域，而不是每一帧。在没有提取检测区域期间，提取单元431可以跟踪提取的检测区域，并且设置检测区域。
提取单元431对提取的检测区域归一化，形成具有预定尺寸的块，并且向分类单元432提供这些块。
对于各个帧，检测区域的数量可以是单数或复数。当各个帧的检测区域的数量是复数时，对于各个检测区域，学习基图像。
基于从图中未示出的监视摄像机输入的块单元的学习亮度图像的运动图像的拍摄环境，分类单元432将从提取单元431提供的块分类成为多个拍摄环境的特征中的任一个。在这种情况下，拍摄环境是在拍摄时的时区，并且拍摄环境的各种特征包括早晨、上午、下午和晚上四种。
在拍摄时间的时区的各种特征不限于上述示例。例如，在拍摄时的时区的各种特征可以是早高峰时间（从7:00至9:00）、晚高峰时间（从17:00至19:00）和其他时间。拍摄环境不限于拍摄时的时区。例如，当在户外进行拍摄时，拍摄环境可以是天气（雨、多云和晴天）。
分类单元432向学习单元433-1至433-4中的与块被分类成的拍摄环境的特征对应的任一个学习单元提供块。
学习单元433-1至433-4对应于早上、上午、下午和晚上。学习单元433-1通过表达式1对从分类单元432提供的早晨的块进行建模，并且学习早晨的块单元的基图像。特别地，使用早晨的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数，学习单元433-1学习早晨的块单元的基图像。学习单元433-1向存储单元434-1提供学习的早晨的块单元的基图像。
与学习单元433-1类似，学习单元433-2至433-4的每一个通过表达式1对从分类单元432提供的块进行建模，并且学习块单元的基图像。学习单元433-2向存储单元434-2提供学习的上午的块单元的基图像。学习单元433-3向存储单元434-3提供学习的下午的块单元的基图像。学习单元433-4向存储单元434-4提供学习的晚上的块单元的基图像。
存储单元434-1存储从学习单元433-1提供的早晨的块单元的基图像，存储单元434-2存储从学习单元433-2提供的上午的块单元的基图像。存储单元434-3存储从学习单元433-3提供的下午的块单元的基图像，存储单元434-4存储从学习单元433-4提供的晚上的块单元的基图像。
[学习装置的处理的说明]
图42是示出图41的学习装置430的分类/学习处理的流程图。当从图中未示出的监视摄像机输入正常亮度图像的运动图像作为所有学习亮度图像的运动图像时，离线执行分类/学习处理。
在步骤S330中，学习装置430的提取单元431从图中未示出的监视摄像机输入的作为所有学习亮度图像的运动图像的各帧中提取检测区域。在步骤S331中，提取单元431对提取的检测区域进行归一化，形成具有预定尺寸的块，并向分类单元432提供这些块。
在步骤S332中，基于从外部输入的块的学习亮度图像的运动图像的拍摄环境，分类单元432将从提取单元431提供的块分类到与拍摄环境的特征对应的早上、上午、下午和晚上。分类单元432向与块被分类到的拍摄环境的特征对应的学习单元433提供块。
在步骤S333中，学习单元433-1使用从分类单元432提供的早晨的块和通过表达式2至4中的任一个表达式以块单元限定的成本函数，执行图7的学习处理。
在步骤S334中，学习单元433-2使用从分类单元432提供的上午的块和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行图7的学习处理。
在步骤S335中，学习单元433-3使用从分类单元432提供的下午的块和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行图7的学习处理。
在步骤S336中，学习单元433-4使用从分类单元432提供的晚上的块和由表达式2至4中的任一个表达式以块单元限定的成本函数，执行图7的学习处理。
如上所述，对于学习亮度图像的运动图像的拍摄环境的各个特征，学习装置430学习基图像，以使得通过基图像系数变得稀疏的基图像的线性运算来表示学习亮度图像的运动图像。因而，可以学习拍摄环境的各特征的准确的基图像。
通过学习拍摄环境的各个特征的基图像，与学习装置10类似，学习装置430可以降低基图像的收敛时间。因为学习装置430学习拍摄环境的各特征的基图像，所以学习装置430能够针对拍摄环境的各个特征并行地执行学习处理。
[异常检测装置的配置示例]
图43是示出异常检测装置的配置示例的框图，异常检测装置利用图41的学习装置430针对拍摄环境的各个特征学习的基图像来检测异常，并且对应于应用本公开的输出装置的第八实施方式。
图43的异常检测装置450包括提取单元451、分类单元452、存储单元453-1至453-4、运算单元454-1至454-4、生成单元455-1至455-4和识别单元456。对于从图中未示出的监视摄像机作为异常检测对象的图像而输入的亮度图像的运动图像，异常检测装置450针对拍摄环境的各个特征执行稀疏编码，并且检测异常。
特别地，亮度图像的运动图像被作为异常检测对象的图像从附图中未示出的监视摄像机输入到异常检测装置450的提取单元451。与图41的提取单元431类似，提取单元451从图中未示出的监视摄像机输入的异常检测对象的图像的各帧中提取检测区域。
与提取单元431类似，提取单元451对提取的检测区域进行归一化，形成具有预定尺寸的块，并且向分类单元452和识别单元456提供这些块。
从图上未示出的监视摄像机向分类单元452输入与异常检测对象的图像的拍摄环境对应的拍摄时间的时区。基于拍摄时间的块的异常检测对象的图像的时区，分类单元452将从提取单元451提供的块分类为与拍摄环境的特征对应的早晨、上午、下午和晚上。分类单元452向运算单元454-1至454-4中与块被分类到的拍摄环境的特征对应的任一个运算单元提供块。
存储单元453-1存储通过图41的学习装置430学习的并在存储单元434-1中存储的早晨的块单元的基图像。存储单元453-2存储在存储单元434-2中存储的上午的块单元的基图像，存储单元453-3存储在存储单元434-3中存储的下午的块单元的基图像。存储单元453-4存储在存储单元434-4中存储的晚上的块单元的基图像。
运算单元454-1从存储单元453-1读取早晨的块单元的基图像。对于从分类单元452提供的早晨的各个块，运算单元454-1运算块单元的基图像系数矢量，以使得成本函数小于预定阈值。使用包括读取的块单元基图像的块单元基图像矩阵，通过将表达式2至4中的任一个表达式的Y设置为矢量（下文中称为检测图像矢量）得到的表达式以块单元限定成本函数，在该矢量中，在列的方向排列异常检测对象的图像的各个像素的像素值。运算单元454-1向生成单元455-1提供运算的块单元的基图像系数矢量。
与运算单元454-1类似，对于从分类单元191提供的各个块，运算单元454-2至454-4分别从存储单元453-2至453-4读取块单元的基图像，并且运算块单元的基图像系数矢量。运算单元454-2至454-4分别向生成单元455-2至455-4提供运算的块单元的基图像系数矢量。
生成单元455-1从存储单元453-1读取早晨的块单元的基图像。对于各个块，使用从运算单元454-1提供的块单元的基图像系数矢量和包括读取的早晨的块单元基图像的块单元基图像矩阵，生成单元455-1通过表达式7生成块单元的亮度图像的运动图像。生成单元455-1向识别单元456提供块单元的亮度图像的运动图像。
与生成单元455-1类似，生成单元455-2至455-4分别从存储单元453-2至453-4读取块单元的基图像，并且生成块单元的亮度图像的运动图像。生成单元455-2至455-4向识别单元456提供生成的块单元的亮度图像的运动图像。
下文中，当不需要具体区分存储单元453-1至453-3时，将存储单元453-1至453-3统称为存储单元453。类似地，运算单元454-1至454-3统称为运算单元454，生成单元455-1至455-4被统称为生成单元455。
对于各个帧的各个块，识别单元456计算从生成单元455提供的块单元的亮度图像的运动图像与从提取单元451提供的块的差。识别单元456基于该差来检测（识别）块的异常，生成表示是否存在异常的异常信息，并且输出异常信息。
[检测区域的示例]
图44是示出图43的提取单元451提取的检测区域的示例。
在图44的示例中，从异常检测对象的图像的各个帧中，提取单元451提取人的区域作为检测区域471，提取车辆区域作为检测区域472。如图44所示，因为异常检测对象的图像的各帧的检测区域471和472的尺寸可能彼此不同，所以通过具有预定尺寸的块对检测区域进行归一化。
通过提取单元451提取的各个帧的检测区域的数量可以是图44示出的复数或可以是单数。当各个帧的检测区域的数量是复数时，针对各个检测区域，运算块单元图像系数矢量，并生成异常信息。
[生成异常信息的方法的说明]
图45是示出通过图43的识别单元456生成异常信息的方法的图。
如图45的左侧所示，使用大量归一化的亮度图像的运动图像，图41的学习装置430针对拍摄环境的各个特征学习块单元的基图像。如图45的中央和右侧所示，使用针对拍摄环境的各个特征学习的块单元的基图像和异常检测对象的图像的检测区域的块，图43的异常检测装置450的运算单元454以预定次数重复地运算各个帧的块单元基图像系数矢量。
生成单元455根据各个帧的块单元基图像系数矢量和拍摄环境的各个特征的块单元的基图像来生成块单元的亮度图像的运动图像。对于各个帧的各个块，识别单元456运算生成的块单元的亮度图像的运动图像与异常检测对象的图像的检测区域的块的差。
如图45的中央所示，当从头部的第（t-1）个帧至第（t+1）个帧的差之和小于阈值时，识别单元456针对这些帧不检测异常，并且生成表示不存在异常的异常信息。同时，如在图45的右侧所示，当从头的第（t-1）个帧至第（t+1）个帧的差之和等于或大于阈值时，对于帧，识别单元456检测异常，并生成表示存在异常的异常信息。
也就是说，当异常检测对象的图像与学习亮度图像的运动图像是相同的亮度图像的运动图像时，即，归一化的亮度图像的运动图像，如果以预定次数重复块单元基图像矢量的运算时，块单元基图像系数矢量充分收敛。因而，降低使用块单元基图像系数矢量生成的块单元的亮度图像的运动图像与异常检测对象的图像的检测区域的块之差。
同时，当异常检测对象的亮度图像与学习亮度图像的运动图像不是相同的亮度图像的运动图像时，即，亮度图像是异常亮度图像的运动图像，即使以预定次数重复块单元基图像系数矢量的运算，块单元基图像系数矢量也不会充分收敛。因而，增加使用块单元基图像系数矢量生成的块单元的亮度图像的运动图像与异常检测对象的图像的检测区域的块之差。
结果，当使用块单元基图像系数矢量和异常检测对象的图像的检测区域的块生成的块单元的亮度图像的运动图像之差小于阈值时，识别单元456不检测异常，并且生成表示不存在异常的异常信息。当该差等于或大于阈值时，识别单元456检测异常并生成表示存在异常的异常信息。
[异常检测装置的处理的说明]
图46是示出图43的异常检测装置450的分类/异常检测处理的流程图。当从未示出的监视摄像机输入亮度图像的运动图像作为异常检测对象的图像时，开始分类/异常检测处理。
在图46的步骤S350，与图41的提取单元431类似，异常检测装置450的提取单元451从图中未示出的监视摄像机输入的异常检测对象的图像的各个帧中提取检测区域。
在步骤S351中，与提取单元431类似，提取单元451对提取的检测区域进行归一化，形成具有预定尺寸的块，并且向分类单元452和识别单元456提供这些块。
在步骤S352中，基于从图中未示出的监视摄像机输入的在拍摄时间的块的异常检测对象的图像的时区，分类单元452将从提取单元451提供的块分类成与拍摄环境的特征对应的早上、上午、下午或晚上。分类单元452将这些块提供给与块被分类到的拍摄环境的特征对应的运算单元454。
在步骤S353中，异常检测装置450使用块被分类到的拍摄环境的特征的基图像和块来执行异常检测处理，并且结束处理。
图47是示出图43的异常检测装置450的异常检测处理的流程图。
以块单元执行图47的步骤S371至S383的处理。
因为步骤S371至S375的处理与图41的步骤S81至S85的处理相同，所以省略对该处理的说明。通过将表达式2至4的Y设置为检测图像矢量得到的任何一个表达式以块单元限定成本函数。
在步骤S376中，运算单元454确定重复运算的次数M是否大于预定阈值。如果在步骤S376中确定重复运算的次数M等于或小于预定阈值，则运算单元454返回步骤S373的处理。重复步骤S373至S376的处理直到重复运算的次数M大于预定阈值。
同时，当在步骤S376中确定重复运算的次数M大于预定阈值时，运算单元454向生成单元455提供通过上一步骤S374更新的块单元基图像系数矢量。
在步骤S377中，生成单元455从存储单元453读取块单元的基图像。在步骤S378中，使用包括读取的块单元的基图像的块单元基图像矩阵和运算单元454提供的块单元基图像系数矢量，生成单元455通过表达式7生成块单元的亮度图像的运动图像。生成单元455向识别单元456提供块单元的亮度图像的运动图像。
在步骤S379中，对于各个块，识别单元456运算从生成单元455提供的块单元的亮度图像的运动图像与从提取单元451提供的块之差。
在步骤S380中，识别单元456对步骤S379运算的三个帧的差求和。在步骤S381中，识别单元456确定作为步骤S380的求和结果得到的差之和是否小于预定阈值。
当在步骤S381中确定差之和小于预定阈值时，在步骤S382中，识别单元456不检测异常，生成表示不存在异常的异常信息，输出异常信息，并且结束处理。
当在步骤S381中确定差之和等于或大于预定阈值时，在步骤S383中，识别单元456检测异常，生成表示存在异常的异常信息，输出异常信息，并且结束处理。
异常检测装置450生成三帧的异常信息。但是，异常检测装置450可以生成单帧的异常信息。在这种情况下，异常检测装置450运算各帧与该帧之前的帧和之后的帧的差之和，并且基于该和来生成各个帧的异常信息。与求和的差对应的帧数不限于3。
如上所述，对于拍摄环境的各个特征，异常检测装置450获取通过学习装置430学习的基图像。基于异常检测对象的图像和图像的拍摄环境的特征的基图像，异常检测装置450运算基图像系数。因而，使用根据异常检测对象的图像的拍摄环境的特征的基图像系数和基图像，异常检测装置450可以生成具有适合于拍摄环境的特征的恢复效果的检测区域的归一化亮度图像的高清运动图像。
另外，基于生成的检测区域的归一化亮度图像的高清运动图像与异常检测对象的图像的检测区域之差，异常检测装置450检测（识别）异常。因而，可以高精度地检测异常而不依赖于监视环境。
在第八实施方式中，异常检测对象的学习图像和图像是亮度图像的运动图像。但是，学习图像和异常检测对象的图像可以是颜色图像的运动图像。在这种情况下，对于各个颜色通道的拍摄环境的各个特征执行学习，对于各个颜色通道生成检测区域的归一化颜色图像的运动图像。基于各个颜色通道的三个帧的差之和来生成异常信息。学习图像和异常检测对象的图像可以是静止图像。
在第八实施方式中，与第一实施方式类似，可以在学习基图像的同时生成异常信息。
第八实施方式是将稀疏编码应用于识别技术的示例，并且稀疏编码可以应用到识别技术例如对象识别而不是异常检测。
<第九实施方式>
[本公开应用的计算机的说明]
上述系列处理可以通过硬件执行或者可以通过软件执行。在通过软件执行系列处理的情况下，在计算中安装配置该软件的程序。在这种情况下，计算机的示例包括在专用硬件中嵌入的计算机和通过安装各种程序可以执行各种功能的通用计算机。
图48是示出通过程序执行系列处理的计算机的硬件的配置示例的框图。
在该计算机中，通过总线64相互连接中央处理单元（CPU）601、只读存储器（ROM）602和随机存储存取器（RAM）603。
输入/输出接口605连接到总线604。输入单元606、输出单元607、存储单元608、通信单元609和驱动器610连接到输入/输出接口605。
使用键盘、鼠标和麦克风来配置输入单元606。使用显示器和扬声器来配置输出单元607。使用硬盘或非易失性存储器来配置存储单元608。使用网络接口来配置通信单元609。驱动器610驱动可移除介质611，例如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中，CPU601通过输入/输入接口605和总线604将在存储单元608内存储的程序加载到RAM603，并且执行该程序，从而执行系列处理。
通过计算机（CPU601）执行的程序可以被记录在作为数据包介质的可移除介质611上并且可以被提供。可以通过有线或无线传输介质例如局域网、因特网和数字卫星广播提供程序。
在计算机中，通过将可移动介质611安装到驱动器610上，通过输入/输出接口605可以在存储单元608上安装程序。通过通信单元609经由有线或无线传输介质可以接收程序，并且可以在存储单元608内安装程序。程序可以被预先安装在ROM602或存储单元608内。
通过计算机执行的程序可以是根据本公开描述的次序执行的处理的程序，或者并行或在必要时例如执行调用时执行处理的程序。
本领域技术人员应当理解，在所附权利要求及其等效方式的范围内，根据设计需要和其他因素可以进行各种修改、组合、拆分和变形。
例如，本公开可以采用云计算配置，其中通过网络将一个功能分配给多个装置并且在多个装置之间共享，并且执行处理。
上述流程图中的每个步骤可以通过一个装置执行，或者可以分配到多个装置并且通过多个装置执行。
当在一个步骤中包括多个处理时，可以通过一个装置执行包含在一个步骤中的多个处理或者可以分配给多个装置并且可以通过多个装置执行。
当学习信号和稀疏编码对象信号是静止图像时，可以使用第一实施方式中的频带的特征、第二实施方式中的场景的特征、第三实施方式中的深度图的特征、第四实施方式中的空间位置的特征、第六实施方式中的终端的特征以及第八实施方式中的拍摄环境的特征中的两个或以上特征执行分类。
同时，当学习信号和稀疏编码对象信号是运动图像时，可以使用第一实施方式中的频带的特征、第二实施方式中的场景的特征、第三实施方式中的深度图的特征、第四实施方式中的空间位置的特征、第五实施方式中的时间变化的特征、第六实施方式中的终端的特征以及第八实施方式中的拍摄环境的特征中的两个或以上特征执行分类。
当学习信号和稀疏编码对象信号是音频信号时，可以使用第二实施方式中的场景的特征、第六实施方式中的终端的特征、第七实施方式中的频带的特征以及第八实施方式中的拍摄环境的特征中的两个或以上特征执行分类。
另外，本公开还可以配置成如下方式：
（1）．一种信号处理装置，包括：
学习单元，其针对信号的每个特征，学习系数变得稀疏的多个基信号以使得通过所述多个基信号的线性运算来表示所述信号。
（2）.根据（1）所述的信号处理装置，
其中，所述特征是所述信号的频带的特征。
（3）.根据（1）或（2）所述的信号处理装置，
其中，所述特征是所述信号的拍摄环境或场景的特征。
（4）.根据（1）至（3）中任一项所述的信号处理装置，
其中，所述特征是作为所述信号的图像的深度方向的位置的特征。
（5）.根据（1）至（4）中任一项所述的信号处理装置，
其中，所述特征是作为所述信号的图像的空间位置的特征。
（6）.根据（1）至（5）中任一项所述的信号处理装置，
其中，所述特征是作为所述信号的运动图像的时间变化的特征。
（7）.根据（1）至（6）中任一项所述的信号处理装置，
其中，所述特征是与所述信号对应的终端的特征。
（8）.一种根据（1）至（7）中任一项所述的信号处理装置，还包括：
划分单元，其将所述信号划分成多个信号部分；以及
分类单元，其根据所述特征将所述多个信号部分分成多组；
其中，所述学习单元被配置针对学习每组信号部分学习基信号作为所述系数变得稀疏的多个基信号。
（9）.一种通过信号处理装置执行的信号处理方法，所述信号处理方法包括：
针对信号的每个特征，学习系数变得稀疏的多个基信号以使得通过所述多个基信号的线性运算来表示所述信号。
（10）.一种程序，所述程序使计算机起学习单元的作用，所述学习单元针对信号的每个特征，学习系数变得稀疏的多个基信号以使得通过所述多个基信号的线性运算来表示所述信号。
（11）.一种输出装置，包括：
运算单元，其基于预定信号以及系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是针对信号的每个特征而学习的以使得通过所述多个基信号的线性运算表示所述信号。
（12）.根据（11）所述的输出装置，
其中，所述特征是所述信号的频带的特征。
（13）.根据（11）或（12）所述的输出装置，
其中，所述特征是所述信号的拍摄环境的场景的特征。
（14）.根据（11）至（13）中任一项所述的输出装置，
其中，所述特征是作为所述信号的图像的深度方向的位置的特征。
（15）.根据（11）至（14）中任一项所述的输出装置，
其中，所述特征是作为所述信号的图像的空间位置的特征。
（16）.根据（11）至（15）中任一项所述的输出装置，
其中，所述特征是作为所述信号的运动图像的时间变化的特征。
（17）.根据（11）至（16）中任一项所述的输出装置，
其中，所述特征是与所述信号对应的终端的特征。
（18）.根据（11）至（17）中任一项所述的输出装置，还包括：
生成单元，其使用所述多个基信号和通过所述运算单元运算的系数来生成与所述预定信号对应的信号。
（19）.根据（18）所述的输出装置，还包括：
识别单元，其基于所述预定信号与所述生成单元所生成的信号之差来识别所述预定信号。
（20）.一种由输出装置执行的输出方法，所述输出方法包括：
基于预定信号和系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是针对信号的每个特征而学习的以使得通过所述多个基信号的线性运算表示所述信号。
（21）.一种程序，所述程序使计算机起运算单元的作用，所述运算单元基于预定信号和系数变得系数的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是针对信号的每个特征而学习的以使得通过所述多个基信号的线性运算表示所述信号。
本公开包含2012年9月21日在日本专利局提交的日本优先权专利申请JP2012-208321中公开的关联主题，其全部内容通过引用结合到本文。

Claims (19)

1.一种信号处理装置，包括：
划分单元，其将多个信号中的每个信号划分成多个信号部分；
分类单元，其根据所述多个信号中的每个信号的每个特征将所述多个信号部分分成多组；以及
学习单元，其针对每组信号部分，学习系数变得稀疏的多个基信号，以使得通过所述多个基信号的线性运算来表示所述多个信号中的每个信号。
2.根据权利要求1所述的信号处理装置，
其中，所述特征是所述多个信号的频带的特征。
3.根据权利要求1所述的信号处理装置，
其中，所述特征是所述多个信号的拍摄环境或场景的特征。
4.根据权利要求1所述的信号处理装置，
其中，所述特征是作为所述多个信号的图像的深度方向的位置的特征。
5.根据权利要求1所述的信号处理装置，
其中，所述特征是作为所述多个信号的图像的空间位置的特征。
6.根据权利要求1所述的信号处理装置，
其中，所述特征是作为所述多个信号的运动图像的时间变化的特征。
7.根据权利要求1所述的信号处理装置，
其中，所述特征是与所述多个信号对应的终端的特征。
8.一种通过信号处理装置执行的信号处理方法，所述信号处理方法包括：
将多个信号中的每个信号划分成多个信号部分；
根据所述多个信号中的每个信号的每个特征将所述多个信号部分分成多组；以及
针对每组信号部分，学习系数变得稀疏的多个基信号，以使得通过所述多个基信号的线性运算来表示所述多个信号中的每个信号。
9.一种输出装置，包括：
运算单元，其基于预定信号以及系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是通过下述方式获得的：
将多个信号中的每个信号划分成多个信号部分；
根据所述多个信号中的每个信号的每个特征将所述多个信号部分分成多组；
针对每组信号部分而学习所述多个基信号，以使得通过所述多个基信号的线性运算表示所述多个信号中的每个信号。
10.根据权利要求9所述的输出装置，
其中，所述特征是所述多个信号的频带的特征。
11.根据权利要求9所述的输出装置，
其中，所述特征是所述多个信号的拍摄环境的场景的特征。
12.根据权利要求9所述的输出装置，
其中，所述特征是作为所述多个信号的图像的深度方向的位置的特征。
13.根据权利要求9所述的输出装置，
其中，所述特征是作为所述多个信号的图像的空间位置的特征。
14.根据权利要求9所述的输出装置，
其中，所述特征是作为所述多个信号的运动图像的时间变化的特征。
15.根据权利要求9所述的输出装置，
其中，所述特征是与所述多个信号对应的终端的特征。
16.根据权利要求9所述的输出装置，还包括：
生成单元，其使用所述多个基信号和通过所述运算单元运算的系数来生成与所述预定信号对应的信号。
17.根据权利要求16所述的输出装置，还包括：
识别单元，其基于所述预定信号与所述生成单元所生成的信号之差来识别所述预定信号。
18.一种由输出装置执行的输出方法，所述输出方法包括：
基于预定信号和系数变得稀疏的多个基信号，来对所述预定信号的系数进行运算，其中，所述多个基信号是通过下述方式获得的：
将多个信号中的每个信号划分成多个信号部分；
根据所述多个信号中的每个信号的每个特征将所述多个信号部分分成多组；
针对每组信号部分而学习所述多个基信号，以使得通过所述多个基信号的线性运算表示所述多个信号中的每个信号。
19.一种存储有程序的非暂态计算机可读存储介质，所述程序当由计算机执行时，使得所述计算机执行根据权利要求8或18所述的方法。
CN201310418428.3A 2012-09-21 2013-09-13 信号处理装置、信号处理方法、输出装置、输出方法和程序 Expired - Fee Related CN103685851B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012208321A JP2014063360A (ja) 2012-09-21 2012-09-21 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
JP2012-208321 2012-09-21

Publications (2)

Publication Number Publication Date
CN103685851A CN103685851A (zh) 2014-03-26
CN103685851B true CN103685851B (zh) 2019-02-15

Family

ID=50322045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310418428.3A Expired - Fee Related CN103685851B (zh) 2012-09-21 2013-09-13 信号处理装置、信号处理方法、输出装置、输出方法和程序

Country Status (3)

Country Link
US (1) US9299011B2 (zh)
JP (1) JP2014063360A (zh)
CN (1) CN103685851B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140095632A1 (en) * 2012-09-28 2014-04-03 Interactive Memories, Inc. Methods for Coordinating and Presenting Collaborative Communication between Collaborators Working on an Image-Based Project Through an Electronic Interface
WO2016076515A1 (ko) * 2014-11-13 2016-05-19 삼성전자 주식회사 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
CN104883558B (zh) * 2015-06-05 2017-05-24 太原科技大学 基于k均值聚类的深度图编码方法
JP6353414B2 (ja) * 2015-07-30 2018-07-04 日本電信電話株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP6353415B2 (ja) * 2015-07-30 2018-07-04 日本電信電話株式会社 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP7283156B2 (ja) * 2019-03-19 2023-05-30 富士フイルムビジネスイノベーション株式会社 画像処理装置及びプログラム
CN115443474A (zh) * 2020-04-08 2022-12-06 三菱电机株式会社 学习装置、学习方法及推断装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510943A (zh) * 2009-02-26 2009-08-19 上海交通大学 利用超完备拓扑稀疏编码有效去除图像噪声的方法
CN102521599A (zh) * 2011-09-30 2012-06-27 中国科学院计算技术研究所 一种基于集成学习的模式训练和识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4661599B2 (ja) * 2006-01-12 2011-03-30 ソニー株式会社 データ識別方法およびその装置
US8081209B2 (en) * 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510943A (zh) * 2009-02-26 2009-08-19 上海交通大学 利用超完备拓扑稀疏编码有效去除图像噪声的方法
CN102521599A (zh) * 2011-09-30 2012-06-27 中国科学院计算技术研究所 一种基于集成学习的模式训练和识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning multiscale sparse representations for image and video restoration;Julien Mairal,et.al;《Multiscale Modeling & Simulation》;20081231;第1、3、5节，图2、6

Also Published As

Publication number Publication date
JP2014063360A (ja) 2014-04-10
CN103685851A (zh) 2014-03-26
US20140086480A1 (en) 2014-03-27
US9299011B2 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
CN103685851B (zh) 信号处理装置、信号处理方法、输出装置、输出方法和程序
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN109523535B (zh) 一种病变图像的预处理方法
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN104812288B (zh) 图像处理装置和图像处理方法
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
Wang et al. Investigation into recognition algorithm of helmet violation based on YOLOv5-CBAM-DCN
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
Toet et al. Image dataset for testing search and detection models
Xu et al. A new spectral-spatial sub-pixel mapping model for remotely sensed hyperspectral imagery
Wang et al. A generalizable and robust deep learning algorithm for mitosis detection in multicenter breast histopathological images
CN107085728A (zh) 利用视觉系统对图像中的探针进行有效评分的方法及系统
CN110059607A (zh) 活体多重检测方法、装置、计算机设备及存储介质
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
Ragusa et al. The intra-group baryons in the LEO I pair from the VST Early-type GAlaxy Survey
Yates et al. Evaluation of synthetic aerial imagery using unconditional generative adversarial networks
CN117011476B (zh) 大气切伦科夫望远镜阵列的位型布局方法、设备及介质
CN114120382B (zh) 一种人脸识别系统的测试方法、装置、电子设备及介质
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Angeloudi et al. ERGO-ML: towards a robust machine learning model for inferring the fraction of accreted stars in galaxies from integral-field spectroscopic maps
Li et al. Inferring fine-grained PM2. 5 with bayesian based kernel method for crowdsourcing system
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN110288691A (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
Monroy et al. Automated chronic wounds medical assessment and tracking framework based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190215

Termination date: 20200913