CN101088281B - 学习装置和学习方法 - Google Patents

Abstract

运动设定部(61)设定求得处理系数的运动量和运动方向。学生图像生成部(62)不仅根据设定的运动量及运动方向、还根据按照特定的比例改变运动量及运动方向中的至少一个，生成在教师图像中附加了运动模糊的学生图像及不附加运动模糊的学生图像。预测抽头提取部(64)为了提取主要包含关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素值。处理系数生成部(65)根据所提取的像素与教师图像内的关注像素的关系，生成根据所提取的像素的像素值来预测教师图像内的关注像素的处理系数。可以通过学习生成能够对运动向量的偏差进行可靠的运动模糊除去处理的处理系数。

Description

学习装置和学习方法

技术领域

本发明涉及一种学习装置和学习方法以及学习程序。具体地说，根据所设定的运动量和运动方向在教师图像中附加运动模糊，由此生成学生图像，根据与教师图像内的关注像素对应的学生图像内的像素的像素值，决定关注像素的类。另外，为了提取主要包含学生图像内的产生了运动模糊的运动对象中的关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素的像素值。根据该所提取的像素值与教师图像内的关注像素的关系，对每个检测出的类，生成根据所提取的像素值来预测教师图像内的关注像素的处理系数。在该学生图像的生成中，按照特定的比例改变运动量及运动方向中的至少一个，生成学生图像。

背景技术

目前，使用传感器对现实世界的现象进行数据化。使用该传感器取得的数据是将现实世界的信息(例如，光)投影到比现实世界低维的时间空间而得到的信息。因此，投影得到的信息具有由于投影而产生的失真。例如，在用摄像机拍摄在静止的背景前移动的物体，作为图像信号进行数据化的情况下，对现实世界的信息进行采样并进行数据化，因此，在根据图像信号显示的图像中作为由于投影而产生的失真，会产生运动的物体变模糊的运动模糊。

因此，如日本特开2001-250119号公报(对应美国申请号：09/830858，对应欧洲专利公开号：EP1164545)所公开的那样，例如，通过检测与输入图像中所包含的前景的对象对应的图像对象的轮廓，粗略提取与前景的对象对应的图像对象，检测与该粗略提取的前景的对象对应的图像对象的运动向量，使用检测出的运动向量及运动向量的位置信息，来进行运动模糊的减轻。

发明内容

此外，在这种目前的运动模糊除去中，通过进行与输入信号中的产生了运动模糊的部分的模糊量相应的空间处理来进行模糊除去。但是，对于运动图像也进行同样的在空间上结束了的处理，因此，运动模糊除去处理的精度受运动向量估计的精度的影响很大。即，在所估计的运动向量产生偏差时，可能会导致使用的处理区域、处理系数发生变化，导致运动模糊除去处理后的图像产生破绽。另外，即使要使用时间信息，由于会更增加所估计的运动向量的偏差，因此无法有意义地使用时间方向的信息并灵活应用在处理中。

而且，即使对包括运动对象和静止对象的图像进行运动模糊除去，如果不能将静止的对象的图像处理得没有破绽，就无法得到除去了运动模糊的良好的摄像图像。

本发明涉及的学习装置具备：运动量设定部，其设定运动量；运动方向设定部，其设定运动方向；学生图像生成部，其根据运动量和运动方向，在教师图像中附加运动模糊而生成学生图像，并按照特定的比例，生成在所述教师图像中不附加运动模糊的学生图像；预测抽头提取部，其为了提取主要包含学生图像内的运动对象中的关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素的像素值；以及系数生成部，其至少对每个运动方向，根据由多组预测抽头提取部所提取的像素的像素值与教师图像内的关注像素之间的关系，生成根据由预测抽头提取部提取的像素的像素值预测教师图像内的关注像素的处理系数。其中，所述学生图像生成部包括： 运动模糊附加部，其按照特定的比例，对所述教师图像附加与所述运动量和所述运动方向相应的运动模糊以及与所述运动量和所述运动方向中的至少一个改变后的运动量和运动方向相应的运动模糊；全画面移动部，其以所述运动量在所述运动方向上将附加了所述运动模糊的所述教师图像进行全画面移动，以生成具有所述运动模糊的所述学生图像；以及图像保持部，其存储所述全画面移动部生成的具有所述运动模糊的所述学生图像。并且，所述系数生成部包括：正规方程式生成部，其根据所述预测抽头提取部提取的像素的像素值和所述教师图像的像素值，在所述运动方向上生成正规方程式；系数决定部，其根据所述正规方程式生成部提供的所述正规方程式，计算所述学生图像的处理系数。

本发明涉及的学习方法具备以下工序：运动量设定工序，设定运动量；运动方向设定工序，设定运动方向；学生图像生成工序，根据运动量和运动方向，在教师图像中附加运动模糊而生成学生图像，并按照特定的比例，生成在所述教师图像中不附加运动模糊的学生图像；预测抽头提取工序，为了提取主要包含学生图像内的运动对象中的关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素的像素值；以及系数生成工序，至少对每个运动方向，根据多组由预测抽头提取工序提取的像素的像素值与教师图像内的关注像素的关系，生成根据由预测抽头提取工序所提取的像素的像素值来预测教师图像内的关注像素的处理系数。其中，所述学生图像生成工序包括：运动模糊附加工序，其按照特定的比例，对所述教师图像附加与所述运动量和所述运动方向相应的运动模糊以及与所述运动量和所述运动方向中的至少一个改变后的运动量和运动方向相应的运动模糊；全画面移动工序，其以所述运动量在所述运动方向上将附加了所述运动模糊的所述教师图像进行全画面移 动，以生成具有所述运动模糊的所述学生图像；以及图像保持工序，其存储所述全画面移动工序生成的具有所述运动模糊的所述学生图像。并且，所述系数生成工序包括：正规方程式生成工序，其根据所述预测抽头提取工序提取的像素的像素值和所述教师图像的像素值，在所述运动方向上生成正规方程式；系数决定工序，其根据所述正规方程式生成工序提供的所述正规方程式，计算所述学生图像的处理系数。

另外，本发明涉及的学习程序使计算机执行以下步骤：运动量设定步骤，设定运动量；运动方向设定步骤，设定运动方向；学生图像生成步骤，根据运动量和运动方向在教师图像中附加运动模糊来生成学生图像，并且按照特定的比例，生成在教师图像中不附加运动模糊的学生图像；预测抽头提取步骤，为了提取主要包含学生图像内的产生了运动模糊的运动对象中的关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素的像素值；以及系数生成步骤，至少对每个运动方向，根据多组由预测抽头提取步骤提取的像素的像素值与教师图像内的关注像素之间的关系，生成根据由预测抽头提取步骤提取的像素的像素值来预测教师图像内的关注像素的处理系数。

在本发明中，根据设定的运动量及运动方向，对教师图像附加运动模糊，生成学生图像。在该学生图像的生成中，按照特定的比例生成以下这样的学生图像：使运动量为“0”而不附加运动模糊的学生图像；改变所设定的运动量及运动方向中的至少一个从而根据改变后的运动量、运动方向在教师图像中附加了运动模糊的学生图像；附加了噪音的学生图像。另外，为了提取主要包含学生图像内的产生了运动模糊的运动对象中的关注像素的成分的主要项，至少提取与教师图像内的关注像素的空间位置大致相同的学生图像内的像素的像素值。在该像素值的提取中，例如，在学生图像是隔行扫描格式时，提取学生图像内的第1多个像素的像素值。另外，在学生图像是逐行扫描格式时，提取学生图像内的第2多个像素的像素值。根据该提取的像素的像素值与教师图像内的关注像素之间的关系，生成根据所提取的像素的像素值来预测教师图像内的关注像素的处理系数。

发明的效果

根据本发明，按照特定的比例，生成在教师图像中不附加运动模糊的学生图像。因此，即使对包括静止图像的图像进行运动模糊除去，也可以防止静止图像出现破绽。另外，在生成与第1运动方向的运动模糊对应的预测系数时，使用具有与第1运动方向接近的第2运动方向的运动模糊的学生图像。因此，即使在无法高精度地检测运动向量的情况下，也可以良好地进行运动模糊除去。进而，由于在学生图像中附加噪音而生成处理系数，因此如果附加由图像传感器产生的噪音而进行学习，就可以减轻噪音的影响。另外，可以通过调整噪音量来使模糊感变化，或者调整噪音量不同的学生图像的比例来作出新的模糊感。

另外，在学生图像是隔行扫描格式时，提取学生图像内的第1多个像素的像素值，在学生图像是逐行扫描格式时，提取学生图像内的第2多个像素的像素值，所以，无论使用隔行扫描格式或逐行扫描格式中的哪一种图像信号，都可以从基于该图像信号的图像中除去运动模糊。进而，根据与教师图像内的关注像素对应的学生 图像内的像素的像素值的活度来决定关注像素的类，对每个类生成处理系数，因此可以进行与摄像图像相应的运动模糊除去处理。

附图说明

图1是表示系统的结构的图。

图2是用于说明利用图像传感器的摄像的图。

图3A和图3B是用于说明摄像图像的图。

图4是表示像素值的时间方向分割动作的图。

图5A和图5B是用于说明关注像素的像素值的算出动作的图。

图6是表示处理区域的图。

图7A和图7B是表示处理区域的设定例的图。

图8是用于说明处理区域中的现实世界变量的时间混合的图。

图9是表示空间方向的主要项的位置的图。

图10是表示时间方向的主要项的位置的图。

图11A和图11B是用于说明使用空间方向的主要项的情况下的运动向量的偏差与主要项的位置偏差的关系的图。

图12是用于说明使用时间方向的主要项的情况下的运动向量的偏差与主要项的位置偏差的关系的图。

图13是图像处理装置的功能框图。

图14是表示使用软件时的图像处理装置的结构的图。

图15A和图15B是表示预测抽头的图。

图16是表示图像处理的流程图。

图17是图像处理装置的功能框图(进行类决定的情况)。

图18A和图18B是表示类抽头的图。

图19是用于说明活度的计算的图。

图20是表示图像处理(进行类决定的情况)的流程图。

图21是表示通过学习求得处理系数进行运动模糊除去处理的 情况下的结构的图。

图22是学习装置的功能框图。

图23是表示学习处理的流程图。

图24是学习装置的功能框图(进行类决定的情况)。

图25是表示学习处理(进行类决定的情况)的流程图。

具体实施方式

下面参照附图说明本发明的一个实施方式。图1是表示应用本发明的系统的结构的框图。图像传感器10生成拍摄了现实社会的图像信号DVa，提供给图像处理装置20。图像处理装置20提取包含在所提供的输入图像的图像信号DVa中的信息，生成并输出提取了所包含的信息的图像信号。另外，设为图像处理装置20也可以使用从外部提供的各种信息ET来提取包含在图像信号DVa中的信息。

图像传感器10由具备作为固体摄像元件的CCD(Charge-Coupled Device：电荷耦合器件)区域传感器、MOS区域传感器的摄像机等构成，拍摄现实社会。例如，如图2所示，在图像传感器10和与背景对应的对象OBb之间，与前景对应的运动对象OBf沿着箭头A方向移动时，图像传感器10将与前景对应的运动对象OBf和与背景对应的对象OBb一起拍摄。

该图像传感器10的检测元件将与曝光时间对应的期间所输入的光转换为电荷，积蓄光电转换后的电荷。电荷的量与输入的光的强度和光输入的时间大致成比例。检测元件在与曝光时间对应的期间，将从输入的光转换后的电荷加入到已经积蓄的电荷中。即，检测元件对与曝光时间对应的期间内对输入的光进行积分，积蓄与积分后的光对应的量的电荷。检测元件也可以说对时间具有积分效果。这样，由图像传感器进行光电转换，将输入的光以 像素单位转换为电荷，以曝光时间单位积蓄。根据该积蓄的电荷量生成像素信号，使用该像素信号生成所希望的帧速率的图像信号，提供给图像处理装置。此外，图像传感器的曝光时间是图像传感器如上所述将输入的光转换为电荷、并将该电荷积蓄到检测元件中的期间，在没有进行快门动作时，与图像时间间隔(1帧期间)相等。另外，在进行快门动作时，与快门开时间相等。

图3A和图3B是用于说明用图像信号表示的摄像图像的图。图3A表示拍摄与运动的前景对应的运动对象OBf和与静止的背景对应的对象OBb而得到的图像。此外，设为与前景对应的运动对象OBf沿着箭头A方向水平移动。

图3 B表示如图3A所示那样沿着箭头A方向延伸的线L(用虚线表示)的位置上的图像与时间的关系。运动对象OBf在线L上的移动方向的长度例如是9像素，在1个曝光期间中移动5个像素的情况下，在帧期间开始时位于像素位置P21的前端和位于像素位置P13的后端分别在像素位置P25、P17结束曝光期间。另外，在没有进行快门动作时，1帧中的曝光期间与1帧期间相等，所以，在下个帧期间开始时，前端成为像素位置P26，后端成为像素位置P18。

因此，在线L的帧期间，到像素位置P12为止和从像素位置P26起成为只有背景成分的背景区域。另外，像素位置P17～P21成为只有前景成分的前景区域。像素位置P13～P16和像素位置P22～P25成为背景成分与前景成分混合的混合区域。混合区域分类为：背景成分与时间的经过对应地被前景覆盖的覆盖背景区域、以及背景成分对应于时间的经过而呈现的未覆盖背景区域。另外，在图3B中，位于前景的对象OBf的前进方向前端侧的混合区域成为覆盖背景区域，位于后端侧的混合区域成为未覆盖背景区域。这样，在图像信号中就包含了包括前景区域、背景区域、或者覆盖背景区域或未覆盖背景区域的图像。

在此，图像时间间隔是短时间，假设前景对应的运动对象OBf是刚体且进行匀速移动，如图4所示进行线L上的像素值的时间方向分割动作。在该时间方向分割动作中，沿时间方向展开像素值，用虚拟分割数以相等时间间隔进行分割。此外，在图4中，纵方向与时间对应，图中从上到下表示时间的经过。

虚拟分割数对应于与前景对应的运动对象的图像时间间隔中的运动量v等而进行设定。例如，1帧期间内的运动量v如上所述是5像素时，与运动量v对应地将虚拟分割数设定为“5”，将1帧期间以等时间间隔进行5分割。

另外，将拍摄与背景对应的对象OBb时得到的像素位置Px的1帧期间的像素值设为Bx，将在使与线L中的长度为9个像素的前景对应的运动对象OBf静止而进行了拍摄时由各像素得到的像素值设为F09(前端侧)～F01(后端侧)。

在这种情况下，例如，像素位置P14的像素值DP14用公式(1)表示。

DP14＝B14/v+B14/v+B14/v+F01/v+F02/v    ...(1)

在该像素位置P14中，包含3个虚拟分割时间(帧期间/v)的背景成分，包含2个虚拟分割时间的前景成分，所以，相对于像素值的背景成分的混合比α成为(3/5)。同样地，例如，在像素位置P22中，包含1个虚拟分割时间的背景成分，包含4个虚拟分割时间的前景成分，所以，混合比α成为(1/5)。

这样，由于前景成分移动，因此，在1个曝光时间中不同的前景成分被相加，所以与运动对象对应的前景区域包含运动模糊。因此，在图像处理装置20中，提取图像信号DVa中包含的有效信息，生成除去了与前景对应的运动对象OBf的运动模糊后的图像信号DVout。

在此，使用图5A说明图像上的关注像素的像素值的算出动作。 例如，在求运动对象OBf内的关注像素的像素值F29的情况下，将包含关注像素的成分F29/v的像素位置P47设为是处理对象像素的关注像素时，如虚线所示，对于最初出现关注像素的成分F29/v的像素位置P45、及与像素位置P45相邻、不具有关注像素的成分F29/v的像素位置P44，公式(2)成立。

F29-F24＝(DP45-DP44)×v    ...(2)

同样地，如虚线所示，对于最后出现关注像素的成分F29/v的像素位置P49、及与像素位置P49相邻、不具有关注像素的成分F29/v的像素位置P50，公式(3)成立。

F34-F29＝(DP50-DP49)×v  ...(3)

即，关注像素的像素值F29可以使用像素位置P44、P45的像素值DP44、DP45和像素值F24来计算，或者可以使用像素位置P49、P50的像素值DP49、DP50和像素值F34来计算。

进而，在考虑与关注像素的像素值F29同样地求像素值F24时，如虚线所示，对于最初出现成分F24/v的像素位置P40、及与像素位置P40相邻、不具备成分F24/v的像素位置P39，公式(4)成立。

F24-F19＝(DP40-DP39)×v    ...(4)

因此，可以使用像素位置P39、P40、P44、P45的像素值DP39、DP40、DP44、DP45和像素值F19来算出像素值F24。另外，也可以同样求得像素值F34。

如以上所考虑的那样，求差分的像素的位置以运动量v的间隔重复出现。即，可以使用如上所述在差分的算出中使用的像素位置...、P39、P40、P44、P45、P49、P50、...的像素值来算出关注像素的像素值F29。

另外，说明根据模型式计算关注像素的像素值的情况。在此，如图6所示，以关注像素Pna为中心，在运动方向上设定(2N+1)像素的处理区域。图7A及图7B表示了处理区域的设定例，在运动向 量的方向例如是由箭头A所示的水平方向的情况下，如图7A所示，对于除去运动模糊的运动对象OBf的像素在水平方向上设定处理区域WA。另外，在运动向量的方向是斜方向的情况下，如图7B所示，在相应的角度方向上设定处理区域WA。但是，在倾斜方向上设定处理区域时，通过插值等求出与处理区域的像素位置相当的像素值。

在此，在处理区域内，如图8所示，现实世界变量(Y_-8，...，Y₀，...，Y₈)被时间混合。此外，图8是运动量v为“v＝5”、且将处理区域设为13个像素(N＝6：N是针对关注像素的处理宽度的像素数量)的情况。

在模糊除去处理中，对该处理区域进行现实世界估计，将与所估计的现实世界的中心像素变量Y₀对应的像素值DQ0作为进行了运动模糊除去的关注像素的像素值。

在此，在将构成处理区域的像素的像素值设为X_-N、X_-N+1、...X₀、...、X_N-1、X_N时，公式(5)所示的(2N+1)个混合式成立。另外，像素值Xt表示像素位置Pt的像素值。常数h表示使运动量v为1/2倍时的整数部分的值(舍去小数点以下而得到的值)。

$\underset{i=t-h}{\overset{t+h}{\mathrm{\Σ}}}(Y_i/v)=X_t(t=-N,...,0,...,N)...\left(5\right)$

但是，要求解的现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)有(2N+v)个。即，公式的个数少于变量的个数，因此无法根据公式(5)求得现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)。

因此，如公式(6)所示，通过使用利用了相邻像素差＝0的空间相关的限制式，与现实世界变量的数量相比增加公式的个数，使用最小二乘法来求现实世界变量的值。

Y_t-Y_t+1＝0  (t＝-N-h，...，0，...，N+h-1)    ...(6)

即，使用将由公式(5)表示的(2N+1)个混合式和由公式(6)表示 的(2N+v-1)个限制式合成得到的(4N+v)个公式，求出(2N+v)个作为未知变量的现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)。

在此，通过进行使各公式中产生的误差的平方和最小的估计，能够一边进行运动模糊除去图像生成处理，一边减小现实世界中的像素值的变动。

公式(7)表示了如图8所示那样设定了处理区域的情况，是在公式(5)和公式(6)中加上了由各自的公式中产生的误差而得到的。

该公式(7)可以表示为公式(8)，作为公式(10)求得使公式(9)所示的误差的平方和E为最小的Y(＝Y_i)。此外，在公式(10)中，T表示是转置矩阵。

AY＝X+e    ...(8)

E＝|e|²＝∑e_mi ²+∑e_bi ²    …(9)

Y＝(A^TA)^-1A^TX     …(10)

在此，误差的平方和由公式(11)表示，对该误差的平方和进行 偏微分，如果如公式(12)所示，偏微分值为0，则可以求出误差的平方和最小的公式(10)。

E＝(AY-X)^T(AY-X)＝Y^TA^TAY-2Y^TA^TX+X^TX    ...(11)

$\∂E/\∂Y=2(A^T\mathrm{AY}-A^{T}X)=0...\left(12\right)$

通过进行该公式(10)的线性结合，可以分别求得现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)，中心像素变量Y₀的像素值成为关注像素的像素值。

在上述中，用最小二乘法求得现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)使得AY＝X+e的误差的平方和E最小，但是也可以制作公式使得公式的个数＝变量的个数。在AY＝X时将该公式变形为Y＝A^-1X，由此可以求得现实世界变量(Y_-N-h，...，Y₀，...，Y_N+h)。

在此，在设为将图5A示出的像素位置P47作为关注像素而求出像素值F29时，对各像素使用的处理系数表示图5B的形状。即，针对在差分计算中使用的像素位置的像素的处理系数的绝对值大于针对其他像素的系数。将这样的用于差分计算的像素位置的像素作为主要项。

如图9所示，空间方向的主要项的位置成为以关注像素Pna为基准而在运动方向上与运动量相应的像素位置。另外，主要项MCa1表示相对于关注像素而在运动方向上最接近的主要项，主要项MCb1表示在运动方向的反方向上最接近的主要项。

如图10所示，时间方向的主要项的位置重叠在多个图像上的相同像素位置上。另外，在关注上述主要项MCa1、MCb1时，(t-1)帧的图像上的主要项MCa1的位置成为(t)帧的图像上的主要项MCb1的位置。因此，(t-1)帧和(t)帧的正中的相位的、与主要项MCa1、MCb1大致相同的像素位置相当于关注像素Pna。正确地说，主要项MCa1相当于像素值X_-3、X_-2的像素，主要项MCb1相当于像素值X₂、X₃的像素，关注像素Pna的空间位置相当于像素值为X_-3 的像素和像素值为X_-2的像素的中间位置，或者，相当于像素值为X₂的像素和像素值为X₃的像素的中间位置。

在此，如图11A所示，只使用空间方向的主要项而将空间方向上存在的作为主要项MCa1与主要项MCb1的正中的像素位置设为运动模糊除去后的关注像素Pna的输出位置的情况下，在没有高精度地检测关注像素Pna的运动向量时，如虚线所示导致主要项MCa1、MCb1等位置变动很大，因此无法高精度地除去关注像素Pna的运动模糊。

另外，如图11B所示，只使用空间方向的主要项而将帧间的正中设为运动模糊除去后的关注像素Pna的输出相位的情况下，主要项MCb1的位置受运动向量的检测精度的影响小，但是剩下的主要项MCa1等位置如虚线所示，受运动向量的检测精度的影响大，因此，在没有高精度地检测关注像素Pna的运动向量时，导致无法高精度地除去关注像素Pna的运动模糊。

另外，即使在使用时间方向的主要项的情况下，与图11A同样地，在将作为主要项MCa1与主要项MCb1的正中的像素位置设为运动模糊除去后的关注像素Pna的输出位置的情况下，当没有高精度地检测关注像素Pna的运动向量时导致时间方向的主要项的位置发生变动，因此导致无法高精度地除去运动模糊。

因此，如图12所示，使用时间方向的主要项，将帧间的正中作为运动模糊除去后的关注像素Pna的输出相位，生成关注像素Pna的运动模糊除去后的像素值。即，使用图10示出的(t-1)帧的图像上的主要项MCa1和(t)帧的图像上的主要项MCb1，将(t-1)帧与(t)帧的正中的相位的、与主要项MCa1、MCb1大致相同的空间位置的像素作为关注图像的关注像素Pna，而生成运动模糊除去后的像素值。这样，将运动模糊除去后的关注像素Pna的输出相位设为(t-1)帧与(t)帧的正中时，时间方向的主要项的位置受运动向量的检测 精度的影响小，因此，即使不用高精度地检测运动向量，主要项的位置也不会变化很大，能够不受运动向量的检测精度较大影响而良好地进行运动模糊除去。

另外，如从图10可知，(t-1)帧和(t)帧的主要项的系数的形状是相对关注像素Pna的位置在时间方向上分别使正负交替的多个像素的系数即多组系数。因此，在时间上前后的像素值大致相同且在空间上的相关也很强的静止背景的情况下，前后的大系数彼此相互抵消，结果与分配了较小系数时相同。因此，即使能够对静止背景等进行针对运动量较大的对象的运动模糊除去，也很难产生图像的破绽。但是，在检测出的运动向量的误差大时可能会产生破绽，因此，在后述的处理系数的学习中，提高针对静止图像的破绽的鲁棒性。

图13表示这样使用时间空间方向的主要项来进行将帧间的正中作为运动模糊除去后的关注像素Pna的输出相位的运动模糊除去的图像处理装置的功能框图。此外，图像处理装置的各功能不限于通过硬件实现还是通过软件实现。也就是说，图13的功能块可以通过硬件实现，也可以通过软件实现。

在此，例如图14示出了使用软件时的图像处理装置20的结构。CPU(Central Processing Unit：中央处理器)201按照ROM(Read OnlyMemory：只读存储器)202或存储部208中存储的程序来执行各种处理，在ROM202或存储部208中存储实现图像处理装置的各功能的程序。在RAM(Random Access Memory：随机存取存储器)203中适当存储CPU201所执行的程序、数据等。这些CPU201、ROM202及RAM203通过总线204相互连接。

另外，输入输出接口205通过总线204连结在CPU201上。由键盘、鼠标、麦克风等构成的输入部206、由显示器、扬声器等构成的输出部207连接在输入输出接口205上。CPU201对应于从输入部 206输入的指令执行各种处理。然后，CPU201将处理结果得到的图像、声音等输出到输出部207。

连接在输入输出接口205上的存储部208例如由硬盘等构成，存储CPU201所执行的程序、各种数据。通信部209通过互联网、其他网络与外部装置进行通信。该例的情况下，通信部209作为取得传感器的输出的获取部而运行。另外，也可以通过通信部209获取程序，存储到存储部208中。

在安装有磁盘、光盘、磁光盘或半导体存储器等记录介质时，连接在输入输出接口205上的驱动部210驱动这些记录介质，获取记录介质中记录的程序、数据等。将所获取的程序、数据根据需要传输到存储部208并进行存储。

如图13所示，将被提供给图像处理装置20的图像信号Dva提供给运动方向检测部32的方向检测处理部321、以及周围图像保持部33的第1图像保持部331和第2图像保持部332。

关注像素设定部31进行预测的关注图像内的关注像素Pna的设定。在此，如使用上述图10和图12等进行的说明，通过使用(t-1)帧的图像上的主要项MCa1和(t)帧的图像上的主要项MCb1，可以求得关注像素的运动模糊除去后的像素值，该关注像素是(t-1)帧与(t)帧的正中的相位的、与主要项MCa1、MCb1大致相同的像素位置的像素。因此，在图像信号DVa是逐行扫描格式的信号时，关注像素设定部31将预测的关注图像作为(t-1)帧与(t)帧之间的正中的相位的图像，来进行该关注图像内的关注像素Pna的设定。另外，将(t-1)帧和(t)帧的图像设为周围图像。在图像信号DVa是隔行扫描格式的信号时，关注像素设定部31将预测的关注图像作为(t-1)场与(t)场之间的正中的相位的图像，进行该关注图像内的关注像素Pna的设定。另外，将(t-1)场和(t)场的图像设为周围图像。

方向检测处理部321根据图像信号DVa进行每个像素的运动向 量检测，将表示由关注像素设定部31设定的关注像素的运动方向的运动方向信息vda提供给运动方向选择部322。在该方向检测处理部321中，可以通过使用块匹配法、梯度法等方法来检测每个像素的运动向量。

可以从外部作为信息ET将表示运动方向的运动方向信息vdb输入到运动方向选择部322，选择从方向检测处理部321提供的运动方向信息vda或从外部输入的运动方向信息vdb，将所选择的运动方向信息vd提供给像素值生成部38a。

周围图像保持部33的第1图像保持部331和第2图像保持部332使用存储器构成，第1图像保持部331保持作为周围图像的(t-1)帧的图像。另外，第2图像保持部332保持作为周围图像的(t)帧的图像。

像素值提取部36为了提取主要包含关注像素的成分的主要项，至少从第1图像保持部331及第2图像保持部332所保持的周围图像中提取与关注像素Pna的空间位置大致相同的位置的像素，作为预测抽头Ca而提供给像素值生成部38a。

图15A及图15B表示预测抽头Ca。在图像信号DVa是逐行扫描格式时，像素值提取部36从作为周围图像的(t-1)帧和(t)帧的图像中，如图15A所示，以与关注像素Pna的空间位置大致相同的位置的像素为基准，例如将21个像素作为预测抽头而提取。在图像信号DVa是隔行扫描格式时，像素值提取部36如图15B所示，以位置与关注像素Pna的空间位置相同的像素为基准，从作为周围图像的(t)场的图像中将21个像素作为预测抽头而提取，从作为周围图像的(t-1)场的图像中，以与关注像素Pna的空间位置相同的位置为基准，将17个像素作为预测抽头而提取。

处理系数设定部37a预先存储用于模糊除去处理的处理系数，将与由运动方向选择部选择的运动方向对应的多组处理系数da提 供给像素值生成部38a。另外，处理系数设定部37a在从外部作为信息ET提供可以进行运动模糊调整的调整信息BS时，根据该调整信息BS，通过切换提供给像素值生成部38a的处理系数da来调整运动模糊除去效果。例如，即使在用最初提供的处理系数不能最佳地进行运动模糊除去的情况下，也可以通过切换处理系数来最佳地除去运动模糊。另外，通过切换处理系数，可以有意识地保留运动模糊。

像素值生成部38a根据由运动方向选择部332选择的运动方向信息vd，使用通过像素值提取部36从第1图像保持部331提取的像素的像素值，算出与从处理系数设定部37a提供的处理系数da对应的运动方向的像素值。进而，对所算出的像素值和从处理系数设定部37a提供的处理系数da进行积和运算，生成像素值。另外，使用从第2图像保持部332提取的像素的像素值，算出与从处理系数设定部37a提供的处理系数da对应的运动方向的像素值。进而，对所算出的像素值和从处理系数设定部37a提供的处理系数da进行积和运算，生成像素值。通过对这2个像素值进行综合来生成关注像素的像素值，作为图像信号DVout而输出。

通过这样使用多个周围图像的主要项的像素值来生成关注图像内的关注像素的像素值，即使产生了无法高精度地检测关注像素的运动向量的情况，也可以减少运动模糊除去的性能下降，因此可以对运动向量的检测偏差进行非常稳定的运动模糊除去。

图16表示通过软件进行图像处理的情况下的流程图。在步骤ST1中，CPU201设定进行运动模糊除去的关注像素，进入步骤ST2。在步骤ST2中，CPU201检测关注像素的运动方向，进入步骤ST3。在步骤ST3中，CPU201进行像素值提取，提取在周围图像中设定的预测抽头的像素值。即，CPU201为了提取主要包含运动对象中的关注像素的成分的主要项，至少将空间位置与关注像素大致相 同的周围图像内的像素作为预测抽头，提取该预测抽头的像素值。

在步骤ST4中，CPU201设定与在步骤ST2中检测出的运动方向相应的处理系数，进入步骤ST5。

在步骤ST5中，CPU201对各帧进行模糊除去处理。即，CPU201对在步骤ST3中提取的预测抽头的像素值和在步骤ST4中设定的处理系数进行运算处理，算出进行模糊除去后的像素值，进入步骤ST6。

在步骤ST6中，CPU201判断是否对全画面完成了模糊除去处理，在存在没有进行模糊除去处理的像素时，返回到步骤ST1，在对全画面完成了模糊除去时，结束处理。

此外，在图13的图像处理装置20中，根据由运动方向选择部322选择的运动方向来设定处理系数，但是如果不仅使用运动方向而且还使用图像的信号电平来进行类决定，并根据所决定的类来选择处理系数而提供给像素值生成部，则可以更高精度地进行运动模糊除去处理。

图17表示进行类决定的图像处理装置的功能框图。此外，对与图13对应的部分附加相同附图标记，省略详细说明。

类决定部35的类抽头提取部351以与关注像素对应的空间位置为基准，从第1图像保持部331及第2图像保持部332中所保持的周围图像提取类抽头，将提取的类抽头TPa提供给类分类部352。

图18A及图18B表示类抽头。在图像信号DVa是逐行扫描格式时，类抽头提取部351从作为周围图像的(t-1)帧和(t)帧的图像中，如图18A所示，以与关注像素Pna对应的空间位置为基准，例如包含与关注像素Pna对应的空间位置的像素及与该像素相邻的像素而将9个像素作为类抽头进行提取。在图像信号DVa是隔行扫描格式时，类抽头提取部351如图18B所示，以与关注像素Pna对应的空间位置为基准，例如，从作为周围图像的(t)场的图像中，包含与 关注像素Pna对应的空间位置的像素及与该像素相邻的像素而将9个像素作为类抽头进行提取。另外，从作为周围图像的(t-1)场的图像中，包含与对应于关注像素Pna的空间位置重叠的像素及与该像素相邻的像素而将12个像素作为类抽头进行提取。

类分类部352根据从运动方向检测部32提供的运动方向信息vd、由类抽头提取部351提取的类抽头TPa来进行类分类，决定类代码KA并提供给处理系数设定部37b。

在此，在使用由类抽头提取部351提取的类抽头TPa进行类分类的情况下，根据从类抽头TPa计算出来的活度来进行类分类。

所谓活度是相邻的像素间的差分值的和，表示空间相关。在此，如图18A所示，在选择了类抽头时，3像素×3像素的合计9个像素的相邻的像素间的差分是活度。另外，如图18B的(t-1)场那样，在选择了类抽头时，4像素×3像素的合计12个像素的相邻的像素间的差分是活度。例如，如图19所示，在提取类抽头时，如果将表示像素的记载在格子中的字符作为像素值，则可以根据公式(13)算出活度AC。此外，在空间相关高的情况下，活度AC的值变小，在空间相关低的情况下，活度AC的值变大。

AC＝|DP_L-U-DP_C-u|+|DP_C-U-DP_R-U|

+|DP_L-DP_C|+|DP_C-DP_R|

+|DP_L-L-DP_C-L|+|DP_C-L-DP_R-L|

+|DP_L-U-DP_L|+|DP_L-DP_L-L|

+|DP_C-U-DP_C|+|DP_C-DP_C-L|

+|DP_R-U-DP_R|+|DP_R-DP_R-L|

…(13)

这样一来，使用根据从保持在第1图像保持部331中的周围图像提取的类抽头计算出来的活度ACt-1和根据从保持在第2图像保持部332的周围图像提取的类抽头计算出来的活度ACt，如公式(14)那样，决定活度类AL。

活度类AL＝ACt/(ACt-1+ACt)×100    ...(14)

进而，根据运动方向信息vd和活度类AL，决定类代码KA。

如上所述，像素值提取部36从第1图像保持部331及第2图像保持部332所保持的周围图像至少提取位置与关注像素Pna的空间位置大致相同的像素，作为预测抽头Ca提供给像素值生成部38b。

处理系数设定部37b对每个类代码预先存储用于模糊除去处理的处理系数，选择与从类分类部352提供的类代码KA相应的处理系数db，提供给像素值生成部38b。另外，处理系数设定部37b在从外部作为信息ET而提供了可以调整运动模糊的调整信息BS时，根据该调整信息BS切换选择的处理系数，由此调整运动模糊除去效果。例如，在使用了与类代码KA相应的处理系数db时，即使产生了没有最佳地进行运动模糊除去的情况，也可以通过切换处理系数来最佳地除去运动模糊。另外，通过切换处理系数还可以有意识地保留运动模糊。

像素值生成部38b对从像素值提取部36提供的预测抽头Ca和从处理系数设定部37b提供的处理系数db进行运算处理，生成关注图像内的关注像素的像素值。例如，对从第1图像保持部331所保持的周围图像提取的预测抽头和处理系数进行积和运算而生成像素值。另外，对从第2图像保持部332所保持的周围图像提取的预测抽头和处理系数进行积和运算而生成像素值。通过综合这2个像素值生成关注像素的像素值，作为图像信号DVout而输出。

这样，通过使用多个周围图像的主要项的像素值来生成关注图像内的关注像素的像素值，即使发生了无法高精度地检测关注像素的运动向量的情况，也可以减少运动模糊除去的性能下降，因此可以对运动向量的检测偏差进行非常稳定的运动模糊除去。

图20表示通过软件进行图像处理的情况下的流程图。在步骤ST11中，CPU201设定进行运动模糊除去的关注像素，进入步骤 ST12。在步骤ST12中，CPU201检测关注像素的运动方向，进入步骤ST13。在步骤ST13中，CPU201进行关注像素的类决定。在该类决定中，根据以关注像素的运动方向、关注像素的空间位置为基准在周围图像中设定的类抽头的像素值来进行类分类，决定类代码。在步骤ST14中，CPU201进行像素值提取，提取在周围图像中设定的预测抽头的像素值。即，CPU201为了提取主要包含运动对象中的关注像素的成分的主要项，至少将空间位置与关注像素大致相同的周围图像内的像素作为预测抽头，提取该预测抽头的像素值。

在步骤ST15中，CPU201设定与在步骤ST12中检测出的运动方向及在步骤ST13中决定的类相应的处理系数，进入步骤ST16。

在步骤ST16中，CPU201对各帧进行模糊除去处理。即，CPU201对在步骤ST14中提取的预测抽头的像素值和在步骤ST15中决定的处理系数进行运算处理，算出进行模糊除去后的像素值而进入步骤ST17。

在步骤ST17中，CPU201判断是否对全画面完成了模糊除去处理，在存在没有进行模糊除去处理的像素时，返回到步骤ST11，在对全画面完成了模糊除去时结束处理。

下面，对通过学习求得存储在处理系数设定部中的处理系数来进行模糊除去处理的情况进行说明。

图21是表示通过学习求得处理系数来进行模糊除去处理的情况的结构的图。学习装置60使用教师图像和在教师图像中附加了运动模糊的学生图像来执行学习处理，将通过该学习得到的处理系数存储到图像处理装置20的处理系数设定部中。图像处理装置20从作为输入图像的包含运动模糊的图像中选择预测抽头使得至少包含位置与关注像素的空间位置大致相同的像素，使用该预测抽头的像素值和处理系数设定部中所存储的处理系数来进行运算 处理，求得进行了模糊除去的关注像素的像素值。教师图像使用利用高速摄像机拍摄的图像、静止图像。另外，将利用高速摄像机拍摄的图像作为静止图像，通过对该图像进行时间积分而生成学生图像。或者，设定运动方向、运动量，将与该设定的运动方向、运动量相应的运动模糊和噪音附加到静止图像中所得到的图像作为学生图像。

在此，在生成学生图像的情况下，为了提高相对运动向量的检测偏差的鲁棒性，不仅生成求出处理系数的运动量、运动方向的学生图像，而且生成改变了运动量、运动方向中的至少一个的学生图像，使用这些学生图像进行学习，设定处理系数。另外，为了即使对包含了静止的对象的图像进行运动模糊除去也不使静止的对象的图像产生破绽，将运动量设为“0”而生成不附加运动模糊的学生图像，也使用该不附加运动模糊的学生图像进行学习，设定处理系数。此外，在处理系数的学习中，通过将学习源变化为HD格式、SD格式的图像信号等，也可以生成与各图像格式相应的最佳系数。

图22表示用于生成不进行类决定时使用的处理系数的学习装置60的功能框图。运动设定部61进行运动方向的设定、运动量的设定，将表示所设定的运动方向、运动量的运动信息MH提供给学生图像生成部62。在此，在运动方向的设定中，例如，以指定的角度差设定多个运动方向。另外，也可以对各运动方向分别设定不同的多个运动量。

学生图像生成部62的运动模糊附加部621对教师图像附加与由运动信息MH表示的运动方向、运动量相应的运动模糊并提供给全画面移动部622。全画面移动部622以基于运动信息MH的运动量在运动方向上将附加了运动模糊的教师图像进行全画面移动，生成学生图像。

另外，学生图像生成部62按照特定的比例生成不在教师图像中附加运动模糊的学生图像。另外，在生成与由来自运动设定部61的运动信息MH表示的第1运动方向的运动模糊对应的预测系数时，按照特定的比例，生成具有与第1运动方向接近的第2运动方向的运动模糊的学生图像。进而，切换不附加运动模糊的学生图像的生成、具有第2运动方向的运动模糊的学生图像的生成的比例，生成处理系数。

例如，设在由运动信息MH表示的运动方向的多个学生图像中，按照特定的比例包含附加与由运动信息MH表示的第1运动方向接近的第2运动方向相应的运动模糊、进行全画面移动而生成的学生图像。或者，设在由运动信息MH表示的运动方向、运动量的多个学生图像中，按照特定的比例包含附加与由运动信息MH表示的运动方向、运动量不同的运动方向、运动量相应的运动模糊、进行全画面移动而生成的学生图像。这样，如果包含改变了运动方向、运动方向及运动量的学生图像，就可以进行不容易受到运动方向、运动量的变动的影响的运动模糊除去处理。另外，如果还进行使运动量为“0”的学生图像的生成，则也可以进行针对静止图像的运动模糊除去处理。进而，切换包含与由运动信息MH表示的运动方向、运动量不同的运动方向、运动量的比例来生成处理系数，可以选择用户所希望的比例的处理系数。这样，如果可以选择切换包含运动方向、运动量的比例而生成的处理系数，则可以进行与用户的喜好相应的运动模糊除去处理。例如，在用户进行静止图像部分的运动模糊除去时，通过选择增加使运动量为“0”的学生图像的比例而生成的处理系数，可以更高精度地进行静止图像部分的运动模糊除去。另外，在进行运动方向的分散较大的运动图像部分的运动模糊除去时，通过选择增加运动方向不同的学生图像的比例而生成的处理系数，可以高精度地进行运动方向 的分散较大的运动图像部分的运动模糊除去。

另外，在由学生图像生成部62生成学生图像的情况下，生成学生图像使得2个学生图像的正中的相位是教师图像。例如，使附加了运动模糊的教师图像向以运动信息MH表示的运动方向的反方向移动运动量的1/2，生成相当于(t-1)帧的图像的第1学生图像。另外，使附加了运动模糊的教师图像向以运动信息MH表示的运动方向移动运动量的1/2，例如，生成相当于(t)帧的图像的第2学生图像。这样生成学生图像时，教师图像相当于关注图像，学生图像相当于周围图像。将在全画面移动部622中生成的第1学生图像存储到第1图像保持部623。另外，将在全画面移动部622中生成的第2学生图像存储到第2图像保持部624。

为了即使在图像信号DVa中叠加有噪音也可以不受该噪音的影响而进行运动模糊除去处理，噪音成分附加部625、626将叠加在图像信号DVa中的噪音NZ预先叠加到第1及第2学生图像中来学习处理系数。这样，通过设定噪音成分附加部625、626而进行学习，与不设定噪音成分附加部625、626而进行了学习的情况相比，可以受噪音的影响较少、高精度地进行运动模糊除去处理。另外，可以通过调整噪音量来改变模糊感。

在此，作为附加在学生图像中的噪音，通过例如用数字照相机、摄像机拍摄均一亮度的被摄体并进行被摄体图像的累加，来生成基准图像。使用从各摄影图像减去该基准图像而得到的噪音。如果使用这种噪音，则可以更有效地进行针对实际拍摄的图像的运动模糊除去。

预测抽头提取部64与上述像素值提取部36同样地，从由学生图像生成部62生成的第1及第2学生图像中提取预测抽头Ca，将预测抽头的像素值提供给正规方程式生成部651。

处理系数生成部65a的正规方程式生成部651根据由预测抽头 提取部64提取的预测抽头Ca的像素值和教师图像的像素值，在每个运动方向上生成正规方程式并提供给系数决定部652。系数决定部652根据从正规方程式生成部651提供的正规方程式，对每个学生图像运算处理系数，将得到的每个学生图像的处理系数按每个运动方向存储到处理系数设定部37a。进一步说明该正规方程式生成部651和系数决定部652。

上述像素值生成部38a使用由像素值提取部36提取的预测抽头的像素值和从处理系数设定部37a提供的处理系数，例如，进行公式(15)示出的线性结合，对每个周围图像生成模糊除去处理后的像素值。

$q^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_i...\left(15\right)$

此外，在公式(15)中，q’表示进行模糊除去后的像素的像素值。c_i(i是1至n的整数值，表示处理范围的各像素)表示处理区域的像素值。另外，d_i表示处理系数。

在该公式(15)中，学习前各处理系数d_i都是未定系数。通过输入多个教师图像(静止图像)的像素来进行处理系数的学习。当存在m个在教师图像的像素、将m个像素的像素数据描述为“q_k(k是1至m的整数值)”的情况下，根据公式(15)设定下面的公式(16)。

在此，公式(16)通过进行右边的运算，可以得到与没有运动模糊的实际的像素值q_k大致相等的模糊除去后的像素值q_k’。此外，在公式(16)中之所以不是等于而是约等于，是因为包含误差。即，作为右边的运算结果的模糊除去后的像素值在严格来讲与没有运动模糊的实际的图像中的关注像素的像素值不一致，而包含了规定的误差。

在该公式(16)中，如果可以通过学习求得使误差的平方和最小的处理系数d_i，则认为该处理系数d_i是用于使模糊除去后的像素值q_k接近没有运动模糊的像素值的最佳系数。因此，例如使用通过学习收集的m个(其中，m是大于n的整数)像素值q_k，通过最小二乘法决定最佳处理系数d_i。

在利用最小二乘法求出公式(16)的右边的处理系数d_i的情况下的正规方程式可以表示为公式(17)。

因此，可以通过求解公式(17)所示的正规方程式来决定处理系数d_i。具体地说，如果将公式(17)所示的正规方程式的各矩阵如下面的公式(18)至公式(20)那样定义，则正规方程式如公式(21)所示。

$D_{\mathrm{MAT}}=\left[\begin{array}{c}{d}_1\\ d_2\\ :\\ :\\ d_n\end{array}\right]\·\·\·\left(19\right)$

$Q_{\mathrm{MAT}}=\left[\begin{array}{c}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{1k}\×q_k\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{2k}\×q_k\\ :\\ :\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{\mathrm{nk}}\×q_k\end{array}\right]\·\·\·\left(20\right)$

C_MATD_MAT＝Q_MAT    ...(21)

如公式(19)所示，矩阵D_MAT的各成分是想求出的处理系数d_i。因此，在公式(21)中，如果能够决定左边的矩阵C_MAT和右边的矩阵Q_MAT，就可以利用矩阵解法来算出矩阵D_MAT(即，处理系数d_i)。具体地说，如公式(18)所示，如果已知预测抽头c_ik，就可以运算矩阵C_MAT的各成分。预测抽头c_ik由预测抽头提取部64提取，因此，正规方程式生成部651可以使用从预测抽头提取部64提供的各预测抽头c_ik来运算矩阵C_MAT的各成分。

另外，如公式(20)所示，只要预测抽头c_ik和静止图像的像素值q_k已知就可以运算矩阵Q_MAT的各成分。预测抽头c_ik与矩阵C_MAT的各成分中所包含的相同，另外，像素值q_k是针对预测抽头c_ik中所包含的关注像素(学生图像的像素)的教师图像的像素。因此，正规方程式生成部651可以利用从预测抽头提取部64提供的预测抽头c_ik 和教师图像来运算矩阵Q_MAT的各成分。

这样，正规方程式生成部651运算矩阵C_MAT和矩阵Q_MAT的各成分，将该运算结果提供给系数决定部652。

系数决定部652运算作为上述公式(19)的矩阵D_MAT的各成分的处理系数d_i。具体地说，上述公式(21)的正规方程式可以变形为下面的公式(22)。

D_MAT＝C_MAT ^-1Q_MAT    ...(22)

在公式(22)中，左边的矩阵D_MAT的各成分是想求出的处理系数d_i。另外，从正规方程式生成部651提供矩阵C_MAT和矩阵Q_MAT各自的各成分。因此，系数决定部652在从正规方程式生成部651提供了矩阵C_MAT和矩阵Q_MAT各自的各成分时，通过进行公式(22)的右边的矩阵运算来运算矩阵D_MAT，将该运算结果(处理系数d_i)存储到处理系数设定部37a。另外，如果切换由运动设定部61设定的运动方向而进行上述学习，则可以根据多组的、预测抽头的像素值与教师图像内的关注像素之间的关系，至少在每个运动方向上将根据预测抽头的像素值来预测教师图像内的关注像素的处理系数存储到处理系数设定部。

另外，根据由学生图像生成部附加的噪音，在每个运动方向上将处理系数存储到处理系数设定部37a。这样，如果根据噪音在每个运动方向上存储处理系数，则能够如上述那样根据调整信息BS切换选择的处理系数。

图23是表示学习装置所执行的学习处理的流程图。在步骤ST21中，设定生成的处理系数的运动量和运动方向。

在步骤ST22中，附加运动模糊，根据由步骤ST21设定的运动量，在教师图像中附加运动模糊。在步骤ST23中进行全画面移动，根据由步骤ST21设定的运动量、运动方向，对在步骤ST22中附加了运动模糊的教师图像进行全画面移动，生成与周围图像对应的学生图像。在该学生图像的生成中，按照特定的比例来改变所设定的运动量及运动方向中的至少任意一个，根据变更后的运动量及运动方向对教师图像进行运动模糊的附加、全画面移动，生成 学生图像。另外，按照特定的比例还生成使运动量为“0”的学生图像。

在步骤ST24中，进行噪音附加处理，在学生图像中附加噪音。

在步骤ST25中，从附加了噪音的学生图像中提取预测抽头。在步骤ST26中，使用教师图像和所提取的预测抽头，至少在每个运动方向上生成正规方程式。在步骤ST27中，求解正规方程式而生成处理系数。

在步骤ST28中，判断是否对全画面实施了处理，在没有对全画面实施处理时，对新像素重复从步骤ST21开始的处理，在全部像素的处理结束时，结束学习处理。

在这样学习与指定的运动量、运动方向相应的处理系数时，在学习源中不仅包含指定的运动量、运动方向的学生图像，而且还包含与指定的运动量、运动方向产生误差的学生图像，由此，可以提高针对运动向量的检测误差的鲁棒性，即使检测出的运动向量产生误差，也可以良好地进行运动模糊除去。

另外，通过在学习源中包含使运动量为“0”而没有附加运动模糊的学生图像，可以提高针对静止图像的破绽的鲁棒性，即使检测出的运动向量产生误差，也可以防止在进行运动模糊除去时产生静止图像的破绽。进而，可以通过调整在处理系数的学习中附加的噪音量来改变模糊感，或者调整模糊量不同的学生图像的比例来制作出新的模糊感。

下面在图24中表示生成当进行类决定时使用的处理系数的学习装置60的功能框图。此外，在图24中，对与图22对应的部分附加相同附图标记，省略详细说明。

类决定部63与上述类决定部35同样地，对关注像素决定类代码KB并提供给处理系数生成部65的正规方程式生成部651。

预测抽头提取部64与上述像素值提取部36同样地，从由学生 图像生成部62生成的第1及第2学生图像中提取预测抽头Ca，将预测抽头的像素值提供给正规方程式生成部651。

处理系数生成部65的正规方程式生成部651根据由预测抽头提取部64提取的预测抽头Ca的像素值和教师图像的像素值，对每个类代码生成正规方程式并提供给系数决定部652。系数决定部652根据从正规方程式生成部651提供的正规方程式来运算处理系数，将得到的多组处理系数存储到处理系数设定部37。另外，通过切换运动方向进行处理系数的生成，由此将与运动方向及类相应的多组处理系数存储到处理系数设定部37中。另外，如果切换运动量进行处理系数的生成，则可以得到更高精度的处理系数。

另外，根据由学生图像生成部附加的噪音，对处理系数进行分类而存储到处理系数设定部37。这样，如果根据噪音对处理系数进行分类，如上所述就可以根据调整信息BS改变类来切换选择的处理系数。

图25是表示学习装置所执行的学习处理(进行类决定的情况)的流程图。在步骤ST31中，设定生成的处理系数的运动量及运动方向。

在步骤ST32中附加运动模糊，根据由步骤ST31设定的运动量在教师图像中附加运动模糊。在步骤ST33中，进行全画面移动，根据由步骤ST31设定的运动量、运动方向，对在步骤ST32中附加了运动模糊的教师图像进行全画面移动，生成与周围图像对应的学生图像。在该学生图像的生成中，按照特定的比例改变所设定的运动量及运动方向中的至少任意一个，根据变更后的运动量及运动方向，对教师图像附加运动模糊、进行全画面移动，生成学生图像。另外，还按照特定的比例生成使运动量为“0”的学生图像。

在步骤ST34中进行噪音附加处理，在学生图像中附加噪音。在步骤ST35中进行类决定处理，使用附加了噪音的学生图像对每 个像素决定类代码。

在步骤ST36中，从附加了噪音的学生图像中提取预测抽头。在步骤ST37中，使用教师图像和所提取的预测抽头，对每个类生成正规方程式。在步骤ST38中求解正规方程式，生成处理系数。

在步骤ST39中，判断是否对全画面实施了处理，在没有对全画面实施处理时，对新像素重复从步骤ST31开始的处理，在全部像素的处理结束时，结束学习处理。

这样，在学习与指定的运动量、运动方向相应的处理系数时，学习源不仅包含指定的运动量、运动方向的学生图像，而且还包含与指定的运动量、运动方向产生误差的学生图像，由此可以提高针对运动向量的检测误差的鲁棒性，即使检测出的运动向量产生误差，也可以良好地进行运动模糊除去。

工业上的可利用性

如以上那样，本发明涉及的学习装置和学习方法以及学习程序在提取使用图像传感器拍摄现实社会而得到的图像信号中所包含的信息时很有用，适合于得到除去运动模糊后的图像的情况。

Claims (7)

1.一种学习装置，具备：

运动量设定部，其设定运动量；

运动方向设定部，其设定运动方向；

学生图像生成部，其根据所述运动量和所述运动方向，在教师图像中附加运动模糊而生成学生图像，并按照特定的比例，生成在所述教师图像中不附加运动模糊的学生图像，其中，所述学生图像生成部包括：

运动模糊附加部，其按照特定的比例，对所述教师图像附加与所述运动量和所述运动方向相应的运动模糊以及与所述运动量和所述运动方向中的至少一个改变后的运动量和运动方向相应的运动模糊；

全画面移动部，其以所述运动量在所述运动方向上将附加了所述运动模糊的所述教师图像进行全画面移动，以生成具有所述运动模糊的所述学生图像；以及

图像保持部，其存储所述全画面移动部生成的具有所述运动模糊的所述学生图像；

预测抽头提取部，其为了提取主要包含所述学生图像内的运动对象中的关注像素的成分的主要项，至少提取与所述教师图像内的所述关注像素的空间位置大致相同的所述学生图像内的像素的像素值；以及

系数生成部，其至少对每个所述运动方向，根据多组由所述预测抽头提取部所提取的像素的像素值与所述教师图像内的关注像素之间的关系，生成根据由所述预测抽头提取部提取的像素的像素值预测所述教师图像内的关注像素的处理系数，其中，所述系数生成部包括：

正规方程式生成部，其根据所述预测抽头提取部提取的像素的像素值和所述教师图像的像素值，在所述运动方向上生成正规方程式；

系数决定部，其根据所述正规方程式生成部提供的所述正规方程式，计算所述学生图像的处理系数。

2.根据权利要求1所述的学习装置，其特征在于，

所述学生图像生成部在生成与第1运动方向的运动模糊对应的预测系数时，将具有与第1运动方向接近的第2运动方向的运动模糊的学生图像用于学习。

3.根据权利要求1所述的学习装置，其特征在于，

所述学生图像生成部在所述学生图像中还附加噪音。

4.根据权利要求1所述的学习装置，其特征在于，

所述预测抽头提取部在所述学生图像是隔行扫描格式时，提取所述学生图像内的第1多个像素的像素值，在所述学生图像是逐行扫描格式时，提取所述学生图像内的第2多个像素的像素值。

5.根据权利要求1所述的学习装置，其特征在于，

设有类决定部，该类决定部根据与所述教师图像内的关注像素对应的所述学生图像内的像素的像素值，决定所述关注像素的类，其中，所述类决定部包括：

类抽头提取部，其以与所述关注像素的空间位置为基准，从所述图像保持部中所保持的周围图像提取类抽头；以及

类分类部，其根据所述运动方向，基于所述类抽头提取部提取的类抽头来决定所述关注像素的类；

所述系数生成部对由所述类决定部检测出的每个类，生成预测所述教师图像内的关注像素的处理系数。

6.根据权利要求5所述的学习装置，其特征在于，

在所述类决定部中，根据与所述教师图像内的关注像素对应的所述学生图像内的像素的像素值的活度，决定所述关注像素的类。

7.一种学习方法，具备：

运动量设定工序，设定运动量；

运动方向设定工序，设定运动方向；

学生图像生成工序，根据所述运动量和所述运动方向，在教师图像中附加运动模糊，生成学生图像，并按照特定的比例，生成在所述教师图像中不附加运动模糊的学生图像，其中，所述学生图像生成工序包括：

运动模糊附加工序，其按照特定的比例，对所述教师图像附加与所述运动量和所述运动方向相应的运动模糊以及与所述运动量和所述运动方向中的至少一个改变后的运动量和运动方向相应的运动模糊；

全画面移动工序，其以所述运动量在所述运动方向上将附加了所述运动模糊的所述教师图像进行全画面移动，以生成具有所述运动模糊的所述学生图像；以及

图像保持工序，其存储所述全画面移动工序生成的具有所述运动模糊的所述学生图像；

预测抽头提取工序，为了提取主要包含所述学生图像内的运动对象中的关注像素的成分的主要项，至少提取与所述教师图像内的所述关注像素的空间位置大致相同的所述学生图像内的像素的像素值；以及

系数生成工序，至少对每个所述运动方向，根据多组由所述预测抽头提取工序提取的像素的像素值与所述教师图像内的关注像素之间的关系，生成根据由所述预测抽头提取工序提取的像素的像素值来预测所述教师图像内的关注像素的处理系数，其中，所述系数生成工序包括：

正规方程式生成工序，其根据所述预测抽头提取工序提取的像素的像素值和所述教师图像的像素值，在所述运动方向上生成正规方程式；

系数决定工序，其根据所述正规方程式生成工序提供的所述正规方程式，计算所述学生图像的处理系数。

Images