CN101601279A - 摄像装置、摄像方法以及程序 - Google Patents

Abstract

摄像装置以及摄像方法，在电子式图像抖动修正中，能够修正在一幅帧中因照相机运动而发生的模糊，在该摄像装置以及摄像方法中，摄像装置(100)包括：第一图像特征量变换部(104)，将输入图像(117)变换为图像特征量；模糊检测部(105)，以时间序列来评价输入图像特征量(118)，并检测模糊；模糊合成部(107)，利用模糊模型(124)，针对无模糊摄像图像(129)虚拟地发生模糊，从而生成模糊合成图像(130)；模糊消除用图像特征量置换表部(110)，用于将包含模糊的图像的图像特征量置换为没有模糊的图像的图像特征量；以及最近旁图像特征量检测部(113)，输出无模糊摄像图像的图像特征量，以作为模糊消除图像特征矢量图像(133)，所述无模糊摄像图像的图像特征量与最接近输入图像特征量(118)的图像特征量的图像特征量成对。

Description

摄像装置、摄像方法以及程序

技术领域

本发明涉及消除因拍摄而发生的模糊(blur)的摄像装置、摄像方法以及程序。

背景技术

近些年，随着摄像元件的高密度化，数字摄像机或数字静像照相机的高精细化和小型化很明显。若摄像元件的元件密度提高，则受光元件的面积变窄，因此，为了确保信噪(Signal Noise)比而需要长时间曝光。若正在曝光时照相机的位置变动，则会发生图像抖动，因此，摄像者为了尽量不使照相机移动而采用以下的方法，即，将照相机固定在三脚架上，或在手持照相机的情况下使胳膊用劲等。

为了减轻防止图像抖动时的摄像者的负担，而具有图像抖动修正功能的照相机的机型被实用化。其基本想法是，检测照相机的运动，并取得摄像图像，以使该运动相抵消。使照相机运动相抵消的具体方法，可以大致分为两种，即，“电子式”和“光学式”。电子式是剪取摄像图像的一部分的方法，使剪取位置在与照相机运动相反的方向移动，从而使图像抖动相抵消。

图34是用于说明电子式的图像抖动修正功能的一个例子的说明图。

例如，如图34(a)示出照相机设定比摄像图像10小的剪取帧11。照相机，将剪取帧11内的图像作为输出图像12输出，并显示在显示器上，或存储到记录介质。图34(b)的摄像图像13是摄像图像10的下一个帧的图像。在从图34(a)的拍摄到图34(b)的拍摄的期间发生照相机运动14、且被摄体15处于静止状态的情况下，若没有图像抖动修正功能，则像输出图像16那样，被摄体15的画面内的位置移动。该输出图像12和输出图像16之间的相差，就是“图像抖动”。若照相机不动、且被摄体也不动，则输出图像中的被摄体的位置也不会变。

于是，如图34(c)示出，具有图像抖动修正功能的照相机，通过以与照相机运动14相反的方向、且相同大小的照相机运动修正矢量17来将剪取帧11移动，从而消除图像抖动，并取得与输出图像12相同的输出图像18。

另一方面，具有光学式的图像抖动修正功能的照相机，使透镜系统或摄像元件机械性地移动，以使照相机运动相抵消。因此，对摄像元件上的成像图像本身施行图像抖动的修正。

如上所述，在电子式的图像抖动修正中，如图34说明，由于按照照相机的运动使剪取帧11移动，因此需要正确地检测照相机的运动。而且，根据摄像图像的运动检测该照相机的运动。若被摄处于静止状态，则能够容易检测正确的照相机的运动。但是，实际上，有拍摄具有运动的被摄体的情况，特别是摄像机，由于以在时间上跟随被摄体的运动来记录运动图像为主要目的，因此几乎没有被摄体处于静止状态的情况。

于是，例如，在专利文献1中公开电子式的图像抖动修正技术，即使移动的被摄体被拍摄也能够修正图像抖动。

图35是所述专利文献1的摄像装置包括的运动矢量检测装置的结构图。该运动矢量检测装置包括运动矢量检测单元31、运动矢量判定单元32、发散度计算单元33、低通滤波器34、变换单元35、控制单元36。运动矢量检测单元31，按摄像图像的每个块检测运动矢量。

图36示出每个块的运动矢量的图。如图36(a)示出，运动矢量检测单元31，将摄像图像20分割为多个块，按每个块检测运动矢量。在被摄体处于静止状态的情况下，所有的块的运动矢量一致，并其表示照相机运动。另一方面，在存在移动的被摄体的情况下，所有的块的运动矢量不一致。因此，运动矢量检测单元31，检测如图36(b)不同方向的运动矢量。于是，发散度计算单元33计算“发散度”，该“发散度”示出这些运动矢量的方差程度。而且，控制单元36，算出按照该发散度的、摄像图像20整体的运动矢量(照相机运动)。具体而言，变换单元35，设定控制摄像图像整体的运动矢量的大小的运动矢量系数和发散度的关系，并随着发散度变大，就抑制该发散度的运动矢量的大小。

图37是示出运动矢量系数和发散度的关系的图。变换单元35，运动矢量的发散度越大，就越使该运动矢量的运动矢量系数变小，从而抑制发散度大的运动矢量带给摄像图像整体的运动矢量的影响。根据这些变换单元35的处理结果，控制单元36控制摄像图像整体的运动矢量的大小。

专利文献1：日本国特许第2506469号

而且，若正在一幅帧的曝光中摄像传感器移动，则发生称为模糊的图像抖动。

图38是用于说明正在一幅帧的曝光中发生的模糊的说明图。例如，考虑以下的情况，即，如图38(a)示出，被摄体40上的A点成像在摄像传感器41的像素42的状态43，因摄像传感器41的移动而变化，从而变为状态44。在图38(b)示出的状态44，来自被摄体上的A点的光入射到摄像传感器41的区域B。由于来自被摄体上的一点(A点)的光入射到摄像传感器上的多个像素(区域B)，因此，焦点错开，并且，受光位置也从像素42移动到区域B。在从状态43转移到状态44的期间，摄像传感器41的快门开放的情况下，来自被摄体上的A点的光，连续地改变入射位置，即从像素42变为区域B，并以各个像素被积分，从而得到摄像图像。如上所述，正在摄像传感器41的快门开放中，若摄像传感器41移动，则来自被摄体上的一点的光入射到摄像传感器上的多个像素，例如发生像图38(c)示出的图像46那样的模糊，从而导致画质劣化。

但是，在所述以往的电子式的图像抖动修正技术中，如在图34说明，控制剪取帧11的位置，以使照相机运动14相抵消。据此，在这些方法中存在的问题是，即使将被摄体15配置在输出图像12内的稳定位置来修正图像抖动，也不能消除在输出图像12中发生的模糊，因此，不能充分地修正图像抖动。

发明内容

于是，鉴于所述情况，本发明的目的在于提供一种摄像装置以及摄像方法，在电子式图像抖动修正中，能够修正在一幅帧中因照相机运动而发生的模糊。

为了实现所述目的，本发明涉及的摄像装置是一种摄像装置，修正拍摄的图像中发生的模糊，其中包括：摄像单元，拍摄运动图像；模糊检测单元，检测所述摄像单元所拍摄的摄像图像中发生了模糊，以及检测发生了模糊的时间上的位置；模糊合成单元，利用无模糊摄像图像以及有模糊摄像图像，针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像，所述无模糊摄像图像是由所述模糊检测单元没有检测到模糊的图像，所述有模糊摄像图像是由所述模糊检测单元检测出模糊的图像；图像特征量变换单元，将所述无模糊摄像图像、所述模糊合成图像、以及所述有模糊摄像图像分别变换为图像特征量；以及模糊修正单元，针对所述模糊检测单元检测出模糊的时间上的位置的像素或块，分别确定具有与所述有模糊摄像图像的图像特征量类似的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量，从而修正所述有模糊摄像图像的模糊。

在此，图像特征量是基于包含注目像素的多个像素的亮度分布的量。例如，以注目像素为中心的5像素×5像素的块中包含的25像素的亮度值、或反映了注目像素和其周边像素的亮度值的差距的特性值等是图像特征量的一个例子。通过将有模糊摄像图像的图像特征量置换为无模糊摄像图像的图像特征量置，从而能够实现模糊消除。

据此，能够利用图像处理来修正因照相机运动而发生的模糊，并能够提高通过取景位置的移动来使图像抖动相抵消的电子式图像抖动修正的画质。

并且，本发明，除了可以作为这些摄像装置来实现以外，也可以作为将这些摄像装置具有的特征单元作为步骤的摄像方法来实现，还可以作为使计算机执行这些步骤的程序来实现。并且，当然也可以通过CD-ROM等存储介质或互联网等传输介质来分发这些程序。

根据本发明的摄像装置，能够得到降低了在一幅帧中因照相机运动而发生的模糊的影响的图像。因此，摄像者不需要考虑为了防止图像抖动的方法，即，不需要考虑使用三脚架、或使胳膊用劲才能拿住照相机等的方法，而能够专注做以取景(framing)为中心的摄像行为。并且，由于通过图像处理能够消除因曝光不足而发生的模糊，缺乏图像抖动方面的知识的初学者也能够拍摄没有图像抖动的影像，因此视频拍摄的简便性提高，从而使各种用户使用，或在各种场面使用。

附图说明

图1是本发明的实施例1涉及的摄像装置的结构框图。

图2(a)、(b)是示出适用了本发明的实施例1涉及的摄像装置的装置的具体例子的图。

图3是说明以小波变换来根据多分辨率表现生成图像特征矢量(w₁、w₂、……、w_p)的方法的图。

图4(a)、(b)是说明小波变换的输出HL、LH、HH的图。

图5(a)、(b)、(c)是说明按每个像素算出尺度等级n＝2的图像特征量的方法的图。

图6(a)、(b)是说明模糊消除原理的图。

图7是说明根据照相机运动的模糊生成方法的图。

图8是示出图像抖动修正部的内部结构的方框图。

图9是示出运动矢量算出的一个例子的图。

图10是说明取景区域和外框区域的图。

图11(a)、(b)是说明在静止物体的检测上利用外框区域的理由的图。

图12是说明根据运动矢量检测静止物体的方法的图。

图13是示出外框区域的运动矢量的图。

图14(a)、(b)示出在外框区域不能拍摄静止物体的情况的图。

图15是参考图像放大用辞典，对图像抖动修正取景图像进行图像放大，并算出图像抖动修正图像的方框图。

图16是说明输出图像尺寸调整部的结构的方框图。

图17是示出摄像装置的各个构成要素的工作时序的图。

图18是摄像装置的方框图的工作流程。

图19(a)、(b)是说明照相机噪声、照明的变化对静止物体的运动矢量带来的影响的图。

图20是示出本发明的实施例2涉及的摄像记录再生装置的结构的方框图。

图21是说明记录格式的一个例子的图。

图22是说明表制作模式的工作的图。

图23是说明修正模式的工作的图。

图24是示出内置有再生部的显示装置的一个例子的外观模式图。

图25是示出本发明的实施例3涉及的摄像记录再生装置的结构的方框图。

图26是说明摄像者输入指示的画面的图。

图27是说明模糊消除区域的指定方法的图。

图28是说明无模糊区域的指定方法的图。

图29是示出本发明的实施例4涉及的摄像记录再生装置的结构的方框图。

图30是示出模糊检测部的内部结构的一个例子的方框图。

图31是示出本发明的实施例5涉及的摄像记录再生装置的结构的方框图。

图32是示出模糊检测部的内部结构的一个例子的方框图。

图33是说明对应于变焦倍率的阈值的调整的图。

图34(a)、(b)、(c)是说明电子式图像抖动修正原理的图。

图35是示出以往的摄像装置具备的运动矢量检测装置的结构的结构图。

图36(a)、(b)是示出运动矢量的一个例子的图。

图37是示出以往的摄像装置具有的运动矢量系数和发散度的关系的图。

图38(a)、(b)、(c)是说明模糊的发生的原因的图。

符号说明

100撮像装置

200、300摄像记录再生装置

101被摄体

102输出图像

103撮像传感器部

104第一图像特征量变换部

105模糊检测部

106无模糊摄像图像暂时存储器部

107模糊合成部

108第二图像特征量变换部

109第三图像特征量变换部

110模糊消除用图像特征量置换表部

111模糊合成图像特征量存储部

112无模糊图像特征量存储部

113最近旁图像特征量检测部

114图像抖动修正部

115输出部

116摄像图像显示部

具体实施方式

本发明的实施例涉及的摄像装置是一种摄像装置，修正拍摄的图像中发生的模糊，其中包括：摄像单元，拍摄运动图像；模糊检测单元，检测所述摄像单元所拍摄的摄像图像中发生了模糊，以及检测发生了模糊的时间上的位置；模糊合成单元，利用无模糊摄像图像以及有模糊摄像图像，针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像，所述无模糊摄像图像是由所述模糊检测单元没有检测到模糊的图像，所述有模糊摄像图像是由所述模糊检测单元检测出模糊的图像；图像特征量变换单元，将所述无模糊摄像图像、所述模糊合成图像、以及所述有模糊摄像图像分别变换为图像特征量；以及模糊修正单元，针对所述模糊检测单元检测出模糊的时间上的位置的像素或块，分别确定具有与所述有模糊摄像图像的图像特征量类似的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量，从而修正所述有模糊摄像图像的模糊。

据此，能够修正在一幅帧中因照相机运动而发生的模糊。

在此，也可以是，所述模糊修正单元，包括：置换表部，生成使在时间上对应的所述模糊合成图像的图像特征量、和所述无模糊摄像图像的图像特征量相对应的置换表；以及修正部，利用所述置换表，确定具有与所述有模糊摄像图像的图像特征量最近的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量。

并且，也可以是，所述模糊合成单元，检测所述摄像装置的运动，并且，按照所述无模糊摄像图像以及所述有模糊摄像图像之间的所述摄像装置的运动，制作在时间上对所述无模糊摄像图像以及所述有模糊摄像图像之间进行插值的模糊模型，利用制作的所述模糊模型针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像。

也可以是，所述模糊修正单元，分别执行表生成模式和修正模式，在所述表生成模式中所述置换表部进行所述置换表的生成，所述修正模式中所述修正部利用所述置换表来修正所述有模糊摄像图像的模糊。据此，例如，在从拍摄结束后到再生开始之前的空白时间制作置换表。

也可以是，所述摄像装置，还包括：存储单元，将所述摄像单元所拍摄的图像和模糊检测信息一起存储，所述模糊检测信息示出所述模糊检测单元所检测的所述模糊的发生以及所述模糊的发生位置；所述模糊检测单元、模糊合成单元、以及图像特征量变换单元，读出所述存储单元所存储的图像以及所述模糊检测信息，对读出的所述图像进行处理。

并且，也可以是，所述图像特征量变换单元，按每个像素或块，将所述摄像单元所拍摄的所述摄像图像变换为图像特征量，所述模糊检测单元，以时间序列来追踪所述摄像图像的图像特征量的类似性，在所述图像特征量的变化量超过规定的阈值的情况下，判断为在超过所述规定的阈值的所述图像特征量的像素位置、或块内发生了模糊。

并且，也可以是，所述摄像装置，还包括：暂时存储单元，暂时存储所述无模糊摄像图像；所述模糊合成单元，在所述模糊检测单元检测出模糊的情况下，针对所述暂时存储单元所存储的所述无模糊摄像图像合成虚拟模糊，从而生成所述模糊合成图像。

并且，也可以是，所述摄像装置，还包括：指示接受单元，接受是否进行模糊修正的选择；所述模糊修正单元，只在由所述指示接受单元接受了进行模糊修正的情况下，修正所述有模糊摄像图像的模糊。据此，摄像者能够使模糊修正的处理无效，并能够实现更广泛的影像表现。

并且，也可以是，所述指示接受单元，还接受进行模糊修正的区域，所述模糊修正单元，只对由所述指示接受单元所接受的进行模糊修正的区域，修正所述有模糊摄像图像的模糊。并且，也可以是，所述指示接受单元，还接受不进行模糊修正的区域，所述模糊修正单元，对由所述指示接受单元所接受的不进行模糊修正的区域，不修正所述有模糊摄像图像的模糊。据此，能够只对摄像者选择的区域进行模糊修正的处理。

并且，也可以是，所述模糊检测单元，包括：模糊检测频度算出部，算出所述有模糊摄像图像内的模糊检测频度；阈值比较部，依据所述模糊检测频度的阈值比较，来判断对所述有模糊摄像图像的整体执行用于修正模糊的图像特征量的置换、还是对所述有模糊摄像图像的一部分执行用于修正模糊的图像特征量的置换；以及模糊检测信息生成部，根据所述阈值比较部的判断结果，将图像特征量的置换单位附加在所述模糊检测信息中；在所述模糊检测信息指定所述摄像图像的整体的图像特征量的置换的情况下，不执行图像特征量的置换，而以所述无模糊摄像图像来置换所述有模糊摄像图像的整体，从而修正模糊。通过进行图像整体的置换，从而能够进行模糊修正，在该图像整体的置换中，能够进行比以像素为单位、或以块为单位的图像特征量的置换更高速度的处理，并且不易受到因图像特征量的置换而引起的失真(artifact)的影响。

并且，也可以是，所述摄像装置，还包括：变焦设定部，设定用于规定摄像视角的变焦倍率；所述阈值比较部，对所述模糊检测频度、和按照所述变焦设定部设定的变焦倍率来调整的阈值进行比较，从而进行所述判断。据此，在模糊的发生的可能性高的高倍率变焦摄像时，通过降低所述阈值来使图像整体的置换容易执行，从而能够降低处理负荷，也能够生成失真少的高画质的模糊消除图像。

以下，对于本发明的各个实施例，参照附图分别进行详细说明。

(实施例1)

在本实施例中说明，将有模糊图像的图像特征量置换为无模糊图像的图像特征量来消除模糊的摄像装置。

图1是本发明的实施例1涉及的摄像装置100的结构框图。图2是示出适用了本发明的实施例1涉及的摄像装置100的装置的具体例子的图。

摄像装置100是一种装置，拍摄被摄体101以作为运动图像，消除模糊，修正图像抖动，从而输出作为运动图像的输出图像102，如图1示出，该摄像装置100包括撮像传感器部103、第一图像特征量变换部104、模糊检测部105、无模糊摄像图像暂时存储器部106、模糊合成部107、第二图像特征量变换部108、第三图像特征量变换部109、模糊消除用图像特征量置换表部110、模糊合成图像特征量存储部111、无模糊图像特征量存储部112、最近旁图像特征量检测部113、图像抖动修正部114、输出部115、以及摄像图像显示部116。例如，该摄像装置100可以适用于如图2(a)示出的具有运动图像摄像功能的数字静像照相机、如图2(b)示出的摄像机等。

例如，输出图像102，被放映在与摄像装置100连接的显示装置40。或者，输出图像102，被记录在与摄像装置100连接的视频记录装置50。

撮像传感器部103，拍摄被摄体101，并将拍摄的图像作为输入图像117输出。

第一图像特征量变换部104，将输入图像117变换为图像特征量，并作为输入图像特征量118输出。图像特征量是反映了注目像素和其周边像素的亮度值的相差的特性值，例如利用小波变换来算出。

图3是示出以小波变换来根据多分辨率表现生成图像特征矢量(w₁、w₂、……、w_p)的方法的一个例子的图，图4是说明小波变换的输出HL、LH、HH的图。

图3示出的小波变换的输出HL、LH、HH、LL为利用Haar(哈尔)型的母小波的情况的例子。如图4(a)示出，输出HL是处理对象的像素960和该像素960的右相邻像素961之间的差分值，输出LH是处理对象的像素960和该像素960的下相邻像素962之间的差分值，输出HH是像素960和该像素960的斜下相邻像素963之间的差分值，输出LL是处理对象的像素960和该像素960的右、下、斜下的3像素的总共4像素的平均值。图4(a)相当于尺度1，图4(b)相当于尺度2。在尺度2中，作为在尺度1中的4像素的平均值的输出LL是差分值的计算对象，在尺度2中的输出HL是块964和块965之间的差分值，在尺度2中的输出LH是块964和块966之间的差分值，在尺度2中的输出HH是块964和块967之间的差分值。并且，在尺度2中的输出LL是从块964到块967的平均值。

图5是以尺度等级n＝2为例子来说明按每个像素算出图像特征量的方法的图。图5(a)是算出像素970的图像特征量(w₁、w₂、……、w₇)_{1`1</sub>的方法，以小波变换来参考块971内的16像素，算出7维的图像特征量。同样，图5(b)是算出像素972的图像特征量(w<sub>1</sub>、w<sub>2</sub>、……、w<sub>7</sub>)<sub>1`2}的方法，以小波变换来参考块973内的16像素，算出7维的图像特征量。图5(c)是算出像素974的图像特征量(w₁、w₂、……、w₇)_1`3的方法，以小波变换来参考块975内的16像素，算出7维的图像特征量。如上所述，按每一个像素，以小波变换来参考的块移动，从而按每个像素算出图像特征量。

同样，在尺度等级n＝3的情况下，按每个像素算出10个小波系数，能够定义将它们作为要素的10维的图像特征矢量(w₁、w₂、……、w₁₀)。

而且，本发明，不限制图像特征量的生成方法，而可以以任意的方法来生成图像特征量。例如，也可以将图5(a)的块971中包含的25像素的亮度值列作为图像特征矢量。并且，图5的块971、块973、块975的空间上的关系也是任意的，例如，各个块可以按每一个像素重叠，也可以按每二个像素重叠。

图6是说明模糊消除原理的图，图6(a)是示出直到检测在时刻t3和时刻t4之间发生的模糊，根据照相机运动生成模糊模型为止的流程的图。

在模糊检测中，追踪时间上连续的图像之间类似的图像特征量矢量，若图像特征矢量的距离变化超过阈值tf(例如5)，则判断为发生了模糊。在图6(a)的例子中，图像H1的像素120和图像H2的像素121的图像特征矢量的距离为2，图像H2的像素121和图像H3的像素122的图像特征矢量的距离为l。在此，由于设定了阈值tf＝5，因此判断为无模糊。但是，由于图像H3的像素122和图像B4的像素123的图像特征矢量的距离为30，因此判断为发生了模糊。

模糊模型124是，根据从时刻t3到时刻t4之间的照相机运动，将模糊的发生模型化而成的。如利用图38说明了，被摄体上的一点(图38的A点)入射到摄像元件的多个像素(图38的区域B)，从而发生模糊。因此，根据照相机运动积分图像H3，从而能够生成具有模糊的图像B4。

图7是说明根据照相机运动的模糊生成方法的图。着眼在时刻t3所拍摄的图像980和在时刻t4所拍摄的图像981的相同位置的像素982和像素983。在照相机在时刻t3和时刻t4之间没有变动的情况下，入射到像素982和像素983的光量没有变化，不发生模糊。另一方面，若在时刻t3和时刻t4之间发生图像981内所示的箭头984的方向和大小的照相机运动，入射到像素982和像素983的光量则不同。而且，该入射光量连续发生变化。于是，如图7示出，若假定照相机运动为等速且直线，则能够通过计算来制作图像985或图像986等，图像985或图像986是实际上没有拍摄的中间性的图像。在图7中示出以下的例子，即，通过计算生成8幅中间性的图像，从而离散化为包含图像980和图像981的总共10幅图像。对与像素982相同位置的像素987、像素988、像素983等的像素值I₁、I₂、I₃、……、I₁₀进行加法运算，并除以10，从而能够算出模糊图像989的像素990的像素值。

而且，在照相机没有变动、而被摄体变动了的情况下，也发生模糊。但是，在本发明中的对象是因照相机运动而发生的模糊，因此，不将被摄体的运动模型化。

图6(b)是示出，将有模糊摄像图像B4的图像特征量置换为无模糊摄像图像H1、H2、H3中的某个特征量，来生成模糊消除摄像图像HM4的流程的图。利用图6(a)说明的模糊模型124，针对无模糊摄像图像H1、H2、H3虚拟地发生模糊，从而生成模糊合成图像BM1、BM2、BM3。比较有模糊摄像图像B4的像素125的图像特征量和模糊合成图像BM1、BM2、BM3的图像特征量，检测具有最类似的最近旁图像特征量的像素。图6(b)是检测出模糊合成图像BM3的像素126具有最类似的最近旁图像特征量的情况的例子。在此情况下，将与像素126相同位置的无模糊摄像图像H3的像素127具有的图像特征量，决定为模糊消除摄像图像HM4的像素128，该模糊消除摄像图像HM4的像素128被置换为有模糊摄像图像B4的像素125。

而且，本发明，不对图像特征量的选择方法加以限制，而可以适用任意的方法。例如，也可以是，暂时收集包含在规定的距离内的多个图像特征量，取它们的平均，以作为无模糊摄像图像的图像特征量。

如此，在本发明中，将“有模糊摄像图像”的图像特征量，置换为在“有模糊摄像图像”之前所拍摄的“无模糊摄像图像”的图像特征量，从而消除模糊。

模糊检测部105，如利用图6(a)说明了，针对所有的像素以时间序列来评价输入图像特征量118，若图像特征矢量的距离变化超过阈值tf，则判断为发生了模糊，将模糊检测信息119内的模糊有无信息切换为ON。并且，模糊检测部105，将示出发生了模糊的像素的位置的信息，作为模糊检测信息119内的模糊位置信息输出。进而，模糊检测部105，在检测模糊后，也继续以时间序列来评价图像特征矢量的变化。在发生了模糊的状况下，图像特征矢量的距离变化不超过阈值tf的情况，由于示出状况没有改变，因此相当于继续发生了模糊。在发生了模糊的状况下，若再次发生超过阈值tf的距离变化，则相当于模糊消失了。在此情况下，模糊检测部105，将模糊检测信息119内的模糊有无信息切换为OFF。在模糊有无信息为OFF时，模糊检测部105不输出模糊检测信息119内的模糊位置信息。但是，由于存在以下的情况，即，在发生模糊时，发生像图像特征矢量的距离变化超过阈值tf那样的更大的模糊，因此需要确认图像特征矢量的距离变化和成分变化。也就是，若发生模糊，则来自被摄体上的多个地方的光输入到像素元件的一点，因此，像图38(c)的图像46那样，图像特征矢量的高频成分被失去，频率分布偏移到低域侧。若进行图3说明的小波变换，则成分偏移到尺度等级深的方向，即，偏移到n值大的尺度等级。于是，在图像特征矢量的距离变化超过阈值tf、且图像特征矢量的成分偏移到低域的情况下，判断为照相机更大变动、发生了更大模糊。反而，在图像特征矢量的距离变化超过阈值tf、且图像特征矢量的成分偏移到高域的情况下，判断为模糊消失了。而且，能够根据图像特征矢量的各个成分的差分的大小判断频率成分的变化，在图3的小波变换的情况下，尺度等级1为频率最高的成分，在直到尺度等级5进行小波变换的情况下，尺度等级5为频率最低的成分。

模糊检测部105，在紧接启动摄像装置100后的初始设定中，将模糊检测信息119内的模糊有无信息复位为OFF。

而且，根据快门速度、照相机姿态的变化或自动变焦工作等，能够预测因照相机侧而引起的模糊的发生的可能性的大小。也就是，若快门速度变慢，撮像传感器部103上的受光时间则变长，模糊的发生的可能性变高。反而，若快门速度变快，撮像传感器部103上的受光时间则变短，模糊的发生的可能性变低。并且，照相机姿态的变化与模糊的发生直接关联。在摄像装置100具备自动变焦功能的情况下，也可以参考自动变焦的工作，在没有对焦好时，判断为发生了模糊。于是，模糊检测部105，判定图像特征矢量的距离变化的阈值，并且，还考虑快门速度、照相机运动的变化或自动变焦工作，来进行综合判断，则有效于提高模糊检测精度。并且，也可以不进行图像特征矢量的距离变化的阈值的判断，而至少利用快门速度、照相机运动的变化或自动变焦工作中的一个，来判断模糊的发生。

无模糊摄像图像暂时存储器部106，在模糊检测信息119内的模糊有无信息为OFF时，将输入图像117写入到存储器，直到发生模糊为止暂时保持无模糊摄像图像。在图6(a)示出的例子中，在无模糊摄像图像暂时存储器部106，暂时记录无模糊摄像图像H1、H2、H3。随着进行拍摄，摄像场景就变化，因此能够适用于消除模糊的无模糊摄像图像幅数就有限。于是，无模糊摄像图像暂时存储器部106，例如，确保30幅的存储容量，若超过该存储容量，则从最早的无模糊摄像图像开始，依次对每一幅进行覆盖写，并且，进行写入。在模糊检测信息119内的模糊有无信息变为ON时，无模糊摄像图像暂时存储器部106，依次读出记录有的无模糊摄像图像129，并输出到模糊合成部107和第三图像特征量变换部109。

模糊合成部107，在模糊检测信息119内的模糊有无信息为ON时，根据照相机运动制作利用图6(a)说明了的模糊模型124。在此，对于检测照相机运动的方法，例如，可以具备回转器等来检测，也可以根据所拍摄的图像来检测。而且，模糊合成部107，使用制作的模糊模型124，针对无模糊摄像图像129虚拟地发生模糊，从而生成模糊合成图像130。

第二图像特征量变换部108，以与第一图像特征量变换部104相同的方式，将模糊合成图像130变换为图像特征量，并输出模糊合成图像特征量131。

第三图像特征量变换部109，以与第一图像特征量变换部104相同的方式，将无模糊摄像图像129变换为图像特征量，并输出无模糊摄像图像特征量132。

模糊消除用图像特征量置换表部110成一对，用于将包含模糊的图像的图像特征量置换为没有模糊的图像的图像特征量。模糊消除用图像特征量置换表部110的输入侧是模糊合成图像特征量存储部111，存储模糊合成图像特征量131。模糊消除用图像特征量置换表部110的输出侧是无模糊图像特征量存储部112，存储无模糊摄像图像特征量132。也就是，模糊合成图像特征量131和无模糊摄像图像特征量132，例如，以图像(帧)为单位，分别与相同的像素位置的图像特征量相对应，并被存储。而且，在此，虽然以图像为单位存储图像特征量，但是，不仅限于此。例如，也可以以用图像特征量进行了排序的形式来存储，并进行变换，以便分别与像素相对应来配置。

最近旁图像特征量检测部113，在向模糊消除用图像特征量置换表部110的图像特征量的写入结束后，在模糊检测信息119内的模糊有无信息为ON的状态下进行工作，从模糊合成图像特征量存储部111中检测，与输入图像特征量118的图像特征量类似的图像特征量。在此，最近旁图像特征量检测部113，也可以从模糊合成图像特征量存储部111中检测，最接近输入图像特征量118的图像特征量的图像特征量，以作为所述类似的图像特征量。若检测出最接近的模糊合成图像特征量，则将与此成对的无模糊摄像图像的图像特征量，从无模糊图像特征量存储部112中读出，并作为模糊消除图像特征矢量图像133输出。

在模糊检测信息119内的模糊有无信息为OFF时，修正输入图像特征量118的图像抖动，在模糊检测信息119内的模糊有无信息为ON时，修正模糊消除图像特征矢量图像133的图像抖动，并作为图像抖动修正图像134输出。图像抖动修正部114，以比输出图像102更大的视角拍摄被摄体，来获得外框区域，从在外框区域所算出的运动矢量中只抽出实际上处于静止状态的物体的图像中的运动，从而算出照相机运动。将在输入图像117上与输出图像102一致的区域(取景区域)的位置移动，以便消除照相机运动，从而修正图像抖动。在所修正的取景区域，从输入图像117中剪取图像，按照输出图像的尺寸对所剪取的图像的尺寸施行图像放大，从而获得输出图像。根据所述的结构，即使摄像者60欲拍摄的被摄体101变动，也能够在外框区域内捕捉存在于该被摄体的周边的静止物体，因此，通过捕捉静止物体的运动矢量，从而能够进行稳定的图像抖动修正。以下，对于图像抖动修正部114，利用图8至图16进行详细说明。

图8是示出图像抖动修正部114的内部结构的方框图。

如图8示出，图像抖动修正部114包括运动矢量算出部140、取景区域设定部141、静止物体检测部142、照相机运动算出部143、取景区域修正部144、修正取景区域剪取部145、以及输出图像尺寸调整部146。

运动矢量算出部140，检测输入图像(摄像图像)中包含的所有的特征点，并检测该输入图像(摄像图像)和其它的时刻的输入图像(摄像图像)之间的特征点的运动，以作为运动矢量信号147。

图9是示出运动矢量算出的一个例子的图。

例如，摄像图像，从时刻T1的摄像图像151变化为时刻T2的摄像图像152。在此，图像150是将在时刻t1的摄像图像151和在时刻t2的摄像图像152重叠而成的。在该例子中，运动矢量算出部140，根据通过追踪图像特征量而检测出的被摄体的眼睛的位置的特征点155和特征点157之间的相差，算出运动矢量153。并且，运动矢量算出部140，根据位于肩膀的位置的特征点156和特征点158之间的位置的相差，算出运动矢量154。而且，在本发明中，运动矢量的算出方法是任意的，运动矢量的算出方法不受限制。例如，也可以是，不利用输入图像特征量118的图像特征量，而利用输入图像117的亮度值检测特征点，追踪该特征点，从而算出运动矢量。

图10是示出在输入图像117内设定的取景区域以及外框区域的图。

取景区域设定部141，如图10示出，在输入图像117内设定取景区域160和外框区域161。取景区域160是图10示出的用虚线的四角形包围的区域，也是后述的取景区域显示部116所显示的图像的区域。而且，摄像者60，认为在所显示的取景区域160中显示的图像是所拍摄的图像(视角)，并调整照相机的位置或朝向。外框区域161是输入图像117中的取景区域160以外的区域，如在后面说明，为了利用在该区域所算出的运动矢量来修正图像抖动，而被设定。也就是，取景区域设定部141，例如，以点162和点163的x坐标和y坐标来定义取景区域160，并将示出这些坐标的信息作为取景区域设定信号148输出。

静止物体检测部142，只使用运动矢量信号147示出的运动矢量中在外框区域161所算出的运动矢量，检测静止物体。也就是，静止物体检测部142，从输入图像117中包含的所有的特征点的运动矢量中抽出外框区域161的运动矢量。进而，静止物体检测部142，从该外框区域161的运动矢量中只抽出推测为静止物体的运动矢量的运动矢量。一般而言，在广角拍摄时，静止物体被拍摄在被摄体的背景的情况较多。因此，如上所述，只利用外框区域161的理由是基于以下的假定的，即，在想要记录被摄体的运动的摄像机的拍摄中，作为被摄体背景的静止物体被拍摄在摄像者60进行取景的区域(即，取景区域160)的周边。

图11是示出被显示在取景区域160以及外框区域161的图像的例子的图。

如图11(a)和图11(b)示出，在摄像者60和静止背景70与连接在一起的地面、建筑物的地板或墙壁等接触的情况下，若摄像者60处于静止状态，则摄像者60和静止物体70或静止物体73的位置关系被固定，并它们被拍摄在输入图像117上的相同位置。并且，一般而言，地面、建筑物的地板或墙壁等具有纹理(texture)(花样、光泽或因微小的凹凸而产生的阴影等的总称)，即使平坦的地面、地板或墙面，也能够根据亮度的相差检测特征点。于是，也能够将地面71或壁面72作为静止物体利用，在外框区域161能够检测静止物体。另一方面，在摄像者60拿着的摄像装置100动了的情况下，静止物体70或静止物体73被拍摄在输入图像117上的不同位置，因此，如利用图9说明了，发生运动矢量。这些运动矢量表示图像抖动的方向和大小，利用这些运动矢量、且以图34(c)示出的要领能够修正图像抖动。

图12是用于说明静止物体检测部142检测静止物体(静止物体的运动矢量)的方法的图。

例如，在经过从时刻t1直到时刻t2的期间，被摄体101从被摄体101来看向左前方移动。图像150是将时刻t1的输入图像901、时刻t2的输入图像902、和运动矢量重叠来显示的图像。静止物体的运动矢量是因摄像装置100的移动而产生的，因此均具有类似的方向和大小。

在此，被拍摄的场景的三维的空间信息被投影在摄像传感器部103的二维面上，因此，离摄像装置100远的静止物体和近的静止物体，虽然运动矢量的方向和大小不完全一致，但是示出大致相同的倾向。并且，也有以下的情况，即，因摄像传感器部103具有的透镜的周边歪斜，而在画面中央的运动矢量和画面周边的运动矢量不同。于是，静止物体检测部142，对运动矢量的方向和大小设定允许范围，将外框区域161的运动矢量中的、包含在该允许范围内的运动矢量作为静止物体的运动矢量，并将该运动矢量示出的运动作为摄像装置100的图像抖动。并且，有运动矢量的起点以及终点中的任一方存在于取景区域160内的情况，也有静止物体(图12示出的静止物体70和静止物体74)被拍摄在取景区域160中的情况。因此，静止物体检测部141，若运动矢量的起点或终点存在于外框区域161，则判断为该运动矢量属于外框区域161的运动矢量。

图13是示出外框区域161的运动矢量的图。

静止物体检测部142，抽出图13中以实线的箭头示出的运动矢量，以作为外框区域161的运动矢量。也就是，静止物体检测部142，只抽出在外框区域161内至少具有起点或终点的运动矢量。而且，静止物体检测部142，求出所抽出的运动矢量的平均矢量，将与平均矢量之间的距离(距离阈值tv)设定为允许范围，并检测与平均矢量之间的距离小于距离阈值tv的运动矢量，以作为静止物体的运动矢量。也就是，作为运动检测单元的运动矢量算出部140以及静止物体检测部142，在所述的外侧的区域检测多个运动矢量，并且，从所检测的多个运动矢量中优先地抽出相对于该多个运动矢量的平均类似性高的运动矢量，以作为静止物体的图像的运动矢量。

然而，有在外框区域161不能拍摄静止物体的情况。

图14是示出不能拍摄静止物体的情况的图。

例如，如图14(a)示出，在摄像装置100和被摄体101的距离非常近的情况下，或者，如图14(b)示出，在摄像者60乘坐着移动手段80移动的情况下，不能拍摄静止物体。这些情况，都处于以画面整体观察到运动的状态，也处于自然成为感到运动的影像的状况。

因此，静止物体检测部142，根据输入图像117，判别是否拍摄了静止物体，在判别为拍摄了静止物体的情况下，如上所述检测静止物体的运动矢量。另一方面，静止物体检测部142，在判别为没有拍摄静止物体的情况下，不进行静止物体的运动矢量的检测，而执行修正中断处理，以不进行图像抖动修正。在此情况下，摄像装置100，将输入图像117照原样输出，以作为输出图像102。

例如，静止物体检测部142，在外框区域161的运动矢量和取景区域160的运动矢量分别具有大致相同的大小以及朝向的情况下，判别为没有拍摄静止物体。或者，静止物体检测部142，在外框区域161的运动矢量的偏差非常大的情况下，判别为没有拍摄静止物体。

根据所述内容，静止物体检测部142，在判别为拍摄了静止物体的情况下，根据属于外框区域161的运动矢量检测静止物体(静止物体的运动矢量)，将所检测的一个或多个运动矢量作为静止物体运动矢量信号149输出。另一方面，在判别为没有拍摄静止物体的情况下，静止物体检测部142，不进行静止物体的运动矢量的检测，而输出示出没有静止物体的静止物体运动矢量信号149，以作为修正中断处理。例如，静止物体检测部142，输出示出所有的成分为0的运动矢量的静止物体运动矢量信号149，或输出示出所有的成分具有明确比运动矢量的大小的最大值(具体而言，图像的对角的长度)大的值的运动矢量的静止物体运动矢量信号149，以作为示出没有静止物体的静止物体运动矢量信号149。

后述的照相机运动算出部144，在接受示出没有静止物体的静止物体运动矢量信号149的情况下，停止算出照相机运动的工作。因此，取景区域修正部144的工作也被停止，修正取景区域剪取部145，将从摄像传感器部103取得的输入图像117照原样输出。

据此，按照所拍摄的状况，图像抖动修正功能被停止，从而能够输出以画面整体观察到运动的影像、或感到运动的影像。

照相机运动算出部144，根据从静止物体检测部142取得的静止物体运动矢量信号149算出照相机运动信号90。如上所述，静止物体运动矢量信号149具有多个运动矢量，该多个运动矢量的方向和大小在允许范围内不同。于是，照相机运动算出部143，通过这些单纯的平均或依据频度分布的加权平均等变换为一条运动矢量，并将与该运动矢量相反方向且相同大小的运动矢量(照相机运动)作为照相机运动信号90输出。

取景区域修正部144，使用从照相机运动算出部143取得的照相机运动信号90，将取景区域修正到使图像抖动相抵消的位置。修正的要领与利用图34说明了的处理相同。也就是，照相机运动信号90，示出与图34(b)的照相机运动14相同的运动。于是，取景区域修正部144，若从取景区域设定部141取得取景区域设定信号148，则按照与照相机运动信号90示出的运动矢量相反方向且相同长度的照相机运动修正矢量，使该取景区域设定信号148示出的取景区域160的坐标(图10示出的点162、163的坐标)移动。而且，取景区域修正部144，输出示出将坐标移动而修正的取景区域的位置的信息，以作为修正取景区域信号91。

修正取景区域剪取部145，从摄像传感器部103取得输入图像117，从取景区域修正部144取得修正取景区域信号91。而且，修正取景区域剪取部145，从输入图像117剪取修正取景区域信号91示出的、修正了图像抖动的取景区域，并将该剪取的图像作为图像抖动修正取景图像92输出。

输出图像尺寸调整部146，从修正取景区域剪取部145取得图像抖动修正取景图像92，将其图像尺寸(水平像素数和行数)，变换为显示在显示装置40的图像的尺寸或记录在视频记录装置50的图像的尺寸，即，变换为符合所述作为目的的输出图像102的尺寸。而且，输出图像尺寸调整部146，将变换了图像尺寸的图像抖动修正取景图像92作为图像抖动修正图像134输出。

而且，在取景区域设定部141设计有图像抖动修正取景图像92的水平像素数和行数，以便与作为目的的图像抖动修正图像134的水平像素数和行数一致的情况下，输出图像尺寸调整部146不需要变更图像尺寸，而将图像抖动修正取景图像92照原样输出，以作为图像抖动修正图像134。

并且，在图像抖动修正取景图像92的水平像素数和行数，比作为目的的图像抖动修正图像134的水平像素数和行数大的情况下，输出图像尺寸调整部146进行缩小处理。例如，在图像抖动修正取景图像92的尺寸为720像素×480行、作为目的的图像抖动修正图像134的尺寸为360像素×240行的情况下，输出图像尺寸调整部146将水平像素数和行数均缩小为二分之一。一般而言，缩小处理，为了防止因折返而引起的画质劣化，而使用低通滤波处理来删除高频成分，通过二次抽样使水平像素数和行数变小。

另一方面，在图像抖动修正取景图像92的水平像素数和行数，比作为目的的图像抖动修正图像134的水平像素数和行数小的情况下，输出图像尺寸调整部146进行放大处理。例如，在图像抖动修正取景图像92的尺寸为720像素×480行、作为目的的图像抖动修正图像134的尺寸为2160像素×1440行的情况，输出图像尺寸调整部146将水平像素数和行数均放大为三倍。放大处理有通过双线性插值(Bilinear Interpolation)或双三次插值(Bicubic Interpolation)等的再抽样，但是，一般而言，由于通过插值处理难以产生高频成分，因此成为感到不清楚且鲜明度低的图像。并且，这种倾向放大率越大就越明显，而且取景区域160比输入图像117越小，图像抖动修正图像134的画质就越劣化。

于是，在本发明中，输出图像尺寸调整部146，在进行放大处理时，由已拍摄的过去的图像构成图像抖动修正图像134。也就是，输出图像尺寸调整部146，将过去拍摄的图像作为用于放大图像的数据库利用，由依据该数据库参考的图像数据构成图像抖动修正图像134。

图15是示出进行放大处理的输出图像尺寸调整部146的内部结构的例子的方框图。该输出图像尺寸调整部146，参考图像放大用数据库171放大图像抖动修正取景图像92，该输出图像尺寸调整部146由图像放大用数据库171、低分辨率化部173以及类似数据检测部175构成。并且，图像放大用数据库171包括资源数据部172和低分辨率资源数据部174。

该输出图像尺寸调整部146，在进行放大处理时，预先构筑图像放大用数据库171的资源，并利用该资源进行放大处理。

首先，说明由输出图像尺寸调整部146的图像放大用数据库171的资源的构筑。

资源数据部172，将过去拍摄的图像作为用于放大图像的资源保持。因此，资源数据部172，取得从修正取景区域剪取部145输出的图像抖动修正取景图像92，并作为用于放大图像的资源保持。

低分辨率化部173，根据作为目的的图像抖动修正图像134所对应的取景区域160的水平像素数和行数的比率，或根据摄像传感器部103的低分辨率化模型，将资源数据部172保持的用于放大图像的资源低分辨率化。在摄像传感器部103的低分辨率化模型中，预先利用多个抽样拍摄低分辨率图像和高分辨率图像来制作用于缩小图像的数据库，或解析多个抽样来导出低分辨率化函数。或者，对用于放大图像的资源施行低通滤波处理和二次抽样，以作为低分辨率化模型。

低分辨率化部173，将低分辨率化后的资源存储到低分辨率资源数据部174。此时，低分辨率化部173，使资源数据部172的用于放大图像的资源(过去拍摄的高分辨率的图像)和将该资源低分辨率化而生成的资源(低分辨率的图像)对应起来。因此，若利用图像放大用数据库171，则能够将低分辨率的图像置换为高分辨率的图像。而且，资源数据部172以及低分辨率资源数据部174，也可以以图片为单位、以构成图片的块为单位存储低分辨率和高分辨率的图像。

其次，说明由输出图像尺寸调整部146的放大处理。

类似数据检测部175，从修正取景区域剪取部145取得图像抖动修正取景图像92。而且，类似数据检测部175，参考低分辨率资源数据部174，检测与图像抖动修正取景图像92的类似性最高的低分辨率资源(图像)。而且，类似数据检测部175，从资源数据部172找出与所检测的低分辨率资源相对应的原来的资源(高分辨率的图像)。类似数据检测部175，将该找出的资源作为图像抖动修正图像134，并使资源数据部172输出。

而且，用于类似数据检测部175的类似性的标度是任意的，例如，也可以利用空间频率特性的类似性。也就是，资源数据部172以及低分辨率资源数据部174分别存储的数据，也可以不是图像数据本身，而是例如利用图3说明了的通过小波变换的图像特征矢量。在利用通过小波变换的图像特征矢量的情况下，如上所述，例如，在尺度n＝3时，算出10个小波系数，并能够定义将它们作为要素的10维的图像特征矢量(w₁、w₂、……、w₁₀)。在此情况下，类似性的大小为在10维的图像特征空间的图像特征矢量的距离的大小，检测最接近图像抖动修正取景图像92的图像特征矢量的、低分辨率资源数据的图像特征矢量。

在利用这些空间频率特性的类似性的情况下，需要将各个图像数据变换为空间频率数据。

图16是示出进输出图像尺寸调整部146的内部结构的例子的方框图。

输出图像尺寸调整部146包括第一图像特征矢量算出部176、第二图像特征矢量算出部179、图像放大用数据库171、低分辨率化部173、类似数据检测部175以及输出图像算出部181。

该输出图像尺寸调整部146，与所述内容相同，在进行放大处理时，预先构筑图像放大用数据库171的资源，并利用该资源进行放大处理。

首先，说明在已经构筑图像放大用数据库171的资源的状态下输出图像尺寸调整部146进行放大处理时的处理。

资源数据部172以及低分辨率资源数据部174，分别使示出高分辨率的图像的图像特征矢量、和示出与该图像相对应的低分辨率的图像的图像特征矢量相对应并存储。

第一图像特征矢量算出部176，在输出图像尺寸调整部146进行放大处理时，取得从修正取景区域剪取部145输出的图像抖动修正取景图像92，并将该图像抖动修正取景图像92变换为图像特征矢量177来输出到类似数据检测部175。在此，第一图像特征矢量算出部176，例如，以图3示出的要领算出图像特征矢量。

类似数据检测部175，从低分辨率资源数据部174找出与图像抖动修正取景图像118的图像特征矢量177最近的图像特征矢量。而且，类似数据检测部175，使资源数据部172输出与该找出的低分辨率的图像特征矢量相对应的高分辨率的图像特征矢量。

也就是，作为所述的类似数据检索单元的类似数据检测部175，检索低分辨率资源数据，该低分辨率资源数据示出与剪取单元所剪取的图像的空间频率特性类似的空间频率特性。

输出图像算出部181，对从资源数据部172输出的高分辨率的图像特征矢量，进行在第一图像特征矢量算出部176进行的小波变换的逆变换，从而将输出图像特征矢量180变换为图像抖动修正图像134来输出。

另一方面，在输出图像尺寸调整部146构筑图像放大用数据库171的资源时，第一图像特征矢量算出部176，算出与图像抖动修正取景图像92相对应的高分辨率的图像特征矢量177，并存储到图像放大用数据库171的资源数据部172。如此所存储的图像特征矢量177，被参考为放大图像的图像特征量。

低分辨率化部173，取得与第一图像特征矢量算出部176所算出的图像特征矢量177相对应的图像抖动修正取景图像92。而且，低分辨率化部173，根据作为目的的图像抖动修正图像134所对应的取景区域160的水平像素数和行数的比率，或根据摄像传感器部103的低分辨率化模型，将图像抖动修正取景图像92低分辨率化，并输出低分辨率图像抖动修正取景图像178。

第二图像特征矢量算出部179，算出低分辨率图像抖动修正取景图像178的图像特征矢量，并存储到低分辨率资源数据部174。第二图像特征矢量算出部179的图像特征矢量的算出方法，与第一图像特征矢量算出部176相同，因此，可以确保与资源数据部172的互换性。

如此构成输出图像尺寸调整部146，因此，类似数据检测部175，能够以图像特征量矢量空间来检测与图像抖动修正取景图像92类似度最高的低分辨率的资源。而且，能够参考资源数据部172，将作为所检测的低分辨率的资源的生成源的、高分辨率的资源，作为输出图像特征矢量180输出。

而且，为了实现类似数据检测部175的处理的高速化，以下的方法是有效的，即，利用图3示出的尺度n的LL成分等，先集中参考范围，然后在集中了的范围内进行图像特征矢量的距离比较。

输出部115，具有与显示装置40或视频记录装置50相同的接口，将输出图像102输出到显示装置40或视频记录装置50。而且，显示装置40或视频记录装置50是外部视频设备的一个例子，本发明不限制外部视频设备。

取景区域显示部116，向摄像者60显示图像抖动修正取景图像92。摄像者60，通过看取景区域显示部116所显示的图像抖动修正取景图像92，从而能够目视确认摄像视角。一般而言，根据摄像装置100的大小，用于取景区域显示部116的显示屏的对角长度为3英寸左右，水平像素数为320像素左右，行数为240行左右。因此，显示屏的水平像素数和行数比摄像传感器部103的水平像素数和行数小的情况较多，实际上，在显示图像尺寸调整部116进行的图像尺寸变换成为缩小处理。一般而言，图像的缩小处理，为了防止因折返而引起的画质劣化，而使用低通滤波处理来删除高频成分，通过二次抽样使水平像素数和行数变小。

图17是示出摄像装置100的各个构成要素的工作时序的图。

构成摄像装置100的所有的要素，在电源投入的启动后，马上进行初始化。模糊检测部105输出的模糊检测信息119内的模糊有无信息，通过初始化，被复位为OFF(无模糊)。

以时刻t1的时序开始拍摄，摄像传感器部103拍摄图像01。图像01被写入到无模糊摄像图像暂时存储器部106(期间01)，同时，在第一图像特征量变换部104被变换为图像特征量(期间02)。第一图像特征量变换部104的图像特征量被输入到模糊检测部105，进行模糊检测处理(期间03)。若在期间03没有检测到模糊，则模糊检测信息119内的模糊有无信息仍然为OFF，有关消除模糊的部分不工作。图像01被输入到图像抖动修正部114，生成图像抖动修正图像134，直到输出部115开始工作等待。输出部115，以期间04的时序将图像抖动修正图像134输出到外部，以作为输出图像102。

接着，以时刻t2的时序开始拍摄，与时刻t1相同没有检测到模糊的发生，进行与从期间01到期间04的工作相同的工作。

其次，以时刻t10为一个例子，说明发生模糊时的工作时序。

摄像传感器部103拍摄图像10。图像10被写入到无模糊摄像图像暂时存储器部106(期间11)，同时，在第一图像特征量变换部104被变换为图像特征量(期间12)。第一图像特征量变换部104的图像特征量被输入到模糊检测部105，进行模糊检测处理(期间13)。若在期间13检测出模糊，则模糊检测信息119内的模糊有无信息切换为ON(期间14)。若模糊检测信息119内的模糊有无信息变为ON，则无模糊摄像图像暂时存储器部106从写入模式切换为读出模式，无模糊摄像图像129被读出，并被输出到模糊合成部107和第三图像特征量变换部109(期间15)。模糊合成部107，取得无模糊摄像图像129后，就开始模糊合成工作(期间16)，合成完成后，逐渐将模糊合成图像130输出到第二图像特征量变换部108。第二图像特征量变换部108，算出模糊合成图像特征量131后(期间17)，就写入到模糊合成图像特征量存储部111(期间18)。同样，第三图像特征量变换部109，也算出无模糊摄像图像特征量132后(期间19)，就写入到无模糊摄像图像特征量存储部112。向模糊消除用图像特征量置换表部110的写入完成后(期间18的结束)，就切换为读入模式(期间20)，最近旁图像特征量检测部113开始寻找最近旁邻近图像特征量(期间21)。若检测出最近旁图像特征量，从模糊消除用图像特征量置换表部110输出模糊消除图像特征矢量图像133，图像抖动修正部114则修正模糊消除图像特征矢量图像133的图像抖动，并输出图像抖动修正图像134(期间22)。输出部115，以期间23的时序，将图像抖动修正图像134输出到外部，以作为输出图像102。

接着，以时刻t11的时序，摄像传感器部103拍摄图像11，在图17示出的例子中，直到时刻t19为止继续发生模糊，模糊检测信息119内的模糊有无信息继续处于ON状态。

在时刻t20所拍摄的图像20不发生模糊，在期间30判断为无模糊，模糊检测信息119内的模糊有无信息切换为OFF(期间31)。

图18是示出摄像装置100的工作的流程图。

首先，摄像装置100进行以下依次说明的两个初始设定(步骤S100)。第一个初始设定是，模糊评价用阈值tf的设定。模糊检测部105，以时间序列追踪图像特征量矢量的距离变化，若该距离变化量超过模糊评价用阈值tf，则判定为“有模糊”，若没有超过f，则判定为“无模糊”。

第二个初始设定是，有关图像抖动修正部114的工作的设定。图像抖动修正部114的设定包括以下的两个设定。

图像抖动修正部114的第一个设定是，在检测静止物体的运动矢量时的运动矢量的类似度(允许范围)的设定。如图12说明，运动矢量被求出为在时刻t1和时刻t2之间的同一像素值的特征点的运动。但是，实际上，即使同一的特征点也有以下的情况，即，由照相机噪声、照明的变化、或被摄体反射率的各向异性等各种原因，而像素值发生变化。因此，如图19(a)的实线的箭头示出，静止物体的运动矢量，也具有各种方向或大小。于是，需要以下的处理，即，静止物体检测部142从外框区域收集外框区域161的运动矢量中的类似的运动矢量，并且，例如照相机运动算出部143将它们的平均作为照相机运动等。

具体而言，静止物体检测部142，如图19(b)示出制作示出运动矢量的方向和其方向的运动矢量的频度的关系的直方图。而且，静止物体检测部142，从最大频度开始依次累积运动矢量，将到频度整体的50％为止的运动矢量作为类似矢量(静止物体的运动矢量)的候补，而舍去其它的运动矢量。进而，静止物体检测部142，算出类似矢量候补的大小的平均值和方差，并抽出例如在方差的75％以内的矢量，将其作为最终结果，从而作为静止物体的运动矢量。在此情况下，静止物体检测部142，设定为了决定直方图的横轴而需要的针对运动矢量的方向的间距、为了决定类似矢量候补而需要的针对累积频度的比率、以及为了从类似矢量候补中抽出最终结果而需要的方差值，以作为初始设定。

而且，以上是一个例子，本发明不限制静止物体的运动矢量的检测方法。并且，从静止物体检测部142具有的存储器读出数据，从而执行静止物体的运动矢量中的类似度的设定。

图像抖动修正部114的第二个设定是，取景区域的设定，例如，以针对输入图像117的水平像素数和行数的规定的比率，设定取景区域。在输入图像117的水平像素数为1080像素、行数为720行、取景区域的比率为75％的情况下，取景区域的水平像素数为810像素、行数为540行。如图10示出，取景区域的位置被决定，以取景区域160的中心与输入图像117的中心一致。在作为图像抖动修正部114的内部结构的取景区域设定部141进行取景区域的设定。而且，以上是一个例子，本发明不限制取景区域的设定方法。例如，也可以将针对取景区域的输入图像的水平像素数和行数的比率分别设定。通过从取景区域设定部141具有的存储器读出，从而执行取景区域的设定。

在步骤S100的初始设定后，摄像传感器部103拍摄被摄体101，并将输入图像117输出(步骤S101)。第一图像特征量变换部104，将输入图像117变换为图像特征量，并将输入图像特征量118输出(步骤S102)。模糊检测部105检测模糊的有无(步骤S103)。在此结果为检测出模糊的情况下(步骤S103的“有模糊”)，模糊合成部107，对无模糊摄像图像129进行模糊合成，从而生成模糊合成图像130(步骤S104)。最近旁图像特征量检测部113，参考模糊消除用图像特征量置换表部110获得模糊消除图像特征矢量图像133(步骤S105)。图像抖动修正部114修正模糊消除图像特征矢量图像133的图像抖动，作为图像抖动修正图像134输出(步骤S106)。

另一方面，在没有检测到模糊的情况下(步骤S103的“无模糊”)，输入图像117被写入到无模糊摄像图像暂时存储器部106(步骤S107)。输入图像特征量118被写入到图像抖动修正部114(步骤S108)。图像抖动修正部114修正输入图像特征量118的图像抖动，作为图像抖动修正图像134输出(步骤S109)。

输出部115，将图像抖动修正图像134作为输出图像102输出(步骤S110)。

而且，可以将照相机的三维运动分解为旋转运动和平移运动。使所述的取景区域的大小固定、且变更取景区域的位置来修正图像抖动的方法，主要修正因旋转运动而发生的图像抖动。另一方面，通过变更取景区域的大小，从而修正因平移运动而发生的图像抖动。于是，也可以是，在综合捕捉旋转运动和平移运动的情况下，照相机运动算出部143以及取景区域修正部144，进行三维仿射变换，并综合检测照相机的旋转运动和平移运动，从而变更取景区域的位置以及大小。这些综合检测，相当于以多个运动矢量来将三维仿射变换矩阵的系数最小二乘逼近。如上所述，若以综合性的三维仿射变换来一般化，与像图34的说明那样变更大小固定的取景区域的位置的情况相比，更能够进行正确的图像抖动修正。

而且，若将非易失性存储器用于无模糊摄像图像暂时存储器部106和模糊消除用图像特征量置换表部110，则断开摄像装置100的电源后，也保持数据。因此，重新启动摄像装置100后，能够立即利用无模糊摄像图像暂时存储器部106和模糊消除用图像特征量置换表部110的数据。

如上所述，在本实施例的摄像装置100中，在拍摄被摄体的运动剧烈的体育场景等时能够记录没有图像抖动的影像。并且，由于能够消除因照相机运动而引起的模糊，因此，即使不习惯用照相机拍摄的用户，也不必担心图像抖动，从而可以自由地进行视频拍摄。

(实施例2)

在本实施例中，说明包括记录介质部的摄像记录再生装置，该记录介质部记录拍摄的图像。

图20是示出本发明的实施例2涉及的摄像记录再生装置200的结构的方框图。而且，对于与图1示出的摄像装置100相同的部分附上相同的符号，省略详细说明。

摄像记录再生装置200是一种装置，拍摄被摄体101以作为运动图像，消除输入图像117中发生的模糊，修正图像抖动，从而输出作为运动图像的输出图像102，如图20示出，所述摄像记录再生装置200包括：摄像记录部201，拍摄被摄体101，并将拍摄的图像记录到记录介质部203；再生部202，再生记录介质部203所记录的图像，并将再生的输出图像102输出。例如，输出图像102，被放映在与摄像记录再生装置200连接的显示装置40。

摄像记录部201包括撮像传感器部103、记录介质部203、模糊检测部205以及摄像图像显示部206，所述摄像记录部201，将拍摄的输入图像117与模糊检测信息119一起记录到记录介质部203，所述模糊检测信息119包含示出模糊的发生的模糊有无信息以及示出发生了模糊的像素的位置的模糊位置信息。

模糊检测部205，以像素为单位检测输入图像117中发生的模糊。模糊的检测方法是任意的，不过，模糊检测部205，若具有摄像装置100具备的第一图像特征量变换部104和模糊检测部105的功能，则如图6(a)说明，通过针对图像特征矢量的距离变化的阈值处理来能够检测模糊。模糊检测部205，在判断为发生了模糊的情况下，将模糊检测信息119内的模糊有无信息变为ON，在判断为没有发生模糊的情况下，模糊检测信息119内的模糊有无信息变为OFF。并且，模糊检测部205，将示出发生了模糊的像素的位置的信息作为模糊检测信息119内的模糊位置信息输出。

摄像图像显示部206，向摄像者60显示输入图像117。据此，摄像者60能够确认摄像视角。

记录介质部203，将输入图像117和模糊检测信息119一起记录。因此，输入图像117，按每一幅被识别为“有模糊摄像图像”或者“无模糊摄像图像”。

图21是说明记录格式的一个例子的图。由管理记录介质部203的记录位置的存储器地址部220和数据部221组成，数据部221记录输入图像117、输入图像117的时间码222以及模糊检测信息119。若参考时间码222，则能够把握输入图像是在影像序列的哪个时间所拍摄的。

再生部202包括记录介质部203、第一图像特征量变换部204、无模糊再生图像抽出部208、模糊合成部107、第二图像特征量变换部108、模糊消除用图像特征量置换表部213、模糊合成图像特征量存储部111、无模糊图像特征量存储部112、最近旁图像特征量检测部113、图像抖动修正部114、以及输出部115，所述再生部202，读出记录介质部203所记录的输入图像117，修正输入图像117的模糊和图像抖动，从而生成输出图像102。

记录介质部203具有读出功能，读出并输出输入图像117和模糊检测信息119，以分别作为再生图像207、模糊检测信息209。因此，再生图像207，按每一幅被识别为“有模糊摄像图像”或者“无模糊摄像图像”。

再生部202，从记录介质部203读出再生图像207后，分开进行制作模糊消除用图像特征量置换表部213的“表制作模式”、和修正再生图像207的模糊和图像抖动的“修正模式”的工作。

图22是，只剪取再生部202的构成要素中的、以表制作模式来工作的部分的方框图，对应于直到根据从记录介质部203读出的再生图像207，将数据写入到模糊消除用图像特征量置换表部213为止的工作。图23是，只剪取再生部202的构成要素中的、以修正模式来工作的部分的方框图，对应于直到利用模糊消除用图像特征量置换表部213消除从记录介质部203读出的再生图像207的模糊，在图像抖动修正部114修正再生图像207的图像抖动为止的工作。在修正模式之前执行表制作模式，表制作模式用于准备修正模式所需要的模糊消除用图像特征量置换表部213。以后，对于再生部202的工作，分别说明表作成模式(图22)和修正模式(图23)。

首先，说明再生部202的表作成模式。

无模糊再生图像抽出部208，在模糊检测信息209内的模糊有无信息为OFF的情况下，判断为再生图像207不包含模糊，向模糊合成部107输出无模糊再生图像210。在模糊检测信息209内的模糊有无信息为ON的情况下，无模糊再生图像抽出部208停止输出，无模糊再生图像210不被提供到模糊合成部107。模糊合成部107，接受无模糊再生图像210后，与实施例1的摄像装置100相同，针对所输入的无模糊再生图像210虚拟地发生模糊，从而生成模糊合成图像130。第二图像特征量变换部108，生成模糊合成图像特征量131，并存储到模糊合成图像特征量存储部111。

第一图像特征量变换部204，只将再生图像207中的、不包含模糊的图像变换为图像特征量，作为再生图像特征量211输出。第一图像特征量变换部204，为了判断模糊的有无，而取得模糊检测信息209，在模糊检测信息209内的模糊有无信息为OFF的情况下，将再生图像207变换为图像特征量，输出再生图像特征量211。再生图像特征量211被存储到无模糊图像特征量存储部112。

而且，如图6说明，用于消除模糊的图像特征量，由在发生模糊的紧前的几幅图像参考。这是因为，一般而言，时间上远离的图像，由于拍摄了的场景不同，图像特征量的相差也大，因此能够用于消除模糊的图像特征量的数量有限的缘故。于是，摄像记录再生装置200的模糊消除用图像特征量置换表部213，也一起记录再生图像207的时间码，以便能够参考在有模糊再生图像的时间码的紧前的图像特征量。而且，用于消除模糊的图像特征量的数量，也可以不是由在发生模糊的紧前的几幅图像参考，而是由紧接模糊消失后的几幅图像参考。

记录介质部203，具有随机读出功能，能够指定所存储的数据的存储器地址、时间码或模糊检测信息，并跳着访问数据。于是，在有模糊图像和无模糊图像混在一起的视频序列中，也可以参考模糊检测信息119内的模糊有无信息，只向模糊发生部分随机访问，生成模糊合成图像特征量和无模糊图像特征量，并存储到模糊消除用图像特征量置换表部213。

其次，说明再生部202的修正模式。

第一图像特征量变换部204，只将再生图像207中的、包含模糊的图像变换为图像特征量，作为再生图像特征量211输出。也就是，第一图像特征量变换部204，为了判断模糊的有无，而取得模糊检测信息209，在模糊检测信息209内的模糊有无信息为ON的情况下，将再生图像207变换为图像特征量，输出再生图像特征量211。对于输入再生图像特征量211的最近旁图像特征量检测部113以及图像抖动修正部114，进一步，对于后续于它们的一系列工作，与实施例1的摄像装置100相同，因此，在此省略说明。

而且，表制作模式，在投入摄像记录再生装置200的电源的期间，时常能够工作，若新的数据被写入到记录介质部203，则进行工作，以便向模糊消除用图像特征量置换表部213依次登录模糊消除用的图像特征量(模糊合成图像特征量131以及再生图像特征量211)。在一般的视频拍摄中，在“拍摄”与“摄像图像的再生”之间存在时间上的错开，即使在拍摄后马上确认已拍摄的影像时，也发生几秒钟的时间间隔(time lag)。于是，若根据所拍摄的数据依次算出模糊消除用图像特征量，并向模糊消除用图像特征量置换表部213登录，则能够在开始再生摄像图像之前，准备模糊消除用图像特征量置换表部213。即使在发生了摄像图像的再生指示的时候，还未结束表制作模式的所有的工作，也将从记录介质部203读出再生图像207的速度变为倍速，以时间分割来执行表制作模式和修正模式即可。由于表制作模式进行的处理，比修正模式快“拍摄”与“摄像图像的再生”之间的时间间隔，因此，在其时差消失之前使表制作模式的工作完成。一般而言，除了紧接拍摄后确认影像以外，从表制作模式到修正模式的切换在时间上有富余，因此，以下的利用方式较多，即，例如在回到自己的家后，对在旅游时拍摄了的影像进行摄像影像的再生。

并且，若将非易失性存储器用于模糊消除用图像特征量置换表部213，则能够防止模糊消除用图像特征量置换表部213的再登录，所述非易失性存储器，断开摄像记录再生装置200的电源后，也能够保持数据。据此，在重新启动摄像记录再生装置200后，能够立即执行修正模式。

进而，也可以将输出部115的输出(输出图像102)返回到记录介质部203，并写入到记录介质部203。在此情况下，记录介质部203，以时间分割来执行再生图像207的读出、和输出图像102的写入。输出图像102是施行了模糊消除和图像抖动修正的两者的图像，因此，在再生被写入到记录介质部203的输出图像102的情况下，不需要使修正模式工作，而将输出图像102照原样输出到摄像记录再生装置200的外部即可。

而且，也可以在显示装置40内置再生部202。如图24示出，向安装在显示装置40的记录介质部203插入记录介质来被使用，该记录介质存储有输入图像117和模糊检测信息119。在显示装置40内置的再生部202生成施行了模糊消除的输出图像102，并放映在显示屏41。

如上所述，在本实施例的摄像记录再生装置200中，在拍摄被摄体的运动剧烈的体育场景等时能够记录没有图像抖动的影像。并且，由于能够消除因照相机运动而引起的模糊，因此，即使不习惯用照相机拍摄的用户，也不必担心图像抖动，从而可以自由地进行视频拍摄。特别是，通过提取记录介质，从而能够与其它的设备交换数据。并且，能够在从拍摄结束后到再生开始之前的空白时间制作模糊消除用图像特征量置换表部213，也能够提高模糊检测精度和模糊合成精度，从而能够提高输出图像102的画质。

(实施例3)

在本实施例中，按照从摄像者受到的指示内容执行模糊消除的摄像记录再生装置。

图25是本发明的实施例3涉及的摄像记录再生装置300的结构的方框图。而且，对于与图20示出的摄像记录再生装置200相同的部分附上相同的符号，省略详细说明。

摄像记录再生装置300是一种装置，拍摄被摄体101以作为运动图像，消除输入图像117中发生的模糊，修正图像抖动，从而输出作为运动图像的输出图像102，如图25示出，所述摄像记录再生装置300包括：摄像记录部301，拍摄被摄体101，并将拍摄的图像记录到记录介质部203；再生部302，再生记录介质部203所记录的影像，并将再生的输出图像102输出；摄像者指示输入部303；以及摄像者指示设定部304。例如，输出图像102，被放映在与摄像记录再生装置300连接的显示装置40。

摄像记录部301包括撮像传感器部103、记录介质部203、模糊检测部205以及摄像图像显示部305，所述摄像记录部301，将拍摄的输入图像117与模糊检测信息119一起记录到记录介质部203，所述模糊检测信息119包含示出模糊的发生的模糊有无信息、和示出发生了模糊的像素的位置的模糊位置信息。

摄像者指示输入部303，从摄像者60接受：模糊消除的有效/无效的指示；模糊消除区域的指定；无模糊区域的指定。

图26是说明摄像者60输入指示的画面的图。左边是指示菜单，选择了“模糊消除的有效/无效”的指示菜单，在图26的例子中，选择了“有效”。对于指示菜单的选择，使用摄像记录再生装置300附带的按钮或标度盘。摄像图像显示部305兼用于图26示出的画面、和摄像图像的显示。

作为选择模糊消除的“无效”的例子有“移摄”。移摄是指，通过改变照相机的朝向，从而将越过眼前的被摄体(例如，高速移动的汽车、或运动场景中的赛跑者等)一直捕捉在帧内的摄像方法。在该摄像方法的情况下，为了故意发生模糊、使摄像图像具有速度感，而需要使模糊消除的处理无效。

图27是模糊消除区域的指定方法的说明图，也是设想了以下的情况的一个例子，即，正在快门开放中，被摄体312、被摄体313、被摄体314中的被摄体313移动，从而发生模糊。

对于模糊消除区域的指定，例如，如图27示出，利用摄像图像显示部305，指定输入图像117或再生图像207的一部分的区域。摄像者60，直接在图像上指定适用模糊消除处理的区域。摄像图像显示部305由触摸屏构成，例如，摄像者60利用指点器306描写曲线307，或者，用摄像者60的指头直接描写曲线307，从而指定区域308，以作为模糊消除的对象区域。模糊消除的对象区域，作为区域识别信号315被输出到摄像者指示输入部303，只属于区域308的像素被施行模糊消除处理。

在图26中，在模糊消除区域的指定中选择了“摄像图像”的情况下，记录介质部203所记录的输入图像117，经由路径309被输出到摄像图像显示部305。输入图像117，是没有施行模糊消除处理的图像。因此，在开始执行模糊消除时，在摄像者60明示地指定施行模糊消除的对象的情况下，“摄像图像”被选择。在此情况下，摄像者指示输入部303，通过后述的摄像者指示设定部304，将区域308作为摄像者指定模糊信号311输出到模糊检测部205。模糊检测部205，只对作为摄像者指定模糊信号311所输入的区域308进行模糊检测处理。

另一方面，在模糊消除区域的指定中选择了“修正图像”的情况下，施行了模糊消除和图像抖动修正的图像抖动修正图像134，经由路径310被输出到摄像图像显示部305。再生图像207是施行了模糊消除和图像抖动修正的图像。因此，在摄像者60明示地指定模糊不够消除的部分的情况下，“修正图像”被选择。在此情况下，模糊检测部205应该利用区域308的信息来更新模糊检测的设定，摄像者指示输入部303，通过后述的摄像者指示设定部304，将区域308作为摄像者指定模糊信号311输出到模糊检测部205。模糊检测部205，例如，在进行图6示出的对图像特征矢量的距离变化的阈值处理的情况下，更新设定，以便针对作为摄像者指定模糊信号311所输入的区域308使距离变化的阈值变小，从而即使更小的距离变化也判断为发生了模糊。

无模糊区域的指定，也为了以下的目的而被使用，即，摄像者60看摄像图像显示部305所显示的图像，明示地指定无模糊区域，从而提高模糊检测部205的模糊检测精度。

图28是示出指定了无模糊区域的一个例子的图，也是设想了以下的情况的一个例子，即，正在快门开放中，被摄体312、被摄体313、被摄体314中的被摄体313移动，从而发生了模糊。在此，包围被摄体312的区域319、和包围被摄体314的区域320，由摄像者60指定为无模糊。无模糊的区域(图28中的区域319和区域320)以外的模糊消除的对象区域，作为区域识别信号315被输出到摄像者指示输入部303，只属于无模糊的区域以外的区域的像素被施行模糊消除处理。

在图26中，在无模糊的区域的指定中选择了“摄像图像”的情况下，记录介质部203所记录的输入图像117，经由路径309被输出到摄像图像显示部305。输入图像117，是没有施行模糊消除处理的图像。因此，在开始执行模糊消除时，在摄像者60明示地指定不施行模糊消除的对象的情况下，“摄像图像”被选择。在此，通过将规定的区域指定为无模糊，从而能够只使该区域内发生模糊而变得不清楚。在此情况下，摄像者指示输入部303，通过摄像者指示设定部304，将无模糊的区域(图28中的区域319和区域320)作为无模糊区域摄信号321输出到无模糊再生图像抽出部208。无模糊再生图像抽出部208，输出所指定的无模糊区域内的图像，以作为无模糊再生图像210。

另一方面，在无模糊区域的指定中选择了“修正图像”的情况下，施行了模糊消除和图像抖动修正的图像抖动修正图像134，经由路径310被输出到摄像图像显示部305。再生图像207是施行了模糊消除和图像抖动修正的图像。因此，在摄像者60明示地指定模糊充分消除了的部分的情况下，“修正图像”被选择。在此情况下，将在模糊消除用图像特征量置换表部213中指定为无模糊的区域的图像特征量照原样维持，在以后的模糊消除处理中再利用。在此情况下，模糊检测部205应该利用区域308的信息来更新模糊检测的设定，摄像者指示输入部303，通过后述的摄像者指示设定部304，作为无模糊的区域(图28中的区域319和区域320)以外的摄像者指定模糊信号311，输出到模糊检测部205。模糊检测部205，例如，在进行图6示出的对图像特征矢量的距离变化的阈值处理的情况下，更新设定，以便针对作为摄像者指定模糊信号311所输入的无模糊的区域以外的区域使距离变化的阈值变小，从而即使更小的距离变化也判断为发生了模糊。

摄像者指示设定部304，将摄像者指示输入部303接受的来自摄像者60的指示内容，展开到摄像记录再生装置300的各个模块。模糊消除的有效/无效的识别，通过模糊消除识别信号317，从摄像者指示设定部304被传递到选择器部318。在选择了模糊消除的有效的情况下，选择器部318，向最近旁图像特征量检测部113输出再生图像特征量211，在模糊消除用图像特征量置换表部213执行模糊消除。另一方面，在选择了模糊消除的无效的情况下，选择器部318，向图像抖动修正部114输出再生图像特征量211，不施行模糊消除的处理，而执行图像抖动修正。

如上所述，在本实施例的摄像记录再生装置300中，在拍摄被摄体的运动剧烈的体育场景等时能够记录没有图像抖动的影像。并且，由于能够消除因照相机运动而引起的模糊，因此，即使不习惯用照相机拍摄的用户，也不必担心图像抖动，从而可以自由地进行视频拍摄。特别是，在想要以移摄等来故意发生模糊的情况下，摄像者能够使模糊消除的处理无效，能够实现更宽范围的影像表现。并且，在摄像者判断为在模糊消除后的图像中还留下模糊的情况下，通过摄像者直接指定模糊残存的区域、或没有发生模糊的区域，从而能够实现更正确的模糊消除。

(实施例4)

在本实施例中，说明按照模糊检测频度、以图像为单位进行模糊消除的摄像记录再生装置。

图29是示出本发明的实施例4涉及的摄像记录再生装置400的结构的方框图。而且，对于与图20示出的摄像记录再生装置200相同的部分附上相同的符号，省略详细说明。

如图29示出，摄像记录再生装置400是一种装置，拍摄被摄体101以作为运动图像，消除输入图像117中发生的模糊，修正图像抖动，从而输出作为运动图像的输出图像102，所述摄像记录再生装置400包括摄像记录部401和再生部402。

摄像记录部401包括撮像传感器部103、模糊检测部404、记录介质部403以及摄像图像显示部206，所述摄像记录部401，将拍摄的输入图像117与模糊检测信息119一起记录到记录介质部403，所述模糊检测信息119包含示出模糊的发生的有无的模糊有无信息、和示出发生了模糊的像素或块的位置的模糊位置信息。

再生部402，再生记录介质部403所记录的影像，并将再生的输出图像102输出。例如，输出图像102，被放映在与摄像记录再生装置400连接的显示装置40。

模糊检测部404，以与图6示出的模糊检测部105相同方式检测模糊。进而，以图像为单位算出模糊发生频度，若超过发生频度的阈值，则判断为以图像整体同样发生模糊，不是以像素为单位、或以块为单位进行图像特征量的置换，而是以图像为单位将有模糊图像置换为无模糊图像。以图像为单位的置换，能够进行比以像素为单位、或以块为单位进行的图像特征量的置换更高速度的处理，因此不易受到因图像特征量的置换而引起的失真(artifact)的影响。

图30是示出模糊检测部404的内部结构的方框图。模糊检测频度算出部4041，对输入图像117内发生的像素或块的个数进行计数。由于以图像为单位算出模糊检测频度，因此，从图像单位识别信号提供部4042向模糊检测频度算出部4041输入图像单位识别信号4043，该图像单位识别信号4043示出图像数据串的最初的像素和最后的像素。模糊检测频度算出部4041，将所述计数了的模糊发生像素数对图像整体的像素数的比率、或所述计数了的模糊发生块数对图像整体的块数的比率作为模糊检测频度，并将其作为模糊检测频度信号4044输出。图像单位置换切换阈值提供部4045，向阈值比较部4046提供模糊检测频度的阈值，该模糊检测频度的阈值用于将以像素为单位、或以块为单位的图像特征量的置换切换为以图像为单位的图像特征量的置换。阈值比较部4046，在模糊检测频度信号4044大于图像单位置换切换阈值提供部4045提供的阈值的情况下，向模糊检测信息生成部4047发出以图像为单位的图像特征量的置换的指示。模糊检测信息生成部4047，将示出图像特征量的置换单位的位，写入到模糊检测信息405。例如，为了示出图像特征量的置换单位，而确保2位，即，“00”为像素单位，“01”为块单位，“10”为图像单位。

再生记录介质部403，与图20的再生记录介质部203相同，按照有模糊图像、无模糊图像切换输出目标。进而，在模糊检测信息405，在将图像特征量的置换单位指定为图像单位(所述的例子中“10”)的情况下，通过路径407，将无模糊图像输出到图像抖动修正部114。对于无模糊图像的选择方法，如图6说明，选择与模糊的发生时最近的过去的无模糊图像。

如上所述，以图像为单位的置换，能够进行与以像素为单位、或以块为单位进行的图像特征量的置换相比高速度的处理，因此不易受到因图像特征量的置换而引起的失真的影响。

(实施例5)

在本实施例中，说明在变焦倍率高时以图像为单位置换图像特征量来消除模糊的摄像记录再生装置。

图31是示出本发明的实施例5涉及的摄像记录再生装置500的结构的方框图。而且，对于与图20示出的摄像记录再生装置200相同的部分附上相同的符号，省略详细说明。

摄像记录再生装置500是一种装置，拍摄被摄体101以作为运动图像，消除输入图像117中发生的模糊，修正图像抖动，从而输出作为运动图像的输出图像102，所述摄像记录再生装置500包括：摄像记录部501，拍摄被摄体101，并将拍摄的图像记录到记录介质部506；再生部502，再生记录介质部506所记录的影像，并将再生的输出图像102输出；撮像传感器部507；变焦设定部503；变焦控制部504；以及模糊检测部505。例如，输出图像102，被放映在与摄像记录再生装置500连接的显示装置40。

摄像记录部501包括摄像传感器部507、变焦设定部503、变焦控制部504、模糊检测部505、记录介质部506、以及摄像图像显示部206。将拍摄的输入图像117与模糊检测信息508一起记录到记录介质部506，该模糊检测信息508包含示出模糊的发生的有无的模糊有无信息、和示出发生了模糊的像素或块的位置的模糊位置信息。

按照摄像者60通过变焦设定部503设定的变焦倍率，摄像视角被控制，撮像传感器部507，能够拍摄视角相对小的放大图像、或视角相对大的缩小图像。本发明，不限制变焦方式，而可以利用以光学系统来变更视角的光学变焦、或以图像处理来变更视角的电子变焦等的任意方式。摄像者60，通过看摄像图像显示部206，从而能够确认摄像视角。

变焦控制部504控制撮像传感器部507，以便成为变焦设定部503所设定的变焦倍率。

模糊检测部505，以与图6说明的模糊检测部105相同的方式检测模糊，并且，从变焦设定部503取得变焦倍率，按照变焦倍率，切换图像特征量的置换单位。也就是，若变焦倍率变高，则视角变小，因此模糊的发生的可能性变高。并且，若视角小，则包含在视角内的被摄体的种类也有限，因此，与广角拍摄相比平坦的被摄体被拍摄的可能性高。在所拍摄的平坦的被摄体中包含模糊的情况下，由于以图像整体同样发生模糊，因此，以像素为单位、或以块为单位进行的图像特征量的置换，结果都相同。若该假定正确，从处理负荷的观点来看，与以像素为单位、或以块为单位进行的图像特征量的置换相比，以图像为单位总括进行的置换的效率更高。也就是，以图像为单位置换图像特征量是指，选择一幅无模糊图像。因此，对于以图像为单位的图像特征量的置换，由于不必担心因以像素为单位、或以块为单位的图像特征量的置换而发生的失真，因此，从画质的观点来看可靠性也高。

根据所述观点，如图32示出，模糊检测部505，在结构上，比模糊检测部404更能够输入变焦倍率，图像单位置换切换阈值提供部5045进行对应于变焦倍率的阈值设定。具体而言，如图33示出，在变焦倍率超过4倍的情况下，在模糊检测频度为0.3(包含模糊的像素为全像素数的30％，或者，包含模糊的块为全块数的30％)以上时，以图像为单位置换图像特征量。并且，在变焦倍率低于1倍的情况下，在模糊检测频度为0.9(包含模糊的像素为全像素数的90％，或者，包含模糊的块为全块数的90％)以上时，以图像为单位置换图像特征量。

根据所述内容，在模糊的发生的可能性高的高倍率变焦摄像时，通过进行以图像为单位的图像特征量的置换，从而能够降低处理负荷，也能够生成失真少的高画质的模糊消除图像。

以上，根据实施例1～5说明了，本发明涉及的摄像装置以及摄像记录再生装置，但是，本发明不仅限于这些实施例。只要不脱离本发明的宗旨，所述实施例的变形例、或任意组合所述实施例1～3的各个构成要素而实现的其它的实施例，也都包含在本发明中。

例如，在摄像机、电视机、具有运动图像摄像功能的数字静像照相机、相机手机等的视频设备上，能够普遍地执行本发明涉及的摄像装置以及摄像记录再生装置。并且，在广泛普及的个人电脑上也能够执行。

Claims (14)

1、一种摄像装置，修正拍摄的图像中发生的模糊，其特征在于，包括：

摄像单元，拍摄运动图像；

模糊检测单元，检测所述摄像单元所拍摄的摄像图像中发生了模糊，以及检测发生了模糊的时间上的位置；

模糊合成单元，利用无模糊摄像图像以及有模糊摄像图像，针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像，所述无模糊摄像图像是由所述模糊检测单元没有检测到模糊的图像，所述有模糊摄像图像是由所述模糊检测单元检测出模糊的图像；

图像特征量变换单元，将所述无模糊摄像图像、所述模糊合成图像、以及所述有模糊摄像图像分别变换为图像特征量；以及

模糊修正单元，针对所述模糊检测单元检测出模糊的时间上的位置的像素或块，分别确定具有与所述有模糊摄像图像的图像特征量类似的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量，从而修正所述有模糊摄像图像的模糊。

2、如权利要求1所述的摄像装置，其特征在于，

所述模糊修正单元，包括：

置换表部，生成使在时间上对应的所述模糊合成图像的图像特征量、和所述无模糊摄像图像的图像特征量相对应的置换表；以及

修正部，利用所述置换表，确定具有与所述有模糊摄像图像的图像特征量最近的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量。

3、如权利要求1所述的摄像装置，其特征在于，

所述模糊合成单元，检测所述摄像装置的运动，并且，按照所述无模糊摄像图像以及所述有模糊摄像图像之间的所述摄像装置的运动，制作在时间上对所述无模糊摄像图像以及所述有模糊摄像图像之间进行插值的模糊模型，利用制作的所述模糊模型针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像。

4、如权利要求1所述的摄像装置，其特征在于，

所述模糊修正单元，分别执行表生成模式和修正模式，在所述表生成模式中所述置换表部进行所述置换表的生成，所述修正模式中所述修正部利用所述置换表来修正所述有模糊摄像图像的模糊。

5、如权利要求1所述的摄像装置，其特征在于，

所述摄像装置，还包括：

存储单元，将所述摄像单元所拍摄的图像和模糊检测信息一起存储，所述模糊检测信息示出所述模糊检测单元所检测的所述模糊的发生以及所述模糊的发生位置；

所述模糊检测单元、模糊合成单元、以及图像特征量变换单元，读出所述存储单元所存储的图像以及所述模糊检测信息，对读出的所述图像进行处理。

6、如权利要求1所述的摄像装置，其特征在于，

所述图像特征量变换单元，按每个像素或块，将所述摄像单元所拍摄的所述摄像图像变换为图像特征量，

所述模糊检测单元，以时间序列来追踪所述摄像图像的图像特征量的类似性，在所述图像特征量的变化量超过规定的阈值的情况下，判断为在超过所述规定的阈值的所述图像特征量的像素位置、或块内发生了模糊。

7、如权利要求1所述的摄像装置，其特征在于，

所述摄像装置，还包括：

暂时存储单元，暂时存储所述无模糊摄像图像；

所述模糊合成单元，在所述模糊检测单元检测出模糊的情况下，针对所述暂时存储单元所存储的所述无模糊摄像图像合成虚拟模糊，从而生成所述模糊合成图像。

8、如权利要求1所述的摄像装置，其特征在于，

所述摄像装置，还包括：

指示接受单元，接受是否进行模糊修正的选择；

所述模糊修正单元，只在由所述指示接受单元接受了进行模糊修正的情况下，修正所述有模糊摄像图像的模糊。

9、如权利要求8所述的摄像装置，其特征在于，

所述指示接受单元，还接受进行模糊修正的区域，

所述模糊修正单元，只对由所述指示接受单元所接受的进行模糊修正的区域，修正所述有模糊摄像图像的模糊。

10、如权利要求8所述的摄像装置，其特征在于，

所述指示接受单元，还接受不进行模糊修正的区域，

所述模糊修正单元，对由所述指示接受单元所接受的不进行模糊修正的区域，不修正所述有模糊摄像图像的模糊。

11、如权利要求1所述的摄像装置，其特征在于，

所述模糊检测单元，包括：

模糊检测频度算出部，算出所述有模糊摄像图像内的模糊检测频度；

阈值比较部，依据所述模糊检测频度的阈值比较，来判断对所述有模糊摄像图像的整体执行用于修正模糊的图像特征量的置换、还是对所述有模糊摄像图像的一部分执行用于修正模糊的图像特征量的置换；以及

模糊检测信息生成部，根据所述阈值比较部的判断结果，将图像特征量的置换单位附加在所述模糊检测信息中；

在所述模糊检测信息指定所述摄像图像的整体的图像特征量的置换的情况下，不执行图像特征量的置换，而以所述无模糊摄像图像来置换所述有模糊摄像图像的整体，从而修正模糊。

12、如权利要求11所述的摄像装置，其特征在于，

所述摄像装置，还包括：

变焦设定部，设定用于规定摄像视角的变焦倍率；

所述阈值比较部，对所述模糊检测频度、和按照所述变焦设定部设定的变焦倍率来调整的阈值进行比较，从而进行所述判断。

13、一种摄像方法，修正拍摄的图像中发生的模糊，其特征在于，包括：

摄像步骤，拍摄运动图像；

模糊检测步骤，检测在所述摄像步骤所拍摄的摄像图像中发生了模糊，以及检测发生了模糊的时间上的位置；

模糊合成步骤，利用无模糊摄像图像以及有模糊摄像图像，针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像，所述无模糊摄像图像是在所述模糊检测步骤没有检测到模糊的图像，所述有模糊摄像图像是在所述模糊检测步骤检测出模糊的图像；

图像特征量变换步骤，将所述无模糊摄像图像、所述模糊合成图像、以及所述有模糊摄像图像分别变换为图像特征量；以及

模糊修正步骤，针对在所述模糊检测步骤检测出模糊的时间上的位置的像素或块，分别确定具有与所述有模糊摄像图像的图像特征量类似的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量，从而修正所述有模糊摄像图像的模糊。

14、一种程序，用于修正拍摄的图像中发生的模糊，其特征在于，使计算机执行以下的步骤：

摄像步骤，拍摄运动图像；

模糊检测步骤，检测在所述摄像步骤所拍摄的摄像图像中发生了模糊，以及检测发生了模糊的时间上的位置；

模糊合成步骤，利用无模糊摄像图像以及有模糊摄像图像，针对所述无模糊摄像图像合成虚拟模糊，从而生成模糊合成图像，所述无模糊摄像图像是在所述模糊检测步骤没有检测到模糊的图像，所述有模糊摄像图像是在所述模糊检测步骤检测出模糊的图像；

图像特征量变换步骤，将所述无模糊摄像图像、所述模糊合成图像、以及所述有模糊摄像图像分别变换为图像特征量；以及

模糊修正步骤，针对在所述模糊检测步骤检测出模糊的时间上的位置的像素或块，分别确定具有与所述有模糊摄像图像的图像特征量类似的图像特征量的所述模糊合成图像，以在时间上与确定的所述模糊合成图像相对应的所述无模糊摄像图像的图像特征量，来置换所述有模糊摄像图像的图像特征量，从而修正所述有模糊摄像图像的模糊。

Images