CN101662578B - 图像处理装置及其控制方法 - Google Patents

Abstract

本发明涉及一种图像处理装置及其控制方法。图像处理装置基于附着在设置在摄像装置中的图像传感器前面的光学元件上的异物的信息，对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据中的异物的阴影执行校正，所述图像处理装置包括：运动图像解压缩单元，其通过从所述运动图像数据获得表示帧之间的差的信息来对各帧的图像进行解压缩；以及校正单元，其在表示与包含由异物信息表示的异物的阴影的区域对应的、由运动图像解压缩单元获得的、帧之间的差的信息被确定为大于预定阈值时，校正表示帧之间的差的信息。

Description

图像处理装置及其控制方法

技术领域

本发明涉及一种抑制由附着到设置在摄像装置中的例如CCD或CMOS传感器的图像传感器前面的例如光学低通滤波器的光学元件的表面的异物引起的图像质量的劣化的技术。

背景技术

在将镜头从镜头交换式数字照相机的照相机体卸下时，空气中的浮尘可能会进入照相机体。照相机包含例如快门机构的机械地工作的各种机械单元。这些机械单元工作时，可能在照相机体中产生例如金属粉末的灰尘。

在例如灰尘或尘埃的异物附着到作为设置在图像传感器前面的光学元件并且形成数字照相机的摄像单元的光学低通滤波器的表面时，在拍摄的图像中包含异物的阴影，从而使图像质量劣化。

使用卤化银胶片的照相机在每次拍摄时进给胶片。因此，图像不会连续在相同的位置包含相同的异物。但是，数字照相机在每次拍摄时不需要进给胶片帧的操作，因此拍摄的图像连续在相同的位置包含相同的异物。

为了解决该问题，提出了使用相邻像素的信号等校正拍摄了异物的阴影的像素的方法。作为校正这种像素的技术，例如日本特开平6-105241号公报提出了一种校正图像传感器的像素缺陷的像素缺陷校正方法。日本特开2004-242158号公报提出了一种简化像素缺陷的位置信息的设置的方法。根据该方法，使在灰尘获得模式中记录的图像文件的扩展名与普通图像的文件扩展名不同。PC(个人计算机)自动区分灰尘信息图像，并根据该信息校正目标图像。

近来，提出了一种将运动图像信息作为数字数据进行处理并用高图像质量以高压缩率对其进行编码以累积和发送运动图像信息的技术。该技术正在普及。

Motion JPEG(联合图像专家组，Joint Photographic Experts Group)通过对各个帧应用静止图像编码(例如JPEG编码)来对运动图像进行编码。虽然JPEG编码主要以静止图像为目标，但是通过高速处理对甚至运动图像应用JPEG编码的产品已经进入实际应用。

简要说明JPEG编码的概要。将图像数据分割为预定大小的块(例如各自具有8像素×8像素的块)，对各个块进行二维离散余弦变换。线性或非线性地量化变换系数。对量化的变换系数进行霍夫曼编码(可变长度编码)。更具体而言，对变换系数的直流分量与相邻块的直流分量之间的差值进行霍夫曼编码。通过Z形(zig-zag)扫描将变换系数的交流分量从低频分量变换为高频序列(serial)分量。对一组无效分量“ 0”行程(run)和后续的有效分量行程进行霍夫曼编码。

相反，作为以更高压缩率和更高图像质量为目标的编码方法，提出了H.264(MPEG-Part10 AVC)。已知与例如MPEG2和MPEG4的传统编码方法相比，H.264需要更大的计算量来进行编码和解码，但是能够获得更高的编码效率(参见ISO/IEC 14496-10，“Advanced Video Coding”)。

图14是示出用H.264压缩图像数据的图像处理装置的配置的图。在图14中，输入图像数据被分割为宏块(macroblock)，发送到减法器401。减法器401计算图像数据与预测值之间的差，将其输出到整数DCT(离散余弦变换，Discrete Cosine Transform)变换单元402。整数DCT变换单元402对输入数据执行整数DCT变换，将变换后的数据输出到量化单元403。量化单元403量化输入数据。将量化数据作为差分图像数据发送到熵编码器415，同时逆量化单元404对量化数据进行逆量化，并且逆整数DCT变换单元405进行逆整数DCT变换。加法器406将预测值与逆变换后的数据相加，以重构图像。

将重构的图像发送到进行帧内(intra-frame)预测的帧存储器407，同时解块滤波器409对重构的图像进行解块(deblock)滤波处理，然后将其发送到用于进行帧间(inter-frame)预测的帧存储器410。帧内预测单元408使用帧内预测帧存储器407中的图像进行帧内预测。帧内预测使用单个图片中与编码的块邻接的像素的值作为预测值。

如稍后将描述的，帧间预测帧存储器410中的图像由多个图片构成。多个图片分类为“List0”和“List1”两个列表。帧间预测单元411使用分类为两个列表的多个图片来进行帧间预测。在帧间预测后，存储器控制器413更新内部图像。帧间预测单元411执行帧间预测，以使用基于运动检测单元412执行的不同帧的图像数据之间的运动检测的结果的最佳运动矢量来确定预测图像。

作为帧内预测和帧间预测的结果，选择器414选择最佳预测结果。将运动矢量发送到熵编码器415，与差分图像数据一起进行编码，形成输出位流。

将参考图15至图18具体说明H.264帧间预测。

H.264帧间预测可以使用多个图片来进行预测。为了指定参考图片，准备了两个列表“List0”和“List1”。各个列表最多能够保持五个参考图片。

仅“List0”用于P图片，以主要执行前向预测。“List0”和“List1”用于B图片，以执行双向预测(或仅前向或后向预测)。也就是说，“List0”保持主要用于前向预测的图片，“List1”保持主要用于后向预测的图片。

图15例示了在编码时使用的参考列表。该示例假定I、P和B图片的比率是标准比率。也就是说，I图片以15帧的间隔排列，P图片以三帧的间隔排列，I与P图片间的B图片以两帧的间隔排列。在图15中，通过以显示顺序排列图片来获得图像数据1001。图像数据1001中的各方块描述了图片的类型和表示显示顺序的编号。例如，图片I15是显示顺序为15的I图片，仅用于帧内预测。图片P18是显示顺序为18的P图片，仅用于前向预测。图片B16是显示顺序为16的B图片，用于双向预测。

编码顺序与显示顺序不同，以预测顺序对数据进行编码。在图15中，以“I15、P18、B16、B17、P21、B19、B20、...”的顺序对数据进行编码。

在图15中，参考列表(List0)1002保持临时编码/解码的图片。例如，使用图片P21(显示顺序为21的P图片)的帧间预测参考在参考列表(List0)1002中已经编码并解码的图片。在图15所示的示例中，参考列表1002包含图片P06、P09、P12、I15和P18。

在帧间预测中，根据参考列表(List0)1002中的参考图片针对各个宏 块获得具有最佳预测值的运动矢量，并进行编码。对参考列表(List0)1002中的图片依次赋予参考图片编号，并进行区分(与图15所示的编号分开)。

在结束对图片P21的编码后，重新对图片P21进行解码，并将其添加到参考列表(List0)1002中。从参考列表(List0)1002中删除最早的参考图片(在这种情况下为图片P06)。以图片B19、B20和P24的顺序进行编码。图16示出了此时参考列表(List0)1002的状态。

图17示出了针对各图片的参考列表的变化。

在图17中，从上部开始依次对图片进行编码。图17示出了编码期间的图片和针对该图片的参考列表List0和List1的内容。在如图17所示对P图片(或I图片)进行编码时，更新参考列表List0和List1以从参考列表List0和List1中删除最早的图片。在该示例中，参考列表List1仅保持一个图片。这是因为进行后向预测所参考的图片的数量较大，会增加到解码为止的缓冲量。换言之，不参考过度远离编码期间的图片的后向图片。

在该示例中，参考I和P图片，将所有的I和P图片依次添加到参考列表List0和List1。在参考列表List1中仅使用P图片以进行后向预测，这是因为该图片排列被认为是最普遍的图片排列。但是，该参考列表中的图片排列仅仅是最普遍的图片排列的一个示例。H.264本身具有高自由度的参考列表的配置。

例如，不需要将所有的I和P图片添加到参考列表，可以将B图片添加到参考列表。此外，H.264定义直到接收到明确的指示为止停留在参考列表中的图片的长期参考列表。图18示出了将B图片添加到参考列表时的参考列表的变化。在将B图片添加到参考列表时，可以在每次对所有B图片进行编码时，将编码的图片添加到参考列表。

图19示出了在进行H.264帧间预测时将16像素×16像素的宏块分割为更小的宏块。分割后的宏块可以参考独立的参考图片以获得运动矢量。可以将8像素×8像素的宏块分割为更小的子宏块。虽然子宏块参考单个参考图片，但是独立地获得它们的运动矢量。注意日本特开2005-5844号公报也公开了一种能够改变运动补偿块大小的配置，如该参考文献的图27所示。

说明通过H.264记录的文件的一般回放方法。

如上所述，使用MP4(MPEG-4)文件格式作为用于记录通过数字视频照相机和数字静止照相机等获得的MPEG(MPEG-2或MPEG-4格式)图像数据的通用格式。MP4文件格式保证与其它数字设备的兼容性，以例如回放记录为MP4文件的图像数据。

如图20中的a所示，MP4文件主要由保持编码的流图像数据的mdat箱(box)和保持与流图像数据关联的信息的moov箱构成。

如图20中的b所示，mdat箱由多个组块(chunk)(chunk cN)构成。如图20中的d所示，各个组块由多个样本(sample sN)构成。例如，如图20中的e所示，各样本sample s1、sample s2、sample s3、sample s4、...对应于编码的MPEG图像数据I₀、B_-2、B_-1、P₃、...。

I₀、I₁、I₂、...、I_n表示帧内编码(intra-frame-encoded)的帧图像数据。B₀、B₁、B₂、...、B_n表示通过双向参考参考图像数据而编码(帧间编码)的帧图像数据。P₀、P₁、P₂、...、P_n表示通过单向(前向)参考参考图像数据而编码(帧间编码)的帧图像数据。这些帧图像数据是可变长度编码数据。

如图20中的c所示，moov箱由保持记录创建日期和时间等的头信息的mvhd箱以及保持关于存储在mdat箱中的流图像数据的信息的trak箱构成。

存储在trak箱中的信息包括如图20中的h所示的存储针对mdat箱的各组块的偏移值的信息的stco箱、如图20中的g所示的存储各组块中的样本数量的信息的stsc箱以及如图20中的f所示的存储各样本的大小信息的stsz箱。

存储在stco、stsc和stsz箱中的数据量与记录的图像数据量、即记录时间一起增加。例如，当通过在一个组块中按照每15帧进行存储而将每秒30帧的图像记录为MP4文件时，2小时的数据量达到1Mbyte(兆字节)，需要1Mbyte容量的moov箱。

在回放该MP4文件时，从记录介质读取MP4文件的moov箱，分析moov箱中的stco、stsc和stsz箱。之后，可以访问mdat箱中的各组块。

在以MP4文件格式记录图像时，流数据随着时间增加到非常大的大小。因此，即使在记录期间，也需要将流数据写入到文件中。

但是，如上所述，moov箱的大小也随着记录时间而增加。直到记录结束时才定义MP4头的大小，因此不能决定流数据在文件中的写入偏移位置。

由于该原因，通过一般运动图像处理装置进行记录采取以下利用MP4文件格式的灵活性的措施。

(1)在文件的开头设置mdat箱，在记录结束以后，紧接着mdat箱设置moov箱(图21中的a)。

(2)如日本特开2003-289495号公报所提出的，预先确定moov箱的大小以决定mdat箱的偏移位置，然后进行记录(图21中的b)。即使在记录时间短并且头区域还有空余时，将该区域保留为free箱。在记录数据超过头大小时，通过适当抽取(decimate)I图片的帧编号信息来记录数据，从而保持预定头大小。

(3)将一对moov和mdat箱分割为多对，对它们进行排列(图21中的c)。在这种情况下，将第二个和接下来的头区域称作moof箱。

这些是一般MP4文件的结构。

图22是例示回放通过H.264压缩编码的运动图像的运动图像回放装置的基本配置的框图。

参考图22，运动图像回放装置包括记录介质801、回放来自记录介质的数据的回放电路802、缓冲电路803、可变长度解码电路804、逆量化电路805、逆DCT电路806、加法电路807、存储器808、运动补偿电路809、开关电路810、重排电路811、输出端812、头信息分析电路813、回放控制电路814以及控制信号输入端815。

说明图22所示的运动图像回放装置的回放处理的序列。

在接收到来自回放控制电路814的指示时，回放电路802回放记录在记录介质801上的MP4文件，并且开始将该文件提供给缓冲电路803。同时，回放控制电路814控制头信息分析电路分析表示moov箱中的mdat中的存储状态的stco箱、stsc箱和stsz箱中的偏移、组块信息和样本信息。 回放控制电路814控制回放电路802，开始回放来自记录介质801的mdat箱中的流图像数据。

回放电路802从开始地址回放记录在记录介质801上的文件的mdat箱中的流图像数据，并将其提供给缓冲电路803。根据缓冲电路803的占用率等开始存储在缓冲电路803中的流图像数据的读出。将流图像数据提供给可变长度解码电路804。可变长度解码电路804针对从缓冲电路803提供的回放的流图像数据执行可变长度解码，并且将解码的流图像数据提供给逆量化电路805。

逆量化电路805对在进行可变长度解码时从可变长度解码电路804提供的流图像数据进行逆量化。逆量化电路805将逆量化后的流图像数据提供给逆DCT电路806。逆DCT电路806对从逆量化电路805提供的逆量化后的数据执行逆DCT，并将逆DCT数据提供给加法电路807。加法电路807将从逆DCT电路806提供的逆DCT数据和从开关电路810提供的数据相加。

如图23所示，在从记录介质801回放的流图像数据中，首先回放GOP0(图片组，Group of Picture)的帧内编码数据I₀。回放控制电路814进行控制以选择开关电路810的端子a。开关电路810将数据“0” 提供给加法电路807。加法电路807将从开关电路810提供的数据“0”和从逆DCT电路806提供的逆DCT数据相加，并将相加后的数据作为回放的帧F₀提供给存储器808和重排电路811。存储器808存储从加法电路807提供的相加后的数据。

紧接着GOP0的帧内编码数据I₀，回放双向预测编码图片数据B_-2和B_-1。到逆DCT电路806为止的回放序列与针对帧内编码数据I₀说明的回放序列相同，不重复其说明。

逆DCT电路806将双向预测编码的逆DCT图像数据提供给加法电路807。同时，回放控制电路814控制开关电路810以使开关电路810的可动端子c选择固定端子b。开关电路810将来自运动补偿电路809的数据提供给加法电路807。

运动补偿电路809检测在编码时根据回放的流图像数据生成的、并且 记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参考块的数据(在这种情况下，因为刚刚开始记录，所以仅为来自回放的帧内编码数据F₀的数据)，并将其提供给开关电路810的可动端子c。

加法电路807将从逆DCT电路806提供的逆DCT数据和从开关电路810提供的运动补偿数据相加，将相加后的数据作为回放的帧F_-2和F_-1提供给重排电路811。

接着，回放单向预测编码图片数据P₃。到逆DCT电路806为止的回放序列与针对帧内编码数据I₀说明的回放序列相同，不重复其说明。

逆DCT电路806将逆DCT图片数据提供给加法电路807。这时，回放控制电路814控制开关电路810以使开关电路810的可动端子c选择固定端子b。开关电路810将来自运动补偿电路809的数据提供给加法电路807。

运动补偿电路809检测在编码时根据回放的流图像数据生成的、并且记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参考块的数据(在这种情况下为来自回放的帧内编码数据F₀的数据)，并将其提供给开关电路810的可动端子c。

加法电路807将从逆DCT电路806提供的逆DCT数据和从开关电路810提供的运动补偿数据相加，将相加后的数据作为回放的帧F₃提供给存储器808和重排电路811。存储器808存储从加法电路807提供的相加后的数据。

接着，回放图片B₁和B₂。这些图片不是记录开始时的帧，因此除了通过双向预测从帧F₀和F₃开始回放以外，通过与针对图片B_-2和B_-1说明的序列相同的序列回放这些图片。以上述方式，依次回放P₆、B₄、B₅、...。

重排电路811将依次回放的帧F₀、F_-2、F_-1、F₃、F₁、F₂、F₆、F₄、F₅、...重排为F_-2、F_-1、F₀、F₁、F₂、F₃、F₄、F₅、F₆、...，并且将重排后的帧输出到输出端812。

在开始回放文件时，头信息分析电路813分析来自表示MP4文件的moov箱中的mdat中的存储状态的stco箱、stsc箱和stsz箱的偏移、组块信息和样本信息。回放控制电路814进行操作以跳过数据直到GOP1，从 GOP1开始回放数据。

已经开发了能够根据这些编码方法记录和回放运动图像的小型数字照相机，并且使其商业化。用户能够用这样的数字照相机、个人计算机和DVD播放器等容易地浏览图像。

在这种状况下，近来出现了使用小型数字照相机和镜头交换式数字照相机用更大数量的像素来记录更高分辨率的运动图像的需求。但是，如上所述，镜头交换式数字照相机受到由于各种因素附着到设置在图像传感器前面的光学元件的表面的灰尘的影响。如果镜头交换式数字照相机在灰尘附着到表面时记录运动图像，则可能在回放的运动图像中的相同位置总是出现灰尘的阴影。

根据传统的用于镜头交换式数字照相机的除尘方法，记录除尘所需的信息(例如灰尘的位置和大小的信息)和图像数据。稍后，将图像加载到个人计算机等中，通过图像处理去除灰尘的阴影。也就是说，记录的图像数据包含灰尘的阴影。对于静止图像，针对各个静止图像执行除尘。对于运动图像，必须针对所有记录时间进行除尘，这非常费时。

在回放时，使用除尘所需的信息来进行灰尘校正处理。即使除尘处理花费较长时间，静止图像的回放也可以等到灰尘校正处理完成。相反，运动图像通过连续回放每秒15或30帧的多个静止图像来表达图像的运动。由此，除非能够在预定时间内连续对帧进行解码，否则不能回放自然的运动图像。

发明内容

本发明允许用户回放校正了灰尘的阴影等的高质量的运动图像，同时提高了在灰尘校正处理期间进行回放时的操作速度。

本发明的第一方面提供了一种图像处理装置，其用于基于异物信息对通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着于设置在摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述图像处理装置包括：运动图像解压缩单元，其通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及校正单元，其在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正获得的所述差信息，其中，所述差信息是预测误差。

本发明的第二方面提供了一种图像处理装置的控制方法，所述图像处理装置用于基于异物信息对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着于设置在摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述控制方法包括：运动图像解压缩步骤，通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及校正步骤，在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正获得的所述差信息，其中，所述差信息是预测误差。

从以下参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明

图1是示出本发明的实施例中的具有图像处理功能的摄像装置的配置的框图；

图2是示出本发明的实施例中的在获得灰尘信息时摄像装置中的处理的流程图；

图3是示出本发明的实施例中的获得灰尘信息时的设置参数的列表的表；

图4是示出灰尘区域大小计算的概要的图；

图5是示出灰尘信息简档(profile)的结构的图；

图6是示出本发明的实施例中的正常拍摄时的静止图像拍摄处理的流程图；

图7是示出除尘处理的操作的流程图；

图8是示出插值例程的序列的流程图；

图9是用于说明本发明的实施例中的运动图像回放操作的流程图；

图10A至图10E是用于说明本发明的实施例中的编码时的运动图像的图；

图11A至图11F是用于说明本发明的实施例中的解压缩时的运动图像的图；

图12是用于说明本发明的实施例中的消除预测误差的操作的流程图；

图13是用于说明本发明的实施例中的压缩/解压缩电路的框图；

图14是示出通过H.264压缩图像数据的图像处理装置的配置的图；

图15是例示对图片P21进行编码时的参考列表的图；

图16是例示对图片P24进行编码时的参考列表的图；

图17是示出针对各图片的参考列表的变化的图；

图18是示出将B图片添加到参考列表时的参考列表的变化的图；

图19是用于说明宏块的分割的图；

图20是用于说明MP4文件的结构的图；

图21是例示MP4文件的结构的图；

图22是用于说明传统的回放装置的框图；以及

图23是用于说明利用传统技术的帧的编码顺序的图。

具体实施方式

现在，参考附图详细说明本发明的实施例。

图1是示出本发明的实施例中的具有图像处理功能的摄像装置的配置的框图。该实施例将镜头交换式单镜头反射数字静止照相机作为摄像装置的示例。本发明也适用于例如作为摄像装置的镜头交换式数字视频照相机。

如图1所示，根据该实施例的摄像装置主要包括照相机体100和镜头交换型镜头单元300。

镜头单元300包括由多个透镜构成的成像镜头310、光圈312以及将镜头单元300机械地连接到照相机体100的镜头支架306。镜头支架306包含用于将镜头单元300电连接到照相机体100的各种功能。在镜头支架306中，接口320将镜头单元300连接到照相机体100。连接器322将镜头 单元300电连接到照相机体100。

连接器322还具有在照相机体100与镜头单元300之间交换控制信号、状态信号和数据信号、以及接收各种电压的电流的功能。连接器322不仅可以通过电信(telecommunication)、还可以通过光通信或语音通信来进行通信。

光圈控制单元340根据来自测光控制单元46的测光信息，与控制照相机体100的快门12的快门控制单元40(稍后描述)协作来控制光圈312。对焦控制单元342控制成像镜头310的对焦。变焦控制单元344控制成像镜头310的变焦。

镜头系统控制电路350控制整个镜头单元300。镜头系统控制电路350具有用于存储用来进行操作的常数、变量和程序的存储器。镜头系统控制电路350还具有用于保持例如镜头单元300特有的编号的识别信息、管理信息、例如打开光圈值和最小光圈值以及焦距的功能信息、以及当前和过去的设置值的非易失性存储器。

以下将说明照相机体100的配置。

镜头支架106将照相机体100与镜头单元300机械地连接。反射镜130和132通过单镜头反射方法将进入成像镜头310的光束导向光学取景器104。反射镜130可以是快速复原反射镜(quick return mirror)或半透明反射镜(halfmirror)。附图标记12表示焦面快门。图像传感器14由CCD传感器、CMOS传感器等构成，并且对被摄体图像进行光电转换。例如光学低通滤波器的光学元件14a设置在图像传感器14前面。由图像传感器14生成的图像包含附着到光学元件14a的表面的例如灰尘等异物的阴影，从而使图像质量劣化。该实施例旨在提供一种抑制图像质量劣化的技术。

通过单镜头反射方法经由用作光量限制机构的光圈312、镜头支架306和106、反射镜130以及快门12引导进入成像镜头310的光束，在图像传感器14上形成光学图像。

A/D转换器16将从图像传感器14输出的模拟信号(输出信号)转换成数字信号。定时发生电路18将时钟信号和控制信号提供给图像传感器14、A/D转换器16和D/A转换器26。定时发生电路18由存储器控制电路 22和系统控制电路50控制。

图像处理电路20对来自A/D转换器16的数据或来自存储器控制电路22的数据执行预定像素插值处理和颜色转换处理。如有需要，图像处理电路20还使用从A/D转换器16输出的图像数据执行预定运算处理。系统控制电路50可以根据获得的运算结果执行TTL(通过透镜，Through TheLens)方式的自动对焦(AF)处理、自动曝光(AE)处理和预电子闪光(EF)处理，以控制快门控制单元40和调焦单元42。图像处理电路20还使用从A/D转换器16输出的图像数据执行预定运算处理，并且还根据获得的运算结果执行TTL方式的自动白平衡(AWB，automatic whitebalance)处理。

在图1所示的该实施例中的示例中，设置专用的调焦单元42和测光控制单元46。可以不使用图像处理电路20而使用调焦单元42和测光控制单元46来执行AF处理、AE处理和EF处理。作为另选方案，可以先使用调焦单元42和测光控制单元46、接着使用图像处理电路20来进行AF处理、AE处理和EF处理。

存储器控制电路22控制A/D转换器16、定时发生电路18、图像处理电路20、图像显示存储器24、D/A转换器26、存储器30和压缩/解压缩电路32。将从A/D转换器16输出的图像数据经由图像处理电路20和存储器控制电路22、或仅经由存储器控制电路22写入到图像显示存储器24或存储器30中。

经由D/A转换器26在例如TTL方式的LCD的图像显示单元28上显示写入到图像显示存储器24中的显示图像数据。图像显示单元28依次显示拍摄的图像数据，从而实现电子取景器(EVF，electronic viewfinder)功能。图像显示单元28可以根据来自系统控制电路50的指示任意打开/关闭其显示。在显示关闭时，能够大大减少照相机体100的功耗。

存储器30用于存储拍摄的静止图像或运动图像，并且具有足以存储预定数量的静止图像或预定量的运动图像的存储容量。即使在连续拍摄或全景拍摄以连续拍摄多个静止图像时，也能够以高速将多个图像写入存储器30。在拍摄运动图像时，使用存储器30作为用于以预定速率连续写入图像 的帧缓冲器。存储器30还可以用作系统控制电路50的工作区。

除尘电路31使用存储在非易失性存储器56(稍后描述)中的灰尘信息和从镜头单元300获得的光学信息，通过图像处理来去除包含在图像数据中的灰尘的阴影。

压缩/解压缩电路32使用已知压缩方法对图像数据进行压缩/解压缩。压缩/解压缩电路32从存储器30读出图像，对其进行压缩或解压缩，并且将处理后的数据重新写入存储器30。压缩/解压缩电路32还具有将运动图像数据压缩编码成预定格式、或将预定压缩编码的数据解压缩成运动图像信号的运动图像压缩/解压缩功能。

音频信号处理电路33具有将从麦克风(未图示)输入的音频信号编码成预定编码格式以及将预定编码数据解码成音频信号的功能。该实施例中的数字照相机具有从扬声器(未图示)输出由音频信号处理电路33解码的音频数据的功能。

快门控制单元40与根据来自测光控制单元46的测光信息控制光圈312的光圈控制单元340协作来控制快门12。调焦单元42执行AF(自动对焦)处理。通过单镜头反射方法经由光圈312、镜头支架306和106、反射镜130以及调焦副反射镜(未图示)引导进入镜头单元300的成像镜头310的光束，以检测形成为光学图像的图像的对焦状态。

测光控制单元46执行AE(自动曝光)处理。通过单镜头反射方法经由光圈312、镜头支架306和106、反射镜130以及测光副反射镜(未图示)引导进入镜头单元300的成像镜头310的光束，以测量形成为光学图像的图像的曝光状态。电子闪光灯48具有AF辅助投光功能和电子闪光控制功能。测光控制单元46还具有与电子闪光灯48协作的EF(电子闪光控制)处理功能。

还可以根据调焦单元42的测量结果和由图像处理电路20通过对来自A/D转换器16的图像数据进行运算处理而获得的运算结果，来进行AF控制。还可以根据测光控制单元46的测量结果和由图像处理电路20通过对来自A/D转换器16的图像数据进行运算处理而获得的运算结果，来进行曝光控制。

系统控制电路50控制整个照相机体100并且包含已知的CPU。存储器52存储系统控制电路50用来进行操作的常数、变量和程序。

通知单元54根据系统控制电路50进行的程序执行，使用文本、图像和声音将操作状态和消息通知给外部。通知单元54的示例是例如用于视觉显示的LCD或LED的显示单元和用于通过声音生成通知的声音生成元件。通知单元54包括它们中的一个或者它们中的两个或更多个的组合。特别是，将显示单元设置在照相机体100的操作单元70附近的一个或多个可视位置处。光学取景器104包含通知单元54的一些功能。

通知单元54中的例如LCD的图像显示单元28的显示内容包括与拍摄模式关联的显示(例如单个拍摄/连续拍摄和自动定时器(self timer))、与记录关联的显示(例如压缩率、记录像素的数量、记录图像的数量和可记录图像的数量)以及与拍摄条件关联的显示(例如快门速度、光圈值、曝光补偿、亮度补偿、外部闪光灯发光量和红眼缓和)。图像显示单元28还显示微距拍摄(macro shooting)、蜂鸣器设置、电池电量、错误消息、多位数字信息以及记录介质200和PC 210的装卸状态。图像显示单元28还显示镜头单元300的装卸状态、通信I/F操作、日期和时间以及外部计算机的连接状态。

在光学取景器104中显示通知单元54的一些显示内容，包括例如对好焦、准备好拍摄、照相机抖动警告、闪光灯充电、闪光灯充电完成、快门速度、光圈值、曝光补偿和记录介质写入操作。

非易失性存储器56是例如EEPROM的电可删除/可编程存储器，存储程序(稍后将描述)等。

光学信息存储器58存储经由连接器122从镜头单元300获得的各种镜头信息(稍后将描述)。

附图标记60、62、64、66、68和70表示用于输入系统控制电路50的各种操作指示的操作单元。它们包括多个开关、拨盘、触摸面板、通过视线检测进行的指示和声音识别设备中的单个部件或其组合。

这里将详细说明操作单元。

模式拨盘开关60可以选择性地设置例如自动拍摄模式、编程拍摄模 式、快门速度优先拍摄模式、光圈优先拍摄模式、手动拍摄模式或焦深优先(深度)拍摄模式的拍摄模式。模式拨盘开关60还可以选择性地设置例如人像拍摄模式、风景拍摄模式、近景拍摄模式、运动拍摄模式、夜景拍摄模式和全景拍摄模式的拍摄模式。

通过将快门按钮(未图示)操作一半(例如半程)来接通快门开关SW162，以指定开始例如AF处理、AE处理、AWB处理或EF处理的操作。

通过完全(例如全程)操作快门按钮(未图示)来接通快门开关SW264，以指定开始包括曝光、显影和记录的一系列拍摄处理。在曝光处理中，将从图像传感器14读出的信号经由A/D转换器16和存储器控制电路22写入到存储器30中。接着，根据图像处理电路20或存储器控制电路22进行的计算进行显影处理。在记录处理中，从存储器30读出图像数据，由压缩/解压缩电路32进行压缩，并将其写入或发送到记录介质200或PC210。

回放开关66指定开始回放操作，以从存储器30、记录介质200或PC210读出在拍摄模式下拍摄的图像，并在图像显示单元28上进行显示。回放开关66可以设置例如回放模式、多窗口回放/擦除模式或PC连接模式的另一功能模式。

单个拍摄/连续拍摄开关68可以设置在用户按下快门开关SW2 64时、照相机拍摄一帧、然后待机的单个拍摄模式，或者在用户按下快门开关SW2 64时、照相机持续进行拍摄的连续拍摄模式。

操作单元70包括各种按钮和触摸面板。例如，操作单元70包括实况观看开始/停止按钮、运动图像记录开始/停止按钮、菜单按钮、设置按钮、多窗口回放/页前进按钮、闪光设置按钮、单个拍摄/连续拍摄/自动定时器切换按钮、菜单移动加(+)按钮和菜单移动减(-)按钮。操作单元70还包括回放图像移动加(+)按钮、回放图像移动减(-)按钮、拍摄图像质量选择按钮、曝光补偿按钮、亮度补偿按钮、外部闪光灯发光量设置按钮和日期/时间设置按钮。使用旋转拨盘开关可以更容易地选择加和减按钮的数值或功能。

此外，操作单元70包括用于打开/关闭图像显示单元28的图像显示打 开(ON)/关闭(OFF)开关、以及用于设置自动回放在拍摄后立即获得的图像数据的快速浏览功能的快速浏览打开/关闭开关。操作单元70包括用于选择JPEG压缩的压缩率、或直接数字化来自图像传感器的信号并将其记录在记录介质上的RAW(原始)模式的压缩模式开关。操作单元70包括能够设置单像(one-shot)AF模式或伺服(servo)AF模式的AF模式设置开关。在单像AF模式中，在用户按下快门开关SW1 62时开始自动对焦操作。一旦获得对好焦状态，则持续保持该状态。在伺服AF模式中，在用户按下快门开关SW1 62时，继续对焦操作。操作单元70包括如稍后将描述的能够设置拍摄灰尘检测图像并获得灰尘信息的灰尘信息获得模式的设置开关。

电源开关72可以选择性地设置照相机体100的电源接通(ON)或电源断开(OFF)模式。电源开关72还可以选择性地设置包括连接到照相机体1 00的镜头单元300、外部电子闪光灯112、记录介质200和PC 210的各种附件中的各个的电源接通或电源断开模式。

电源控制单元80包括电池检测电路、DC/DC转换器和用于切换要供电的块的开关电路。电源控制单元80检测电池的装卸、电池的类型和电池电量，根据检测结果和来自系统控制电路50的指示来控制DC/DC转换器，并在需要的时间段将需要的电压提供给包括记录介质的单元。

附图标记82和84表示连接器；附图标记86表示由主电池(例如碱性电池或锂电池)、副电池(例如镍镉(NiCd)电池、镍氢(NiMH)电池、锂离子电池或锂聚合物电池)或AC适配器构成的电源单元。

附图标记90和94表示与PC或记录介质(例如存储卡或硬盘)的接口；附图标记92和96表示连接PC或记录介质(例如存储卡或硬盘)的连接器。记录介质安装检测电路98检测记录介质200或PC 210是否安装或连接到连接器92和/或96。

在该实施例中，存在连接记录介质的接口和连接器的两个系统。连接记录介质的接口和连接器可以具有一个或多个系统。还可以组合不同标准的接口和连接器。

可以使用符合各种存储介质标准的接口和连接器。示例有PCMCIA(个 人计算机存储卡国际协会，Personal Computer Memory Card InternationalAssociation)卡、CF 卡和SD卡。当接口90和94以及连接器92和96符合PCMCIA卡或 

卡的标准时，它们允许连接各种通信卡。通信卡的示例有LAN卡、调制解调器卡、USB(通用串行总线，Universal Serial Bus)卡和IEEE(电气和电子工程师协会，Institute ofElectrical and Electronic Engineers)1394卡。还可以使用P1284卡、SCSI(小型计算机系统接口，Small Computer System Interface)卡和PHS。可以通过连接这些类型的通信卡，将图像数据和与图像数据关联的管理信息传输给另一计算机或例如打印机的外部设备。

光学取景器104可以显示由进入成像镜头310并且通过单镜头反射方法经由光圈312、镜头支架306和106以及反射镜130和132引导的光束形成的光学图像。因此，能够仅使用光学取景器来进行拍摄，而不使用图像显示单元28的电子取景器功能。在光学取景器104中显示例如对好焦状态、照相机抖动警告、闪光灯充电、快门速度、光圈值和曝光补偿的通知单元54的一些功能。

经由附件插座110安装外部电子闪光灯112。

接口120在镜头支架106内连接照相机体100和镜头单元300。

连接器122电连接照相机体100和镜头单元300。镜头安装检测单元(未图示)检测镜头单元300是否安装到镜头支架106和连接器122。连接器122还具有在照相机体100与镜头单元300之间交换控制信号、状态信号、数据信号等并且提供各种电压的电流的功能。

经由连接器122传送的镜头单元300的各种光学信息(例如光圈值、变焦位置、光瞳距离和焦距)存储在照相机体100的光学信息存储器58中。照相机有时请求信息的传送，或者在每次更新信息时从镜头传送信息。

连接器122不仅可以通过电信、还可以通过光通信或语音通信来进行通信。

记录介质200是存储卡或硬盘。记录介质200包括由半导体存储器或磁盘构成的记录单元202、与照相机体100的接口204和连接照相机体100的连接器206。

对于记录介质200，可以使用存储卡(例如PCMCIA卡或 

)或硬盘。还可以使用微型DAT、磁光盘、光盘(例如CD-R或CD-RW)或相变光盘(phase-change optical disk)(例如DVD)。

PC 210包括由磁盘(HD)构成的记录单元212、与照相机体100的接口214和连接照相机体100的连接器216。接口214可以是USB、IEEE1394等，对其没有特别限制。

接着将说明通过图像处理消除灰尘对设置在具有上述配置的摄像装置的图像传感器前面的例如低通滤波器或盖玻片的光学元件14a的影响的处理。

在该实施例中，拍摄灰尘检测图像以获得表示灰尘(异物)的附着位置、大小等的灰尘信息(异物信息)。提取灰尘数据以生成灰尘数据。优选通过拍摄具有尽可能均匀的亮度的表面来获得灰尘检测图像。但是，因为期望在熟悉的位置容易地拍摄图像，所以均匀性的要求不严格。例如，该实施例假定拍摄蓝色的天空或白色的墙壁。

图2是示出该实施例中的在获得灰尘信息时摄像装置(在该实施例中为数字照相机)中的处理的流程图。

首先，在步骤S201中，确定操作单元70是否选择灰尘信息获得模式。重复步骤S201中的确定直到选择了灰尘信息获得模式为止。如果选择了灰尘信息获得模式，则处理进行到步骤S202，确定用户是否接通了快门开关SW1 62。如果快门开关SW1 62断开，则处理返回到步骤S201，重复上述处理。

如果用户接通了快门开关SW1 62，则在步骤S203中设置光圈值、ISO值、快门速度和其它拍摄关联参数。图3示出了这里设置的参数。将光圈值设置为例如F22以缩小光圈。可以使用在与镜头支架106连接的镜头单元300中可设置的范围内的最小光圈来进行拍摄。因为灰尘通常不附着到图像传感器14的表面、而附着到例如保护图像传感器14的保护玻璃或不处于图像传感器侧而处于被摄体侧的光学滤波器的光学元件14a的表面，并且成像状态根据镜头单元300的光圈值改变，所以缩小光圈。几乎在最大光圈值处，灰尘图像模糊，无法获得适当的灰尘检测图像。因此，优选 以最小光圈进行拍摄。

返回参考图2中的流程图，此时，用户使摄像装置指向例如尽可能白的墙壁的均匀亮度表面，并且操作快门开关SW2 64。

在步骤S204中，确定用户是否接通了快门开关SW2 64。如果快门开关SW2 64断开，则处理返回到步骤S202，确定快门开关SW1 62接通还是断开。如果用户接通了快门开关SW2 64，则处理进行到步骤S205。在步骤S205中，拍摄灰尘检测图像(均匀亮度表面)，将该图像数据存储在存储器30中。在步骤S206中，从存储在存储器30中的图像数据获得灰尘信息。

说明灰尘信息的获得。更具体而言，从拍摄的灰尘检测图像获得灰尘区域的位置(坐标)和大小。首先，将拍摄的灰尘检测图像的区域划分为多个块。计算各块中的最大亮度Lmax和平均亮度Lave。通过

T1＝Lave×0.6+Lmax×0.4

来计算各块中的阈值T1。

灰尘附着像素的亮度低于相邻的像素的亮度。从而，将比阈值T1小的像素确定为灰尘像素。将由灰尘像素构成的各孤立区域定义为灰尘区域di(i＝0、1、...、n)。

图4是示出灰尘区域大小计算的概要的图。如图4所示，获得包括在灰尘区域中的像素的水平坐标的最大值Xmax和最小值Xmin以及垂直坐标的最大值Ymax和最小值Ymin。通过

$\mathrm{ri}=\sqrt{{(X\max -X\min )}^2+{(Y\max -Y\min )}^2}/2$

来计算表示灰尘区域di的大小的半径ri。

通过Xdi＝(Xmax+Xmin)/2

Ydi＝(Ymax+Ymin)/2

来近似获得中心坐标(Xdi，Ydi)。

将获得的位置(坐标)和半径记录为灰尘信息简档。

非易失性存储器56的大小等有时限制了灰尘校正数据(灰尘信息简档)的大小。为了处理这种情况，通过灰尘区域的大小和平均亮度值来对灰尘位置信息进行分类。在该实施例中，以ri的降序对灰尘位置信息进行 分类。当ri相同时，以平均亮度值的升序对灰尘位置信息进行分类。利用这种设置，可以在灰尘校正数据中优先登记明显的灰尘图像。注意Di表示分类后的灰尘区域，Ri表示灰尘区域Di的半径。

当存在大于预定大小的灰尘区域时，可以将其从分类目标中排除并添加到分类后的灰尘区域列表的末端。这是因为如果对大的灰尘区域进行随后的插值处理，则可能使图像质量劣化，期望最后对其进行处理。

灰尘信息简档具有图5所示的结构。如图5所示，灰尘信息简档存储拍摄灰尘检测图像时的镜头信息和灰尘的位置和大小的信息。更具体而言，将拍摄灰尘检测图像时的实际光圈值(F值)和镜头光瞳位置存储为拍摄灰尘检测图像时的镜头信息。接着，将检测到的灰尘区域的数量(整数值)存储在存储区域中。在该值之后，将各灰尘区域的具体参数重复存储与灰尘区域相同的数量。灰尘区域的参数包括三个数值的组：灰尘的半径(例如2字节)、有效图像区域的中心的x坐标(例如2字节)以及中心的y坐标(例如2字节)。

在步骤S207中，将获得的灰尘信息存储在非易失性存储器56中，获得灰尘信息的处理结束。

灰尘信息获得模式中的拍摄操作的目的是获得灰尘信息。因此，在该实施例中，不对拍摄的图像本身进行压缩、也不将其记录在记录介质200上，从而不会由于用户不需要的图像数据而浪费记录介质200的容量。但是，与正常图像类似，也可以对在灰尘信息获得模式中拍摄的图像进行压缩并将其保存在记录介质200中。此时，可以通过例如改变扩展名来任意修改数据。

该实施例旨在提供一种在回放运动图像时执行图像处理以校正由灰尘引起的图像质量劣化的方法。在说明对运动图像的处理之前，将说明对静止图像的处理。

在不通过灰尘检测图像拍摄而通过正常拍摄获得静止图像时，与图像数据关联地与正常拍摄时的照相机设置值等一起在记录介质200上记录图5所示的灰尘校正数据(还称为异物信息、灰尘信息或灰尘信息简档)。

更具体而言，可以通过将灰尘校正数据添加到例如作为记录拍摄时的 照相机设置值等的图像文件的头字段的Exif区域，来将灰尘校正数据与图像数据相关联。作为另选方案，将灰尘校正数据记录为独立文件，并且仅将灰尘校正数据文件的链接信息记录在图像数据中，从而将灰尘校正数据和图像数据相关联。但是，如果分别记录图像文件和灰尘校正数据文件，则在移动图像文件时链接关系可能丢失。为了防止这种情况，优选与图像数据一起保持灰尘校正数据。

在上述例如MP4文件的运动图像文件中，灰尘信息简档存储在moov箱中的保持头信息的mvhd箱中或者moof箱中的mvhd箱中。

与图像数据关联地记录灰尘校正数据假定将与灰尘校正数据一起记录的图像数据移动到外部图像处理装置并且由外部图像处理装置执行除尘处理的情况。

接着将参考图6和图7的流程图说明基于以上述方式存储到非易失性存储器56中的灰尘信息进行的正常拍摄时的除尘处理。以下说明涉及对静止图像的除尘处理。但是，可以通过对每个帧的图像执行处理，将与对静止图像的除尘处理相同的除尘处理类似地应用到运动图像。图1中的除尘电路31执行除尘处理。

图6示出了该实施例中的正常拍摄时的静止图像拍摄处理。

在步骤S501中，处理等待，直到用户接通快门开关SW1 62为止。在用户接通快门开关SW1 62时，处理进行到步骤S502，执行测光处理和调焦处理。在步骤S503中，确定用户是否接通了快门开关SW2 64。如果快门开关SW2 64断开，则处理返回到步骤S501，重复上述处理。如果检测到用户接通了快门开关SW2 64，则处理进行到步骤S504，进行拍摄。在拍摄结束后，处理进行到步骤S505，确定在非易失性存储器56中是否存在有效灰尘信息。如果存在灰尘信息，则处理进行到步骤S506。如果不存在灰尘信息，则处理进行到步骤S507，将拍摄的图像数据记录到记录介质200中。

在该实施例中，确定在非易失性存储器56中是否存在灰尘信息。但是，必要条件是是否以灰尘信息获得模式进行了拍摄，所以确定方法没有特别限制。还可以例如在以灰尘信息获得模式进行拍摄时设置标志并对其进行 评价。

在步骤S506中，将获得的灰尘信息嵌入到拍摄的图像数据的头字段(例如Exif区域)中。在步骤S507中，将嵌入灰尘信息的图像数据记录到记录介质200中。

参考图7说明除尘处理的操作。

在步骤S601中，确定在所选择的图像中是否嵌入了灰尘信息。如果在所选择的图像中嵌入了灰尘信息，则处理进行到步骤S602，提取灰尘信息。在步骤S603中，根据所提取的灰尘信息执行基于灰尘周围的像素的例如像素插值处理的校正处理，以从图像数据中消除灰尘的影响。

根据所提取的灰尘校正数据获得坐标序列Di(i＝1、2、...、n)、半径序列Ri(i＝1、2、...、n)、光圈值f1和镜头光瞳位置L1。Ri表示在对灰尘校正数据进行分类时获得的坐标Di处的灰尘的大小。f1表示拍摄灰尘检测图像时的镜头的光圈值，L1表示类似地拍摄灰尘检测图像时的镜头的光瞳位置。获取正常拍摄图像时的光圈值f2和镜头光瞳位置L2，通过以下方程式转换Di。通过

Di′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×Di(x，y)

Ri′＝(Ri×f1/f2+3)    (1)

来定义转换后的坐标Di′和转换后的半径Ri′。

其中，d是从图像中心到坐标Di的距离，H是从图像传感器14的表面到灰尘的距离。

单位是像素，Ri′的“+3”表示余量。

检测由坐标Di′和半径Ri′定义的区域中的灰尘，如果需要，则应用插值处理。稍后将具体说明插值处理。对所有坐标应用除尘处理，如果对所有坐标进行了处理，则处理进行到步骤S604。

在步骤S604中，重新记录经过了从拍摄的图像中消除灰尘的影响的校正处理的图像。

然后，除尘处理结束。

(插值处理)

具体说明灰尘区域插值处理。

图8是示出插值例程的序列的流程图。

在步骤S701中，确定灰尘区域。将灰尘区域定义为满足所有以下条件的区域：

(1)比根据落入由中心坐标Di′和半径Ri′(通过方程式(1)计算的Ri′和Di′)定义的区域的像素的平均亮度Yave和最大亮度Ymax计算的阈值T2暗的区域

T2＝Yave×0.6+Ymax×0.4。

(2)不与从中心坐标Di′具有半径Ri′的圆接触的区域。

(3)关于在(1)中选择的低亮度像素的孤立区域，用上述方程式计算的半径值等于或大于x1像素且小于x2像素的区域。

(4)包含圆的中心坐标Di′的区域。

在该实施例中，x1表示3个像素，x2表示30个像素。利用这种设置，可以仅将小的孤立区域作为灰尘区域进行处理。在不能准确地获得镜头光瞳位置时，可以放宽条件(4)。例如，在关注区域包含在X和Y方向两者上距离坐标Di±3个像素的范围的坐标时，将其确定为灰尘区域。

如果在步骤S702中在图像信号中存在这种区域(部分)，则处理进行到步骤S703，执行灰尘区域插值。如果不存在这种区域，则处理结束。步骤S703中的灰尘区域插值处理采用已知的缺陷区域插值方法。已知的缺陷区域插值方法的示例为在日本特开2001-223894号公报中公开的模式替换。在日本特开2001-223894号公报中，使用红外光指定缺陷区域。在该实施例中，将在步骤S701中检测到的灰尘区域作为缺陷区域进行处理，并通过模式替换用正常的相邻像素进行插值。对于不能通过模式替换进行插值的像素，从经过模式校正的图像数据中距离要插值的像素最近的像素开始依次选择p个正常像素，使用它们的平均色对目标像素进行插值。

在静止图像除尘处理中，以这种方式将灰尘校正数据附加到图像。不需要记录灰尘校正图像数据与拍摄的图像数据之间的对应关系。因为灰尘校正数据是由位置、大小和转换数据(光圈值和镜头光瞳位置的距离信息)构成的紧凑(compact)数据，所以拍摄的图像数据的大小不会变得过于大。仅对包含由灰尘校正数据指定的像素的区域进行插值，从而大大降低了检 测错误的可能性。

接着，说明该实施例中的在具有图像处理功能的摄像装置中对运动图像的灰尘校正回放处理。

图9是用于说明该实施例中的摄像装置回放运动图像的操作的流程图。

如果用户指定运动图像回放操作，则在步骤S2201中经由接口90将包含灰尘位置校正数据的运动图像文件从记录介质200读取到照相机体100的存储器30。为了方便说明，运动图像数据仅由I和P帧构成。

作为运动图像文件的示例，考虑图10A和图10B中的图像数据。将图10A中的图像数据编码为I帧，将图10B的图像数据编码为P帧。实际编码依照图14所示的序列来处理各宏块。图10A和图10B中的虚线定义了宏块。

在帧中拍摄到了灰尘的阴影，灰尘附着在图像感测平面前面的光学元件14a的表面。即使场景变化，也一直在帧中相同的位置出现灰尘的阴影。假定灰尘位置包括在存储在运动图像文件的头中的灰尘信息中。

在将图10B中的图像数据编码成P帧时，图14中的运动检测单元412输出图10C所示的运动矢量，帧间预测单元411输出图10D所示的预测图像。减法器401输出图10E所示的图像数据，熵编码器415将其与图10C中的运动矢量一起编码。

返回参考对回放处理的说明，在步骤S2202中，压缩/解压缩电路32对运动图像文件进行解压缩。图13示出了包括在压缩/解压缩电路32中的与运动图像解压缩处理关联的块。除了增加了灰尘校正电路816之外，图13所示的各个块与图22所示的各个块相同。根据参考图22说明的序列进行解压缩处理。在步骤S2202中，逆DCT电路806输出预测编码图像，运动补偿电路809输出运动补偿数据。

对于I帧，逆DCT电路806输出图11A所示的图像，开关电路810选择端子a以输出“0”。对于P帧，逆DCT电路806输出图11B所示的图像，开关电路810选择端子b以将图11C所示的图像作为来自运动补偿电路809的输出而输出。

在步骤S2203中，确定要处理的帧的类型。如果该帧是I帧，则处理进行到步骤S2205，加法电路807和接下来的电路执行解压缩处理，灰尘校正电路816不执行处理(异物去除处理)。如果该帧是P帧，则处理进行到步骤S2204，灰尘校正电路816执行第一灰尘校正处理。

在步骤S2204中，灰尘校正电路816对P帧执行第一灰尘校正处理。在第一灰尘校正处理中，通过将灰尘位置信息应用到从逆DCT电路806输出的预测编码图像(图11B)来进行灰尘校正处理。灰尘校正电路816输出经过第一灰尘校正处理的预测编码图像。

参考图12的流程图说明第一灰尘校正处理。

在步骤S2301中，灰尘校正电路816接收图11B所示的预测编码图像。

在步骤S2302中，灰尘校正电路816读取存储在运动图像文件的头中的灰尘位置信息，以搜索预测编码图像中的灰尘位置。

在步骤S2303中，灰尘校正电路816获得与预测编码图像中的灰尘位置相对应的区域的预测误差。预测误差包括在帧之间实际生成的预测误差和根据灰尘的阴影生成的预测误差。根据灰尘的阴影生成的预测误差大于在帧之间生成的预测误差。灰尘校正电路816根据灰尘的阴影确定出现了超过预定阈值TH的预测误差。

如果灰尘校正电路816确定预测误差大于灰尘区域的阈值TH并且是根据灰尘的阴影生成的，则处理进行到步骤S2304以消除预测误差。如果灰尘校正电路816确定预测误差等于或小于阈值TH并且不是根据灰尘的阴影生成的，则处理进行到步骤S2305。

在步骤S2304中，灰尘校正电路816对确定为根据灰尘的阴影而出现的预测误差执行消除处理。在确定图11B中的灰尘区域的预测误差比阈值TH大并且是根据灰尘的阴影而出现的时，如图11D所示，通过用“0”替换预测误差来消除该区域的预测误差。

根据确定阈值TH以及灰尘位置信息来确定是否执行消除处理的理由如下：

(1)为了防止即使在灰尘位置信息中登记了灰尘、但是因为在拍摄时灰尘可能不存在于该位置、因此灰尘实际上不存在时，执行错误的处理。

(2)为了防止针对以下区域执行错误的处理：如参考图4所说明的，因为不管实际的灰尘形状，在灰尘位置信息中灰尘都用圆表示，所以该区域实际上不包含灰尘的阴影。

可以使用一个确定阈值TH，或者因为灰尘阴影的浓度根据拍摄时的光圈值而改变，所以还可以根据该浓度使用多个阈值。例如，对于深的灰尘阴影，将阈值设置得低以尽可能去除灰尘的阴影；对于微弱的灰尘阴影，将阈值设置得高，以不消除除由于灰尘的阴影而产生的预测误差以外的预测误差。

确定阈值TH可以是固定值或针对每个要处理的区域进行设置。例如，在灰尘区域的预测误差大时，目标帧被确定为与参考帧的相关性较低。在这种情况下，将阈值TH设置得高以不消除预测误差。相反，在预测误差小时，目标帧被确定为与参考帧的相关性高。在这种情况下，将阈值TH设置得低以尽可能地去除灰尘的阴影。

此外，可以考虑灰尘区域周围的预测误差。在外围预测误差大时，目标帧被确定为与参考帧的相关性较低。在这种情况下，将阈值TH设置得高以不消除预测误差。相反，在外围预测误差小时，目标帧被确定为与参考帧的相关性高。在这种情况下，将阈值TH设置得低以尽可能地去除灰尘的阴影。

作为预测误差消除操作，用“0”替换预测误差，但是不需要总是用“0”进行替换。例如，可以根据灰尘的阴影的浓度或者考虑灰尘区域的预测误差或灰尘区域周围的预测误差，来消除预定水平的预测误差。

灰尘区域可能与多个宏块重叠。在这种情况下，可以对所有宏块应用相同的阈值TH，还可以根据上述确定来应用针对各宏块最佳的阈值TH。至于预测误差消除操作，可以针对所有宏块进行相同的消除操作，或者还可以执行针对各宏块最佳的消除处理。

在步骤S2305中，灰尘校正电路816输出消除了预测误差的预测编码图像。

说明了第一灰尘校正处理。

返回参考图9的序列，在步骤S2205中，加法电路807将预测编码图 像和从运动补偿电路809输出的运动补偿数据相加。对结果数据进行解压缩处理。

在处理I帧时，开关电路810选择端子a。加法电路807接收图11A中的数据和“0” ，并且输出图11A中的数据。

在处理P帧时，开关电路810选择端子b。加法电路807接收图11D和图11C中的数据，并且输出图11E中的数据。

由于在步骤S2304中消除了灰尘区域的预测误差，因此加法电路807进行的加法处理能够从P帧中去除灰尘的阴影。

在步骤S2206中，对在步骤S2204中没有进行第一灰尘校正处理的灰尘的阴影进行第二灰尘校正处理。对在步骤S2205中解压缩并且生成为帧数据的图像进行第二灰尘校正处理。在第二灰尘校正处理中，除尘电路31执行与前述针对静止图像的灰尘校正处理相同的处理。

没有对图11A中的I帧的压缩数据进行第一灰尘校正处理，所以根据包含在文件中的灰尘位置信息来校正帧中的灰尘数据。图11F示出了校正后的图像。

对图11E中的P帧的压缩数据进行了第一灰尘校正处理以去除灰尘的阴影。在步骤S2206中，不需要对该数据进行灰尘校正处理，从而缩短了步骤S2206的处理时间。

在步骤S2207中，执行显示处理。将灰尘校正后的运动图像的大小调整为最适于图像显示单元28的图像大小，并将其存储在图像显示存储器24中。接着，在存储器控制电路22的控制下读出运动图像并且显示在图像显示单元28上。

最后，在步骤S2208中，确定是否处理了所有帧。如果确定处理了所有帧，则回放处理结束。如果没有处理所有帧，则处理返回到步骤S2202，重复相同的操作直到处理了所有帧为止。

根据该序列来执行灰尘校正回放处理。

为了方便说明，该实施例说明了由I和P帧构成的运动图像。但是，还能够针对B帧执行相同的处理，并且本发明能够应用于多个运动图像格式。

如上所述，根据该实施例，在使用灰尘位置信息执行灰尘校正处理的同时回放运动图像文件时，仅对I帧进行费时的使用外围图像的灰尘校正处理。在P帧中，通过根据预测编码图像消除由灰尘位置信息给出的区域的预测误差来去除灰尘的阴影。这能够提高回放时的操作速度并且回放校正了灰尘的阴影的高质量的运动图像。

(其它实施例)

还能够通过读出并执行记录在存储设备中的用于执行上述实施例的功能的程序的系统或装置的计算机(或例如CPU或MPU的设备)、和通过由系统或装置的计算机通过例如读出并执行记录在存储设备中的用于执行上述实施例的功能的程序执行步骤的方法，来实现本发明的各个方面。为了这个目的，例如经由网络或从用作存储设备的各种类型的记录介质(例如计算机可读介质)将程序安装到计算机。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型、等同结构和功能。

Claims (6)

1.一种图像处理装置，其用于基于异物信息对通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述图像处理装置包括：

运动图像解压缩单元，其通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及

校正单元，其在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正获得的所述差信息，

其中，所述差信息是预测误差。

2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括异物去除单元，所述异物去除单元用于从所述运动图像解压缩单元获得的帧图像中，去除包含在所述异物信息中的没有经过所述校正单元校正的异物的阴影。

3.根据权利要求1所述的图像处理装置，其中，所述校正单元处理后的帧包括通过参考不同帧的图像数据而编码的帧。

4.根据权利要求1所述的图像处理装置，其中，所述校正单元进行的校正处理包括用0替换帧之间的所述差的处理。

5.根据权利要求1所述的图像处理装置，其中，所述校正单元针对包含由所述异物信息表示的所述异物的阴影的区域设置至少一个阈值。

6.一种图像处理装置的控制方法，所述图像处理装置用于基于异物信息对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述控制方法包括：

运动图像解压缩步骤，通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及

校正步骤，在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正获得的所述差信息，

其中，所述差信息是预测误差。

Images