CN101568031B - 图像处理设备及其控制方法 - Google Patents

图像处理设备及其控制方法 Download PDF

Info

Publication number
CN101568031B
CN101568031B CN2009101355448A CN200910135544A CN101568031B CN 101568031 B CN101568031 B CN 101568031B CN 2009101355448 A CN2009101355448 A CN 2009101355448A CN 200910135544 A CN200910135544 A CN 200910135544A CN 101568031 B CN101568031 B CN 101568031B
Authority
CN
China
Prior art keywords
unit
playback
image data
foreign matter
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101355448A
Other languages
English (en)
Other versions
CN101568031A (zh
Inventor
新谷拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101568031A publication Critical patent/CN101568031A/zh
Application granted granted Critical
Publication of CN101568031B publication Critical patent/CN101568031B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种图像处理设备及其控制方法。该图像处理设备包括：输入单元，其从摄像设备接收捕获了粘附在光学构件的表面上的异物的阴影的运动图像数据；获取单元，其从运动图像数据获取包括在运动图像数据中所捕获的异物的位置和大小的信息的异物信息；重放单元，其可以在通过使用异物信息校正运动图像数据中的异物的阴影的同时，重放该运动图像数据；显示单元，其显示重放单元所重放的图像；以及设置单元，其根据运动图像数据的重放状况，设置是否进行用于校正运动图像数据的每一帧中的异物的阴影的处理。

Description

图像处理设备及其控制方法
技术领域
本发明涉及一种用于使用帧间编码重放MPEG格式的运动图像数据的技术。
背景技术
近来，已经出现了对于将运动图像信息作为数字数据进行处理并且为了在累积和传输中使用而以高压缩率对其进行高质量编码的技术的需求。对于图像信息压缩，已经提出了MPEG等的用于使用运动图像信息特有的冗余性通过正交变换(例如，离散余弦变换)、运动预测和运动补偿对图像信息进行压缩编码的方法，并且这些方法日益普及。
制造商已开发并商品化了能够使用这些编码方法记录图像的摄像设备(例如，数字照相机和数字摄像机)和DVD记录器等。用户可以容易地使用这些设备、个人计算机和DVD播放器等来观看图像。
目前，H.264(MPEG4-Part10 AVC)是旨在更高的压缩率和更高的图像质量的编码方法。已知与MPEG-2和MPEG-4等传统编码方法相比，H.264需要更多用于编码和解码的计算量，但可以实现更高的编码效率(参见ISO/IEC 14496-10，“AdvancedVideo Coding(高级视频编码)”)。
图1是示出利用H.264压缩图像数据的图像处理设备的结构的框图。在图1中，将输入图像数据划分成发送至减法器1101的宏块(macroblock)。减法器1101计算图像数据和预测值之间的差，并将该差输出到整数DCT(离散余弦变换)变换单元1102。整数DCT变换单元1102对输入数据执行整数DCT变换，并且将变换后的数据输出到量化单元1103。量化单元1103量化输入数据。将量化后的数据作为差分图像数据发送到熵编码器1115，同时通过逆量化单元1104对量化后的数据进行逆量化，并使其经过逆整数DCT变换单元1105的逆整数DCT变换。加法器1106将预测值与逆变换后的数据相加，从而重建图像。
将重建后的图像发送到帧内(intra或intra-frame)预测用的帧存储器1107，同时，重建后的图像经过去块滤波器(deblockingfilter)1109的去块滤波处理，然后将其发送到帧间(inter或inter-frame)预测用的帧存储器1110。帧内预测帧存储器1107中的图像用于帧内预测单元1108的帧内预测。帧内预测使用与编码后的块相邻的像素的值作为预测值。
如后面所述，由多个图片构成帧间预测帧存储器1110中的图像。将多个图片分类成两个列表“列表0”和“列表1”。分类到这两个列表中的多个图片用于帧间预测单元1111的帧间预测。在帧间预测之后，存储器控制器1113更新内部图像。在帧间预测单元1111的帧间预测中，使用基于运动检测单元1112在不同帧的图像数据之间进行运动检测的结果的最佳运动矢量来确定预测图像。
作为帧内预测和帧间预测的结果，选择器1114选择最佳预测结果。将运动矢量发送至熵编码器1115，并且与差分图像数据一起被编码，从而形成输出比特流。
将参考图2～图5详细说明H.264帧间预测。
H.264帧间预测可以使用多个预测用图片。因此，准备两个列表(“列表0”和“列表1”)以指定参考图片。可以向各列表分配最多5个参考图片。
P-图片仅使用“列表0”以主要进行前向预测(forwardprediction)。B-图片使用“列表0”和“列表1”进行双向预测(或仅进行前向预测或后向预测(backward prediction))。也就是说，“列表0”保持主要用于前向预测的图片，并且“列表1”保持主要用于后向预测的图片。
图2示出编码中所使用的参考列表的例子。该例子假定I-图片、P-图片和B-图片的比是标准比，即，以15帧的间隔排列I-图片，以3帧的间隔排列P-图片，并且以2帧的间隔排列I-图片和P-图片之间的B-图片。在图2中，通过按照显示顺序排列图片获得图像数据1201。图像数据1201中的各正方形描述图片的类型和表示显示顺序的编号。例如，图片I15是显示顺序为15的I-图片，并且仅用于帧内预测。图片P18是显示顺序为18的P-图片，并且仅用于前向预测。图片B16是显示顺序为16的B-图片，并且用于双向预测。
编码顺序不同于显示顺序，并且按照预测顺序对数据进行编码。在图2中，按照“I15、P18、B16、B17、P21、B19、B20、......”的顺序对数据进行编码。
在图2中，参考列表(列表0)1202临时保持编码/解码后的图片。例如，使用图片P21(显示顺序为21的P-图片)的帧间预测参考在参考列表(列表0)1202中已编码和解码的图片。在图2所示的例子中，参考列表1202保持图片P06、P09、P12、I15和P18。
在帧间预测中，根据参考列表(列表0)1202中的参考图片获得各宏块的具有最佳预测值的运动矢量，并且对该运动矢量进行编码。对参考列表(列表0)1202中的图片顺序赋予参考图片编号，并且对其进行区别(分别区别于图2所示的编号)。
在结束对图片P21的编码之后，重新解码图片P21，并将其添加至参考列表(列表0)1202。从参考列表(列表0)1202删除最早的参考图片(在该情况下为图片P06)。按照图片B19、B20和P24的顺序进行编码。图3示出此时的参考列表(列表0)1202的状态。
图4示出各图片的参考列表的变化。
在图4中，从上端开始顺序对图片进行编码。图4示出编码期间的图片和图片的参考列表(列表0和列表1)的内容。当如图4所示对P-图片(或I-图片)进行编码时，更新参考列表(列表0和列表1)以从参考列表(列表0和列表1)删除最早的图片。在该例子中，参考列表(列表1)仅保持一个图片。这是因为：如果后向预测参考的图片的数量增大，则直到解码之前的缓冲量也增大。换句话说，不参考在编码期间过分远离图片的后向图片。
在该例子中，参考I-图片和P-图片，并且将全部I-图片和P-图片顺序添加至参考列表(列表0和列表1)。因为认为该图片排列是最普及的图片排列，因而在后向预测用参考列表(列表1)中仅使用I-图片。然而，参考列表中的图片排列仅是最普遍的图片排列的例子，并且H.264本身在参考列表的结构方面具有高自由度。
例如，不必将全部I-图片和P-图片都添加至参考列表，并且还可以将B-图片添加至参考列表。另外，H.264定义在接收到明确指令之前一直保持在参考列表中的图片的长期参考列表。图5示出在将B-图片添加至参考列表时的参考列表的变化。当将B-图片添加至参考列表时，每当对全部B-图片进行编码时可以将编码后的图片添加至参考列表。
将说明用于记录以这种方式压缩的运动图像数据的文件格式。
如上所述，使用MP4(MPEG-4)影片格式作为用于记录利用数字摄像机或数字静止照相机等所获得的MPEG(MPEG-2或MPEG-4格式)图像数据的通用格式。MP4文件格式确保与其它数字装置的兼容性，以例如重放作为MP4文件所记录的图像数据。
如图6的a所示，基本上由保持编码后的流图像数据的mdat存储箱和保持流图像数据相关信息的moov存储箱构成MP4文件。如图6的b所示，mdat存储箱由多个组块(chunk cN)构成。如图6的d所示，每一组块由多个样本(sample sM)构成。例如，如图6的e所示，样本s1、样本s2、样本s3、样本s4、......等各样本对应于编码后的MPEG图像数据I0、B-2、B-1、P3、......。
I0、I1、I2、......、In表示帧内编码(intra-encoded或intra-frame-encoded)的帧图像数据。B0、B1、B2、......、Bn表示通过双向参考参考图像数据所编码(帧间编码)的帧图像数据。P0、P1、P2、......、Pn表示通过单向(前向)参考参考图像数据所编码(帧间编码)的帧图像数据。这些帧图像数据是可变长度编码数据。
如图6的c所示，moov存储箱由保持记录创建日期和时间的头信息的mvhd存储箱和保持与存储在mdat存储箱中的流图像数据有关的信息的trak存储箱构成。存储在trak存储箱中的信息包括stco存储箱、stsc存储箱和stsz存储箱，其中，如图6的h所示，stco存储箱存储mdat存储箱的各组块的偏移值的信息，如图6的g所示，stsc存储箱存储各组块中的样本的数量的信息，如图6的f所示，stsz存储箱存储各样本的大小的信息。
存储在stco存储箱、stsc存储箱和stsz存储箱中的数据量与所记录的图像数据量即记录时间一起增大。例如，当通过将每15帧存储在一个组块来将每秒30帧的图像记录为MP4文件时，数据量增大到2小时1Mbyte，因而需要moov存储箱具有1Mbyte的容量。
当重放该MP4文件时，从记录介质读出MP4文件的moov存储箱，通过moov存储箱分析stco、stsc和stsz存储箱，然后可以访问mdat存储箱中的各组块。
当以MP4文件格式记录图像时，流数据随着时间而增大。由于流数据的大小非常大，因而即使在记录期间也必须将流数据写入该文件中。然而，如上所述，moov存储箱的大小也随着记录时间而增大。直到结束记录之前一直未定义MP4头的大小，因而不能确定文件中的流数据的写偏移位置。由于该原因，一般的运动图像处理设备的记录采用使用MP4文件格式的灵活性的以下措施。
(1)将mdat存储箱配置在文件的开头，并且在记录结束之后，接着mdat存储箱配置moov存储箱(图7A)。
(2)如日本特开2003-289495号公报所提出的，预先确定moov存储箱的大小以确定mdat存储箱的偏移位置，然后进行记录(图7B)。即使当记录时间短、且头区域未变满时，仍保留该区域作为空闲存储箱。当记录数据超过头大小时，通过适当间除(decimate)I-图片的帧编号信息来记录该数据，从而将头大小维持在预定大小。
(3)将一对moov和mdat存储箱划分成多对以配置它们(图7C)。将第二和随后的头区域称为moof存储箱。
这些是一般MP4文件的结构。
下面将说明MP4文件的一般重放方法。
图8是示出重放利用H.264压缩编码的运动图像的运动图像重放设备的基本结构的例子的框图。
在图8中，运动图像重放设备包括记录介质801、重放来自记录介质的数据的重放电路802、缓冲电路803、可变长度解码电路804、逆量化电路805、逆DCT电路806、加法电路807、存储器808、运动补偿电路809、切换电路810、重排电路811、输出端子812、头信息分析电路813、重放控制电路814和控制信号输入端子815。
将说明图8中的运动图像重放设备的重放处理的序列。
在从重放控制电路814接收到指令时，重放电路802重放记录在记录介质801上的MP4文件，并且开始将其提供至缓冲电路803。同时，重放控制电路814控制头信息分析电路813，以分析表示moov存储箱中的mdat的存储状况的stco存储箱、stsc存储箱和stsz存储箱中的偏移、组块信息和样本信息。重放控制电路814控制重放电路802，以开始重放来自记录介质801的mdat存储箱中的流图像数据。
重放电路802从开始地址起重放记录在记录介质801上的文件的mdat存储箱中的流图像数据，并且将其提供至缓冲电路803。根据缓冲电路803的占用率等开始读取存储在缓冲电路803中的流图像数据，从而将流图像数据提供至可变长度解码电路804。可变长度解码电路804对所重放的从缓冲电路803提供的流图像数据执行可变长度解码，并且将解码后的流图像数据提供至逆量化电路805。
逆量化电路805逆量化从可变长度解码电路804所提供的并经过了可变长度解码的流图像数据。逆量化电路805将逆量化后的流图像数据提供至逆DCT电路806。逆DCT电路806对从逆量化电路805所提供的逆量化后的数据执行逆DCT，并且将逆DCT数据提供至加法电路807。加法电路807将从逆DCT电路806所提供的逆DCT数据和从切换电路810所提供的数据相加。
如图9所示，在从记录介质801重放的流图像数据中，首先重放GOP0(Group Of Picture，图片组)的帧内编码数据I0。重放控制电路814进行控制以选择切换电路810的端子a，并且切换电路810将数据“0”提供至加法电路807。加法电路807将从切换电路810所提供的数据“0”和从逆DCT电路806所提供的逆DCT数据相加，并且将相加后的数据作为重放帧F0提供至存储器808和重排电路811。存储器808存储从加法电路807所提供的相加后的数据。
接着GOP0的帧内编码数据I0重放双向预测编码图片数据B-2和B-1。直到逆DCT电路806的重放序列与针对帧内编码数据I0所述的相同，并且不再重复对其的说明。
逆DCT电路806将双向预测编码后的逆DCT图像数据提供至加法电路807。此时，重放控制电路814控制切换电路810，以使得切换电路810的可移动端子c选择固定端子b。将来自运动补偿电路809的数据提供至加法电路807。
运动补偿电路809检测在根据重放的流图像数据进行编码时生成的并被记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参考块的数据(在这种情况下，由于刚开始进行记录，因而仅为来自重放的帧内编码数据F0的数据)，并且将其提供至切换电路810的可移动端子c。
加法电路807将从逆DCT电路806所提供的逆DCT数据和从切换电路810所提供的运动补偿后的数据相加，从而将相加后的数据作为重放帧F-2和F-1提供至重排电路811。
然后，重放单向预测编码的图片数据P3。直到逆DCT电路806的重放序列与针对帧内编码数据I0所述的相同，并且不再重复对其的说明。
逆DCT电路806将逆DCT图片数据提供至加法电路807。此时，重放控制电路814控制切换电路810，以使得切换电路810的可移动端子c选择固定端子b。将来自运动补偿电路809的数据提供至加法电路807。
运动补偿电路809检测在根据重放的流图像数据进行编码时生成的并被记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参考块的数据(在这种情况下为来自重放的帧内编码数据F0的数据)，并将其提供至切换电路810的可移动端子c。
加法电路807将从逆DCT电路806所提供的逆DCT数据和从切换电路810所提供的运动补偿后的数据相加，从而将相加后的数据作为重放帧F3提供至存储器808和重排电路811。存储器808存储从加法电路807所提供的相加后的数据。
然后，重放图片B1和B2。这些图片不是记录开始时的帧，因此除通过双向预测从帧F0和F3开始重放这些图片以外，通过与针对上述图片B-2和B-1所述的序列相同的序列重放这些图片。以上述方式顺序重放P6、B4、B5、......。
重排电路811将顺序重放的帧F0、F-2、F-1、F3、F1、F2、F6、F4、F5、......重排成F-2、F-1、F0、F1、F2、F3、F4、F5、F6、......，并且将重排后的帧输出至输出端子812。
在开始重放该文件时，头信息分析电路813分析来自表示MP4文件的moov存储箱中的mdat的存储状况的stco存储箱、stsc存储箱和stsz存储箱的偏移、组块信息和样本信息。重放控制电路814工作以跳过GOP1之前的数据，并且从GOP1开始重放数据。
在镜头可互换的数字照相机中，当从照相机主体卸下镜头时，空气中漂浮的微尘可能进入照相机主体。该照相机包括快门机构等机械动作的各种机械单元。当这些机械单元动作时，在照相机主体中可能生成金属粉末等灰尘。
当灰尘或微尘等异物粘附到构成数字照相机的摄像单元的图像传感器的表面时，在所拍摄的图像上捕获到异物的阴影，从而导致所拍摄的图像的质量下降。
为了解决该问题，提出了一种用于通过使用相邻像素的信号等来校正捕获到异物的阴影的像素的方法。
作为用于校正异物的阴影的技术，例如，日本特开2003-289495号公报提出了一种用于校正图像传感器的像素缺陷的图像缺陷校正方法。
日本特开平6-105241号公报提出了一种用于简化像素缺陷的位置信息的设置的方法。更具体地，改变以灰尘获取模式所记录的图像文件的扩展名，使其不同于正常图像的扩展名，并且PC自动区分灰尘信息图像。通过使用该信息，校正对象图像。
一些产品将灰尘信息作为拍摄信息记录在所记录的图像文件中，并且使用该信息来校正对象图像。
日本特开2004-242158号公报公开了一种相关技术。
然而，当在基于灰尘信息校正对象图像的同时重放如上述MP4文件一样的运动图像文件时，所使用的存储器的量增大，并且由于运行速度的下降使得运动图像重放的质量降低。
在静止图像重放中，重放灰尘校正后的静止图像，因此针对每一图像执行一次灰尘校正就足够了。即使灰尘校正处理在存储器等的限制下用了很长时间，静止图像的重放也可以等待，直到完成灰尘校正处理为止。
然而，在运动图像重放中，通过每秒15或30帧等连续重放多个静止图像来表现图像的运动。除一般重放处理之外，对于每秒15帧必需执行灰尘校正处理15次，或者对于每秒30帧必需执行灰尘校正处理30次。除非在限制的时间内结束该处理，否则不可能实现自然的运动图像重放。当不能进行自然的运动图像重放时，可以在不进行灰尘校正的情况下重放运动图像。结果，在运动图像重放期间，在用户长时间仔细观看图像的暂停或帧前进(frame advance)时的静止图像显示中，可能显示没有校正灰尘的质量差的图像。
发明内容
为了克服传统缺陷以及在运动图像重放期间进行暂停或帧前进等操作时抑制显示图像的质量下降，做出了本发明。
根据本发明的第一方面，提供一种图像处理设备，其重放从摄像单元输出的运动图像数据，该摄像单元具有用于捕获被摄体图像的图像传感器和配置在图像传感器前面的光学构件，该图像处理设备包括：输入单元，其从摄像单元接收捕获了粘附在光学构件的表面上的异物的阴影的运动图像数据；获取单元，其从运动图像数据获取包括运动图像数据中的由摄像单元所捕获的异物的位置和大小的信息的异物信息；重放单元，其能够在通过使用由获取单元所获得的异物信息校正运动图像数据中的异物的阴影的同时，重放该运动图像数据；显示单元，其显示重放单元所重放的图像；以及设置单元，其根据运动图像数据的重放状况，设置是否进行用于校正运动图像数据的每一帧中的异物的阴影的处理。
根据本发明的第二方面，还提供一种图像处理设备的控制方法，该图像处理设备重放从摄像单元输出的运动图像数据，该摄像单元具有用于捕获被摄体图像的图像传感器和配置在图像传感器前面的光学构件；该控制方法包括以下步骤：输入步骤，用于从摄像单元接收捕获了粘附在光学构件的表面上的异物的阴影的运动图像数据；获取步骤，用于从运动图像数据获取包括运动图像数据中的由摄像单元所捕获的异物的位置和大小的信息的异物信息；重放步骤，用于在通过使用在获取步骤中获得的异物信息对运动图像数据中的异物的阴影进行校正或不进行校正的同时，重放该运动图像数据；显示步骤，用于显示在重放步骤中重放的图像；以及设置步骤，用于根据运动图像数据的重放状况，设置是否进行用于校正运动图像数据的每一帧中的异物的阴影的处理。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出传统图像处理设备的结构的框图；
图2是示出在编码图片P21时的参考列表的例子的图；
图3是示出在编码图片P24时的参考列表的例子的图；
图4是示出各图片的参考列表的变化的图；
图5是示出在将B-图片添加至参考列表时的参考列表的变化的图；
图6是用于说明MP4文件的结构的图；
图7A～图7C是示出MP4文件的结构的例子的图；
图8是用于说明传统重放设备的框图；
图9是用于说明要编码的帧的顺序的图；
图10是示出本发明实施例通用的摄像设备的结构的框图；
图11是示出在获得灰尘信息时的摄像设备的处理的流程图；
图12是示出在获得灰尘信息时的拍摄相关参数的设置例子的表；
图13是示出在图11的步骤S1106中执行的灰尘区域大小计算的概况的图；
图14是示出灰尘校正数据的数据格式的例子的图；
图15是示出图像处理设备的示意性系统结构的框图；
图16是示出图像处理设备的GUI的例子的图；
图17是用于说明第一实施例中的重放状况判断灰尘校正处理的流程图；
图18是用于说明灰尘校正处理的细节的流程图；
图19是用于说明插值例程的细节的流程图；
图20是用于说明第二实施例中的重放状况判断灰尘校正处理的流程图；
图21是用于说明第三实施例中的重放状况判断灰尘校正处理的流程图；
图22是用于说明第三实施例中的帧前进处理的流程图；
图23是用于说明第四实施例中的重放状况判断灰尘校正处理的流程图；以及
图24是用于说明第五实施例中的重放状况判断灰尘校正处理的流程图。
具体实施方式
下面将参考附图详细说明本发明的优选实施例。
第一实施例
将参考图10说明本发明实施例通用的摄像设备的结构。
在本实施例中，作为摄像设备将举例说明镜头可互换的单镜头反光数字静止照相机。本发明还可应用于例如镜头可互换的数字摄像机。
如图10所示，根据本实施例的摄像设备主要包括照相机主体100和镜头可互换型镜头单元300。
镜头单元300包括由多个透镜构成的摄像透镜310、光圈312和将镜头单元300机械连接到照相机主体100的镜头座306。镜头座306包含用于将镜头单元300电连接到照相机主体100的各种功能。在镜头座306中，接口320将镜头单元300连接到照相机主体100。连接器322将镜头单元300电连接到照相机主体100。
连接器322还具有用于在照相机主体100和镜头单元300之间交换控制信号、状态信号和数据信号并接收各种电压的电流的功能。连接器322还可以不仅通过电信而且通过光通信或语音通信进行通信。
光圈控制单元340与快门控制单元40(后面说明)协作地控制光圈312，其中，快门控制单元40基于来自测光控制单元46的测光信息，控制照相机主体100的快门12。调焦控制单元342控制摄像透镜310的调焦。变焦控制单元344控制摄像透镜310的变焦。
镜头系统控制电路350控制整个镜头单元300。镜头系统控制电路350具有用于存储运行用的常数、变量和程序的存储器。镜头系统控制电路350还具有用于保持镜头单元300特有的编号等的识别信息、管理信息、开放光圈值和最小光圈值及焦距等功能信息、以及当前和过去的设置值的非易失性存储器。
接着将说明照相机主体100的结构。
镜头座106将照相机主体100机械连接到镜头单元300。反射镜130和132利用单镜头反光方法将进入摄像透镜310的光束引导至光学取景器104。反射镜130可以是快速回位镜(quickreturn mirror)或半反射镜(half mirror)。附图标记12表示快门。图像传感器14光电转换被摄体图像。利用单镜头反光方法，通过用作光量限制部件的光圈312、镜头座306和106、反射镜130、以及快门12引导进入摄像透镜310的光束，并且该光束在图像传感器14上形成光学图像。
A/D转换器16将从图像传感器14输出的模拟信号转换成数字信号。时序发生电路18向图像传感器14、A/D转换器16和D/A转换器26提供时钟信号和控制信号。存储器控制电路22和系统控制电路50控制时序发生电路18。
图像处理电路20对来自A/D转换器16的数据或来自存储器控制电路22的数据执行预定像素插值处理或颜色转换处理。如果需要，图像处理电路20还使用从A/D转换器16输出的图像数据进行预定运算处理。基于所获得的运算结果，系统控制电路50执行TTL(通过镜头)方案的自动调焦(AF)处理、自动曝光(AE)处理和预电子闪光(EF)处理，以控制快门控制单元40和焦点调节单元42。图像处理单元20还使用从A/D转换器16输出的图像数据执行预定运算处理，并且还基于所获得的运算结果通过TTL方案进行自动白平衡(AWB)处理。
在本实施例的图10所示的例子中，设置了专用的焦点调节单元42和测光控制单元46。因此，还可以不使用图像处理电路20而使用焦点调节单元42和测光控制单元46来进行AF处理、AE处理和EF处理。可选地，还可以首先通过使用焦点调节单元42和测光控制单元46，然后通过使用图像处理电路20，进行AF处理、AE处理和EF处理。
存储器控制电路22控制A/D转换器16、时序发生电路18、图像处理电路20、图像显示存储器24、D/A转换器26、存储器30和压缩/解压缩电路32。通过图像处理电路20和存储器控制电路22，或者仅通过存储器控制电路22，将从A/D转换器16输出的图像数据写入图像显示存储器24或存储器30。
通过D/A转换器26将写入图像显示存储器24的显示图像数据显示在TTL方案的LCD等图像显示单元28上。图像显示单元28顺序显示所捕获的图像数据，从而实现电子取景器(EVF)功能。图像显示单元28可以根据来自系统控制电路50的指令，任意打开/关闭(ON/OFF)图像显示单元28的显示。当显示处于关闭(OFF)时，可以大大降低照相机主体100的功耗。
使用存储器30来存储所拍摄的静止图像，并且存储器30具有足以存储预定数量的静止图像的存储容量。因此，即使在用于连续拍摄多个静止图像的连续拍摄或全景拍摄时，也可以以高速将大量图像数据写入存储器30中。存储器30还可用作系统控制电路50的工作区。
压缩/解压缩电路32使用已知压缩方法对图像数据进行压缩/解压缩。压缩/解压缩电路32从存储器30读出图像，对其进行压缩或解压缩，并且将处理后的数据再次写入存储器30。
快门控制单元40与光圈控制单元340协作对快门12进行控制，其中，光圈控制单元340基于来自测光控制单元46的测光信息控制光圈312。焦点调节单元42执行AF(自动调焦)处理。利用单镜头反光方法，通过光圈312、镜头座306和106、反射镜130和焦点调节副反射镜(未示出)引导进入镜头单元300的摄像透镜310的光束，从而检测作为光学图像所形成的图像的聚焦状态。
测光控制单元46执行AE(自动曝光)处理。利用单镜头反光方法，通过光圈312、镜头座306和106、反射镜130和测光副反射镜(未示出)引导进入镜头单元300的摄像透镜310的光束，从而测量作为光学图像所形成的图像的曝光状态。电子闪光灯48具有AF辅助光投射功能和电子闪光灯控制功能。测光控制单元46还具有与电子闪光灯48协作的EF(电子闪光灯控制)处理功能。
还可以使用焦点调节单元42的测量结果和通过使图像处理电路20对来自A/D转换器16的图像数据进行运算处理所获得的运算结果，进行AF控制。还可以使用测光控制单元46的测量结果和通过使图像处理电路20对来自A/D转换器16的图像数据进行运算处理所获得的运算结果，进行曝光控制。
系统控制电路50控制整个照相机主体100，并且包含已知的CPU。存储器52存储系统控制电路50运行用的常数、变量和程序。
通知单元54根据系统控制电路50所执行的程序，使用文本、图像和声音向外部通知工作状态和消息等。作为通知单元54，使用用于可视显示的LCD或LED等显示单元和用于生成通过声音的通知的声音生成元件。通知单元54包括它们中的一个或者它们中的至少两个的组合。特别地，将显示单元配置在照相机主体100的操作单元70附近的一个或多个可视位置处。将通知单元54的某些功能配置在光学取景器104中。
通知单元54的显示内容中的LCD等图像显示单元28的显示内容包括：单拍/连拍和自拍等与拍摄模式相关的显示；压缩率、记录像素的数量、已记录图像的数量和可记录图像的数量等与记录相关的显示；以及快门速度、光圈值、曝光补偿、亮度补偿、外部闪光灯光发射量和红眼消除等与拍摄条件相关的显示。图像显示单元28还显示微距拍摄(macro shooting)、蜂鸣器设置、电池水平、错误消息、多个数字的信息、以及记录介质200和PC 210的安装/卸下状态。图像显示单元28还显示镜头单元300的安装/卸下状态、通信I/F操作、日期和时间、以及外部计算机的连接状态。
在光学取景器104中显示通知单元54的一些显示内容，包括例如对焦、拍摄准备就绪、照相机抖动警告、闪光灯充电、闪光灯充电完成、快门速度、光圈值、曝光补偿和记录介质写操作。
非易失性存储器56是EEPROM等电可擦除可编程存储器，并且存储程序(后面说明)等。
附图标记60、62、64、66、68和70表示用于输入系统控制电路50的各种类型的操作指令的操作部件。它们包括单个组件，或者包括多个开关、拨盘、触摸面板、视线检测的指示以及语音识别装置的组合。
这里将详细说明这些操作部件。
模式拨盘开关60可以选择性地设置自动拍摄模式、编程拍摄模式、快门速度优先拍摄模式、光圈优先拍摄模式、手动拍摄模式、或焦深优先(深度)拍摄模式等的拍摄模式。模式拨盘开关60还可以选择性地设置肖像拍摄模式、风景拍摄模式、特写拍摄模式、运动拍摄模式、夜景拍摄模式和全景拍摄模式等的拍摄模式。模式拨盘开关60还可以将模式切换成作为本实施例的特征的运动图像记录模式。
通过操作快门按钮(未示出)半程(例如，半按下)打开快门开关SW1 62，以指示开始AF处理、AE处理、AWB处理或EF处理等操作。
通过完全操作快门按钮(未示出)(例如，全按下)打开快门开关SW2 64，以指示开始一系列处理操作，包括曝光处理、显影处理和记录处理。在曝光处理中，通过A/D转换器16和存储器控制电路22将从图像传感器14读出的信号写入存储器30中。然后，使用利用图像处理电路20或存储器控制电路22的计算进行显影处理。在记录处理中，从存储器30读出图像数据，通过压缩/解压缩电路32对该图像数据进行压缩，并且将压缩后的数据写入或传输至记录介质200或PC 210。
重放开关66指示开始重放操作，其中重放操作用于从存储器30、记录介质200或PC 210读出在拍摄模式下所拍摄的图像，并将该图像显示在图像显示单元28上。重放开关66可以设置重放模式、多画面重放/清除模式或PC连接模式等其它功能模式。
单拍/连拍开关68可以设置单拍模式或连拍模式，其中，在单拍模式中，当用户按下快门开关SW2 64时，照相机拍摄一个帧，然后处于待机状态；在连拍模式中，在用户按下快门开关SW2 64时，照相机连续拍摄。
操作单元70包括各种按钮和触摸面板。按钮的例子为实时取景开始/停止按钮、菜单按钮、设置按钮、多画面重放/分页按钮、闪光灯设置按钮、单拍/连拍/自拍切换按钮、菜单移动加(+)按钮和菜单移动减(-)按钮。操作单元70还包括重放图像移动加(+)按钮、重放图像移动减(-)按钮、拍摄图像质量选择按钮、曝光补偿按钮、亮度补偿按钮、外部闪光灯光发射量设置按钮、以及日期/时间设置按钮。使用旋转拨盘开关可以更容易地选择加按钮和减按钮的数值或功能。
操作单元70还具有打开/关闭图像显示单元28的图像显示ON/OFF开关和对在拍摄后立即自动重放所拍摄的图像数据的快速回放功能进行设置的快速回放ON/OFF开关。操作单元70还具有选择JPEG压缩的压缩率或选择用于直接对来自图像传感器的信号进行数字化并将其记录在记录介质上的RAW模式的压缩模式开关。操作单元70还具有能够设置一拍AF模式或伺服AF模式的AF模式设置开关。在一拍AF模式中，当用户按下快门开关SW1 62时，开始自动调焦操作。一旦获得对焦状态，则持续保持该状态。在伺服AF模式中，在用户按下快门开关SW1 62时，持续进行自动调焦操作。操作单元70还包括如后面所述的能够设置用以拍摄灰尘检测图像并获得灰尘信息的灰尘信息获取模式的设置开关。
电源开关72可以选择性地设置照相机主体100的电源接通(ON)或电源断开(OFF)模式。电源开关72还可以选择性地设置包括与照相机主体100连接的镜头单元300、外部电子闪光灯112、记录介质200和PC 210的各种附件中的每一个的电源ON或电源OFF模式。
电源控制单元80包括电池检测电路、DC/DC转换器和用于切换要供电的块的切换电路。电源控制单元80检测是否安装了电池、电池的类型和电池水平，并且基于该检测结果和来自系统控制电路50的指令，控制DC/DC转换器，并且向包括记录介质在内的单元提供必要时间的必要电压。
附图标记82和84表示连接器；并且附图标记86表示电池单元，该电池单元包括：碱性电池或锂电池等的一次电池；镍镉(NiCd)电池、镍氢(NiMH)电池、锂离子电池或锂聚合物电池等的二次电池；或AC适配器。
附图标记90和94表示与PC或存储卡或硬盘等记录介质的接口；并且附图标记92和96表示连接PC或存储卡或硬盘等记录介质的连接器。记录介质安装检测电路98检测记录介质200或PC 210是否被安装到连接器92和/或96。
在本实施例中，存在用以连接记录介质的接口和连接器的两个系统。用以连接记录介质的接口和连接器可以具有一个或多个系统。还可以组合不同标准的接口和连接器。
可以使用符合各种存储介质标准的接口和连接器。例子有PCMCIA(个人计算机存储卡国际协会)卡、CF()卡以及SD卡。当接口90和94以及连接器92和96符合PCMCIA卡或
Figure G2009101355448D00202
卡的标准时，可以连接各种类型的通信卡。通信卡的例子有LAN卡、调制解调器卡、USB(通用串行总线)卡和IEEE(电气与电子工程师学会)1394卡。还可以使用P1284卡、SCSI(小型计算机系统接口)卡和PHS。通过连接各种类型的通信卡，可以将图像数据和与该图像数据相关的管理信息传送给另一计算机或打印机等外围设备。
光学取景器104可以显示通过进入摄像透镜310并利用单镜头反光方法通过光圈312、镜头座306和106以及反射镜130和132所引导的光束而形成的光学图像。因此可以不使用图像显示单元28的电子取景器功能而仅使用光学取景器进行拍摄。在光学取景器104中显示对焦状态、照相机抖动警告、闪光灯充电、快门速度、光圈值和曝光补偿等的通知单元54的一些功能。
通过附件插座110安装外部电子闪光灯112。
接口120将照相机主体100连接到镜头座106中的镜头单元300。
连接器122将照相机主体100电连接到镜头单元300。镜头安装检测单元(未示出)检测镜头单元300是否被安装到镜头座106和连接器122。连接器122还具有以下功能：在照相机主体100和镜头单元300之间传输控制信号、状态信号和数据信号等，并且还提供各种电压的电流。连接器122还可以不仅通过电信而且通过光通信或语音通信进行通信。
记录介质200是存储卡或硬盘。记录介质200包括由半导体存储器或磁盘构成的记录单元202、与照相机主体100的接口204、以及用以连接照相机主体100的连接器206。
作为记录介质200，可以使用PCMCIA卡或紧凑型闪存(compact 
Figure G2009101355448D00211
)等的存储卡或硬盘。还可以使用micro DAT、磁光盘、CD-R或CD-RW等的光盘、或DVD等相变光盘。
PC 210包括由磁盘(HD)构成的记录单元212、与照相机主体100的接口214和用以连接照相机主体100的连接器216。接口214可以是USB或IEEE1394接口等，但是没有特别限制。
接着说明下面的处理：在校正灰尘对配置在具有上述结构的摄像设备的图像传感器前面的低通滤波器或盖玻璃(coverglass)等光学构件的影响的同时重放图像。
本实施例将说明这样一种方法，该方法用于拍摄获取灰尘信息(异物信息)用的灰尘检测图像(静止图像)，提取灰尘数据，并且将其添加至随后所拍摄的正常图像(运动图像)，从而在PC等中校正灰尘的同时，重放该图像。优选通过拍摄具有尽可能均匀的亮度的表面来获得灰尘检测图像。然而，由于期望容易地拍摄熟悉的地方中的图像，因而均匀性不必十分严格。例如，假定拍摄蓝色天空或白色墙壁。为了解释本实施例的特征，将说明主要用于运动图像文件的MP4文件格式的操作。
图11是示出本实施例中在获得灰尘信息时的摄像设备的处理的流程图。
首先，在步骤S1101，判断操作单元70是否选择了灰尘信息获取模式。重复步骤S1101的判断直到选择了灰尘信息获取模式为止。当选择了灰尘信息获取模式时，处理进入步骤S1102，以判断用户是否打开了快门开关SW1 62。如果快门开关SW1 62处于OFF，则处理返回至步骤S1101以重复上述处理。
如果用户打开了快门开关SW1 62，则设置光圈值、ISO值、快门速度和其它拍摄相关参数(步骤S1103)。图12示出这里所设置的参数。例如，在缩小光圈状态下，将光圈值设置成F22。还可以使用与镜头座106所连接的镜头单元300的可设置范围内的最小光圈进行拍摄。缩小光圈，因为：灰尘通常不是粘附到图像传感器14的表面，而是粘附到用于保护图像传感器14的保护玻璃的表面、或者粘附到未置于图像传感器侧而是置于被摄体侧的光学滤波器的表面，并且灰尘的成像状态根据镜头单元300的光圈值而改变。如果光圈接近全光圈，则灰尘图像变得模糊，并且不能获得适当的灰尘检测图像。由于该原因，优选使用最小光圈进行拍摄。
返回参考图11的流程图，此时，用户将摄像设备对着尽可能白的墙壁等的均匀亮度面，并且操作快门开关SW2 64。
在步骤S1104，判断用户是否打开了快门开关SW2 64。如果快门开关SW2 64处于OFF，则处理返回到步骤S1102，以判断快门开关SW1 62是处于ON还是处于OFF。如果用户打开了快门开关SW2 64，则处理进入步骤S1105。在步骤S1105，拍摄灰尘检测图像(均匀亮度面)，并且将该图像数据存储在存储器30中。在步骤S1106，从存储在存储器30中的图像数据获得灰尘信息。
将说明灰尘信息的获取。更具体地，从所拍摄的灰尘检测图像获得各灰尘区域的位置(坐标)和大小。首先，将所拍摄的灰尘检测图像的区域划分成多个块。计算各块中的最大亮度Lmax和平均亮度Lave。通过下面的等式计算各块中的阈值T 1。
T1＝Lave×0.6+Lmax×0.4
将小于阈值T1的像素判断为灰尘像素。将由灰尘像素所形成的各孤立区域定义为灰尘区域di(i＝0、1、......、n)。
图13是示出灰尘区域大小计算的概况的图。如图13所示，对于各灰尘区域，获得灰尘区域中所包括的像素的水平坐标的最大值Xmax和最小值Xmin、以及垂直坐标的最大值Ymax和最小值Ymin。通过下面的等式计算表示灰尘区域di的大小的半径ri。
ri = [ { ( X max - X min ) 2 + ( Y max - Y min ) 2 } ] / 2
通过下面的等式近似获得中心坐标(Xdi，Ydi)。
Xdi＝(Xmax+Xmin)/2
Ydi＝(Ymax+Ymin)/2
将获得的位置(坐标)和半径记录为灰尘信息简档(profile)。
灰尘信息简档具有图14所示的结构。如图14所示，灰尘信息简档存储拍摄灰尘检测图像时的镜头信息以及灰尘的位置和大小的信息。更具体地，存储拍摄检测图像时的实际光圈值(F值)和镜头透光孔(pupil)位置，作为拍摄检测图像时的镜头信息。接着，将所检测到的灰尘区域的数量(整数值)存储在存储区域中。接着该值，与灰尘区域一样多地重复存储各灰尘区域的具体参数。灰尘区域的参数包括一组三个数值：灰尘的半径(例如，2字节)、有效图像区域的中心的x坐标(例如，2字节)、以及该中心的y坐标(例如，2字节)。
在步骤S1107，将所获得的灰尘信息(灰尘信息简档)存储在非易失性存储器56中，并且结束用以获取灰尘信息的处理。将灰尘信息存储在非易失性存储器56中的目的是为了：持续将该灰尘信息添加至通过在获得该灰尘信息之后直到下一次获得灰尘信息之前所执行的正常拍摄而获得的图像数据(运动图像数据)。在每当打开照相机电源时都请求用户获取灰尘信息的情况下，不必将灰尘信息存储在非易失性存储器中。
当根据实施例的摄像设备记录运动图像时，使用上述MP4文件格式的运动图像文件。因此，将临时存储在非易失性存储器56中的灰尘信息简档存储在由运动图像数据的moov存储箱中的头信息所构成的mvhd存储箱或moof存储箱中的mvhd存储箱中。可以将灰尘信息添加至由摄像设备所捕获的运动图像数据。
将说明灰尘校正重放处理的序列。在下面的说明中，不是在数字照相机主体内，而是在分开准备的图像处理设备中执行灰尘校正重放处理。图15是示出该图像处理设备的示意性系统结构的框图。
CPU 1501控制整个系统，并且例如执行存储在主存储器(primary storage)1502中的程序。主存储器1502是主要的存储器，并且存储从副存储器(secondary storage)1503读出的程序等。副存储器1503例如为硬盘。通常，主存储器的容量小于副存储器的容量。将不能完全存储在主存储器中的程序和数据等存储在副存储器中。也将需要长期存储的数据等存储在副存储器中。
在本实施例中，将程序存储在副存储器1503中，并且当执行该程序时，将该程序装载到主存储器1502并由CPU 1501来执行。输入装置1504例如包括用以控制系统的鼠标和键盘、以及输入图像数据所需的卡读取器、扫描器和胶片扫描器。输出装置1505例如包括监视器和打印机。尽管该设备可以采用各种配置，但是这不是本发明的要点，并且省略对其的说明。
该图像处理设备包括能够并行执行多个程序的操作系统，并且用户可以使用GUI(图形用户界面)操作运行在该设备上的程序。
图16是示出该图像处理设备中的图像编辑程序的GUI的图。
该画面包括关闭按钮1600和标题栏1601。当用户按下关闭按钮时，结束该程序。通过将文件拖放到图像显示区域1602来指定要经过校正重放处理的图像。当确定了要经过校正重放处理的图像时，将文件名显示在标题栏1601，并且显示对象图像以使其适合图像显示区域1602。在运动图像重放期间，可以作为静止图像重放来处理适合的显示，因而在重放状况判断灰尘校正处理(后面说明)中，还可以通过适合的显示来进行显示。
当用户按下重放按钮1603时，执行重放处理以将处理后的图像显示在图像显示区域1602中。当用户按下暂停按钮1604时，暂停重放过程中的运动图像。每当用户在这种状态下按下帧正向前进按钮1605或帧反向前进按钮1606时，使图像正向或反向前进一个帧。
当用户按下慢动作重放按钮1607时，执行慢动作重放处理，以将处理后的图像显示在图像显示区域1602中。由于慢动作重放是已知技术，因而不再详细说明该重放方法。在慢动作重放中，通过延长一个帧的显示时间，与正常重放相比较慢地重放运动图像。
当用户按下快速正向重放按钮1608时，执行快速正向重放处理，以将处理后的图像显示在图像显示区域1602中。由于快速正向重放是已知技术，因而不再详细说明该重放方法。在快速正向重放中，通过间除帧或缩短显示时间，与正常重放相比更快地重放运动图像。
当用户按下快速反向重放按钮1609时，执行快速反向重放处理，以将处理后的图像显示在图像显示区域1602中。由于快速反向重放是已知技术，因而不再详细说明该重放方法。在快速反向重放中，在间除帧或缩短显示时间的同时，反转帧流，从而在时间上后退的同时，与正常重放相比更快地重放运动图像。
图17示出该图像处理设备的重放状况判断灰尘校正处理的序列。将参考图17说明暂停时的重放状况判断灰尘校正处理的序列。
将包括灰尘位置校正数据的运动图像文件从数字照相机或移除自数字照相机的记录介质200输入到图像处理设备，并且将该运动图像文件存储在主存储器1502或副存储器1503中(步骤S1701)。在步骤S1702，执行显示帧获取处理(用以解码MP4文件并重放帧的处理)。该处理为背景技术的说明中所公开的已知技术，并且省略对其的详细说明。
在步骤S1703，判断用户是否按下了暂停按钮1604。如果在步骤S1703判断为用户没有按下暂停按钮1604，则执行显示处理(步骤S1704)。在显示处理中，将在步骤S1702中获得的帧显示在图像显示区域1602中。只要存储器等的资源和灰尘校正的处理时间允许，还可以在显示处理之前执行灰尘校正处理。然而，为了更易于说明本实施例的特征，仅在不进行灰尘校正处理的情况下进行显示处理。
在步骤S1705，判断当前帧是否是最后一个帧。如果判断为当前帧是最后一个帧，则结束重放状况判断灰尘校正处理。如果判断为当前帧不是最后一个帧，则在步骤S1702中获取接着要显示的帧。重复步骤S1702和随后的步骤，直到处理了所有帧为止。
如果在步骤S1703判断为用户按下了暂停按钮1604，则中断运动图像重放，并且将按下暂停按钮1604时所重放的帧显示为静止图像。在显示该帧之前，在步骤S1706，该帧经过灰尘校正处理。将参考图18说明灰尘校正处理。
在步骤S1707，进行显示处理。尽管步骤S1707中的显示处理与步骤S1704中的显示处理相同，但是在暂停期间，将在步骤S1706已通过灰尘校正处理校正了灰尘的帧显示为静止图像。如果在步骤S1708判断为发出了用以结束暂停的指令，则处理进入步骤S1705，并且重复步骤S1702和随后的步骤，直到处理了所有帧为止。
根据该序列，执行重放状况判断灰尘校正处理。
图18示出图17的步骤S1706中的灰尘校正处理的序列。
从显示在图像显示区域1602中的运动图像的视频样本(帧)中选择要经过灰尘校正处理的帧(步骤S1801)。要经过灰尘校正处理的帧是在图17的步骤S1702所获取的显示帧。从包括所选择的帧的moov或moof提取灰尘位置校正数据。从所提取的灰尘位置校正数据提取灰尘校正数据(灰尘信息简档)，从而获得坐标序列Di(i＝1、2、......、n)、半径序列Ri(i＝1、2、......、n)、光圈值f1和镜头透光孔位置L1。此外，获取拍摄时的光圈值f2和镜头透光孔位置L2(步骤S1802)。Ri表示在图11的步骤S1106中计算出的坐标Di处的灰尘的大小。
在步骤S1803，通过下面的等式转换Di。通过如下等式来定义转换后的坐标Di′和转换后的半径Ri′。
Di′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×Di(x，y)
Ri′＝(Ri×f1/f2+3)        ...(1)
其中，d是从图像中心到坐标Di的距离，并且H是从图像传感器14的表面到灰尘的距离。
单位为像素，并且Ri′的“+3”意为余量。
在步骤S1804，检测通过坐标Di′和半径Ri′所定义的区域中的灰尘，并且如果需要，应用插值处理。后面将说明插值处理的细节。
在步骤S1805，判断是否已向所有坐标应用了灰尘去除处理。如果在所有坐标处都结束了灰尘去除处理，则结束该处理。如果没有在所有坐标处结束灰尘去除处理，则处理返回至步骤S1804。
已说明了灰尘校正处理的序列。
将说明灰尘区域插值处理的细节。图19是示出插值例程的序列的流程图。在步骤S1901，判断灰尘区域。将灰尘区域定义为满足以下所有条件的区域：
(1)暗于阈值T2的区域，其中，使用落在通过图18的步骤S1803中计算出的中心坐标Di′和半径Ri′(通过等式(1)计算出的Ri′和Di′)所定义的区域中的像素的平均亮度Yave和最大亮度Ymax获得阈值T2：
T2＝Yave×0.6+Ymax×0.4
(2)不与中心坐标为Di′半径为Ri′的圆接触的区域。
(3)对于在(1)中选择的低亮度像素的孤立区域，通过与图11的步骤S1106相同的方法计算出的半径值等于或大于x1像素且小于x2像素的区域。
(4)包含圆的中心坐标Di的区域。
在本实施例中，x1表示3个像素，x2表示30个像素。利用该设置，仅小的孤立区域可作为灰尘区域来处理。当不能正确获得镜头透光孔位置时，还可以放宽条件(4)。例如，当感兴趣的区域包含X方向和Y方向上距离坐标Di均为±3像素的范围的坐标时，将其判断为灰尘区域。
如果在步骤S1902中存在这种区域，则处理进入步骤S1903以进行灰尘区域插值。如果不存在这种区域，则结束该处理。在步骤S1903所执行的灰尘区域插值处理采用已知的缺陷区域插值方法。已知的缺陷区域插值方法的例子有在日本特开2001-223894号公报中所公开的模式替换。在日本特开2001-223894号公报中，使用红外光指定缺陷区域。在本实施例中，将在步骤S1901中检测到的灰尘区域作为缺陷区域而处理，并且利用模式替换，通过正常相邻像素对该灰尘区域进行插值。对于不能通过模式替换进行插值的像素，在正进行模式校正的图像数据中从最靠近要插值的像素的像素开始顺序选择p个正常像素，并且使用这p个像素的平均色对该对象像素进行插值。
已经说明了灰尘区域插值处理的序列。
如上所述，当在使用灰尘信息进行灰尘校正处理的同时重放MP4文件等的运动图像文件时，第一实施例可以提高运行速度并降低存储器等资源的使用量。同时，在运动图像重放期间，在用户长时间仔细观看图像的暂停时的静止图像显示中，第一实施例可以向用户提供校正了灰尘等的阴影的高质量的图像。
第二实施例
本发明第二实施例的图像处理设备的结构与图15所示的结构相同，但是它们的操作不同。将说明第二实施例中的操作。
图20是示出第二实施例中的重放状况判断灰尘校正处理的流程图。该处理不同于第一实施例中的处理。
类似于第一实施例，将参考图20说明暂停时的重放状况判断灰尘校正处理的序列。
将包括灰尘位置校正数据的运动图像文件从数字照相机或移除自数字照相机的记录介质200输入到图像处理设备，并将该运动图像文件存储在主存储器1502或副存储器1503中(步骤S2001)。
在步骤S2002，判断用户是否按下了暂停按钮1604。如果在步骤S2002判断为用户没有按下暂停按钮1604，则在步骤S2003中获取显示帧以进行显示处理(步骤S2004)。在步骤S2005，类似于第一实施例，判断当前帧是否是最后一个帧。
如果判断为当前帧是最后一个帧，则结束重放状况判断灰尘校正处理。如果判断为当前帧不是最后一个帧，则在步骤S2003获取接着要显示的帧。重复步骤S2002和随后的步骤，直到处理了所有帧为止。
如果在步骤S2002判断为用户按下了暂停按钮1604，则中断运动图像重放，并且在步骤S2006获取任意显示帧。在本实施例中，如果在步骤S2003已获得了帧，则还可以再次使用该帧作为在步骤S2006中所获得的任意显示帧，或者还可以使用与在步骤S2003所获得的帧紧挨着的前一帧。即使在步骤S2003没有获得帧，也足以获得任意帧，从而还可以使用第一帧或中间帧。
在显示所获得的任意显示帧之前，在步骤S2007进行灰尘校正处理。已参考图18说明了灰尘校正处理。
在步骤S2008，进行显示处理。尽管步骤S2008的显示处理与步骤S2004的显示处理相同，但是在暂停期间，将在步骤S2007中已通过灰尘校正处理校正了灰尘的帧显示为静止图像。如果在步骤S2009判断为发出了用以结束暂停的指令，则处理进入步骤S2005，并且重复步骤S2002和随后的步骤，直到处理了所有帧为止。
根据该序列，执行了重放状况判断灰尘校正处理。
在步骤S2006再使用在步骤S2003所获得的帧，有效地减少了存储器，并且由于缩短了读出时间和传送时间，因而也有效地提高了运行速度。
如上所述，当在使用灰尘信息进行灰尘校正处理的同时重放MP4文件等运动图像文件时，第二实施例可以提高运行速度，并可以降低存储器等资源的使用量。另外，当在运动图像重放期间的暂停中显示静止图像中的任意静止图像并且用户长时间仔细观看该图像时，第二实施例可以向用户提供校正了灰尘等的阴影的高质量的图像。
第三实施例
本发明的第三实施例的图像处理设备的结构与图15所示的结构相同，但是它们的操作不同。将说明第三实施例中的操作。
将参考图21说明第三实施例的帧正向前进或帧反向前进中的重放状况判断灰尘校正处理。
在第三实施例的帧正向前进或帧反向前进中，每当用户在暂停期间按下帧正向前进按钮1605或帧反向前进按钮1606时，正向或反向前进一个帧。
直到步骤S2103的序列与第一实施例和第二实施例中的相同。
在步骤S2103，如果判断为用户没有按下暂停按钮1604，则进行显示处理(步骤S2104)，并且类似于第一实施例，在步骤S2105判断当前帧是否是最后一个帧。另外，与第一实施例相类似，如果判断为当前帧是最后一个帧，则结束重放状况判断灰尘校正处理。如果判断为当前帧不是最后一个帧，则在步骤S2102获取接着要显示的帧。重复步骤S2102和随后的步骤，直到处理了所有帧为止。
如果在步骤S2103判断为用户按下了暂停按钮1604，则在步骤S2106进行帧前进处理。将参考图22说明帧前进处理。
在步骤S2107判断在步骤S2102、或者步骤S2202或S2204(后面说明)是否获得了显示帧。如果判断为获得了显示帧，则类似于第一实施例中的步骤S1706和S1707，在步骤S2108和S2109执行灰尘校正处理以显示该显示帧。如果判断为没有获得显示帧，则在步骤S2110判断是否发出了用以结束暂停的指令。如果没有发出用以结束暂停的指令，则处理返回到步骤S2106以重复帧前进处理。
如果在步骤S2110判断为发出了用以结束暂停的指令，则处理进入步骤S2105，以判断当前帧是否是最后一个帧。如果当前帧不是最后一个帧，则在步骤S2102获取接着要显示的帧。重复步骤S2102和随后的步骤，直到处理了所有帧为止。
将参考图22说明帧前进处理的序列。
在步骤S2201，判断用户是否按下了帧正向前进按钮1605。如果判断为用户按下了帧正向前进按钮1605，则处理进入步骤S2202，以获得与在图21的步骤S2102中获得的帧紧挨着的前一帧。然后，结束该处理。
如果在步骤S2201判断为用户没有按下帧正向前进按钮1605，则在步骤S2203判断用户是否按下了帧反向前进按钮1606。如果判断为用户按下了帧反向前进按钮1606，则处理进入步骤S2204以获得与在图21的步骤S2102中获得的帧紧挨着的后一帧。然后，结束该处理。
如果在步骤S2203判断为用户没有按下帧反向前进按钮1606，则不进行任何动作而结束该处理。
根据本序列，执行帧正向前进和帧反向前进时的重放状况判断灰尘校正处理。
如上所述，当在使用灰尘信息进行灰尘校正处理的同时重放MP4文件等的运动图像文件时，第三实施例可以提高运行速度，并可以降低存储器等资源的使用量。另外，在运动图像重放期间用户长时间仔细观看图像的帧正向前进或帧反向前进时的静止图像显示中，第三实施例可以向用户提供校正了灰尘等的阴影的高质量的图像。
第四实施例
本发明的第四实施例的图像处理设备的结构与图15所示的结构相同，但是它们的操作不同。将说明第四实施例的操作。
图23示出第四实施例中的重放状况判断灰尘校正处理的序列。将参考图23说明慢动作重放中的重放状况判断灰尘校正处理的序列。
图23中直到步骤S2302的序列与图17中直到步骤S1702的序列相同。
如果在步骤S2303判断为用户没有按下慢动作重放按钮1607，则进行显示处理(步骤S2304)，并且类似于第一实施例，在步骤S2305判断当前帧是否是最后一个帧。另外，与第一实施例相类似，如果判断为当前帧是最后一个帧，则结束重放状况判断灰尘校正处理。如果判断为当前帧不是最后一个帧，则在步骤S2302获取接着要显示的帧。重复步骤S2302和随后的步骤，直到处理了所有帧为止。
如果在步骤S2303判断为用户按下了慢动作重放按钮1607，则因为在慢动作重放中用户长时间仔细观看运动图像，因而在步骤S2306进行灰尘校正处理，以避免突出灰尘。
尽管步骤S2307的显示处理与步骤S 2304的显示处理相同，但是将在步骤S2306通过灰尘校正处理校正了灰尘的帧显示为慢动作重放图像。然后，处理进入步骤S2305，并且重复步骤S2302和随后的步骤，直到处理了所有帧为止。
根据本序列，执行重放状况判断灰尘校正处理。
如上所述，当在使用灰尘信息进行灰尘校正处理的同时重放MP4文件等的运动图像文件时，第四实施例可以提高运行速度，并可以降低存储器等资源的使用量。同时，在通过运动图像重放期间通过用户长时间仔细观看图像的慢动作重放进行的图像显示中，第四实施例可以向用户提供校正了灰尘等的阴影的高质量的图像。
第五实施例
本发明的第五实施例的图像处理设备的结构与图15所示的结构相同，但是它们的操作不同。将说明第五实施例中的操作。
图24示出第五实施例的重放状况判断灰尘校正处理的序列。将参考图24说明快速正向重放中的重放状况判断灰尘校正处理的序列。
图24中直到步骤S2402的序列与图17中直到步骤S1702的序列相同。
如果在步骤S2403判断为用户按下了快速正向重放按钮1608，则进行显示处理(步骤S2404)。在步骤S2405，判断当前帧是否是最后一个帧。如果当前帧是最后一个帧，则结束重放状况判断灰尘校正处理。如果当前帧不是最后一个帧，则处理返回到步骤S2402并重复上述处理。
如果在步骤S2403判断为用户没有按下快速正向重放按钮1608，则在步骤S2406进行灰尘校正处理。在步骤S2407，执行与第一实施例的步骤S1707中的显示处理相同的显示处理。
第一实施例～第四实施例主要说明了进行灰尘校正的重放状况。相反，第五实施例判断不执行灰尘校正的重放状况。第五实施例的特征为：当进行快速正向重放时，由于用户没有注意灰尘并且没有灰尘需要校正，因而不执行灰尘校正。
对于快速反向重放，应用与快速正向重放几乎相同的处理。如果判断为用户按下了快速反向重放按钮1609，则不执行灰尘校正。
如上所述，在快速正向重放或快速反向重放等重放中，即，在灰尘不突出的重放状况下，通过不进行灰尘校正，第五实施例可以提高运行速度并降低存储器等资源的使用量，其中，在快速正向重放或快速反向重放中，重放MP4文件等的运动图像文件以使得用户不长时间仔细观看图像。
第六实施例
在第一实施例～第五实施例中，以分开准备的图像处理设备重放运动图像。还可以将类似图像处理设备包含在摄像设备中，进行相同处理，并且在使用灰尘信息进行灰尘校正处理的同时，在摄像设备中重放MP4文件等的运动图像文件。第六实施例也可以提高运行速度并降低运动图像重放中存储器等资源的使用量。另外，第六实施例可以向用户提供校正了明显的灰尘等的阴影的高质量的图像。
其它实施例
还可以通过下面的方法实现这些实施例的目的。向系统和设备提供存储用以实现上述实施例的功能的软件程序代码的存储介质(或记录介质)。该系统或设备的计算机(或CPU或MPU)读出并执行存储在该存储介质中的程序代码。在这种情况下，从存储介质读出的程序代码实现上述实施例的功能。存储程序代码的存储介质构成本发明。不仅仅通过使计算机执行所读出的程序代码来实现上述实施例的功能。本发明还包括这样一种情况：运行在该计算机上的操作系统(OS)等基于程序代码的指令执行部分或全部实际处理，从而实现上述实施例的功能。
本发明还包括下面的情况。更具体地，将从存储介质读出的程序代码写入插入计算机中的功能扩展卡的存储器或与计算机连接的功能扩展单元的存储器中。该功能扩展卡或功能扩展单元的CPU基于程序代码的指令执行部分或全部实际处理，从而实现上述实施例的功能。
应用了本发明的存储介质存储与上述过程相对应的程序代码。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种图像处理设备，其重放运动图像数据，所述图像处理设备包括：
输入单元，其接收捕获了异物的阴影的运动图像数据；
获取单元，其获取包括所述异物的位置和大小的信息的异物信息；
校正单元，其通过使用所述获取单元所获得的所述异物信息，校正所述运动图像数据的每一帧中的所述异物的阴影；
重放单元，其重放所述运动图像数据；
输出单元，其输出所述重放单元所重放的图像；以及
设置单元，其设置是否进行所述校正单元的校正操作，
其中，当所述重放单元暂停所述运动图像数据的重放时，所述设置单元设置成进行从所述输出单元输出的重放帧中的校正操作。
2.根据权利要求1所述的图像处理设备，其特征在于，当所述重放单元暂停所述运动图像数据的重放时，所述设置单元设置成进行用于校正在暂停时从所述输出单元输出的重放帧中的所述异物的阴影的处理。
3.根据权利要求1所述的图像处理设备，其特征在于，当所述重放单元暂停所述运动图像数据的重放时，所述设置单元设置成进行用于校正从所述输出单元输出的任意重放帧中的所述异物的阴影的处理。
4.根据权利要求3所述的图像处理设备，其特征在于，所述任意重放帧包括已输出的重放帧。
5.一种图像处理设备，其重放运动图像数据，所述图像处理设备包括：
输入单元，其接收捕获了异物的阴影的运动图像数据；
获取单元，其获取包括所述异物的位置和大小的信息的异物信息；
校正单元，其通过使用所述获取单元所获得的所述异物信息，校正所述运动图像数据的每一帧中的所述异物的阴影；
重放单元，其重放所述运动图像数据；
输出单元，其输出所述重放单元所重放的图像；以及
设置单元，其根据所述重放单元对所述运动图像数据的重放状况，设置是否进行所述校正单元的校正操作，
其中，当所述重放单元以帧正向前进或帧反向前进进行重放时，所述设置单元设置成进行用于校正从所述输出单元输出的重放帧中的所述异物的阴影的处理。
6.一种图像处理设备，其重放运动图像数据，所述图像处理设备包括：
输入单元，其接收捕获了异物的阴影的运动图像数据；
获取单元，其获取包括所述异物的位置和大小的信息的异物信息；
校正单元，其通过使用所述获取单元所获得的所述异物信息，校正所述运动图像数据的每一帧中的所述异物的阴影；
重放单元，其重放所述运动图像数据；
输出单元，其输出所述重放单元所重放的图像；以及
设置单元，其根据所述重放单元对所述运动图像数据的重放状况，设置是否进行所述校正单元的校正操作，
其中，当所述重放单元以慢动作重放时，所述设置单元设置成进行用于校正从所述输出单元输出的重放帧中的所述异物的阴影的处理。
7.一种图像处理设备，其重放运动图像数据，所述图像处理设备包括：
输入单元，其接收捕获了异物的阴影的运动图像数据；
获取单元，其获取包括所述异物的位置和大小的信息的异物信息；
校正单元，其通过使用所述获取单元所获得的所述异物信息，校正所述运动图像数据的每一帧中的所述异物的阴影；
重放单元，其重放所述运动图像数据；
输出单元，其输出所述重放单元所重放的图像；以及
设置单元，其根据所述重放单元对所述运动图像数据的重放状况，设置是否进行所述校正单元的校正操作，
其中，当所述重放单元以快速正向重放或快速反向重放进行重放时，所述设置单元设置成不进行从所述输出单元输出的重放帧中的校正操作。
8.一种图像处理设备的控制方法，所述图像处理设备重放运动图像数据，所述控制方法包括以下步骤：
输入步骤，用于接收捕获了异物的阴影的运动图像数据；
获取步骤，用于获取包括所述异物的位置和大小的信息的异物信息；
校正步骤，用于通过使用在所述获取步骤中所获得的所述异物信息，校正所述运动图像数据的每一帧中的所述异物的阴影；
重放步骤，用于重放所述运动图像数据；
输出步骤，用于输出所述重放步骤所重放的图像；以及
设置步骤，用于设置是否进行所述校正步骤中的校正操作，
其中，当所述重放步骤中对所述运动图像数据的重放状况是暂停时，所述设置步骤设置成进行从所述输出步骤输出的重放帧中的校正操作。
CN2009101355448A 2008-04-21 2009-04-21 图像处理设备及其控制方法 Expired - Fee Related CN101568031B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008110472A JP5086879B2 (ja) 2008-04-21 2008-04-21 画像処理装置及びその制御方法及びプログラム
JP2008110472 2008-04-21
JP2008-110472 2008-04-21

Publications (2)

Publication Number Publication Date
CN101568031A CN101568031A (zh) 2009-10-28
CN101568031B true CN101568031B (zh) 2012-05-23

Family

ID=41201176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101355448A Expired - Fee Related CN101568031B (zh) 2008-04-21 2009-04-21 图像处理设备及其控制方法

Country Status (3)

Country Link
US (1) US8503855B2 (zh)
JP (1) JP5086879B2 (zh)
CN (1) CN101568031B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5185188B2 (ja) * 2009-05-08 2013-04-17 パナソニック株式会社 映像再生装置の自動検証システム
JP2012054788A (ja) * 2010-09-01 2012-03-15 Canon Inc データファイル転送装置、その制御方法、プログラム及び記憶媒体
CN107872716B (zh) * 2016-09-23 2019-12-06 杭州海康威视数字技术股份有限公司 一种后置封装的流式数据解析方法、装置及电子设备
CN107979783B (zh) * 2016-10-25 2020-03-24 杭州海康威视数字技术股份有限公司 一种流式数据解析方法、装置及电子设备
CN107977551B (zh) * 2016-10-25 2020-07-03 杭州海康威视数字技术股份有限公司 一种保护文件的方法、装置及电子设备
CN107527003B (zh) * 2017-05-03 2020-09-04 武汉东智科技股份有限公司 球型摄像机镜头粘附灰斑的视频质量诊断方法
DE102017209271A1 (de) * 2017-06-01 2018-12-06 Robert Bosch Gmbh Betriebsverfahren und Steuereinheit für eine Laserprojektionseinheit sowie Laserprojektionseinheit
CN110858916B (zh) * 2018-08-24 2020-11-24 上海交通大学 支持大跨度相关性信息编码的标识方法及系统
US20220215436A1 (en) * 2021-01-07 2022-07-07 Interwise Ltd. Apparatuses and methods for managing content in accordance with sentiments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001319A (zh) * 2006-01-12 2007-07-18 佳能株式会社 图像处理设备和图像处理方法
CN101115138A (zh) * 2006-07-26 2008-01-30 佳能株式会社 图像处理设备和其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105241A (ja) 1992-09-17 1994-04-15 Sony Corp 画素欠陥補正方法
JP3980782B2 (ja) * 1999-02-03 2007-09-26 富士フイルム株式会社 撮像制御装置および撮像制御方法
JP2001223894A (ja) 2000-02-14 2001-08-17 Canon Inc 画像処理装置、方法および記憶媒体
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
JP4040343B2 (ja) 2002-03-28 2008-01-30 株式会社東芝 動画像処理装置
JP4197968B2 (ja) 2003-02-07 2008-12-17 オリンパス株式会社 電子撮像装置
US7365788B2 (en) 2003-02-07 2008-04-29 Olympus Corporation Imager apparatus
US7369712B2 (en) * 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
JP2006074130A (ja) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd 画像復号方法、画像復号装置および撮像装置
JP4359543B2 (ja) * 2004-08-23 2009-11-04 富士フイルム株式会社 撮像装置
JP2006211426A (ja) * 2005-01-28 2006-08-10 Kyocera Corp 撮像装置およびその画像生成方法
JP4974608B2 (ja) * 2006-08-11 2012-07-11 オリンパスイメージング株式会社 画像撮影装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001319A (zh) * 2006-01-12 2007-07-18 佳能株式会社 图像处理设备和图像处理方法
CN101115138A (zh) * 2006-07-26 2008-01-30 佳能株式会社 图像处理设备和其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2005-56761A 2004.02.19

Also Published As

Publication number Publication date
US8503855B2 (en) 2013-08-06
JP5086879B2 (ja) 2012-11-28
US20090263099A1 (en) 2009-10-22
CN101568031A (zh) 2009-10-28
JP2009260892A (ja) 2009-11-05

Similar Documents

Publication Publication Date Title
CN101568031B (zh) 图像处理设备及其控制方法
CN101662578B (zh) 图像处理装置及其控制方法
JP5047080B2 (ja) 画像処理装置及びその制御方法及びプログラム
CN101385334B (zh) 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101686331B (zh) 摄像装置及其控制方法
CN105247864B (zh) 编码器、解码器以及图像处理系统
JP5014195B2 (ja) 撮像装置及びその制御方法及びプログラム
JP5203869B2 (ja) 画像処理装置及びその制御方法及びプログラム
CN1964459A (zh) 图像摄取装置、图像处理方法和程序
CN105144700A (zh) 图像处理设备和图像处理方法
US20130039416A1 (en) Image encoding apparatus, image encoding method and program
JP5111315B2 (ja) 画像処理装置及び画像処理方法及びプログラム
CN101299801B (zh) 摄像设备及其控制方法
US8948573B2 (en) Image processing apparatus
JP5247346B2 (ja) 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法
US8953055B2 (en) Image pickup apparatus
JP2009296361A (ja) 画像処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20200421