CN100525384C - 图像摄取装置及其控制方法、图像处理装置和图像处理方法 - Google Patents
图像摄取装置及其控制方法、图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN100525384C CN100525384C CNB200710096349XA CN200710096349A CN100525384C CN 100525384 C CN100525384 C CN 100525384C CN B200710096349X A CNB200710096349X A CN B200710096349XA CN 200710096349 A CN200710096349 A CN 200710096349A CN 100525384 C CN100525384 C CN 100525384C
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- foreign matter
- offset
- area information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000000034 method Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012360 testing method Methods 0.000 claims abstract description 99
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 230000014509 gene expression Effects 0.000 claims description 31
- 238000010521 absorption reaction Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000005693 optoelectronics Effects 0.000 claims description 10
- 230000008676 import Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 238000006073 displacement reaction Methods 0.000 abstract 4
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种图像摄取装置，即使在设置于摄像器件的前方的光学部件上附着有异物的情况下，也能得到异物的影响少的图像。上述图像摄取装置包括：摄像器件，对被拍摄物像进行光电转换；存储器，存储异物区域信息，该异物区域信息涉及附着在设置于摄像器件的前方的光学部件上的异物；位置偏移检测部，检测由摄像器件拍摄大致相同的被拍摄物而生成的多个图像的相互位置偏移；图像合成部，根据位置偏移检测部的检测结果，将多个图像进行对位而合成；图像校正部，根据位置偏移检测部的检测结果和由上述存储器所存储的异物区域信息，校正多个图像的至少一部分。
Description
技术领域
本发明涉及抑制在数字照相机等中附着于摄像器件(imagesensor)附近的异物给图像质量造成影响的技术。
背景技术
近年来，照相机的数字化正在飞速地发展，尤其是在与以往的单镜头反射式照相机(single-lens reflex camera)相同的光学配置下将胶卷置换成进行光电转换的摄像器件的所谓数字单镜头反射式照相机正在逐渐普及。由于数字单镜头反射式照相机不存在胶卷的卷绕、更换这样的操作，所以在镜头更换等的操作中，一旦异物进入到摄像器件附近，若继续拍摄的话，异物将被摄入所拍摄的像中。因此，存在一系列有损拍摄图像质量的问题。
日本特开2004-172820号公报公开了利用多个图像进行异物检测的方法。根据日本特开2004-172820号公报所公开的发明，用户预先取得多个图像，检测多个图像的对比度等不变部分，并以不变部分为基础来检测异物位置。用户能通过在利用清洁模式等适当地进行异物除去之后进行拍摄来得到高品质的像。
日本特开2004-222231号公报公开了由基准图像校正由异物造成的亮度变化的方法。根据日本特开2004-222231号公报所公开的发明，拍摄作为基准的具有均匀亮度的被拍摄物，并根据此时的亮度分布生成透射率图。然后，能通过对用户所拍摄的图像进行适当的增益校正来校正由异物造成的透射率变化，从而得到高品质的图像。
日本特开2000-341582号公报公开了用于对多个图像的位置进行对位的方法。根据日本特开2000-341582号公报所公开的发明，参照可靠度高的特征点进行多个图像的对位，由多个图像生成1个图像。能通过适当地进行合成来得到放大了动态范围的合成图像。
但是，在上述现有技术中存在如下问题。
在日本特开2004-172820号公报的发明中存在这样的问题，即用户需要进行清洁模式等的动作，不能应对在即将拍摄之前附着的异物。
在日本特开2004-222231号公报的发明中也同样，用户需要进行清洁模式等的动作，不能应对在即将拍摄之前附着的异物。并且，存在这样的问题，即在出现了纹理(texture)影响这样的参照图像不合适的情况下，不能进行适当的增益校正。
在日本特开2000-341582号公报的发明中存在这样的问题，即不能处理附着了异物时的图像质量下降。
发明内容
因此，本发明是鉴于上述课题做出的，其目的在于，在图像摄取装置(image capturing apparatus)中，在异物附着于摄像器件附近的情况下，也能得到异物的影响小的图像。
为了解决上述课题，实现本发明的目的，根据本发明的第一方案，提供一种图像摄取装置，包括：摄像器件，对被拍摄物像(object image)进行光电转换；存储机构，存储异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；位置偏移检测机构，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正机构，根据上述位置偏移检测机构的检测结果和由上述存储机构所存储的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第二方案，提供一种图像摄取装置，包括：摄像器件，对被拍摄物像进行光电转换；异物区域检测机构，检测异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；位置偏移检测机构，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正机构，根据上述位置偏移检测机构的检测结果和由上述异物区域检测机构检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第三方案，提供一种图像摄取装置的控制方法，上述图像摄取装置包括：摄像器件，对被拍摄物像进行光电转换；存储机构，存储异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息，上述控制方法包括：位置偏移检测步骤，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正步骤，根据上述位置偏移检测步骤的检测结果和由上述存储机构所存储的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第四方案，提供一种图像摄取装置的控制方法，上述图像摄取装置包括摄像器件，对被拍摄物像进行光电转换，上述控制方法包括：异物区域检测步骤，检测异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；位置偏移检测步骤，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正步骤，根据上述位置偏移检测步骤的检测结果和在上述异物区域检测步骤中检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第五方案，提供一种图像处理装置，包括：取得机构，取得异物区域信息和由图像摄取装置连续生成的第一图像和第二图像，该异物区域信息涉及附着在设置于上述图像摄取装置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；位置偏移检测机构，检测上述第一图像和上述第二图像之间的相互位置偏移；图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正机构，根据上述位置偏移检测机构的检测结果和上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第六方案，提供一种图像处理装置，包括：取得机构，取得由图像摄取装置连续生成的第一图像和第二图像；位置偏移检测机构，检测上述第一图像和上述第二图像之间的相互位置偏移；异物区域检测机构，检测异物区域信息，该异物区域信涉及附着在设置于上述图像摄取装置所配置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正机构，根据上述位置偏移检测机构的检测结果和由上述异物区域检测机构检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第七方案，提供一种图像处理方法，包括：取得步骤，取得异物区域信息和由图像摄取装置连续生成的第一图像和第二图像，该异物区域信息涉及附着在设置于上述图像摄取装置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；位置偏移检测步骤，检测上述第一图像和上述第二图像之间的相互位置偏移；图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正步骤，根据上述位置偏移检测步骤的检测结果和上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
根据本发明的第八方案，提供一种图像处理方法，包括：取得步骤，取得由图像摄取装置连续生成的第一图像和第二图像；位置偏移检测步骤，检测上述第一图像和上述第二图像之间的相互位置偏移；异物区域检测步骤，检测异物区域信息，该异物区域信息涉及附着在设置于上述图像摄取装置所配置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及图像校正步骤，根据上述位置偏移检测步骤的检测结果和在上述异物区域检测步骤中检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
本发明的其它特点，将通过下面的参照附图进行的说明而得到明确。
附图说明
图1是表示本发明的第一实施方式的数字照相机的结构的框图。
图2是表示第一实施方式的图像处理装置的结构的框图。
图3是从图2所示的图像处理装置抽出图像处理部进行表示的图，是表示第一实施方式的图像处理方法的数据流的框图。
图4A、图4B是表示提供给位置偏移检测部的2个图像的图。
图4C是表示不进行对位地重叠了图4A、图4B所示的2个图像时的示意图。
图4D是进行对位地重叠了图4A、图4B所示的2个图像时的示意图。
图5A-图5C是表示合成前的2个图像和合成后的图像的图。
图6是表示第二实施方式的图像处理装置的内部结构的框图。
图7A、图7B是表示光圈和异物的像的关系的示意图。
图8是从图6所示的图像处理装置抽出图像处理部进行表示的图，是表示第二实施方式的图像处理方法的数据流的框图。
图9是表示不进行对位地将所提供的2个图像重叠后的图像的图。
具体实施方式
以下，参照附图详细地说明本发明的最佳实施方式。
(第一实施方式)
图1是表示本发明的第一实施方式的数字照相机结构的框图。
在图1中，41表示用于形成被拍摄物像的摄影光学系统，41a是设置在摄影光学系统41中的用于调节入射摄像器件42的光量的光圈，42表示用于对被拍摄物像进行光电转换的摄像器件。靠近摄像器件42的前面而配置有低通滤光器或防护滤光器(cover filter)这样的光学部件42a，异物附着在该光学部件42a的表面。所附着的异物形成影子而被拍摄到摄像器件42上的被拍摄物像上。此外，43表示将从摄像器件42输出的模拟图像信号转换为数字信号的A/D转换器，44表示处理从A/D转换器输出的数字图像信号的图像处理装置。此外，45表示控制摄影光学系统41的镜头位置和光圈开度的镜头系统控制部，46表示AF(自动对焦)传感器、AE(自动曝光)传感器等各种传感器。此外，47表示控制数字照相机的全部动作的照相机控制部，48表示释放开关(release switch)、显示器等的I/O，49表示存储拍摄图像和各种信息的存储器。
用户的操作经由I/O48获得，根据用户的指示进行电源ON/OFF、拍摄动作等。在指示了拍摄动作的情况下，根据从各种传感器46和摄像器件42得到的信息，照相机控制部47确定适当的拍摄条件，经由镜头系统控制部45设定适当的镜头位置等。在曝光后经由A/D转换器43将摄像器件42的输出信号数字化，然后由图像处理装置44对其实施适当的图像处理并将其保存在存储器49中。此外，必要时，经由I/O48在未图示的显示器上显示图像。
图像处理装置44一般进行白平衡调整、RGB显影、压缩编码等处理。在本实施方式的图像处理装置44中，除此之外还设有合成处理部，用于合成多个图像而生成1个输出图像。
图2是表示图像处理装置44的结构的框图。
在图2中，44表示图像处理装置，52表示进行多个图像10a、10b、......的合成和校正的图像处理部，53表示白平衡调整部、54表示RGB显影部，55表示压缩编码部。
详细情况将在后面表述，在本实施方式中，在由用户的指示等指示了利用多个图像校正异物造成的图像质量下降的模式的情况下，将多个图像10a、10b、......合成，生成1个输出图像11。然后对输出图像11适当地进行图像处理，由此能得到校正了由异物造成的图像质量下降的高品质的压缩图像。
图3是从图2所示的图像处理装置44主要抽出图像处理部52进行表示的图，是表示本实施方式的图像处理方法的数据流的框图。用图3说明本实施方式的图像处理动作。
在此，说明图2和图3所示的多个图像10a、10b、......。
图2和图3所示的多个图像10a、10b、......是通过连拍相同的被拍摄物而得到的图像。在本实施方式中，以这样连拍相同的被拍摄物而生成多个图像并合成上述多个图像而生成1个图像为前提。连拍相同的被拍摄物并合成所得的多个拍摄图像的理由如下。
众所周知，在被拍摄物的亮度低且拍摄时不能得到足够的快门速度的情况下，会发生手抖动而使图像质量下降。在这种情况下，相对于能得到适当曝光的、易发生手抖动的快门速度，要使快门速度提高到难以发生手抖动的快门速度来拍摄多张曝光不足的图像，并合成上述多张图像而生成适当曝光的1张图像。即该技术是通过拍摄多张能不考虑手抖动的、曝光不足的图像并将其进行合成来得到手抖动影响不明显的、适当曝光的图像。
在本实施方式中，图2和图3所示的多个图像10a、10b、......是以这样的目的连续拍摄而得到的图像。多个图像10a、10b、......并不限于以校正手抖动为目的而拍摄的图像，也可以是为了以其它目的合成多个图像而拍摄的图像。
接下来，以下参照图3说明本实施方式的图像处理动作。
如图3所示那样，多个图像10a、10b、......被输入到位置偏移检测部1和图像合成部2。由位置偏移检测部1利用例如日本特开2000-341582号公报所公开的方法等检测多个图像间的位置偏移。在图像合成部2中，根据由位置偏移检测部1所求出的位置偏移信息进行多个图像的对位和图像的曝光校正等，由多个图像合成1个图像。在图像校正部3，根据由图像合成部2所得的合成图像、和由位置偏移检测部1所得的多个图像间的位置偏移信息、以及在存储器4中存储的异物区域信息校正合成图像，生成输出图像11。存储器4上的异物区域信息是关于摄像器件附近的区域的信息，该区域中存在利用例如日本特开2004-172820号公报和日本特开2004-222231号公报所公开的方法等检测出的异物。此外，该异物区域信息是涉及存在于光学部件42a的异物被摄入到拍摄图像中时的位置和大小的信息。
接下来，用图4A-D说明位置偏移检测部1和图像合成部2的动作。
在图4A-D中，为了便于说明，示出了要合成的图像数为2的例子。
图4A、图4B示出了提供给位置偏移检测部1的多个图像(此处为2个图像)。图4C是不进行对位地重叠图4A、图4B所示的2个图像的情况的示意图。
位置偏移检测部1利用日本特开2000-341582号公报所公开的方法等，求多个图像间(此处为2个图像)的位置偏移。图4C示出了此时求出的2个图像间的偏移矢量。图像合成部2根据由位置偏移检测部1所求出的2个图像间的偏移矢量进行对位，合成2个图像。图4D表示所合成的图像的例子。
在此考虑在光学部件42a附着有异物的情况。在图4A-D中，用20a和20b示出了2个图像中的图像品质因光学部件42a上的异物附着而下降了的区域。此外，用21a、21b示出了2个图像中的同一被拍摄物。
在以不相同的取景拍摄2个图像的情况下，由位置偏移检测部1求的偏移矢量取不为0的值。即，在图4C中，矢量22c取不为0矢量的值，即使被拍摄物21a和被拍摄物21b是相同的被拍摄物，它们在画面上的位置也不一致。
另一方面，基于附着在光学部件42a上的异物的像始终存在于画面上的固定部位。即在不进行对位而重叠2个图像的图4C中，图像品质因异物的附着而降低的区域20a、20b的位置一致。因此，如图4D所示，在对2个图像适当进行对位而将其合成后，反而是被拍摄物21a和21b的位置一致，而图像的品质因异物的附着而降低的区域20a、20b的位置却不一致。即在图4D所示的合成后的图像中形成图像品质下降的2个区域20a、20b。
接下来，用图3和图5A-图5C说明作为本实施方式的要部的图像校正部3的动作。
在图像校正部3中输入利用位置偏移检测部1求出的偏移信息(偏移矢量)、由图像合成部2合成的合成图像、预先存储在存储器4中的异物信息(异物的位置、大小等)。异物信息利用日本特开2004-172820号公报和日本特开2004-222231号公报所公开的方法等预先求出，并储存在存储器4中。
图5A-C是示出了合成前的2个图像和合成后的图像的图，图5A、图5B分别示出了合成前的2个图像，图5C示出了合成后的图像。
在图5A-图5C中，存储器4上的信息例如用异物的位置和大小来提供，如图5A、图5B所示，指定合成前的2个图像各自的异物区域20a、20b。如用图4A-图4D所说明的那样，由于2个像的位置偏移信息已被检测出，因此能够容易地指定对图5A的图像位置进行对位而使其与图5B的图像重叠情况下的异物区域20a占有的位置为23b。同样，能够指定对图5B的图像位置进行对位而使其与图5A的图像重叠情况下的异物区域20b占有的位置为23a。
异物区域23a和23b的区域在另一图像上被认为是成为品质下降后的图像的一部分，因此用品质未下降的图像23a、23b来校正该部分。例如，用23b替换20a的部分，用23a替换20b的部分，或利用对20a的部分和23b、以及20b和23a进行加权平均时使权重变化等适当方法来进行图像校正。
最终得到的图像使用未受到由所谓异物造成的图像质量下降的区域的信息来生成，因此能得到高品质的图像。并且，通过使用比2张更多的图像，能更高精度地应对大范围的图像质量下降。
如上所述，根据本实施方式能够抑制异物被摄入所拍摄的图像中，结果得到高品质的图像。
(第二实施方式)
在第二实施方式中，数字照相机的框结构与图1所示的第一实施方式的结构相同，仅仅是图像处理装置44的内部结构不同。
图6是表示本实施方式的图像处理装置44的内部结构的框图。在图6中，44表示图像处理装置，52a表示多个图像处理部，53表示白平衡调整部、54表示RGB显影部，55表示压缩编码部。多个图像处理部52a与图2所示的第一实施方式的图像处理部52的不同点在于，具有异物区域检测部5。
参照图6说明本实施方式的异物区域检测部5的动作。
在通过用户的指示等指示了由多个图像校正异物造成的图像质量下降的模式的情况下，获得在用户指示的光圈状态下的适当曝光的多个图像10a、10b......和使光圈41a比预先确定的值缩小的多个图像13a、13b。
图7A、图7B是表示光圈和异物的图像关系的示意图。图7A是开放了光圈(＝减小了F数)时的示意图，图7B是缩小了光圈(＝增大了F数)时的示意图。
在图7A、图7B中，61a、61b示意地表示瞳孔，62a、62b示意地表示在摄像器件上异物影响所及的范围，63示意地表示异物，64a、64b示意地表示在摄像器件上的异物影响的大小。可知，通过缩小光圈41a，异物影响所及的范围变小并且峰值变大，对图像信号的影响变大。结果，通过缩小光圈41a能够使异物的像鲜明而易于检测。由此，能够使异物检测的可靠度提高。
多个图像处理部52a利用被缩小的图像进行异物检测，以由此检测出的异物区域信息为基础校正用户指示的光圈状态下的适当曝光的多个图像，得到输出图像11。结果，能得到根据更精确的异物区域信息进行了校正的高品质的像。
图8是从图6所示的图像处理装置44主要抽出图像处理部52a进行表示的图，是表示本实施方式的图像处理方法的数据流的框图。用图8说明本实施方式的图像处理动作。
如图8所示那样，多个图像10a、10b、......被提供给位置偏移检测部1和图像合成部2。在位置偏移检测部1，利用例如日本特开2000-341582号公报所公开的方法等检测多个图像间的位置偏移。在图像合成部2中，根据由位置偏移检测部1所求出的位置偏移信息进行多个图像的对位和图像的曝光校正等，由多个图像合成1个图像。异物区域检测部5利用例如日本特开2004-172820号公报所公开的方法等根据位置偏移检测部1所求出的位置偏移信息和多个图像检测异物的位置、大小等异物区域信息。在图像校正部3，根据由图像合成部2得到的合成图像、由位置偏移检测部1得到的多个图像间的位置偏移信息、以及由异物区域检测部5得到的异物区域信息来校正合成图像，并生成输出图像11。
位置偏移检测部1、图像合成部2、以及图像校正部3的动作与第一实施方式同样，因此省略。
用图9说明异物区域检测部5的动作。
图9表示不进行对位地重叠了所提供的多个图像(此处为2个图像)后的图像。图9中的20a、20b表示图像品质因异物而下降了的区域。此外，在图9中，22c表示由位置偏移检测部1所求出的位置偏移矢量。
在由位置偏移检测部1适当地求出了位置偏移信息的情况下，能检测出以对比度为基准所抽取的有限个特征点中的由灰尘所生成的特征点以外所对应的特征点。另一方面，如图9的特征点24那样由灰尘生成的特征点不在多个图像间移动，因此没有与由位置偏移信息提供的移动矢量的前端(head)对应的点。利用该原理能够检测异物的像。
利用例如上所述的方法指定异物的位置，作为异物区域信息提供给图像校正部3。
图像校正部3使用第一实施方式所示的方法校正图像生成输出图像。
最终所得的图像使用未受到由所谓异物造成的图像质量下降的区域的信息生成，因此能得到高品质的图像。并且，通过使用比2张更多的图像，能更高精度地应对大范围的图像质量下降。
此外，在上述第二实施方式中，说明了合成以适当曝光连拍的多个图像的情况。但是，有时在多个图像分别适当曝光且没有手抖动的情况下，也不必合成多个图像。在该情况下，也可以仅将1张图像的异物区域用其它的图像中对应区域的图像来校正。由此也能从图像中消除异物的影响。
并且，在上述第一和第二实施方式中，说明了在照相机内合成多个图像的情况，也可以在照相机侧仅进行多个图像的拍摄，由照相机外部的图像处理装置进行图像的合成和异物的除去处理。
具体来说，在PC(个人计算机)等图像处理装置中，内置图像处理部52或52a。输入的多个拍摄图像10a、10b、......和多个图像13a、13b、......、异物区域信息，能够通过用LAN等连接照相机和PC、或经由可拆装的记录介质而取入PC。由此，能够由照相机外部的图像处理装置实现图像的合成和异物的除去处理。
如上所述，根据上述第一和第二实施方式，能够提供一种数字照相机和图像处理装置，可以抑制所拍摄的图像中摄入异物的情况，结果得到高品质的图像。它能够在拍摄的同时在数字照相机内或在拍摄后在PC等图像处理装置中进行异物的检测，因此无需要求用户进行清洁模式下的动作等，提高用户的便利性。进而，能够对刚要拍摄之前附着上的异物适当地进行校正动作。
(其它实施方式)
此外，各实施方式的目的也能利用如下方法实现。即，将存储有实现上述实施方式的软件的程序代码的存储介质(或记录介质)提供给系统或装置。而且，其系统或装置的计算机(或CPU、MPU)读出保存在存储介质中的程序代码并执行。这时，从记录介质读出的程序代码本身实现上述实施方式的功能，存储有其程序代码的存储介质构成本发明。并且，不仅通过执行计算机读出的程序代码能够实现上述实施方式的功能，本发明还包含以下这样的情况。即，根据程序代码的指示，在计算机上工作的操作系统(OS)等进行实际处理的一部分或全部，通过其处理能够实现上述实施方式的功能。
此外，本发明还包含以下这样的情况。即，从存储介质读出的程序代码被写入插入计算机的功能扩展卡或连接了计算机的功能扩展机构所具备的存储器中。然后，根据其程序代码的指示，其功能扩展卡或功能扩展机构所具备的CPU等进行实际处理的一部分或全部，通过其处理能够实现上述实施方式的功能。
在将本发明应用于上述记录介质的情况下，在其存储介质中，存储有与先前所说明的次序对应的程序代码。
以上，参照实施例描述了本发明，应理解为本发明并不限定于公开的实施例。所附的权利要求的范围应做最广泛的理解，使其包括所有的变更以及等价的结构和功能。
Claims (14)
1.一种图像摄取装置，包括：
摄像器件，对被拍摄物像进行光电转换；
存储机构，存储异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
位置偏移检测机构，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；
图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正机构，根据上述位置偏移检测机构的检测结果和由上述存储机构所存储的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
2.一种图像摄取装置，包括：
摄像器件，对被拍摄物像进行光电转换；
异物区域检测机构，检测异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
位置偏移检测机构，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；
图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正机构，根据上述位置偏移检测机构的检测结果和由上述异物区域检测机构检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
3.根据权利要求2所述的图像摄取装置，其特征在于：
上述异物区域检测机构在上述位置偏移检测机构的检测结果中，检测表示与画面内的其它部分不同的偏移的区域作为异物区域。
4.根据权利要求2所述的图像摄取装置，其特征在于：
在上述异物区域检测机构中输入与上述第一图像和上述第二图像不同的图像。
5.根据权利要求4所述的图像摄取装置，其特征在于：
在上述异物区域检测机构中输入用比预先确定的光
直径小的光直径拍摄的图像。
6.一种图像摄取装置的控制方法，上述图像摄取装置包括：
摄像器件，对被拍摄物像进行光电转换；以及
存储机构，存储异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息，
上述控制方法包括：
位置偏移检测步骤，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；
图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正步骤，根据上述位置偏移检测步骤的检测结果和由上述存储机构所存储的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
7.一种图像摄取装置的控制方法，上述图像摄取装置包括：
摄像器件，对被拍摄物像进行光电转换，
上述控制方法包括：
异物区域检测步骤，检测异物区域信息，该异物区域信息涉及附着在设置于上述摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息，
位置偏移检测步骤，检测由上述摄像器件连续生成的第一图像和第二图像之间的相互位置偏移；
图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正步骤，根据上述位置偏移检测步骤的检测结果和在上述异物区域检测步骤中检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
8.一种图像处理装置，包括：
取得机构，取得异物区域信息和由图像摄取装置连续生成的第一图像和第二图像，该异物区域信息涉及附着在设置于上述图像摄取装置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
位置偏移检测机构，检测上述第一图像和上述第二图像之间的相互位置偏移；
图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正机构，根据上述位置偏移检测机构的检测结果和上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
9.一种图像处理装置，包括：
取得机构，取得由图像摄取装置连续生成的第一图像和第二图像；
位置偏移检测机构，检测上述第一图像和上述第二图像之间的相互位置偏移；
异物区域检测机构，检测异物区域信息，该异物区域信息涉及附着在设置于上述图像摄取装置所配置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
图像合成机构，根据上述位置偏移检测机构的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正机构，根据上述位置偏移检测机构的检测结果和由上述异物区域检测机构检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
10.根据权利要求9所述的图像处理装置，其特征在于：
上述异物区域检测机构在上述位置偏移检测机构的检测结果中，检测表示与画面内的其它部分不同的偏移的区域作为异物区域。
11.根据权利要求9所述的图像处理装置，其特征在于：
在上述异物区域检测机构中输入与上述第一图像和上述第二图像不同的图像。
12.根据权利要求11所述的图像摄取装置，其特征在于：
在上述异物区域检测机构中输入用比预先确定的光圈直径小的光圈直径拍摄的图像。
13.一种图像处理方法，包括：
取得步骤，取得异物区域信息和由图像摄取装置连续生成的第一图像和第二图像，该异物区域信息涉及附着在设置于上述图像摄取装置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
位置偏移检测步骤，检测上述第一图像和上述第二图像之间的相互位置偏移；
图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正步骤，根据上述位置偏移检测步骤的检测结果和上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
14.一种图像处理方法，包括：
取得步骤，取得由图像摄取装置连续生成的第一图像和第二图像；
位置偏移检测步骤，检测上述第一图像和上述第二图像之间的相互位置偏移；
异物区域检测步骤，检测异物区域信息，该异物区域信息涉及附着在设置于上述图像摄取装置所配置的摄像器件的前方的光学部件上的异物并至少包含上述异物的位置信息；
图像合成步骤，根据上述位置偏移检测步骤的检测结果，对上述第一图像和上述第二图像进行对位而将其合成；以及
图像校正步骤，根据上述位置偏移检测步骤的检测结果和在上述异物区域检测步骤中检测出的上述异物区域信息，对于上述第一图像中的摄入了上述异物的一部分图像，使用上述第二图像中的未摄入上述异物的一部分图像来进行校正。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP112750/2006 | 2006-04-14 | ||
| JP2006112750A JP4757085B2 (ja) | 2006-04-14 | 2006-04-14 | 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101056354A CN101056354A (zh) | 2007-10-17 |
| CN100525384C true CN100525384C (zh) | 2009-08-05 |
Family
ID=38283172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200710096349XA Expired - Fee Related CN100525384C (zh) | 2006-04-14 | 2007-04-13 | 图像摄取装置及其控制方法、图像处理装置和图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8274582B2 (zh) |
| EP (1) | EP1845709B1 (zh) |
| JP (1) | JP4757085B2 (zh) |
| KR (1) | KR100829470B1 (zh) |
| CN (1) | CN100525384C (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103430058A (zh) * | 2011-03-22 | 2013-12-04 | 皇家飞利浦有限公司 | 包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8888680B2 (en) * | 2008-07-07 | 2014-11-18 | Olympus Medical Systems Corp. | Method and apparatus for foreign matter detection for blood content sensors |
| JP5231119B2 (ja) * | 2008-07-31 | 2013-07-10 | オリンパス株式会社 | 表示装置 |
| US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
| JP5106335B2 (ja) * | 2008-09-24 | 2012-12-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP5131257B2 (ja) * | 2009-08-27 | 2013-01-30 | カシオ計算機株式会社 | 表示制御装置及び表示制御プログラム |
| JP5462560B2 (ja) * | 2009-09-08 | 2014-04-02 | キヤノン株式会社 | 画像処理装置 |
| JP2011078047A (ja) * | 2009-10-02 | 2011-04-14 | Sanyo Electric Co Ltd | 撮像装置 |
| US8606009B2 (en) | 2010-02-04 | 2013-12-10 | Microsoft Corporation | High dynamic range image generation and rendering |
| DE102011077296B4 (de) * | 2011-06-09 | 2020-12-10 | Carl Zeiss Smt Gmbh | Verfahren und Vorrichtung zur Bestimmung der relativen Lage einer ersten Struktur zu einer zweiten Struktur oder eines Teiles davon |
| SE1250048A1 (sv) * | 2012-01-24 | 2013-07-25 | Wesdyne Sweden Ab | En bildförbättringsanordning för reduktion av brus i digitala bilder |
| JP6115069B2 (ja) * | 2012-10-17 | 2017-04-19 | セイコーエプソン株式会社 | 電子機器、電子機器の制御装置、電子機器の駆動方法、電気光学装置の駆動方法 |
| JP6348770B2 (ja) * | 2014-05-08 | 2018-06-27 | 日産自動車株式会社 | カメラ装置および立体物検出装置 |
| WO2016157607A1 (ja) * | 2015-03-27 | 2016-10-06 | 富士フイルム株式会社 | カメラ装置、画像処理装置及び画像処理方法 |
| CN105227851B (zh) * | 2015-11-09 | 2019-09-24 | 联想(北京)有限公司 | 图像处理方法及图像采集装置 |
| WO2020196536A1 (ja) * | 2019-03-26 | 2020-10-01 | 株式会社小糸製作所 | 撮影システムおよび画像処理装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212626A (ja) * | 1996-02-01 | 1997-08-15 | Hitachi Ltd | 画像編集方法および編集装置 |
| JPH11272855A (ja) * | 1998-03-23 | 1999-10-08 | Leben:Kk | 撮像の障害物除去方法 |
| JP3461482B2 (ja) | 1999-02-24 | 2003-10-27 | オリンパス光学工業株式会社 | デジタルカメラ及びデジタルカメラのゴミ位置検出方法 |
| JP4284570B2 (ja) | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
| GB9921331D0 (en) * | 1999-09-09 | 1999-11-10 | Pandora Int Ltd | Film restoration system |
| KR100466458B1 (ko) * | 1999-09-20 | 2005-01-14 | 마츠시타 덴끼 산교 가부시키가이샤 | 운전지원장치 |
| AU2001242209A1 (en) * | 2001-03-30 | 2001-07-24 | Sinar Ag | Digital photography method and digital camera |
| US6928192B2 (en) * | 2001-04-19 | 2005-08-09 | Koninklijke Philips Electronics N.V. | User interface for interactive removal of defects in an image sequence |
| US7120315B2 (en) * | 2002-03-18 | 2006-10-10 | Creo Il., Ltd | Method and apparatus for capturing images using blemished sensors |
| JP4179079B2 (ja) * | 2002-08-30 | 2008-11-12 | 株式会社ニコン | 電子カメラ及びその制御プログラム |
| JP3826878B2 (ja) * | 2002-11-19 | 2006-09-27 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
| US7853097B2 (en) * | 2002-12-27 | 2010-12-14 | Nikon Corporation | Image processing apparatus and image processing program |
| JP4466015B2 (ja) | 2002-12-27 | 2010-05-26 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
| JP2004341582A (ja) | 2003-05-13 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 多地点接続端末装置、多地点接続端末装置間接続方法、多地点接続端末装置間接続プログラム及びそのプログラムを記録した記録媒体 |
| US7209601B2 (en) * | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
| US7206461B2 (en) | 2003-09-30 | 2007-04-17 | Fotonation Vision Limited | Digital image acquisition and processing system |
| JP2006038582A (ja) | 2004-07-26 | 2006-02-09 | Dainippon Screen Mfg Co Ltd | 画像の領域分割による欠陥の検出 |
| WO2006022229A1 (ja) * | 2004-08-25 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム |
| JP4480147B2 (ja) * | 2004-09-13 | 2010-06-16 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| US7450778B2 (en) * | 2005-03-17 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
| US7548659B2 (en) * | 2005-05-13 | 2009-06-16 | Microsoft Corporation | Video enhancement |
| US7440608B2 (en) * | 2005-05-31 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method and system for detecting image defects |
| JP2008072565A (ja) * | 2006-09-15 | 2008-03-27 | Ricoh Co Ltd | 撮像装置及び欠陥画素補正方法 |
-
2006
- 2006-04-14 JP JP2006112750A patent/JP4757085B2/ja not_active Expired - Fee Related
-
2007
- 2007-04-04 KR KR1020070033287A patent/KR100829470B1/ko not_active IP Right Cessation
- 2007-04-12 EP EP07106043.8A patent/EP1845709B1/en not_active Expired - Fee Related
- 2007-04-12 US US11/734,505 patent/US8274582B2/en not_active Expired - Fee Related
- 2007-04-13 CN CNB200710096349XA patent/CN100525384C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103430058A (zh) * | 2011-03-22 | 2013-12-04 | 皇家飞利浦有限公司 | 包括相机的相机系统、相机、操作相机的方法以及用于对记录的图像去卷积的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070102395A (ko) | 2007-10-18 |
| EP1845709A2 (en) | 2007-10-17 |
| US20070242140A1 (en) | 2007-10-18 |
| US8274582B2 (en) | 2012-09-25 |
| JP2007286846A (ja) | 2007-11-01 |
| KR100829470B1 (ko) | 2008-05-16 |
| CN101056354A (zh) | 2007-10-17 |
| EP1845709B1 (en) | 2014-07-09 |
| JP4757085B2 (ja) | 2011-08-24 |
| EP1845709A3 (en) | 2011-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100525384C (zh) | 图像摄取装置及其控制方法、图像处理装置和图像处理方法 | |
| CN101076997B (zh) | 照相机和用于照相机的图像处理方法 | |
| JP4443735B2 (ja) | 撮像装置およびその動作制御方法 | |
| CN101001318B (zh) | 图像拍摄设备及其控制方法 | |
| US7494293B2 (en) | Digital single-lens reflex camera | |
| US8208034B2 (en) | Imaging apparatus | |
| US7190845B2 (en) | Image correction according to transmission characteristics of image sensing optical system | |
| JP4732303B2 (ja) | 撮像装置 | |
| US20030002746A1 (en) | Image creating device and image creating method | |
| JP4953770B2 (ja) | 撮像装置 | |
| US20110032371A1 (en) | Image capturing device | |
| JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
| JP2007071891A (ja) | ３次元計測装置 | |
| JP2004128683A (ja) | デジタルカメラ | |
| JP2012095116A (ja) | 撮像装置及びその制御方法 | |
| JP5332668B2 (ja) | 撮像装置および被写体検出プログラム | |
| JP3683392B2 (ja) | 固体撮像カメラ | |
| JP2006253875A (ja) | 撮像装置 | |
| JP2007184787A (ja) | デジタルカメラ | |
| JP2005176173A (ja) | 固体撮像装置 | |
| JP5101399B2 (ja) | 撮影装置および撮影装置の制御方法並びにプログラム | |
| JP2010050603A (ja) | 撮影装置およびプログラム | |
| JPH06153029A (ja) | 電子カメラのファインダ装置 | |
| JP2006148549A (ja) | 撮像素子及び撮像装置 | |
| JP2007329740A (ja) | 画像データの表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090805 Termination date: 20170413 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |