CN103918251B - 摄像装置及其控制方法 - Google Patents
摄像装置及其控制方法 Download PDFInfo
- Publication number
- CN103918251B CN103918251B CN201280054940.8A CN201280054940A CN103918251B CN 103918251 B CN103918251 B CN 103918251B CN 201280054940 A CN201280054940 A CN 201280054940A CN 103918251 B CN103918251 B CN 103918251B
- Authority
- CN
- China
- Prior art keywords
- zoom
- super
- zoom ratio
- mentioned
- resolution processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000008569 process Effects 0.000 claims abstract description 76
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 59
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims description 61
- 230000003287 optical effect Effects 0.000 claims description 45
- 239000000203 mixture Substances 0.000 claims description 20
- 238000011946 reduction process Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000011284 combination treatment Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/12—Adjusting pupillary distance of binocular pairs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
仅在需要进行超分辨率处理的情况下，可靠地生成进行了超分辨率处理的图像数据。如果变焦倍率落在Z1至Z2的光学变焦应用缩放范围内，则将通过变焦透镜放大后的图像数据记录在记录介质中。如果变焦倍率落在Z2至Z3的电子变焦应用缩放范围内，则对图像数据进行超分辨率处理，通过上述变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对超分辨率图像数据和没有进行超分辨率处理的图像数据合成后的图像数据进行电子变焦处理并记录。如果变焦倍率超过Z3，则记录对超分辨率图像数据进行了电子变焦处理后的图像数据。
Description
技术领域
本发明涉及摄像装置及其控制方法，特别是涉及具有光学变焦功能和电子变焦功能这两种功能的摄像装置及其控制方法。
背景技术
已知如果对变焦开关进行操作，则在光学变焦之后转换为电子变焦，并将超过光学变焦最大倍率的放大图像显示在显示装置上的技术。也存在在分段变化的光学变焦倍率之间显示电子变焦图像的技术(专利文献1、2)。
与光学变焦图像相比，电子变焦图像的分辨率通常较差。还存在为了在电子变焦图像中保持分辨率(例如轮廓部分的清晰度)，对应于变焦倍率进行图像轮廓校正的技术(专利文献3、4、5)。
专利文献1：日本特开2006－32576号公报
专利文献2：日本特开2005－62633号公报
专利文献3：日本特开2005－20061号公报
专利文献4：日本特开平11－168653号公报
专利文献5：日本特开平3－218173号公报
在专利文献3至5中，对应于电子变焦的倍率而对针对图像数据所进行的轮廓校正处理的强度、或轮廓校正处理的频率波段进行变更。但是，如果对于没有进行电子变焦甚至是具有足够分辨率的图像数据，进行例如适合于电子变焦图像的轮廓校正处理，则可能会产生伪像(artifact)和模糊等，反而使画质特性恶化。
发明内容
本发明的目的在于，仅在需要进行图像校正处理特别是后述的超分辨率处理的情况下，生成进行了超分辨率处理的图像数据。
本发明的目的另一在于，能够生成在整个变焦操作的范围内表示分辨率良好的图像的图像数据。
第1发明所涉及的摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；超分辨率处理单元，其针对上述图像数据进行抑制噪音强调并强调轮廓的超分辨率处理，生成超分辨率图像数据；以及加权合成单元，其在变焦倍率落在上述电子变焦应用缩放范围内时，通过上述变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。
第1发明也提供适合于上述摄像装置的控制的方法。第1发明所涉及的方法是一种摄像装置的控制方法，该摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；以及超分辨率处理单元，其针对上述图像数据进行抑制噪音强调并强调轮廓的超分辨率处理，生成超分辨率图像数据，在该摄像装置的控制方法中，在变焦倍率落在上述电子变焦应用缩放范围内时，通过上述变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。
如果使用变焦操作单元开始进行被摄体像的变焦操作，则首先进行变焦透镜的光学变焦(焦距变更)。直至摄像装置所具有的变焦透镜位于长焦端时的变焦倍率(光学最大变焦倍率、变焦透镜的最大焦距)为止，仅进行光学变焦。在进行了直至超过光学最大变焦倍率的变焦倍率为止的变焦操作之后，开始进行电子变焦处理，即，通过像素插补处理而对图像数据进行电子缩放。基于超过变焦透镜最大变焦倍率的变焦倍率而继续进行变焦。
在本说明书中，所谓的超分辨率处理，是指针对图像数据进行抑制噪音强调并强调轮廓的处理。即，所谓的超分辨率处理，是一种提高在由处理对象的图像数据所表示的图像中肉眼观察的图像的分辨率的图像处理，表示至少包含降噪(抑制、去除)处理及轮廓强调处理在内的图像处理。例如，上述超分辨率处理是降噪处理和轮廓强调处理的组合，其中，降噪处理基于使用平滑化过滤器的平滑化处理，轮廓强调处理用于提高图像中的轮廓成分的亮度值增益。通过对图像数据进行超分辨率处理，从而与没有进行超分辨率处理图像的图像相比，能够使变焦处理后图像的分辨率提高(轮廓更加清晰且噪声不明显的图像)。
根据第1发明，在变焦倍率落在电子变焦应用缩放范围内时进行加权合成处理，即，通过变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。能够生成下述加权合成图像数据，即，在电子变焦应用缩放范围内变焦倍率较小时，使没有进行超分辨率处理的图像数据的权重(比例)较大，而随着变焦倍率的增大，使进行了超分辨率处理的图像数据的权重逐渐增大。如上所述，在电子变焦应用缩放范围内，变焦倍率越大，图像的分辨率越差。通过使进行了超分辨率处理的图像数据的权重随着变焦倍率的增大而逐渐增大，从而能够在整个变焦操作的范围内抑制分辨率的恶化，能够使拍摄者肉眼观察到分辨率比较恒定的图像。另外，不会在从光学变焦应用缩放范围切换至电子变焦应用缩放范围的定时，生成进行了超分辨率处理的图像数据的权重突然很大的加权合成图像数据，从而能够还能够缓和分辨率的急剧变化。
优选上述摄像装置具有记录控制单元，如果变焦倍率落在光学变焦应用缩放范围内，则该记录控制单元将光学地缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中，如果变焦倍率落在电子变焦应用缩放范围内，则该记录控制单元将使上述加权合成而得到的图像数据中电子地缩放为该变焦倍率后的图像数据记录在记录单元中。能够将记录于记录单元中的图像数据，用于显示装置上的图像显示。可以通过电子变焦处理而将加权合成后的图像数据缩放为变焦倍率，也可以通过电子变焦处理而将加权合成前的超分辨率图像数据和没有进行超分辨率处理的图像数据缩放为变焦倍率，之后进行加权合成。如果变焦倍率已达到光学最大变焦倍率(光学变焦应用缩放范围)，则将进行了光学变焦而没有进行超分辨率处理的图像数据记录在记录单元中。另一方面，在变焦倍率超过光学最大变焦倍率，处于应该按照上述方式进行针对图像数据的电子变焦处理的变焦倍率时(电子变焦应用缩放范围)，将包含超分辨率图像数据在内的图像数据记录在记录单元中。
如上所述，如果变焦倍率落在光学变焦应用缩放范围内，则将光学地缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中。在一个实施方式中，还具有超分辨率处理控制单元，其按照如果变焦倍率落在上述光学变焦应用缩放范围内不进行超分辨率处理，而在变焦倍率落在上述电子变焦应用缩放范围内时对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制。在光学变焦应用缩放范围内，摄像装置的资源不会被超分辨率处理占用，至图像显示为止的时间也不会增长。
在其他实施方式中，上述加权合成单元在变焦倍率落在从上述光学最大变焦倍率到超过上述光学最大变焦倍率的第1变焦倍率为止的范围内时，对超分辨率图像数据和没有进行超分辨率处理的图像数据进行加权处理，对于上述记录控制单元，如果变焦倍率落在从上述光学最大变焦倍率到第1变焦倍率为止的范围内，则将使加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，而在变焦倍率超过上述第1变焦倍率的情况下，将使上述超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
也可以使超分辨率处理单元进行程度不同的2段超分辨率处理。在第1发明所涉及的其他实施方式中，上述超分辨率处理单元执行超分辨率处理程度不同的第1、第2的超分辨率处理，对于上述加权合成单元，如果变焦倍率落在从上述光学最大变焦倍率到超过上述光学最大变焦倍率的第1变焦倍率为止的范围内，则上述加权合成单元通过上述变焦倍率越大、超分辨率图像数据的权重越大的加权处理，将第1超分辨率处理的超分辨率图像数据和没有进行超分辨率处理的图像数据进行加权合成，如果变焦倍率落在从超过上述第1变焦倍率的第2变焦倍率到超过上述第2变焦倍率的第3变焦倍率为止的范围内，则上述加权合成单元通过上述变焦倍率越大、第2超分辨率处理的超分辨率图像数据的权重越大的加权处理，将第1超分辨率处理的超分辨率图像数据和与第1超分辨率处理相比程度强的第2超分辨率处理的超分辨率图像数据进行加权合成。关于上述记录控制单元，如果变焦倍率落在从上述光学最大变焦倍率到第1变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，如果变焦倍率落在从上述第1变焦倍率到第2变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，如果变焦倍率落在从第2变焦倍率到第3变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据和第2超分辨率处理的超分辨率图像数据加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，在变焦倍率超过第3变焦倍率的情况下，将使第2超分辨率处理的超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
开始进行超分辨率处理(超分辨率图像数据的合成)的变焦倍率，也可以是电子变焦应用缩放范围的最低变焦倍率(光学变焦应用缩放范围和电子变焦应用缩放范围的边界)。但是，也不一定是从电子变焦应用缩放范围的最低变焦倍率开始超分辨率处理。在一个实施方式中，上述摄像装置还具有加权合成控制单元，该加权合成控制单元按照下述方式控制上述加权合成单元，即，如果变焦倍率小于或等于规定的变焦倍率，则即使落在上述电子变焦应用缩放范围内也不对超分辨率图像数据进行合成，而在变焦倍率比上述规定的变焦倍率大时合成图像数据。在变焦倍率逐渐增大时，在超过光学变焦应用缩放范围和电子变焦应用缩放范围的边界而达到电子变焦应用缩放范围内的上述规定的变焦倍率时，对超分辨率图像数据进行合成。其理由在于，虽然落在电子变焦应用缩放范围内，但如果是变焦倍率很小的范围，则即使进行电子变焦处理，图像的分辨率有时也并不很差。
上述规定的变焦倍率是事先确定的基准空间频率处的空间频率响应达到规定值时的变焦倍率。例如，能够使用下述变焦倍率，即，关于事先确定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应达到N％(N为任意正值)响应。另外，作为上述规定的变焦倍率，也可以使用下述变焦倍率，即，达到事先确定的基准空间频率响应N％响应的空间频率小于或等于基准空间频率的变焦倍率。
在第1发明所涉及的其他实施方式中，上述超分辨率处理单元包含：分离单元，其将由图像数据表示的图像分离为该图像的轮廓成分和非轮廓成分；轮廓成分处理单元，其针对通过上述分离单元而分离的轮廓成分，进行降噪处理及强调处理；以及合成单元，其将进行了降噪处理及强调处理后的轮廓成分与上述非轮廓成分合成。通过将轮廓成分设为超分辨率处理的对象，从而实现超分辨率处理的处理时间缩短。另外，还能够抑制假轮廓的产生。
第2发明所涉及的摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜而对被摄体进行摄像，并输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子变焦；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；超分辨率处理单元，其针对上述图像数据，进行抑制噪音强调并强调轮廓的超分辨率处理，生成超分辨率图像数据；加权合成单元，其在变焦倍率落在上述电子变焦应用缩放范围内时，通过上述变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成；以及记录控制单元，如果变焦倍率小于或等于下述变焦倍率，即，关于事先确定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应达到规定值的变焦倍率，则将缩放为该变焦频率而没有进行超分辨率处理的图像数据记录在记录单元中，在变焦倍率比上述空间频率响应达到上述规定值的变焦倍率大的情况下，将使上述超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据缩放为该变焦倍率后的图像数据记录在记录单元中。例如，能够使用关于事先确定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应达到N％(N为任意正值)响应的变焦倍率，作为上述空间频率响应达到规定值的变焦倍率。另外，也可以使用下述变焦频率，即，达到事先确定的基准空间频率响应N％的空间频率小于或等于基准空间频率的变焦频率。
对第2发明所涉及的摄像装置进行控制的方法为，该摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；以及超分辨率处理单元，其针对上述图像数据，进行抑制噪音强调并强调轮廓的超分辨率处理，生成超分辨率图像数据，在该摄像装置的控制方法中，通过上述变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成，如果变焦倍率小于或等于下述变焦倍率，即，关于事先所规定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应变达到成规定值的变焦倍率，则将缩放为该变焦频率而没有进行超分辨率处理的图像数据在记录单元记录中，在变焦倍率比上述空间变焦频率响应达到上述规定值的变焦倍率大的情况下，将使上述超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据缩放为该变焦倍率后的图像数据记录在单元记录中。
根据第2发明，使用表示图像分辨率的空间频率响应作为判断基准，判断是将没有进行超分辨率处理的图像数据记录在记录单元中，还是将上述超分辨率图像数据和没有进行超分辨率处理的图像数据进行加权合成后的图像数据记录在记录单元中。上述空间频率响应是根据摄像装置的特性(变焦透镜的光学特性、摄像单元的特性、电子变焦时的图像处理特性等)及变焦倍率而确定的。另外，空间频率响应随着变焦倍率增大而降低。关于事先确定的基准空间频率，使用上述空间频率达到规定值例如N％响应(N为任意正值)的变焦倍率(以下称为“N％响应变焦倍率”)，如果变焦倍率小于或等于上述N％响应变焦倍率，则由于空间频率响应大于或等于N％，因此，考虑具有能够接受的分辨率而将没有进行超分辨率处理的图像数据记录在记录单元中。另一方面，如果变焦倍率比上述N％响应变焦倍率大，则对于此时的图像数据，由于空间频率响应低于N％，因此，考虑没有达到能够接受的分辨率而将上述超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成后的图像数据记录在记录单元中。能够使拍摄者在整个变焦操作的范围内肉眼观察到分辨率良好的图像。如上所述，也可以使用下述变焦倍率，即，达到事先确定的基准空间频率响应N％的空间频率小于或等于基准空间频率的变焦倍率。
附图说明
图1是表示第1实施例的数字照相机的电气结构的框图。
图2是表示第1实施例的数字照相机的动作流程的流程图。
图3使用多个图像表示图像处理的流程。
图4表示变焦倍率与进行了超分辨率处理的图像(有超分辨率处理图像)和没有进行超分辨率处理的图像(无超分辨率处理图像)的合成处理之间的关系。
图5是表示第2实施例的数字照相机的动作流程的流程图。
图6是表示数字照相机的空间频率响应的曲线图。
图7表示第3实施例，表示变焦倍率与进行了超分辨率处理的图像(有超分辨率处理图像)和没有进行超分辨率处理的图像(无超分辨率处理图像)的合成处理之间的关系。
图8表示第4实施例，表示变焦倍率与进行了超分辨率处理的图像(有超分辨率处理图像)和没有进行超分辨率处理的图像(无超分辨率处理图像)的合成处理之间的关系。
具体实施方式
下面，参照附图，说明应用了本发明的数字照相机的实施例。
实施例1
图1是表示第1实施例的数字照相机的电气结构的框图。
数字照相机1的整体动作由CPU2统一控制。
CPU2所执行的控制程序、控制所需的各种数据、照相机设定值等被存储于存储器14(ROM区域)中。存储器14还被用作CPU2的工作用区域、图像数据的暂时存储区域(RAM区域)。
操作器25包含模式选择盘、快门释放按钮、变焦按钮等。在通过操作器25中包含的模式选择盘而设定了摄像模式后，表示被摄体像的光束经由变焦透镜3及聚焦透镜4射入至CCD5的受光面。从CCD5以一定周期输出用于表示被摄体像的影像信号。如果将变焦按钮向广角侧或者长焦侧操作，则变焦透镜3由电动机驱动器21控制，进行光学变焦。
从CCD5输出的影像信号在模拟/数字转换电路6中被转换为数字图像数据。从模拟/数字转换电路6输出的图像数据，输入至图像输入控制器7。从图像输入控制器7输出的图像数据，输入至图像信号处理电路8，在此进行了γ校正、白平衡调整等规定的图像处理后，输入至显示电路10。
图像信号处理电路8还具有进行电子变焦处理(像素插补处理)的功能。电子变焦也对应于上述的变焦按钮操作而进行。
通过显示电路10而对图像显示装置(例如液晶显示器)11进行控制，从而将通过变焦透镜3及聚焦透镜4而摄像得到的被摄体像(所谓的实时取景图像)显示在图像显示装置11的显示画面上。
从图像输入控制器7输出的图像数据也输入至AE(自动曝光)/AF(自动聚焦)检测电路12。基于在AE检测中输入的图像数据计算被摄体亮度，基于计算出的亮度计算光圈(图示略)的光圈值及快门(图示略)的快门速度，对光圈及快门进行控制。基于在AF检测中输入的图像数据的对比度等，计算聚焦透镜4的透镜位置。通过电动机驱动器22而控制聚焦透镜4，以使该聚焦透镜4位于所计算出的透镜位置。
如果在模式选择盘上设定了摄像模式时按下快门释放按钮，则表示被摄体像的图像信号从CCD5输出，图像信号通过模拟/数字转换电路6转换为数字图像数据，经由图像输入控制器7输入至图像信号处理电路8，在此进行规定的图像处理。从图像信号处理电路8输出的图像数据被暂时存储于存储器14中。从存储器14中读取的图像数据，输入至图像压缩/展开处理电路9而被压缩。通过介质控制器15，将压缩后的图像数据记录于存储卡等记录介质16中。
如果在模式选择盘中设定了再生模式，则通过介质控制器15而读取在记录介质16中记录的压缩图像数据，向图像压缩/展开处理电路9施加。展开后的图像数据被存储在存储器14中。基于在存储器14中存储的图像数据的图像，显示在由显示电路10控制的图像显示装置11上。
数字照相机1还具有超分辨率处理电路13。超分辨率处理电路13进行针对图像数据的降噪处理及轮廓强调处理。例如，在超分辨率处理电路13中执行降噪处理和轮廓强调处理，其中，该降噪处理基于使用了平滑化过滤器的平滑化处理，该轮廓强调处理用于提高图像中的轮廓成分的亮度值增益。对于包含超分辨率处理电路13的图像处理在内的数字照相机1的动作，如后所述。
图2是表示数字照相机1的动作流程的流程图。图3是根据图像例而表示图2中示出的流程图中的图像处理流程。图4示出使用变焦按钮的变焦处理而得到的的变焦倍率、与通过后述的超分辨率处理电路13进行超分辨率处理后的图像(有超分辨率图像)和没有进行超分辨率处理的图像(无超分辨率图像)的合成处理之间的关系。下面，适当参照图3及图4，说明图2所示的流程图。
如上所述，如果包含于操作器25中的模式选择盘被设定为摄像模式，则对被摄体进行摄像(步骤31)。
通过变焦按钮而进行被摄体像的变焦。在变焦倍率没有达到位于变焦透镜3的长焦端(tele端)时的变焦倍率(光学最大变焦倍率)的情况下，即，参照图4，如果当前的变焦倍率在位于变焦透镜3的广角端(wide端)时的变焦倍率Z1和位于长焦端(tele端)时的光学最大变焦倍率Z2之间，则不进行特殊的处理。通过摄像所获得的图像数据被记录在存储器14(在按下快门释放按钮的情况下为记录介质16)中(在步骤32中为“否”，步骤38)。如上所述，记录于存储器14中的图像数据所表示的图像，能够显示在图像显示装置11上。如果是没有达到长焦端(tele端)的变焦倍率，则不进行上述的图像信号处理电路8的电子变焦处理。当前(当前时刻)的变焦倍率，按照操作器25所包含的变焦按钮的按下时间而由CPU2检测。
如果变焦倍率超过变焦透镜3位于长焦端时的光学最大变焦倍率Z2(在步骤32中为“是”)，则在变焦透镜3的光学变焦的基础上进行电子变焦处理。进入以下处理。
首先对电子变焦区域(对应于当前的变焦倍率进行放大及缩小的范围)内的图像数据进行裁切处理(步骤33)。参照图3，将表示图像I2(以下称为裁切图像I2)的图像数据，从表示图像I1的图像数据中裁切出来，其中，该图像I2表示电子变焦区域51，该电子变焦区域51包含在表示整个摄像区域的图像I1中。
表示裁切图像I2的图像数据被分支为2个(拷贝)，其中一个表示裁切图像I2的数据被赋予给超分辨率处理电路13，在此进行超分辨率处理(降噪处理和轮廓强调处理组合的图像处理)(步骤34)。生成进行超分辨率处理后的图像(超分辨率处理接通图像)I3。
判断当前的变焦倍率是否落在加权合成范围内(步骤35)。
参照图4，在当前的变焦倍率大于或等于变焦倍率Z3时，有超分辨率处理图像本身成为显示处理的对象，其中，变焦倍率Z3以大于或等于规定值超过上述的变焦透镜3位于长焦端时的光学最大变焦倍率Z2。有超分辨率处理图像被放大处理(插补处理)为摄像区域(原被摄体像)的图像尺寸(电子变焦处理)，将表示放大后的有超分辨率处理图像的数据记录在存储器14中(在步骤35中为“否”，步骤37、步骤38)。没有进行超分辨率处理的裁切图像(无超分辨率处理图像)I2不记录在存储器14中。
另一方面，如果当前的变焦倍率处于变焦倍率Z2至Z3之间(加权合成范围)，则将对应于变焦倍率而加权的有超分辨率处理图像I3以及无超分辨率处理图像I2进行合成(在步骤35中为“是”，步骤36)。参照图4，有超分辨率处理图像I3的权重大小(合成比例)随着变焦倍率从Z2向Z3增大而成正比地增加(参照点划线)。在这里，权重的大小是成正比地增加，但也可以是非线性增加。另一方面，无超分辨率处理图像I2的权重大小随着变焦倍率从Z2向Z3增大而成正比地减小(参照实线)。权重的大小也可以是非线性减小。图4所示的加权合成范围、及表示该范围内的变焦倍率与权重大小(合成比例)之间的关系的数据、应用光学变焦的缩放范围、应用电子变焦的缩放范围，被存储于存储器14中，它们用于判断是否应该进行上述的加权合成处理等。
如果以变焦倍率Z2为阈值，简单地对光学变焦图像和进行了超分辨率处理的电子变焦图像进行切换显示，则无法保持肉眼观察到的图像分辨率的连续性。在这里，如图4所示，通过在变焦倍率从Z2至Z3之间显示加权合成的图像，且随着变焦倍率增大而使有超分辨率处理图像的权重逐渐增大(无超分辨率处理图像的权重逐渐减小)，从而抑制分辨率的突然变动。能够使摄影者在变焦操作中肉眼观察到具有连续性分辨率的变焦图像。另外，通过在加权合成图像中使有超分辨率处理图像的权重逐渐增大，从而对随着变焦倍率增大而恶化的分辨率作出补偿，因此，能够使摄影者肉眼观察到分辨率在整个变焦操作范围内比较稳定的图像。
在进行了加权合成处理的情况下(图3所示的图像I4)，也对合成图像进行放大处理(电子变焦处理)，将表示放大后的合成图像(图3的图像I5)的数据记录在存储器14中(步骤37、步骤38)。
实施例2
图5是表示第2实施例的数字照相机的动作流程的流程图。对于与第1实施例的数字照相机1的流程图(图2)相同的处理标记同一标号，省略重复说明。第2实施例及后述的其他实施例的数字照相机的硬件结构与第1实施例(图1)相同。
上述的第1实施例中超分辨率处理电路13的超分辨率处理，以通过摄像所获得的图像数据为处理对象。在第2实施例中，在超分辨率处理之前事前进行轮廓提取处理，仅将提取出的轮廓部分作为超分辨率处理电路13的处理对象。
参照图5，在超分辨率处理电路13中针对裁切图像进行轮廓提取处理(轮廓成分分离处理)(步骤41)，生成用于表示轮廓成分的图像数据(步骤42)及表示非轮廓成分的图像数据(步骤43)。
超分辨率处理电路13仅以轮廓成分的图像数据作为处理对象，进行超分辨率处理(步骤34)。如果当前的变焦倍率落在加权合成范围内(图4：变焦倍率Z2至Z3)，则进行有超分辨率处理图像和无超分辨率处理图像的加权合成(在步骤35中为“是”，步骤36)。如果当前的变焦倍率超过加权合成范围(大于或等于变焦倍率Z3)，则不进行加权合成(在步骤35中为“否”)。
将进行了超分辨率处理的轮廓成分的图像数据或加权合成后的轮廓成分的图像数据，与非轮廓成分的图像数据合成(步骤44)。在图像放大处理后，将所合成的图像数据记录在存储器14中(步骤37、38)。
由于在超分辨率处理电路13中仅对轮廓成分的图像数据进行分辨率处理，因此，与第1实施例相比较，能够缩短超分辨率处理电路13中的处理时间。另外，由于能够仅对轮廓成分进行超分辨率处理，因此，与对整个图像进行超分辨率处理的情况相比，还具有不会产生或难以产生假轮廓的优点。
实施例3
在上述的第1实施例及第2实施例中，将变焦透镜3位于长焦端(tele端)时的光学最大变焦倍率Z2设为开始进行加权合成处理的变焦倍率(加权合成范围的最小变焦倍率)。但是，也存在即使进行电子变焦处理，在变焦倍率小的状态下仍能够保持充分的分辨率的情况。如下所述，在第3实施例中，取代将变焦透镜位于长焦端(tele端)时的光学最大变焦倍率Z2设为开始进行加权合成处理的变焦倍率，考虑空间频率响应而确定开始进行加权合成处理的变焦倍率。
图6是将横轴设为空间频率，将纵轴设为空间频率响应，表示数字照相机1的空间频率响应特性的曲线图。空间频率响应根据数字照相机1的特性(变焦透镜3的光学特性、CCD2的特性、电子变焦时的图像处理特性等)和变焦倍率而确定。在图6中，示出分别表示变焦倍率为Z1、Z2、Z3以及ZN(Z1<Z2<Z3<ZN)时的空间频率响应特性的曲线。
参照图6可知，在任意的变焦倍率时，均为图像的空间频率越高而空间频率响应越小。
在图6中示出对于变焦倍率分别为Z1、Z2、Z3及ZN时，空间频率响应达到50％响应的空间频率F1、F2、F3、FN(F1>F2>F3>FN)。可知变焦倍率越大而达到50％响应的空间频率越低。
图7是在表示变焦倍率和加权合成之间的关系的图中追加用于表示空间频率响应达到50％响应的空间频率的曲线(参照细虚线)。如图7所示，空间频率响应达到50％响应的空间频率随着变焦倍率增大而降低。
参照图7，例如，考虑作为达到50％响应的空间频率，以空间频率F3为基准。在关于基准空间频率F3，具有大于或等于50％响应的空间频率响应的情况下，只要变焦倍率小于或等于比光学最大变焦倍率Z2大的变焦倍率ZC即可(参照表示空间频率响应达到50％响应的空间频率的曲线上的点C)。
在以高于空间频率F3的空间频率F2为基准空间频率，关于基准空间频率F2具有大于或等于50％响应的空间频率响应的情况下，只要变焦倍率比光学最大变焦倍率Z2大，且小于或等于比上述变焦倍率ZC小的变焦倍率ZB即可(参照点B)。
此外，在以高于空间频率F2高的空间频率F1为基准空间频率，关于基准空间频率F1具有大于或等于50％响应的空间频率响应的情况下，必须使变焦倍率小于或等于比光学最大变焦倍率Z2小的变焦倍率ZA(参照点A)。
在第3实施例(图7)中，取代采用变焦透镜3位于长焦端时的光学最大变焦倍率Z2作为开始进行加权合成的变焦倍率，事先确定空间频率响应达到50％响应的空间频率(基准空间频率)，将关于该基准空间频率，表示上述空间频率响应达到50％响应的变焦倍率的数据，事先存储在存储器14中。在所检测的变焦倍率大于或等于上述空间频率响应达到50％响应的变焦倍率时，进行超分辨率处理(加权合成)。
在检测出的变焦倍率落在电子变焦应用缩放范围内时进行超分辨率处理(加权合成)，而如果落在光学变焦应用缩放范围内时不进行超分辨率处理(加权合成)，则只要将较低的空间频率确定为基准空间频率(例如图7的F2、F3)，将关于该基准空间频率，表示空间频率响应达到50％响应的变焦倍率(ZB、ZC)的数据事前存储在存储器14中即可。当然也可以从光学变焦应用缩放范围开始进行超分辨率处理。在这种情况下，只要预先将较高的空间频率确定为基准空间频率(例如，图7的F1)，将比光学最大变焦倍率Z2小的变焦倍率ZA(关于基准空间频率F1，空间频率响应达到50％响应的变焦倍率)设为开始进行超分辨率处理(加权合成)的变焦倍率，并存储于存储器14中即可。
实施例4
图8表示第4实施例，表示使用变焦按钮的变焦处理的变焦倍率与进行了超分辨率处理的图像(有超分辨率处理图像)和没有进行超分辨率处理的图像(无超分辨率处理图像)的合成处理之间的关系的其他例子。
超分辨率处理能够通过改变降噪处理所使用的滤波器的滤波系数及轮廓强调处理所使用的增益值而调整其强度(程度)。在第4实施例中，使用程度不同的2个超分辨率处理。
参照图8，例如，如果当前的变焦倍率落在从变焦透镜3位于长焦端时的光学最大变焦倍率Z2到变焦倍率Z3为止的范围(加权合成范围I)内，则在超分辨率处理电路13中进行程度较弱的超分辨率处理(有超分辨率处理(弱))。对无超分辨率处理图像(实线)和有超分辨率处理(弱)图像(单点划线)加权合成后的图像进行放大处理，并记录在存储器14中。
如果当前的变焦倍率落在从Z3至Z4为止的范围内，则对程度较弱的有超分辨率处理图像进行放大处理，并记录在存储器14中。
如果当前的变焦倍率落在从Z4至Z5的范围(加权合成范围II)内，则超分辨率处理电路13生成2个超分辨率图像，并将它们加权合成，这2个超分辨率图像是进行了程度较弱的超分辨率处理后的图像(有超分辨率处理(弱)图像)(点划线)和进行了程度较强的超分辨率处理后的图像(有超分辨率处理(强)图像)(双点划线)。有超分辨率处理(强)图像的权重大小随着变焦倍率从Z4向Z5增大而成正比地增加。另一方面，有超分辨率处理(弱)图像的大小随着变焦倍率从Z4向Z54增大而成正比地减小。对有超分辨率处理(弱)图像和有超分辨率处理(强)图像加权合成后的图像进行放大处理并记录在存储器14中。
如果当前的变焦倍率大于或等于Z5，则对有超分辨率处理(强)图像进行放大处理，并记录在存储器14中。
标号的说明
1数字照相机(摄像装置)
2CPU
3变焦透镜
5CCD(摄像单元)
8图像信号处理电路(电子变焦处理单元)
13超分辨率处理电路
16记录介质
25操作器
Claims (12)
1.一种摄像装置，其中，具有：
摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；
电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；
变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；
变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；超分辨率处理单元，其针对上述图像数据进行降噪并强调轮廓的超分辨率处理，生成超分辨率图像数据；
加权合成单元，其在变焦倍率落在上述电子变焦应用缩放范围内时，通过变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成；以及
超分辨率处理控制单元，其按照如果变焦倍率落在上述光学变焦应用缩放范围内，则不进行超分辨率处理，而在变焦倍率落在上述电子变焦应用缩放范围内时，对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制。
2.根据权利要求1所述的摄像装置，其中，
还具有记录控制单元，如果变焦倍率落在光学变焦应用缩放范围内，则该记录控制单元将光学地缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中，如果变焦倍率落在电子变焦应用缩放范围内，则该记录控制单元将使上述加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
3.根据权利要求1所述的摄像装置，其中，
上述超分辨率处理控制单元，按照在大于或等于上述电子变焦应用缩放范围的最低变焦倍率时，对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制。
4.根据权利要求1所述的摄像装置，其中，
还具有加权合成控制单元，其按照下述方式对上述加权合成单元进行控制，即，如果其变焦倍率小于或等于规定的变焦倍率，则即使落在上述电子变焦应用缩放范围内也不对超分辨率图像数据进行合成，而在变焦倍率比上述规定的变焦倍率大时，对超分辨率图像数据进行合成。
5.根据权利要求4所述的摄像装置，其中，
上述规定的变焦倍率是事先确定的基准空间频率处的空间频率响应达到规定值的变焦倍率。
6.根据权利要求2所述的摄像装置，其中，
上述加权合成单元为，在变焦倍率落在从上述光学最大变焦倍率到超过上述光学最大变焦倍率的第1变焦倍率为止的范围内时，对超分辨率图像数据和没有进行超分辨率处理的图像数据进行加权处理，
上述记录控制单元为，如果变焦倍率落在从上述光学最大变焦倍率到第1变焦倍率为止的范围内，则将使加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，在变焦倍率超过上述第1变焦倍率的情况下，将使上述超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
7.根据权利要求2所述的摄像装置，其中，
上述超分辨率处理单元是用于执行第1、第2的超分辨率处理的的单元，关于上述第1、第2的超分辨率处理，它们的超分辨率处理程度不同，
关于上述加权合成单元，如果变焦倍率落在从上述光学最大变焦倍率到超过上述光学最大变焦倍率的第1变焦倍率为止的范围内，则上述加权合成单元通过上述变焦倍率越大、超分辨率图像数据的权重越大的加权处理，对第1超分辨率处理的超分辨率图像数据和没有进行超分辨率处理的图像数据进行加权合成，如果变焦倍率落在从超过上述第1变焦倍率的第2变焦倍率到超过上述第2变焦倍率的第3变焦倍率为止的范围内，则上述加权合成单元通过上述变焦倍率越大、第2超分辨率处理的超分辨率图像数据的权重越大的加权处理，对第1超分辨率处理的超分辨率图像数据、和与第1超分辨率处理相比程度高的第2超分辨率处理的超分辨率图像数据进行加权合成，
关于上述记录控制单元，如果变焦倍率落在从上述光学最大变焦倍率到第1变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，如果变焦倍率落在从上述第1变焦倍率到第2变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，如果变焦倍率落在从第2变焦倍率到第3变焦倍率为止的范围内，则将使第1超分辨率处理的超分辨率图像数据和第2超分辨率处理的超分辨率图像数据加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中，在变焦倍率超过第3变焦倍率的情况下，将使第2超分辨率处理的超分辨率图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
8.根据权利要求1至7中任一项所述的摄像装置，其中，
上述超分辨率处理单元包含：
分离单元，其将由图像数据表示的图像分离为该图像的轮廓成分和非轮廓成分；
轮廓成分处理单元，其针对通过上述分离单元而分离出的轮廓成分，进行降噪处理及强调处理；以及
合成单元，其对执行了降噪处理及强调处理后的轮廓成分和上述非轮廓成分进行合成。
9.一种摄像装置，其中，具有：
摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；
电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；
变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；
变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则该变焦控制单元同时使用电子变焦单元对图像数据进行缩放；
超分辨率处理单元，其针对上述图像数据，进行降噪并强调轮廓的超分辨率处理，生成超分辨率图像数据；以及
加权合成单元，其通过变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成；
记录控制单元，如果变焦倍率小于或等于下述变焦倍率，即，关于事先确定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应达到规定值的变焦倍率，则将缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中，在变焦倍率比上述空间频率响应达到上述规定值的变焦倍率大的情况下，将使上述超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据缩放为该变焦倍率后的图像数据记录在记录单元中；以及
超分辨率处理控制单元，其按照如果变焦倍率落在上述光学变焦应用缩放范围内，则不进行超分辨率处理，而在变焦倍率落在上述电子变焦应用缩放范围内时，对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制，
其中，如果变焦倍率小于或等于上述记录控制单元中基于空间频率响应所确定的变焦倍率，则上述加权合成单元不对超分辨率图像数据进行合成，而在变焦倍率比上述记录控制单元中基于空间频率响应所确定的变焦倍率大时，上述加权合成单元对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。
10.一种摄像装置的控制方法，该摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；超分辨率处理单元，其针对上述图像数据，进行降噪并强调轮廓的超分辨率处理，生成超分辨率图像数据；以及，超分辨率处理控制单元，其按照如果变焦倍率落在上述光学变焦应用缩放范围内，则不进行超分辨率处理，而在变焦倍率落在上述电子变焦应用缩放范围内时，对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制，
在该摄像装置的控制方法中，
在变焦倍率落在上述电子变焦应用缩放范围内时，通过变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。
11.根据权利要求10所述的摄像装置的控制方法，其中，
如果变焦倍率落在光学变焦应用缩放范围内，则将光学地缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中，如果变焦倍率落在电子变焦应用缩放范围内，则将使上述加权合成而得到的图像数据电子地缩放为该变焦倍率后的图像数据记录在记录单元中。
12.一种摄像装置的控制方法，该摄像装置具有：摄像单元，其通过能够对光图像进行光学缩放的变焦透镜，对被摄体进行摄像，输出用于表示被摄体像的图像数据；电子变焦单元，其对通过上述摄像单元而获得的图像数据进行电子缩放；变焦操作单元，其用于进行使变焦透镜及电子变焦单元的变焦倍率变更的操作；变焦控制单元，如果变焦倍率落在直至变焦透镜位于长焦端时的光学最大变焦倍率为止的光学变焦应用缩放范围内，则该变焦控制单元仅使用变焦透镜对图像数据进行缩放，而如果变焦倍率落在超过光学最大变焦倍率的电子变焦应用缩放范围内，则同时使用电子变焦单元对图像数据进行缩放；超分辨率处理单元，其针对上述图像数据，进行降噪并强调轮廓的超分辨率处理，生成超分辨率图像数据；以及超分辨率处理控制单元，其按照如果变焦倍率落在上述光学变焦应用缩放范围内，则不进行超分辨率处理，而在变焦倍率落在上述电子变焦应用缩放范围内时，对图像数据进行超分辨率处理的方式，对上述超分辨率处理单元进行控制，
在该摄像装置的控制方法中，
通过变焦倍率越大则超分辨率图像数据的权重越大的加权处理，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成，
如果变焦倍率小于或等于下述变焦倍率，即，关于事先确定的基准空间频率，根据上述摄像装置的特性及变焦倍率而确定的空间频率响应达到规定值的变焦倍率，则将缩放为该变焦倍率而没有进行超分辨率处理的图像数据记录在记录单元中，在变焦倍率比上述空间频率响应达到上述规定值的变焦倍率大的情况下，将使上述超分辨率图像数据和没有进行超分辨率处理的图像数据加权合成而得到的图像数据缩放为该变焦倍率后的图像数据记录在记录单元中，
其中，如果变焦倍率小于或等于基于空间频率响应所确定的变焦倍率，则不对超分辨率图像数据进行合成，而在变焦倍率比上述基于空间频率响应所确定的变焦倍率大时，对所生成的超分辨率图像数据和没有进行超分辨率处理的图像数据进行合成。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011244244 | 2011-11-08 | ||
| JP2011-244244 | 2011-11-08 | ||
| PCT/JP2012/078458 WO2013069564A1 (ja) | 2011-11-08 | 2012-11-02 | 撮像装置およびその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103918251A CN103918251A (zh) | 2014-07-09 |
| CN103918251B true CN103918251B (zh) | 2016-03-02 |
Family
ID=48289940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280054940.8A Expired - Fee Related CN103918251B (zh) | 2011-11-08 | 2012-11-02 | 摄像装置及其控制方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8878961B2 (zh) |
| EP (1) | EP2779625B1 (zh) |
| JP (1) | JP5612780B2 (zh) |
| CN (1) | CN103918251B (zh) |
| WO (1) | WO2013069564A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5800611B2 (ja) * | 2011-07-07 | 2015-10-28 | オリンパス株式会社 | 撮影装置 |
| JP5562919B2 (ja) * | 2011-09-30 | 2014-07-30 | オリンパス株式会社 | 超解像観察装置 |
| JP6558935B2 (ja) * | 2015-04-24 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP6821300B2 (ja) * | 2015-10-30 | 2021-01-27 | キヤノン株式会社 | 画像形成装置及び記録材判別装置 |
| KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
| CN107404619B (zh) * | 2016-07-29 | 2019-12-06 | Oppo广东移动通信有限公司 | 图像变焦处理方法、装置及终端设备 |
| US11704771B2 (en) | 2017-12-01 | 2023-07-18 | Huawei Technologies Co., Ltd. | Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image |
| US10560641B2 (en) | 2017-12-28 | 2020-02-11 | Facebook, Inc. | Systems and methods for generating a bias for a camera sensor for increasing resolution of captured images |
| US10681267B2 (en) * | 2017-12-28 | 2020-06-09 | Facebook, Inc. | Systems and methods for increasing resolution of images captured by a camera sensor |
| WO2019167363A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| JP6852013B2 (ja) * | 2018-03-27 | 2021-03-31 | パナソニック液晶ディスプレイ株式会社 | 画質調整装置、及び、画質調整システム |
| US10169852B1 (en) | 2018-07-03 | 2019-01-01 | Nanotronics Imaging, Inc. | Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging |
| US10817996B2 (en) | 2018-07-16 | 2020-10-27 | Samsung Electronics Co., Ltd. | Devices for and methods of combining content from multiple frames |
| CN111726513A (zh) | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 成像设备的变焦方法、装置及成像设备 |
| KR20200142883A (ko) * | 2019-06-13 | 2020-12-23 | 엘지이노텍 주식회사 | 카메라 장치 및 카메라 장치의 이미지 생성 방법 |
| CN114390213B (zh) * | 2020-10-22 | 2023-04-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
| CN115706870B (zh) * | 2021-08-12 | 2023-12-26 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007135133A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 撮像装置 |
| CN101616237A (zh) * | 2008-06-27 | 2009-12-30 | 索尼株式会社 | 图像处理装置、图像处理方法、程序和记录介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03218173A (ja) | 1990-01-24 | 1991-09-25 | Mitsubishi Electric Corp | 電子ズーム装置 |
| US5838371A (en) | 1993-03-05 | 1998-11-17 | Canon Kabushiki Kaisha | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification |
| JPH06261238A (ja) * | 1993-03-05 | 1994-09-16 | Canon Inc | 撮像装置 |
| JP3410008B2 (ja) | 1997-12-04 | 2003-05-26 | 日本ビクター株式会社 | 輪郭補償システム |
| US6538694B1 (en) | 1997-12-04 | 2003-03-25 | Victor Company Of Japan, Limited | Image pickup apparatus equipped with compatible-with-zooming type contour compensation circuit, compatible-with-image-pickup-conditions type image output circuit, and compatible-with-all-pixel-readout-system-solid-image-pickup-element type electronic zoom circuit |
| JPH11239294A (ja) * | 1998-02-24 | 1999-08-31 | Sony Corp | ビデオカメラ |
| JP4281929B2 (ja) * | 1998-11-18 | 2009-06-17 | カシオ計算機株式会社 | エッジ強調装置及びエッジ強調方法 |
| JP2009058966A (ja) * | 2000-06-05 | 2009-03-19 | Fujifilm Corp | カメラの絞り制御方法及び装置、並びにカメラ |
| JP4305598B2 (ja) * | 2000-06-05 | 2009-07-29 | 富士フイルム株式会社 | カメラの絞り制御方法及び装置、並びにカメラ |
| JP2004187050A (ja) * | 2002-12-04 | 2004-07-02 | Sharp Corp | 撮像装置 |
| JP4026491B2 (ja) | 2002-12-13 | 2007-12-26 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 |
| JP2005020061A (ja) | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | 映像信号処理装置及び映像信号処理方法 |
| JP2005062633A (ja) | 2003-08-19 | 2005-03-10 | Konica Minolta Opto Inc | レンズ装置 |
| JP2006032576A (ja) | 2004-07-14 | 2006-02-02 | Kobe Steel Ltd | ダイヤモンド層を有するシリコンウエハ |
| JP4262263B2 (ja) * | 2006-06-07 | 2009-05-13 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2008283442A (ja) * | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
| JP5764740B2 (ja) * | 2010-10-13 | 2015-08-19 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
-
2012
- 2012-11-02 CN CN201280054940.8A patent/CN103918251B/zh not_active Expired - Fee Related
- 2012-11-02 JP JP2013542955A patent/JP5612780B2/ja not_active Expired - Fee Related
- 2012-11-02 WO PCT/JP2012/078458 patent/WO2013069564A1/ja active Application Filing
- 2012-11-02 EP EP12847514.2A patent/EP2779625B1/en not_active Not-in-force
-
2014
- 2014-04-30 US US14/265,427 patent/US8878961B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007135133A (ja) * | 2005-11-14 | 2007-05-31 | Nikon Corp | 撮像装置 |
| CN101616237A (zh) * | 2008-06-27 | 2009-12-30 | 索尼株式会社 | 图像处理装置、图像处理方法、程序和记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2013069564A1 (ja) | 2013-05-16 |
| EP2779625A1 (en) | 2014-09-17 |
| EP2779625B1 (en) | 2016-03-02 |
| JPWO2013069564A1 (ja) | 2015-04-02 |
| CN103918251A (zh) | 2014-07-09 |
| JP5612780B2 (ja) | 2014-10-22 |
| US8878961B2 (en) | 2014-11-04 |
| US20140232907A1 (en) | 2014-08-21 |
| EP2779625A4 (en) | 2014-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103918251B (zh) | 摄像装置及其控制方法 | |
| JP6680377B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| EP2171685B1 (en) | Image processor, image processing method, digital camera, and imaging apparatus | |
| JP4665718B2 (ja) | 撮影装置 | |
| JP4582423B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| US8248518B2 (en) | Optical apparatus | |
| JP4964541B2 (ja) | 撮像装置、画像処理装置、撮像システム及び画像処理プログラム | |
| JP2008271240A (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| JP4764712B2 (ja) | ディジタル・カメラおよびその制御方法 | |
| JP3338322B2 (ja) | オートフォーカスカメラ | |
| JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
| JP2014216940A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2007102061A (ja) | 画像撮影装置 | |
| WO2015016085A1 (ja) | 撮影方法及び装置 | |
| JP2009218704A (ja) | 画像処理装置及び画像処理方法 | |
| US9282257B2 (en) | Image apparatus and imaging method | |
| JP6729574B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2006203339A (ja) | 撮像装置ならびに画像データの輪郭補正方法，そのノイズ除去方法およびその記録制御方法 | |
| JP5282533B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP4418344B2 (ja) | カメラ | |
| JP5157757B2 (ja) | 電子カメラ | |
| JP6083946B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
| JP2012133492A (ja) | 画像処理装置およびプログラム | |
| JP2006319465A (ja) | 撮像装置 | |
| JP2009042556A (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160302 Termination date: 20211102 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |