CN107534726A - 摄像装置、图像处理装置、图像处理方法、程序及记录介质 - Google Patents
摄像装置、图像处理装置、图像处理方法、程序及记录介质 Download PDFInfo
- Publication number
- CN107534726A CN107534726A CN201680022303.0A CN201680022303A CN107534726A CN 107534726 A CN107534726 A CN 107534726A CN 201680022303 A CN201680022303 A CN 201680022303A CN 107534726 A CN107534726 A CN 107534726A
- Authority
- CN
- China
- Prior art keywords
- optical system
- optical
- image
- focal length
- photography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 585
- 238000012546 transfer Methods 0.000 claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 53
- 238000001914 filtration Methods 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 27
- 238000011084 recovery Methods 0.000 claims description 21
- 238000009434 installation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 109
- 238000013461 design Methods 0.000 description 23
- 239000000571 coke Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 230000004075 alteration Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000002927 oxygen compounds Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
- G02B15/14—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective
- G02B15/142—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective having two groups only
- G02B15/1421—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective having two groups only the first group being positive
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
- G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0046—Movement of one or more optical elements for zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Lenses (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Image Processing (AREA)
- Nonlinear Science (AREA)
Abstract
本发明提供一种以进行光学系统的光学特性与基于光学传递函数的复原处理的组合最佳化,以改善使用焦距可变的光学系统而进行摄影的图像的画质的摄像装置、图像处理装置、图像处理方法、程序及记录介质。在本发明的方式中,光学系统的焦距可变,广角端中的全视角超过90度。并且,光学系统中,在离光学系统的成像面的中心的距离表示输出对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高。当已摄影对象图像时的光学系统的焦距F、广角端的焦距Fw及长焦端的焦距Ft满足F≥√(Fw×Ft)时,锐化处理部(41)作为锐化处理进行基于光学系统的光学传递函数的复原处理。
Description
技术领域
本发明涉及一种摄像装置、图像处理装置、图像处理方法、程序及记录介质,尤其涉及一种改善通过使用了焦距可变的光学系统的摄影而获取的图像的画质的技术。
背景技术
通过数码相机等摄像装置获得的摄影图像包括由光学系统的像差等引起的模糊及变形等劣化成分。为了获得良好画质的图像,希望使用像差小的光学系统来进行摄影,但实际上可使用的光学系统被尺寸及成本等所限制,从而无法一定要使用高性能的光学系统。
因此,提出有通过摄影后的图像处理来减少劣化成分的方法。
专利文献1中公开有使用根据光学传递函数(OTF:Optical Transfer Function)制作的图像恢复滤波来进行图像恢复处理的摄像装置。
以往技术文献
专利文献
专利文献1:日本特开2014-138196号公报
发明内容
发明要解决的技术课题
在以防止犯罪目的及记录目的而使用的监视摄像机的情况下,为了获取广范围的图像而要求能够进行广角摄影,另一方面,为了获取特定的被摄体的详细信息,根据需要要求能够进行长焦摄影。因此,近年来,具备焦距可变的变焦透镜的监视摄像机的需要逐渐增高。
通常,监视摄像机等的情况下,不仅重视摄影图像的中央部的画质,还重视摄影图像的周边部的画质,从而存在尤其重视广角图像的周边部的画质的趋势,但在使用了变焦透镜的摄影中,在广角侧容易产生图像周边的分辨率下降等的画质劣化。若使用非球面透镜等而减少这种广角侧中的图像周边的画质劣化,则对长焦侧的透镜性能造成较大的影响,从而在长焦侧像差偏差变得非常大,制造灵敏度上升而成品率下降,存在透镜成本变高的趋势。
于是,可以考虑作为图像处理进行基于光学传递函数的复原处理,在广角侧及长焦侧这两侧改善使用变焦透镜而获取的摄影图像的画质。
但是,基于光学传递函数的复原处理并不是万能的,例如即便对模糊程度过大的图像适用基于光学传递函数的复原处理,也无法去除模糊,反而可能会使画质变差。即,当处理对象的图像中的模糊程度并不过大并且过小时,基于光学传递函数的复原处理发挥较大的效果。
因此,通过对以使摄影图像中产生的模糊程度属于最佳范围内的方式设计的变焦透镜与基于光学传递函数的复原处理进行组合,能够从广角侧遍及长焦侧变焦区域的整个区域提供优质的图像。并且,通过以进行基于光学传递函数的复原处理为前提,可实现允许一定程度的模糊等的画质劣化的透镜设计,作为允许画质劣化的权衡关系也能够使计算资源有助于透镜的其他性能的提高。
通常,监视摄像机中比长焦侧的画质更优先广角侧的画质,因此在设计监视摄像机用光学系统时,即便牺牲长焦侧的光学性能也优选提高广角侧的光学性能。因此,关于作为监视摄像机用途能够进行具有足够视角的图像的摄影的变焦透镜,优先广角侧的光学性能而进行透镜设计,并且对长焦侧的摄影图像适用复原处理,由此能够在整个变焦区域提供优质的图像。
然而,在以往的摄像装置中,未进行为了遍及整个变焦区域获得优质摄影图像而以复原处理为前提最佳化变焦透镜的光学设计。尤其,未发现公开以复原处理为前提进行适合于监视摄像机等的“具有最大90度以上的对角线视角的超广角变焦透镜”的光学设计的文献。例如专利文献1中所公开的摄像装置将与这种以复原处理为前提的光学设计的最佳化不同的设计理念作为前提而构成,可摄影的视角较窄,只能进行最大为全视角“74度”(半视角“37”度)的摄影,必定不适合于监视摄像机等的广角摄影用途。
并且,在监视摄像机用摄像装置中,存在图像周边部的画质也得到与图像中央部同等或其以上重视的趋势,但在专利文献1的摄像装置中,优先图像中央部的画质。最初专利文献1的摄像装置若在整个变焦区域对所有像素进行恢复处理则滤波量将会变得庞大,因此将实现滤波量及运算量的减少作为目的。在专利文献1的摄像装置中,为了优先图像中央部的画质并且实现上述目的,以在特定的变焦区域抑制图像中心部的像差并且在图像周边部允许彗形像差的方式进行透镜设计,从而成为在图像周边部通过图像处理实现画质的恢复。
如此,专利文献1的摄像装置对适用于监视摄像机等的广角摄影技术未必适合,而且专利文献1中未公开也为提示用于在这种广角摄影中重视图像周边部的画质并且从广角侧遍及长焦侧提供优质的图像的技术。
本发明鉴于上述情况而完成的,其目的在于提供一种进行光学系统的光学特性与基于光学传递函数的复原处理的组合的最佳化,以改善使用了焦距可变的光学系统而进行摄影的图像的画质的技术。
用于解决技术课题的手段
本发明的一方式涉及一种摄像装置,其具备:光学系统;成像元件,其通过光学系统接受摄影光而输出对象图像;及锐化处理部,其根据表示已摄影对象图像时的光学系统的信息的光学摄影条件进行对象图像的锐化处理,光学系统的焦距可变,光学系统的广角端中的全视角超过90度,且光学系统中,在离光学系统的成像面的中心的距离表示成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高,当将已摄影对象图像时的光学系统的焦距由F表示,将光学系统的广角端的焦距由Fw表示,将光学系统的长焦端的焦距由Ft表示,根据光学摄影条件判定是否满足以F≥√(Fw×Ft)来表示的条件,并且满足以F≥√(Fw×Ft)来表示的条件时,锐化处理部作为锐化处理进行基于光学系统的光学传递函数的复原处理。
根据本方式,能够最佳地组合光学系统的MTF(调制传递函数(ModulationTransfer Function))与基于光学传递函数的复原处理,从而能够根据焦距改善使用焦距可变的光学系统而进行摄影的图像的画质。
本发明的另一方式涉及一种图像处理装置,其具备:图像获取部,其获取对象图像;条件获取部,其获取表示已摄影对象图像时的光学系统的信息的光学摄影条件;及锐化处理部,其根据光学摄影条件进行对象图像的锐化处理,当光学摄影条件满足第1摄影条件及第2摄影条件时,锐化处理部作为锐化处理进行基于光学系统的光学传递函数的复原处理,第1摄影条件包括:光学系统的焦距可变;光学系统的广角端中的全视角超过90度;且光学系统中,在离光学系统的成像面的中心的距离表示成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高这一条件,关于第2摄影条件,当将已摄影对象图像时的光学系统的焦距由F表示,将光学系统的广角端的焦距由Fw表示,将光学系统的长焦端的焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
根据本方式,能够最佳地组合光学系统的MTF(光学性能)与基于光学传递函数的复原处理,从而能够根据焦距改善使用焦距可变的光学系统而进行摄影的图像的画质。
优选,锐化处理部获取对象图像的亮度成分,并仅对亮度成分进行复原处理。
根据本方式,能够对亮度成分简单地进行基于光学传递函数的复原处理。
优选,当光学摄影条件满足第1摄影条件且光学摄影条件满足由F<√(Fw×Ft)表示的第3摄影条件时,锐化处理部作为锐化处理进行倍率色差校正处理。
根据本方式,即使在因已摄影对象图像时的光学系统的焦距较小而不进行复原处理的情况下,通过倍率色差校正处理能够改善图像的画质。
优选,锐化处理部调整构成对象图像的颜色成分的倍率而进行倍率色差校正处理。
根据本方式,能够简单地进行倍率色差校正处理。
优选,锐化处理部根据光学传递函数进行倍率色差校正处理。
根据本方式,能够简单地进行倍率色差校正处理。
优选,对象图像至少包括第1颜色成分及第2颜色成分,锐化处理部将与第1颜色成分相关的基于光学传递函数的滤波适用于第1颜色成分,且将与第2颜色成分相关的基于光学传递函数的滤波适用于第2颜色成分而进行倍率色差校正处理。
根据本方式,能够以高精确度进行使用基于光学传递函数的滤波的倍率色差校正处理。
优选,当光学摄影条件满足第1摄影条件且光学摄影条件满足由F<√(Fw×Ft)表示的第3摄影条件时,锐化处理部仅对离对象图像的中心的距离表示摄像面的对角线的二分之一长度的80%以上的对象图像的区域进行复原处理。
根据本方式,能够不损坏图像的中央区域的画质而改善图像的周边区域的画质。
优选,复原处理在光学摄影条件满足第1摄影条件及第2摄影条件且满足光学系统的广角端中的全视角超过100度的条件时进行。
根据本方式,能够根据焦距改善使用了全视角超过100度的光学系统的广角摄影图像的画质。
优选,复原处理在光学摄影条件满足第1摄影条件及第2摄影条件,且满足在离光学系统的成像面的中心的距离表示摄像面的对角线的二分之一长度的70%以上的成像面上的区域,使用评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高这一条件时进行。
根据本方式,能够根据焦距更有效地改善图像分辨率。
本发明的另一方式涉及一种摄像装置,其具备:光学系统安装部,其可拆卸地安装光学系统;成像元件,其通过安装于光学系统安装部的光学系统接受摄影光而输出图像;及上述图像处理装置,所述摄像装置将从成像元件输出的图像设为对象图像。
根据本方式,能够最佳地组合光学系统的MTF(光学性能)与基于光学传递函数的复原处理,从而能够根据焦距改善使用焦距可变的光学系统而进行摄影的图像的画质。
本发明的另一方式涉及一种摄像装置,其具备:相机设备,其具有光学系统、通过光学系统接受摄影光而输出图像的成像元件、与成像元件连接的相机侧控制处理部及与相机侧控制处理部连接的相机侧通信部;及控制终端,其具有能够与相机侧通信部进行通信的终端侧通信部、与终端侧通信部连接的终端侧控制处理部及与终端侧控制处理部连接的用户界面,相机侧控制处理部及终端侧控制处理部中的至少任一个具有上述图像处理装置,所述摄像装置将从成像元件输出的图像设为对象图像。
根据本方式,能够最佳地组合光学系统的MTF(光学性能)与基于光学传递函数的复原处理,从而能够根据焦距改善使用焦距可变的光学系统而进行摄影的图像的画质。
本发明的另一方式涉及一种图像处理方法,包括:获取对象图像的步骤;获取表示已摄影对象图像时的光学系统的信息的光学摄影条件的步骤;及根据光学摄影条件进行对象图像的锐化处理的步骤,当光学摄影条件满足第1摄影条件及第2摄影条件时,作为锐化处理进行基于光学系统的光学传递函数的复原处理,第1摄影条件包括:光学系统的焦距可变;光学系统的广角端中的全视角超过90度;且光学系统中,在离光学系统的成像面的中心的距离表示输出对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高这一条件,关于第2摄影条件,当将已摄影对象图像时的光学系统的焦距由F表示,将光学系统的广角端的焦距由Fw表示,将光学系统的长焦端的焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
本发明的另一方式涉及一种程序,其用于使计算机执行如下操作的程序:获取对象图像;获取表示已摄影对象图像时的光学系统的信息的光学摄影条件;及根据光学摄影条件进行对象图像的锐化处理,其中,当光学摄影条件满足第1摄影条件及第2摄影条件时,作为锐化处理进行基于光学系统的光学传递函数的复原处理,其中,第1摄影条件包括:光学系统的焦距可变;光学系统的广角端中的全视角超过90度;且光学系统中,在离光学系统的成像面的中心的距离表示输出对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高这一条件,关于第2摄影条件,当将已摄影对象图像时的光学系统的焦距由F表示,将光学系统的广角端的焦距由Fw表示,将光学系统的长焦端的焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
本发明的另一方式涉及一种计算机可读取的非暂时性有形记录介质(a non-transitory computer-readable tangible medium),其记录有用于使计算机执行如下操作的程序:获取对象图像;获取表示已摄影对象图像时的光学系统的信息的光学摄影条件;及根据光学摄影条件进行对象图像的锐化处理,其中,当光学摄影条件满足第1摄影条件及第2摄影条件时,作为锐化处理进行基于光学系统的光学传递函数的复原处理,第1摄影条件包括:光学系统的焦距可变;光学系统的广角端中的全视角超过90度;且光学系统中,在离光学系统的成像面的中心的距离表示输出对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统的长焦端相比广角端一侧更高这一条件,关于第2摄影条件,当将已摄影对象图像时的光学系统的焦距由F表示,将光学系统的广角端的焦距由Fw表示,将光学系统的长焦端的焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
发明效果
根据本发明,能够最佳地组合光学系统的MTF(光学性能)与基于光学传递函数的复原处理,从而能够根据焦距改善使用焦距可变的光学系统而进行摄影的图像的画质。
附图说明
图1是表示监视摄像机系统中使用的相机设备的一例的外观图。
图2是表示摄像装置的功能结构的一例的框图,尤其表示适合于监视摄像机系统的功能结构例。
图3是表示图像处理装置的功能结构的一例的框图。
图4是示意地表示光学系统的焦距的范围的图。
图5是表示成像元件的摄像面的俯视图,是用于说明为了确定光学系统的评价区域而使用的摄像面范围的图。
图6是表示图像处理装置的功能结构的另一例的框图。
图7是表示摄像装置的功能结构的另一例的框图,尤其表示适合于光学系统及成像元件设置成一体的紧凑型数码相机等数码相机的功能结构例。
图8是表示摄像装置的功能结构的另一例的框图,尤其表示适合于光学系统可拆卸地安装于主体部的镜头可换式相机等数码相机的功能结构例。
图9表示计算机的功能结构的一例的框图,尤其表示可适用上述图像处理装置(尤其参考图6)的功能结构例。
图10表示实施例1所涉及的光学系统的剖视图,图10(a)表示长焦端中的光学系统的配置,图10(b)表示广角端中的光学系统的配置。
图11是表示实施例1所涉及的光学系统的基本数据的表(表1)。
图12是表示实施例1所涉及的光学系统的广角端及长焦端中的整个系统的焦距、F值(“Fno”)、全视角(“2ω”)及光轴上的可变面间隔(“可变D10(第5透镜与光圈之间的间隔)”、“可变D11(光圈与第6透镜之间的间隔)”及“可变D21(第10透镜与光学部件之间的间隔)”)的表(表2)。
图13是表示实施例1所涉及的光学系统的非球面透镜(尤其面编号“12(参考图10(a)的“R12”)”及“13(参考图10(a)的“R13”)”)的非球面系数(“KA”及“Ai(i=3~20)”)的表(表3)。
图14是表示实施例1所涉及的光学系统的离光轴的位置与边缘空间频率之间的关系的图(曲线图1),且示出了广角端中的光学性能及长焦端中的光学性能。
图15表示实施例2所涉及的光学系统的剖视图,图15(a)表示长焦端中的光学系统的配置,图15(b)表示广角端中的光学系统的配置。
图16是表示实施例2所涉及的光学系统的基本数据的表(表4)。
图17是表示实施例2所涉及的光学系统的广角端及长焦端中的整个系统的焦距、F值(“Fno”)、全视角(“2ω”)及光轴上的面间隔(“可变D10(第5透镜与光圈之间的间隔)”、“可变D11(光圈与第6透镜之间的间隔)”及“可变D21(第10透镜与光学部件之间的间隔)”)的表(表5)。
图18是表示实施例2所涉及的光学系统的非球面透镜(尤其面编号“12(参考图15(a)的“R12”)”及“13(参考图15(a)的“R13”)”)的非球面系数(“KA”及“Ai(i=3~20)”)的表(表6)。
图19是表示实施例2所涉及的光学系统的离光轴的位置与边缘空间频率之间的关系的图(曲线图2),且示出了广角端中的光学性能及长焦端中的光学性能。
图20是表示第1模式所涉及的图像处理例的流程图。
图21是表示第2模式所涉及的图像处理例的流程图。
图22是表示第3模式所涉及的图像处理例的流程图。
图23是表示第4模式所涉及的图像处理例的流程图。
图24是表示第5模式所涉及的图像处理例的流程图。
图25是表示第6模式所涉及的图像处理的一例的流程图。
图26是表示第6模式所涉及的图像处理的另一例的流程图。
图27是表示本发明的摄像装置的一实施方式即智能手机的外观的图。
图28是表示图27所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。在以下实施方式中,对监视摄像机系统中适用本发明的例子进行说明。但是,本发明的适用对象并不限定于此,还可以适用于除了监视摄像机系统以外的摄像装置、图像处理装置、图像处理方法、程序及记录介质中。
通常,在广角变焦透镜中,具有伴随广角侧中的变焦变动的光学性能及像差的变化较剧烈,越靠近长焦侧光学性能及像差的变动变得平稳的趋势。因此,与对广角侧的摄影图像进行复原处理的情况相比,对长焦侧的摄影图像进行复原处理的情况,关于更广的变焦区域更容易适用同样的处理,即使在扩张进行处理的区域的情况下,通过较少的变更也能够应对较广的区域。
本件发明人进行深入研究的结果重新发现,关注于上述机理,进行焦距可变且可进行广角摄影的光学系统的光学设计与基于光学传递函数的复原处理的组合的最佳化,能够提供关于整个变焦区域具有优质的画质的图像的方法。
即,在监视摄像机系统等本实施方式的摄像装置中,进行比长焦侧的画质优先焦距可变的光学系统(变焦透镜)的广角侧中的摄影图像的画质的透镜设计,并且对长焦侧中的摄影图像进行基于光学传递函数的图像处理。如此,作为以牺牲长焦侧的光学性能而提高广角侧的光学性能的方式进行设计的光学系统,例如使用作为透镜周边部中的MTF值能够确保30%以上的边缘频率与长焦端相比广角端一侧更高的光学系统。通过在这种条件下进行光学系统的设计及图像处理,能够提供在整个变焦区域具有良好分辨率的良好画质的摄影图像。
以下,对具体实施方式进行例示。
图1是表示监视摄像机系统中使用的相机设备10的一例的外观图。
本例的相机设备10具备平摇功能及俯仰功能,在后述的控制终端(参考图2)的控制下能够进行摄影。即相机设备10具备拍摄被摄体的摄像部12及可平摇及俯仰地支撑摄像部12的支撑部14。
摄像部12具有被摄像支撑部12A所支撑的光学系统16。光学系统16由未图示的透镜驱动部驱动,以调节聚焦、变焦及光圈开度。
支撑部14包括支撑架14A及台架14B,台架14B以支撑架14A以平遥轴P为中心能够旋转的方式支撑支撑架14A。台架14B上设置有控制面板18,用户通过操作该控制面板18中所包含的电源按钮等各种操作按钮类也能够控制相机设备10。支撑架14A具有配置摄像部12的槽状空间,且以摄像部12以与平遥轴P正交的俯仰轴T为中心能够旋转的方式支撑摄像部12。支撑架14A中设置有使摄像部12绕俯仰轴T旋转的俯仰驱动部(省略图示),台架14B中设置有使支撑架14A绕平遥轴P旋转的平摇驱动部(省略图示)。如此可平遥俯仰地被支撑的光学系统16的光轴L与平遥轴P及俯仰轴T正交。
另外,图1中示出了可进行云台动作的相机设备10,但相机设备10并非一定需要云台机构,摄像部12也可以固定装配于支撑部14。
图2是表示摄像装置的功能结构的一例的框图,尤其表示适合于监视摄像机系统20的功能结构例。为了便于说明,在图2中仅图示了摄影及通信的主要功能结构,例如省略了上述平摇驱动部及俯仰驱动部等的图示。
本例的监视摄像机系统20具备相机设备10及可控制相机设备10的控制终端30。
相机设备10具有光学系统16、通过光学系统16接受摄影光而输出图像(对象图像)的成像元件22、与光学系统16及成像元件22连接的相机侧控制处理部23及与相机侧控制处理部23连接的相机侧通信部24。另一方面,控制终端30具有能够与相机侧通信部24进行通信(参考图2中的符号“C”)的终端侧通信部33、与终端侧通信部33连接的终端侧控制处理部32及与终端侧控制处理部32连接的用户界面31。
光学系统16包括多个透镜及光圈,将来自被摄体的摄影光引导至成像元件22。成像元件22由CCD(CCD:电荷耦合器件(Charge Coupled Device))或CMOS(CMOS:互补金属氧化物半导体(Complementary Metal Oxide Semiconductor))等图像传感器构成。控制终端30的用户界面31除了包括用户可直接操作的按钮类或触摸面板等操作部以外,还包括能够向用户提示各种信息的显示部。
相机侧控制处理部23控制光学系统16、成像元件22及相机侧通信部24,例如将从成像元件22输出的图像作为对象图像来进行图像处理。另一方面,终端侧控制处理部32控制用户界面31及终端侧通信部33,例如通过用户界面31接收由用户输入的数据及命令,并向各种处理反映。并且终端侧控制处理部32通过终端侧通信部33接收从相机设备10(相机侧通信部24)发送的数据及命令并向各种处理反映。
另外,相机侧控制处理部23及终端侧控制处理部32通过相机侧通信部24与终端侧通信部33之间的通信C,例如能够进行图像数据及其他数据的收发。因此,用户通过控制终端30的用户界面31将各种数据及命令输入至终端侧控制处理部32,从而能够控制相机设备10。即用于控制相机侧控制处理部23的数据及命令从终端侧控制处理部32通过终端侧通信部33及相机侧通信部24发送至相机侧控制处理部23,从而通过相机侧控制处理部23能够控制光学系统16及成像元件22。
另外,从成像元件22输出的图像的处理可以在相机侧控制处理部23中进行,也可以在终端侧控制处理部32中进行,也可以在相机侧控制处理部23及终端侧控制处理部32这两者中进行。即从成像元件22输出的图像可以在相机侧控制处理部23中接受处理后通过相机侧通信部24及终端侧通信部33发送至终端侧控制处理部32,也可以在终端侧控制处理部32中接受处理。
因此,在本例的监视摄像机系统20中,能够将下述图像处理装置设置于相机侧控制处理部23及终端侧控制处理部32中的任一个。
图3是表示图像处理装置40的功能结构的一例的框图。本例的图像处理装置40具有锐化处理部41,对象图像及光学摄影条件的数据输入至锐化处理部41。
对象图像为从成像元件22输出的图像,从成像元件22直接或间接地输入至锐化处理部41(图像处理装置40)。光学摄影条件表示已摄影对象图像时的光学系统16的信息,至少包括已摄影对象图像时的焦距信息。
锐化处理部41根据光学摄影条件进行对象图像的锐化处理。尤其本例的锐化处理部41,当将已摄影对象图像时的光学系统16的焦距由F表示,将光学系统16的广角端的焦距由Fw表示,将光学系统16的长焦端的焦距由Ft表示,并且满足以下述式1来表示的条件时,作为锐化处理进行基于光学系统16的光学传递函数的复原处理。
图4是示意地表示光学系统16的焦距的范围的图。在图4中,Ft≥F≥√(Fw×Ft)的范围以“Ra”来表示,√(Fw×Ft)>F≥Fw的范围以“Rb”来表示。当光学系统16的焦距F在广角端的焦距Fw与长焦端的焦距Ft之间可变时,由上述式1表示的焦距F的范围在图4中相当于由“Ra”表示的长焦侧范围。因此,当“已摄影对象图像时的焦距F”为“光学系统16的广角端中的焦距Fw及光学系统16的长焦端中的焦距Ft的乘积的平方根”以上且在图4的范围“Ra”内时,锐化处理部41作为锐化处理将基于光学系统16的光学传递函数的复原处理适用于对象图像。
锐化处理部41获取对象图像及光学摄影条件的数据的方法并无特别限定,可从构成监视摄像机系统20的各部对锐化处理部41输入对象图像及光学摄影条件的数据。例如,当图像处理装置40设置于相机设备10的相机侧控制处理部23时,图像处理装置40可以作为对象图像获取从成像元件22输出的图像,并且相机侧控制处理部23从为了控制光学系统16及成像元件22而使用的数据获取光学摄影条件。另一方面,当图像处理装置40设置于控制终端30的终端侧控制处理部32时,图像处理装置40可以从成像元件22通过相机侧控制处理部23、相机侧通信部24及终端侧通信部33获取对象图像,并且相机侧控制处理部23或终端侧控制处理部32从所保持的“为了控制光学系统16及成像元件22而使用的数据”获取光学摄影条件。
并且,当按照Exif(可交换图像文件格式(Exchangeable image file format))等格式元数据附加于对象图像的数据时,图像处理装置40可以读入附加于对象图像的数据的元数据而获取光学摄影条件。
在监视摄像机系统20(相机侧控制处理部23和/或终端侧控制处理部32)具备图3所示的图像处理装置40的情况下,光学系统16均满足以下条件1~条件3(第1摄影条件)。
(条件1)
光学系统16的焦距可变。
(条件2)
光学系统16的广角端中的全视角超过90度。
(条件3)
光学系统16中,在离光学系统16的成像面的中心的距离表示输出对象图像的成像元件22的摄像面的对角线的二分之一长度的80%以上且小于95%的成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与光学系统16的长焦端相比广角端一侧更高。
上述条件1表示光学系统16包括变焦透镜,能够在表示最短焦距的“广角端”与表示最长焦距的“长焦端”之间改变光学系统16的焦距。另外,光学系统16的焦距的具体的调整方法并无特别限定,可以用户使用控制终端30的用户界面31手动确定焦距(变焦级别),也可以由相机侧控制处理部23和/或终端侧控制处理部32自动确定焦距。
上述条件2表示光学系统16在表示最短焦距的广角端中光学系统16的全视角超过90度。例如,当设想了室内监视用途时,若要从房间的角部无死角地监视整个房间,则最低也需要90度的视角,因此,当设想了监视用途等时,希望以光学系统16的全视角能够超过90度的方式可调整光学系统16的焦距。
另外,若考虑摄像装置的大小,则即使将摄像装置配置在房间的角部,光学系统16的顶点也会配置在从房间的角部稍向房间内侧的位置。因此,希望以光学系统16的全视角能够超过比90度更广的视角(例如100度左右)的方式可调整光学系统16的焦距。而且,从提高摄像装置的配置自由度的观点考虑,优选光学系统16的全视角能够超过比100度更广的视角。因此,优选光学系统16的全视角超过100度,更优选超过110度,进一步优选超过120度。
上述条件3表示在光学系统16的“广角端”中关于光学系统16的“评价区域”使用“评价波长”而获取的“MTF值成为30%以下的空间频率”大于在光学系统16的“长焦端”中关于光学系统16的“评价区域”使用“评价波长”而获取的“MTF值成为30%以下的空间频率”。在此所说的“评价区域”以成像元件22的摄像面为基准而设定。
图5是表示成像元件22的摄像面的俯视图,是用于说明为了设定光学系统16的评价区域而使用的摄像面范围的图。矩形的成像元件22的摄像面中对角线J的二分之一长度相当于从以对角线J彼此的交点来表示的摄像面中心Io至摄像面顶点的距离。在图5中,离摄像面中心Io的距离相当于“对角线J的二分之一长度”的80%的长度的位置以“B80(80%像高线)”来表示。并且,在图5中,离成像面中心Io的距离相当于“对角线J的二分之一长度”的95%的长度的位置以“B95(95%像高线)”来表示。并且,在图5中,被80%像高线B80及95%像高线B95所包围的范围以“基准范围Rs”来表示。
上述条件3表示,在离光学系统16的成像面的中心的距离相当于“从摄像面中心Io至图5所示的基准范围Rs的距离”的成像面上的区域,使用评价波长而获取的MTF值成为30%以下的空间频率与光学系统16的长焦端相比广角端一侧更高。
上述图3所示的图像处理装置40适合于光学系统16与成像元件22设置成一体且满足上述条件1~条件3(第1摄影条件)的特定的光学系统16被固定地使用而进行摄影的情形,但光学系统16可以是可更换的。
图6是表示图像处理装置40的功能结构的另一例的框图。本例的图像处理装置40除了锐化处理部41以外,还包括获取对象图像的图像获取部42及获取显示已摄影对象图像时的光学系统的信息的光学摄影条件的条件获取部43。
本例的锐化处理部41,当通过条件获取部43获取的光学摄影条件满足上述条件1~条件3(第1摄影条件)及以上述式1来表示的条件4(第2摄影条件)时,作为锐化处理对通过图像获取部42获取的对象图像进行基于光学系统16的光学传递函数的复原处理。根据本例的图像处理装置40,在锐化处理部41中判定除了以上述式1来表示条件4(第2摄影条件)以外是否还满足上述条件1~条件3(第1摄影条件),并根据该判定结果进行作为锐化处理的复原处理。因此,即使在光学系统16可更换且摄影中所使用的光学系统16可改变的情形下,也能够适宜地使用图6所示的图像处理装置40。
另外,上述图像处理装置40(参考图3及图6)的适用对象并不限定于监视摄像机系统20。也可以对光学系统16及成像元件22设置成一体的数码相机、在设置成像元件22的主体部可拆卸地安装光学系统16的数码相机及能够进行图像处理的计算机等其他设备类适用图像处理装置40。
图7是表示摄像装置的功能结构的另一例的框图,尤其表示适合于光学系统16及成像元件22设置成一体的紧凑型数码相机等数码相机50的功能结构例。本例的数码相机50中,光学系统16、成像元件22、摄像控制处理部51、通信部52及摄像用户界面53设置成一体,摄像控制处理部51集中控制光学系统16、成像元件22、通信部52及摄像用户界面53。摄像控制处理部51通过根据用户经由摄像用户界面53输入的各种数据及命令控制光学系统16及成像元件22来进行摄影。摄像控制处理部51能够将从成像元件22输出的图像作为对象图像进行各种处理,通过通信部52能够将处理前后的图像发送至外部设备类。
因此,上述图像处理装置40(尤其参考图3)可以设置于图7所示的数码相机50的摄像控制处理部51。当满足上述条件1~条件3(第1摄影条件)及以上述式1来表示的条件4(第2摄影条件)时,摄像控制处理部51(图像处理装置40)作为锐化处理能够进行基于光学系统16的光学传递函数的复原处理。
图8是表示摄像装置的功能结构的另一例的框图,尤其表示适合于光学系统16可拆卸地安装于主体部54的镜头可换式相机等数码相机50的功能结构例。本例的数码相机50具备光学系统16及主体部54。光学系统16中,光学系统控制部55及光学系统输入输出部56设置成一体,并通过嵌合于主体部54的光学系统安装部58而安装于主体部54。主体部54具有成像元件22、光学系统安装部58、主体控制部57、主体输入输出部59、通信部52及摄像用户界面53。光学系统安装部58可拆卸地安装光学系统16,成像元件22通过安装于光学系统安装部58的光学系统16接受摄影光而输出图像。主体输入输出部59在光学系统16嵌合于光学系统安装部58时与光学系统输入输出部56连接而能够进行数据的收发。光学系统控制部55及主体控制部57通过光学系统输入输出部56及主体输入输出部59能够进行数据的收发。
主体控制部57根据用户经由摄像用户界面53输入的各种数据及命令向光学系统控制部55发送控制信号,光学系统控制部55根据该控制信号控制光学系统16。另一方面,通过主体控制部57控制成像元件22,能够进行摄影。主体控制部57能够将从成像元件22输出的图像作为对象图像而进行各种处理,通过通信部52能够将处理前后的图像发送至外部设备类。
因此,上述图像处理装置40(尤其参考图6)可以设置于图8所示的数码相机50的主体控制部57。当满足上述条件1~条件3(第1摄影条件)及以上述式1来表示的条件4(第2摄影条件)时,主体控制部57(图像处理装置40)作为锐化处理能够进行基于光学系统16的光学传递函数的复原处理。
图9是表示计算机60的功能结构的一例的框图,尤其表示可适用上述图像处理装置40(尤其参考图6)的功能结构例。本例的计算机60具有计算机控制处理部61、计算机输入输出部62及计算机用户界面63。计算机输入输出部62与上述数码相机50等外部设备类连接,在与其外部设备类之间进行数据的收发。计算机用户界面63除了由用户可直接操作的鼠标等定点设备及键盘等操作部以外,还包括可向用户提示各种信息的显示部。计算机控制处理部61与计算机输入输出部62及计算机用户界面63连接,通过计算机输入输出部62接收图像数据等数据,并且通过计算机用户界面63根据由用户输入的各种数据及命令进行各种处理。
因此,上述图像处理装置40(尤其参考图6)可以设置于图9所示的计算机60的计算机控制处理部61。当满足上述条件1~条件3(第1摄影条件)及以上述式1表示的条件4(第2摄影条件)时,计算机控制处理部61(图像处理装置40)作为锐化处理能够进行基于光学系统16的光学传递函数的复原处理。
根据包括上述图像处理装置40的摄像装置(监视摄像机系统20及数码相机50),当进行广角摄影时,能够提供不仅在中央部而且在周边部也具有良好画质的摄影图像。尤其在本实施方式中,考虑“在广角侧伴随变焦变化的光学性能及像差的变化较剧烈,越靠近长焦侧光学性能及像差平稳地变化”这一变焦透镜的特性而进行光学系统16的设计及复原处理的最佳化。即,牺牲光学系统16的长焦侧的光学性能而提高广角侧的光学性能,并且对以长焦侧的焦距来摄影的图像中所产生的不良状况则通过基于光学传递函数的复原处理来校正,从而关于整个变焦区域能够提供优质的摄影图像。
另外,在此所说的“基于光学传递函数的复原处理”表示从通过光学系统16的点扩散函数(PSF:Point Spread Function)的二维傅立叶变换获得的光学传递函数(OTF)导出的图像恢复处理,也称为点像复原处理。该“基于光学传递函数的复原处理”可以是使用了根据OTF制作的滤波的处理,也可以是使用了根据OTF的绝对值成分即MTF和/或表示相位的偏离的PTF(相位传递函数(Phase Transfer Function))制作的滤波的处理,也可以是使用了根据PSF制作的滤波的处理。以下说明的“光学传递函数”是不仅包含OTF还可以包含这些MTF、PTF及PSF的概念。
基于光学传递函数的复原处理是根据光学系统16的光学传递函数对已劣化的像通过使用从光学传递函数直接或间接地求出的复原滤波(逆滤波)进行校正而去掉像劣化来复原原像的处理。作为使用了简单的复原滤波的复原处理,例如可考虑通过在相对于原像成分已衰减1/100的劣化像成分适用具有使像成分成为100倍的增益的复原滤波类对原像进行复原的处理。然而,对劣化像成分仅适用从衰減特性的倒数简单地求出的增益,由成像元件22等摄像系统引起的噪声成分也可能会被放大。因此,若将具有较大的放大率的复原滤波适用于包括噪声成分的图像,则复原处理后的图像中带来不能忽视的像劣化。
作为考虑由摄像系统引起的噪声而制作的复原滤波,维纳滤波利用于广泛的领域。根据利用了维纳滤波的复原处理,在由光学系统16的光学传递函数引起的模糊的影响过大而与由摄像系统引起的噪声量相比图像的频率特性极度衰减的情况下,避免较大的增益适用于图像,从而也可能会如优先降低由摄像系统引起的噪声量的衰减增益适用于图像。
该维纳滤波也能够有效利用于本实施方式的摄像装置。通过以利用了维纳滤波的复原处理的适用为前提而进行光学系统16的设计,代替允许光学性能的一部分的劣化,能够提高其他性能。总之,关于面向监视摄影用途的光学系统16,希望将因允许光学性能的一部分的劣化而带来的计算资源分配于提高光学系统16的广角侧的边缘频率。
以下,对与以基于光学传递函数的复原处理的实施为前提的光学系统16的最佳设计相关的具体例进行说明。
<以复原处理的实施为前提的光学系统的最佳设计>
维纳滤波是图像劣化为线形而已知的情况下以将复原图像与原图像之间的均方误差设为最小为目的而制作的滤波,可用作线形滤波设计基准的一种。维纳滤波的频率特性F(f,h)由下述式2表示。
[数式1]
f=(fx,fy):摄影图像的二维空间频率;
h:摄影图像的像高;
H(f,h):光学系统16的光学传递函数(OTF);
S(f):在所设想的摄影条件下所期待的摄影图像的信号量的平方平均值;
N(f):在所设想的摄影条件下所期待的摄像系统的噪声量的平方平均值;
H*(f,h):H(f,h)的复共轭。
关于上述式2,H(f,h)为根据光学系统的设计信息而获得的参数,S(f)及N(f)为根据所设想的摄像系统而获得的参数。
将以上述式2定义的维纳滤波适用于摄影图像时的复原图像的响应X(f,h)以下述式3来表示。
[数式2]
在此,关于光学系统16的设计,设想实现了以下述式4表示的性能要件的情况。
[数式3]
式4 ||H(f,h)||≥θM
θM:所需的最小的MTF值。
当以进行基于光学传递函数的复原处理为前提进行光学系统16的设计时,能够根据复原处理后的MTF值对性能要件进行平均。因此,如以下述式5表示,实质上性能要件的基准得以放宽。
[数式4]
式5 ||X(f,h)||≥θM
从该式5导出与光学系统16的光学传递函数相关的下述式6及式7。
[数式5]
式6 ||H(f,h)|≥θL
该“θL”在下述式8成立的范围内成为“θL≤θM”,相应于此放宽光学系统16的MTF的条件得到允许。只要SN比(信噪比(Signal-Noise ratio))高到一定程度,该条件除了0%及100%的附近关于大部分的θM均成立。
[数式6]
<重视广角端中的分辨率的光学系统的最佳设计>
作为光学系统16的长焦端及广角端中的光学特性,对要求以下述式9及式10来表示的分辨性能的情况进行研究。
[数式7]
式9 ||HT(fT,h)||≥θM
式10 ||HW(fW,h)||≥θM
HT(fT,h):光学系统的长焦端中的光学传递函数;
HW(fW,h):光学系统的广角端中的光学传递函数;
fT:光学系统的长焦端中的摄影图像的二维空间频率;
fW:光学系统的广角端中的摄影图像的二维空间频率。
若以进行基于光学传递函数的复原处理为前提,则能够将上述式9及式10的条件放宽成由下述式11及式12表示的条件。
[数式8]
式11 ||HT(fT,h)||≥θL
式12 ||HW(fW,h)||≥θL
将因这种条件被放宽而阈值下降所产生的资源分配于光学系统16的广角端中的边缘分辨性能的提高,从而能够使下述式13成立。
[数式9]
式13 ||HW(fW,h)||≥θM
f’W:提高的边缘分辨频率(其中,“f’W>fW”)。
通过以进行基于光学系统16的光学传递函数的复原处理为前提,如上述能够设计出广角端中的边缘分辨性能得到提高的光学系统16。
接着,对光学系统16的具体结构例进行说明。
<实施例1>
图10表示实施例1所涉及的光学系统16的剖视图,图10(a)表示广角端中的光学系统16的配置,图10(b)表示长焦端中的光学系统16的配置。图10(a)及图10(b)分别表示对焦于无限远物体的状态下的光学系统16的配置状态,图的左侧为物体侧(被摄体侧),图的右侧为像侧(像面Sim侧)。
本例的光学系统16包括从物体侧依次配置的“具有负屈光力的第1透镜组G1”、“光圈St”、“具有正屈光力的第2透镜组G2”及“平行平板状的光学部件PP”。第1透镜组G1包括第1透镜L1、第2透镜L2、第3透镜L3、第4透镜L4及第5透镜L5(参考图10(b))。第2透镜组G2包括第6透镜L6、第7透镜L7、第8透镜L8、第9透镜L9及第10透镜L10(参考图10(b))。
当光学系统16搭载于摄像装置时,优选设置有保护成像元件22的摄像面的盖玻璃、与摄像装置的规格相应的分色棱镜等棱镜、及以低通滤光片或红外截止滤光片等各种滤光片为代表的光学部件。在图10(a)及图10(b)所示的例子中,设想了这些光学部件的平行平板状的光学部件PP配置在第2透镜组G2与像面Sim之间。
在本例的光学系统16中,光圈St配置在第1透镜组G1与第2透镜组G2之间,在改变焦距的变倍时光圈St及像面Sim的位置被固定。并且,像面Sim表示光学系统16的成像面,在进行摄影时,成像元件22的摄像面位于像面Sim的位置。另外,图10(a)及图10(b)所示的光圈St不是表示大小及形状,而是表示在光轴L上的位置。并且,在图10(a)及图10(b)中,将与光学系统16的成像面的中心对应的部位以符号“S0”来表示。
当改变光学系统16的焦距时,与第1透镜组G1与第2透镜组G2之间的光轴L的方向相关的距离发生变化。在该情况下,构成第1透镜组G1的第1透镜L1~第5透镜L5以保持彼此之间的位置的状态一体沿光轴L的方向移动,构成第2透镜组G2的第6透镜L6~第10透镜L10以保持彼此之间的位置的状态一体沿光轴L的方向移动。通过这种2组结构,从物体侧依次配置基于第1透镜组G1的负的光焦度及基于第2透镜组G2的正的光焦度,通过第1透镜组G1及第2透镜组G2的间隔变动进行变焦调整的结构有利于光学系统16的广角化。
图11是表示实施例1所涉及的光学系统16的基本数据的表(表1)。图11中“R”栏(“1”~“21”及“Sim”)表示将最靠物体侧的构成要件的面设为第1个而向像侧依次增加的第i个(i=1、2、3、……、21)面编号(参考图10(a)的“R1”~“R21”)及像面Sim。
图11的“r”栏表示各面编号的曲率半径(mm:毫米)。关于曲率半径的符号,面形状凸向物体侧的情况设为正,凸向像侧的情况设为负。并且,面编号“3”、“20”及“21”的曲率半径表示无限大,且表示面形状为与光轴L正交而法线方向与光轴L的方向一致的平面。并且,在图11中的相当于光圈St的面(面编号“10”)的曲率半径栏中记载表示连字符的记号“-”。
图11的“D”栏表示各面编号(i)的面和与像侧(图10(a)及图10(b)的右侧)相邻的面编号(i+1)的面的光轴L上的面间隔(mm)。图11中的“可变D10(第5透镜L5与光圈St之间的间隔)”、“可变D11(光圈St与第6透镜L6之间的间隔)”及“可变D21(第10透镜L10与光学部件PP之间的间隔)”表示根据变焦(焦距)发生变化(参考后述的图12)。
图11的“Nd”栏表示各面编号(i)的面和与像侧(图10(a)及图10(b)的右侧)相邻的面编号(i+1)的面之间的光学要件的与d线(波长587.6nm)相关的折射率。
图11的“νd”栏表示各面编号(i)的面和与像侧(图10(a)及图10(b)的右侧)相邻的面编号(i+1)的面之间的光学要件的与d线相关的色散系数。
图11的“θgF”栏表示各面编号(i)的面和与像侧(图10(a)及图10(b)的右侧)相邻的面编号(i+1)的面之间的光学要件的、g线(波长435.8nm)与F线(486.1nm)之间的部分方差比。
另外,图11的“Nd”、“νd”及“θgF”栏中的空栏表示不存在对应的光学要件,对应部位被空间所占。
图12是表示实施例1所涉及的光学系统16的广角端及长焦端中的整个系统的焦距、F值(“Fno”)、全视角(“2ω”)及光轴L上的可变面间隔(“可变D10(第5透镜L5与光圈St之间的间隔)”、“可变D11(光圈St与第6透镜L6之间的间隔)”及“可变D21(第10透镜L10与光学部件PP之间的间隔)”)的表(表2)。图12所示的焦距、光轴L上的面间隔(“可变D10”、“可变D11”及“可变D21”)的单位为“毫米(mm)”,全视角(“2ω”)的单位为“度(°)”。但光学系统既可以放大比例也可以缩小比例来使用,因此能够使用其他适当的单位。并且,本说明书中随附的视图中记载的各表所示的数值以规定位数进行了舍入。
如图12所示,实施例1所涉及的光学系统16的广角端中的全视角成为151.3度,且满足上述条件2。
图13是表示实施例1所涉及的光学系统16的非球面透镜(尤其面编号“11(参考图10(a)的“R11”)”及“12(参考图10(a)的“R12”)”)的非球面系数(“KA”及“Ai(i=3~20)”)的表(表3)。
关于图13的非球面系数,面编号“11”及“12”的非球面深度Z以下述式14来表示。
[数式10]
Y:高度;
R:近轴曲率半径;
KA、Ai:非球面系数。
另外,在图13中,“E”表示指数标记,例如“E-05”表示10的“-5”次方(即“10-5”)。
图14是表示实施例1所涉及的光学系统16的离光轴L的位置与边缘空间频率的关系的图(曲线图1),且示出了广角端中的光学性能及长焦端中的光学性能。
图14的横轴(“像高(比例)”)表示光学系统16的离光轴的位置,以“成像元件22的摄像面的对角线J的二分之一长度”为基准的离光学系统16的成像面的中心的距离的比例(百分比(%))来表示。例如横轴的“70%”表示光学系统16的离光轴的径向距离为“成像元件22的摄像面的对角线J的二分之一长度”的70%的光学系统16的位置。同样地,横轴的“100%”表示光学系统16的离光轴的径向距离与“成像元件22的摄像面的对角线J的二分之一长度”相等的光学系统16的位置。
图14的纵轴(“频率[LP/mm(线对/毫米(LinePairs/mm))]”)表示空间频率。
而且,在图14中,标绘了使用评价波长而获取的实施例1所涉及的光学系统16的MTF值表示30%的空间频率(边缘空间频率)。本例中所使用评价波长由435.83nm的波长成分(g线)、546.07nm的波长成分(e线)及656.27nm的波长成分(C线)构成,是以“435.83nm的波长成分:546.07nm的波长成分:656.27nm的波长成分=1:5:1”的比例包含各波长成分的白光的波长。
具有图10~图14所示的特性的实施例1所涉及的光学系统16是倍率为2.7倍左右的变倍光学系统,作出了重视广角端的光学性能的设计,且满足上述条件1~条件3(第1摄影条件)。在本实施方式的摄像装置中,对使用具有这种光学特性的实施例1的光学系统16而获取的摄影图像中根据长焦侧的焦距(参考以上述式1来表示的条件4(第2摄影条件))进行摄影的图像,作为锐化处理进行基于光学传递函数的复原处理。由此,能够提供关于整个变焦区域具有优质的画质的图像。
<实施例2>
图15表示实施例2所涉及的光学系统16的剖视图,图15(a)表示广角端中的光学系统16的配置,图15(b)表示长焦端中的光学系统16的配置。图15(a)及图15(b)分别表示对焦于无限远物体的状态下的光学系统16的配置状态,图的左侧为物体侧(被摄体侧),图的右侧为像侧(像面Sim侧)。
本实施例2所涉及的光学系统16能够进行视角大于上述实施例1的光学系统16的广角摄影(参考后述的图17)。本例的光学系统16包括从物体侧依次配置的“具有负屈光力的第1透镜组G1”、“光圈St”、“具有正屈光力的第2透镜组G2”及“平行平板状的光学部件PP”。第1透镜组G1包括第1透镜L1、第2透镜L2、第3透镜L3、第4透镜L4及第5透镜L5。第2透镜组G2包括第6透镜L6、第7透镜L7、第8透镜L8、第9透镜L9及第10透镜L10。在本例的光学系统16中,光圈St配置在第1透镜组G1与第2透镜组G2之间,光学部件PP配置在第2透镜组G2与像面Sim之间,在改变焦距的变倍时光圈St及光学部件PP的位置也被固定。
当改变光学系统16的焦距时,与第1透镜组G1与第2透镜组G2之间的光轴L的方向相关的距离发生变化。在该情况下,构成第1透镜组G1的第1透镜L1~第5透镜L5以保持彼此之间的位置的状态一体沿光轴L的方向移动,构成第2透镜组G2的第6透镜L6~第10透镜L10以保持彼此之间的位置的状态一体沿光轴L的方向移动。
图16是表示实施例2所涉及的光学系统16的基本数据的表(表4)。图16中的“R”、“r”、“D”、“Nd”、“νd”及“θgF”栏为与上述实施例1所涉及的图11相同的意思,分别表示面编号(参考R1~R22(图15(a)))及像面Sim、曲率半径、面间隔、折射率、色散系数、及g线与F线之间的部分方差比。
图17是表示实施例2所涉及的光学系统16的广角端及长焦端中的整个系统的焦距、F值(“Fno”)、全视角(“2ω”)及光轴L上的面间隔(“可变D10(第5透镜L5与光圈St之间的间隔)”、“可变D11(光圈St与第6透镜L6之间的间隔)”及“可变D21(第10透镜L10与光学部件PP之间的间隔)”)的表(表5)。图17中的“焦距”、“Fno”、“2ω”、“可变D10”、“可变D11”及“可变D21”栏与上述实施例1所涉及的图12相同。
如图17所示,实施例2所涉及的光学系统16的广角端中的全视角成为164.3度,且满足上述条件2。
图18是表示实施例2所涉及的光学系统16的非球面透镜(尤其面编号“12(参考图15(a)的“R12”)”及“13(参考图15(a)的“R13”)”)的非球面系数(“KA”及“Ai(i=3~20)”)的表(表6)。图18中的各栏与上述实施例1所涉及的图13相同。
图19是表示实施例2所涉及的光学系统16的离光轴L的位置与边缘空间频率的关系的图(曲线图2),且示出了广角端中的光学性能及长焦端中的光学性能。图19的横轴、纵轴、标绘及评价波长与上述实施例1所涉及的图14相同,在图19中,标绘了使用评价波长而获取的实施例2所涉及的光学系统16的MTF值表示30%的空间频率(边缘空间频率)。
具有图15~图19所示的特性的实施例2所涉及的光学系统16也实现了重视广角端的光学性能的设计,且满足上述条件1~条件3(第1摄影条件)。在本实施方式的摄像装置中,对使用具有这种光学特性的实施例2的光学系统16而获取的摄影图像中根据长焦侧的焦距(参考以上述式1来表示的条件4(第2摄影条件))进行摄影的图像,作为锐化处理进行基于光学传递函数的复原处理。由此,能够提供关于整个变焦区域具有优质的画质的图像。
接着,关于如上述的“在广角侧具有优异的光学性能的光学系统16”与“基于光学传递函数的复原处理”的组合,对优选实施模式进行说明。
<第1模式>
图20是表示第1模式所涉及的图像处理例的流程图。
本模式适合于对象图像的摄影中所使用的光学系统16不变更而被固定的情形,可在图3所示的图像处理装置40中适用本模式。例如“难以更换光学系统16的数码相机50(参考图7)”或“不能更换光学系统16的监视摄像机系统20(参考图2)等摄像装置”能够采用本模式所涉及的图像处理。
本模式以摄影中所使用的光学系统16满足上述条件1~条件3(第1摄影条件)为前提,根据摄影时的焦距是否满足以上述式1来表示的条件4(第2摄影条件)的判定结果确定复原处理的执行与否。
即,通过图像处理装置40的锐化处理部41获取对象图像(图20的S11),且获取光学摄影条件(S12),并根据光学摄影条件判定是否满足以上述式1来表示的条件4(第2摄影条件)(S13)。当判定为满足条件4时(S13的“是”),通过锐化处理部41对对象图像进行“基于光学传递函数的复原处理”(S14)。另一方面,当判定为不满足条件4时(S13的“否”),跳过“基于光学传递函数的复原处理(参考S14)”。如此,本模式的锐化处理部41仅在满足条件4“F≥√(Fw×Ft)”时进行复原处理。
另外,基于光学传递函数的复原处理(参考S14)的具体的方法并无特别限定。例如,可以对构成对象图像的所有像素适用复原滤波而对整个对象图像进行复原处理,也可以仅对构成对象图像的像素的一部分适用复原滤波而对对象图像的一部分进行复原处理。另外,当仅对对象图像的一部分进行复原处理时,优选对容易产生画质劣化的部位进行复原处理,例如优选对构成对象图像的周边部的像素适用复原滤波。
如以上说明,广角侧中的摄影中受到光学系统16的优异的光学特性的恩惠而能够获取良好画质的图像。并且,在满足以上述式1来表示的条件4的长焦侧进行摄影的对象图像以通过“基于光学传递函数的复原处理”而具有良好画质的方式被复原。如此,根据本模式,能够遍及广角端~长焦端的整个区域提供良好画质的图像。
<第2模式>
在本模式中,对与上述第1模式相同或类似的要件标注相同的符号,并省略其详细说明。
本模式适合于对象图像的摄影中所使用的光学系统16没有固定而能够变更的情形,能够在图6所示的图像处理装置40中适用本模式。例如“可更换光学系统16的监视摄像机系统20(参考图2)或数码相机50(参考图8)”及“能够进行通过多个摄像装置摄影的图像的图像处理的计算机60(参考图9)”能够采样本模式所涉及的图像处理。
图21是表示第2模式所涉及的图像处理例的流程图。
本模式不仅根据“是否满足以上述式1来表示的条件4(第2摄影条件)的判定结果”,还根据“对象图像的摄影中所使用的光学系统16是否满足上述条件1~条件3(第1摄影条件)的判定结果”确定复原处理的执行与否。
即,在本模式中也与第1模式同样地,通过图像处理装置40的锐化处理部41获取对象图像(图21的S21),且获取光学摄影条件(S22)。
但是,在本模式中,通过锐化处理部41,根据光学摄影条件判定是否满足上述条件1~条件3(第1摄影条件)及条件4(第2摄影条件)(S23)。当光学摄影条件均满足第1摄影条件及第2摄影条件(条件1~条件4)时(S23的“是”),通过锐化处理部41对对象图像进行“基于光学传递函数的复原处理”(S24)。另一方面,当判定为光学摄影条件不满足第1摄影条件及第2摄影条件(条件1~条件4)中的至少一部分时(S23的“否”),跳过“基于光学传递函数的复原处理(参考S24)”。
如以上说明,根据本模式,即使在可变更对象图像的摄影中所使用的光学系统16的情况下,光学系统16的光学特性与基于光学传递函数的复原处理也以适当且互补的方式组合,从而能够遍及广角端~长焦端的整个区域提供良好画质的图像。
<第3模式>
在本模式中,对与上述第2模式相同或类似的要件标注相同的符号,并省略其详细的说明。
图22是表示第3模式所涉及的图像处理例的流程图。
在本模式中,当进行“基于光学传递函数的复原处理”时,锐化处理部41获取对象图像的亮度成分,并仅对该亮度成分进行复原处理。
即,在本模式中也与第2模式同样地,通过图像处理装置40的锐化处理部41获取对象图像(图22的S31),且获取光学摄影条件(S32),并根据光学摄影条件判定是否满足上述条件1~条件4(第1摄影条件及第2摄影条件)(S33)。
但是,在本模式中,当均满足第1摄影条件及第2摄影条件(条件1~条件4)时(S33的“是”),通过锐化处理部41获取对象图像的亮度成分(S34),并对该获取的亮度成分进行“基于光学传递函数的复原处理”(S35)。另一方面,当判定为不满足第1摄影条件及第2摄影条件(条件1~条件4)中的至少一部分时(S33的“否”),跳过“对象图像的亮度成分的获取处理”及“基于光学传递函数的复原处理”。
另外,获取对象图像的亮度成分的时机并无特别限定,可以是上述步骤S33之后,也可以是上述步骤S33之前。并且,对象图像的亮度成分的获取方法并无特别限定。例如,当对象图像以RGB数据(红绿蓝数据)来表示时,锐化处理部41可按照下述式15获取对象图像的亮度成分Y。另外,下述式15中使用的RGB数据的各系数仅为一例,也可以使用其他系数。
式15Y=0.299×R+0.587×G+0.114×B
R:对象图像的R数据;
G:对象图像的G数据;
B:对象图像的B数据。
如以上说明,根据本模式,对对象图像的亮度成分进行复原处理,因此能够确保良好的复原精确度,并且能够减轻复原处理的运算负荷而使处理高速化。
<第4模式>
在本模式中,对与上述第1模式~第3模式相同或类似的要件标注相同的符号,并省略其详细的说明。
在本模式中,当满足条件1~条件3(第1摄影条件)但不满足条件4(第2摄影条件)时,锐化处理部41作为锐化处理对对象图像进行倍率色差校正处理。即,当光学摄影条件满足条件1~条件3(第1摄影条件)且光学摄影条件满足以下述式16来表示的条件5(第3摄影条件)时,锐化处理部41作为锐化处理进行“调整构成对象图像的颜色成分的倍率的倍率色差校正处理”。
式16F<√(Fw×Ft)
另外,由式16表示条件5(第3摄影条件)与由上述式1表示的条件4(第2摄影条件)相关联,能够同时进行“是否满足条件4(第2摄影条件)的判定”及“是否满足条件5(第3摄影条件)的判定”。即“满足条件4(第2摄影条件)”与“满足条件5(第3摄影条件)”为等效,“满足条件4(第2摄影条件)”与“满足条件5(第3摄影条件)”为等效。因此,在下述本模式中,仅进行“是否满足条件4(第2摄影条件)的判定”,但实质上也进行“是否满足条件5(第3摄影条件)的判定”。
图23是表示第4模式所涉及的图像处理例的流程图。
在本模式中也与第1模式~第3模式同样地,通过图像处理装置40的锐化处理部41获取对象图像(图23的S41),且获取光学摄影条件(S42)。
而且,通过锐化处理部41判定光学摄影条件是否满足条件1~条件3(第1摄影条件)(S43),当判定为满足条件1~条件3(第1摄影条件)时(S43的“是”),判定出光学摄影条件是否满足条件4(第2摄影条件)(S44)。另外,如上述,该步骤S44既是“光学摄影条件是否满足条件4(第2摄影条件)的判定”也是“光学摄影条件是否满足条件5(第3摄影条件)的判定”。
当满足条件4(第2摄影条件)时(S44的“是”),通过锐化处理部41对对象图像进行“基于光学传递函数的复原处理”(S45)。另一方面,当不满足条件4(第2摄影条件)时(S44的“否”),即满足条件5(第3摄影条件)时,通过锐化处理部41对对象图像进行倍率色差校正处理(S46)。
通过锐化处理部41进行的倍率色差校正处理的具体的方法并无特别限定。例如锐化处理部41可以根据光学系统16的光学传递函数进行倍率色差校正处理。当对象图像至少包括第1颜色成分及第2颜色成分时,锐化处理部41可以将与第1颜色成分相关的基于光学系统16的光学传递函数的复原滤波适用于第1颜色成分,且将与第2颜色成分相关的基于光学系统16的光学传递函数的复原滤波适用于第2颜色成分而进行倍率色差校正处理。例如,当对象图像由RGB数据构成时,锐化处理部41也可以通过将与R成分相关的基于光学系统16的光学传递函数的复原滤波适用于对象图像的R成分,将与G成分相关的基于光学系统16的光学传递函数的复原滤波适用于对象图像的G成分,将与B成分相关的基于光学系统16的光学传递函数的复原滤波适用于对象图像的B成分来进行倍率色差校正处理。
另外,在本例中,当不满足条件1~条件3(第1摄影条件)中的至少一部分时(S43的“否”),跳过上述复原处理(参考S45)及倍率色差校正处理(参考S46)。
如以上说明,根据本模式,当满足以上述式1来表示的条件4(第2摄影条件)时,进行基于光学传递函数的复原处理,另一方面,当不满足条件4(第2摄影条件)时,进行倍率色差校正处理。如此,通过图像处理,不仅能够进一步提高在长焦侧进行摄影的对象图像的画质,还能够进一步提高在广角侧进行摄影的对象图像的画质。
<第5模式>
在本模式中,对与上述第4模式相同或类似的要件标注相同的符号,并省略其详细的说明。
在本模式中,当满足条件1~条件3(第1摄影条件)但不满足条件4(第2摄影条件)时,锐化处理部41作为锐化处理对对象图像既进行“倍率色差校正处理(参考图25的S67)”还进行“基于光学传递函数的复原处理”。
本模式中的“满足条件4(第2摄影条件)时的复原处理(第1复原处理)”与“满足条件4(第2摄影条件)时的复原处理(第2复原处理)”的处理内容不同。具体而言,当光学摄影条件满足条件1~条件3(第1摄影条件)且光学摄影条件不满足由上述式1表示的条件4(第2摄影条件)(即光学摄影条件满足由上述式16表示的条件5(第3摄影条件))时,锐化处理部41仅对离对象图像的中心的距离表示摄像面的对角线的二分之一长度的80%以上的对象图像的区域进行基于光学系统16的光学传递函数的复原处理。
图24是表示第5模式所涉及的图像处理例的流程图。
在本模式中也与第4模式同样地,通过图像处理装置40的锐化处理部41获取对象图像(图24的S51),且获取光学摄影条件(S52)。
而且,通过锐化处理部41判定光学摄影条件是否满足条件1~条件3(第1摄影条件)(S53),当判定为满足条件1~条件3(第1摄影条件)时(S53的“是”),判定出光学摄影条件是否满足条件4(第2摄影条件)(S54)。另外,本步骤S54既是“光学摄影条件是否满足条件4(第2摄影条件)的判定”也是“光学摄影条件是否满足条件5(第3摄影条件)的判定”。
当满足条件4(第2摄影条件)时(S54的“是”),通过锐化处理部41对对象图像进行“基于光学传递函数的复原处理(第1复原处理)”(S55)。在本例中,该“第1复原处理(参考S55)”对整个对象图像进行,锐化处理部41对构成对象图像的所有像素适用根据光学传递函数制作的复原滤波。
另一方面,当不满足条件4(第2摄影条件)时(S54的“否”),即当满足条件5(第3摄影条件)时,通过锐化处理部41对对象图像进行“基于光学传递函数的复原处理(第2复原处理)”(S56)。在本例中,该“第2复原处理”仅对对象图像的一部分进行,锐化处理部41仅对构成对象图像的一部的区域即外周部的像素适用根据光学传递函数制作的复原滤波。
另外,当光学摄影条件不满足条件1~条件3(第1摄影条件)中的至少一部分时(S53的“否”),跳过上述第1复原处理(参考S55)及第2复原处理(参考S56)。
如以上说明,根据本模式,当不满足条件4(第2摄影条件)时,仅对对象图像的一部分区域进行基于光学传递函数的复原处理,尤其仅对受到光学系统16的像差等的影响而画质容易劣化的图像区域进行复原处理。因此,能够有效防止由复原处理导致的损坏,并且通过图像处理能够进一步提高在广角侧进行摄影的对象图像的画质。
<第6模式>
在本模式中,对与上述第4模式及第5模式相同或类似的要件标注相同的符号,并省略其详细的说明。
在上述第4模式及第5模式中,当光学摄影条件不满足条件4(第2摄影条件)时(参考图23的S44的“否”及图24的S54的“否”),进行倍率色差校正处理(图23的S46)及第2复原处理(图24的S56)。另一方面,在本模式中,当光学摄影条件不满足条件4(第2摄影条件)时,判定出光学摄影条件是否满足条件5(第3摄影条件),仅在满足条件5(第3摄影条件)时进行倍率色差校正处理及第2复原处理。
第2摄影条件与第3摄影条件相关联,“满足第2摄影条件”与“满足第3摄影条件”为等效,当“满足第2摄影条件”与“满足第3摄影条件”为等效时,能够适宜地采样上述第4模式及第5模式。另一方面,当“满足第2摄影条件”与“满足第3摄影条件”不是等效时或“满足第2摄影条件”与“满足第3摄影条件”不是等效时,如本模式,优选与“是否满足第2摄影条件的判定”另行进行“是否满足第3摄影条件的判定”而判定倍率色差校正处理及第2复原处理的执行与否。
另外,第3摄影条件并无特别限定,可以是与已摄影对象图像时的焦距相关的条件,也可以是其他条件。
图25是表示第6模式所涉及的图像处理的一例的流程图。
在本例中,与上述第4模式(参考图23)同样地,通过锐化处理部41获取对象图像(图25的S61),且获取光学摄影条件(S62),并判定光学摄影条件是否满足条件1~条件3(第1摄影条件)(S63)。当不满足条件1~条件3(第1摄影条件)中的至少一部分时(S63的“否”),跳过后述处理(参考S64~S67)。另一方面,当满足条件1~条件3(第1摄影条件)时(S63的“是”),通过锐化处理部41判定出光学摄影条件是否满足条件4(第2摄影条件)(S64),当满足条件4(第2摄影条件)时(S64的“是”),进行复原处理(S65)。
另一方面,当不满足条件4(第2摄影条件)时(S64的“否”),锐化处理部41判定光学摄影条件是否满足条件5(第3摄影条件)(S66)。当满足条件5(第3摄影条件)时(S66的“是”),锐化处理部41作为锐化处理进行倍率色差校正处理(S67),当不满足条件5(第3摄影条件)时(S66的“否”),跳过复原处理(参考S65)及倍率色差校正处理(参考S67)。
图26是表示第6模式所涉及的图像处理的另一例的流程图。
在本例中,与上述第5模式(参考图24)同样地,通过锐化处理部41获取对象图像(图26的S71),且获取光学摄影条件(S72),并判定光学摄影条件是否满足条件1~条件3(第1摄影条件)(S73)。当不满足条件1~条件3(第1摄影条件)中至少一部分时(S73的“否”),跳过后述处理(参考S74~S77)。另一方面,当满足条件1~条件3(第1摄影条件)时(S73的“是”),通过锐化处理部41判定出光学摄影条件是否满足条件4(第2摄影条件)(S74),当满足条件4(第2摄影条件)时(S74的“是”),进行第1复原处理(S75)。
另一方面,当不满足条件4(第2摄影条件)时(S74的“否”),锐化处理部41判定光学摄影条件是否满足条件5(第3摄影条件)(S76)。当满足条件5(第3摄影条件)时(S76的“是”),锐化处理部41作为锐化处理进行第2复原处理(S77),当不满足条件5(第3摄影条件)时(S76的“否”),跳过第1复原处理(参考S75)及第2复原处理(参考S77)。
<其他变形例>
本发明的应用并不限定于上述实施方式,可以对上述实施方式附加各种变形。
例如基于光学传递函数的复原处理可以在光学摄影条件满足上述第1摄影条件及第2摄影条件且满足光学系统16的广角端中的全视角超过100度的条件时进行。
并且,基于光学传递函数的复原处理可以在光学摄影条件满足上述第1摄影条件及第2摄影条件,且满足在离光学系统16的成像面的中心的距离表示成像元件22的摄像面的对角线的二分之一长度的70%以上的成像面上的区域,使用评价波长而获取的MTF值成为30%以下的空间频率与光学系统16的长焦端相比广角端一侧更高这一条件时进行。
并且,也可以对上述模式彼此进行组合,例如也可以将上述第3模式与其他模式进行组合。即也可以对对象图像的亮度成分进行第4模式及第6模式的复原处理(参考图23的S45及图25的S65)、第5模式及第6模式的第1复原处理(参考图24的S55及图26的S75)和/或第2复原处理(参考图24的S56及图26的S77)。
并且,上述各功能结构可通过任意的硬件、软件或两者的组合来实现,例如能够通过适当组合CPU(中央处理器(Central Processing Unit))、挥发性RAM(随机存取存储器(Random Access Memory))、EEPROM(电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory))等非挥发性存储器和/或OS(操作系统(OperatingSystem))及应用程序等各种操作程序来实现。并且,对于使计算机执行上述摄像装置(图像处理装置40)的各部中的与图像处理方法及摄像方法相关的各种处理的操作的程序、记录有该程序的计算机可读取的记录介质(非暂时性有形记录介质)或能够安装该程序的计算机也能够适用本发明。
并且,可适用本发明的方式并不限定于图1及图2所示的监视摄像机系统20(相机设备10)、图7及图8所示的数码相机50及图9所示的计算机60。
例如,本发明不仅适用于以拍摄为主要功能的相机类,还能够适用于除了摄像功能以外还具备拍摄以外的其他功能(通话功能、通信功能或其他计算机功能)的移动设备。作为可适用本发明的另一方式,例如可举出具有相机功能的移动电话或智能手机、PDA(掌上电脑(Personal Digital Assistants))及便携式游戏机。以下,对可适用本发明的智能手机的一例进行说明。
<智能手机的结构>
图27是表示本发明的摄像装置的一实施方式即智能手机101的外观的图。图27所示的智能手机101具有平板状壳体102,在壳体102的一侧表面设置有作为显示部的显示面板121与作为输入部的操作面板122形成为一体的显示输入部120。并且,该壳体102具备扬声器131、话筒132、操作部140及相机部141。另外,壳体102的结构并不限定于此,例如,也能够采用显示部与输入部独立设置的结构,或具有折叠结构或滑动机构的结构。
图28是表示图27所示的智能手机101的结构的框图。如图28所示,作为智能手机101的主要构成要件具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(全球定位系统(Global Positioning System))接收部170、动作传感器部180、电源部190及主控制部100。并且,作为智能手机101的主要功能具备进行经由基站装置及移动通信网的移动无线通信的无线通信功能。
无线通信部110按照主控制部100的命令,在和与移动通信网连接的基站装置之间进行无线通信。使用其无线通信,进行音频数据及图像数据等各种文件数据或电子邮件数据等的收发、及Web数据或流数据等的接收。
显示输入部120为具备显示面板121及操作面板122的所谓的触摸面板,通过主控制部100的控制,显示图像(静态图像及动态图像)或字符信息等而视觉性地向用户传递信息,并且,检测对所显示的信息的用户操作。
显示面板121将LCD(液晶显示器(Liquid Crystal Display))或OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备。操作面板122为设置成可视觉辨认显示面板121的显示面上所显示的图像的状态并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备,则操作面板122将通过操作产生的检测信号输出至主控制部100。接着,主控制部100根据接收的检测信号检测显示面板121上的操作位置(坐标)。
作为本发明的摄像装置的一实施方式来例示于图27的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120,且配置成操作面板122完全覆盖显示面板121。当采用了该配置时,操作面板122对显示面板121外的区域也可以具备检测用户操作的功能。换言之,操作面板122可以举出对与显示面板121重合的重叠部分的检测区域(以下,称为“显示区域”)、及对与除此以外的显示面板121不重合的边缘部分的检测区域(以下,称为“非显示区域”)。
另外,可以使显示区域的大小与显示面板121的大小完全一致,但两者无需一定要一致。并且,操作面板122可具备边缘部分及除此以外的内侧部分这两个感应区域。而且,该边缘部分的宽度为根据壳体102的大小等适当设计的部分。另外,作为操作面板122中所采用的位置检测方式可举出矩阵开关方式、抵抗膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等,可以采用任一种方式。
通话部130具备扬声器131及话筒132,且将通过话筒132输入的用户的语音转换为可通过主控制部100进行处理的音频数据而输出至主控制部100、或对通过无线通信部110或外部输入输出部160接收的音频数据进行解码而从扬声器131输出。并且,如图27所示,例如,能够在与设置显示输入部120的面同一面上搭载扬声器131,在壳体102的侧面搭载话筒132。
操作部140为使用按键开关等的硬件键,且接收来自用户的命令。例如,如图27所示,操作部140搭载于智能手机101的壳体102的侧面,且为用手指等按下时成为开关开启状态,放开手指则通过弹簧等的复元力成为开关关闭状态的按钮式开关。
存储部150存储使主控制部100的控制程序及控制数据、应用软件、通信对象的名称及电话号码等建立对应关联的地址数据;收发的电子邮件数据;通过Web浏览下载的Web数据及下载的目录数据,且临时存储流数据等。并且,存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储器插槽的外部存储部152构成。另外,构成存储部150的各自内部存储部151及外部存储部152可使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如,Micro SD(注册商标)存储器等)、RAM(Random Access Memory)及ROM(只读存储器(Read Only Memory))等存储介质来实现。
外部输入输出部160起到与连接在智能手机101上的所有外部设备的接口的作用,且用于通过通信等(例如,通用串行总线(USB:Universal Serial Bus),由IEEE(TheInstitute of Electrical and Electronics Engineers、Inc.)确定的IEEE1394等)或网络(例如,因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(RadioFrequency Identification))、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机101连接的外部设备有例如有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、通过卡插座连接的存储卡(Memory card)或SIM(客户识别模块卡(Subscriber Identity Module Card))/UIM(用户身份模块卡(User Identity ModuleCard))卡、通过音频视频I/O(Input/Output)端子连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能手机、有/无线连接的个人电脑、有/无线连接的PDA及有/无线连接的耳机等。外部输入输出部160可使从这些外部设备传输而接收的数据传达到智能手机101内部的各构成要件,或使智能手机101内部的数据传输到外部设备。
GPS接收部170按照主控制部100的命令接收从GPS卫星ST1、ST2~STn发送的GPS信号,并根据接收的多个GPS信号执行定位运算处理,检测通过该智能手机101的维度、经度、高度确定的位置。GPS接收部170当能够从无线通信部110和/或外部输入输出部160(例如,无线LAN(局域网(Local Area Network)))获取位置信息时,可使用其位置信息检测位置。
动作传感器部180例如具备3轴加速度传感器等,并按照主控制部100的命令检测智能手机101的物理动向。通过检测智能手机101的物理动向,可检测智能手机101的移动方向和加速度。该检测结果输出到主控制部100。
电源部190按照主控制部100的命令向智能手机101的各部供给储存在电池(未图示)中的电力。
主控制部100具备微处理器,并按照存储部150存储的控制程序或控制数据进行动作,且集中控制智能手机101的各部。并且,主控制部100为了通过无线通信部110进行音频通信或数据通信而具备控制通信系统各部的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过按照存储部150存储的应用软件使主控制部100动作来实现。作为应用程序处理功能例如有控制外部输入输出部160而与对置设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能及浏览Web页面的Web浏览功能等。
并且,主控制部100具备根据接收数据或下载的流数据等图像数据(静态图像或动态图像数据)将影像显示在显示输入部120等的图像处理功能。图像处理功能是指由主控制部100解码上述图像数据并对该解码结果执行图像处理且将经该图像处理而获得的图像显示在显示输入部120的功能。
而且,主控制部100执行对显示面板121的显示控制、及检测基于操作部140与操作面板122的用户操作的操作检测控制。
通过显示控制的执行,主控制部100显示用于启动应用软件的图标或显示滚动条等软件键、或显示用于创建电子邮件的窗口。另外,滚动条是指用于接收对于显示面板121的显示区域中不能完整显示的图像等使图像显示部分移动的命令的软件键。
并且,通过操作检测控制的执行,主控制部100检测基于操作部140的用户操作,或通过操作面板122对上述图标进行操作,或接收对上述窗口的输入栏的字符串的输入,或接收基于滚动条的显示图像的滚动要求。
而且,通过操作检测控制的执行,主控制部100具备触摸面板控制功能,所述触摸面板控制功能判定相对于操作面板122的操作位置是与显示面板121重合的重叠部分(显示区域)还是除此以外的与显示面板121不重合的边缘部分(非显示区域),并控制操作面板122的感应区域及软件键的显示位置。
并且,主控制部100检测对操作面板122的手势操作,并根据检测的手势操作能够执行预先设定的功能。手势操作不是以往单纯的触摸操作,而是指通过手指等画出轨迹,或同时指定多个位置,或组合它们而从多个位置至少对其中一个画出轨迹的操作。
相机部141为使用CMOS(Complementary Metal Oxide Semiconductor)等成像元件进行电子摄影的数码相机。并且,相机部141通过主控制部100的控制能够将通过拍摄得到的图像数据转换为例如JPEG(静态图像压缩标准(Joint Photographic Experts))等压缩的图像数据而记录在存储部150,或通过外部输入输出部160或无线通信部110进行输出。如图27所示,在智能手机101中,相机部141搭载于与显示输入部120同一面上,但相机部141的搭载位置并不限定于此,相机部141也可以搭载于壳体102的背面而不是设置有显示输入部120的壳体102的表面,或可将多个相机部141搭载于壳体102。另外,当搭载有多个相机部141的情况下,可切换到可供摄影的相机部141而进行独立的相机141进行摄影,或同时使用多个相机部141进行摄影。
并且,相机部141能够利用于智能手机101的各种功能中。例如,可以在显示面板121上显示通过相机部141获取的图像,作为操作面板122的操作输入的一种可以利用相机部141的图像。并且,当GPS接收部170检测位置时,可以参考来自相机部141的图像来检测位置。而且,参考来自相机部141的图像,并且不使用3轴加速度传感器或并用3轴加速度传感器,能够判断智能手机101的相机部141的光轴方向或判断当前的使用环境。当然,也能够将来自相机部141的图像利用于应用软件内。
另外,能够将静态图像或动态图像的数据中附加通过GPS接收部170获取的位置信息、通过话筒132获取的音频信息(可以通过主控制部等进行音频文本转换而成为文本信息)及通过动作传感器部180获取的姿势信息等等而获得的数据记录于存储部150或通过外部输入输出部160或无线通信部110进行输出。
另外,上述图像处理装置40(尤其锐化处理部41)例如可通过主控制部100来实现。
符号说明
10-相机设备,12-摄像部,12A-摄像支撑部,14A-支撑架,14B-台架,14-支撑部,16-光学系统,18-控制面板,20-监视摄像机系统,22-成像元件,23-相机侧控制处理部,24-相机侧通信部,30-控制终端,31-用户界面,32-终端侧控制处理部,33-终端侧通信部,40-图像处理装置,41-锐化处理部,42-图像获取部,43-条件获取部,50-数码相机,51-摄像控制处理部,52-通信部,53-摄像用户界面,54-主体部,55-光学系统控制部,56-光学系统输入输出部,57-主体控制部,58-光学系统安装部,59-主体输入输出部,60-计算机,61-计算机控制处理部,62-计算机输入输出部,63-计算机用户界面,100-主控制部,101-智能手机,102-壳体,110-无线通信部,120-显示输入部,121-显示面板,122-操作面板,130-通话部,131-扬声器,132-话筒,140-操作部,141-相机部,150-存储部,151-内部存储部,152-外部存储部,160-外部输入输出部,170-GPS接收部,180-动作传感器部,190-电源部。
Claims (15)
1.一种摄像装置,其具备:
光学系统;
成像元件,其通过所述光学系统接受摄影光而输出对象图像;及
锐化处理部,其根据表示已摄影所述对象图像时的所述光学系统的信息的光学摄影条件进行所述对象图像的锐化处理,
所述光学系统的焦距可变,
所述光学系统的广角端中的全视角超过90度,且
所述光学系统中,在离所述光学系统的成像面的中心的距离表示所述成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的所述成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的长焦端相比所述广角端一侧更高,
当将已摄影所述对象图像时的所述光学系统的所述焦距由F表示,将所述光学系统的所述广角端的所述焦距由Fw表示,将所述光学系统的所述长焦端的所述焦距由Ft表示,根据所述光学摄影条件判定是否满足以F≥√(Fw×Ft)来表示的条件,并且满足以F≥√(Fw×Ft)来表示的条件时,所述锐化处理部作为所述锐化处理进行基于所述光学系统的光学传递函数的复原处理。
2.一种图像处理装置,其具备:
图像获取部,其获取对象图像;
条件获取部,其获取表示已摄影所述对象图像时的光学系统的信息的光学摄影条件;及
锐化处理部,其根据所述光学摄影条件进行所述对象图像的锐化处理,
当所述光学摄影条件满足第1摄影条件及第2摄影条件时,所述锐化处理部作为所述锐化处理进行基于所述光学系统的光学传递函数的复原处理,
所述第1摄影条件包括:
所述光学系统的焦距可变;
所述光学系统的广角端中的全视角超过90度;且
所述光学系统中,在离所述光学系统的成像面的中心的距离表示所述成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的所述成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的长焦端相比所述广角端一侧更高这一条件,
关于所述第2摄影条件,
当将已摄影所述对象图像时的所述光学系统的所述焦距由F表示,将所述光学系统的所述广角端的所述焦距由Fw表示,将所述光学系统的所述长焦端的所述焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
3.根据权利要求2所述的图像处理装置,其中,
所述锐化处理部获取所述对象图像的亮度成分,并仅对该亮度成分进行所述复原处理。
4.根据权利要求2或3所述的图像处理装置,其中,
当所述光学摄影条件满足所述第1摄影条件且所述光学摄影条件满足由F<√(Fw×Ft)表示的第3摄影条件时,所述锐化处理部作为所述锐化处理进行倍率色差校正处理。
5.根据权利要求4所述的图像处理装置,其中,
所述锐化处理部调整构成所述对象图像的颜色成分的倍率而进行所述倍率色差校正处理。
6.根据权利要求4所述的图像处理装置,其中,
所述锐化处理部根据所述光学传递函数进行所述倍率色差校正处理。
7.根据权利要求6所述的图像处理装置,其中,
所述对象图像至少包括第1颜色成分及第2颜色成分,
所述锐化处理部将与所述第1颜色成分相关的基于所述光学传递函数的滤波适用于所述第1颜色成分,且将与所述第2颜色成分相关的基于所述光学传递函数的滤波适用于所述第2颜色成分而进行所述倍率色差校正处理。
8.根据权利要求2~7中任一项所述的图像处理装置,其中,
当所述光学摄影条件满足所述第1摄影条件且所述光学摄影条件满足由F<√(Fw×Ft)表示的第3摄影条件时,所述锐化处理部仅对离所述对象图像的中心的距离表示所述摄像面的对角线的二分之一长度的80%以上的所述对象图像的区域进行所述复原处理。
9.根据权利要求2~8中任一项所述的图像处理装置,其中,
所述复原处理在所述光学摄影条件满足所述第1摄影条件及所述第2摄影条件且满足所述光学系统的所述广角端中的全视角超过100度的条件时进行。
10.根据权利要求2~9中任一项所述的图像处理装置,其中,
所述复原处理在所述光学摄影条件满足所述第1摄影条件及所述第2摄影条件,且满足在离所述光学系统的所述成像面的中心的距离表示所述摄像面的对角线的二分之一长度的70%以上的所述成像面上的区域,使用所述评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的所述长焦端相比所述广角端一侧更高这一条件时进行。
11.一种摄像装置,其具备:
光学系统安装部,其可拆卸地安装光学系统;
成像元件,其通过安装于所述光学系统安装部的所述光学系统接受摄影光而输出图像;及
权利要求2~10中任一项所述的图像处理装置,
所述摄像装置将从所述成像元件输出的所述图像设为所述对象图像。
12.一种摄像装置,其具备:
相机设备,其具有光学系统、通过该光学系统接受摄影光而输出图像的成像元件、与该成像元件连接的相机侧控制处理部及与该相机侧控制处理部连接的相机侧通信部;及
控制终端,其具有能够与所述相机侧通信部进行通信的终端侧通信部、与该终端侧通信部连接的终端侧控制处理部及与该终端侧控制处理部连接的用户界面,
所述相机侧控制处理部及所述终端侧控制处理部中的至少任一个具有权利要求2~10中任一项所述的图像处理装置,
所述摄像装置将从所述成像元件输出的所述图像设为所述对象图像。
13.一种图像处理方法,包括:
获取对象图像的步骤;
获取表示已摄影所述对象图像时的光学系统的信息的光学摄影条件的步骤;及
根据所述光学摄影条件进行所述对象图像的锐化处理的步骤,
当所述光学摄影条件满足第1摄影条件及第2摄影条件时,作为所述锐化处理进行基于所述光学系统的光学传递函数的复原处理,
所述第1摄影条件包括:
所述光学系统的焦距可变;
所述光学系统的广角端中的全视角超过90度;且
所述光学系统中,在离所述光学系统的成像面的中心的距离表示输出所述对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的所述成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的长焦端相比所述广角端一侧更高这一条件,
关于所述第2摄影条件,
当将已摄影所述对象图像时的所述光学系统的所述焦距由F表示,将所述光学系统的所述广角端的所述焦距由Fw表示,将所述光学系统的所述长焦端的所述焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
14.一种程序,其用于使计算机执行如下操作:
获取对象图像;
获取表示已摄影所述对象图像时的光学系统的信息的光学摄影条件;及
根据所述光学摄影条件进行所述对象图像的锐化处理,其中,
当所述光学摄影条件满足第1摄影条件及第2摄影条件时,作为所述锐化处理进行基于所述光学系统的光学传递函数的复原处理,
所述第1摄影条件包括:
所述光学系统的焦距可变;
所述光学系统的广角端中的全视角超过90度;且
所述光学系统中,在离所述光学系统的成像面的中心的距离表示输出所述对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的所述成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的长焦端相比所述广角端一侧更高这一条件,
关于所述第2摄影条件,
当将已摄影所述对象图像时的所述光学系统的所述焦距由F表示,将所述光学系统的所述广角端的所述焦距由Fw表示,将所述光学系统的所述长焦端的所述焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
15.一种计算机可读取的非暂时性有形记录介质,其记录有用于使计算机执行如下操作的程序:
获取对象图像;
获取表示已摄影所述对象图像时的光学系统的信息的光学摄影条件;及
根据所述光学摄影条件进行所述对象图像的锐化处理,其中,
当所述光学摄影条件满足第1摄影条件及第2摄影条件时,作为所述锐化处理进行基于所述光学系统的光学传递函数的复原处理,
所述第1摄影条件包括:
所述光学系统的焦距可变;
所述光学系统的广角端中的全视角超过90度;且
所述光学系统中,在离所述光学系统的成像面的中心的距离表示输出所述对象图像的成像元件的摄像面的对角线的二分之一长度的80%以上且小于95%的所述成像面上的区域,使用包括435.83nm的波长成分、546.07nm的波长成分及656.27nm的波长成分的评价波长而获取的MTF值成为30%以下的空间频率与所述光学系统的长焦端相比所述广角端一侧更高这一条件,
关于所述第2摄影条件,
当将已摄影所述对象图像时的所述光学系统的所述焦距由F表示,将所述光学系统的所述广角端的所述焦距由Fw表示,将所述光学系统的所述长焦端的所述焦距由Ft表示时,以F≥√(Fw×Ft)来表示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-084394 | 2015-04-16 | ||
JP2015084394 | 2015-04-16 | ||
PCT/JP2016/061511 WO2016167188A1 (ja) | 2015-04-16 | 2016-04-08 | 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107534726A true CN107534726A (zh) | 2018-01-02 |
CN107534726B CN107534726B (zh) | 2020-06-26 |
Family
ID=57125758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680022303.0A Active CN107534726B (zh) | 2015-04-16 | 2016-04-08 | 摄像装置、图像处理装置、图像处理方法、及记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10249028B2 (zh) |
JP (1) | JP6259165B2 (zh) |
CN (1) | CN107534726B (zh) |
WO (1) | WO2016167188A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115314606A (zh) * | 2021-05-07 | 2022-11-08 | 夏普株式会社 | 摄像装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6243087B2 (ja) * | 2015-04-23 | 2017-12-06 | 富士フイルム株式会社 | 撮像装置及び撮像装置の画像処理方法及びプログラム |
WO2018222827A1 (en) * | 2017-06-02 | 2018-12-06 | Owl Labs, Inc. | Wide angle lens and camera system for peripheral field of view imaging |
CN108389204B (zh) * | 2018-03-16 | 2021-08-27 | 华南理工大学 | 一种面向高速在线检测的退化图像模糊核双参数直接估算方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102246505A (zh) * | 2008-12-10 | 2011-11-16 | 佳能株式会社 | 图像处理设备和图像处理方法以及数据处理设备和数据处理方法 |
JP2014021312A (ja) * | 2012-07-19 | 2014-02-03 | Canon Inc | ズームレンズおよび撮像装置 |
CN103888663A (zh) * | 2012-12-20 | 2014-06-25 | 佳能株式会社 | 图像处理设备、图像拾取设备和图像处理方法 |
JP2014138196A (ja) * | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
WO2014185172A1 (ja) * | 2013-05-13 | 2014-11-20 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8976271B2 (en) | 2012-07-19 | 2015-03-10 | Canon Kabushiki Kaisha | Optical system and image pickup apparatus |
JP5649622B2 (ja) * | 2012-07-19 | 2015-01-07 | キヤノン株式会社 | 光学系および撮像装置 |
-
2016
- 2016-04-08 WO PCT/JP2016/061511 patent/WO2016167188A1/ja active Application Filing
- 2016-04-08 JP JP2017512511A patent/JP6259165B2/ja active Active
- 2016-04-08 CN CN201680022303.0A patent/CN107534726B/zh active Active
-
2017
- 2017-10-13 US US15/783,471 patent/US10249028B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102246505A (zh) * | 2008-12-10 | 2011-11-16 | 佳能株式会社 | 图像处理设备和图像处理方法以及数据处理设备和数据处理方法 |
CN103327237A (zh) * | 2008-12-10 | 2013-09-25 | 佳能株式会社 | 图像处理设备和图像处理方法 |
JP2014021312A (ja) * | 2012-07-19 | 2014-02-03 | Canon Inc | ズームレンズおよび撮像装置 |
CN103888663A (zh) * | 2012-12-20 | 2014-06-25 | 佳能株式会社 | 图像处理设备、图像拾取设备和图像处理方法 |
JP2014138196A (ja) * | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
WO2014185172A1 (ja) * | 2013-05-13 | 2014-11-20 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115314606A (zh) * | 2021-05-07 | 2022-11-08 | 夏普株式会社 | 摄像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2016167188A1 (ja) | 2016-10-20 |
US10249028B2 (en) | 2019-04-02 |
US20180047140A1 (en) | 2018-02-15 |
JPWO2016167188A1 (ja) | 2018-03-08 |
CN107534726B (zh) | 2020-06-26 |
JP6259165B2 (ja) | 2018-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104995911B (zh) | 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 | |
CN106464788B (zh) | 摄像装置 | |
CN105075239B (zh) | 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质 | |
CN105453539B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
CN104704807B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
CN106464786B (zh) | 摄像装置 | |
CN105074528B (zh) | 摄像装置及对焦控制方法 | |
CN106030366B (zh) | 摄像装置及对焦控制方法 | |
CN104285435A (zh) | 摄像装置及信号校正方法 | |
CN104380706B (zh) | 图像处理装置、摄像装置、计算机及图像处理方法 | |
CN106688228A (zh) | 摄像控制装置、摄像控制方法、相机、相机系统及程序 | |
CN105960604B (zh) | 摄像装置及对焦控制方法 | |
CN105409198B (zh) | 摄像装置及图像处理方法 | |
US9619871B2 (en) | Image processing device, imaging apparatus, image processing method, and program | |
CN107534726A (zh) | 摄像装置、图像处理装置、图像处理方法、程序及记录介质 | |
CN105872361A (zh) | 拍摄指导装置、系统及方法 | |
CN105357444B (zh) | 对焦方法和装置 | |
CN105165003B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
CN104272732B (zh) | 图像处理装置、方法及摄像装置 | |
CN105008976A (zh) | 摄像装置、信号处理方法、信号处理程序 | |
CN104205827A (zh) | 图像处理装置及方法、以及摄像装置 | |
CN108370415B (zh) | 图像处理装置及图像处理方法 | |
CN106133575B (zh) | 摄像装置及对焦控制方法 | |
CN106464798B (zh) | 图像处理装置、摄像装置、图像处理方法以及记录介质 | |
CN105122787B (zh) | 摄像装置、校准系统、校准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |