CN112543883B - 信号处理设备、信号处理方法、信号处理程序以及图像捕获设备 - Google Patents

信号处理设备、信号处理方法、信号处理程序以及图像捕获设备 Download PDF

Info

Publication number
CN112543883B
CN112543883B CN201980052989.1A CN201980052989A CN112543883B CN 112543883 B CN112543883 B CN 112543883B CN 201980052989 A CN201980052989 A CN 201980052989A CN 112543883 B CN112543883 B CN 112543883B
Authority
CN
China
Prior art keywords
focus
signal processing
anamorphic lens
horizontal direction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980052989.1A
Other languages
English (en)
Other versions
CN112543883A (zh
Inventor
赤松范彦
宫谷佳孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112543883A publication Critical patent/CN112543883A/zh
Application granted granted Critical
Publication of CN112543883B publication Critical patent/CN112543883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Abstract

本发明提供了一种信号处理设备,其基于用于配备有变形镜头的图像捕获设备中的预定参数执行在显示单元中的显示处理。

Description

信号处理设备、信号处理方法、信号处理程序以及图像捕获 设备
技术领域
本技术涉及信号处理设备、信号处理方法、信号处理程序和图像捕获设备。
背景技术
一般的相机镜头被设计为相对于镜头光轴在旋转方向上光学对称。但是,例如,将诸如用于电影摄影等的变形镜头之类的特殊镜头有意地设计为在水平方向和垂直方向上具有不同的光学特性。
变形镜头是在垂直方向和水平方向上具有不同光学特性(焦距)的镜头。一般而言,变形镜头被设计为使得水平方向上的焦距短,并且在成像时以图像在水平方向上被压缩的状态记录图像。然后,通过在再现图像时在水平方向上拉伸图像,可以再现等于或大于记录元件的长宽比(aspect)的水平方向长的自然图像。
如今,在许多相机中安装了与对焦相关的功能,诸如指示被摄体是否处于合焦的对焦指示、指示区域处于合焦的合焦区域指示、检测人的面部并确定要对焦的区域的人检测功能等,并且在许多情况下,通过使用与所使用镜头的光学特性(诸如焦距、F值等)相关的信息进行适当的显示和控制。
但是,一般相机的这些功能是在成像镜头的光学特性是旋转对称且水平方向和垂直方向的特性相同的前提下设计的。
因此,为了消除在附接变形镜头时通过改变纵横比而引起的性能下降,已经提出了基于关于纵横比的信息改变针对诸如自动对焦、曝光、白平衡等的检测区域的大小的方法(专利文献1)。
引用列表
专利文献
专利文献1:日本专利No.3278206
发明内容
本发明要解决的问题
但是,在专利文献1中,由于变形镜头的水平方向和垂直方向之间的光学特性的差异而控制各种功能的方法尚未提出并且未解决。
鉴于这些点而做出了本技术,并且在配备有变形镜头的图像捕获设备中,本技术的目的是提供一种信号处理设备、信号处理方法、信号处理程序以及图像捕获设备,其中用户可以使用配备有一般图像捕获设备的功能而无需任何特殊的操作或处理。
问题的解决方案
为了解决上述问题,第一技术是一种信号处理设备,其基于设有变形镜头的图像捕获设备中的预定参数执行在显示单元中的显示处理。
另外,第二技术是一种信号处理方法,用于基于设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理。
另外,第三技术是一种信号处理程序,该信号处理程序使计算机执行信号处理方法,以基于设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理。
另外,第四技术是一种图像捕获设备,其包括变形镜头和信号处理单元,该信号处理单元基于预定参数执行在显示单元中的显示处理。
本发明的效果
根据本技术,在设有变形镜头的图像捕获设备中,用户可以使用配备有一般图像捕获设备的功能,而无需任何特殊的操作或处理。注意的是,本公开中描述的效果不必被限制,并且本公开中描述的效果可以是本说明书中描述的任何效果。
附图说明
图1是图示根据实施例的图像捕获设备的配置的框图。
图2是图示变形镜头的特性的曲线图。
图3是根据显示处理的第一方面显示的合焦标记的说明图。
图4是图示第一方面的处理的流程图。
图5是在显示处理的第二方面中布置的合焦区域的说明图。
图6是在不使用本技术的情况下合焦区域的布置的示例。
图7是在显示处理的第二方面中布置的合焦区域的另一示例的说明图。
图8是图示第二方面的处理的流程图。
图9是图示仅显示合焦的合焦区域的状态的图。
图10是图示被摄体检测框的显示的图。
具体实施方式
在下文中,将参考附图描述本技术的实施例。注意的是,将按以下顺序给出描述。
<1.实施例>
[1-1.图像捕获设备的配置]
[1-2.变形镜头的特性]
[1-3.信号处理设备的第一显示处理:显示合焦标记]
[1-4.信号处理设备的第二显示处理:处理合焦区域]
<2.修改示例>
<1.实施例>
[1-1.图像捕获设备的配置]
首先,将参考图1描述根据实施例的包括信号处理设备150的图像捕获设备100的配置。在本实施例中,显示处理由设有变形镜头101的图像捕获设备100执行。
图像捕获设备100包括光学图像捕获系统102(包括变形镜头101)、镜头驱动器103、图像捕获元件104、信号处理大规模集成(LSI)105、图像信号处理单元106、编解码器单元107、存储单元108、显示控制单元109、显示单元110、输入单元111、控制单元112、检测单元113、AF控制单元114和信号处理设备150。
光学图像捕获系统102包括用于将来自被摄体的光聚集在图像捕获元件104上的变形镜头101、用于变焦的驱动机构、快门机构、光圈机构等。基于来自控制单元112和镜头驱动器103的控制信号驱动它们。通过光学图像捕获系统102获得的被摄体的光学图像形成在作为图像捕获部件的图像捕获元件104上。
镜头驱动器103包括例如微型计算机等,并且根据控制单元112的控制来控制诸如用于自动对焦的变形镜头101的驱动、光学图像捕获系统102的驱动机构、快门机构、光圈机构等的操作。因此,调整曝光时间(快门速度)、光圈值(F值)等。
图像捕获元件104将来自被摄体的入射光光电转换成电荷量,并作为模拟图像捕获信号输出。从图像捕获元件104输出的模拟图像捕获信号被输出到图像信号处理单元106。使用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等作为图像捕获元件104。
相对于从图像捕获元件104输出的图像捕获信号,图像信号处理单元106通过用于维持良好信噪(S/N)比的相关双采样(CDS)处理、自动增益控制(AGC)处理、模拟/数字(A/D)转换等来执行采样保持,并生成图像信号。
此外,图像信号处理单元106可以对图像信号执行预定的信号处理,诸如去马赛克处理、白平衡调整处理、颜色校正处理、伽马校正处理、Y/C转换处理、自动曝光(AE)处理、分辨率转换处理。
编解码器单元107例如对已经经过预定处理的图像信号执行用于记录或通信的编码处理。
存储单元108是大容量存储介质,例如,诸如硬盘、存储棒(索尼公司的注册商标)、SD存储卡等。图像以基于标准(例如,诸如联合图像专家组(JPEG)等)的压缩状态保存。此外,包括关于保存图像的信息和附加信息(诸如成像日期和时间等)的可交换图像文件格式(EXIF)数据也与图像相关联地保存。运动图像以例如诸如运动图像专家组2(MPEG-2)、MPEG-4等格式保存。
显示控制单元109控制在显示单元110上显示生成的图像数据。
显示单元110是例如包括液晶显示器(LCD)、等离子显示面板(PDP)、有机电致发光(EL)面板等的显示设备。显示单元110显示图像捕获设备100的用户界面、菜单屏幕、图像捕获期间的监视图像、记录在存储单元108中的捕获图像、捕获的运动图像等。
输入单元111包括例如用于在通电和断电之间切换的电源按钮、用于指示开始记录图像的释放按钮、用于调节变焦的变焦杆、与显示单元110集成的触摸屏等。当在输入单元111上执行输入时,与输入对应的控制信号被生成并输出到控制单元112。然后,控制单元112执行与控制信号对应的算术处理和控制。
控制单元112包括中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)等。ROM存储由CPU读取并执行的程序等。RAM用作CPU的工作存储器。CPU通过根据存储在ROM中的程序执行各种处理并发布命令来控制整个图像捕获设备100。
检测单元113使用所提供的图像捕获信号在图像的垂直方向和水平方向中的每一个上执行检测处理,在用于自动对焦的检测范围内检测被摄体的合焦状态,并获取所有检测范围内的散焦量。散焦量是与焦点的偏离量。此外,如图2中所示,检测单元113获取与散焦量对应的MTF,并生成包括散焦量和MTF的检测信息。由检测单元113获取的检测信息被供应给AF控制单元114。应当注意的是,图像的垂直方向和水平方向分别对应于变形镜头101的垂直方向和水平方向,并且假定垂直方向和水平方向彼此正交。
AF控制单元114基于从检测单元113供应的检测信息来确定自动对焦的合焦位置。到变形镜头101的合焦位置的焦点差是焦点偏离量。变形镜头101的位置离合焦位置越远,焦点偏离量越大,并且变形镜头101的位置离合焦位置越近,焦点偏离量越小。
然后,通过基于所确定的合焦位置来驱动镜头驱动器103,AF控制单元114执行自动对焦控制,以使变形镜头101沿着光轴方向移动预定量以在被摄体上对焦。
信号处理设备150基于图像捕获设备100的预定参数执行稍后描述的显示处理。
注意的是,信号处理设备150包括程序,并且该程序可以被预先安装在图像捕获设备100中,或者可以通过下载、存储介质等来分发,使得用户可以自己安装该程序。注意的是,信号处理设备150不仅由程序实现,而且还可以通过具有功能的硬件将专用设备、电路等组合在一起来实现。
如上所述配置图像捕获设备100。注意的是,在本技术中,图像除了静止图像之外还包括构成运动图像的帧图像。
[1-2.变形镜头的特性]
接下来,将描述变形镜头的特性。图2是图示变形镜头中的调制传递函数(MTF)特性的示例的曲线图。MTF是用于评估透镜的性能的指标之一,并且作为空间频率特性指示如何忠实地再现被摄体的对比度以便了解镜头的图像形成性能。特定空间频率下的MTF对应于分辨率,并且指示该值越大,分辨率越高。在图2中,横轴表示光学系统在水平方向上的近轴射线位置。另外,纵轴表示MTF。在图2中,实线表示水平方向上的MTF特性,并且虚线表示垂直方向上的MTF特性。另外,F1(低频)的MTF特性由粗线示出,并且Fh(高频)的MTF特性由细线示出。
变形镜头一般在水平方向上比在垂直方向上具有更短的焦距和更大的景深。因此,在图2中的曲线图的横轴为散焦量的情况下,存在这样的特征:即使散焦量在垂直方向和水平方向上相同,MTF特性在水平方向上也难以降低。另外,可以说,MTF特性的倾斜度在垂直方向和水平方向之间是不同的。因此,可以说,图像在垂直方向上与水平方向相比模糊得更快。因此,即使在有相同散焦量的情况下,MTF在垂直方向上与水平方向相比也趋于减小,从而图像看起来模糊。另外,可以说,被认为处于合焦的散焦量的范围在水平方向上比在垂直方向上更宽。
此外,MTF特性的峰位置在垂直方向和水平方向上不同。虽然取决于光学设计,但是难以在所有条件下都在垂直方向和水平方向之间匹配MTF特性的峰位置。注意的是,垂直方向和水平方向之间的MTF特性也取决于被摄体的频率而改变。注意的是,假定垂直方向和水平方向彼此正交。
通常,在水平方向上执行自动对焦的检测。但是,在变形镜头中,由于MTF特性的倾斜度在垂直方向和水平方向之间不同,因此,如果仅在水平方向上执行检测,那么垂直方向上的自动对焦不能正常工作。
由于变形镜头的这种特性,因此在一些情况下,包括基于自动对焦的功能的各种功能可能通常不会在设有变形镜头的图像捕获设备中正常使用。因此,通过执行下述处理,即使在设有变形镜头的图像捕获设备中,用户也可以使用配备有一般图像捕获设备的功能,而无需任何特殊的操作或处理。
[1-3.信号处理设备的第一显示处理:显示合焦标记]
将描述信号处理设备150中的处理的第一方面。第一方面是在设有变形镜头101的图像捕获设备100中的合焦标记显示处理。
首先,将描述合焦标记的显示形态。合焦标记例如是指示合焦状态的圆形图标,其在用图像捕获设备100成像期间被叠加并显示在显示单元110上的直通图像上。图3图示了图标形式和点亮状态的形态,以及该形态的含义。
如图中3A所示,在合焦标记1000以第一形态点亮的情况下,该情况表示被摄体处于合焦。
另外,如图3B中所示,在合焦标记1000以第一形态闪烁的情况下,该情况表示被摄体焦点没有对焦。
另外,如图3C中所示,在合焦标记1000以第二形态点亮的情况下,该情况表示被摄体处于合焦,但是焦点位置根据被摄体的移动而变化。
此外,如图3D中所示,在合焦标记1000以第三形态点亮的情况下,该情况表示正处于对焦和寻找合焦位置的状态。
注意的是,合焦标记1000的形式和点亮形态不限于图3中所示的那些。形状不限于圆形,并且可以使用其它形状。除了区分点亮和闪烁之外,还可以通过形状的变化、颜色的变化等指示不同的状态。
接下来,将参考图4的流程图描述信号处理设备150中的合焦标记显示处理。注意的是,以下流程图的描述中的“焦点偏离量”是通过自动对焦中的处理计算出的焦点偏离量,并且在焦点偏离量在垂直方向和水平方向之间不同的情况下,通过预定方法确定一个值。
确定焦点偏离量中的任一个的方法的示例是取垂直方向和水平方向上的焦点偏离量的平均值的方法、基于MTF特性进行确定的方法、基于MTF特性和被摄体的倾斜度进行确定的方法、基于由绝对差和(SAD)计算出的诸如可靠度、相似度等指标进行确定的方法(作为用于计算用于检测相位检测AF的块匹配的相似度的方法之一)、优先考虑垂直方向的方法等。
另外,存在这样的方法:采用垂直方向或水平方向上具有较小F值的焦点偏离量,或者让用户选择焦点偏离量。
首先,在步骤S101中,确定是否不可能检测到焦点。在可以检测到焦点的情况下,处理进行到步骤S102(步骤S101中为“否”)。接下来,确定图像捕获设备100是否处于连续对焦的模式。这是由用户设置的或自动确定的,并且可以通过参考图像捕获设备100的设置信息来确定。
在步骤S102中图像捕获设备100不处于继续对焦的模式的情况下,处理进行到步骤S103(步骤S102中“否”)。接下来,在步骤S103中,确定焦点是否被锁定。在焦点未被锁定的情况下,处理进行到步骤S104(步骤S103中为“否”)。
接下来,在步骤S104中,将焦点偏离量与以下[公式1]中呈现的第一比较公式进行比较。
[公式1]
焦点偏离量<√(水平方向上的F值×垂直方向上的F值)×d1
在第一比较公式中,参数d1是用于确定可允许的焦点宽度的常数。另外,水平方向上的F值和垂直方向上的F值对应于权利要求中预定的参数。注意的是,[公式1]取水平方向和垂直方向上的几何平均值,但不限于此,还存在一种利用算术平均值或在水平方向/垂直方向上加权的加权平均值进行计算的方法。
在步骤S104中焦点偏离量大于第一比较公式的情况下,处理进行到步骤S105(步骤S104中为“是”)。然后,在步骤S105中,信号处理设备150执行处理,使得合焦标记1000不显示在显示单元110上。
说明返回到步骤S103。在步骤S103中焦点被锁定的情况下,处理进行到步骤S106,并且在显示单元110上显示如图3A中所示的指示被摄体处于合焦的合焦标记1000。这是因为如果可以检测到焦点并且焦点被固定,那么可以确定为其中被摄体处于合焦的状态。
另外,在步骤S104中焦点偏离量也小于第一比较公式的情况下,在步骤S106中在显示单元110上显示如图3A中所示的指示被摄体处于合焦的合焦标记1000。这是因为,在步骤S104的确定中,在焦点偏离量等于或小于第一比较公式的情况下,可以确定焦点偏离量小并且被摄体处于合焦。
说明返回到步骤S102。在图像捕获设备100在步骤S102中处于继续对焦的模式的情况下,处理进行到步骤S107(步骤S102中为“是”)。接下来,在步骤S107中,将焦点偏离量与以下[公式2]中给出的第二比较公式进行比较。
[公式2]
焦点偏离量<√(水平方向上的F值×垂直方向上的F值)×d2
在第二比较公式中,参数d2是用于确定可允许的焦点宽度的常数。另外,水平方向上的F值和垂直方向上的F值对应于权利要求中预定的参数。注意的是,[公式2]取水平方向和垂直方向上的几何平均值,但不限于此,还存在一种利用算术平均值或在水平方向/垂直方向上加权的加权平均值进行计算的方法。
另外,在焦点偏离量大于第二比较公式的情况下,处理进行到步骤S108(步骤S107中为“否”)。然后,在步骤S108中,在显示单元110上显示如图3D中所示的指示“处于正在对焦并正在搜索合焦位置的过程中的状态”的合焦标记1000。这是因为在尝试对焦的同时有可能检测到焦点并且焦点偏离量等于或大于第一比较公式的情况指示焦点偏离大,并且可以说被摄体当前没有合焦。
另一方面,在焦点偏离量小于第二比较公式的情况下,处理进行到步骤S109(步骤S107中为“是”)。在步骤S109中,在显示单元110上显示如图3C中所示的指示“被摄体处于合焦,但是焦点位置根据被摄体的移动而改变”的合焦标记1000。这是因为焦点偏离量等于或小于第一比较公式的情况指示焦点偏离小,并且可以说被摄体当前合焦。
说明返回到步骤S101。在步骤S101中无法检测到焦点的处理进行到步骤S110(步骤S101中为“是”),并且在显示单元110上显示如图3B中所示指示被摄体未合焦的合焦标记1000。
如上所述配置信号处理设备150中的处理的第一方面。根据本实施例的第一方面,用户可以使用在设有变形镜头101的图像捕获设备100中显示合焦标记的功能,而无需任何特殊的操作或处理。
[1-4.信号处理设备的第二显示处理:处理合焦区域]
接下来,将描述信号处理设备150中的处理的第二方面。第二方面是在设有变形镜头101的图像捕获设备100中布置和显示合焦区域的处理。
合焦区域的布置和显示意味着在图像上布置作为在输入图像上自动对焦的检测范围的多个合焦区域,并将其叠加在显示在显示单元110上的直通图像(监视图像)上,以显示与合焦的被摄体重叠的合焦区域。图像捕获设备100的检测单元113在每个合焦区域中检测被摄体的合焦的状态(合焦的程度),并且获取指示所有合焦区域中与焦点的偏离量的散焦信息。通过合焦区域的这种显示,用户可以通过查看显示单元110来确认被摄体的哪个部分当前合焦。
图5A图示了在由图像捕获设备100成像时被变形镜头101在水平方向上压缩的状态下的图像以及相对于该图像的合焦区域2000的布置。另外,图5B图示了由变形镜头101在水平方向上压缩的图像在水平方向上被拉伸以在再现时再现图像的状态以及相对于该图像的合焦区域2000的布置。注意的是,在图5至图9中,多个合焦区域中的一个区域由符号2000指示,但是仅该一个区域不是合焦区域,但是图示叠加在图像上的虚线中的所有矩形框(图9中的实线)都是合焦区域。
在本实施例中,图像捕获设备100具有在成像时确认压缩状态和拉伸状态的功能,并且应当可以切换和显示在显示单元110上显示的图5A中所示的压缩状态和图5B中所示的拉伸状态并呈现给用户。
如上所述,变形镜头101是在垂直方向和水平方向上具有不同焦距的镜头,并且在成像时在图像在水平方向上被压缩的状态下记录图像。然后,通过在再现图像时在水平方向上拉伸图像,实现等于或大于记录元件的长宽比的水平方向长的自然图像。
在本技术中,在图5A中所示的在水平方向上压缩的图像的状态和在图5B中所示的在水平方向上拉伸的图像的状态之间,将合焦区域2000的状态(布置间隔(放置密度))设置为不同。因此,合焦区域2000在图5A中所示的在水平方向上压缩的图像的状态下与在图5B中所示的在水平方向上拉伸的图像的状态下相比,变为更密集地布置。
在将合焦区域2000布置为覆盖图5A的压缩状态下的整个图像的情况下,如图5B中所示地改变合焦区域2000的布置,使得可以在拉伸状态下通过扩宽合焦区域2000的水平间隔以类似的方式覆盖整个图像。
在图5的示例中,合焦区域2000的布置间隔对应于水平方向拉伸的变焦倍率的比率而增大。变焦倍率是权利要求中预定的参数。具体而言,在图5A中所示的在水平方向上压缩的状态被压缩为图5B中所示的在水平方向上拉伸的状态的50%的情况下,合焦区域2000的布置与图5B的状态相比被压缩为图5A的状态下的水平方向上的50%。但是,在图5的示例中,合焦区域2000的数量和大小没有变化。
在通过使用变形镜头101在水平方向上对图像的压缩和拉伸与合焦区域2000的布置不相关联的情况下,在如图6B中所示的拉伸状态下,出现未布置合焦区域2000的范围。
因此,如图5中所示,通过对应于图像在水平方向上的压缩和拉伸改变合焦区域2000的布置,可以在任一状态下用多个合焦区域2000覆盖整个图像。
注意的是,合焦区域2000的状态的改变不仅可以是如上所述的合焦区域2000的布置间隔的改变,而且可以是如图7中所示的合焦区域2000的数量的改变。在图7的示例中,与图7A中所示的压缩状态相比,在图7B中所示的拉伸状态下,水平方向上的合焦区域2000的数量增加。
此外,可以通过改变合焦区域2000的形状、改变布置合焦区域2000的区域等来改变合焦区域2000的状态。
接下来,参考图8,将描述如图9中所示的设有变形镜头101的图像捕获设备100中显示合焦区域的处理的流程。对所有合焦区域2000中的每一个执行该处理,并且该处理是用于确定是否将每个合焦区域2000重叠在直通图像上并在显示单元110上显示的处理。重叠显示在直通图像上的合焦区域是与被摄体在图像中处于合焦的位置对应的合焦区域。
首先,在步骤S201中,确定合焦区域是否是与用户期望对焦的被摄体重叠的合焦区域。可以使用例如被摄体检测、人检测、图像的距离图等来进行该确定。例如,在人检测所检测到的人与合焦区域重叠的情况下,由于该人通常是用户期望在照片中对焦的被摄体,因此确定合焦区域与用户期望对焦的被摄体重叠。另一方面,在检测到的人与合焦区域不重叠的情况下,确定合焦区域与用户期望对焦的被摄体不重叠。
在合焦区域不是与用户期望对焦的被摄体重叠的合焦区域的情况下,处理进行到步骤S202(步骤S201中为“否”)。然后,在步骤S202中,执行合焦区域2000不在显示单元110上显示的处理。
另一方面,在步骤S201中,在合焦区域是与用户期望对焦的被摄体重叠的合焦区域的情况下,处理进行到步骤S203(步骤S201中为“是”)。接下来,在步骤S203中,确定是否不可能检测到焦点。在不可能检测到焦点的情况下,处理进行到步骤S202(步骤S203中为“是”),并且执行合焦区域不在显示单元110上显示的处理。
另一方面,在可以检测到焦点的情况下,处理进行到步骤S204(步骤S203中为“否”)。接下来,在步骤S204中,将焦点偏离量与下面的[公式3]中呈现的第三比较公式进行比较。
[公式3]
焦点偏离量<√(水平方向上的F值×垂直方向上的F值)×d3
在第三比较公式中,参数d3是用于确定可允许的焦点宽度的常数。另外,水平方向上的F值和垂直方向上的F值对应于权利要求中预定的参数。注意的是,[公式3]取水平方向和垂直方向上的几何平均值,但不限于此,还存在一种利用算术平均值或在水平方向/垂直方向上加权的加权平均值进行计算的方法。
然后,作为比较的结果,在焦点偏离量大于第三比较公式的情况下,处理进行到步骤S202(步骤S204中为“否”),并且执行合焦区域未显示在显示单元110上的处理。
另一方面,作为比较的结果,在焦点偏离量小于第三比较公式的情况下,处理进行到步骤S205(步骤S204中为“是”),并且因为被摄体在该合焦区域中处于合焦,因此执行在显示单元110上显示该合焦区域的处理。
通过对所有合焦区域中的每一个执行该处理,仅在显示单元110上显示其中被摄体处于合焦的合焦区域。
也可以将合焦区域的状态的这种改变应用于用于测光的显示、被摄体检测功能(包括面部检测功能)等。
例如,如图10中所示,考虑面部检测框4000,其是根据在成像期间由面部检测功能在图像中检测到的面部3000显示的图标。在这种情况下,在图10A中所示的在水平方向上压缩的图像的状态和图10B中所示的图像的拉伸状态下,面部检测框4000的形状根据变焦倍率而改变。因此,在确认图像的拉伸状态时,面部检测框4000也以根据面部3000的形状和尺寸的形状和尺寸来显示。
如上所述配置信号处理设备150中的处理的第二方面。根据本实施例的第二方面,用户可以使用在设有变形镜头101的图像捕获设备100中显示合焦区域的功能,而无需任何特殊的操作或处理。
如上所述配置了本技术的实施例。根据该实施例,即使在设有变形镜头101的图像捕获设备100中,也可以使用配备有普通相机的功能,显示合焦标记、显示合焦区域以及检测被摄体,而无需任何特殊处理。
<2.修改示例>
虽然上面已经具体描述了本技术的实施例,但是本技术不限于上述实施例,并且基于本技术的技术思想的各种类型的修改是可能的。
可以将本技术应用于与变形镜头集成的图像捕获设备的类型以及将变形镜头作为附件附接到图像捕获设备的外部类型两者,并且既可以应用于对静止图像进行成像又可以应用于对运动图像进行成像。
本技术还可以如下配置。
(1)
一种信号处理设备,其基于在设有变形镜头的图像捕获设备中的预定参数执行在显示单元中的显示处理。
(2)
根据(1)所述的信号处理设备,其中信号处理设备在显示单元上显示指示合焦状态的图标作为显示处理。
(3)
根据(2)所述的信号处理设备,其中参数是与变形镜头的垂直方向对应的方向上的F值和与变形镜头的水平方向对应的方向上的F值。
(4)
根据(2)或(3)所述的信号处理设备,其中信号处理设备基于与垂直方向对应的方向上的F值和与水平方向对应的方向上的F值的平均值与焦点偏移量之间的比较结果来确定显示图标的形态。
(5)
根据(1)所述的信号处理设备,其中信号处理设备控制显示单元中的多个合焦区域的状态作为显示处理。
(6)
根据(5)所述的信号处理设备,其中参数是与变形镜头的垂直方向对应的方向上的变焦倍率,以及与变形镜头的水平方向对应的方向上的变焦倍率,并且信号处理设备基于该参数改变合焦区域的状态。
(7)
根据(6)所述的信号处理设备,其中信号处理设备以使与基于通过使用变形镜头获取的图像捕获信号的图像的水平方向上的压缩状态对应的合焦区域的状态和与图像的水平方向上的拉伸状态对应的合焦区域的状态不同的方式进行改变。
(8)
根据(7)所述的信号处理设备,其中合焦区域的状态是合焦区域的布置,以及
信号处理设备改变合焦区域的布置,使得与压缩状态对应的合焦区域的布置比与拉伸状态对应的合焦区域的布置更密集。
(9)
根据(5)至(8)中的任一项所述的信号处理设备,其中信号处理设备基于与变形镜头的垂直方向对应的方向上的F值和与变形镜头的水平方向对应的方向上的F值来确定是否在显示单元上显示指示多个合焦区域的图标。
(10)
根据(1)所述的信号处理设备,其中信号处理设备控制指示由被摄体检测功能检测到的被摄体的图标在显示单元中的显示作为显示处理。
(11)
一种信号处理方法,包括
基于在设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理。
(12)
一种用于使计算机执行信号处理方法的信号处理程序,包括
基于在设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理。
(13)
一种图像捕获设备,包括:
变形镜头;以及
信号处理单元,其基于预定的参数执行在显示单元中的显示处理。
参考符号列表
100 图像捕获设备
101 变形镜头
150 信号处理设备

Claims (10)

1.一种信号处理设备,所述信号处理设备基于在设有变形镜头的图像捕获设备中的预定参数执行在显示单元中的显示处理,
其中
所述信号处理设备在所述显示单元上显示指示合焦状态的图标作为所述显示处理,
所述参数是与所述变形镜头的垂直方向对应的方向上的F值和与所述变形镜头的水平方向对应的方向上的F值,并且
所述信号处理设备基于与垂直方向对应的方向上的F值和与水平方向对应的方向上的F值的平均值与焦点偏移量之间的比较结果来确定显示图标的形态。
2.根据权利要求1所述的信号处理设备,其中
所述信号处理设备控制所述显示单元中的多个合焦区域的状态作为所述显示处理。
3.根据权利要求2所述的信号处理设备,其中
所述参数是与所述变形镜头的垂直方向对应的方向上的变焦倍率,以及与所述变形镜头的水平方向对应的方向上的变焦倍率,并且所述信号处理设备基于所述参数改变所述合焦区域的状态。
4.根据权利要求3所述的信号处理设备,其中
所述信号处理设备以使与基于通过使用所述变形镜头获取的图像捕获信号的图像的水平方向上的压缩状态对应的合焦区域的状态和与所述图像的水平方向上的拉伸状态对应的合焦区域的状态不同的方式进行改变。
5.根据权利要求4所述的信号处理设备,其中
合焦区域的状态是合焦区域的布置,以及
所述信号处理设备改变合焦区域的布置,使得与所述压缩状态对应的合焦区域的布置比与所述拉伸状态对应的合焦区域的布置更密集。
6.根据权利要求2所述的信号处理设备,其中
所述信号处理设备基于与所述变形镜头的垂直方向对应的方向上的F值和与所述变形镜头的水平方向对应的方向上的F值来确定是否在所述显示单元上显示指示所述多个合焦区域的图标。
7.根据权利要求1所述的信号处理设备,其中
所述信号处理设备控制指示由被摄体检测功能检测到的被摄体的图标在所述显示单元中的显示作为所述显示处理。
8.一种信号处理方法,包括
基于在设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理,
其中
在所述显示单元上显示指示合焦状态的图标作为所述显示处理,
所述参数是与所述变形镜头的垂直方向对应的方向上的F值和与所述变形镜头的水平方向对应的方向上的F值,并且
基于与垂直方向对应的方向上的F值和与水平方向对应的方向上的F值的平均值与焦点偏移量之间的比较结果来确定显示图标的形态。
9.一种非暂时性计算机可读介质,记录有用于使计算机执行信号处理方法的信号处理程序,所述信号处理方法包括
基于在设有变形镜头的图像捕获设备中的预定参数,执行在包括在图像捕获设备中的显示单元中的显示处理,
其中
在所述显示单元上显示指示合焦状态的图标作为所述显示处理,
所述参数是与所述变形镜头的垂直方向对应的方向上的F值和与所述变形镜头的水平方向对应的方向上的F值,并且
基于与垂直方向对应的方向上的F值和与水平方向对应的方向上的F值的平均值与焦点偏移量之间的比较结果来确定显示图标的形态。
10.一种图像捕获设备,包括:
变形镜头;以及
信号处理单元,所述信号处理单元基于预定的参数执行在显示单元中的显示处理,
其中
所述信号处理单元在所述显示单元上显示指示合焦状态的图标作为所述显示处理,
所述参数是与所述变形镜头的垂直方向对应的方向上的F值和与所述变形镜头的水平方向对应的方向上的F值,并且
所述信号处理单元基于与垂直方向对应的方向上的F值和与水平方向对应的方向上的F值的平均值与焦点偏移量之间的比较结果来确定显示图标的形态。
CN201980052989.1A 2018-08-29 2019-07-19 信号处理设备、信号处理方法、信号处理程序以及图像捕获设备 Active CN112543883B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-160797 2018-08-29
JP2018160797 2018-08-29
PCT/JP2019/028410 WO2020044844A1 (ja) 2018-08-29 2019-07-19 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置

Publications (2)

Publication Number Publication Date
CN112543883A CN112543883A (zh) 2021-03-23
CN112543883B true CN112543883B (zh) 2023-10-24

Family

ID=69645114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052989.1A Active CN112543883B (zh) 2018-08-29 2019-07-19 信号处理设备、信号处理方法、信号处理程序以及图像捕获设备

Country Status (4)

Country Link
US (1) US11467482B2 (zh)
JP (1) JP7415930B2 (zh)
CN (1) CN112543883B (zh)
WO (1) WO2020044844A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686114A (ja) * 1992-08-31 1994-03-25 Canon Inc 撮像装置
CN1933552A (zh) * 2005-09-14 2007-03-21 松下电器产业株式会社 摄像装置、固体摄像元件及图像生成方法
TW200922319A (en) * 2007-11-12 2009-05-16 Optoma Corp Method and system for switching projection ratios using a lens scaler
JP2011053301A (ja) * 2009-08-31 2011-03-17 Canon Inc 撮像装置及びその制御方法
JP2018074514A (ja) * 2016-11-02 2018-05-10 キヤノン株式会社 撮像装置及びその表示制御方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69226302T2 (de) * 1991-04-25 1999-02-11 Canon Kk Bildüberlagerungssystem für unterschiedliche Bildseitenverhältnisse
JPH0614239A (ja) * 1992-06-29 1994-01-21 Canon Inc 自動焦点調節装置及び方法並びにアナモフィック・レンズ・ユニット
JP2004297751A (ja) 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
US20050166249A1 (en) * 2004-01-26 2005-07-28 Wiatt Kettle Fitting video feed to a display device
JP5146295B2 (ja) * 2008-12-15 2013-02-20 ソニー株式会社 撮像装置および合焦制御方法
JP2017175304A (ja) * 2016-03-23 2017-09-28 キヤノン株式会社 撮像装置
JP6727989B2 (ja) * 2016-08-31 2020-07-22 キヤノン株式会社 画像処理装置およびその制御方法
JP6529533B2 (ja) * 2017-03-21 2019-06-12 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
JP6513126B2 (ja) * 2017-05-16 2019-05-15 キヤノン株式会社 表示制御装置とその制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686114A (ja) * 1992-08-31 1994-03-25 Canon Inc 撮像装置
CN1933552A (zh) * 2005-09-14 2007-03-21 松下电器产业株式会社 摄像装置、固体摄像元件及图像生成方法
TW200922319A (en) * 2007-11-12 2009-05-16 Optoma Corp Method and system for switching projection ratios using a lens scaler
JP2011053301A (ja) * 2009-08-31 2011-03-17 Canon Inc 撮像装置及びその制御方法
JP2018074514A (ja) * 2016-11-02 2018-05-10 キヤノン株式会社 撮像装置及びその表示制御方法、並びにプログラム

Also Published As

Publication number Publication date
CN112543883A (zh) 2021-03-23
US11467482B2 (en) 2022-10-11
JP7415930B2 (ja) 2024-01-17
JPWO2020044844A1 (ja) 2021-08-26
US20220121100A1 (en) 2022-04-21
EP3845945A1 (en) 2021-07-07
WO2020044844A1 (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
US9830947B2 (en) Image-capturing device
US7801431B2 (en) Image capturing device and auto-focus method thereof
JP4288612B2 (ja) 画像処理装置および方法、並びにプログラム
JP5054583B2 (ja) 撮像装置
US9374520B2 (en) Digital image processing apparatus and method of controlling the same
WO2013054726A1 (ja) 撮像装置、その制御方法及びプログラム
US9025032B2 (en) Imaging system and pixel signal readout method
JP4088944B2 (ja) 電子カメラ
JP2008262049A (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
US7941041B2 (en) Image pickup apparatus
JP5196768B2 (ja) 撮像装置
US20110164867A1 (en) Digital photographing apparatus and method that apply high-speed multi-autofocusing (af)
JP4269344B2 (ja) 電子カメラ
CN112543883B (zh) 信号处理设备、信号处理方法、信号处理程序以及图像捕获设备
JP6603892B2 (ja) 撮像装置
JP7415929B2 (ja) 信号処理装置、信号処理方法、信号処理プログラムおよび撮像装置
JP2009118515A (ja) 電子カメラ
JP2012023468A (ja) 撮像装置
JP2017058563A (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP2005136727A (ja) 電子カメラ装置、電子カメラ装置の制御方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP2005326506A (ja) 焦点検出装置及び焦点検出方法
JP5412849B2 (ja) オートフォーカス装置
JP2011102999A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant