CN104159021B - 成像设备、成像方法和计算机可读介质 - Google Patents

成像设备、成像方法和计算机可读介质 Download PDF

Info

Publication number
CN104159021B
CN104159021B CN201410187190.2A CN201410187190A CN104159021B CN 104159021 B CN104159021 B CN 104159021B CN 201410187190 A CN201410187190 A CN 201410187190A CN 104159021 B CN104159021 B CN 104159021B
Authority
CN
China
Prior art keywords
image
resolution
resolution model
processing system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410187190.2A
Other languages
English (en)
Other versions
CN104159021A (zh
Inventor
若园雅史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104159021A publication Critical patent/CN104159021A/zh
Application granted granted Critical
Publication of CN104159021B publication Critical patent/CN104159021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明涉及成像设备、成像方法和程序。一种图像处理系统包括确定是否对图像执行了对焦操作并且当确定执行了对焦操作时在高分辨率模式下处理图像的电路。当确定未执行对焦操作时,所述电路在低分辨率模式下处理图像。图像的分辨率在低分辨率模式下比在高分辨率模式下低。

Description

成像设备、成像方法和计算机可读介质
相关申请的交叉引用
本申请要求于2013年5月13日提交的日本优先权专利申请JP 2013-101051的权益,该日本优先权专利申请的全部内容以引用方式并入本文中。
技术领域
本技术涉及一种用于执行被摄体的成像的成像设备和方法、以及实现被摄体的成像的程序。
背景技术
在诸如数字照相机和数字摄像机的成像设备中,通常,用户通过在用户对被摄体执行对焦的状态下按下快门按钮来执行静止图像记录或者开始运动图像记录。为了执行对焦或对焦检查,用户检查在成像设备中设置的显示单元或取景器上显示的被摄体的监视图像(直通图像)。
在日本未审专利申请公布No.2007-13926中公开了一种技术,该技术通过在对焦操作时在显示单元上放大显示图像,提高用户检查对焦状态时的视觉辨认性。
发明内容
另外,在成像设备中,考虑到当被摄体的监视正在进行中时(例如,在执行针对静止图像的快门操作之前或者在开始运动图像记录之前)从成像器输出的像素的数目减少。例如,在配备有16兆像素的分辨率的成像器的相机中,通过稀疏化(thinning)像素之间的间隔输出光电转换信号作为被监视的成像器的输出,并且获得非常低分辨率(例如,320×240像素)的拍摄图像信号。当在成像器中以这种方式在像素之间稀疏化间隔并且由此输出光电转换信号时,获得大幅降低功耗的效果并且监视显示以足够的帧率进行更新。因此,能够提供运动平滑的监视图像。
然而,通过稀疏化像素之间的间隔,降低了屏幕上对焦检查的视觉辨认性。例如,用户难以在观看屏幕的状态下检查图像是否合焦,并且尽管使用了执行对焦部分的突出显示(也称作峰化(peaking))的功能,但是就图像分析而言难以适当地检测对焦部分。
这是因为在通过观看图像的高频分量的强度而执行对焦检查时,由于间隔稀疏化而发生锯齿(aliasing)现象并且由此高频分量变成伪低频分量。替代简单地对间隔进行稀疏化,当使用相同颜色的多个相邻像素被相加平均并且然后被读取的模式时,能够防止锯齿现象。然而,因为由于当使用这种模式时的相加平均处理导致高频分量丢失,所以同样地,无法识别检查对焦所需的高频分量的强度。
如在日本未审专利申请公布No.2007-13926中所公开的,考虑使用用于对焦检查的放大图像,但是当利用放大图像执行监视时,因为显示角度改变,所以用户难以执行取景(被摄体的检查和构图的调整)。
另外,即使以放大方式显示从成像器以低分辨率输出的拍摄图像信号的一部分,图像仍没有选择而只能粗糙。
期望提高用于对焦操作或对焦检查的视觉辨认性而不改变显示角度并且同时由于成像器(光电转换单元)的低分辨率输出而获得降低功耗的效果。
根据本技术的示例性实施例,一种图像处理系统包括电路,该电路确定是否对图像执行对焦操作并且当确定要执行对焦操作时在高分辨率模式下处理图像。当确定不执行对焦操作时,该电路在低分辨率模式下处理图像,并且图像的分辨率在低分辨率模式下比在高分辨率模式下低。
根据另一个示例性实施例,一种用于图像处理系统的图像处理方法包括:在电路中确定是否对图像执行对焦操作,并且当确定要执行对焦操作时在该电路中在高分辨率模式下处理图像。该方法还包括当确定不执行对焦操作时在该电路中在低分辨率模式下处理图像,其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
根据另一示例性实施例,一种编码有计算机可读指令的非瞬态计算机可读介质,所述计算机可读指令当由计算机执行时使得计算机执行一种方法,该方法包括确定是否对图像执行对焦操作。该方法还包括当确定要执行对焦操作时在高分辨率模式下处理图像,并且当确定不执行对焦操作时在低分辨率模式下处理图像。图像的分辨率在低分辨率模式下比在高分辨率模式下低。
如下所述,还可以有附加示例性特征。
例如,如果用户(拍摄者)在为了执行静止图像或运动图像的图像记录而执行快门操作或记录开始操作之前的时间段内利用监视图像检查被摄体,则非常高清晰度的图像作为监视图像不是完全必要的。
因此,在该时间段内,以低分辨率模式从光电转换单元读取拍摄图像信号并且这适于获得节省电力的效果。
然而,如果执行对焦(对焦改变操作)、对焦检查等,则监视图像的可测量图像质量也可以以使得对焦状态易于识别的方式获得优先。
因此,如果检测到关于对焦的操作状态,则进行从低分辨率模式到高分辨率模式的切换。
在上述的根据本技术的成像设备中,在运动图像记录正在进行中时控制单元可不执行针对光电转换单元的分辨率模式的切换控制。
当运动图像记录正在进行中时,构成运动图像的每个帧的图像数据的分辨率的改变不是优选的并且由此分辨率的改变限于分辨率模式切换。
在上述的根据本技术的成像设备中,如果作为关于对焦的操作状态检测到手动对焦操作正在进行中,则控制单元可以执行将从光电转换单元输出的拍摄图像信号切换到高分辨率模式的控制。
在上述的根据本技术的成像设备中,如果作为关于对焦的操作状态检测到自动对焦操作正在进行中或者通过自动对焦操作建立的对焦状态的检查正在进行中,则控制单元可以执行将从光电转换单元输出的拍摄图像信号切换到高分辨率模式的控制。
在上述的根据本技术的成像设备中,如果作为关于对焦的操作状态检测到监视显示上对焦部分的突出显示的功能的执行正在进行中,则控制单元可以执行将从光电转换单元输出的拍摄图像信号切换到高分辨率模式的控制。
这些是当用户使用手动对焦操作或自动对焦功能积极地执行对焦调整时或者当用户使用对焦部分的突出显示积极检查对焦状态(对焦状态下的被摄体)时的情况。因此,在上述的情况下,使用高分辨率模式提供图像质量高的监视图像,并且实现执行对焦调整或对焦检查的容易性。
在上述的根据本技术的成像设备中,控制单元可以与针对光电转换单元的分辨率模式的切换相关联地执行关于拍摄图像信号处理的参数的切换控制。
因为通过切换分辨率模式从光电转换单元输出分辨率不同的拍摄图像信号,所以可以适当对应于在拍摄图像信号处理中分辨率不同的拍摄图像信号。
在上述的根据本技术的成像设备中,根据由光电转换单元执行的分辨率模式的切换,控制单元可以执行关于用于在显示数据产生单元中产生显示数据的图像放大和缩小处理的参数的切换控制。
由于还通过切换分辨率模式从光电转换单元输出分辨率不同的拍摄图像信号,所以图像原样地作为监视图像改变尺寸。因此,放大处理或缩小处理被适当执行从而使得以与以前相同的尺寸执行显示。
在上述的根据本技术的成像设备中,在光电转换单元中可切换的多个分辨率模式可以包括至少像素之间间隔的稀疏率低的高分辨率模式和像素之间间隔的稀疏率高的低分辨率模式。也就是说,低分辨率模式和高分辨率模式是间隔稀疏率不同的分辨率模式。
根据本技术的另一个实施例,提供了一种用于成像设备的成像方法,该成像设备包括光电转换单元和显示数据产生单元,该光电转换单元响应于接收到来自被摄体的光而输出拍摄图像信号作为电信号并且针对拍摄图像信号的输出,在保持视角与拍摄图像中一样的同时分辨率不同的多个分辨率模式是可切换的;该显示数据产生单元基于从光电转换单元输出的拍摄图像信号产生用于成像的被摄体的监视显示的显示数据,其中当在低分辨率模式下执行从光电转换单元输出拍摄图像信号时如果检测到关于对焦的操作状态,则从光电转换单元输出的拍摄图像信号切换到高分辨率模式。
也就是说,当关于对焦的操作状态被检测到时,在成像设备中执行将分辨率模式从低分辨率模式切换到高分辨率模式的操作。
根据本技术的另一实施例,提供了一种使得运算处理单元执行如下处理的程序,该处理包括:检测成像设备的操作状态,该成像设备包括光电转换单元和显示数据产生单元,该光电转换单元响应于接收到来自被摄体的光而输出拍摄图像信号作为电信号并且针对拍摄图像信号的输出,在保持视角与拍摄图像中一样的同时分辨率不同的多个分辨率模式是可切换的,该显示数据产生单元基于从光电转换单元输出的拍摄图像信号产生用于成像的被摄体的监视显示的显示数据;执行在低分辨率模式下从光电转换单元输出拍摄图像信号;以及当在低分辨率模式下执行从光电转换单元输出拍摄图像信号时如果通过检测成像设备的操作状态检测到关于对焦的操作状态,则执行把从光电转换单元输出的拍摄图像信号切换到高分辨率模式下的控制。
使用运算处理单元通过程序实现上述的成像装置和成像方法。
根据本技术的实施例,在通过以低分辨率从光电转换单元输出执行功耗降低的时候,如果出现关于对焦的操作状态,则能够不改变显示角度地提高监视图像的图像质量。这能够提高在对焦操作时或者对焦检查时的视觉辨认性并且提高关于对焦操作或对焦检查的操作性。
附图说明
图1是根据本技术的实施例的成像设备的框图。
图2A和图2B是描述根据实施例的成像器的分辨率模式的图。
图3A和图3B是描述根据实施例的对焦部分的突出显示的图。
图4是描述根据实施例的低分辨率模式和高分辨率模式下的处理过程的图像数据的图。
图5是根据第一实施例的分辨率模式设置处理的流程图。
图6是根据实施例的分辨率模式切换处理的流程图。
图7是根据第二实施例的分辨率模式设置处理的流程图。
具体实施方式
在下文中按照下面的顺序描述实施例。
1.成像设备的结构
2.根据第一实施例的关于分辨率模式的处理
3.根据第二实施例的关于分辨率模式的处理
4.程序
5.变型例
1.成像设备的结构
参照图1描述根据实施例的成像设备10的结构。成像设备10是被视为所谓的数字照相机或数字摄像机并且执行静止图像或运动图像的成像/记录的装置。
如图1中所示,成像设备10具有光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、显示单元34和操作单元35。
光学系统11包括诸如保护镜、变焦透镜、对焦透镜的透镜和光圈机构。光学系统11将来自被摄体的光会聚在成像器(光电转换单元)12上。
例如,成像器12具有通过以矩阵形式布置电荷耦合器件(CCD)类型或互补金属氧化物半导体(CMOS)类型的光电转换像素而形成的成像元件。
例如,在成像器12中,对通过成像元件中的光电转换获得的电信号执行相关双重采样(CDS)处理、自动增益(AGC)控制处理等,并且对电信号执行模拟/数字(A/D)转换处理。然后,作为数字数据的拍摄图像信号(下文中称作拍摄图像数据)被输出到下游侧的数字信号处理单元20。
另外,在成像器12中,关于来自成像元件的输出,与拍摄图像中一样的视角仍被保持并且分辨率不同的多个分辨率模式被设置为可切换。如下文所述,至少在低分辨率模式与高分辨率模式之间切换被设置为可行,低分辨率模式通过增大像素之间的间隔的稀疏率来减少像素的数目,高分辨率模式通过将像素之间的间隔的稀疏率减小为低于低分辨率模式的稀疏率(包括像素之间不存在间隔)来增加像素的数目。
此外,表述“视角被保持”意味着包括在拍摄图像的一帧中的被摄体的范围基本相同。不同分辨率模式作为间隔稀疏率不同的分辨率模式的定义在于,在以基本相同的方式保持包括在图像中的被摄体的范围的同时获得分辨率不同的拍摄图像数据。
图2A和图2B示出了低分辨率模式和高分辨率模式的一个例子。图2A示出了在低分辨率模式下的成像器12上的输出像素。图2B示出了在高分辨率模式下的成像器12上的输出像素。带有○标记的像素是成像器12上的输出像素。
如图2A、2B所示,如果以矩阵形式布置R(红)、G(绿)和B(蓝)的每个光电转换像素,则例如在低分辨率模式下,水平方向(横向方向)上的5像素范围中的一个像素被输出,并且垂直方向(纵向方向)上的每7行中的一行被输出。在高分辨率模式下,水平方向(横向方向)上的3个像素范围中的一个像素被输出,并且垂直方向(纵向方向)上的每4行中的一行被输出。
例如,通过使得低分辨率模式和高分辨率模式的光电转换像素之间的间隔稀疏率不同,以这种方式获得视角基本相同但分辨率不同的拍摄图像数据。
当然,低分辨率模式与高分辨率模式之间的间隔稀疏率不限于图2A和图2B中的例子。高分辨率模式可被设置为没有间隔稀疏化(所有光电转换像素都被输出)的模式,并且可被设置为与图2B中不同的间隔稀疏率可用的模式。低分辨率模式可被设置为可以以比高分辨率模式下高的间隔稀疏率进行输出(少量像素的输出)的模式。
低分辨率模式自然降低了拍摄图像数据的图像质量,但是适于降低功耗和延长电池寿命。例如,由于未执行记录的被摄体监视图像(下文中称作“直通图像”)的进行中显示不会产生非常严重问题(尽管它在小程度上降低了图像质量),所以优先降低功耗的低分辨率模式是合适的。
在高分辨率模式下,获得图像质量高于低分辨率模式下图像质量的拍摄图像数据。
参照图1,在控制单元30的控制下,光学系统驱动单元13驱动光学系统11中的对焦透镜并且执行对焦操作。另外,在控制单元30的控制下,光学系统驱动单元13驱动光学系统11中的光圈机构并且执行曝光调整。此外,在控制单元30的控制下,光学系统驱动单元13驱动光学系统11中的变焦透镜并且执行变焦操作。
此外,对对焦透镜不仅执行作为自动对焦(其中控制单元30响应于拍摄图像的对焦状态的检测而控制光学系统驱动单元13的操作)的驱动,还执行作为手动对焦(其中控制单元30响应于对焦操作器的用户的操作而控制光学系统驱动单元13的操作)的驱动。
例如,由用作图像处理处理器的数字信号处理器(DSP)构造数字信号处理单元20。数字信号处理单元20对来自成像器12的数字信号(拍摄图像数据)执行各种信号处理任务。
例如,数字信号处理单元20包括上游处理单元21、同步单元22、YC产生单元23、分辨率转换单元24、编解码器单元25、显示数据产生单元26和自动对焦确定单元27(下文中称作AF确定单元)。
上游处理单元21对来自成像器12的拍摄图像数据执行将R、G和B的黑电平箝制到预定电平的箝位处理,R、G和B的颜色通道之间的补偿处理等。
同步单元22执行去马赛克处理从而使每个像素的图像数据具有所有R、G和B的颜色分量。
YC产生单元23从关于R、G和B的图像数据产生(分离)亮度(Y)信号和颜色(C)信号。
分辨率转换单元24对执行了各种信号处理任务的图像数据执行必要的分辨率转换处理,例如,用于记录或通信输出的分辨率转换。
编解码器单元25例如对分辨率转换后的图像数据执行用于记录或通信的编码处理。
在控制单元30的控制下,显示数据产生单元26例如产生显示数据作为输出到显示单元34的直通图像。
作为直通图像的显示数据基本上是作为在分辨率转换单元24中进行分辨率转换的拍摄图像数据的关于每帧的数据,但是执行特别用于与显示单元34的显示尺寸匹配的尺寸调整(放大-缩小),并且由此产生显示数据。也就是说,加入了用于与显示单元34的显示面板匹配的分辨率转换。
例如,当用户搜索被摄体以进行静止图像的拍摄记录时、当运动图像的记录处于待机状态时、等等,显示数据产生单元26基于拍摄图像数据产生用于显示直通图像的显示数据。然后,该显示数据被提供给显示单元34并执行直通图像的显示。
另外,显示数据产生单元26执行对焦部分的用于突出显示(峰化)的处理。例如,从作为直通图像的图像数据选择高频分量(边缘分量)高的对焦状态下的像素,并且对对应像素执行图像处理从而对应像素在显示单元34中被突出显示并且这样提供给用户。例如,从如图3A所示的拍摄图像数据检测对焦部分,并且使用如图3B所示的诸如增加被检测为对焦部分的像素的亮度或者改变颜色信息的技术执行突出显示。伴有这种突出显示的显示数据被产生并且在显示单元34上显示。结果,用户能够容易且准确地执行对焦检查(对焦部分和对焦状态的检查)。例如,用户能够通过在观看突出显示的同时执行人工或自动对焦功能来调整对焦。然后,如果被摄体的期望部分的边缘被突出显示,则能够确定对期望部分进行了对焦并且由此能够执行静止图像拍摄记录或者能够开始运动图像记录。
此外,在图4中的例子中,显示数据产生单元26被示出为被构造为具有在数字信号处理单元20中执行的功能,但是这是一个例子并且控制单元30作为显示数据产生单元26可以执行该处理。
AF确定单元28检查在自动对焦操作时的帧图像数据的当前对焦状态。例如,获得评价值。根据该评价值,使用例如检测图像数据的高频分量能量的技术确定对焦状态。在自动对焦时,控制单元30在检查来自AF检查单元28的评价值的同时执行控制从而使得光学系统驱动单元13执行对焦透镜驱动以建立合焦状态。
由包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等的微型计算机(运算处理单元)构成控制单元30。
CPU通过执行存储在ROM或闪存中的程序以统括方式控制整个成像设备10。
RAM用于临时存储数据、程序等,作为当CPU执行各种数据处理任务时的工作区。
除了诸如图像文件、固件等的内容文件以外,ROM或闪存(非易失性存储器)用于存储CPU控制每个单元所需的操作系统(OS)、用于各种操作的应用程序。在本例子中,还存储了用于执行针对成像器12在分辨率模式之间进行切换的处理的程序。
在数字信号处理单元20中,控制单元30控制针对各种信号处理任务的参数控制的每个单元的必要操作、响应于用户操作的成像操作或记录操作、再现记录的图像文件的操作、诸如变焦、对焦和曝光调整的相机操作、以及用户接口操作。
另外,根据本实施例,对于上述的针对成像器12的分辨率模式的控制,控制单元30包括作为操作确定单元30a和分辨率模式设置单元30b的功能。
操作确定单元30a执行成像设备10的操作状态的检测和确定。例如,诸如当静止图像记录或动作记录处于待机状态时、当运动图像记录正在进行中时、当再现正在进行中时、当对焦操作(合焦)正在进行中时、当突出显示正在进行中时等等,操作确定单元30a执行操作状态的检测和确定。
分辨率模式设置单元30b响应于由操作确定单元30a检测的操作状态,执行针对成像器12的分辨率模式的控制。例如,当静止图像记录或动作记录处于待机状态时,执行控制以切换到低分辨率模式。
此外,操作确定单元30a和分辨率模式设置单元30b可被实现为数字信号处理单元20的功能。
显示单元34是为用户(拍摄者等)执行各种显示的显示单元,并且例如通过在成像设备10的外壳上形成诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置而形成。此外,可以使用LCD、有机EL显示器等以所谓的取景器的形式形成显示单元34。
显示单元34由上述的显示装置和在对应显示装置上执行显示的显示驱动器构成。显示驱动器基于来自控制单元30的指令在显示装置上执行各种显示。例如,显示驱动器根据来自显示数据产生单元26的显示数据在显示装置的屏幕上再现显示被拍摄并记录在记录介质中的静止图像或运动图像,或者显示作为从在释放(快门操作)处于等待状态时成像的每帧的拍摄图像数据得到的运动图像的直通图像。也对直通图像执行突出显示。另外,显示驱动器在屏幕上执行作为图形用户接口(GUI)的各种操作菜单、图标、消息等的显示。
操作单元35具有输入用户的操作的输入功能,并且响应于输入的操作向控制单元30发送信号。
例如,操作单元35被实现为设置在成像设备10的外壳上的各种操作器或者在显示单元34上形成的触摸面板等。
作为外壳上的操作器,提供了再现菜单开始按钮、确定按钮、方向键、取消按钮、变焦键、滑动键、快门按钮(释放按钮)、用于手动对焦的作为操作器的对焦环等。
另外,通过使用在触摸面板和显示单元34上显示的图标、菜单等的触摸面板操作,可以进行各种操作。
记录单元15例如由非易失性存储器构成,并且用作存储诸如静止图像数据或运动图像数据的图像文件(内容文件)、关于图像文件的属性信息或者缩略图图像的存储区。
例如,按照诸如联合图像专家组(JPEG)格式、标签图像文件格式(TIFF)或图形交换格式(GIF)的格式存储图像文件。
以多样的方式考虑记录单元15的实际形式。例如,记录单元15可以是内置在成像设备10中的闪存。记录单元15可被构造为包括能够可拆卸地附接到成像设备10的记忆卡(例如,便携式闪存)和对记忆卡执行记录再现访问的卡记录再现单元。另外,记录单元15可被实现为内置在成像设备10中的硬盘驱动器(HDD)。
另外,在本例子中,使得控制单元30执行关于针对成像器12的分辨率模式的处理的程序可存储在记录单元15中。
通信单元16以无线或有线方式执行通信单元16与外部装置之间的数据通信或网络通信。
例如,通信单元16执行通信单元16和外部显示装置、记录装置、再现装置等之间的拍摄图像数据(静止图像文件或运动图像文件)通信。另外,通信单元16作为网络通信单元可以执行在诸如互联网、家庭网络、局域网(LAN)的各种网络上的通信,并且可以执行通信单元16和网络上的服务器、终端等之间的各种数据发送和接收。
例如,作为直通图像或再现图像的显示数据能够由通信单元16发送到外部显示装置并且由此进行显示。也就是说,显示单元34上的各种显示可以在外部显示装置上执行。
传感器单元14广泛地代表各种传感器。例如,陀螺仪传感器(角速度传感器)、加速度传感器等被设置用于检测成像设备10的所有运动,诸如相机抖动或者成像设备10的位置或移动(航向(pan)移动、俯仰(tilt)移动等)。
另外,还可以设置检测用于曝光调整的外部照度的照度传感器和测量到被摄体的距离的测距传感器。
另外,存在一种情况:作为传感器单元14,在光学系统11中设置检测变焦透镜的位置的变焦透镜位置传感器和检测对焦透镜的位置的对焦透镜位置传感器。
另外,存在一种情况:作为传感器单元14,设置检测机械光阑(光圈机构)的开口量的传感器。
传感器单元14的各种传感器将它们各自检测的信息发送给控制单元30。控制单元30能够使用在传感器单元14中检测到的信息执行各种类型的控制。
2.根据第一实施例的关于分辨率模式的处理
描述了在具有上述构造的成像设备10中执行的与成像器12的分辨率模式有关的处理。
在根据本实施例的成像设备10中,对于为静止图像拍摄记录而执行快门操作之前的时间段或者当运动图像拍摄记录处于等待状态时,成像器12基本上以图像质量为代价在低分辨率模式下工作,以抑制执行直通图像时的功耗。然而,成像器12的这种基本操作不适于对焦、对焦检查、突出显示等。于是,如果检测到关于对焦的操作状态,则控制单元30执行控制从而使得从成像器12输出的拍摄图像信号被切换到高分辨率模式并且临时在图像质量优先的状态下工作。
图4示意性地示出了低分辨率模式和高分辨率模式下的图像数据状态。
例如,如图所示,当宽泛地显示时,在执行被摄体G1的成像的情况下的直通图像显示的处理包括如图所示的成像器的输出ST1、显影处理ST2、分析/图像转换ST3、尺寸转换ST4和显示ST5。
成像器的输出ST1涉及从成像器12输出的拍摄图像数据。
显影处理ST2涉及由数字信号处理单元20中的上游处理单元21、同步单元22和YC产生单元23执行的处理任务。
分析/图像转换ST3涉及由显示数据产生单元26执行的用于对焦部分的突出显示的处理。例如,执行图像数据内的对焦部分的检测并且选择要突出显示的像素。然后,执行改变用于选择的突出显示像素的突出显示的亮度值或颜色信息的处理。
尺寸转换ST4涉及尺寸调整处理,其中,显示数据产生单元26执行与显示装置(显示单元34上的显示器)的匹配。
在显示ST5中,显示数据从显示数据产生单元26输出。显示ST5涉及在显示单元34中显示直通图像的操作。
在这一系列的处理操作中,在图4中在处理流程的上方示出在低分辨率模式下的图像数据状态。此外,在附图中示出并且在下文描述的图像尺寸只是用于描述的一个例子。
假设成像器12中的成像元件的光电转换像素的尺寸是6000×4000像素。
在低分辨率模式下,成像器12以比较高的间隔稀疏率执行间隔稀疏化输出。此时,作为一个例子,从成像器12输出的拍摄图像数据被设置为如图像数据LG2所示具有320×240像素。
在低分辨率模式下,对320×240像素的图像数据LG2执行显影处理ST2,并且对经历了显影处理ST2的320×240像素的图像数据LG3执行分析/图像转换ST3。
然后,当显示装置的尺寸设置为640×480像素时,经历了分析/图像转换ST3的图像数据LG4通过尺寸转换ST4被放大处理,并且由此被设置为640×480像素的图像数据LG5。图像数据LG5作为显示数据被提供给显示单元34并且作为显示ST5被显示输出(显示图像LG6)。
低分辨率模式产生相当大的省电效果,因此是有用的。间隔稀疏率越高,获得的省电效果越大。然而,通过成像器的输出ST1中的间隔稀疏化以及通过尺寸转换ST4中的放大,显示图像LG6变成散景处理(bokeh-processed)的图像(在附图中,虚线指示显示图像LG6处于散景状态)。
另外,这些处理过程中的图像数据LG2和LG3是由于省电或有限带宽而在较大程度上执行间隔稀疏化但是因此而大部分时间无法适当地执行分析/图像转换ST3的图像。也就是说,高频带分量能量降低,并且无法以高准确度执行对焦部分的检测。因此,在大部分时间也无法适当地执行对焦部分的突出显示。
与之相对,在图4中在处理流程的下方示出在高分辨率模式下的图像数据状态。
在高分辨率模式下,成像器12以比较低的间隔稀疏率执行拍摄图像数据的输出。例如,假设1280×960像素的拍摄图像数据被输出显示为图像数据HG2。
在高分辨率模式下,对1280×960像素的图像数据HG2执行显影处理ST2,并且对经历了显影处理ST2的1280×960像素的图像数据HG3执行分析/图像转换ST3。
然后,响应于显示装置的尺寸设置为640×480像素的事实,经历了分析/图像转换ST3的图像数据HG4通过尺寸转换ST4进行缩小处理并且由此被设置为640×480像素的图像数据HG5。图像数据HG5作为显示数据被提供给显示单元34并且作为显示ST5被显示输出(显示图像HG6)。
在高分辨率模式下,图像数据的高频带分量很少丢失。还能够以一定高准确度检测对焦部分的对比度。因此,分析/图像转换ST3被适当执行,并且如在图像数据HG4中所示用于突出显示的数据转换被适当执行。另外,显示图像HG6能够被设置为未经散景处理(少量散景处理)的图像,并且用户还能够正确识别显示器上的对焦部分的突出显示。
然而,在降低功耗方面,高分辨率模式不如低分辨率模式。
低分辨率模式和高分辨率模式具有它们各自的优点和缺点。根据本实施例,在这点上,根据操作状态在低分辨率模式与高分辨率模式之间适当进行切换。
图5示出了由控制单元30执行的分辨率模式设置处理的例子。
对于当执行由成像器12进行的拍摄图像数据输出时的时间段,控制单元30通过使用操作确定单元30a和分辨率模式设置单元30b的功能执行图5中的处理。
在步骤F101中,控制单元30检查是否当前在执行运动图像记录。当运动图像记录正在进行中时,进行到步骤F107,并且控制单元30保持分辨率模式的当前设置状态。也就是说,不执行改变分辨率模式的处理。因此,当运动图像记录正在进行中时,开始运动图像记录时的分辨率模式被设置为继续。
当运动图像记录不在进行中时,控制单元30执行步骤F102、步骤F103和步骤F104中的确定。在步骤F102中,确定手动对焦操作是否正在进行中。如果用户操作例如在镜头本体筒中设置的对焦环的用于手动对焦的操作器,则响应于操作器的操作,控制单元30控制光学系统驱动单元13并且执行对焦透镜的移动。如果检测到手动对焦操作,则为了分辨率模式的处理,控制单元30进行到步骤F105。
另外,在步骤F103中,控制单元30确定通过将快门按钮按下一半的对焦检查是否正在进行中。
当用户将快门按钮按下一半时,控制单元30执行焦点锁定控制。也就是说,作为自动对焦控制,在由AF确定单元27监视评价值的同时,执行光学系统驱动单元13的对焦透镜驱动,搜索合焦位置,并且由此形成对焦状态。然后,在当继续按下一半时的时间段内,合焦状态被保持。
因此,检测到快门按钮的按下一半的情况等同于检测到作为成像设备10的操作状态的自动对焦操作正在进行中或者通过自动对焦操作形成的对焦状态的检查正在进行中的情况。
即使按下一半状态被检测到,控制单元30仍进入作为关于分辨率模式的处理的步骤F105。
在步骤F104中,控制单元30检测对焦部分的突出显示是否当前处于进行中。为了用户容易地检查对焦部分,执行图3B所示的对焦部分的突出显示。因此,存在如下情况:在手动对焦操作时或者当通过快门按钮按下一半执行的自动对焦和焦点锁定正在进行中时,自动执行这个突出显示功能。这不会强加任何限制,并且作为选择,还存在通过用户的操作打开突出显示功能的情况。此外,还考虑如下的情况:对成像设备10的特定操作状态或者被摄体的状态(例如,在面部检测时)执行突出显示。以这种方式不同地考虑执行突出显示的情况,但是在步骤F104中,确定突出显示的执行是否在进行中,并且如果在进行中,则控制单元30进行到步骤F105。
如果基于上述的步骤F102、F103和F104中的确定,操作状态对应于下面的状态中的任何一个:当手动对焦操作正在进行中时、当通过按下一半执行的对焦检查正在进行中时以及当对焦部分的突出显示正在进行中时,则进行到步骤F105,并且控制单元30将成像器12切换到高分辨率模式(如果成像器12已经被切换到高分辨率模式,则高分辨率模式继续)。
另一方面,如果操作状态不对应于下面的状态中的任何一个:当手动对焦操作正在进行中时、当通过按下一半执行的对焦检查正在进行中时以及当对焦部分的突出显示正在进行中时,则在步骤F106中控制单元将成像器12切换到低分辨率模式(如果成像器12已经切换到低分辨率模式,则低分辨率模式继续)。
控制单元30例如在当获得拍摄图像数据时的每帧定时执行图5中的处理。
最终,如果操作状态对应于下面的状态中的任何一个:当手动对焦操作正在进行中时、当通过按下一半执行的对焦检查正在进行中时以及当对焦部分的突出显示正在进行中时,则成像器12被设置为高分辨率模式。然后,在上述的操作状态的任何一个出现前或者在上述的操作状态的任何一个终止后,成像器12被设置为低分辨率模式。
图6示出了在步骤F105或F106中切换分辨率模式的情况下由控制单元30执行的处理。
如果分辨率模式设置的切换发生,则控制单元30使图6中的处理从步骤F201前进到F202。首先,控制单元等待当前帧处理的终止。成像器12从每帧重复读取光电转换信号,并且输出拍摄图像数据。然而,可以理解,在从某帧读取光电转换信号的同时切换分辨率模式是不适当的。因此,控制单元等待成像器12终止当前帧的输出。
如果当前帧处理终止,则在步骤F203中控制单元30指示成像器12切换分辨率模式。通过这样做,成像器12从下一帧开始切换分辨率模式。也就是说,读取的光电转换信号的间隔稀疏率被改变。
在步骤F204中,控制单元30执行信号处理参数切换的控制。
当成像器12的分辨率模式被改变时,需要根据这种改变来改变显影处理(ST2)的参数。例如,用于补偿上游处理单元21中的闪变(flicker)的闪变宽度的参数与纵向方向上的分辨率成比例。另外,需要指定关于由同步单元22等执行的滤波器处理中的图像的尺寸或有效范围的信息作为该参数。由于当来自成像器12的拍摄图像数据的分辨率改变时最佳值改变,所以响应于分辨率模式的切换,再次设置这些参数。
在步骤F205中,控制单元30执行用于显示的尺寸转换处理参数的切换。例如,在图4中,作为尺寸转换ST4,在低分辨率模式的情况下,320×240像素的图像数据LG4被放大成640×480像素的图像数据LG5。另一方面,在高分辨率模式的情况下,作为尺寸转换ST4,给出了1280×960像素的图像数据HG4被缩小成640×480像素的图像数据HG5的例子。按这种方式,在高分辨率模式和低分辨率模式下,作为用于显示的尺寸转换ST4执行的处理在缩小和放大方面不同。因此,在步骤F205中,控制单元30执行设置作为尺寸转换ST4执行的处理的参数改变。
当然,缩小和放大之间的这种切换是一个例子,并且例如,还存在在高分辨率模式下执行放大的情况。例如,如果640×480像素是显示屏幕尺寸,则当高分辨率模式是600×400像素等并且低分辨率模式是400×200像素等时,在任何模式下作为尺寸转换ST4都执行放大。相反,在任何模式下在尺寸转换ST4中也执行缩小的像素尺寸设置也是可以的。
然而,尽管切换到任何模式,但是在尺寸转换ST4中高分辨率模式和低分辨率模式的放大率(或缩小率)不同。因此,在这种情况下,在步骤F205中,控制单元30执行作为尺寸转换处理参数的参数(即放大率或缩小率)的切换。
尽管成像器12中的分辨率模式设置被改变,但是通过步骤F205中的处理防止屏幕显示尺寸改变。
如图6中所示,在执行成像器12的分辨率模式的切换时,控制单元30根据分辨率模式执行信号处理参数还有尺寸转换处理参数的切换。
控制单元30执行图5和图6中的处理并且由此获得根据本实施例的下面的效果。
根据本实施例的成像设备10包括成像器12,成像器12响应于接收到来自被摄体的光而输出作为电信号的拍摄图像信号,并且在成像器12中,针对拍摄图像信号的输出,在保持视角与拍摄图像中一样的同时分辨率不同的多个分辨率模式(高分辨率模式和低分辨率模式)可切换。另外,成像设备10包括显示数据产生单元26(数字信号处理单元20),用于基于从成像器12输出的拍摄图像数据产生在成像的被摄体的监视显示中使用的显示数据。另外,成像设备10包括控制单元30,如果当在低分辨率模式下执行从成像器12输出时检测到关于对焦的操作状态,则控制单元30执行将成像器12切换到高分辨率模式的控制。
在具有这种结构的成像设备10中,首先,在执行用于静止图像记录的快门操作或者用于运动图像记录的开始操作之前的时间段期间当用户(拍摄者)通过直通图像(监视图像)检查被摄体时,能够获得由低分辨率模式得出的降低功耗的效果并且能够实现电池寿命的延长。在这种情况下,直通图像的显示图像质量降低,但是由于直通图像首要是用于确定构图或者大致检查被摄体并且因此太高的质量不是必要的,特别地,直通图像自身质量低的事实不是问题。然而,如果执行对焦(焦点改变操作)、对焦检查等,则直通图像的图像质量可被提高以使得用户容易地从直通图像检查对焦状态。因此,在检测到关于对焦的操作状态时,从低分辨率模式切换到高分辨率模式。也就是说,由于以高准确度检查对焦条件,所以当对焦检查正在进行中时从成像器12读取更多数量的像素。因此,图像的高频分量易于视觉识别,并且在对焦操作和对焦检查时视觉辨认性被提高。
另外,在执行分辨率模式切换的情况下,通过在保持从成像器12输出光电转换像素的范围的尺寸的同时改变间隔稀疏率,防止视角变化并且不会阻碍用户的取景操作。也就是说,即使执行分辨率模式切换,用户仍能够在相同的视角的状态下继续检查被摄体。
也就是说,由于当输出像素的数目通过间隔稀疏化而下降时成像器12上的读取区域的宽度(视角)没有变化,所以用户能够执行取景(被摄体的检查和构图的调整)而不会在观看监视图像时认识到输出像素的数目减少。
另外,当运动图像记录正在进行中时,控制单元30不会执行分辨率模式的切换控制。
例如,即使用户执行对焦操作,当运动图像记录正在进行中时,成像器12的分辨率模式仍可以不改变。如果当运动图像记录正在进行中时读取分辨率发生改变,则在记录图像中留有图像质量在帧之间瞬间变化的样子并且记录图像的质量下降。另外,由于在运动图像记录正在进行中的同时正常使用考虑了帧率而得出的读取像素的数目,所以当读取像素的数目增加时,这导致帧率下降并且由此这不是优选的。
因此,即使运动图像记录正在进行中,例如,即使执行对焦,通过对分辨率模式切换强加限制仍保持正确运动图像记录数据而不会对运动图像记录产生不利影响。当运动图像记录正在进行中时不执行分辨率模式切换对于配备有实际运动图像拍摄功能的成像装置是相当重要的处理。
另外,在根据本实施例的成像装置10中,控制单元30在下面的关于对焦的操作状态下执行控制以切换到高分辨率模式:当手动对焦操作被检测为正在进行中时,当自动对焦操作被检测为正在进行中时,当通过自动对焦操作形成的对焦状态的检查被检测为正在进行中时(当按下一半正在进行中时),或者当对焦部分的突出显示的执行被检测为正在进行中时。
这些是当用户使用手动对焦操作或自动对焦功能积极执行对焦调整时或者当用户使用对焦部分的突出显示积极检查对焦状态(合焦状态的被摄体)时的情况。因此,在上述的情况下,使用高分辨率模式提供高图像质量的监视图像,并且由此提高了执行对焦调整或对焦检查的容易度。
另外,当突出显示的执行正在进行中时,设置为高分辨率模式能够提高执行突出显示的准确度并且向用户提供适当的对焦部分。
另外,由于尽管操作状态对应于下面状态的任何一个(即,当手动对焦操作正在进行中时,当通过按下一半的对焦检查正在进行中时,以及当对焦部分的突出显示正在进行中时)但仍执行设置为低分辨率模式,所以能够根据操作情况提供低分辨率模式(降低功耗优先)和高分辨率模式(图像质量优先)中的最佳操作模式。因此,能够在提高关于对焦或对焦检查的操作性的同时增加每块电池的拍摄图像张数。也就是说,根据操作状态,在图像质量优先与降低功耗优先之间进行切换,并且可用性提高和长时间使用能够兼容。
另外,与分辨率模式的切换相关联地,控制单元30执行关于拍摄图像信号处理的参数的切换控制。即使以这种方式提供的拍摄图像数据的分辨率发生变化,与这种变化相对应,仍能够保持执行适当图像信号处理的状态并且能够无故障地持续显示图像。
另外,与分辨率模式的切换相关联地,控制单元30执行用于在显示数据产生单元26中产生显示数据的图像放大处理和图像缩小处理的参数的切换控制。当通过改变分辨率模式显示的直通图像的视角改变时,取景变得困难。由于这个原因,通过改变面板输出图像的放大处理和缩小处理(尺寸转换ST4)的参数从而使得消除视角变化,防止了在面板上显示的视角发生变化。通过这样做,用户取景不会受到阻碍并且能够防止用户感觉到由于当执行对焦操作时在显示上视角突然变化的现象导致的不适。
3.根据第二实施例的关于分辨率模式的处理
图7示出了根据第二实施例的分辨率模式设置处理。此外,与图5中相同的处理被给予相同的步骤编号并且省去对其的描述。
图7中的处理例子能够应用到能够在成像器12中在第一和第二高分辨率模式与低分辨率模式之间进行切换的情况。例如,在低分辨率模式下间隔稀疏率设置为1/9,在第二高分辨率模式下间隔稀疏率设置为1/7,在第一高分辨率模式下间隔稀疏率设置为1/5。
如果手动对焦操作正在进行中或者如果通过按下一半执行的对焦检查正在进行中,则如图7中的处理,控制单元30控制成像器12从而使得成像器12被切换到第一高分辨率模式(F102->F105或者F103->F105)。
另外,如果对焦部分的突出显示正在进行中,则控制单元30控制成像器12从而使得成像器12被切换到第二高分辨率模式(F104->F108)。
在其它情况下,成像器12被设置为处于低分辨率模式下(F106)。
如在该例子中,分辨率模式可以按三级进行切换。例如,当对焦操作正在进行中时,用户的视觉辨认性优先并且由此图像质量设置为最高优先。另一方面,当突出显示正在进行中时由于突出显示导致用户能够容易地识别对焦部分,所以图像质量可以少量降低。然而,当间隔稀疏率增加太多时,高频分量不足并且由此无法适当执行用于突出显示的处理。因此,执行设置为图像质量比第一高分辨率模式略低的第二高分辨率模式,并且由此还获得一些降低功耗的效果。
例如,通过根据操作状态按三级或者多级切换成像器12的分辨率模式,能够执行使用具有根据每个操作状态的分辨率的拍摄图像数据的处理。
在这种情况下,当然,在运动图像记录正在进行中时通过不执行分辨率模式的改变能够保持记录的运动图像数据的质量(F107)。
4.程序
在上文中描述了根据实施例的成像设备10,但是上述的用于成像器12的分辨率模式切换的处理还可以在硬件中执行并且可以在软件中执行。
如果使得运算处理单元执行软件中的处理,则例如智能电话、平板终端、便携式电话和具有这些功能之外的各种成像功能的装置能够被设置为与根据实施例的上述的成像设备10相当的装置。
例如,根据实施例的程序使得诸如中央处理单元(CPU)或数字信号处理器(DSP)的运算处理单元执行根据实施例的上述处理。
也就是说,根据实施例的程序使得运算处理单元执行检测包括成像器12(光电转换单元)(其响应于接收到来自被摄体的光输出作为电信号的拍摄图像信号并且在成像器12中为了输出拍摄图像信号,在保持视角与拍摄图像中一样的同时分辨率不同的多个分辨率模式可进行切换)和显示数据产生单元26(其基于从成像器12输出的拍摄图像,产生用于成像的被摄体的监视显示中的显示数据)的成像设备10的操作状态的处理、在低分辨率模式下从成像器12执行拍摄图像信号输出的处理、以及如果当在低分辨率模式下执行从成像器12输出拍摄图像信号时通过检测成像设备10的操作状态的处理检测到关于对焦的操作状态则将从成像器12输出拍摄图像信号切换为高分辨率模式的控制处理。
具体地讲,根据实施例的程序可以是使得运算处理单元执行图5或图7中的处理的程序。
程序能够预先记录在HDD(作为内置在诸如计算机的设备中的记录介质)、具有CPU等的微型计算机内的ROM中。
或者,另外,程序能够临时或永久地存储(记录)在诸如软盘、紧凑盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器或记忆卡的可移动记录介质中。该可移动记录介质还能够被设置为所谓的套装软件。
另外,程序可以从可移动记录介质安装在个人计算机等上并且还能够经由诸如局域网(LAN)或互联网的网络从下载网址进行下载。
另外,程序适于提供根据实施例的宽范围的成像设备10。例如,程序可以被下载在诸如个人计算机、便携式信息处理装置、便携式电话、游戏机、视频装置、个人数字助理(PDA)的具有成像功能(光学系统11或者成像器12、数字信号处理单元20等)的装置上,并且由此对应个人计算机等能够设置为根据本技术的成像设备。
5.变型例
在上文中描述了实施例,但是根据本技术,考虑各种变型例。
描述了提供显示单元34作为成像设备10的例子,但是在本技术中,与成像设备10分离的外部显示装置可用于监视图像的显示。因此,即使成像装置10不具有显示单元34,仍可应用本技术。
根据实施例,当运动图像记录正在进行中时不执行分辨率模式的切换,但是即使无间隔稀疏化地读取成像器12中的一组光电转换像素的一个区域(在放大对焦处理时),不执行分辨率模式的切换也是恰当的。
另外,根据上述的实施例,没有描述静止图像记录的帧,但是实际上,如果快门按钮被完全按下(释放操作)以进行记录或者如果某帧的拍摄图像数据被编码为静止图像数据进行记录,则成像器12可以针对该帧在为记录静止图像设置的分辨率模式下执行拍摄图像数据输出。
考虑对焦部分的突出显示没有用于分辨率模式切换。例如,如果期望尽可能长地延长低功耗的时间段,则仅当手动对焦操作正在进行中时或者仅当自动对焦操作正在进行中时,可以执行高分辨率模式的设置。在这种情况下,当突出显示正在进行中时,在高分辨率模式与低分辨率模式之间发生切换。因此,在这种情况下,控制单元30可以与分辨率模式切换相关联地执行用于突出显示的参数切换。例如,当频率分量比率在低分辨率模式和高分辨率模式中改变时,无法以相同方式执行要突出显示的对焦部分的选择。因此,例如,高通滤波器的截止频率的参数被改变,并且执行诸如改变对焦部分的选择的阈值的处理是适当的。
此外,本技术能够采用下面的构造。
(1)一种图像处理系统,包括:电路,被构造为确定是否对图像执行了对焦操作,当确定执行了对焦操作时在高分辨率模式下处理图像,以及当确定未执行对焦操作时在低分辨率模式下处理图像,其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
(2)根据(1)所述的图像处理系统,其中,电路还被构造为在对焦操作完成后从高分辨率模式切换到低分辨率模式。
(3)根据(1)所述的图像处理系统,其中,电路还被构造为在对焦操作期间驱动用来接收图像的光学系统。
(4)根据(1)所述的图像处理系统,其中,电路还被构造为将高分辨率模式与低分辨率模式之间的切换延迟到直至在计算机可读介质上的图像记录完成以后。
(5)根据(1)所述的图像处理系统,其中,电路被构造为在对焦操作期间当在高分辨率模式下处理图像时突出显示所述图像内的对焦目标。
(6)根据(1)到(5)的任何一个所述的图像处理系统,其中,电路还被构造为通过改变对应像素的亮度值和颜色信息中的至少一个来突出显示对焦目标。
(7)根据(1)到(6)的任何一个所述的图像处理系统,其中,在对焦操作期间识别对焦目标后,电路突出显示对焦部分。
(8)根据(1)到(7)的任何一个所述的图像处理系统,其中,使用用于识别图像中的面部的面部识别技术来识别对焦目标。
(9)根据(1)到(8)的任何一个所述的图像处理系统,其中,对焦目标的突出显示是用户可选的。
(10)根据(1)到(3)的任何一个所述的图像处理系统,其中,电路被构造为基于快门按钮的按下状态确定是否执行了对焦操作。
(11)根据(1)到(10)的任何一个所述的图像处理系统,其中,当快门按钮被按到完全按下与没有按下之间的中点时,电路确定执行了对焦操作。
(12)根据(1)到(11)的任何一个所述的图像处理系统,其中,电路被构造为当快门按钮被释放时从高分辨率模式切换到低分辨率模式。
(13)根据(1)到(12)的任何一个所述的图像处理系统,其中,当电路从高分辨率模式切换到低分辨率模式时,电路相应地调整显影参数。
(14)根据(1)到(13)的任何一个所述的图像处理系统,其中,显影参数包括图像的闪变宽度、尺寸和有效范围。
(15)根据(1)到(14)的任何一个所述的图像处理系统,其中,电路被构造为在保持相同视角的同时在高分辨率模式与低分辨率模式之间进行切换。
(16)根据(1)到(5)的任何一个所述的图像处理系统,其中,电路还被构造为基于对焦目标是否被突出显示,在第一与第二高分辨率模式之间进行切换。
(17)根据(1)到(5)和(16)的任何一个所述的图像处理系统,其中,电路当对焦目标没有被突出显示时使用第一高分辨率模式,当对焦目标被突出显示时使用第二高分辨率模式。
(18)根据(1)到(5)和(16)到(17)的任何一个所述的图像处理系统,其中,第一高分辨率模式的分辨率比第二高分辨率模式的分辨率高,并且第一和第二高分辨率模式二者的分辨率均比低分辨率模式的分辨率高。
(19)一种图像处理系统的图像处理方法,包括:在电路中确定是否对图像执行了对焦操作;当确定执行了对焦操作时在电路中在高分辨率模式下处理图像;以及当确定未执行对焦操作时在电路中在低分辨率模式下处理图像,其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
(20)一种非瞬态计算机可读介质,其上编码有计算机可读指令,所述计算机可读指令当由计算机执行时使得计算机执行一种方法,该方法包括:确定是否对图像执行了对焦操作;当确定执行了对焦操作时在高分辨率模式下处理图像;以及当确定未执行对焦操作时在低分辨率模式下处理图像,其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
本领域技术人员应该明白,可以根据设计需要和其它因素想到各种变型、组合、子组合和替代,只要它们位于权利要求及其等同物的范围内即可。

Claims (19)

1.一种图像处理系统,包括:
控制单元,所述控制单元包括操作确定单元和分辨率模式设置单元,
所述操作确定单元被构造为确定是否正在对图像执行对焦操作,
所述分辨率模式设置单元被构造为执行分辨率模式的控制,以使得:
当由操作确定单元确定正在执行对焦操作时,在对焦操作的执行过程中在高分辨率模式下处理图像,
当由操作确定单元确定未执行对焦操作但是图像中的对焦目标被突出显示时,在高分辨率模式下处理图像,以及
当由操作确定单元确定未执行对焦操作并且图像中的对焦目标未被突出显示时,在低分辨率模式下处理图像,
其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
2.根据权利要求1所述的图像处理系统,其中,所述分辨率模式设置单元还被构造为在对焦操作完成后从高分辨率模式切换到低分辨率模式。
3.根据权利要求1所述的图像处理系统,其中,所述图像处理系统还包括光学系统驱动单元,被构造为在对焦操作期间驱动用来接收图像的光学系统。
4.根据权利要求1所述的图像处理系统,其中,所述控制单元还被构造为将高分辨率模式与低分辨率模式之间的切换延迟到直至在计算机可读介质上的图像记录完成以后。
5.根据权利要求1所述的图像处理系统,其中,所述图像处理系统还包括显示数据产生单元,被构造为通过改变对应像素的亮度值和颜色信息中的至少一个来执行对焦目标的用于突出显示的处理。
6.根据权利要求1所述的图像处理系统,其中,所述图像处理系统还包括显示单元,在对焦操作期间识别了对焦目标以后所述显示单元突出显示对焦目标。
7.根据权利要求6所述的图像处理系统,其中,使用用于识别图像中的面部的面部识别来识别对焦目标。
8.根据权利要求1所述的图像处理系统,其中,对焦目标的突出显示是用户可选的。
9.根据权利要求3所述的图像处理系统,其中,所述操作确定单元被构造为基于快门按钮的按下状态确定是否执行了对焦操作。
10.根据权利要求9所述的图像处理系统,其中,当快门按钮被按到完全按下与没有按下之间的中点时,所述操作确定单元确定执行了对焦操作。
11.根据权利要求10所述的图像处理系统,其中,所述分辨率模式设置单元被构造为当快门按钮被释放时从高分辨率模式切换到低分辨率模式。
12.根据权利要求1所述的图像处理系统,其中,当从高分辨率模式切换到低分辨率模式时,所述控制单元相应地调整显影参数。
13.根据权利要求12所述的图像处理系统,其中,显影参数包括图像的闪变宽度、尺寸和有效范围。
14.根据权利要求1所述的图像处理系统,其中,所述分辨率模式设置单元被构造为在保持相同视角的同时在高分辨率模式与低分辨率模式之间进行切换。
15.根据权利要求1所述的图像处理系统,其中,所述分辨率模式设置单元还被构造为基于是否正在进行手动对焦操作、是否正在进行通过按下一半执行的对焦检查以及对焦目标是否被突出显示,在第一高分辨率模式、第二高分辨率模式以及低分辨率模式之间进行切换。
16.根据权利要求15所述的图像处理系统,其中,所述分辨率模式设置单元当正在进行手动对焦操作或者正在进行通过按下一半执行的对焦检查时使用第一高分辨率模式,并且当未进行手动对焦操作、未进行通过按下一半执行的对焦检查、并且对焦目标被突出显示时使用第二高分辨率模式。
17.根据权利要求16所述的图像处理系统,其中,第一高分辨率模式的分辨率比第二高分辨率模式的分辨率高,并且第一和第二高分辨率模式二者的分辨率均比低分辨率模式的分辨率高。
18.一种图像处理系统的图像处理方法,包括:
确定是否正在对图像执行对焦操作;
当确定正在执行对焦操作时,在对焦操作的执行过程中在高分辨率模式下处理图像;
当确定未执行对焦操作但是图像中的对焦目标被突出显示时,在高分辨率模式下处理图像;以及
当确定未执行对焦操作并且图像中的对焦目标未被突出显示时,在低分辨率模式下处理图像,
其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
19.一种非瞬态计算机可读介质,其上存储有计算机程序,所述计算机程序当由计算机执行时使得计算机执行一种方法,该方法包括:
确定是否正在对图像执行对焦操作;
当确定正在执行对焦操作时,在对焦操作的执行过程中在高分辨率模式下处理图像;
当确定未执行对焦操作但是图像中的对焦目标被突出显示时,在高分辨率模式下处理图像;以及
当确定未执行对焦操作并且图像中的对焦目标未被突出显示时,在低分辨率模式下处理图像,
其中,图像的分辨率在低分辨率模式下比在高分辨率模式下低。
CN201410187190.2A 2013-05-13 2014-05-06 成像设备、成像方法和计算机可读介质 Active CN104159021B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013101051A JP6248412B2 (ja) 2013-05-13 2013-05-13 撮像装置、撮像方法、プログラム
JP2013-101051 2013-05-13

Publications (2)

Publication Number Publication Date
CN104159021A CN104159021A (zh) 2014-11-19
CN104159021B true CN104159021B (zh) 2019-08-06

Family

ID=51864517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410187190.2A Active CN104159021B (zh) 2013-05-13 2014-05-06 成像设备、成像方法和计算机可读介质

Country Status (3)

Country Link
US (3) US9661219B2 (zh)
JP (1) JP6248412B2 (zh)
CN (1) CN104159021B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6263035B2 (ja) * 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
JP6103503B2 (ja) * 2013-07-31 2017-03-29 パナソニックIpマネジメント株式会社 撮像装置
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
CN106663404A (zh) * 2014-07-15 2017-05-10 夏普株式会社 显示装置及其驱动方法
JP6409472B2 (ja) * 2014-10-02 2018-10-24 リコーイメージング株式会社 画像表示装置を備える撮像装置
CN106034205B (zh) * 2015-03-16 2020-05-26 联想(北京)有限公司 一种电子设备及信息处理方法
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US10761294B2 (en) * 2015-06-18 2020-09-01 Sony Corporation Display control device and display control method
JP6750194B2 (ja) 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
US11461010B2 (en) * 2015-07-13 2022-10-04 Samsung Electronics Co., Ltd. Data property-based data placement in a nonvolatile memory device
US10509770B2 (en) 2015-07-13 2019-12-17 Samsung Electronics Co., Ltd. Heuristic interface for enabling a computer device to utilize data property-based data placement inside a nonvolatile memory device
US10282324B2 (en) 2015-07-13 2019-05-07 Samsung Electronics Co., Ltd. Smart I/O stream detection based on multiple attributes
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
KR101756274B1 (ko) * 2016-02-05 2017-07-11 (주)넥스트칩 감시용 카메라 및 감시용 카메라의 동작 방법
US10349002B2 (en) * 2016-04-12 2019-07-09 Canon Kabushiki Kaisha Image recording apparatus and method for controlling the same
US9854156B1 (en) * 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11039067B2 (en) 2017-03-15 2021-06-15 Sony Corporation Image pickup apparatus, video signal processing apparatus, and video signal processing method
KR102593303B1 (ko) * 2018-01-16 2023-10-25 삼성전자 주식회사 전자 장치 및 전자 장치의 카메라 자동 초점 제어 방법
CN109194871A (zh) * 2018-10-18 2019-01-11 广东德尔智慧工厂科技有限公司 一种锂电极片毛刺检测自动对焦的装置和方法
CN110602410B (zh) * 2019-10-25 2022-05-31 深圳市道通智能航空技术股份有限公司 一种图像处理方法、装置、航拍相机及存储介质
JP7523944B2 (ja) 2020-05-12 2024-07-29 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024261A (zh) * 2011-09-20 2013-04-03 佳能株式会社 摄像装置及其控制方法
CN103139473A (zh) * 2011-11-28 2013-06-05 三星电子株式会社 消除快门迟滞的方法、照相机模块和具有其的移动设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710819B2 (en) * 2001-02-22 2004-03-23 Ati Technologies, Inc. Method and system for improved display filtering
US20030002870A1 (en) * 2001-06-27 2003-01-02 Baron John M. System for and method of auto focus indications
JP2004128587A (ja) * 2002-09-30 2004-04-22 Minolta Co Ltd デジタルカメラ
US6862501B2 (en) * 2002-10-28 2005-03-01 Honeywell International Inc. Method for producing 3D perspective view avionics terrain displays
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
KR100627048B1 (ko) * 2003-12-15 2006-09-25 삼성테크윈 주식회사 디지털 카메라의 제어방법
JP2005347847A (ja) * 2004-05-31 2005-12-15 Kyocera Corp 撮像装置
KR100699486B1 (ko) 2005-06-30 2007-03-26 삼성전자주식회사 촬영장치에서의 매뉴얼 포커싱 방법 및 매뉴얼 포커싱 장치
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP2009010616A (ja) * 2007-06-27 2009-01-15 Fujifilm Corp 撮像装置および画像出力制御方法
JP2009258690A (ja) * 2008-03-25 2009-11-05 Kyocera Corp オートフォーカスカメラ機能を備える電子機器
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8681236B2 (en) * 2009-06-18 2014-03-25 Samsung Electronics Co., Ltd. Apparatus and method for reducing shutter lag of a digital camera
JP5775679B2 (ja) * 2010-09-08 2015-09-09 オリンパス株式会社 デジタルカメラ
JP5807324B2 (ja) * 2010-09-08 2015-11-10 リコーイメージング株式会社 合焦画像表示装置および合焦画像表示方法
KR101701852B1 (ko) * 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
JP5942444B2 (ja) * 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR101842453B1 (ko) * 2012-03-23 2018-05-14 삼성전자주식회사 전자 장치에서 자동 초점 기능을 제어하기 위한 장치 및 방법
JP6032912B2 (ja) * 2012-03-26 2016-11-30 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR101901620B1 (ko) * 2012-04-17 2018-09-27 삼성전자주식회사 포커스 제어장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024261A (zh) * 2011-09-20 2013-04-03 佳能株式会社 摄像装置及其控制方法
CN103139473A (zh) * 2011-11-28 2013-06-05 三星电子株式会社 消除快门迟滞的方法、照相机模块和具有其的移动设备

Also Published As

Publication number Publication date
US10091421B2 (en) 2018-10-02
JP2014222801A (ja) 2014-11-27
US20140333790A1 (en) 2014-11-13
US9661219B2 (en) 2017-05-23
CN104159021A (zh) 2014-11-19
JP6248412B2 (ja) 2017-12-20
US20170230579A1 (en) 2017-08-10
US20180376065A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
CN104159021B (zh) 成像设备、成像方法和计算机可读介质
JP4760742B2 (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
US20110138332A1 (en) Information processing device and method for controlling information processing device
JP5983616B2 (ja) 撮像装置、撮像方法及びプログラム
JP6267502B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2007295183A (ja) 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
JP5749401B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
KR20140018471A (ko) 이미지 캡처 방법 및 이미지 캡처 장치
JP5817131B2 (ja) 撮像装置と撮像方法並びに撮像プログラム
JP2014029353A (ja) 焦点調整装置および焦点調整方法
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2016167754A (ja) 撮像装置、制御方法およびプログラム
US9137506B2 (en) User interface (UI) providing method and photographing apparatus using the same
JP5749406B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP2009081635A (ja) デジタルカメラ、及びデジタルカメラの個人情報保護方法
JP4855155B2 (ja) 撮像装置及びこれを用いた撮影方法
WO2014027559A1 (ja) 画像ファイル生成装置及び表示装置
US8514305B2 (en) Imaging apparatus
JP5223950B2 (ja) 撮像装置、表示制御プログラム及び表示制御方法
JP5195663B2 (ja) 撮像装置、合焦方法及びプログラム
JP2006020022A (ja) モニタ制御装置
JP5418553B2 (ja) 撮像装置及びこれを用いた撮影方法
JP5195887B2 (ja) 撮像装置および撮像方法
WO2024048082A1 (ja) 撮像制御装置、および撮像装置
JP4727526B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant