CN104427248B - 摄像装置及其控制方法 - Google Patents
摄像装置及其控制方法 Download PDFInfo
- Publication number
- CN104427248B CN104427248B CN201410424075.2A CN201410424075A CN104427248B CN 104427248 B CN104427248 B CN 104427248B CN 201410424075 A CN201410424075 A CN 201410424075A CN 104427248 B CN104427248 B CN 104427248B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- color
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Viewfinders (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Color Television Image Signal Generators (AREA)
- Focusing (AREA)
Abstract
本发明公开了一种摄像装置及其控制方法。所述摄像装置能够利用叠加有由显示设备显示的信息的图像执行处理,并降低所述图像中包括的叠加信息的影响。获取在光学取景器上叠加有由显示设备显示的信息的第一图像。然后,利用第二图像执行预定图像处理,所述第二图像从所述第一图像中包括的像素中排除了具有所述信息的显示色的像素的数据。
Description
技术领域
本发明涉及一种摄像装置及其控制方法。
背景技术
在例如具有光学取景器的照相机中,为了便于拍摄,一些照相机将各种类型的信息(例如,自动聚焦(下文简称“AF”)的对焦位置)叠加显示在光学取景器图像上。
另一方面,一些照相机从光学取景器图像中获取用于自动曝光控制(下文简称“AE”)的数据。日本特开平第8-240835号公报(专利文献1)公开了如下照相机:基于利用接收光学取景器图像的光的AE传感器(测光传感器)获得的光学取景器图像的各区域的光电转换输出来确定曝光。
专利文献1还公开了如下情况:在光学取景器图像上叠加诸如聚焦框的附加的信息,接收光学取景器图像的光的AE传感器的测光结果受到该叠加的信息的影响。因此,在专利文献1中,通过根据以叠加方式显示的聚焦框的位置校正由AE传感器获得的各区域的测光结果来校正重叠的聚焦框对测光结果的影响。
通过利用二维配置有多个像素的图像传感器作为AE传感器,能够提高要测光的区域的位置、尺寸以及形状的自由度,能够将拍摄图像用于被摄体检测或追踪等、测光之外的目的。例如,通过检测主被摄体区域,能够容易地确定考虑到主被摄体的区域的曝光量。然而,当由AE传感器获得的拍摄图像包括叠加在光学取景器图像上的信息时,由于叠加的信息遮挡的部分处缺乏数据或者受到叠加的信息的影响,因此从拍摄图像获取的数据的精度可能会降低。
专利文献1的技术能够校正显示的聚焦框对各区域的亮度的影响,但不能校正显示的聚焦框对利用以像素为单位的数据的处理(例如,被摄体检测或者被摄体追踪)的影响。
发明内容
鉴于这些传统问题而作出本发明,本发明提供了一种能够利用在光学取景器图像上叠加了由显示设备显示的信息的图像执行处理的摄像装置及其控制方法,其中,可以降低该图像中包括的叠加信息的影响。
根据本发明的一个方面,提供了一种摄像装置,所述摄像装置包括:获取单元,其用于获取叠加有由所述显示设备显示的信息的第一图像;以及处理单元,其用于利用第二图像执行预定图像处理,所述第二图像从所述第一图像中包括的像素中排除了具有所述信息的显示色的像素的数据。
根据本发明的另一个方面,提供了一种摄像装置的控制方法,所述控制方法包括以下步骤:获取叠加有由所述显示设备显示的信息的第一图像;以及利用第二图像执行预定图像处理,所述第二图像从所述第一图像中包括的像素中排除具有所述信息的显示色的像素的数据。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是示出根据实施例作为摄像装置的示例的数字单反照相机的侧视图。
图2是示出根据实施例的数字单反照相机的功能配置的示例的框图。
图3是示出根据实施例的数字单反照相机的聚焦点配置和摄像范围的示例的图。
图4A和图4B是示出图2的AF控制单元、系统控制单元以及AE控制单元的处理过程及其关系的图。
图5A是示出根据实施例的数字单反照相机的模板图像生成处理的过程的流程图。
图5B是示出根据实施例的数字单反照相机的被摄体追踪处理的过程的流程图。
图6A是示意性示出根据实施例在追踪对象的特征色的提取中使用的RGB颜色空间的图。
图6B是示出根据实施例在查询表中登记的特征色块和排除块的示例的图。
具体实施方式
现在,将参照附图详细描述本发明的示例性实施例。
图1是示出用作根据本发明实施例的摄像装置的示例的数字单反照相机(DSLR,Digital Single-lens Reflex camera)的主要组成部件的布置的示例的侧视图。DSLR包括主体201以及安装在主体201的前面上的摄像透镜202。摄像透镜202是可更换的,主体201和摄像透镜202通过透镜支座(未示出)机械地和电气地相互连接。摄像透镜202包括聚焦透镜213和光圈214。聚焦透镜213和光圈214经由透镜支座接触组215根据主体201的电力控制来操作,并调节摄像透镜202的聚焦或者从摄像透镜202入射的光量。
主镜203是半反射镜,并且在主镜203的后表面上具有副镜204。在示出的非镜向上状态下,主镜203从摄像透镜202反射一些光束,使得光束入射在上方配设的取景器光学系统上,主镜203还利用副镜204反射透射光,使得透射光入射在下方配设的AF单元205上。在诸如曝光时的镜向上状态下,镜绕开光路。
AF单元205是相差检测方法的AF传感器。通过在AF单元205中包括的焦点检测线传感器(1ine sensor)上形成摄像透镜202的二次成像面来检测摄像透镜202的散焦量和焦点方向,并且基于检测结果驱动聚焦透镜213,从而执行自动聚焦调节。因为通过相差检测方法进行聚焦控制是公知的,并且公知的配置适用于AF单元205,因此省略AF单元205的配置和聚焦控制的详细描述。在根据本实施例的AF单元205中,如图3所示,布置了61个聚焦点(也称为焦点检测区域或AF框)。
聚焦板206是布置在用作取景器光学系统的摄像透镜202的预测成像面上的半透明板状部件。另外,取景器显示设备220布置在摄像透镜202的预测成像面上或其附近。例如,取景器显示设备220是透射式液晶显示器并且显示诸如图3所示的聚焦点的框的信息。通过用于改变取景器光路的五棱镜207从目镜209监控聚焦板206,用户能够看到如下图像:由取景器显示设备220显示的摄像信息叠加在要被拍摄的视场中的光学图像上。注意,取景器显示设备220可以是其他方法的显示设备(例如,发光二极管(LED)、有机发光二极管(OLED)、或有机EL显示器),或可以是多个显示设备。另外,可以根据显示内容使用不同方法的显示设备。
为了观察被摄体的亮度,AE单元208将光学取景器图像转换为用于利用具有多个像素的AE传感器测光的图像数据。这里,AE传感器在被示为图3中的摄像范围的光学取景器图像的范围中拍摄图像。将诸如由取景器显示设备220显示的聚焦点的框的信息叠加在该光学取景器图像上。除了像素数量,AE传感器可以具有与图像传感器211相同的配置,但其被称为“AE传感器”的原因在于其主要用于检测被摄体的亮度。用于测光的图像数据包括R、G以及B分量。在本实施例中,AE单元208利用生成的用于测光的图像数据来执行被摄体亮度检测、曝光计算、被摄体检测以及被摄体追踪等。注意,也能够根据需要通过对用于测光的多个图像数据求和来扩展用于测光的图像数据的动态范围。
图像传感器211是排列有各自具有光电转换器件的多个像素的CMOS图像传感器或CCD图像传感器等。通过移动主镜203和副镜204以绕开摄像光路并且打开焦平面快门210,曝光图像传感器211并且拍摄被摄体的光学图像。
例如,显示器212是液晶显示器(LCD),通过显示实时取景图像被用作电子取景器,并且用于显示各种类型的设置值、摄像信息、装置信息、GUI画面以及拍摄图像等。
图2是示出本实施例的DSLR的功能配置的示例的框图。注意,对与图1相同的组成部件给出相同的附图标记。
操作单元301检测用户经由配设在主体201或摄像透镜202上的按钮、开关、刻度盘、连接器件等执行的操作,并将对应于该操作内容的信号输出到系统控制单元306。操作单元301还根据释放按钮的按压量发送SW1信号或SW2信号。具体地,当释放按钮被按下约一半时,将SW1信号输出到系统控制单元306,而当释放按钮被进一步按下到预定程度时,将SW2信号输出到系统控制单元306。注意,当输出SW1信号时的释放开关的按压状态被称为“半按压”状态,而当输出SW2信号时的释放开关的按压状态被称为“全按压”状态。另外,维持释放开关半按压状态的状态被称为“SW1保持状态”,而维持释放开关全按压状态的状态被称为“SW2保持状态”。另外,当释放开关的按压量小于发送SW1信号的值时,操作单元301将SW1取消信号输出到系统控制单元306,而当释放开关的按压量小于发送SW2信号的值时,操作单元301将SW2取消信号输出到系统控制单元306。
如上所述,AF单元205基于相差检测方法的自动焦点检测和焦点检测结果将聚焦透镜213驱动到对焦位置(自动聚焦调节)。AF单元205由AF控制单元304和聚焦传感器305构成。聚焦传感器305由分别对应于例如图3所示的61个聚焦点的多个线传感器构成,并且将经由副镜204入射的光转换为电信号,以及针对各聚焦点将一对图像信号输出到AF控制单元304。AF控制单元304基于从聚焦传感器305输出的一对图像信号之间的相差来计算图3所示的聚焦点的散焦量,并且选择一个要被聚焦的聚焦点。然后,AF控制单元304将具有各聚焦点的散焦量作为数据的散焦地图和所选择的聚焦点的位置数据输出到系统控制单元306。系统控制单元306基于所选择的焦点位置和散焦地图执行焦点调节计算,并且控制聚焦透镜213的位置,从而使聚焦透镜213在所选择的聚焦点上聚焦。
AE单元208执行自动曝光计算和被摄体追踪。AE单元208由AE控制单元302和测光传感器303构成。AE控制单元302基于从测光传感器303读出的用于测光的图像数据执行自动曝光计算,并将计算结果输出到系统控制单元306。基于从AE控制单元302输出的自动曝光计算的结果,系统控制单元306控制光圈214的孔径(开口尺寸)以调节入射在主体201上的光量。
另外,在SW1保持状态以及连续拍摄期间,AE控制单元302通过利用测光传感器303连续拍摄而顺序地获得的用于测光的图像数据顺序地检测被摄体来追踪被摄体,并将检测到的被摄体的位置信息输出到系统控制单元306。稍后将详细描述被摄体检测处理和被摄体追踪处理。系统控制单元306将由AE控制单元302输出的被摄体的位置信息输出到AF控制单元304。
AF控制单元304计算由系统控制单元306输出的被摄体的位置处或其附近的聚焦点的散焦量,并且将计算结果与预先设置的阈值比较。如果比较结果显示散焦量小于阈值,则AF控制单元304更新要被输出到系统控制单元306的所选择的聚焦点的位置数据,从而由AF控制单元304基于各聚焦点的散焦量而选择的聚焦点被更新为被摄体处或其附近的聚焦点。
当从操作单元301输出SW2信号时,系统控制单元306使主镜203(以及副镜204)处于上方位置以绕开光路。然后,驱动焦平面快门210,使图像传感器211在与自动曝光计算的结果相对应的时间段期间曝光。当经过了该曝光时间时,系统控制单元306使主镜203(以及副镜204)处于下方位置。
图像传感器211将在曝光时间内经由摄像透镜202入射的光转换为针对各像素的电信号以生成图像数据,并将生成的图像数据输出到系统控制单元306。系统控制单元306对从图像传感器211输出的图像数据应用预定图像处理,并且将处理过的图像数据显示在显示器212上或者将其写入图像存储单元307。
下文将描述根据本实施例的DSLR的操作。
图4A和图4B是示出AF控制单元304、系统控制单元306以及AE控制单元302的操作规程的图,前一半规程示出了SW1保持状态的操作规程,后一半规程示出了SW2保持状态的操作规程。注意,图4A和图4B旨在示出各控制单元的处理过程和操作时机,并且不仅对于不同的控制单元,即使是对于相同的控制单元,处理块的大小(高度)和处理时间的长度也不存在任何关联。
步骤S401示出了释放按钮被半按下并且将SW1信号从操作单元301输出到系统控制单元306的时机。接收到SW1信号的输入的系统控制单元306开始AF/AE操作,并且将AF开始信号D01输出到AF控制单元304,然后AF控制单元304开始操作。
在步骤S403中,AF控制单元304使聚焦传感器305执行累积(accumulation)。
在步骤S404中,AF控制单元304从聚焦传感器305读出图像信号。
在步骤S405中,AF控制单元304针对用户任意选择的聚焦点执行焦点检测计算,该计算基于读出的图像信号。可选地,AF控制单元304通过基于读出的图像信号获取多个聚焦点与被摄体之间的距离的数据并且选择获取最短距离的数据的聚焦点来执行焦点检测计算。AF控制单元304将包括散焦地图和所选择的聚焦点的位置数据的焦点计算结果信号D02输出到系统控制单元306。
系统控制单元306根据焦点计算结果信号D02驱动聚焦透镜213,从而使聚焦透镜213在所选择的聚焦点上聚焦,并且执行聚焦调节。当完成聚焦调节时,系统控制单元306将AF开始信号D03输出到AF控制单元304,并将AE开始信号D04输出到AE控制单元302。
在步骤S406中,一旦接收到AE开始信号D04,AE控制单元302就通过测光传感器303开始累积操作(即,摄像)。因为接收到AF开始信号D03的AF控制单元304也通过聚焦传感器305开始累积操作,所以通过聚焦传感器305和测光传感器303的累积操作在同一时间开始。这样,从聚焦传感器305和测光传感器303获得在同一时间拍摄的相同场景的图像信号(图像)。
在步骤S407中,AE控制单元302从测光传感器303读出用于测光的图像数据。
在步骤S408中,AE控制单元302执行被摄体追踪处理。AE控制单元302将预先执行的追踪模板生成处理(S413)中生成的模板图像设置为追踪对象图像,并且执行在步骤S407中生成的图像数据和模板图像之间的模板匹配。然后,AE控制单元302检测生成的图像中的追踪对象的位置(被摄体的坐标)作为被摄体追踪结果。
系统控制单元306中继由AE控制单元302检测到的被摄体追踪结果D05,并且将其作为被摄体追踪结果D06通知给AF控制单元304。应注意,当没有生成模板图像时,省略步骤S408中的被摄体追踪处理。
在步骤S409中,AE控制单元302基于在步骤S407中读出的用于测光的图像数据来执行曝光计算,并且将曝光计算结果D08输出到系统控制单元306。
另一方面,如上所述,接收了与AE开始信号D04同时由系统控制单元306输出的AF开始信号D03的AF控制单元304执行从步骤S403到S404的过程以及步骤S410中的焦点检测(与步骤S405中相同的过程)。
在步骤S411中,AF控制单元304经由系统控制单元306接收被摄体追踪结果D06,并且确定是要使用最接近的聚焦点还是在步骤S410中选择的聚焦点。然后,AF控制单元304将包括散焦地图和所选择的聚焦点的位置数据的焦点计算结果信号D07输出到系统控制单元306。注意,所选择的聚焦点位置可以是表示聚焦点的具体位置的数据,但在各聚焦点的位置数据可单独获得时,也可以是用来识别聚焦点的数据(例如聚焦点数量)。
系统控制单元306基于焦点计算结果信号D07中包括的所选择的聚焦点的位置数据和散焦地图来执行聚焦调节。另外,系统控制单元306基于焦点计算结果信号D07中包括的所选择的聚焦点的位置数据和之前的所选择的聚焦点的位置数据来确定所选择的聚焦点是否被改变。如果所选择的聚焦点被改变(重选),则系统控制单元306将聚焦点重选标记设置为“真”,而如果所选择的聚焦点没有被改变(重选),则系统控制单元306将聚焦点重选标记设置为“假”。系统控制单元306将焦点计算结果信号D07中包括的所选择的聚焦点的位置数据以及聚焦点重选标记作为数据D10通知给AE控制单元302。
在步骤S413中,AE控制单元302基于数据D10生成追踪模板。稍后将描述该处理的详情。这里生成的追踪模板用于之后的帧中的被摄体追踪处理。
一旦在步骤S501中开始输出SW2信号,则在AE控制单元302在重复处理中的步骤S409中执行曝光计算(以及根据需要,步骤S413中追踪模板的生成)之后,系统控制单元306开始主摄像处理。注意,也可以在曝光计算完成时开始主摄像处理,并且在背景处理中执行追踪模板的生成。
在主摄像处理中,在步骤S502中,系统控制单元306使主镜203(以及副镜204)处于上方位置以绕开光路,并且开始AF/AE操作。另外,基于紧接之前获得的曝光计算结果和所选择的聚集点的散焦量来执行聚焦透镜213的驱动以及光圈214和焦平面快门210的控制,并且在步骤S503中执行主摄像。此后,在步骤S504中,系统控制单元306使主镜203(以及副镜204)位于下方位置。
另外,一旦开始输出SW2信号,系统控制单元306就将释放开始信号D11输出到AF控制单元304,并将释放开始信号D12输出到AE控制单元302。接收了释放开始信号D11和D12的AF控制单元304和AE控制单元302停止当时正在执行的处理。然后,如果当镜向下操作S504完成时输出SW2信号,则系统控制单元306将AF开始信号D03输出到AF控制单元304,并将AE开始信号D04输出到AE控制单元302。然后,开始连续拍摄的第二帧的主拍摄处理。从以后的第二帧开始,处理从步骤S403和S406开始。如果在第二帧中的处理中在步骤S411中改变了聚焦点,则在步骤S503中执行主摄像,然后通过AE控制单元302执行用于下一帧的新的追踪模板的生成(S413)。
下文将参照图5A和图5B的流程图描述步骤S408中的被摄体追踪处理和步骤S413中的模板图像生成处理。
首先,将参照图5A示出的流程图描述步骤S413中的模板图像生成处理。
在步骤S101中,AE控制单元302基于数据D10根据步骤S407中生成的用于测光的图像数据来确定要被提取为模板的区域。如果聚焦点重选标记为“真”,则基于紧接之前执行的步骤S408中的被摄体追踪处理的检测结果选择了聚焦点。因此,AE控制单元302将具有预定尺寸和形状并且位于被摄体追踪处理中获得的位置的中心的区域设置为模板区域(预定区域)。另一方面,如果聚焦点重选标记为“假”,则AE控制单元302将具有预定尺寸和形状并且位于数据D10中包括的所选择的聚焦点的位置的中心的区域设置为模板区域(预定区域)。
如果在聚焦点的选择中未采用被摄体追踪处理的结果,则意味着用于追踪的模板图像不合适,因此执行这种分支处理。
在步骤S102中,AE控制单元302计算模板区域(预定区域)中的像素的颜色分布,并检测追踪对象的特征色。例如,能够以下面的方式执行特征色的检测。首先,针对R信号、G信号以及B信号的强度将RGB颜色空间分为0至7的八个等级。这样,RGB颜色空间被划分为512个块(8×8×8)(坐标)。然后,将模板区域的各像素的颜色信号转换为RGB颜色数据,并基于R信号、G信号以及B信号的强度将该数据归类为RGB颜色空间的相应的块(坐标)。针对模板区域中的所有像素执行该过程,并且在512个块中与归类了最多像素的块相对应的颜色(RGB)被设置为追踪对象的特征色。
注意,如果存在归类了最多像素的多个块,则对应于这些多个块的颜色被设置为追踪对象的特征色。另外,也能够利用归类了预定数量像素或更多像素的一个或多个块或者归类了较高排名数量的像素的预定数量的块取代归类了最多像素的块,来设置追踪对象的特征色。另外,当归类为归类了最多像素的块的像素数量为预定的阈值或更大时,或者当归类为归类了最多像素的块的像素数量与归类为归类了第二多的像素的块的像素数量之间的差为预定阈值或更大时,也能够将仅对应于归类了最多像素的块的颜色设置为特征色。
在步骤S107中,AE控制单元302从测光图像中切出模板区域,并生成模板区域图像。
在步骤S108中,AE控制单元302生成三维查询表,该查询表将特定的颜色转换为高亮度颜色,并将其他颜色转换为低亮度颜色。具体地,生成查询表,该查询表将追踪对象的特征色转换为高亮度颜色,将其他颜色转换为低亮度颜色,并且对于用于以叠加在光学取景器图像上的方式显示信息颜色,即使该颜色包括在追踪对象的特征色中,也将其转换为低亮度颜色。在最简单的情况下,查询表可以是将图像转换为低亮度为0(黑)并且高亮度为1(白)的二值图像的表。
图6B是示意性示出了查询表中登记的图6A所示的RGB颜色空间示出的特征色块和排除块的示例的图。这样,以RGB块为单位登记要被转换为高亮度颜色的颜色。图6B示出了如下示例:步骤S102中确定的追踪对象的特征色对应于(分布在)多个块(R,G,B)=(2,6,0)到(4,7,2)。
另外,排除块501被示为取景器显示设备220为红LED,排除块501的坐标为(R,G,B)=(6,0,0)到(7,1,1)的示例。没有登记对应于排除块501的特征色块,因此,在应用查询表之后,转换排除块501以具有低亮度。
如果预先确定了用于取景器显示设备220以叠加方式显示信息的颜色,则能够准备用于指定对应于该颜色的直方图空间中的块(排除块)的数据(例如,块的RGB坐标)。然后,当根据追踪对象的特征色在步骤S108中主动生成查询表时,AE控制单元302能够参照这些排除块的数据,从而防止在查询表中登记的与排除块的颜色相同的特征色的块。
另外,在步骤S108中生成查询表之前,AE控制单元302可以根据需要执行用于检测用来在取景器显示设备220上显示的颜色的处理(S110)。尽管在图5A中的步骤S107和S108之间指示了该处理,但可以在其他时机(例如步骤S101之前)执行该处理。另外,AE控制单元302从排除块的数据中删除对应于当时未用于显示的颜色的块的数据,然后生成查询表。这样,能够登记与查询表中实际上未使用的信息显示色相同的特征色,从而提高了被摄体追踪的精度。
注意,步骤S110中的处理可以是显示的信息的类型的检测,而不是显示色的检测。在这种情况下,可以基于预定的信息和显示的颜色之间的对应关系执行显示色的检测。另外,如果取代检测显示色,排除块的数据具有信息类型和用于指定排除块的数据是相互关联的格式,则能够从显示的信息的类型的检测结果中删除排除块的相应数据。注意,如果根据值以不同颜色显示相同类型的信息,则将多个排除块与一种类型的显示信息相关联即可。
另外,AE控制单元302也能够检测显示信息的预定位置与在步骤S101中设置的模板区域的位置之间的差(例如,位置中心之间的距离或者位置间的最短距离)(在步骤S111中),并且考虑到该差而生成查询表。例如,如果确定模板区域的位置与显示信息的位置之间的差是预定值或更大的值,并且彼此分开至足以可区分的程度,则不需要从排除块中删除该信息的显示色。特别地,当追踪对象的特征色的范围较小,并且特征色块属于排除块时,被转换为高亮度颜色的追踪对象的特征色的量可能降低,并且追踪的精度可能劣化。然而,当模板区域和显示位置彼此分离时,尽管颜色相似,但信息显示被误识别为追踪对象的可能性较低,因此能够通过从排除块中删除显示色来提高追踪精度。
另一方面,如果确定模板区域的位置和显示信息的位置之间的差小于预定值,并且其相互接近或者相互重叠,则AE控制单元302可以将其通知给系统控制单元306,系统控制单元306可以暂时停止显示。注意,当存在多个显示位置时,可以对这些显示位置中的各个执行这种控制。
另外,因为信息显示色是单色,并且本来对应于RGB颜色空间的一对坐标,所以原则上仅排除该显示色即可。然而,从由测光传感器303拍摄的用于测光的图像数据中检测到的信息显示色不必与设置的显示色相同。因此,在本实施例中,为了不仅排除显示色本身,还排除相似的颜色,使用排除块。然而,如果能够排除显示色,则排除块的大小可以小于特征色块的大小。换句话说,与显示色相似的颜色的范围可以被设置为小于特征色的范围的单位。
注意,可以执行步骤S110和S111二者,并且在这种情况下,AE控制单元302能够生成仅考虑到实际显示的信息中与显示位置接近模板区域的块相对应的排除块的查询表。
在步骤S109中,AE控制单元302对模板区域图像的各像素应用在步骤S108中生成的查询表,并且生成用作最终模板图像的亮度图像,在该亮度图像中,具有特征色的像素被转换以具有高亮度,而具有其他颜色的像素被转换以具有低亮度。
在步骤S408中的被摄体追踪处理中,利用该模板图像执行模板匹配。这样,能够利用强调追踪对象的特征色的亮度图像执行模板匹配,所以与仅利用颜色图像的模板匹配相比,能够降低计算负载。
下文将参照图5B所示的流程图描述步骤S408中的被摄体追踪处理(被摄体检测处理)。
在步骤S121中,AE控制单元302对步骤S407中从测光传感器303获得的测光图像的各像素应用在步骤S108中生成的查询表。即,生成了颜色转换图像(亮度图像),其中具有在对由测光传感器303拍摄的运动图像之前的最后一帧执行的模板生成处理(S413)中提取的特征色的像素被转换以具有高亮度,而具有其他颜色的像素被转换以具有低亮度。由于上述查询表的特征,具有与取景器显示设备220的显示色(或显示色与类似色)相对应的颜色的像素原则上被转换以具有低亮度。
在步骤S122,AE控制单元302通过利用对上一帧执行的模板生成处理(S413)中生成的模板图像执行模板匹配来检测与模板图像具有最高关联度的颜色转换图像的区域作为检测对象。
因为利用执行了颜色转换的图像的模板匹配能够利用亮度图像进行处理,而不丢失追踪对象的特征色的数据,所以与仅利用颜色图像的模板匹配相比,能够降低计算负载。
AE控制单元302将检测到的追踪对象的位置添加到被摄体追踪结果D05,并将其输出到系统控制单元306。系统控制单元306将追踪对象的位置作为被摄体追踪结果D06输出到AF控制单元304。
在步骤S411中的聚焦点重选处理中,AF控制单元304搜索包括与被摄体追踪结果D06一起通知的追踪对象的位置的聚焦点,或其附近的聚焦点(预定范围内)。如果存在相应的聚焦点,则将执行用于将该聚焦点设置为新选择的聚焦点的重选处理。
如上所述,根据本实施例,例如,当利用在光学取景器图像上叠加了由显示设备显示的信息的图像作为例如用于测光的图像执行处理时,可以避免利用图像中包括的具有与以叠加方式显示的颜色相同或相似的颜色的像素的数据。这样,能够降低以叠加方式显示的信息对图像处理的影响,并且提高利用例如用于测光的图像的被摄体检测处理或者被摄体追踪处理的精度。
其他实施例
尽管描述了本发明的示例性实施例,但是本发明不限于这些实施例,可以在本发明的精神的范围内进行各种变型和改变。
例如,针对被摄体位置的识别方法,不仅可以使用利用模板匹配的被摄体追踪方法,还可以使用利用颜色数据的被摄体追踪方法。此外,可以使用利用光流法的动态分析或者通过边缘检测的场景识别技术。
另外,可以通过读出并执行记录在存储介质(例如,非临时性计算机可读存储介质)上的计算机可执行指令以执行本发明的上述实施例中的一个或更多实施例的功能的系统或装置的计算机,来实现本发明的各实施例,并且可以利用由通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多实施例的功能的系统或装置的计算机来执行的方法,来实现本发明的各实施例。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或更多个,并且可以包括独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备、存储卡等中的一个或更多个。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使所述范围涵盖所有的此类变型以及等同结构和功能。
Claims (7)
1.一种摄像装置,所述摄像装置包括:
获取单元,其用于获取叠加有由显示设备显示的信息的第一图像;以及
处理单元,其用于利用第二图像执行预定图像处理,并通过从所述第一图像的预定区域中包括的像素中排除了具有所述信息的显示色的像素的数据来生成所述第二图像,其特征为:
所述预定图像处理是利用所述第二图像中包括的像素的特征色的被摄体检测处理或被摄体追踪处理,
在所述预定区域的位置与所述第一图像中叠加的所述信息的位置之差是预定值以上的情况下,所述处理单元利用未排除具有所述信息的显示色的像素的数据的图像执行所述预定图像处理。
2.根据权利要求1所述的摄像装置,所述摄像装置还包括:
转换单元,其用于将所述第一图像转换为二值图像,在所述二值图像中,以不同的值来显示具有所述特征色当中的、与所述显示色不同的颜色的像素以及具有其他颜色的像素,
其中,所述处理单元利用所述二值图像作为所述第二图像来执行所述被摄体检测处理或所述被摄体追踪处理。
3.根据权利要求1所述的摄像装置,其中,在颜色空间被划分为多个块并且所述预定区域中包括的各像素基于其颜色被分配给所述多个块中的一个的情况下,所述特征色是与所述多个块中、分配了最多数量的像素的块相对应的颜色。
4.根据权利要求3所述的摄像装置,其中,所述处理单元利用排除了具有与所述多个块中的、包括所述显示色的块相对应的颜色的像素的数据的图像作为所述第二图像,来执行所述预定图像处理。
5.根据权利要求1所述的摄像装置,其中,所述获取单元利用测光传感器获取所述第一图像。
6.根据权利要求1-5任一项所述的摄像装置,其中,所述处理单元利用排除以下像素的数据的图像作为所述第二图像,来执行所述预定图像处理,所述像素具有所述显示设备能够使用的显示色当中的、实际用于显示所述信息的显示色。
7.一种摄像装置的控制方法,所述控制方法包括以下步骤:
获取叠加有由显示设备显示的信息的第一图像;以及
利用第二图像执行预定图像处理,并通过从所述第一图像的预定区域中包括的像素中排除具有所述信息的显示色的像素的数据来生成所述第二图像,
所述预定图像处理是利用所述第二图像中包括的像素的特征色的被摄体检测处理或被摄体追踪处理,
在所述预定区域的位置与所述第一图像中叠加的所述信息的位置之差是预定值以上的情况下,在所述处理中利用未排除具有所述信息的显示色的像素的数据的图像执行所述预定图像处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177238A JP5981898B2 (ja) | 2013-08-28 | 2013-08-28 | 撮像装置およびその制御方法 |
JP2013-177238 | 2013-08-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104427248A CN104427248A (zh) | 2015-03-18 |
CN104427248B true CN104427248B (zh) | 2018-02-23 |
Family
ID=52582685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410424075.2A Active CN104427248B (zh) | 2013-08-28 | 2014-08-25 | 摄像装置及其控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9866755B2 (zh) |
JP (1) | JP5981898B2 (zh) |
CN (1) | CN104427248B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1731269A (zh) * | 2004-08-05 | 2006-02-08 | 松下电器产业株式会社 | 摄像装置 |
CN102447832A (zh) * | 2010-08-18 | 2012-05-09 | 佳能株式会社 | 追踪设备和追踪方法 |
CN102857688A (zh) * | 2011-06-30 | 2013-01-02 | 佳能株式会社 | 具有被摄体检测功能的成像设备及其控制方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08240835A (ja) | 1995-03-06 | 1996-09-17 | Canon Inc | カメラ |
JPH09181953A (ja) * | 1995-12-27 | 1997-07-11 | Matsushita Electric Works Ltd | 自動追尾装置 |
JP3918788B2 (ja) | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP5049490B2 (ja) * | 2005-12-19 | 2012-10-17 | イーストマン コダック カンパニー | デジタルカメラ、ゲイン算出装置 |
JP4872834B2 (ja) * | 2007-07-04 | 2012-02-08 | 株式会社ニコン | 画像認識装置、焦点調節装置および撮像装置 |
WO2011084136A2 (en) | 2009-12-17 | 2011-07-14 | Tom Van Esch | Method and device for measuring the speed of a movable member relative a fixed member |
JP5441669B2 (ja) * | 2009-12-22 | 2014-03-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
-
2013
- 2013-08-28 JP JP2013177238A patent/JP5981898B2/ja not_active Expired - Fee Related
-
2014
- 2014-08-22 US US14/466,265 patent/US9866755B2/en not_active Expired - Fee Related
- 2014-08-25 CN CN201410424075.2A patent/CN104427248B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1731269A (zh) * | 2004-08-05 | 2006-02-08 | 松下电器产业株式会社 | 摄像装置 |
CN102447832A (zh) * | 2010-08-18 | 2012-05-09 | 佳能株式会社 | 追踪设备和追踪方法 |
CN102857688A (zh) * | 2011-06-30 | 2013-01-02 | 佳能株式会社 | 具有被摄体检测功能的成像设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5981898B2 (ja) | 2016-08-31 |
JP2015045758A (ja) | 2015-03-12 |
CN104427248A (zh) | 2015-03-18 |
US20150062348A1 (en) | 2015-03-05 |
US9866755B2 (en) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8542941B2 (en) | Imaging device, image detecting method and focus adjusting method | |
JP5950664B2 (ja) | 撮像装置およびその制御方法 | |
US8294785B2 (en) | Method for adjusting photosensitiveness of digital camera | |
JP2011232544A (ja) | 焦点検出装置 | |
US20220082370A1 (en) | Electronic apparatus, control method thereof and computer readable storage medium | |
JP2013097154A (ja) | 距離測定装置、撮像装置、距離測定方法 | |
JP5403111B2 (ja) | 画像追尾装置 | |
JP5056136B2 (ja) | 画像追尾装置 | |
US7570281B1 (en) | Image processing apparatus and method for detecting a main subject to be photographed | |
JP5233458B2 (ja) | 画像編集装置及び画像編集プログラム | |
JP4567538B2 (ja) | 露出量算出システムならびにその制御方法およびその制御プログラム | |
JP2009010672A (ja) | 焦点検出装置および撮像装置 | |
CN104427248B (zh) | 摄像装置及其控制方法 | |
JP5930792B2 (ja) | 撮像装置およびその制御方法 | |
JP4935380B2 (ja) | 画像追尾装置および撮像装置 | |
JPS60253887A (ja) | カメラにおける自動追尾装置 | |
JP5965654B2 (ja) | 追尾装置及び撮像装置、撮像装置に用いる追尾方法 | |
JP2008187332A (ja) | 画像追尾装置および撮像装置 | |
JP2016099322A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP2015045759A (ja) | 撮像装置およびその制御方法 | |
JP2015204579A (ja) | 撮像装置 | |
JP6508889B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2012093775A (ja) | 焦点検出装置および撮像装置 | |
JP4973369B2 (ja) | 画像処理装置および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |