CN106954007B - 摄像装置和摄像方法 - Google Patents
摄像装置和摄像方法 Download PDFInfo
- Publication number
- CN106954007B CN106954007B CN201610963038.8A CN201610963038A CN106954007B CN 106954007 B CN106954007 B CN 106954007B CN 201610963038 A CN201610963038 A CN 201610963038A CN 106954007 B CN106954007 B CN 106954007B
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- motion vector
- moving
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
Abstract
本发明涉及一种摄像装置和摄像方法。一种摄像装置,包括:被摄体检测单元,用于从摄像元件所拍摄到的拍摄图像检测被摄体图像;运动矢量获取单元,用于通过比较所述摄像元件所获取到的不同帧中的图像信号,来获取所述被摄体检测单元所检测到的所述被摄体图像的运动矢量;比较单元,用于通过将所述被摄体检测单元所检测到的所述被摄体图像的位置与预定位置进行比较,来获取比较结果;以及移动单元,用于通过基于所述运动矢量和所述比较结果使所述被摄体图像移动,来减少所述摄像范围中的所述被摄体图像的位置的移动。
Description
技术领域
本发明涉及如下的控制:追踪被摄体,并且使被摄体图像移动至图像的预定位置或者保持该被摄体图像。
背景技术
已知有使曝光确定或调焦自动化、并且安装有防止由于手抖动等所引起的拍摄图像的图像模糊的控制器的数字照相机等。提出了检测被摄体的面部或身体的检测功能。例如,预先确定用于判断人物的面部的图案,并且检测到图像中的与该图案相对应的部分作为人物的面部。在调焦控制或曝光控制等中参考所检测到的人物的面部图像的信息。
在拍摄移动被摄体的情况下、或者在使用焦距大的远摄镜头进行拍摄的情况下,可能发生以下现象。如果用作被摄体的运动物体由于该被摄体的移动而偏离视角,则需要拍摄者具有特殊技术,以仅通过手动操作来精确地追踪移动被摄体。如果利用具有远摄镜头的照相机来拍摄图像,则由于手抖动所引起的图像模糊增加,因而难以保持主被摄体处于拍摄图像的中心。如果拍摄者对照相机进行操作以再次在视角内拍摄被摄体,则根据拍摄者有意对照相机进行操作时的手抖动程度对图像模糊进行了校正。因此,拍摄者难以进行如下的微调整操作:由于图像模糊校正控制的影响而在视角内拍摄被摄体、或者使被摄体图像位于拍摄图像的中心。
日本特开2010-93362公开了通过使光学系统的一部分在与光轴交叉的方向移动来自动追踪被摄体的摄像装置。根据摄像元件所获取到的图像信号来检测被摄体的位置,并且计算被摄体追踪计算负荷。
在进行被摄体追踪控制以保持被摄体的图像位置处于图像上的特定位置的系统中,存在被摄体检测延迟或检测精度将会对追踪控制产生大的影响的可能性。例如,在通过分析拍摄图像所进行的被摄体的检测中,必然发生相对于实时的检测延迟。进行位置反馈控制以保持被摄体的图像位置在视角内处于特定位置。此时,考虑到由于检测延迟所引起的死区时间而不得不进行反馈控制。
已知有在将被摄体的光学图像输入至摄像元件之前、通过驱动移位透镜等来校正该光学图像的被摄体追踪控制。在这种情况下,存在被摄体的检测中的相对于实时的延迟将会对被摄体追踪性能产生大的影响的可能性。如果将反馈增益设置得大以提高被摄体追踪性,则存在追踪将根据拍摄条件而发生振荡的可能性。另一方面,如果将反馈增益设置得小使得不会发生振荡,则被摄体追踪性下降并且被摄体有可能丢失。
发明内容
本发明提供在追踪被摄体的追踪控制中提高被摄体追踪性的技术。
根据本发明的方面,提供一种摄像装置,包括:被摄体检测单元,用于从摄像元件所拍摄到的拍摄图像检测被摄体图像;运动矢量获取单元,用于通过比较所述摄像元件所获取到的不同帧中的图像信号,来获取所述被摄体检测单元所检测到的被摄体图像的运动矢量;比较单元,用于通过将所述被摄体检测单元所检测到的被摄体图像的位置与摄像范围中的目标位置进行比较,来获取比较结果;以及移动单元,用于通过基于所述运动矢量和所述比较结果而使所述被摄体图像移动,来减少所述摄像范围中的所述被摄体图像的位置的移动。
根据本发明的另一方面,提供一种摄像方法,包括以下步骤:从摄像元件所拍摄到的拍摄图像检测被摄体图像;通过比较所述摄像元件所获取到的不同帧中的图像信号,来获取所述被摄体图像的运动矢量;通过将所检测到的被摄体图像的位置与摄像范围中的目标位置进行比较,来获取比较结果;以及通过基于所述运动矢量和所述比较结果而使所述被摄体图像移动,来减少所述摄像范围中的所述被摄体图像的位置的移动。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示意性示出根据本发明实施例的摄像装置的图。
图2是示出根据本发明实施例的摄像装置的结构的示例的图。
图3A和3B是说明用于追踪所检测到的被摄体的控制的图。
图4是示出第一实施例中的追踪值计算单元的功能框图。
图5是第一实施例中的校正矢量检测单元的功能框图。
图6A和6B是说明第一实施例中的校正矢量检测处理的图。
图7A和7B是说明第一实施例中的频率分布处理的图。
图8是第一实施例中的模糊校正角度计算单元的功能框图。
图9是说明被摄体追踪控制的示例的流程图。
图10A和10B是说明第二实施例中的校正矢量的检测的图。
图11A~11D是说明第二实施例中的检测块的配置的改变的图。
具体实施方式
以下将参考附图来详细说明本发明的实施例。根据本发明的光学装置可以应用于各种镜头装置、摄像装置、望远镜和双筒望远镜等。在以下实施例中,将说明向诸如数字静态照相机或数字摄像机等的摄像装置的应用,但可以将光学装置安装在诸如web照相机或移动电话等的拍摄装置上。
第一实施例
在本实施例中,将说明如下的摄像装置,其中该摄像装置通过使用被摄体的运动矢量以及被摄体的位置与摄像范围中预先设置的预定位置的比较的结果进行光学式或电子式防振,来减少被摄体相对于目标位置(预定位置)的移动。本发明和本说明书中的被摄体的移动是指摄像装置的摄像范围和被摄体之间的相对移动,并且由于诸如手抖动等的摄像装置的移动所引起的摄像范围和被摄体之间的相对移动也被称为被摄体的移动。由于手抖动所引起的被摄体的移动是高频成分。
图1是示意性示出根据本发明的第一实施例的摄像装置的图。摄像装置101包括图像模糊校正单元和被摄体追踪控制器。例如,图像模糊校正单元相对于光轴102对箭头103p和103y所表示的俯仰方向和横摆方向上的角度模糊(角度偏移、角度振动)进行图像模糊校正。将三维正交坐标系中的Z轴方向定义为光轴方向,将与Z轴垂直的第一轴定义为X轴,并且将与Z轴和X轴垂直的第二轴定义为Y轴。箭头103p所表示的X轴圆周方向是俯仰方向,并且箭头103y所表示的Y轴圆周方向是横摆方向。
图2是示意性示出摄像装置101的结构的平面图。图2示出摄像装置101的摄像单元的结构、以及中央处理单元(CPU)105所进行的图像模糊校正处理和自动被摄体追踪处理的功能块。
摄像装置101在本体部中包括释放按钮104(参见图1)。在对释放按钮104进行操作的情况下,将开关的ON/OFF(接通/断开)信号发送至CPU 105。CPU 105用作本实施例中的控制器。本发明可以应用于包括CPU 105的任何光学装置。
模糊校正透镜(还称为校正透镜)114和摄像元件106位于摄像光学系统的光轴102上。摄像装置101通过使校正透镜114移动来进行图像稳定。摄像装置101包括用于检测角度模糊的角速度的角速度检测单元(以下称为角速度计)作为模糊检测单元。角速度计103检测图1中的箭头103p所表示的俯仰方向和箭头103y所表示的横摆方向上的角度模糊。将从角速度计103输出的检测信号输入至CPU 105。如果不进行自动被摄体追踪控制,则模糊校正角度计算单元108基于角速度计103的输出来计算模糊校正角度。具体地,模糊校正角度计算单元108从角速度计103的输出中截除作为检测噪声而添加至角速度计103的DC(直流)成分,然后对该DC成分进行积分处理,并且输出角度信号。例如,使用高通滤波器(HPF)来截除DC成分。将模糊校正角度计算单元108的输出经由加法器单元112输入至灵敏度调整单元109。
灵敏度调整单元109基于变焦和调焦位置信息107和根据该变焦和调焦位置信息107所计算出的焦距或拍摄倍率来放大模糊校正角度计算单元108的输出,并且输出模糊校正目标值。变焦位置信息是从变焦单元获取到的,并且调焦位置信息是从调焦单元获取到的。用于基于变焦和调焦位置信息107来计算模糊校正目标值的原因是:针对校正透镜114的模糊校正行程的摄像面上的模糊校正灵敏度由于诸如调焦或变焦等的光学信息的变化而改变。灵敏度调整单元109将模糊校正目标值输出至驱动控制单元113。
校正透镜114是使拍摄图像中的被摄体图像在偏移方向上移动的光学元件。驱动控制单元113控制校正透镜114的驱动并且进行模糊校正和被摄体追踪控制。驱动控制单元113通过在除光轴方向以外的方向上驱动校正透镜114来进行图像模糊校正(光学式防振)。在图2所示的示例中,采用使用校正透镜114的光学式防振。在不限于此的情况下,可以将通过使摄像元件在与光轴垂直的面内移动来校正图像模糊的校正方法用于图像模糊校正。可选地,设置包括用于获取摄像元件所拍摄到的图像中的在摄像范围(预定范围)内的图像作为各摄像帧的图像(第一图像)的获取单元的摄像设备,并且可以采用通过改变第一图像的位置(预定范围的位置)来减轻振动的影响的电子式防振。注意,在无需对拍摄图像进行裁切而将获取单元设置到第一图像的情况下,摄像范围内的图像与拍摄图像一致。作为对比,如果在对拍摄图像进行裁切之后将获取单元设置到第一图像,则摄像范围内的图像是拍摄图像的一部分。可选地,可以组合多个防振方法。因此,驱动控制单元113可被配置为至少移动校正透镜114、摄像元件和图像稳定所用的预定范围的位置。
以下将说明使用校正透镜114的自动被摄体追踪控制方法。图2所示的被摄体检测单元110获取摄像元件106所拍摄到的图像信号,并且检测拍摄图像中的被摄体的图像位置(被摄体位置)。将被摄体位置信息输出至后面要说明的追踪值计算单元111和校正矢量检测单元116。追踪值计算单元111基于变焦和调焦位置信息107以及所检测到的被摄体位置信息来计算用于通过驱动校正透镜114追踪被摄体的控制值。在下文,将用于追踪被摄体并使被摄体的图像位置位于第一图像中预先设置的预定位置(例如,中心位置)的控制值(追踪控制值)称为追踪校正值。将该追踪校正值输出至模糊校正角度计算单元108和加法器单元112。
加法器单元112将从模糊校正角度计算单元108输出的模糊校正值和从追踪值计算单元111输出的追踪校正值相加。将加法器单元112的输出输入至灵敏度调整单元109。因此,根据校正透镜114的模糊校正行程来调整灵敏度,并且驱动控制单元113基于灵敏度调整单元109的输出来计算校正透镜114的驱动值。通过基于该驱动值驱动校正透镜114,进行被摄体追踪控制和图像模糊校正。
运动矢量获取单元115获取摄像元件106所拍摄到的图像信号并且获取图像的运动矢量。运动矢量获取单元115将所检测到的运动矢量信息输出至校正矢量检测单元116。校正矢量检测单元116根据所获取到的运动矢量信息和被摄体检测单元110的输出来计算用以减小运动矢量的大小的校正矢量(还被称为第一移动距离(第一移动量)。这里,第一移动距离具有与大小和方向有关的信息),并且将该校正矢量输出至模糊校正角度计算单元108。
以下将详细说明被摄体检测单元110所进行的被摄体位置检测处理。摄像元件106通过将来自被摄体的反射光以光电转换方式转换成电气信号来获取图像信息。该图像信息由A/D转换单元转换成数字图像信号,并且该数字图像信号被发送至被摄体检测单元110。如果在拍摄图像中存在多个被摄体的图像,则使用以下方法来自动识别这些被摄体中的主被摄体。
用于检测主被摄体的第一方法是用于检测人物的方法。在这种情况下,被摄体检测单元110检测被摄体的面部或身体。在面部检测处理中,预先确定用于判断人物的面部的图案,并且可以检测到拍摄图像中所包括的与该图案相对应的部分作为人物的面部图像。被摄体检测单元110针对所检测到的各被摄体计算表示作为被摄体的面部的概率的可靠度。例如,基于图像中的面部区域的大小或者与面部图案的一致度等来计算可靠度。即,被摄体检测单元110基于拍摄图像中的被摄体的大小或者该被摄体与预先存储的被摄体图案的一致度来计算该被摄体的可靠度。
用于检测主被摄体的第二方法是使用拍摄图像中的颜色或色度等的直方图的方法。对被摄体图像进行用于将根据拍摄图像中的被摄体图像的颜色或色度等的直方图所推导出的分布分割成多个分区、并且针对各分区对拍摄图像进行分类的处理。例如,针对拍摄图像准备多个颜色成分的直方图并按山型分布范围对该直方图进行分割,将拍摄图像分类到属于同一分区的区域,并且识别被摄体的图像区域。通过针对所识别的被摄体的各图像区域计算评价值,可以将评价值最高的被摄体的图像区域判断为主被摄体区域。设置部件将该主被摄体区域设置为摄像范围中的被摄体区域。
在确定了主被摄体区域之后,使用主被摄体区域的特征值,可以通过从之后顺次拍摄到的图像中检测特征值和相似区域来追踪主被摄体区域。例如,根据主被摄体区域的颜色分布或大小来计算主被摄体区域的特征值。将所检测到的被摄体位置信息输入至追踪值计算单元111。如果被摄体的数量是1个,则追踪值计算单元111用作比较单元,其中该比较单元用于将被摄体检测单元所检测到的被摄体图像的中心位置与第一图像的中央(第一图像中预先设置的预定位置)进行比较。另外,追踪值计算单元111计算追踪校正值(第二移动距离(第二移动量)),使得被摄体图像的中心位置位于图像中央的附近。在本发明和本说明书中,追踪校正值是包括方向和大小的信息。具体地,可以获取到坐标差作为比较结果,并且可以将用于使该差接近零的移动距离定义为追踪校正值。例如,在摄像面是xy平面并且图像中央的坐标是原点的xy坐标中,如果被摄体图像的中心位置的坐标是(a,b),则可以将追踪校正值设置为(-a,-b)。拍摄者可以通过在基于有时输出的视频信号而观看摄像装置的显示单元的画面上所显示的图像(第一图像)的同时、通过对摄像装置的操作构件进行操作以指定显示画面上的被摄体位置,来设置预定位置。在这种情况下,如果拍摄者进行用于从显示画面上所显示的多个被摄体的图像中指定主被摄体的操作,则计算所指定的位置处的诸如颜色分布或大小等的特征值。可以使用所计算出的特征值从之后顺次拍摄到的图像中检测到具有与该相应特征值相似的特征值的区域,并且可以追踪到所检测到的区域作为主被摄体区域。
图3A和3B是说明用于追踪所检测到的主被摄体的控制的图。图3A示出在开始被摄体追踪控制之前的拍摄图像301a。图3B示出在开始被摄体追踪控制之后的拍摄图像301b。在图3A所示的拍摄图像301a中,中央所显示的黑点表示图像中央位置304。在开始追踪控制之前,被摄体302a的图像位置与图像中央位置304分离。被摄体中心位置303a表示被摄体302a的图像中的中心位置。在CPU 105开始被摄体追踪控制的情况下,被摄体中心位置303a和图像中央位置304之间的距离随着时间的经过而逐渐减小。通过被摄体追踪控制,最终,如图3B所示,被摄体中心位置303a和图像中央位置304彼此基本一致。
以下将参考图4来说明追踪值计算单元111的结构。图4是示出追踪值计算单元111的结构的示例的功能框图。追踪值计算单元111在第一图像的垂直方向和水平方向的各轴上计算追踪校正值,但为了简化的目的,以下将说明仅一个轴。
减法器单元403基于从被摄体检测单元110输出的被摄体位置信息来从被摄体位置(中心位置)401的坐标中减去图像中央位置402的坐标。因此,在垂直方向或水平方向的轴上,计算表示在图像中被摄体图像的中心位置与图像中央位置402分离了多少距离的差(以下称为中心差量)。该中心差量是在与图像中央位置402的差被设置为0的情况下所定义的具有符号的数据。将减法器单元403的输出输入至计数值表参考单元(以下简称为参考单元)404。
参考单元404基于中心差量(即,差的大小)来计算追踪所用的计数值。具体地,如下所述计算计数值。
-中心差量等于或小于预定阈值A或者等于或大于预定阈值-A的情况:
将计数值设置为零或最小值。如果中心差量的大小等于或小于预定阈值,则在从图像中央位置起的预定范围内设置不进行追踪的死区区域。
-中心差量大于预定阈值A或者小于预定阈值-A的情况下:
将计数值设置为随着中心差量的增大而增大。可以根据中心差量的一致度来计算计数值的符号。
参考单元404的输出被信号选择单元406获取到作为第一输入。信号选择单元406获取到从递减计数值输出单元405输出的递减计数值作为第二输入。将表示追踪SW(开关)407的状态的信号作为控制信号输入至信号选择单元406。如果追踪SW 407被设置为ON状态,则信号选择单元406选择参考单元404的输出并且将所选择的输出输出至加法器单元408。如果追踪SW 407被设置为OFF状态,则信号选择单元406选择递减计数值并且将所选择的递减计数值输出至加法器单元408。后面将说明递减计数值。
加法器单元408获取信号选择单元406的输出和与追踪值有关的先前采样值,并且将所获取到的值相加。将加法器单元408的输出输入至上下限值设置单元409。上下限值设置单元409将追踪校正值限制为预定范围。即,限制并改变追踪校正值,使得追踪校正值不等于或大于预定上限值且不等于或小于预定下限值。将上下限值设置单元409的输出输入至延迟单元410和低通滤波器(LPF)411。
延迟单元410将相对于当前时刻的预定采样时间之前的追踪校正值(即,先前采样值)作为计算结果输出至加法器单元408和递减计数值输出单元405。如果先前采样时的追踪校正值(先前采样值)具有正的符号,则递减计数值输出单元405将递减计数值设置为负。如果先前采样值具有负的符号,则递减计数值输出单元405将递减计数值设置为正。因此,进行追踪校正值的绝对值减小的处理。如果先前采样值在零的附近(0±预定范围),则递减计数值输出单元405将递减计数值设置为0。递减计数值用作向信号选择单元406的第二输入。
LPF 411从上下限值设置单元409的输出中截除被摄体检测时的高频噪声,并且将处理后的信号输出至校正透镜量转换单元412。校正透镜量转换单元412将LPF 411的输出转换成用于使用校正透镜114来进行被摄体追踪操作的信号。这样,计算最终的追踪校正值,并且进行追踪校正处理,使得通过基于追踪校正值驱动校正透镜114,被摄体图像的中心位置逐渐接近拍摄图像的中心附近。
以下将说明运动矢量获取单元115所进行的运动矢量检测处理。
摄像元件106通过将来自被摄体的反射光以光电转换方式转换成电气信号来获取图像信号。将所获取到的图像信号转换成数字信号,然后发送至运动矢量获取单元115。运动矢量获取单元115通过将预先存储的一帧前的图像与当前图像(即,在时间上连续的两个图像)进行比较,来根据图像之间的相对偏差信息获取运动矢量。此时,进行用于将图像分割成多个区域的处理。通过比较分割后的子区域(分割区域)中的图像信息来获取各区域的运动矢量。运动矢量获取单元115将所获取到的运动矢量输出至校正矢量检测单元116。
校正矢量检测单元116基于在各区域中所获取到的运动矢量(帧之间的移动像素)来进行频率分布处理,并且根据频率最大的像素来确定图像整体的运动矢量。以下将说明用于使校正矢量检测单元116基于来自运动矢量获取单元115的运动矢量信息和被摄体检测单元110的输出来计算校正矢量的处理。
图5是示出校正矢量检测单元116的结构的示例的控制框图。矢量加权单元501(以下称为加权单元)501获取运动矢量获取单元115的输出和被摄体检测单元110的输出。运动矢量获取单元115的输出表示针对图像中所配置的各区域(检测区域)的运动矢量值。被摄体检测单元110的输出表示被摄体中心位置以及被摄体的垂直大小和水平大小。
首先,将说明在不使用来自被摄体检测单元110的信息的情况下的运动矢量检测方法。如果被摄体追踪功能被设置为OFF、或者如果在图像中不存在特征被摄体,则不使用被摄体位置信息。在这种情况下,加权单元501从运动矢量获取单元115获取针对各区域的矢量值,并且将所获取到的矢量值毫无改变地输出至频率分布处理单元502。
图6A示出在图像中存在作为移动被摄体的被摄体601的情况下的图像的示例。虚线的框范围602表示作为主被摄体所检测到的图像范围。图6B示出运动矢量获取单元115中的检测块603~605的配置的示例。具有矩形形状的检测块均匀地配置在图像整体中。例如,即使存在在图像中移动的被摄体601,也假定被摄体601的图像的大小在该图像中的占用率小。在这种情况下,与在除被摄体601以外的区域中所检测到的运动矢量相关联的检测块的数量大于与被摄体601相关联的检测块的数量。频率分布处理单元502根据在图像中所检测到的所有矢量来进行频率分布处理。将参考图7A和7B来具体说明该频率分布处理。在图7A和7B所示的频率分布图中,横轴表示移动距离(单位:像素)并且纵轴表示频率。
图7A示出频率分布处理单元502所检测到的特定帧中的频率分布的示例。图6A所示的被摄体601存在的区域中的检测块展现出如矢量组702所示的具有移动距离的宽度的频率分布。除与被摄体601相对应的区域以外的检测块展现出如矢量组703所示的频率分布。作为运动物体的被摄体不存在的区域中的矢量检测结果是主要受到手抖动和手动校正的影响的矢量检测结果。这里,如矢量组702所示,与移动被摄体601相对应的区域中的矢量检测结果是受到运动物体的速度和手抖动校正的影响的矢量检测结果。这里,与同被摄体601相对应的区域相关联的检测块的数量小于与除被摄体601以外的区域相关联的检测块的数量。即,矢量组703的总频率大于矢量组702的总频率。在图7A所示的示例中,由于具有最大频率的像素移动距离位于频率峰701的位置,因此设置了在移动被摄体601不存在的区域中所检测到的运动矢量的值。
本实施例中的加权单元501根据来自被摄体检测单元110的被摄体中心位置和被摄体图像的大小来设置被摄体区域,并且针对被摄体区域和除被摄体区域以外的区域中的各检测块进行加权处理。因此,可以检测到主被摄体区域的矢量。具体地,假定指定或自动识别出图6A所示的被摄体601作为主被摄体。框范围602表示主被摄体区域,并且是根据被摄体检测单元110所检测到的被摄体中心位置以及被摄体图像在垂直方向和水平方向上的大小所设置的。因此,框范围602标识拍摄图像的包含被摄体图像的区域。然而,框范围602的形状并非必须是矩形。此外,框范围602并非必须准确地映射到被摄体图像601上。
图6B所示的检测块603表示收敛于框范围602的检测块,并且加权单元501将针对这些检测块的加权因数值设置为1。即,进行用于将检测块603的运动矢量值乘以作为加权因数值的1以更新各运动矢量值的处理。加权单元501设置与框范围602的区域分离了预定距离的第一区域,并且将针对位于第一区域中的检测块604的加权因数值设置为例如0.3。进行用于将检测块604的运动矢量值乘以作为加权因数值的0.3以更新各运动矢量的处理。加权单元501设置与框范围602进一步分离的第二区域,并且将针对位于第二区域中的检测块605的加权因数值设置为0。即,由于将作为加权因数值的0乘以检测块605的运动矢量值,因此运动矢量值为零。这样,加权单元501基于根据来自被摄体检测单元110的被摄体中心位置和被摄体大小所设置的被摄体区域来针对检测块的运动矢量值计算加权因数。加权单元501通过使用加权因数的相乘来更新检测块的运动矢量值。
频率分布处理单元502获取加权后的运动矢量,并且进行频率分布处理。图7B示出在存在用作被摄体的运动物体的情况下、频率分布处理单元502所检测到的特定帧中的频率分布的示例。具体地,假定指定或自动识别出图6A的被摄体601作为主被摄体。矢量组702和703具有与图7A所示相同的含义,但具有不同的频率分布。对于矢量组703,获取到移动被摄体不存在的区域中的矢量检测结果,并且将大部分检测块的加权因数值设置为0。因此,频率小于图7A的频率。另一方面,对于矢量组702,获取到受到移动被摄体601的速度和手抖动校正的影响的矢量检测结果,并且将加权因数值设置为1或0.3。因此,针对图7B的矢量组702的频率分布与同图7A的矢量组702相对应的频率分布基本相同。在图7B所示的频率分布中,具有最大频率的像素移动距离位于频率峰704的位置。该位置处于在移动被摄体601存在的区域内的检测块中所检测到的运动矢量值的范围内,并且将被摄体区域和与该被摄体区域邻接的区域中的运动矢量值确定作为移动距离。
被摄体矢量角速度转换单元503获取频率分布处理单元502所检测到的运动矢量(帧之间的差分矢量),并且将这些运动矢量从像素的单位转换成角速度的单位。将照相机角速度定义为ω,将焦距(mm)定义为f,将以像素为单位的运动矢量定义为A,将帧频(fps)定义为B,并且将单元间距(像素之间的距离(mm))定义为X。在向与照相机抖动角速度相对应的单位的转换的处理中,使用等式(1)。
ω=A×B×X÷f…(1)
将转换成角速度的单位的运动矢量输入至模糊校正角度计算单元108。将作为角速度计103的输出的角速度和作为追踪值计算单元111的输出的追踪校正值同时输入至模糊校正角度计算单元108。
以下将说明模糊校正角度计算单元108中的模糊校正角度计算处理。图8是示出模糊校正角度计算单元108的内部处理的框图。
将从角速度计103输出的角速度信号输入至HPF 801。HPF 801截除DC成分以去除作为检测噪声而添加至角速度计103的偏移成分。HPF 801将经过了HPF处理的角速度信号输出至加减器单元802和角速度相减值计算单元805。加减器单元802获取经过了HPF处理的角速度信号以及后面要说明的可变增益单元808和角速度相减值计算单元805的各输出值。在加减器单元802中,HPF 801的输出和作为可变增益单元808的输出的矢量反馈角速度是正输入并进行相加,并且来自角速度相减值计算单元805的角速度相减值是负输入并进行相减。后面将详细说明矢量反馈角速度和角速度相减值的计算。积分器803获取加减器单元802的输出并进行积分处理,并且计算目标角度。积分器803将积分结果输出至限制单元804、角速度相减值计算单元805和可变增益单元808。限制单元804获取由积分器803进行了积分的目标角度信号。如果目标角度信号的信号值大于最大可动范围,则限制单元804限制该信号值以维持处于最大值。在限制单元804中,由于将限制阈值设置为模糊校正目标值的上限和下限,因此计算预定范围中的模糊校正角度。
角速度相减值计算单元805获取HPF 801和积分器803的各输出,并且计算角速度相减值。在加减器单元802中从角速度中减去角速度相减值的目的是在模糊校正所用的可动范围内计算模糊校正目标值。在限制单元804中,如果输入信号值大于最大可动范围,则针对模糊校正目标值设置上限和下限以将该值限制为最大值。然而,如果角速度大于模糊校正所用的可动范围,则禁用之后的模糊校正并且存在将发生大的图像模糊的可能性。因此,角速度相减值计算单元805使用模糊校正目标值(控制周期的先前采样值)来计算角速度相减值并且将所计算出的角速度相减值输出至加减器单元802。加减器单元802从角速度中减去角速度相减值,然后积分器803进行积分。因此,可以在模糊校正所用的可动范围内计算模糊校正目标值。
角速度相减值计算单元805生成通过将从HPF 801输出的角速度信号乘以增益α或β所获得的值作为角速度相减值。具体地,假定将第一阈值定义为A1、将第二阈值定义为A2并且满足阈值“A1<A2”。如果模糊校正目标值等于或小于A1,则将增益α的值设置为0。如果模糊校正目标值等于或大于A2,则将增益α的值设置为1。如果模糊校正目标值大于A1且小于A2,则将增益α的值设置为通过阈值A1和A2之间的线性插值的线性等式所计算出的值。
假定将第三阈值定义为B1、将第四阈值定义为B2、并且满足关系“B1>B2”和“A1=-B1且A2=-B2”。如果模糊校正目标值等于或大于B1,则将增益β的值设置为0。如果模糊校正目标值等于或小于B2,则将增益β的值设置为1。如果模糊校正目标值小于B1且大于B2,则将增益β的值设置为通过阈值B1和B2之间的线性插值的线性等式所计算出的值。
角速度相减值计算单元805使用所设置的增益α和β,通过等式(2)和(3)来计算角速度相减值。
-HPF角速度的符号为正的情况:角速度相减值=HPF角速度×α…(2)
-HPF角速度的符号为负的情况:角速度相减值=HPF角速度×β…(3)
HPF角速度是HPF 801进行处理后的角速度,并且与角速度相减值相乘的增益根据HPF加速度的符号而改变。即,如果HPF角速度的符号为正,则将HPF角速度乘以增益α。如果HPF角速度的符号为负,则将HPF角速度乘以增益β。利用加减器单元802从HPF角速度中减去所计算出的角速度相减值。因此,可以防止校正透镜到达可动端而进入模糊校正禁用状态,并且可以在可动范围内进行模糊校正控制。可动端与校正透镜可移动的可动范围的极限位置或其附近相对应。
以下将说明用于计算从图8所示的可变增益单元808输出的矢量反馈角速度(以下称为FB角速度)的处理。
校正矢量检测单元116使用以上参考图5~7B所述的方法来输出转换成角速度的校正矢量值的信号。将该信号输入至减法器单元807。另一方面,追踪值计算单元111将使用以上参考图4所述的方法所计算出的追踪值(控制周期的先前采样值)输出至微分器806。微分器806进行微分处理,并且将通过使追踪值转换成与角速度相对应的值所获得的追踪角速度输出至减法器807。由于可以通过微分处理来从追踪值中提取高频成分,因此追踪角速度是通过将追踪值中所包括的高频成分转换成角速度所获得的值。减法器807利用从校正矢量检测单元116获取到的校正矢量值作为正输入并且利用从微分器806获取到的追踪角速度作为负输入,来进行相减处理。将表示相减结果的信号(相减信号)输出至可变增益单元808。减法器单元807的输出是通过从所检测到的矢量(转换成与角速度相对应的值的矢量)中减去与追踪值相对应的角速度所获得的信号,并且具有与经过了从照相机抖动中减去模糊校正值的模糊校正的照相机抖动残余角速度相对应的值。
这里,将说明在图像上不存在移动被摄体的图像的情况。在这种情况下,校正矢量检测单元116使用图像整体上所配置的所有检测块来进行频率分布处理,并且确定运动矢量。输出从照相机抖动中去除模糊校正的横摆度的模糊校正横摆残余的运动矢量。可以利用加减器单元802将该输出与HPF 801的输出相加,以提高模糊校正效果。如果在图像上存在移动被摄体的图像并且没有指定图6A中的被摄体,则在图7A中去除与被摄体(运动物体)的移动相关联的矢量。在除图6A的框范围602以外的区域中检测到运动矢量的检测块的数量大于框范围602中的检测块的数量。因此,检测从照相机抖动中去除了模糊校正的横摆度的模糊校正横摆残余的运动矢量,因而提高了模糊校正效果。
如果使用以上参考图5~7B所述的方法来检测移动被摄体,则校正矢量检测单元116检测到运动矢量作为包括被摄体(运动物体)的移动距离的矢量。因此,可以进行模糊校正以校正被摄体的移动。在图6A和6B中,如果将移动被摄体601设置为追踪被摄体,则基于作为被摄体的大小所检测到的框范围602的大小和位置来进行加权处理。即,如以上参考图6B所述,针对各检测块进行加权处理,并且如图7B所示,进行频率分布处理。在这种情况下,所检测到的运动矢量是包括被摄体601的移动距离的运动矢量。
包括如上所述检测到的被摄体的移动距离的运动矢量在考虑到角速度而进行转换之后,被输入至减法器单元807,并且在减去了与追踪值相对应的角速度之后被输入至可变增益单元808。可变增益单元808将该输入乘以被设置为0~1的增益因数(被称为K)。将来自积分器803的模糊校正目标值(控制周期中的先前采样值)同时输入至可变增益单元808,并且根据模糊校正目标值来设置K值。具体地,设置预定的角度阈值1和角度阈值2,并且假定满足关系“角度阈值1<角度阈值2”和“角度阈值2<45度”。在模糊校正目标值的绝对值小于角度阈值1的情况下,将K值设置为1,并且在模糊校正目标值的绝对值等于或大于角度阈值2的情况下,将K值设置为0。如果模糊校正目标值的绝对值在角度阈值1和角度阈值2之间,则基于通过增益因数值1和0之间的线性插值所获得的表(或线性等式)来设置K值。在该示例中,使用通过设置两个点所准备的表来进行两个点之间的线性插值处理,并且可以通过设置三个以上的点来准备表。
如果模糊校正目标值相对较小,则存在余量,直到校正透镜到达模糊校正所用的可动端为止,因而将校正矢量与角速度相加以计算模糊校正目标值。另一方面,如果模糊校正目标值相对较大、并且不存在余量直到校正透镜到达模糊校正所用的可动端为止,则可变增益单元808将增益控制为较小的值并且限制校正矢量的值。可以防止校正透镜到达可动端而进入模糊校正禁用状态。
如上所述,根据包括来自校正矢量检测单元116的被摄体的移动距离的运动矢量、来自追踪值计算单元111的追踪角度和模糊校正目标值(控制周期中的先前采样值)来计算FB角速度。将该FB角速度从可变增益单元808输出至加减器单元802。加减器单元802获取FB角速度、来自HPF 801的角速度和来自角速度相减值计算单元805的角速度相减值,并且计算校正用角速度。对校正用角速度进行积分处理,然后在模糊校正所用的可动范围中对该校正用角速度进行限制处理,并且计算模糊校正角度。因此,可以在模糊校正所用的可动范围内同时进行模糊校正控制和被摄体追踪控制。
在上述示例中,说明了用于根据模糊校正目标值来改变可变增益单元808的增益的方法,但可以基于来自被摄体检测单元110的被摄体的图像位置或图像位置的变化来设置增益因数。如果被摄体位置位于图像中心附近,则不进行追踪值计算单元111的追踪控制,因而使用FB角速度来主动进行模糊校正控制。如果被摄体位置与图像中心分离,则利用追踪值计算单元111进行追踪控制。此时,通过追踪控制来生成用于使视角移动的矢量,但存在在返回速度高的情况下将生成矢量的过多检测噪声的可能性。为了防止由于检测噪声的影响而在使用FB角速度的追踪控制中发生误控制,基于被摄体的图像位置或图像位置的变化来设置可变增益单元808的增益。具体地,如果被摄体的图像位置与图像中心分离、或者检测到与图像位置相关联的预定变化,则模糊校正角度计算单元108通过将可变增益单元808的增益设置得相对较小来抑制追踪控制性的下降。
以下将参考图9来说明模糊校正控制和被摄体追踪控制的处理示例。图9的流程图所示的处理流程在接通摄像装置101的主电源的情况下开始,并且在CPU 105的控制下按恒定的采样周期进行。
首先,在S901中,CPU 105判断防振SW是否接通。防振SW是用户指示图像模糊校正操作所使用的操作开关。如果防振SW断开,则处理流程进入S915,并且CPU 105将校正透镜114的透镜驱动量设置为零。然后,处理流程进入S916。如果防振SW接通,则处理流程进入S902。
在S902中,CPU 105接收到角速度计103的输出。在S903中,CPU 105判断是否可以进行模糊校正。具体地,CPU 105判断为在从接通照相机的电源的时间点起直到使角速度计103的输出稳定的时间点为止的时间段内不能进行模糊校正。因此,可以防止紧挨在接通照相机的电源之后在角速度计103的输出值不稳定的状态下进行模糊校正。如果不能进行模糊校正,则处理流程进入S915。另一方面,如果使角速度计103的输出稳定,则CPU 105判断为能够进行模糊校正,并且处理流程进入S904。
在S904中,CPU 105判断被摄体追踪SW是否接通。如果被摄体追踪SW断开,则处理流程进入S911。在S911中,CPU 105将追踪校正值设置为零。然后,在S912中,CPU 105将运动矢量设置为零,并且流程进入S913。如果在S904中判断为被摄体追踪SW接通,则处理流程进入S905。
在S905中,CPU 105判断是否存在追踪对象。例如,选择自动检测到的面部或人体作为主被摄体,或者基于图像的颜色或色度等来根据图像中的特征值检测主被摄体。在显示拍摄图像的实时取景的显示装置(例如,液晶显示器)的屏幕上安装了触摸面板的摄像装置中,进行用于从用户通过触摸操作所指定的点中识别被摄体的处理。在S905中判断为不存在追踪对象的情况下,处理流程进入S911,并且在判断为存在追踪对象的情况下,处理流程进入S906。
在S906中,被摄体检测单元110检测到被摄体图像的中心位置和大小。随后,在S907中,追踪值计算单元111根据从被摄体检测单元110获取到的被摄体位置信息来计算追踪值。在S908中,运动矢量获取单元115计算检测块的位置(参见图6B)处的运动矢量。然后,在S909中,校正矢量检测单元116基于各运动矢量在图像中的位置以及S907中所计算出的被摄体位置和大小,使用以上参考图6B所述的方法来计算针对各运动矢量的加权因数。
然后,在S910中,校正矢量检测单元116基于S908中所计算出的各矢量和S909中所计算出的各矢量的加权因数,来进行以上参考图5~7B所述的频率分布处理并且计算校正后的运动矢量(校正运动矢量)。在S913中,模糊校正角度计算单元108根据S910中所计算出的校正运动矢量或S912中所设置的运动矢量、S907或S911中所计算出或所设置的追踪值、以及S902中所获取到的角速度输出,来计算模糊校正值。用于计算模糊校正角度的处理与以上参考图8所述相同。
在S914中,CPU 105将S913中所计算出的模糊校正值和S907或S911中所计算出或所设置的追踪校正值相加,以计算校正透镜114的透镜驱动量。在S916中,驱动控制单元113基于该透镜驱动量来驱动校正透镜114。因此,进行模糊校正和被摄体追踪。如果图9所示的子例程完成,则处理流程待机,直到下一采样周期到来为止。
在本实施例中,基于根据拍摄图像中的被摄体图像的位置和大小所设置的矢量检测区域来检测被摄体位置处的运动矢量。基于该被摄体位置,计算用于使被摄体图像位于图像中的特定位置(例如,中央附近或用户所指定的位置)的追踪值。基于根据校正后的运动矢量、角速度输出和基于被摄体位置所计算出的追踪值而计算出的驱动控制值来驱动校正透镜,并且进行模糊校正和追踪控制。因此,如果被摄体检测延迟大或者可能发生检测误差,则例如在被摄体缓慢地移动并且不进行追踪控制的情况下被摄体图像与图像中心分离的场景等中,可以有效地使用根据本实施例的追踪控制。在本实施例中,使用被摄体位置与预定位置的比较结果来减少被摄体的慢且大的移动(被摄体的移动中的低频成分的移动),并且使用运动矢量和角速度计的检测结果来减少被摄体的快且细微的移动(被摄体的移动中的高频成分的移动)。根据本实施例,可以使被摄体的图像保持于第一图像中的特定位置(例如,图像中央附近)。如果由于被摄体的移动大并且被摄体图像的位置变化快因而被摄体图像将位于与图像中央分离的位置的可能性高,因此可以有效地使用根据本实施例的追踪控制。在这种情况下,由于立即进行追踪控制以使被摄体图像位于图像中央,则可以提高追踪操作的性能。
在本实施例中,说明了向用于使作为模糊校正单元的校正透镜在与光轴垂直的面内移动的所谓的光学式防振控制的应用示例。然而,本发明可以应用于具有以下结构的被摄体追踪装置。
(1)摄像元件在与光轴垂直的面内移动的结构。
(2)通过改变从摄像元件输出的各拍摄帧的开始位置的图像处理来进行电子控制的结构。
(3)包括转动地驱动包括摄像元件和摄像透镜组的镜筒的机构单元的结构。
(4)包括与摄像装置分开配置的驱动机构单元(例如,进行摄像装置的平摇操作或倾斜操作的旋转照相机平台)的结构。
(5)多个结构(1)~(4)的结构。
这适用于后面要说明的实施例。
第二实施例
以下将参考图10A和10B来说明根据本发明的第二实施例的检测运动矢量的示例。以下将主要说明本实施例和第一实施例之间的差异,并且利用相同的附图标记来参考与第一实施例相同的元件并将不重复针对这些元件的详细说明。
图10A示出在拍摄图像中存在作为运动物体的被摄体1001的情况下的图像的示例。虚线的框范围1002表示与被摄体检测单元110根据被摄体位置和被摄体大小所获取到的被摄体区域相对应的图像范围。图10B是示出运动矢量获取单元115中的检测块的配置示例、并且示出检测块均匀地配置在画面整体中的状态的示意图。
在图10B中,检测块的数量小于第一实施例所述的图6B中的检测块的数量。如果如图6B所示、预定数量以上的检测块配置在画面整体上,则引起电路结构或程序规模的增大或者处理负荷的增加等。由于难以在画面整体上配置多个检测块,因此检测块的数量受到限制。然而,如果检测块的数量少,则如图10B所示,检测块之间的间隔大。因此,即使如以上参考图6A~7B所述、基于被摄体区域来进行加权处理并且检测到被摄体区域中的运动矢量,在被摄体区域中可以检测到的检测块的数量也非常少。在被摄体图像的大小变得较小的情况下,这很明显。如果检测块的数量少,则针对一个检测块需要高精度。如果进行了错误的矢量检测,则存在将发生不正确的模糊校正控制的可能性。
因此,在本实施例中,将说明基于被摄体检测单元110所检测到的被摄体位置和被摄体大小来改变矢量检测单元115中的检测块的配置的处理。通过改变检测块的配置,可以精确地检测到包括被摄体1001的运动程度的运动矢量。以下将参考图11A~11D来说明具体示例。
图11A~11D示出基于被摄体位置和被摄体大小来改变与运动矢量相关联的检测块的配置的处理的示例。图11A示出特定时刻的待机时的实时取景显示中的一帧的图像或者拍摄运动图像时的一帧的图像的示例。主被摄体1001是运动物体(汽车)并且将其行驶方向定义为图11A~11D的左方向。利用虚线的矩形框标记来被摄体区域1102。图11B示出在从图11A的时刻起经过了时间的情况下的拍摄图像的示例。利用虚线的矩形框来标记被摄体区域1103。图11C示出与图11A相同的时刻的运动矢量获取单元115中的检测块的配置的示例。图11D示出与图11B相同的时刻的运动矢量获取单元115中的检测块的配置的示例。
如图11C所示,CPU 105基于所检测到的被摄体位置和大小来移动检测块的位置,使得检测块尽可能地收敛于被摄体区域1102。因此,可以增加主被摄体1101存在的位置处的检测块的数量。可检测的检测块的数量变得越大,可以检测到的包括被摄体的移动的运动矢量越好,因而可以精确地进行被摄体追踪。在图11D中,基于所检测到的被摄体位置和大小来设置被摄体区域1103,并且使检测块的位置移动,使得检测块尽可能地收敛于被摄体区域1103。
由于被摄体检测精度,因此运动矢量的检测块的配置的实时变化存在问题。在被摄体的检测中,由于因检测处理负荷等而难以在相对于实时无延迟的情况下检测被摄体,因此在被摄体检测结果中必须包括检测时间的延迟。难以在被摄体位置的检测精度提高或者被摄体大小的检测精度提高的情况下检测被摄体,并且发生略微误差。关于运动矢量,由于基于帧之间的差来进行矢量检测,因此存在可以利用高精度并且在相对于对比度高的场景的延迟小的情况下检测到运动矢量的优点。这样,在被摄体检测和运动矢量检测之间存在时间差,并且在被摄体位置和大小的检测中发生误差。因此,如果图像上的主被摄体1101的移动速度高,则存在通过根据被摄体位置改变检测块的配置而将会发生被摄体矢量的误检测的可能性。在这种情况下,关于被摄体检测延迟和精度,存在检测块将会配置于错误位置的可能性。
因此,在本实施例中,如果被摄体检测单元110所检测到的被摄体的图像位置的变化小(在被摄体速度低的情况下),则利用CPU 105来进行缩小检测块配置的范围的处理。在这种情况下,可以判断为被摄体检测位置和运动矢量的检测块的位置之间的差小并且检测精度高。另一方面,如果被摄体的图像位置的变化大(在被摄体速度高的情况下),利用CPU105来进行放大检测块配置的范围的处理。因此,可以抑制误检测的发生。
如果被摄体的图像位置的变化大,则判断为校正矢量的检测精度下降,并且将图8的可变增益单元808的增益设置为小的值。结果,可以通过矢量反馈控制来抑制被摄体的误追踪的发生。另一方面,如果被摄体的图像位置的变化小,则判断为校正矢量的检测精度高并且将可变增益单元808的增益设置为大的值。结果,可以通过矢量反馈控制来提高被摄体追踪性能。
在本实施例中,基于拍摄图像中的被摄体的图像位置和大小来改变运动矢量的检测块的配置。检测块配置成这些检测块会聚于被摄体的图像位置的附近。被摄体的图像位置处的运动矢量被设置成容易被检测作为校正矢量,并且基于校正矢量和角速度来进行模糊校正和追踪控制。因此,可以提高自动被摄体追踪性能。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求2015年11月5日提交的日本专利申请2015-217363的优先权,在此通过引用包含其全部内容。
Claims (16)
1.一种摄像装置,其特征在于,包括:
被摄体检测单元,用于从摄像元件所拍摄到的拍摄图像检测被摄体图像;
运动矢量获取单元,用于通过比较所述摄像元件所获取到的不同帧中的图像信号来获取运动矢量,并且基于所述运动矢量和所述被摄体检测单元所检测到的被摄体图像的位置获取第一移动量;
比较单元,用于基于通过将所述被摄体检测单元所检测到的被摄体图像的位置与摄像范围中的目标位置进行比较而获取到的所述被摄体图像的位置和所述目标位置之间的差,来获取第二移动量;以及
移动单元,用于通过基于将所述第一移动量和所述第二移动量相加所获取到的移动量而使所述被摄体图像移动,来减少所述摄像范围中的所述被摄体图像的位置的移动。
2.根据权利要求1所述的摄像装置,其中,还包括:
获取单元,用于获取对所述拍摄图像中包含所述被摄体图像的区域进行标识的所述摄像范围的图像作为第一图像。
3.根据权利要求2所述的摄像装置,其中,
所述移动单元通过使所述摄像范围的位置、所述摄像元件、以及构成用于将光束引导至所述摄像元件的摄像光学系统的光学元件其中至少之一移动,来使所述被摄体图像移动。
4.根据权利要求1所述的摄像装置,其中,所述比较单元获取以下两者之间的差作为所述被摄体图像的位置和所述目标位置之间的差:
所述被摄体检测单元所检测到的被摄体图像的位置的坐标;以及
所述目标位置的坐标。
5.根据权利要求1所述的摄像装置,其中,所述第一移动量用于减少所述摄像范围中的所述被摄体图像的移动量;以及
所述第二移动量用于减少所述摄像范围中的所述被摄体图像的移动量。
6.根据权利要求1所述的摄像装置,其中,在所述差等于或小于阈值的情况下,所述比较单元将所述第二移动量设置为最小值。
7.根据权利要求2所述的摄像装置,其中,还包括模糊检测单元,所述模糊检测单元用于输出模糊检测信号,
其中,所述移动单元被配置为校正所述第一图像的图像模糊。
8.根据权利要求1所述的摄像装置,其中,所述移动单元被配置为在使用所述差使所述摄像范围中的所述被摄体图像的位置移动时获取与高频成分相对应的第三移动量,并且从通过将所述第一移动量和所述第二移动量相加所获得的量中减去所述第三移动量。
9.根据权利要求1所述的摄像装置,其中,还包括模糊检测单元,所述模糊检测单元用于输出模糊检测信号,
其中,所述移动单元在使用所述差使所述摄像范围中的所述被摄体图像的位置移动时获取与高频成分相对应的第三移动量,从所述第二移动量中减去所述第三移动量以获取相减结果,将所述相减结果乘以增益因数,并且基于乘以所述增益因数后的相减结果、所述模糊检测信号和所述第一移动量来使所述被摄体图像移动。
10.根据权利要求1所述的摄像装置,其中,还包括设置单元,所述设置单元用于基于所述被摄体检测单元对所述被摄体图像的检测结果,来在所述摄像范围中设置包括所述被摄体图像的位置的被摄体区域,
其中,所述运动矢量获取单元比较所述不同帧中的图像信号中的所述被摄体区域的位置,以获取所述运动矢量。
11.根据权利要求10所述的摄像装置,其中,所述设置单元被配置为检测所述被摄体图像的图像位置和图像大小,并且设置所述被摄体区域。
12.根据权利要求1所述的摄像装置,其中,所述运动矢量获取单元被配置为针对从所述拍摄图像中所设置的多个检测区域的各个检测区域所检测到的所述运动矢量设置加权因数,并且通过将所述运动矢量的值乘以所述加权因数来确定所述被摄体图像的图像位置处的运动矢量。
13.根据权利要求12所述的摄像装置,其中,所述运动矢量获取单元被配置为计算使用所述加权因数处理后的运动矢量的频率分布,并且根据频率峰值出现的位置来确定所述被摄体图像的图像位置处的运动矢量。
14.根据权利要求10所述的摄像装置,其中,所述设置单元被配置为将在所述被摄体图像的移动量大的情况下的所述被摄体区域的大小设置得大于在所述被摄体图像的移动量小的情况下的所述被摄体区域的大小。
15.根据权利要求1所述的摄像装置,其中,所述移动单元被配置为在使所述摄像范围中的所述被摄体图像的位置移动时从所述运动矢量获取与高频成分有关的信息,并且在使所述摄像范围中的所述被摄体图像的位置移动时从所述差获取与低频成分有关的信息。
16.一种摄像方法,其特征在于,包括以下步骤:
从摄像元件所拍摄到的拍摄图像检测被摄体图像;
通过比较所述摄像元件所获取到的不同帧中的图像信号,来获取运动矢量;
基于所述运动矢量和所检测到的被摄体图像的位置获取第一移动量;
获取所检测到的被摄体图像的位置与摄像范围中的目标位置之间的差;
基于所述差获取第二移动量;以及
通过基于将所述第一移动量和所述第二移动量相加所获取到的移动量而使所述被摄体图像移动,来减少所述摄像范围中的所述被摄体图像的位置的移动。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015217363A JP6727791B2 (ja) | 2015-11-05 | 2015-11-05 | 追尾制御装置および追尾制御方法、撮像装置 |
JP2015-217363 | 2015-11-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106954007A CN106954007A (zh) | 2017-07-14 |
CN106954007B true CN106954007B (zh) | 2020-09-01 |
Family
ID=58584980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610963038.8A Active CN106954007B (zh) | 2015-11-05 | 2016-11-04 | 摄像装置和摄像方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10277809B2 (zh) |
JP (1) | JP6727791B2 (zh) |
CN (1) | CN106954007B (zh) |
DE (1) | DE102016120954A1 (zh) |
GB (1) | GB2545551B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016103746A1 (ja) * | 2014-12-25 | 2016-06-30 | オリンパス株式会社 | 撮像装置 |
US10171739B2 (en) * | 2016-03-02 | 2019-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Image pickup device |
JP6700872B2 (ja) * | 2016-03-07 | 2020-05-27 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
JP6815747B2 (ja) * | 2016-05-02 | 2021-01-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム、および、記憶媒体 |
US10863079B2 (en) * | 2017-07-13 | 2020-12-08 | Canon Kabushiki Kaisha | Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium |
JP2019062340A (ja) * | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 像振れ補正装置および制御方法 |
JP6995561B2 (ja) * | 2017-10-23 | 2022-01-14 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
JP7129201B2 (ja) * | 2018-04-18 | 2022-09-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
US20210297594A1 (en) * | 2018-08-06 | 2021-09-23 | Sony Corporation | Imaging control apparatus, imaging control method, and program |
JP7197785B2 (ja) * | 2019-01-28 | 2022-12-28 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
JP7242320B2 (ja) | 2019-01-31 | 2023-03-20 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
WO2020174911A1 (ja) * | 2019-02-28 | 2020-09-03 | 富士フイルム株式会社 | 画像表示装置、画像表示方法、及びプログラム |
KR20210092620A (ko) * | 2020-01-16 | 2021-07-26 | 삼성전자주식회사 | 카메라 이동 제어 방법 및 장치 |
US11228702B1 (en) * | 2021-04-23 | 2022-01-18 | Gopro, Inc. | Stabilization of face in video |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101426091A (zh) * | 2007-11-02 | 2009-05-06 | 韩国科亚电子股份有限公司 | 使用目标跟踪的数字图像稳定的装置及其方法 |
CN101459762A (zh) * | 2007-12-13 | 2009-06-17 | 佳能株式会社 | 摄像设备及其控制方法 |
CN104469139A (zh) * | 2013-09-24 | 2015-03-25 | 佳能株式会社 | 图像捕获装置和图像捕获方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050128309A1 (en) * | 2003-07-25 | 2005-06-16 | Nikon Corporation | Shooting lens having vibration reducing function and camera system for same |
JP4201809B2 (ja) | 2006-11-13 | 2008-12-24 | 三洋電機株式会社 | 手ぶれ補正装置及び方法並びに撮像装置 |
CN101662820B (zh) * | 2007-01-09 | 2014-12-24 | 华为技术有限公司 | 基站装置、移动台装置、控制信息发送方法、控制信息接收方法及程序 |
JP2010093362A (ja) | 2008-10-03 | 2010-04-22 | Nikon Corp | 撮像装置および光学装置 |
JP2010114752A (ja) * | 2008-11-07 | 2010-05-20 | Canon Inc | 撮像装置及び撮像方法及びプログラム |
JP2011155582A (ja) * | 2010-01-28 | 2011-08-11 | Sanyo Electric Co Ltd | 撮像装置 |
GB2487200A (en) * | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
JP5911201B2 (ja) * | 2011-04-20 | 2016-04-27 | キヤノン株式会社 | カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム |
JP2013247508A (ja) * | 2012-05-25 | 2013-12-09 | Canon Inc | 自動追尾カメラの制御装置及び該制御装置を有する自動追尾カメラ |
JP5762587B2 (ja) * | 2013-04-15 | 2015-08-12 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6150655B2 (ja) | 2013-08-01 | 2017-06-21 | キヤノン株式会社 | 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置 |
JP6257207B2 (ja) | 2013-08-01 | 2018-01-10 | キヤノン株式会社 | 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置 |
JP2015034879A (ja) | 2013-08-08 | 2015-02-19 | キヤノン株式会社 | 像振れ補正装置およびその制御方法、レンズ鏡筒、光学機器、並びに撮像装置 |
JP6056774B2 (ja) * | 2014-01-17 | 2017-01-11 | ソニー株式会社 | 撮像装置と撮像方法およびプログラム。 |
JP6296824B2 (ja) * | 2014-02-26 | 2018-03-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6395401B2 (ja) * | 2014-03-11 | 2018-09-26 | キヤノン株式会社 | 像振れ補正装置およびその制御方法、光学機器、撮像装置 |
JP2015217363A (ja) | 2014-05-20 | 2015-12-07 | カルソニックカンセイ株式会社 | 金属製触媒担体の製造方法および金属製触媒担体の製造装置 |
-
2015
- 2015-11-05 JP JP2015217363A patent/JP6727791B2/ja active Active
-
2016
- 2016-10-20 US US15/298,685 patent/US10277809B2/en active Active
- 2016-11-03 DE DE102016120954.6A patent/DE102016120954A1/de not_active Withdrawn
- 2016-11-04 CN CN201610963038.8A patent/CN106954007B/zh active Active
- 2016-11-04 GB GB1618583.7A patent/GB2545551B/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101426091A (zh) * | 2007-11-02 | 2009-05-06 | 韩国科亚电子股份有限公司 | 使用目标跟踪的数字图像稳定的装置及其方法 |
CN101459762A (zh) * | 2007-12-13 | 2009-06-17 | 佳能株式会社 | 摄像设备及其控制方法 |
CN104469139A (zh) * | 2013-09-24 | 2015-03-25 | 佳能株式会社 | 图像捕获装置和图像捕获方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2017092592A (ja) | 2017-05-25 |
GB2545551B (en) | 2018-02-21 |
JP6727791B2 (ja) | 2020-07-22 |
DE102016120954A1 (de) | 2017-05-11 |
US10277809B2 (en) | 2019-04-30 |
CN106954007A (zh) | 2017-07-14 |
US20170134649A1 (en) | 2017-05-11 |
GB2545551A (en) | 2017-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106954007B (zh) | 摄像装置和摄像方法 | |
US10659691B2 (en) | Control device and imaging apparatus | |
JP5507014B2 (ja) | 動体検出装置及び方法 | |
US10321058B2 (en) | Image pickup apparatus and motion vector detection method | |
CN111246117B (zh) | 控制装置、摄像设备和控制方法 | |
JP2005215040A (ja) | オートフォーカスシステム | |
CN104345517A (zh) | 图像抖动校正设备和方法、镜筒、光学设备以及摄像设备 | |
JPWO2006082967A1 (ja) | 撮像装置 | |
US9912867B2 (en) | Image processing apparatus, image capturing apparatus and storage medium storing image processing apparatus | |
CN102957862A (zh) | 摄像设备和摄像设备的控制方法 | |
US11258948B2 (en) | Image pickup apparatus, control method of image pickup apparatus, and storage medium | |
US8363108B2 (en) | Autofocus system | |
JP2006267221A (ja) | オートフォーカスシステム | |
JP2000188713A (ja) | 自動焦点制御装置及びその合焦動作決定方法 | |
US20180241946A1 (en) | Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus | |
JP2006058431A (ja) | オートフォーカスシステム | |
TWI693828B (zh) | 顯示擷取裝置與其操作方法 | |
US20170171475A1 (en) | Zoom control apparatus, image capturing apparatus and zoom control method | |
JP2006184742A (ja) | オートフォーカスシステム | |
JP2017116924A (ja) | ズーム制御装置およびズーム制御方法、撮像装置 | |
JP2019201387A (ja) | 追尾制御装置 | |
JP2006267220A (ja) | オートフォーカスシステム | |
US20130293682A1 (en) | Image capture device, image capture method, and program | |
JP6204805B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6702736B2 (ja) | 撮像制御装置および撮像装置の制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |