CN107040713A - 运动矢量检测设备及其控制方法和摄像设备 - Google Patents

运动矢量检测设备及其控制方法和摄像设备 Download PDF

Info

Publication number
CN107040713A
CN107040713A CN201611113577.9A CN201611113577A CN107040713A CN 107040713 A CN107040713 A CN 107040713A CN 201611113577 A CN201611113577 A CN 201611113577A CN 107040713 A CN107040713 A CN 107040713A
Authority
CN
China
Prior art keywords
vector
motion vector
subject
region
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611113577.9A
Other languages
English (en)
Other versions
CN107040713B (zh
Inventor
春名孝太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107040713A publication Critical patent/CN107040713A/zh
Application granted granted Critical
Publication of CN107040713B publication Critical patent/CN107040713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及运动矢量检测设备及其控制方法、和摄像设备。在针对基础图像的多个区域中的各区域所检测到的相对于参考图像的运动矢量中，判断与移动被摄体相关的运动矢量。基于关注点和移动被摄体的移动方向，将与移动被摄体相关的运动矢量中的一个或多个运动矢量判断为候选矢量，并且基于候选矢量来计算移动被摄体的代表矢量。提供能够计算表示在被摄体的特定位置处的角速度的运动矢量的运动矢量检测设备以及该运动矢量检测设备的控制方法。

Description

运动矢量检测设备及其控制方法和摄像设备
技术领域
本发明涉及运动矢量检测设备、摄像设备和运动矢量检测设备的控制方法，并且更具体地，涉及移动被摄体的运动矢量的检测技术。
背景技术
摇摄作为用于表现移动被摄体的速度感的拍摄技术而存在。摇摄是通过在移动照相机以匹配被摄体的移动的情况下进行曝光来获得移动被摄体静止而背景模糊的图像的技术。在曝光期间照相机的移动量小的情况下，背景的模糊小，并且摇摄效果也小。因此，为了使照相机在曝光期间充分移动，随着被摄体(在摄像面上)的移动速度的降低，设置较慢的快门速度。
摇摄的效果是通过将模糊的背景与静止状态下的移动被摄体进行比较来获得的，因此在静止状态下拍摄移动被摄体很重要。因此，有必要在曝光期间以使照相机的移动与被摄体在摄像面上的移动匹配的方式来移动照相机，但这并不容易。在照相机的移动速度比被摄体的移动速度快或慢的情况下，被摄体也是模糊的。
因此，已经提出了通过应用抖动校正技术来辅助摇摄的摇摄辅助功能(参见日本特开2006-317848)。在日本特开2006-317848中，基于图像之间的运动矢量来检测移动被摄体的移动和照相机的移动之间的偏移，并且驱动移位透镜以校正该偏移。
在日本特开2006-317848中，在可以从照相机的移动期间所拍摄到的图像所检测到的运动矢量中，检测运动矢量与其周围的运动矢量相比更小的区域作为被摄体区域，并且检测被摄体区域的运动矢量作为移动被摄体的移动和照相机的移动之间的偏移。
在特定区域内检测到多个运动矢量的情况下，已知使用平均运动矢量或高频运动矢量作为该区域的代表运动矢量。然而，在这种代表运动矢量用作上述摇摄辅助功能中的被摄体区域的运动矢量的情况下，产生以下类型的问题。
例如，通过对被摄体区域内检测到的多个运动矢量进行平均而获得的代表运动矢量经常表示大致在视角的中心的被摄体的角速度。然而，被摄体的角速度不一定固定在视角内。例如，在从一点观察到匀速直线运动的被摄体的情况下，观察位置和被摄体之间的距离越小，观察到的角速度越大。因此，在利用基于表示处于视角中心的被摄体的角速度的代表运动矢量的摇摄辅助功能所获得的图像中，即使被摄体在视角的中心附近处于静止状态，模糊也随着相对于视角中心的距离的增大(随着图像高度的增大)而增大。因此，例如在焦点检测区域已被设置为远离画面中心的位置的情况下，即使在启用了摇摄辅助功能时，也无法获得期望的图像(焦点检测区域处于静止状态的图像)。
发明内容
本发明是考虑到传统技术中的这些问题而作出的，并且提供能够计算表示被摄体的特定位置处的角速度的运动矢量的运动矢量检测设备以及该运动矢量检测设备的控制方法。
根据本发明的一方面，提供一种运动矢量检测设备，包括：检测部件，用于针对基础图像的多个区域中的各区域检测相对于参考图像的运动矢量；运动矢量判断部件，用于在所述运动矢量中判断与移动被摄体相关的运动矢量；候选矢量判断部件，用于基于作为图像内的位置的关注点和所述移动被摄体的移动方向，将与所述移动被摄体相关的运动矢量中的一个或多个运动矢量判断为候选矢量；以及计算部件，用于基于所述候选矢量来计算所述移动被摄体的代表矢量。
根据本发明的另一方面，提供一种摄像设备，包括：上述的运动矢量检测设备；转换部件，用于将所述代表矢量转换成角速度；以及校正部件，用于基于所述角速度来执行抖动校正。
根据本发明的又一方面，提供一种运动矢量检测设备的控制方法，包括以下步骤：针对基础图像的多个区域中的各区域检测相对于参考图像的运动矢量；在所述运动矢量中判断与移动被摄体相关的运动矢量；基于作为图像内的位置的关注点和所述移动被摄体的移动方向，将与所述移动被摄体相关的运动矢量中的一个或多个运动矢量判断为候选矢量；以及基于所述候选矢量来计算所述移动被摄体的代表矢量。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出应用了根据实施例的运动矢量检测设备的数字照相机的示例性功能结构的框图。
图2是示出在根据实施例的数字照相机的拍摄模式下的操作的概要的流程图。
图3是与图2中的被摄体角速度计算处理有关的流程图。
图4A～4C示出实施例中的运动矢量检测的概要和示例性运动矢量信息。
图5示出实施例中的摄像面上的移动与被摄体或照相机的角速度之间的关系。
图6A和6B是与图3中的运动矢量分析处理有关的流程图。
图7A和7B示出图3中的运动矢量分析处理。
图8是与图3中的被摄体代表矢量计算处理有关的流程图。
图9A和9B示出图8中的候选矢量判断处理。
图10A和10B示出根据第二实施例的候选矢量判断处理。
图11A和11B示出根据第三实施例的候选矢量判断处理。
图12示出根据第三实施例的候选矢量判断处理。
具体实施方式
现在将根据附图详细说明本发明的典型实施例。注意，以下说明根据本发明的实施例的运动矢量检测设备应用于数字照相机的示例，但在本发明中，与摄像或者对拍摄图像的记录有关的功能并不是必须的。本发明可以在能够获取用于检测运动矢量的多个图像和与被摄体距离有关的信息的任意电子装置中实现。这种电子装置的示例包括数字静态照相机或摄像机、个人计算机、游戏装置、移动电话、移动信息终端、汽车导航系统、行车记录仪或机器人等，但电子装置不局限于这些示例。此外，使用根据实施例的运动矢量检测设备所检测到的运动矢量来实现摇摄辅助功能的抖动校正方案可以是驱动图像传感器或移位透镜的光学抖动校正方案，或者可以是控制像素裁切位置的电子抖动校正方案。此外，光学方案和电子方案可以一起使用。
第一实施例
图1是示意性示出本发明的实施例共通的数字照相机100的功能结构的框图。
摄像光学系统101包括透镜、快门和光圈，并且在图像传感器102上将来自被摄体的光形成为图像。摄像光学系统101还包括用于调整焦距的调焦透镜。摄像光学系统101还可以包括用于抖动校正的移位透镜。对摄像光学系统101中所包括的可移动构件(快门、光圈、调焦透镜和移位透镜)的驱动由控制单元103控制。
图像传感器102可以是CCD图像传感器或CMOS图像传感器，并且具有以二维配置的多个像素。像素具有光电转换功能，并且在各像素中，将通过摄像光学系统101而形成在摄像面上的被摄体图像转换为电信号。
抖动传感器105生成与数字照相机100的移动相对应的信号，并将该信号输出至控制单元103。抖动传感器105例如可以是诸如陀螺仪传感器等的角速度传感器，并且针对移动的各方向分量(例如，x轴、y轴和z轴的分量)生成信号。注意，抖动传感器105也可以设置在摄像光学系统101中。
控制单元103例如具有诸如CPU或MPU等的一个或多个可编程处理器。控制单元103例如通过将次级存储装置108中所存储的程序读取到主存储装置104中并执行该程序，来控制数字照相机100的各功能块的操作，从而使得数字照相机100的各种功能得以实现。控制单元103执行用以使用图像处理单元106所检测到的运动矢量来区分被摄体区域和背景区域的处理、以及用以生成表示被摄体区域的特定位置的加速度的运动矢量的处理。因此，运动矢量检测设备是通过控制单元103或者通过控制单元103和图像处理单元106的组合来实现的。
主存储装置104例如是诸如RAM等的易失性装置，并且用于数据的临时存储和控制单元103的操作。此外，主存储装置104中所存储的信息还用在图像处理单元106中，并且被记录至记录介质107。次级存储装置108例如是诸如EEPROM等的非易失性存储装置，并且存储由控制单元103执行的程序、固件、各种设置信息和GUI数据等。
记录介质107是非易失性的，并且用作主存储装置104中所存储的图像数据等的记录目的地。记录介质107的读/写由控制单元103控制。在记录介质107可从数字照相机100移除(例如半导体存储卡等)的情况下，数字照相机100具有记录介质107可移除的结构。
显示单元109用于实时取景显示、主存储装置104中所存储的图像(记录至记录介质107之前的图像或者已从记录介质107读出的图像)的显示、以及交互操作所用的GUI图像等的显示。显示单元109还可以是触摸显示器。
操作单元110是用户向数字照相机100进行各种输入所用的输入装置组。除例如开关、按钮、杆或触摸面板等的需要物理操作的输入装置外，操作单元110还可以包括被配置为接收语音输入或视线输入的输入装置。本实施例的数字照相机100具有通过对操作单元110中所包括的释放按钮的半按下行程而被切换为ON(接通)的开关(SW1)以及通过全按下行程而被切换为ON的开关(SW2)。注意，释放按钮用于拍摄静止图像，并且可以针对运动图像的拍摄而单独设置运动图像记录按钮。
将SW1切换为ON指示预拍摄操作的开始。预拍摄操作包括AF(自动调焦)处理和AE(自动曝光)处理。AE处理和AF处理可以例如由控制单元103基于可从实时取景显示用的图像获得的信息来进行。
此外，将SW2切换为ON指示记录用图像的拍摄操作的开始。所生成的记录用图像存储在主存储装置104中。控制单元103在根据需要利用图像处理单元106进行编码处理之后，将图像存储在与记录格式相对应的数据文件中，并且将该数据文件记录至记录介质107。
图像处理单元106例如对图像传感器102所输出的电信号应用诸如A/D转换和相关双采样等的预处理，并且对应用了预处理的信号应用诸如白平衡调整和去马赛克处理等的所谓的显像处理。此外，可以执行各种图像处理，例如，诸如RGB-YCbCr转换等的信号格式转换、与记录格式相对应的编码和解码、图像缩小和放大、图像合成、颜色调整、AF评价值的生成或特定被摄体的检测和识别处理。代表特定被摄体是人的面部，并且特定被摄体的识别处理是对表情或个人的识别，但并不局限于此。在本实施例中，图像处理单元106执行多个图像之间的运动矢量的检测。
注意，在本实施例的数字照相机100的结构中，图像处理单元106可以对图像应用的图像处理的组合被预先登记为模式，并且可以从操作单元110设置要使用的模式。注意，图像处理单元106的至少一些功能可以利用诸如FPGA或ASIC等的硬件来实现，或者可以例如由图像处理单元106(或控制单元103)中所包括的处理器执行程序来实现。
图2是示出数字照相机100的拍摄模式下的操作的概要的流程图。该操作例如可以在启动数字照相机100之后开始，或者在模式从回放模式切换到拍摄模式时开始。
在拍摄模式下，连续执行用于进行实时取景显示的运动图像拍摄。控制单元103例如基于可根据拍摄中获得的帧图像得到的亮度信息和评价值来执行与实时取景显示用的运动图像拍摄有关的曝光控制(图像传感器102的累积时间控制)和摄像光学系统101的焦点调节。
在步骤S1中，控制单元103从图像传感器102读出帧图像，并将该帧图像保存至主存储装置104。图像处理单元106从主存储装置104读出帧图像，并生成显示用图像(实时取景图像)。控制单元103使得利用显示单元109来显示实时取景图像。此外，图像处理单元106根据帧图像或实时取景图像来生成AE亮度信息和AF评价值，并将AE亮度信息和AF评价值输出至控制单元103。控制单元103基于亮度信息来决定下一帧的累积时间(并根据需要决定拍摄灵敏度)。此外，控制单元103基于评价值来决定下一帧的调焦透镜位置，并且根据需要控制摄像光学系统101以驱动调焦透镜。
接着，在步骤S2中，控制单元103计算被摄体的角速度。后面将说明该计算的详情。控制单元103可以执行抖动校正，以抵消被摄体的角速度。控制单元103可以通过驱动移位透镜或图像传感器102或者通过决定从图像传感器102进行读出的区域(裁切区域)来执行抖动校正。表示步骤S2中的被摄体的角速度的计算所使用的图像的区域的显示可以叠加显示在实时取景图像上。
接着，在步骤S3中，控制单元103判断是否通过操作单元110输入了静止图像拍摄开始指示。控制单元103还可以判断例如图像处理单元106中是否已经获得可以被视为拍摄开始指示的结果。例如，在图像处理单元106中，在检测到人的预定的特定表情(例如，微笑或眨眼等)的情况下，控制单元103可以判断为已经输入了拍摄开始指示。
如果没有判断为已经输入了拍摄开始指示，则控制单元103使处理返回至步骤S1，并且重复步骤S1和S2的处理。
如果判断为已经输入了拍摄开始指示，则控制单元103使处理进入步骤S4，并且进行记录用的拍摄(曝光)和抖动校正。在记录用的拍摄中，控制单元103使用摄像光学系统101中所包括的快门来控制图像传感器102的曝光时间，并且还控制光圈(还可以用作快门)的开口大小。可以基于图像处理单元106根据例如最近拍摄的帧图像所生成的亮度信息和评价值来决定曝光条件和调焦透镜位置。
控制单元103还基于利用可从抖动传感器105输入的信号所表示的角速度与步骤S2中所计算出的被摄体的角速度之间的差，来进行抖动校正，从而抑制被摄体模糊。可以通过基于上述的差来在与摄像光学系统101的光轴正交的方向上驱动移位透镜或图像传感器、或者改变从图像传感器102进行读出的区域，来实现抖动校正。注意，在抖动传感器105设置在摄像光学系统101中的情况下，可以采用如下结构：控制单元103将步骤S2中所计算出的被摄体的角速度的信息赋予摄像光学系统101，并且通过摄像光学系统101中所设置的控制单元来执行抖动校正。
在曝光结束的情况下，控制单元103使处理进入步骤S5，并将从图像传感器102读出的图像信号保存至主存储装置104。然后，图像处理单元106对该图像信号应用显像处理等，生成记录用的图像数据文件，并将该数据文件保存至主存储装置104。
在步骤S6中，控制单元103将保存至主存储装置104的图像数据文件记录至记录介质107，并且使处理返回至步骤S1。
接着，将参考图3中的流程图来说明图2的步骤S2中的被摄体角速度计算处理。
在步骤S7中，图像处理单元106使用图像传感器102在不同时间获得的两个帧图像来检测运动矢量，并将检测结果(运动矢量信息)输出至控制单元103。控制单元103将该运动矢量信息保存至主存储装置104。
例如，控制单元103利用显示单元109来显示图像处理单元106所生成的实时取景图像，并且还将该实时取景图像保存至主存储装置104，使得该实时取景图像可以在下一运动矢量检测中用作先前帧。另一方面，图像处理单元106能够根据所生成的实时取景图像(当前帧)和保存至主存储装置104的实时取景图像(先前帧)来检测运动矢量。然而，不必始终针对连续拍摄到的两个帧图像来检测运动矢量。此外，可以采用如下结构：针对序列中的每隔一帧的两个帧图像(诸如第一帧和第三帧、或者第三帧和第五帧等)来检测运动矢量。例如，在诸如帧频高等的情况下，可以采用如下结构：针对序列中的每第n帧(其中，n是2以上的整数)的两个帧图像来检测运动矢量。
作为根据两个帧图像来检测运动矢量的方法，可以使用公知的模板匹配方法。在两个帧图像中，用作基础的一个帧图像(例如，先拍摄到的一个帧图像)被称为基础图像，并且另一帧图像被称为参考图像。基础图像中的预定大小的矩形区域被设置为模板框，并且针对各模板框将用于在参考图像中计算相关值的比模板框大的矩形区域设置为搜索区域。
图4A示出本实施例中的示例性模板框设置。这里，水平地设置8个模板框，并且垂直地设置8个模板框，总共64个模板框。注意，在图4A所示的示例中，模板框被配置为使得垂直方向上不存在间隔并且水平方向上存在间隔，但是这种配置方法不限于此。例如，模板框可以被配置为使得水平方向和垂直方向上均不存在间隔，或者模板框可以被配置为使得水平方向和垂直方向上均存在间隔。此外，图4B示出本实施例中的示例性搜索区域设置。搜索区域被设置为使得例如搜索区域的中心与相应的模板框匹配。可以基于要检测的运动矢量的最大值以及图像处理单元106的处理性能等中的一个或多个来决定搜索区域的大小。
如图4B左侧示意性示出的，图像处理单元106使模板框中的图像(模板图像)在搜索区域内例如从左上向右下以预定移动量(例如，一个像素)的步长移动。然后，图像处理单元106在各个位置中计算模板图像和与模板图像相对应的搜索区域内的部分图像的相关值。该相关值例如可以是对应像素的值的绝对差值和(SAD)。图像处理单元106检测获得了表示最高相关性的相关值的模板图像的位置，作为模板图像的移动目的地。基础图像中的模板框的中心与搜索区域的中心相对应。因此，作为运动矢量，图像处理单元106检测从搜索区域的中心指向被检测为移动目的地的模板图像的位置的中心的矢量。然而，在本实施例中，检测运动矢量的水平分量作为水平运动矢量，并且独立地检测运动矢量的垂直分量作为垂直运动矢量。
注意，模板框的配置(大小、数量和位置)以及搜索区域的大小可以通过控制单元103在执行步骤S7时从次级存储装置108读出，并且设置在图像处理单元106中。此外，控制单元103可以使用从次级存储装置108读出的值作为初始值，并且之后根据需要来改变这些值。
图4C示意性示出图像处理单元106输出至控制单元103的运动矢量检测结果(运动矢量信息)的示例性数据格式。框号是模板框标识信息，并且例如，框号是从0开始、从左到右且从上到下分配的。在图4A的示例所示的模板框(从顶部起的第6行、从左起的第3列)的情况下，分配框号50。
例如，以像素为单位采用8位定点格式来表示针对各模板框所检测到的水平运动矢量和垂直运动矢量的大小和方向。所检测到的运动矢量的最大值是通过搜索区域的大小来确定的，并且在本实施例中被设置为+/-96(pixel(像素))。+/-符号表示矢量方向，其中负号表示向左的方向和向上的方向，而正号表示向右的方向和向下的方向。
错误号表示运动矢量检测是否正常结束以及错误分类。错误号0表示正常结束，而除0以外的错误号表示异常结束。错误号1表示由于低对比度而导致无法进行检测。在模板图像或搜索区域的对比度低的情况下，由于在每个位置处都获得了高相关值，因而产生了该错误。此外，错误号2表示重复模式检测。在模板框和搜索区域中包括具有高频率和高对比度的模式的情况下，由于周期性地获得了高相关值，因此产生了该错误。
返回至图3的说明，在步骤S8中，控制单元103基于抖动传感器105的输出和次级存储装置108中所存储的抖动传感器105的属性(诸如灵敏度等)，来针对各方向分量计算数字照相机100的角速度，并将所计算出的角速度保存至主存储装置104。这里，控制单元103可以基于角速度来判断是否正在平摇数字照相机100。此外，可以采用如下结构：如果没有判断为正在平摇数字照相机100，则控制单元103将摇摄辅助功能切换为OFF(关闭)并进行正常抖动校正操作，并且如果判断为正在平摇数字照相机100，则控制单元103将摇摄辅助功能切换为ON(打开)。
在步骤S9中，控制单元103从摄像光学系统101获取焦距信息(视角信息)，并将焦距信息保存至主存储装置104。如果摄像光学系统101是单焦点系统，则可以使用预先存储的值。
在步骤S10中，控制单元103执行运动矢量分析处理。运动矢量分析处理是用以使用步骤S8中所计算出的角速度和步骤S9中所获取到的焦距信息来从步骤S7中所获得的运动矢量信息中辨别移动被摄体的运动矢量的处理。后面将说明运动矢量分析处理的详情。
接着，在步骤S11中，控制单元103执行被摄体代表矢量检测处理。被摄体代表矢量检测处理根据步骤S10中所获得的被摄体运动矢量信息和焦点检测区域(AF框)的位置信息来计算被摄体代表矢量。后面将说明被摄体代表矢量检测处理的详情。
最后，在步骤S12中，控制单元103将步骤S11中所计算出的被摄体代表矢量转换成角速度，在考虑到步骤S8中所计算出的角速度的情况下计算被摄体角速度，然后结束被摄体角速度计算处理。
这里，将说明用以将被摄体代表矢量转换成角速度的方法。图5针对水平方向分量示意性示出被摄体的移动和图像传感器102中的被摄体图像的移动之间的关系。
与步骤S11中所计算出的被摄体代表矢量d的起点和终点相对应的图像传感器102的位置分别由A'和B'表示，并且被摄体代表矢量d的大小由|d|(pixel(像素))表示。在摄像光学系统101的主点由O表示、并且穿过主点O的直线与图像传感器102的摄像面正交的位置(换句话说，光轴与摄像面正交的位置)由C'表示的情况下，可以根据角度A'OC'和角度B'OC'之间的差来计算角度A'OB'。因此，以下表达式能够成立：
角度A'OB'(rad)＝atan(Xa·p/f)(rad)–atan((Xa–|d|)p/f)(rad)
这里，Xa表示位置C'和位置A'之间的距离|C'–A|(pixel)，f表示摄像光学系统101的焦距(mm)，并且p表示像素间距(mm/pixel)。
在运动图像拍摄的帧频由1/T(frame/sec(帧/秒))表示的情况下，将拍摄到基础图像和参考图像的时间的差表示为T·n(sec)。这里，n(frame)是基础图像和参考图像之间的间隔，并且如果基础图像和参考图像是连续帧，则n＝1，并且如果基础图像和参考图像之间存在一个帧，则n＝2。这里，n＝1。角速度是角度随时间的变化量，因此以表达式“被摄体角速度ω＝角度A'OB'/T(rad/sec)”来表示。
因此，可以使用以下公式(1)从被摄体代表矢量大小|d|(pixel)转换成角速度ω(rad/sec)。
还针对被摄体代表矢量的垂直方向分量进行该转换。注意，根据被摄体矢量d的方向来确定公式(1)中所获得的角速度的转动方向。
运动矢量分析处理(S10)的详情
接着，将说明图3的步骤S10中的运动矢量分析处理的详情。图6A是运动矢量分析处理的流程图。
首先，在步骤S13中，控制单元103生成步骤S7中所检测到的运动矢量的频率分布(直方图)。控制单元103读出保存至主存储装置104的运动矢量信息，并且针对正确检测到(错误号为0)的运动矢量，生成水平运动矢量的频率分布和垂直运动矢量的频率分布。控制单元103将所生成的两个频率分布作为频率分布信息保存至主存储装置104。
如图4C所示，在本实施例的运动矢量信息中，水平运动矢量和垂直运动矢量的大小和方向是采用具有符号的8位定点格式来表示的。在生成所提取到的运动矢量的频率分布的情况下，控制单元103使用小数部分被四舍五入并且为了处理成绝对值而加上最大值96的值。
图7A和7B示意性示出根据数字照相机100正被平摇以拍摄水平方向上移动的被摄体的状态下所检测到的运动矢量信息而生成的示例性频率分布。图7A示出水平运动矢量的示例性频率分布，并且图7B示出垂直运动矢量的示例性频率分布。
接着，在步骤S14中，控制单元103将步骤S8中所计算出的并保存至主存储装置104的角速度信息转换成矢量。控制单元103从主存储装置104读出角速度信息。此外，控制单元103从主存储装置104读出步骤S9中所获取到的并保存至主存储装置104的摄像光学系统101的焦距信息。然后，控制单元103将角速度转换成矢量，并将该矢量保存至主存储装置104。
这里，再参考图5，将说明用以将角速度转换成矢量的方法。在步骤S12中将被摄体代表矢量的大小转换成角速度的方法中，给出了数字照相机是静止的且被摄体正在移动的说明，但这里，与此相反，被摄体是静止的，并且数字照相机正以角速度ω移动。然而，由于被摄体是静止的，因此数字照相机的角速度ω等同于被摄体的表观角速度ω。
在利用A表示进行基础图像拍摄时的被摄体位置的情况下，被摄体的图像形成在图像传感器102上的位置A'处。此外，在利用B表示进行参考图像拍摄时的被摄体位置的情况下，被摄体的图像形成在图像传感器102上的位置B'处。通过转换数字照相机的角速度ω所获得的矢量的大小是距离A'B'(＝|d|)。
根据时间段T和数字照相机的角速度ω，利用ωT表示角度AOB。
这里，被摄体的移动轨迹在点C'处与光轴正交。此外，为了简便，假定穿过被摄体的位置A和位置B的被摄体的轨迹与图像传感器102的摄像面平行(相对于图像传感器102的摄像面的距离固定)。
根据以上说明，以下表达式能够成立：
角度A'OB'(rad)＝atan(Xa·p/f)(rad)–atan((Xa–|d|)p/f)(rad)
此外，三角形AOC和三角形A'OC'是相似三角形，并且三角形BOC和三角形B'OC'也是相似三角形，因此角度AOB＝ωT＝角度A'OB'。因此，从步骤S8中所计算出的数字照相机100的角速度ω(rad/sec)向运动矢量的大小|d|(pixel)的转换所用的公式可以表示为以下公式(2)。
控制单元103将照相机100的运动矢量的大小|d|转换成具有与角速度ω的转动方向相对应的符号的矢量，然后将该矢量保存至主存储装置104。
接着，在步骤S15中，控制单元103执行被摄体运动矢量判断处理。控制单元103从主存储装置104读出步骤S13中所生成的频率分布信息和步骤S14中所计算出的运动矢量d。然后，控制单元103基于运动矢量大小|d|来判断频率分布中的背景运动矢量的分布和被摄体运动矢量的分布。后面将说明该判断处理的详情。
控制单元103将指定了被判断为被摄体的运动矢量的运动矢量的信息(例如，运动矢量信息中的模板框号)作为被摄体运动矢量信息保存至主存储装置104，然后结束运动矢量分析处理。
将参考图6B所示的流程图进一步说明步骤S15中的被摄体运动矢量判断处理。
首先，在步骤S16中，控制单元103从频率分布信息中检测与背景有关的运动矢量的峰(背景峰)。控制单元103基于步骤S14中通过转换数字照相机100的角速度所获得的矢量(以下称为照相机矢量)的大小|d|，来检测背景峰。
背景的移动与数字照相机100的移动相对应，因此控制单元103在以照相机矢量的大小|d|为中心的搜索区间内检测最大频率超过预定阈值的矢量，作为背景峰。注意，还可能存在如下情况：由于诸如抖动传感器105的精度或测量定时等的影响，因而在与照相机矢量的大小相对应的区间内不能检测到背景峰。因此，控制单元103在以照相机矢量的大小为中心的搜索区间内检测背景峰。搜索区域的大小和频率的阈值可以预先决定并保存至次级存储装置108。此外，可以采用如下结构：保存至次级存储装置108的值用作初始值，并根据照相机矢量大小、摄像光学系统101的焦距或者相对于峰区间的偏移量等而改变。
接着，在步骤S17中，控制单元103检测背景分布。如图7A和7B所示，运动矢量的大小以一定程度的扩展而分布。该扩展例如是生成频率分布时由于运动矢量检测误差或舍入误差而产生的。控制单元103检查从步骤S16中所检测到的背景峰起的频率分布的左侧和右侧的频率，并检测频率没有降低至阈值以下的范围作为背景分布。注意，用于检测背景分布的阈值可以预先决定并保存至次级存储装置108。此外，可以采用如下结构：保存至次级存储装置108的值用作初始值，并且根据背景峰频率或频率分布的总频率(所提取到的总运动矢量)等而改变。
在图7A和7B所示的示例性频率分布中，在水平运动矢量的频率分布(图7A)中存在两个分布(峰)。在这种情况下，通过步骤S16和S17中的处理，检测到具有较大值的区间的分布作为背景分布。
同样地，检测到垂直运动矢量的频率分布(图7B)中所存在的单个分布作为背景分布。
控制单元103例如将指定了与步骤S17中所检测到的背景分布相对应的运动矢量的信息(例如，框号)作为背景矢量信息保存至主存储装置104。控制单元103保存背景矢量信息，使得可以辨别与背景峰相对应的运动矢量。
接着，在步骤S18中，控制单元103检测被摄体峰。控制单元103检测步骤S17中检测到背景分布的区间以外的区间内的峰，并且使用超过阈值的峰作为被摄体峰。注意，可以采用步骤S16中使用的阈值作为这里使用的阈值，或者可以使用其它值。
最后，在步骤S19中，控制单元103检测被摄体分布。可以通过与步骤S17中的背景分布的检测相同的方法来检测被摄体分布，然而，可以改变阈值。
控制单元103将指定了与步骤S19中所检测到的被摄体分布相对应的运动矢量的信息(例如，框号)作为被摄体矢量信息保存至主存储装置104。控制单元103保存被摄体矢量信息，使得可以辨别与被摄体峰相对应的运动矢量。
注意，在频率分布中存在两个运动矢量分布的情况下，例如在正平摇数字照相机100的情况下，可以对分布进行辨别，使得辨别出范围或宽度较大的区间的分布作为背景分布，并且辨别出范围或宽度较小的区间的分布作为被摄体分布。
被摄体运动矢量检测处理(S11)的详情
接着，将参考图8中的流程图来说明图3的步骤S11中的被摄体代表矢量计算处理的详情。
在步骤S20中，控制单元103根据以下过程计算被摄体的移动方向。控制单元103参考保存至主存储装置104的被摄体运动矢量信息，并读出与水平方向和垂直方向上的被摄体峰相对应的运动矢量信息。此外，控制单元103从主存储装置104读出水平方向和垂直方向上的照相机矢量的信息。
控制单元103利用以下公式(3)计算被摄体的移动方向。这里，与水平方向上的被摄体峰相对应的运动矢量由Vph表示，与垂直方向上的被摄体峰相对应的运动矢量由Vpv表示，水平方向上的照相机矢量由Voh表示，并且垂直方向上的照相机矢量由Vov表示。
在正符号表示在向右的方向或向下的方向上平摇数字照相机100的状态下所获得的角速度的情况下，该符号与照相机矢量的符号相反，因此在公式(3)的表达式中，减去照相机矢量。这样，控制单元103计算相对于水平方向的斜率α作为表示移动方向的值。
接着，在步骤S21中，控制单元103基于从主存储装置104读出的焦点检测区域的位置信息，来判断作为图像内的位置的关注点。在本实施例中，作为关注点，控制单元103采用相对于所设置的焦点检测区域的中心坐标距离最短的模板框的中心坐标。
在步骤S22中，控制单元103(候选矢量判断单元)根据从主存储装置104读出的被摄体运动矢量信息、步骤S20中所计算出的被摄体移动方向以及步骤S21中所判断出的关注点，来判断候选矢量，并提取所判断出的候选矢量。后面将说明候选矢量判断处理的详情。
最后，在步骤S23中，控制单元103基于步骤S22中所提取的候选矢量来计算被摄体代表矢量。控制单元103可以例如通过对候选矢量进行平均来计算被摄体代表矢量，但是也可以使用其它方法。控制单元103将所计算出的被摄体代表矢量的信息保存至主存储装置104。
候选矢量判断处理(S22)的详情
接着，将参考图9A和9B来说明步骤S22中的候选矢量判断处理的详情。图9A是候选矢量判断处理的流程图。
首先，在步骤S25中，控制单元103根据步骤S20中所计算出的被摄体的移动方向来使处理分叉。具体地，控制单元103判断步骤S20中所计算出的斜率α的绝对值是否小于1，并且如果判断为斜率α的绝对值小于1，则控制单元103使处理进入步骤S26，并且如果没有判断为斜率α的绝对值小于1，则控制单元103使处理进入步骤S27。
在斜率α的绝对值小于1的情况下，控制单元103将被摄体的移动方向视为水平方向。然后，在步骤S26中，在步骤S21中被判断为关注点的模板框和与该模板框在垂直方向上邻接的模板框中，控制单元103将检测到被摄体运动矢量的模板框设置为候选框。
另一方面，在斜率α的绝对值为1以上的情况下，控制单元103将被摄体的移动方向视为垂直方向。然后，在步骤S27中，在步骤S21中被判断为关注点的模板框和与该模板框在水平方向上邻接的模板框中，控制单元103将检测到被摄体运动矢量的模板框设置为候选框。
以这种方式设置候选框的原因在于：由于图像高度而引起的加速度的变化在与被摄体的移动方向平行的方向上较大并且在与被摄体的移动方向正交的方向上较小。因此，通过以这种方式设置候选框，可以基于与可在关注点处检测到的运动矢量同样的运动矢量组来计算高度可靠的被摄体代表矢量。
在步骤S28中，控制单元103将在步骤S26或S27中设置的候选框中检测到的被摄体运动矢量判断为候选矢量。控制单元103从被摄体运动矢量信息中提取候选矢量的信息，并将所提取的候选矢量信息保存至主存储装置104。
图9B示意性示出斜率α为0(被摄体的移动方向是水平方向)的情况下的候选矢量判断操作。这里，假定以与图4A中的方式相同的方式配置模板框。
在图9B中，利用虚线示出检测到步骤S17中被判断为背景矢量的运动矢量的模板框，并且利用实线示出检测到步骤S19中被判断为被摄体矢量的运动矢量的模板框。在本示例中，α为0，并且被摄体的移动方向是从右向左的水平方向。
在这种情况下，在图9A的候选矢量判断处理中，斜率α为0，因此控制单元103使处理从步骤S25进入步骤S26。在步骤S26中，由于关注点是框号34的中心坐标，因此控制单元103将利用粗框表示的框号18、26、34、42和50的模板框设置为候选框。在步骤S28中，控制单元103将候选框中所检测到的被摄体运动矢量判断为候选矢量。然后，控制单元103从被摄体运动矢量信息中提取候选矢量的信息，并将所提取的候选矢量信息保存至主存储装置104。
如上所述，在本实施例中，被摄体的代表矢量是基于所检测到的被摄体矢量中的、根据焦点检测区域的位置和被摄体的移动方向所选择出的被摄体矢量来计算的。因此可以获得表示该被摄体在焦点检测区域附近的角速度的被摄体代表矢量。由于该焦点检测区域是用户期望聚焦的区域，因此在进行摇摄的情况下，该焦点检测区域是用户期望为静止的区域。因此，通过进行抖动校正以抵消本实施例中所获得的被摄体代表矢量所表示的角速度，可以实现用以辅助拍摄用户期望的摇摄图像的功能。因此，在不考虑焦点检测区域的位置的情况下，可以实现与所检测到的所有被摄体矢量被平均化并用作被摄体代表矢量的情况相比更加显著的效果。
第二实施例
接着，将说明本发明的第二实施例。本实施例与第一实施例的不同之处在于被摄体运动矢量检测处理(图8)中的关注点判断(步骤S21)和候选矢量判断处理(步骤S22)。因此，这里省略了针对数字照相机100的功能结构和其它处理的说明，并主要说明本实施例特有的处理。
在第一实施例的关注点判断处理中，采用相对于焦点检测区域的中心坐标距离最短的模板框的中心坐标作为关注点，但在本实施例中，采用焦点检测区域的中心坐标作为关注点。在这种情况下，在中心坐标要用作关注点的模板框不存在的情况下，选择在移动方向上位于关注点前方的模板框和位于关注点后方的模板框中的任一个作为用作设置候选框用的基础的模板框。
例如，火车和汽车是作为摇摄对象的代表移动被摄体。在对火车和汽车进行摇摄的情况下，用户经常尝试获得使得被摄体的头部静止的图像。在火车的情况下，头部是头车厢，并且在汽车的情况下，头部是保险杠或引擎盖等。因此，在本实施例中，在中心坐标要用作关注点的模板框不存在的情况下，选择在移动方向上位于关注点前方的模板框作为用作设置候选框用的基础的模板框。
图10A是本实施例中的候选矢量判断处理的流程图。
在步骤S30中，控制单元103判断是否存在包含关注点(这里为焦点检测区域的中心坐标)的模板框，并且如果判断为存在这种模板框，则执行与第一实施例中同样的候选矢量判断处理。
另一方面，如果没有判断为存在包含关注点的模板框，则控制单元103使处理进入步骤S31，并且判断步骤S20中所计算出的斜率α的绝对值是否小于1，并且如果判断为斜率α的绝对值小于1，则控制单元103使处理进入步骤S32，而如果没有判断为斜率α的绝对值小于1，则控制单元103使处理进入步骤S35。
在斜率α的绝对值小于1的情况下，控制单元103将被摄体的移动方向视为水平方向。然后，在步骤S32中，控制单元103判断水平方向被摄体矢量Vh(＝Vph-Voh)的符号是否为负，并且如果判断为该符号为负，则使处理进入步骤S33，如果没有判断为该符号为负，则使处理进入步骤S34。
在水平方向被摄体矢量Vh的符号为负的情况下，被摄体的移动方向为向左的方向。因此，在步骤S33中，在关注点左侧的最近的模板框的列中，控制单元103将检测到被摄体矢量的模板框设置为候选框。
在水平方向被摄体矢量Vh的符号为正的情况下，被摄体的移动方向为向右的方向。因此，在步骤S34中，在关注点右侧的最近的模板框的列中，控制单元103将检测到被摄体矢量的模板框设置为候选框。
图10B示意性示出斜率α为0(被摄体的移动方向为水平方向)并且水平方向被摄体矢量Vh的符号为负的情况下的候选矢量判断操作。这里，假定以与图4A中的方式相同的方式来配置模板框。
关注点存在于框号45和46之间，并且水平方向被摄体矢量Vh的符号为负，因此在关注左侧的最近的框号45的列中，将检测到被摄体矢量的框号13、21、29、37和45的模板框设置为候选框。
另一方面，如果在步骤S31中没有判断为斜率α的绝对值小于1，则控制单元103将被摄体的移动方向视为垂直方向。然后，在步骤S35中，控制单元103判断垂直方向被摄体矢量Vv(＝Vpv-Vov)的符号是否为负，并且如果判断为该符号为负，则使处理进入步骤S36，而如果没有判断为该符号为负，则使处理进入步骤S37。
在垂直方向被摄体矢量Vv的符号为负的情况下，被摄体的移动方向为向上的方向。因此，在步骤S36中，在关注点上侧的最近的模板框的行中，控制单元103将检测到被摄体矢量的模板框设置为候选框。
在垂直方向被摄体矢量Vv的符号为正的情况下，被摄体的移动方向为向下的方向。因此，在步骤S37中，在关注点下侧的最近的模板框的行中，控制单元103将检测到被摄体矢量的模板框设置为候选框。
这样，在本实施例中，在不存在包含关注点的模板框的情况下，使用存在于被摄体的移动方向前方的模板框作为设置候选框时的基础。因此，即使在关注点不在模板框内的情况下，也很可能将能够计算出表示如用户所意图的位置处的角速度的被摄体代表矢量。因此，通过进行抖动校正以抵消本实施例中所获得的被摄体代表矢量所表示的角速度，可以实现用以辅助拍摄用户期望的摇摄图像的功能。
第三实施例
接着，将说明本发明的第三实施例。本实施例与第一和第二实施例的不同之处在于被摄体运动矢量检测处理(图8)中的候选矢量判断处理(步骤S22)。因此，这里省略了针对数字照相机100的功能结构和其它处理的说明，并且主要说明本实施例特有的处理。
在第一和第二实施例中，在斜率α的绝对值小于1的情况下，被摄体的移动方向被视为水平方向，并且在斜率α的绝对值为1以上的情况下，被摄体的移动方向被视为垂直方向。另一方面，在本实施例中，执行针对与斜率α相对应的对角方向的移动的候选矢量判断处理。
图11A是本实施例中的候选矢量判断处理的流程图。
在步骤S40中，控制单元103设置关注轴。关注轴是穿过关注点并且与被摄体的移动方向正交的直线。在使用步骤S20中所计算出的斜率α的情况下，关注轴的斜率β可以由以下公式(4)表示。
此外，由于关注轴是穿过关注点的直线，因此在关注点的x，y坐标由(Ix，Iy)表示的情况下，表示关注轴的主函数的截距ξ可以由以下公式(5)表示。
在步骤S41中，控制单元103针对(框号i所表示的)一个模板框，计算从中心到关注轴的距离。在框号i的模板框的中心坐标由(Cx，Cy)表示的情况下，距离γi可以由以下公式(6)表示。
γi＝{α(Cy-Iy)+(Cx-Ix)}×cosθ (6)
注意，角度θ是利用tan-1α来计算的。
在步骤S42中，控制单元103判断框号i的模板框是否在关注轴上。在例如距离γi的绝对值小于模板框的大小(例如，对角线的1/2)的情况下，控制单元103判断为框号i的模板框在关注轴上。
在判断为模板框在关注轴上的情况下，控制单元103使处理进入步骤S43，将框号i的模板框设置为第一候选框，然后使处理进入步骤S46。第一候选框中所检测到的运动矢量与后面说明的第二候选框中所检测到的运动矢量相比在用于被摄体代表矢量的计算的情况下贡献更大。例如，在通过获得候选矢量的加权平均来计算被摄体代表矢量的情况下，第一候选框中所检测到的候选矢量与第二候选框中所检测到的候选矢量相比被赋予更大的权重(系数)。作为一个示例，第一候选框中所检测到的候选矢量被赋予100％的权重(系数为1.0)。
另一方面，在没有判断为框号i的模板框在关注轴上的情况下，控制单元103使处理进入步骤S44，并且判断距离γi是否小于阈值。注意，如在第二实施例中那样，在存在于被摄体的移动方向前方的模板框被设置为候选框的情况下，当γi具有与水平方向被摄体矢量Vh相同的符号时，将距离γi与阈值进行比较。相应地，当γi具有与水平方向被摄体矢量Vh不同的符号时，控制单元103可跳过步骤S44，并使处理进入步骤S46。
注意，步骤S44中使用的阈值可以预先保存至次级存储装置108。此外，可以采用如下结构，其中在该结构中，保存至次级存储装置108的阈值是在基于以下内容至少之一而改变的情况下使用：进行拍摄时的焦距、曝光时间和根据被摄体峰所计算出的近似被摄体角速度。
在步骤S44中判断为距离γi小于阈值的情况下，控制单元103使处理进入步骤S45，将框号i的模板框设置为第二候选框，然后使处理进入步骤S46。第二候选框中所检测到的运动矢量与第一候选框中所检测到的运动矢量相比在用于被摄体代表矢量的计算的情况下贡献更小。例如，在通过获得候选矢量的加权平均来计算被摄体代表矢量的情况下，第二候选框中所检测到的候选矢量与第一候选框中所检测到的候选矢量相比被赋予更小的权重(系数)。作为一个示例，在第二候选框中所检测到的候选矢量被赋予50％的权重(系数为0.5)。
在步骤S44中没有判断为距离γi小于阈值的情况下，控制单元103使处理进入步骤S46。
在步骤S46中，控制单元103将框号i加1，并且使处理进入步骤S47。在步骤S47中，控制单元103判断框号i是否小于64(模板框的数量)，并且如果判断为框号i小于64，则控制单元103使处理返回至步骤S41，并且如果没有判断为框号i小于64，则控制单元103结束处理。
图11B示意性示出本实施例中的候选矢量判断的示例。在本示例中，框号0的中心坐标是(32,16)，将模板框的一边的长度和水平方向上的间隔设置为8，关注点的坐标是(92,36)，并且将斜率α设置为0.5。在这种情况下，关注轴的斜率β为-2，截距ξ为220，并且公式(6)中的cosθ为0.8944。
图12示出图11B的示例中的一些模板框的中心坐标和相对于关注轴的距离γi。例如，在框号35中，关注轴穿过中心坐标，因此距离γi为0。在图11B中，用粗线表示的框号12、27、35和43的模板框被设置为第一候选框，并且用粗虚线表示的框号11、19、42和50的模板框被设置为第二候选框。注意，步骤S44中使用的阈值被设置为12。
这样，在本实施例中，在不存在包含关注点的模板框的情况下，使用存在于被摄体的移动方向前方的模板框作为设置候选框时的基础。因此，即使在关注点不在模板框内的情况下，也很可能将能够计算出表示如用户所意图的位置处的角速度的被摄体代表矢量。因此，通过进行抖动校正以抵消本实施例中所获得的被摄体代表矢量所表示的角速度，可以实现用以辅助拍摄用户期望的摇摄图像的功能。
这样，在本实施例中，采用如下结构：基于相对于与被摄体的移动方向正交并且穿过关注点的关注轴的距离来设置候选框。因此，即使在被摄体正在对角移动的情况下，也可以根据关注点和表示被摄体在关注点附近的角速度的运动矢量来计算被摄体代表矢量。因此，通过驱动移位透镜或图像传感器以抵消本实施例中获得的被摄体代表矢量所表示的角速度、并且使从图像传感器读出图像的范围移位，可以实现用以辅助拍摄用户期望的摇摄图像的功能。
其它实施例
在上述实施例中，在进行基础图像或参考图像的拍摄时所使用的焦点检测区域的位置用作用于判断关注点的基础，但还可以使用其它基础。例如，还可以使用基础图像或参考图像中所检测到的面部区域的位置、或基础图像或参考图像中所识别出的人的面部区域的位置等。此外，可以使用用户通过操作单元110所指定的位置。此外，可以使用基于基础图像或参考图像的距离图或深度图的位置(例如最近距离处的位置)作为关注点。
此外，在上述实施例中，为了便于说明和理解，说明了始终启用摇摄辅助功能的情况。然而，还可以采用如下结构：仅在判断为正在平摇数字照相机100的情况下才启用摇摄辅助功能。在这种情况下，在没有判断为正在平摇数字照相机100的情况下，可以基于从背景矢量获得的数字照相机100的角速度来进行抖动校正。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考实施例说明了本发明，但是应该理解，本发明不限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种运动矢量检测设备，包括：
检测部件，用于针对基础图像的多个区域中的各区域，检测相对于参考图像的运动矢量；以及
运动矢量判断部件，用于在所述运动矢量中判断与移动被摄体相关的运动矢量，
其特征在于，所述运动矢量检测设备还包括：
候选矢量判断部件，用于基于作为图像内的位置的关注点和所述移动被摄体的移动方向，将与所述移动被摄体相关的运动矢量中的一个或多个运动矢量判断为候选矢量；以及
计算部件，用于基于所述候选矢量来计算所述移动被摄体的代表矢量。
2.根据权利要求1所述的运动矢量检测设备，其中，
所述候选矢量判断部件从与所述移动被摄体相关的运动矢量中，将在所述多个区域中的、相对于所述关注点的距离小于阈值的区域中所检测到的一个或多个运动矢量中的各个运动矢量判断为所述候选矢量。
3.根据权利要求1所述的运动矢量检测设备，其中，
所述候选矢量判断部件从与所述移动被摄体相关的运动矢量中，将在所述多个区域中的、相对于所述关注点的距离小于阈值的区域或者从该区域起的与所述移动被摄体的移动方向正交的方向上存在的区域中所检测到的一个或多个运动矢量中的各个运动矢量判断为所述候选矢量。
4.根据权利要求1所述的运动矢量检测设备，其中，
所述候选矢量判断部件从与所述移动被摄体相关的运动矢量中，将在所述多个区域中的、与所述移动被摄体的移动方向正交并且穿过所述关注点的关注轴上存在的区域中所检测到的一个或多个运动矢量中的各个运动矢量判断为所述候选矢量。
5.根据权利要求4所述的运动矢量检测设备，其中，
所述候选矢量判断部件还从与所述移动被摄体相关的运动矢量中，将在所述多个区域中的、相对于所述关注轴的距离小于阈值的区域中所检测到的一个或多个运动矢量中的各个运动矢量判断为所述候选矢量。
6.根据权利要求1所述的运动矢量检测设备，其中，
所述候选矢量判断部件从与所述移动被摄体相关的运动矢量中，将在所述多个区域中的、存在于所述移动被摄体的移动方向前方的区域中所检测到的一个或多个运动矢量中的各个运动矢量判断为所述候选矢量。
7.根据权利要求1至6中任一项所述的运动矢量检测设备，其中，
所述关注点是以下内容中的任一内容：进行所述基础图像或所述参考图像的拍摄时所使用的焦点检测区域、所述基础图像或所述参考图像中所检测到的面部区域、所述基础图像或所述参考图像中所识别出的人的面部区域的位置、基于所述基础图像或所述参考图像的深度图的位置、以及用户指定的位置。
8.根据权利要求1至6中任一项所述的运动矢量检测设备，其中，
所述运动矢量判断部件使用所述检测部件所检测到的运动矢量的大小的频率分布来判断与所述移动被摄体相关的运动矢量。
9.根据权利要求8所述的运动矢量检测设备，其中，
所述运动矢量判断部件在所述频率分布的分布中，将范围比第一分布小的区间中的第二分布判断为与所述移动被摄体相关的运动矢量的分布。
10.一种摄像设备，其特征在于，包括：
根据权利要求1至6中任一项所述的运动矢量检测设备；
转换部件，用于将所述代表矢量转换成角速度；以及
校正部件，用于基于所述角速度来执行抖动校正。
11.根据权利要求10所述的摄像设备，其中，
所述校正部件通过使摄像光学系统中所包括的透镜和所述摄像设备中所包括的图像传感器中的至少一个根据所述角速度在与所述摄像光学系统的光轴的方向不同的方向上移动，来执行所述抖动校正。
12.根据权利要求10所述的摄像设备，其中，
所述校正部件通过使从所述摄像设备中所包括的图像传感器读出图像的区域根据所述角速度进行移动，来执行所述抖动校正。
13.一种运动矢量检测设备的控制方法，包括以下步骤：
针对基础图像的多个区域中的各区域，检测相对于参考图像的运动矢量；以及
在所述运动矢量中判断与移动被摄体相关的运动矢量，
其特征在于，所述控制方法还包括以下步骤：
基于作为图像内的位置的关注点和所述移动被摄体的移动方向，将与所述移动被摄体相关的运动矢量中的一个或多个运动矢量判断为候选矢量；以及
基于所述候选矢量来计算所述移动被摄体的代表矢量。
CN201611113577.9A 2015-12-03 2016-12-05 运动矢量检测设备及其控制方法和摄像设备 Active CN107040713B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015236994A JP6577852B2 (ja) 2015-12-03 2015-12-03 動きベクトル検出装置およびその制御方法
JP2015-236994 2015-12-03

Publications (2)

Publication Number Publication Date
CN107040713A true CN107040713A (zh) 2017-08-11
CN107040713B CN107040713B (zh) 2020-05-19

Family

ID=58799283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611113577.9A Active CN107040713B (zh) 2015-12-03 2016-12-05 运动矢量检测设备及其控制方法和摄像设备

Country Status (3)

Country Link
US (1) US10218996B2 (zh)
JP (1) JP6577852B2 (zh)
CN (1) CN107040713B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN106033615B (zh) * 2016-05-16 2017-09-15 北京旷视科技有限公司 目标对象运动方向检测方法和装置
JP6821358B2 (ja) * 2016-08-31 2021-01-27 キヤノン株式会社 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
CN106875422B (zh) * 2017-02-06 2022-02-25 腾讯科技（上海）有限公司 人脸跟踪方法和装置
US11104345B2 (en) 2018-04-18 2021-08-31 Rivian Ip Holdings, Llc Methods, systems, and media for determining characteristics of roads
JP7198043B2 (ja) * 2018-10-30 2022-12-28 キヤノン株式会社 画像処理装置、画像処理方法
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020054211A1 (en) * 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system
CN101193208A (zh) * 2006-11-30 2008-06-04 索尼株式会社 图像拍摄装置、图像处理装置、方法以及程序
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN101686330A (zh) * 2008-09-26 2010-03-31 佳能株式会社 图像处理设备、图像处理方法和摄像设备
US20110261225A1 (en) * 2010-04-23 2011-10-27 Niinami Norikatsu Image capturing apparatus, method of detecting tracking object, and computer program product
CN102685387A (zh) * 2011-03-14 2012-09-19 佳能株式会社 摄像设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317848A (ja) 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
JP2011040902A (ja) * 2009-08-07 2011-02-24 Toshiba Corp 撮像装置及び撮像装置用制御装置
ES2652337T3 (es) * 2010-02-09 2018-02-01 Nippon Telegraph And Telephone Corporation Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
JP2015012482A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP6351335B2 (ja) * 2014-03-31 2018-07-04 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020054211A1 (en) * 2000-11-06 2002-05-09 Edelson Steven D. Surveillance video camera enhancement system
CN101193208A (zh) * 2006-11-30 2008-06-04 索尼株式会社 图像拍摄装置、图像处理装置、方法以及程序
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
CN101686330A (zh) * 2008-09-26 2010-03-31 佳能株式会社 图像处理设备、图像处理方法和摄像设备
US20110261225A1 (en) * 2010-04-23 2011-10-27 Niinami Norikatsu Image capturing apparatus, method of detecting tracking object, and computer program product
CN102685387A (zh) * 2011-03-14 2012-09-19 佳能株式会社 摄像设备

Also Published As

Publication number Publication date
US10218996B2 (en) 2019-02-26
JP6577852B2 (ja) 2019-09-18
CN107040713B (zh) 2020-05-19
JP2017103688A (ja) 2017-06-08
US20170163997A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN107040713A (zh) 运动矢量检测设备及其控制方法和摄像设备
CN104052919B (zh) 摄像装置、摄像系统及信号处理装置
CN109194877B (zh) 图像补偿方法和装置、计算机可读存储介质和电子设备
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US20120147150A1 (en) Electronic equipment
CN105378534B (zh) 摄像装置、摄像装置的工作方法
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
CN103067656B (zh) 摄像装置以及摄像方法
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
CN105474064B (zh) 摄像装置及对焦控制方法
JP2007074143A (ja) 撮像装置及び撮像システム
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
CN105979135A (zh) 图像处理设备和图像处理方法
CN104641275B (zh) 成像控制装置、成像设备和成像控制装置执行的控制方法
JP2017138379A (ja) 像振れ補正装置およびその制御方法、撮像装置、プログラム、記憶媒体
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
CN112102141B (zh) 水印的检测方法、装置、存储介质以及电子设备
CN106170061B (zh) 摇摄指标显示设备和处理方法
KR20210136092A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
WO2012014946A1 (ja) 画像処理装置、および画像処理プログラム
CN113610865A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN103988107A (zh) 成像设备、控制成像设备的方法和程序
JP2007151798A (ja) 開閉眼判定装置及び方法
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2018074362A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant