CN103733607B - 用于检测运动物体的装置和方法 - Google Patents

用于检测运动物体的装置和方法 Download PDF

Info

Publication number
CN103733607B
CN103733607B CN201280039032.1A CN201280039032A CN103733607B CN 103733607 B CN103733607 B CN 103733607B CN 201280039032 A CN201280039032 A CN 201280039032A CN 103733607 B CN103733607 B CN 103733607B
Authority
CN
China
Prior art keywords
moving object
motion vector
image
assembly
object segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280039032.1A
Other languages
English (en)
Other versions
CN103733607A (zh
Inventor
远藤恒史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103733607A publication Critical patent/CN103733607A/zh
Application granted granted Critical
Publication of CN103733607B publication Critical patent/CN103733607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

在即时取景图像或视频拍摄期间获得具有不同捕获时间的图像对(S10)。从该图像对计算运动向量，并且执行基于运动向量的运动物体检测(步骤S12，S14)。而且，从该图像对产生差异图像，并且执行基于帧间差异的运动物体检测(步骤S16，S18)。组合两种类型的运动物体检测结果，以便检测运动物体(步骤S20)。结果，这使得能够检测到不能使用运动向量检测的快速运动物体同时保持缓慢运动物体检测的精度。

Description

用于检测运动物体的装置和方法
技术领域
本发明涉及运动物体检测设备和方法，并且具体地说涉及从连续拍摄的帧图像检测运动物体的技术。
背景技术
在现有技术中，提出了一种图像运动向量检测设备，该设备通过从在摄像机中获取的成像信号来检测相机振动向量并且检测图像运动向量来执行运动物体检测，该图像运动向量指示物体的运动并且能够与相机振动向量相区别(PTL1)。
而且，提出了一种运动物体监控设备，该设备从由电视相机拍摄的帧图像计算帧间差异，并且从帧间差异检测运动物体(PTL2)。特别是，该运动物体监控设备具有特征：检测和去除不要求监控的运动物体的图像，该不要求监控的运动物体诸如是在有限范围内执行周期运动的树枝的摆动；并且，根据屏幕位置等的大小等进一步确定剩余图像是否是诸如人或汽车的监控目标的运动物体。
{引用列表}
{专利文献}
{PTL1}日本专利申请特开No.6-217188
{PTL2}日本专利申请特开No.5-183901
发明内容
{技术问题}
然而，在PTL1中描述的发明中，因为基于运动向量来检测运动物体，所以存在下述问题：由于在快速运动物体的情况下的物体模糊导致不可能在图像中检测到运动物体，并且结果，不可能检测到运动向量(运动物体)。即，在物体的速度快的情况下，因为物体模糊出现，所以不可能提取到作为运动向量的起点和终点的特征点和对应点(不可能检测到运动向量)。而且，运动向量的计算成本高，并且难以平衡实时性能和精细性。
另一方面，在PTL2中描述的发明中，虽然通过帧间差异来检测运动物体并且因此能够在固定相机的情况下良好地检测到运动物体，但是存在下述问题：在未固定相机中，如果不一起使用位置调整处理，则不可能区分相机运动和运动物体运动，并且，检测精度低于通过运动向量对于运动物体的检测精度(检测的精细性)。
鉴于这样的情况而作出了本发明，并且目的是提供一种运动物体检测设备和方法，即使运动物体快也能够检测运动物体，同时保持缓慢运动物体的检测精度。
{对于问题的解决方案}
为了实现该目的，根据本发明的一个方面的运动物体检测设备包括：图像获取组件，用于获取连续拍摄的图像；运动向量计算组件，用于基于在由所述图像获取组件获取的图像中具有不同成像时间的两个图像来计算运动向量，运动向量示出物体的运动的水平和方向；第一运动物体检测组件，用于基于由运动向量计算组件计算的运动向量来检测运动物体的存在/不存在；差异图像产生组件，用于产生在由图像获取组件获取的图像中具有不同成像时间的两个图像之间的差异图像；第二运动物体检测组件，用于基于由差异图像产生组件产生的差异图像来检测运动物体的存在/不存在；以及，整合组件，用于整合第一运动物体检测组件的检测结果和第二运动物体检测组件的检测结果，并且在至少第一运动物体检测组件未检测到运动物体并且第二运动物体检测组件检测到运动物体的情况下确定检测到运动物体。
按照根据本发明的一个方面的运动物体检测设备，因为一起使用通过运动向量的运动物体检测和通过在帧之间的差异图像的运动物体检测并且通过整合这些检测结果而执行运动物体检测，所以能够检测到不能进行通过运动向量的运动物体检测的快速运动物体，同时保持缓慢运动物体的检测精度。
在根据本发明的另一个方面的运动物体检测设备中，当快速运动物体在两个图像中引起物体模糊时，运动向量计算组件不能计算相对于所述快速运动物体的运动向量，并且当运动向量计算组件不能计算运动向量时，第一运动物体检测组件确定运动物体不存在。
在根据本发明的另一个方面的运动物体检测设备中，优选的是：第一运动物体检测组件以第一时间间隔连续地检测所运动物体的存在/不存在；第二运动物体检测组件以比第一时间间隔短的第二时间间隔来连续地检测运动物体的存在/不存在；并且，整合组件整合第一运动物体检测组件的最新检测结果和第二运动物体检测组件的最新检测结果。
即，并行地执行第一运动物体检测组件的运动物体检测和第二运动物体检测组件的运动物体检测。此时，第一运动物体检测组件执行运动物体检测的第一时间间隔被设置得大于第二运动物体检测组件执行运动物体检测的第二时间间隔。这是因为通过运动向量计算组件的处理数据量大于通过差异图像产生组件的处理数据量，并且要求很多时间来计算运动向量。随后，整合组件整合第一运动物体检测组件的最新检测结果和第二运动物体检测组件的最新检测结果。虽然要求实时性能的物体是快速运动物体，但是能够通过缩短第二运动物体检测组件的运动物体检测的第二时间间隔来保证实时性能。
在根据本发明的另一个方面的运动物体检测设备中，优选的是：差异图像产生组件产生在通过缩小两个图像而获取的缩小图像之间的差异图像。通过这个组件，能够意图缩短产生差异图像的处理时间，并且增强对于快速运动物体的响应能力。
在根据本发明的另一个方面的运动物体检测设备中，运动向量计算组件包括：特征点提取组件，用于从具有不同成像时间的两个图像的一个图像中提取多个特征点；以及，对应点检测组件，用于检测与在两个图像的另一个图像上的、与所述一个图像的多个特征点对应的多个对应点，并且计算运动向量，该运动向量连接所述一个图像的多个特征点和与多个特征点对应的另一个图像的对应点。通过这种组件，能够精确地检测运动物体(运动物体的区域和运动向量)。
在根据本发明的另一个方面的运动物体检测设备中，当通过第一运动物体检测组件检测到运动物体并且通过第二运动物体检测组件未检测到运动物体时，整合组件确定检测到运动物体。这是因为，虽然存在不可能在所述第二运动物体检测组件中通过帧间差异图像来检测到缓慢运动物体的情况，但是第一运动物体检测组件能够精确地检测到缓慢运动物体。
根据本发明的另一个方面的运动物体检测设备可以包括AF控制单元，该AF控制单元被配置为当整合组件确定检测到运动物体时跟踪该运动物体，并且执行图像获取组件的焦点调节操作。
根据本发明的另一个方面的运动物体检测设备可以包括跟踪单元，该跟踪单元被配置为当整合组件确定检测到运动物体时平移和/或倾斜运动物体检测设备，并且跟踪运动物体。
根据本发明的另一个方面的运动物体检测设备可以包括成像场景识别单元，该成像场景识别单元被配置为当整合组件确定检测到运动物体时基于运动物体来识别成像场景。
根据本发明的另一个方面的运动物体检测设备包括：图像获取组件，用于获取连续拍摄的图像；差异图像产生组件，用于产生在由图像获取组件获取的图像中具有不同成像时间的两个图像之间的差异图像；运动物体候选区域提取组件，用于基于由差异图像产生组件产生的差异图像来提取运动物体候选区域；运动向量计算组件，用于基于在由图像获取组件获取的图像中具有不同成像时间的两个图像来计算运动向量，运动向量示出物体的运动的水平和方向；平移确定组件，用于确定具有不同成像时间的两个图像是否是通过平移获取的；以及，运动物体区域确定组件，用于基于由运动向量计算组件计算的运动向量和平移确定组件的平移确定结果来确定由运动物体候选区域提取组件提取的运动物体候选区域是否是运动物体区域。
确定时间系列图像是在平移时获取的还是时间系列图像是在非平移时获取的。因此，在非平移时提取运动物体候选区域的情况下，能够将运动物体候选区域确定为运动物体区域。在此，因为通过帧间差异图像来提取运动物体候选区域，所以能够甚至提取快速运动物体来作为运动物体候选区域，并且，在缓慢运动物体的情况下，能够通过计算运动向量来精确地检测运动物体。
在根据本发明的另一个方面的运动物体检测设备中，当通过平移确定组件确定平移时，运动物体区域确定组件：当运动向量不存在于运动物体候选区域中时确定运动物体候选区域是运动物体区域；当运动向量存在于运动物体候选区域中并且与外围运动向量的相关度低时，确定运动物体候选区域是运动物体区域；并且，当运动向量存在于运动物体候选区域中并且与外围运动向量的相关度高时，不确定运动物体候选区域是运动物体区域。
在其中在平移时获取到时间系列图像的情况下，因为通过帧间差异图像提取的运动物体候选区域包括仅源自平移的运动物体候选区域和组合了平移和运动物体的运动的运动物体候选区域，所以需要区分它们两者。而且，在区分特定运动物体候选区域时，在运动物体区域候选者中没有运动向量的情况下(在不计算运动向量的情况下)，认为由于快速运动物体而不能计算运动向量，并且将运动物体区域候选者区别为运动物体区域。而且，在运动向量存在于运动物体候选区域中并且与外围运动向量的相关度低的情况下，将运动物体候选区域确定为运动物体区域。另一方面，在运动向量存在于运动物体候选区域中并且与外围运动向量的相关度高的情况下，认为通过平移提取运动物体候选区域作为运动物体候选区域，并且不将其确定为运动物体区域。通过这种组件，能够甚至在平移时也指定运动物体区域。
在根据本发明的另一个方面的运动物体检测设备中，当平移确定组件确定未提供平移时，运动物体区域确定组件确定运动物体候选区域是运动物体区域。
在根据本发明的另一个方面的运动物体检测设备中，优选的是，平移确定组件基于由运动物体候选区域计算的运动向量来执行平移确定。这是因为不必独立地使用传感器等来检测平移。
在根据本发明的另一个方面的运动物体检测设备中，平移确定组件能够当具有通过运动向量计算组件计算并且等于或小于特定水平的运动向量长度的运动向量的比例或数目小于预先设置的比例或数目时确定提供了平移，并且当比例或数目大于预先设置的比例或数目时确定未提供平移。在非平移时，因为在除了运动物体之外的其他部分中的运动向量的长度等于或小于特定水平，所以能够根据具有等于或小于特定水平的运动向量长度的运动物体的比例或数目来确定非平移或平移。
根据本发明的另一个方面的运动物体检测设备可以包括AF控制单元，该AF控制单元被配置为当运动物体区域确定组件确定运动物体候选区域是运动物体区域时，跟踪运动物体区域并且执行图像获取组件的焦点调节操作。
根据本发明的另一个方面的运动物体检测设备可以包括跟踪单元，该跟踪单元被配置为当运动物体区域确定组件确定运动物体候选区域是运动物体区域时，平移和/或倾斜运动物体检测设备并且跟踪运动物体。
根据本发明的另一个方面的运动物体检测设备可以包括成像场景识别单元，该成像场景识别单元被配置为当运动物体区域确定组件确定运动物体候选区域是运动物体区域时基于运动物体区域来识别成像场景。
根据本发明的另一个方面的运动物体检测方法使得运动物体检测设备执行：图像获取步骤，用于获取连续拍摄的图像；运动向量计算步骤，用于基于在所获取的图像中具有不同成像时间的两个图像来计算运动向量，运动向量示出物体运动的水平和方向；第一运动物体检测步骤，用于基于所计算的运动向量来检测运动物体的存在/不存在；差异图像产生步骤，用于产生在所获取的图像中具有不同成像时间的两个图像之间的差异图像；第二运动物体检测步骤，用于基于所产生的差异图像来检测运动物体的存在/不存在；以及，整合步骤，用于整合第一运动物体检测步骤的检测结果和第二运动物体检测步骤的检测结果，并且在至少第一运动物体检测步骤未检测到运动物体并且第二运动物体检测步骤检测到运动物体的情况下确定检测到运动物体。
在根据本发明的另一个方面的运动物体检测方法中，当快速运动物体在两个图像中引起物体模糊时，运动向量计算步骤不能计算相对于快速运动物体的运动向量，并且当运动向量计算步骤不能计算运动向量时，第一运动物体检测步骤确定运动物体不存在。
在根据本发明的另一个方面的运动物体检测方法中，优选的是：第一运动物体检测步骤以第一时间间隔连续地检测运动物体的存在/不存在；与第一运动物体检测步骤的运动物体检测并行地，第二运动物体检测步骤以比第一时间间隔短的第二时间间隔来连续地检测运动物体的存在/不存在；并且，整合步骤整合第一运动物体检测步骤的最新检测结果和第二运动物体检测步骤的最新检测结果。
在根据本发明的另一个方面的运动物体检测设备中，优选的是，差异图像产生步骤缩小两个图像，并且产生在缩小的缩小图像之间的差异图像。
在根据本发明的另一个方面的运动物体检测方法中，运动向量计算步骤从具有不同成像时间两个图像的一个图像中提取多个特征点，检测与在两个图像的另一个图像上的、与所述一个图像的多个特征点对应的多个对应点，并且计算运动向量，该运动向量连接所述一个图像的多个特征点和与多个特征点对应的另一个图像的对应点。
在根据本发明的另一个方面的运动物体检测方法中，当由第一运动物体检测步骤检测到运动物体并且未由第二运动物体检测步骤检测到运动物体时，整合步骤确定检测到运动物体。
根据本发明的另一个方面的运动物体检测方法可以执行AF控制步骤，用于在整合步骤确定检测到运动物体时，跟踪该运动物体并且执行图像获取步骤的焦点调节操作。
根据本发明的另一个方面的运动物体检测方法可以执行跟踪步骤，用于在整合步骤确定检测到运动物体时，平移和/或倾斜运动物体检测设备，并且跟踪运动物体。
根据本发明的另一个方面的运动物体检测方法可以执行成像场景识别步骤，用于在整合步骤确定检测到运动物体时，基于运动物体来识别成像场景。
根据本发明的另一个方面的运动物体检测方法使得运动物体检测设备执行：图像获取步骤，用于获取连续拍摄的图像；差异图像产生步骤，用于产生在所获取的图像中具有不同成像时间的两个图像之间的差异图像；运动物体候选区域提取步骤，用于基于所产生的差异图像来提取运动物体候选区域；运动向量计算步骤，用于基于在所获取的图像中具有不同成像时间的两个图像来计算运动向量，运动向量示出物体运动的水平和方向；平移确定步骤，用于确定具有不同成像时间的两个图像是否是通过平移获取的；以及，运动物体区域确定步骤，用于基于由运动向量计算步骤计算的运动向量和平移确定步骤的平移确定结果来确定由运动物体候选区域提取步骤提取的运动物体候选区域是否是运动物体区域。
在根据本发明的另一个方面的运动物体检测方法中，当通过平移确定步骤确定平移时，运动物体区域确定步骤：当运动向量不存在于运动物体候选区域中时确定运动物体候选区域是运动物体区域；当运动向量存在于运动物体候选区域中并且与外围运动向量的相关度低时，确定运动物体候选区域是运动物体区域；并且，当运动向量存在于运动物体候选区域中并且与外围运动向量的相关度高时，不确定运动物体候选区域是运动物体区域。
在根据本发明的另一个方面的运动物体检测方法中，当平移确定步骤确定未提供平移时，运动物体区域确定步骤确定运动物体候选区域是运动物体区域。
在根据本发明的另一个方面的运动物体检测方法中，优选的是，平移确定步骤基于由运动物体候选区域计算的运动向量来执行平移确定。
在根据本发明的另一个方面的运动物体检测方法中，平移确定步骤当具有通过运动向量计算步骤计算并且等于或小于特定水平的运动向量长度的运动向量的比例或数目小于预先设置的比例或数目时确定提供了平移，并且当比例或数目大于预先设置的比例或数目时确定未提供平移。
根据本发明的另一个方面的运动物体检测方法可以执行AF控制步骤，用于在运动物体区域确定步骤确定运动物体候选区域是述运动物体区域时，跟踪运动物体区域，并且执行图像获取步骤的焦点调节操作。
根据本发明的另一个方面的运动物体检测方法可以执行跟踪步骤，用于在运动物体区域确定步骤确定运动物体候选区域是运动物体区域时，平移和/或倾斜运动物体检测设备并且跟踪运动物体。
根据本发明的另一个方面的运动物体检测方法可以执行成像场景识别步骤，用于在运动物体区域确定步骤确定运动物体候选区域是运动物体区域时，基于运动物体区域来识别成像场景。
{本发明的有益效果}
根据本发明，因为一起使用通过运动向量的运动物体检测和通过在帧之间的差异图像的运动物体检测并且通过整合这些检测结果来执行运动物体检测，所以能够检测不能进行通过运动向量的运动物体检测的快速运动物体，同时保持缓慢运动物体的检测精度。
附图说明
图1是示出根据本发明的运动物体检测设备被应用到的成像设备的实施例的框图。
图2是示出运动物体检测单元的内部配置的框图。
图3是图示在不同的成像时间的两个图像和在这些图像之间的运动向量的视图。
图4是图示在不同的成像时间的两个图像和在这些图像之间的差异图像的视图。
图5是图示根据本发明的运动物体检测方法的第一实施例的流程图。
图6图示了用于示出整合通过运动向量的检测结果和通过帧间差异的检测结果的检测结果的表格。
图7是示出根据本发明的运动物体检测方法的第二实施例的流程图。
图8是示出根据本发明的运动物体检测方法的第三实施例的流程图。
图9是图示在不同成像时间的两个图像和在这些图像之间的差异图像和运动向量的视图。
图10是用于描述平移确定方法的一个示例的运动向量的直方图。
具体实施方式
下面，根据附图描述根据本发明的运动物体检测设备和方法的实施例。
[成像设备]
图1是示出根据本发明的运动物体检测设备被应用到的成像设备的实施例的框图。
该成像设备10表示能够拍摄和记录静止图像或运动图像的数字相机及其等同物(诸如相机电话、智能电话和相机PC)，并且通过中央处理单元(CPU)40来整体控制整个设备的操作。
成像设备10包括操作单元38，诸如快门按钮、模式转盘、回放按钮、菜单/OK键、十字键和返回键。来自这个操作单元38的信号被输入到CPU40中，并且CPU40基于输入信号来控制成像设备10的每一个电路，并且例如执行镜头驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据的记录/回放控制和根据本发明的运动物体检测控制或液晶监控器30的显示控制等。
快门按钮表示用于输入成像开始的指令的操作按钮，并且具有两步行程类型开关的配置，该两步行程类型开关包括当被半按时接通的S1开关和当被全按时接通的S2开关。模式转盘表示选择组件，用于选择自动成像模式、手动成像模式、人物场景位置、场景或夜景和微距模式或动画模式等。
回放按钮表示用于切换到回放模式的按钮，该回放模式在液晶监控器30上显示拍摄和记录的静止图像或运动图像。菜单/OK键表示操作键，该操作键具有下述功能：作为菜单按钮的功能，用于给出在液晶监控器30的屏幕上显示菜单的指令；作为OK按钮的功能，用于指令选择内容的决定和执行。十字键表示输入上、下、右和左四个方向的指令的操作单元，并且用作指令从每一个菜单选择各种设置项目的按钮(光标运动操作组件)。在此，十字键的上/下键在成像时用作变焦开关或在回放模式时用作回放变焦开关，并且右/左键在回放模式时用作帧前进(前向/反向前进)按钮。当去除诸如选择项目的期望目标、取消指令内容或返回到前一个操作状态时，使用返回键。
在成像模式时，通过成像镜头12和光圈14在成像装置16(CMOS图像传感器或CCD图像传感器)的光接收表面上形成示出物体的图像光。成像镜头12被由CPU40控制的镜头驱动单元36驱动，并且执行对焦控制或变焦控制等。例如，光圈14以5个光圈叶片形成，被由CPU40控制的光圈驱动单元34驱动，并且例如从光圈值F1.4至光圈值F11以1AV的间隔的七级进行光圈控制。
而且，CPU40利用光圈驱动单元34来控制光圈14，并且通过装置控制单元32来执行在成像装置16中的电荷累积时间(快门速度)或来自成像装置16的图像信号的读取控制。
基于从装置控制单元32加上的读取信号，将在成像装置16中累积的信号电荷读出为与信号电荷对应的电压信号。从成像装置16读出的电压信号被加到模拟信号处理单元18，并且，每一个像素的R、G和B信号被采样保持，被放大由CPU40指定的增益(对应于ISO感光度)，并且随后被加到A/D转换器20。A/D转换器20将依序输入的R、G和B信号转换为数字R、G和B信号，并且将它们输出到图像输入控制器22。
数字信号处理单元24对于通过图像输入控制器22输入的数字图像信号执行预定的信号处理，诸如偏移处理、白平衡校正、包括感光度校正的增益控制处理、伽马校正处理、同步处理、YC处理和锐度校正。
而且，在图1中，“46”表示ROM(EEPROM)，用于存储相机控制程序、成像装置16的缺陷信息与用于图像处理的各种参数和表格。
在数字信号处理单元24中处理的图像数据被输出到VRAM50。VRAM50包括区域A和区域B，用于存储示出一个帧的图像的图像数据。在VRAM50中的区域A和区域B中交错地重写示出一个帧的图像的图像数据。从VRAM50中的区域A和区域B中的、与其中重写图像数据的区域不同的区域读出写入的图像数据。从VRAM50读出的图像数据在视频编码器28中被编码，并且被输出到在相机背部提供的液晶监控器30，并且由此，在液晶监控器30的显示屏幕上显示物体图像(即时取景图像)。
而且，当在第一级按下操作单元38的快门按钮(半按)时，成像装置16开始自动对焦(AF)操作和AE(自动曝光)操作，并且执行控制使得利用镜头驱动单元36将在成像镜头12中的对焦镜头调整到对焦位置。而且，当半按快门按钮时，从A/D转换器20输出的图像数据被导入AE控制单元44中。
在AE控制单元44中，整合全屏的G信号，或者整合在屏幕的中央部分和外围部分中进行不同加权的G信号，并且整合值被输出到CPU40。CPU40根据从AE控制单元44输入的整合值计算物体的辉度(成像EV值)，并且基于该成像EV值，根据预定的程序图确定光圈14的光圈值和成像装置16的电子快门(快门速度)。
CPU40基于根据程序图判定的光圈值利用光圈驱动单元34来控制光圈14，并且基于所判定的快门速度利用装置控制单元32来控制在成像装置16中的电荷累积时间。
AF控制单元42表示执行对比度AF处理的部分，并且通过下述方式来计算用于指示对焦状态的AF评估值：在一个屏幕的图像数据的预定AF区域中提取图像数据的高频分量，并且整合这个高频分量。通过控制成像镜头12使得这个AF评估值变为局部最大值来执行AF控制。
当结束AE操作和AF操作并且在第二级按下快门按钮(全按)时，响应于该按下从A/D转换器20输出的图像数据被从图像输入控制器22输入在存储器(SDRAM)48中，并且暂时被存储。
在存储器48中暂时存储的图像数据被数字信号处理单元24任意地读出，并且进行预定的信号处理，包括同步处理(根据基色滤色器的阵列来插入彩色信号的空间间隙并且在同步系统中转换该彩色信号的处理)和YC处理(图像数据的亮度数据和色差数据的产生处理)，并且进行YC处理的图像数据(YC数据)被再一次存储在存储器48中。
利用媒体控制器52，在存储器48中存储的YC数据被输出到压缩/解压缩处理单元26，在此进行诸如JPEG(联合图像专家组)的预定压缩处理，并且随后被记录在存储器卡54中。
[运动物体检测]
运动物体检测单元45从以预定帧率连续拍摄的时间系列图像(运动图像)(动画)中检测运动物体(运动物体区域)，并且例如被应用到跟踪移动物体并且执行AF操作的自动跟踪AF。即，当用于示出由运动物体检测单元45检测的运动物体区域的信息被加到AF控制单元42时，AF控制单元42使用运动物体区域作为AF区域来执行AF处理。通过该组件，当聚焦于物体时，其后，能够自动跟踪物体，并且即使物体运动也保持聚焦于物体。能够在拍摄静止图像时不错过快门机会地拍摄图像，并且在拍摄运动图像时拍摄聚焦于运动物体的运动图像。
图2是示出运动物体检测单元45的内部配置示例的框图。如图中所示，运动物体检测单元45包括输入/输出单元450、运动向量计算单元452、差异图像产生单元454和运动物体检测处理单元456。
输入/输出单元450表示利用图像输入控制器22输入在存储器48中存储的图像数据并且输出运动物体检测结果等的部分。运动向量计算单元452通过输入/输出单元450以预定间隔来获取图像数据，并且基于具有不同成像时间的两个图像数据(图像对)来计算用于指示物体运动的水平和方向的运动向量。
在此，使用图3来描述运动向量的计算方法。
在图3中的部分(A)和部分(B)示出了具有不同成像时间的两个图像A和B的一个示例。图像A的成像时间早于图像B，并且这些图像A和B是在运动物体(汽车)仅在左方向上运动的情况下的图像。
在图3中，假定在两个图像A和B中具有较早成像时间的图像A是参考图像，并且提取在这个图像A上的特征点(在图3的部分(A)上以白圆圈示出的点)。特征点表示具有下述特征的点，即它们能够在图像A中被唯一地指定，并且它们能够将具有相同的特征的点(对应点)指定为另一个图像B。
随后，检测与从图像B提取的特征点对应的对应点(在图3的部分(B)上以黑色圆圈示出的点)。在此，例如，能够将哈里斯(Harris)的技术用作特征点的检测方法，并且能够使用例如KLT方法作为对应点的检测方法来执行特征点跟踪。
而且，如图3中的部分(C)中所示，基于在图像上的特征点和对应点的坐标值来计算连接特征点和对应点的运动向量(在图3中的部分(C)上的箭头)。
如上计算的运动向量和运动向量的起点和终点的坐标值被输出到运动物体检测处理单元456。
运动物体检测处理单元456基于运动向量和从运动向量计算单元452输入的运动向量的起点和终点的坐标值来提取其中运动向量相等的区域，并且将该区域检测为运动物体区域C(在图3的部分(C)上以虚线示出的区域“a”)。在此，在PTL1中描述的方法可以被用作使用运动向量的运动物体检测方法。
而且，差异图像产生单元454通过输入/输出单元450来以预定间隔获取图像数据，并且产生差异图像，该差异图像示出在具有不同成像时间的两个图像数据(图像对)之间的差。
在图4的部分(C)中图示了在图4的部分(A)和(B)中所示的两个图像A和B之间的差异图像。在此，在图4的部分(A)和(B)中所示的两个图像A和B与在图3的部分(A)和(B)中所示的两个图像A和B相同。
通过差异图像产生单元454产生的差异图像被输出到运动物体检测处理单元456。运动物体检测处理单元456检测其中从差异图像产生单元454输入的差异图像的差大的区域作为运动物体区域“a”(或运动物体候选区域)。在图4的部分(C)上，以对角线来示出其中差异图像的差大的区域(运动物体区域“a”)。
运动物体检测处理单元456基于如上所述由运动向量计算单元452计算的运动向量和由差异图像产生单元454产生的差异图像来检测相应的运动物体区域，整合这些检测结果，并且通过输入/输出单元450将其发送到AF控制单元42。
而且，运动物体检测处理单元456通过由运动向量计算单元452计算的运动向量来确定平移，并且基于确定结果来检测运动物体区域。在此，下面描述如上所述的两种运动物体检测的检测结果的整合方法和平移确定方法。
[第一实施例]
图5是示出根据本发明的运动物体检测方法的第一实施例的流程图。
首先，在图2中所示的运动物体检测单元45的输入/输出单元450在即时取景图像或运动图像的成像期间输入具有不同成像时间的两个图像(图像对：相邻帧是期望的)(步骤S10)。运动向量计算单元452基于在两个输入图像上的多个特征点和对应点的检测来计算每一个特征点的运动向量(步骤S12)。运动物体检测处理单元456基于所计算的运动向量来检测运动物体(运动物体区域)(步骤S14)。
同时，差异图像产生单元454从在步骤S10中输入的图像对来产生差异图像(步骤S16)，并且运动物体检测处理单元456通过所产生的在两个帧之间的差异图像来检测运动物体(运动物体区域)。
运动物体检测处理单元456整合在上述步骤S14和S18中检测的两种运动物体检测的检测结果，并且将整合结果输出到AF控制单元42(步骤S20)。
在即时取景图像或运动图像的成像操作期间重复地执行在上述步骤S10至S20中的处理。通过该组件，关于移动的运动物体，顺序地向AF控制单元42输出示出运动物体的区域的信息，并且AF控制单元42能够执行自动跟踪AF以跟踪移动的运动物体，并且通过使用从运动物体检测单元45输入的运动物体区域作为AF区域来执行AF操作。
接下来，描述在步骤S20中的两种运动物体检测的检测结果的整合处理。
如图6中的表格中所示，通过组合通过运动向量的检测结果和通过帧间差异的检测结果来判定整合的检测结果。一般，原样使用能够获取精确的结果的、通过运动向量的检测结果。在此，在通过运动向量的检测结果和通过帧间差异的检测结果示出“具有运动物体”的情况下，通过运动向量的检测结果是优先化的。这是因为通过运动向量的运动物体检测能够指定运动物体区域，并且比通过帧间差异的运动物体检测更精确地计算运动的量。
而且，在通过运动向量的检测结果示出“没有运动物体”并且通过帧间差异的检测示出“具有运动物体”的情况下，整合结果被设置为“具有运动物体”。这是因为，在通过运动向量的运动物体检测和快速运动物体的情况下，因为由于物体模糊而不能提取特征点，所以不能执行运动物体检测，并且有可能被检测为“没有运动物体”，而能够在通过帧间差异的运动物体检测的情况下检测快速运动物体。
另一方面，在通过运动向量的检测结果示出“具有运动物体”并且通过帧间差异的检测结果示出“没有运动物体”的情况下，将整合检测结果设置为“具有运动物体”。这是因为，在缓慢运动物体的情况下，能够在通过运动向量的运动物体检测中执行精确的检测，而在通过帧间差异的物体检测中的检测精度低，并且有可能检测为“没有运动物体”。
根据如上所述的第一实施例，存在优点：即使在快速运动物体的情况下也能够检测运动物体，同时保持缓慢运动物体的检测精度。
而且，在通过一些方法提取的多个运动物体候选区域的每一个中确定运动/非运动物体的情况下或在确定是否在整个屏幕中存在运动物体的情况下能够使用第一实施例。
[第二实施例]
图7是示出根据本发明的运动物体检测方法的第二实施例的流程图。在此，向与在图5中所示的第一实施例共同的部分附加相同的步骤编号，并且省略它们的详细说明。
与第一实施例作比较，在图7中所示的第二实施例具有主要特征：并行处理通过运动向量的运动物体检测和通过帧间差异的运动向量检测，并且两种运动物体检测的处理时间不同，并且通过运动向量的一个运动物体检测的时间大于通过帧间差异的一个运动物体检测的时间。
通常，运动向量计算具有高的计算成本，并且难以平衡检测的实时性能和精细性。例如，虽然能够通过增大在屏幕中的特征点的数目(密度)或提高输入图像的分辨率来更精确地执行运动物体检测，但是处理数据量的增加直接导致计算时间，并且与实时性能存在权衡。在将运动物体成像的情况下，实时性能重要，并且如果检测响应延迟，则有可能不能在视角中捕获到运动物体。
虽然第二实施例提供了与第一实施例基本上相同的处理，但是时间上并行处理通过运动向量的运动物体检测和通过帧间差异的运动物体检测，并且在短时间段中执行通过帧间差异的运动物体检测，以保证实时性能。
即，在图7中，虽然在两个步骤S10’和S10”中将图像对用于运动物体检测，但是在步骤S10”中的图像对的输入时间段短于在步骤S10’中的图像对的输入时间段。
因此，暂时存储基于在步骤S10’中输入的图像对检测的通过运动向量的运动物体检测结果(步骤S15)。
另一方面，在步骤S10”中输入的图像对被调整大小为缩小图像，以更多地缩短处理时间(步骤S11)，并且其后，产生差异图像(步骤S16)。
因为位置精度在通过帧间差异的运动物体检测中原本较低，所以即使使用缩小图像，检测精度也不大幅度改变。同时，对于由通过运动向量的运动物体检测作为目标的缓慢运动物体，因为即使存在一定程度的检测间隔也能够被支持，所以不降低检测精度地实现计算。
在步骤S20’中，在步骤S15中存储的通过运动向量的运动物体检测结果和在步骤S18中通过帧间差异的运动物体检测结果被整合。在整合时，使用两种最新的检测结果。在此，不必必须在通过帧间差异的运动物体检测的处理流中提供整合处理。
根据如上所述的第二实施例，能够增强快速运动物体的检测响应，同时保持缓慢运动物体的计算精度。
[第三实施例]
图8是示出根据本发明的运动物体检测方法的第三实施例的流程图。
首先，在即时取景或运动图像的成像期间输入具有不同成像时间的两个图像(步骤S30)。差异图像产生单元454从在步骤S30输入的图像对产生差异图像(步骤S32)，并且运动物体检测处理单元456通过所产生的在帧之间的差异图像来提取运动物体候选区域(步骤S34)。
在此，它被设置为运动物体候选区域，因为虽然在固定相机的情况下差异区域大体等于运动物体区域，但是由于在非固定相机的情况下存在甚至通过相机运动导致的差异，所以有可能差异区域与运动物体区域不同，并且在平移的情况下，即使不存在运动物体也引起差异区域。
图9的部分(A)和(B)图示了在不同成像时间的两个图像A和B的一个示例。在此，图像A的成像时间比图像B更早，并且这些图像A和B是在成像设备10在右方向上执行平移并且运动物体(汽车)在右方向上运动的情况下的图像。
图9的部分(C)图示了在图9的部分(A)和(B)中示出的两个图像A和B之间的差异图像。基于在图像A和B之间的这个差异图像，提取在图9的部分(C)中所示的运动物体候选区域a1、a2、a3、a4和a5。即，在差异图像中具有大的差异的区域中，通过区域的轮廓或在轮廓中的颜色或辉度来对于每个相关区域提取运动物体候选区域a1、a2、a3、a4和a5。而且，可以根据在下一个步骤S36中计算的运动向量的存在、水平和方向来区分多个运动物体候选区域a1、a2、a3、a4和a5。
接下来，运动向量计算单元452基于在两个输入图像上的多个特征点和对应点的检测来计算每一个特征点的运动向量(步骤S36)。图9的部分(D)图示了运动物体候选区域a1、a2、a3、a4和a5的运动向量。
随后，确定图像对是否是在平移期间获取的(平移确定)(步骤S38)。
通过用于通过帧间差异的差异图像的图像的低分辨率，虽然能够通过相机振动等的帧间差异的差异图像来吸收如相机振动的图像运动，但是这不适用于象平移/倾斜那样大幅度移动相机的情况。因此，通过运动向量来执行平移确定。
虽然对于平移确定考虑各种方法，基于在第三实施例中在步骤S36中检测的运动向量来执行平移确定。
更具体地，基于在步骤S36中检测的运动向量来建立与运动向量的长度对应的运动向量直方图。
图10的部分(A)和(B)图示了在未提供平移的情况下的运动向量直方图和在提供平移的情况下的运动向量直方图的一个示例。
在未提供平移的情况下，具有0或接近0的运动向量长度的运动向量的频率增大，而在提供平移的情况下，具有与平移对应的运动向量长度的运动向量的频率增大。因此，特定长度L被设置为平移确定的参考，在小于这个长度L的运动向量的比例或数目大于预先设置的比例或数目的情况下(在图10的部分(A)中图示的直方图的情况下)确定未提供平移，并且在它小于预先设置的比例或数目的情况下(在图10的部分(A)中所示的直方图的情况下)确定提供平移。
在上述步骤S38中的平移确定中确定未提供平移的情况下(在“否”的情况下)，因为差异区域大体等于运动物体区域，所以将所有的运动物体候选区域判定为运动物体区域(步骤S40)。在此，在判定这个运动物体区域时，优选的是，以与第一实施例相同的方式来整合两个运动物体检测结果。
另一方面，在上述步骤S38中的平移确定中确定提供了平移的情况下(在“是”的情况下)，对于每一个运动物体候选区域确定是否它是运动物体或它是非运动物体。首先，从在步骤S34中提取的运动物体区域中选择一个运动物体候选区域(步骤S42)，并且确定是否在所选择的运动物体候选区域中存在运动向量(步骤S44)。
在没有运动向量的情况下(在“否”的情况下)，因为很可能由于快速运动物体导致不可能提取特征点，所以将运动物体候选区域判定为运动物体区域(步骤S46)。
另一方面，在存在运动向量的情况下(在“是”的情况下)，检查与在外围运动物体候选区域中的运动向量的相关度(步骤S48)。在相关度低的情况下(在“否”的情况下)，将运动物体候选区域判定为运动物体区域(步骤S46)，并且在相关度高的情况下(在“是”的情况下)，判定通过相机的运动(平移)而产生运动向量，并且不将运动物体候选区域设置为运动物体区域(步骤S50)。
例如，在图9的部分(D)中所示的示例中，与汽车(运动物体)对应的运动物体候选区域a5的运动向量与外围运动物体候选区域a1、a2、a3和a4的运动向量具有低相关度，并且因此，它被确定为运动物体候选区域。另一方面，因为在与背景对应的运动物体候选区域a1、a2、a3和a4之间存在高的相关度，所以它们被确定为非运动物体区域。
接下来，确定是否结束了所有运动物体候选区域的确定处理(步骤S52)。在未结束的情况下，移到步骤S42，并且重复在步骤S42至S52中的处理，并且在结束的情况下，结束相对于在步骤S30中输入的图像对的运动物体检测。
根据第三实施例，即使在通过平移来产生运动向量并且因为物体模糊而不能检测到运动向量的情况下，也能够指定移动的运动物体的运动物体区域。
在此，根据本发明的运动物体检测设备不仅被应用到通过相机的自动跟踪AF，而且被应用到使得相机主体执行平移/倾斜操作并且跟踪运动物体的机构、检测运动物体的监控相机，和成像场景(物体)的识别等，并且使用应用不限于本实施例。
而且，不必说，本发明不限于如上所述的实施例，并且在不偏离本发明的精神的情况下，各种改变是可能的。
{附图标记列表}
10   成像设备
12   成像镜头
16   成像装置
24   数字信号处理单元
40   中央处理单元(CPU)
42   AF控制单元
44   AE控制单元
45   运动物体检测单元
46   ROM
48   存储器
450  输入/输出单元
452  运动向量计算单元
454  差异图像产生单元
456  运动物体检测处理单元

Claims (16)

1.一种运动物体检测设备，包括：
图像获取组件，所述图像获取组件用于获取连续拍摄的图像；
运动向量计算组件，所述运动向量计算组件用于基于在由所述图像获取组件获取的所述图像中具有不同成像时间的两个图像来计算运动向量，所述运动向量示出物体运动的大小和方向；
第一运动物体检测组件，所述第一运动物体检测组件用于基于由所述运动向量计算组件计算的所述运动向量，来检测运动物体的存在/不存在；
差异图像产生组件，所述差异图像产生组件用于产生在由所述图像获取组件获取的所述图像中具有不同成像时间的所述两个图像之间的差异图像；
第二运动物体检测组件，所述第二运动物体检测组件用于基于由所述差异图像产生组件产生的所述差异图像，来检测所述运动物体的存在/不存在；以及，
整合组件，所述整合组件用于整合所述第一运动物体检测组件的检测结果和所述第二运动物体检测组件的检测结果，以及，在由至少所述第一运动物体检测组件未检测到所述运动物体并且由所述第二运动物体检测组件检测到所述运动物体的情况下，确定检测到所述运动物体，
其中，当由所述第一运动物体检测组件检测到所述运动物体并且由所述第二运动物体检测组件未检测到所述运动物体时，所述整合组件确定检测到所述运动物体。
2.根据权利要求1所述的运动物体检测设备，其中：
当由于快速运动物体而在所述两个图像中引起物体模糊时，所述运动向量计算组件不能计算相对于所述快速运动物体的运动向量；以及
当所述运动向量计算组件不能计算所述运动向量时，所述第一运动物体检测组件确定所述运动物体不存在。
3.根据权利要求1所述的运动物体检测设备，其中：
所述第一运动物体检测组件以第一时间间隔连续地检测所述运动物体的存在/不存在；
所述第二运动物体检测组件以比所述第一时间间隔短的第二时间间隔来连续地检测所述运动物体的存在/不存在；以及，
所述整合组件整合所述第一运动物体检测组件的最新检测结果和所述第二运动物体检测组件的最新检测结果。
4.根据权利要求1所述的运动物体检测设备，其中，所述差异图像产生组件产生在通过缩小所述两个图像而获取的缩小图像之间的差异图像。
5.根据权利要求1所述的运动物体检测设备，其中，所述运动向量计算组件包括特征点提取组件和对应点检测组件，所述特征点提取组件用于从具有不同成像时间的所述两个图像的一个图像中提取多个特征点，所述对应点检测组件用于检测在所述两个图像的另一个图像上与所述一个图像的所述多个特征点对应的多个对应点，以及所述运动向量计算组件计算运动向量，所述运动向量连接所述一个图像的所述多个特征点和与所述多个特征点对应的所述另一个图像的所述对应点。
6.根据权利要求1至5的任何一项所述的运动物体检测设备，进一步包括AF控制单元，所述AF控制单元被配置为：当所述整合组件确定检测到所述运动物体时，跟踪所述运动物体并且执行所述图像获取组件的焦点调节操作。
7.根据权利要求1至5的任何一项所述的运动物体检测设备，进一步包括跟踪单元，所述跟踪单元被配置为：当所述整合组件确定检测到所述运动物体时，平移和/或倾斜所述运动物体检测设备并且跟踪所述运动物体。
8.根据权利要求1至5的任何一项所述的运动物体检测设备，进一步包括成像场景识别单元，所述成像场景识别单元被配置为：当所述整合组件确定检测到所述运动物体时，基于所述运动物体来识别成像场景。
9.一种运动物体检测方法，所述运动物体检测方法使得运动物体检测设备执行：
图像获取步骤，用于获取连续拍摄的图像；
运动向量计算步骤，用于基于在所获取的图像中具有不同成像时间的两个图像来计算运动向量，所述运动向量示出物体运动的水平和方向；
第一运动物体检测步骤，用于基于所计算的运动向量来检测运动物体的存在/不存在；
差异图像产生步骤，用于产生在所获取的图像中具有不同成像时间的所述两个图像之间的差异图像；
第二运动物体检测步骤，用于基于所产生的差异图像来检测所述运动物体的存在/不存在；以及，
整合步骤，用于整合所述第一运动物体检测步骤的检测结果和所述第二运动物体检测步骤的检测结果，以及，在由至少所述第一运动物体检测步骤未检测到所述运动物体并且由所述第二运动物体检测步骤检测到所述运动物体的情况下，确定检测到所述运动物体，
其中，当由所述第一运动物体检测步骤检测到所述运动物体并且由所述第二运动物体检测步骤未检测到所述运动物体时，所述整合步骤确定检测到所述运动物体。
10.根据权利要求9所述的运动物体检测方法，其中：
当由于快速运动物体而在所述两个图像中引起物体模糊时，所述运动向量计算步骤不能计算相对于所述快速运动物体的运动向量；以及
当所述运动向量计算步骤不能计算所述运动向量时，所述第一运动物体检测步骤确定所述运动物体不存在。
11.根据权利要求9所述的运动物体检测方法，其中：
所述第一运动物体检测步骤以第一时间间隔连续地检测所述运动物体的存在/不存在；
与所述第一运动物体检测步骤的运动物体检测并行地，所述第二运动物体检测步骤以比所述第一时间间隔短的第二时间间隔来连续地检测所述运动物体的存在/不存在；以及，
所述整合步骤整合所述第一运动物体检测步骤的最新检测结果和所述第二运动物体检测步骤的最新检测结果。
12.根据权利要求9所述的运动物体检测方法，其中，所述差异图像产生步骤缩小所述两个图像，并且产生在缩小的缩小图像之间的差异图像。
13.根据权利要求9所述的运动物体检测方法，其中，所述运动向量计算步骤从具有不同成像时间的所述两个图像的一个图像中提取多个特征点；检测在所述两个图像的另一个图像上的、与所述一个图像的所述多个特征点对应的多个对应点；以及，计算运动向量，所述运动向量连接所述一个图像的所述多个特征点和与所述多个特征点对应的所述另一个图像的所述对应点。
14.根据权利要求9至13的任何一项所述的运动物体检测方法，进一步执行AF控制步骤，用于当所述整合步骤确定检测到所述运动物体时，跟踪所述运动物体并且执行所述图像获取步骤的焦点调节操作。
15.根据权利要求9至13的任何一项所述的运动物体检测方法，进一步执行跟踪步骤，用于当所述整合步骤确定检测到所述运动物体时，平移和/或倾斜所述运动物体检测设备并且跟踪所述运动物体。
16.根据权利要求9至13的任何一项所述的运动物体检测方法，进一步执行成像场景识别步骤，用于当所述整合步骤确定检测到所述运动物体时，基于所述运动物体来识别成像场景。
CN201280039032.1A 2011-08-10 2012-07-10 用于检测运动物体的装置和方法 Active CN103733607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011175186 2011-08-10
JP2011-175186 2011-08-10
PCT/JP2012/067547 WO2013021767A1 (ja) 2011-08-10 2012-07-10 動体検出装置及び方法

Publications (2)

Publication Number Publication Date
CN103733607A CN103733607A (zh) 2014-04-16
CN103733607B true CN103733607B (zh) 2015-08-26

Family

ID=47668287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280039032.1A Active CN103733607B (zh) 2011-08-10 2012-07-10 用于检测运动物体的装置和方法

Country Status (4)

Country Link
US (1) US9542754B2 (zh)
JP (1) JP5507014B2 (zh)
CN (1) CN103733607B (zh)
WO (1) WO2013021767A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852341B2 (en) * 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
JP6188592B2 (ja) * 2014-01-21 2017-08-30 三菱電機株式会社 物体検出装置、物体検出方法、および物体検出プログラム
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
WO2016084611A1 (ja) * 2014-11-26 2016-06-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
DE112015005847T5 (de) * 2015-01-23 2017-09-14 Olympus Corporation Endoskopvorrichtung und Scharfeinstellungssteuerungsverfahren für Endoskopvorrichtung
WO2016151976A1 (ja) * 2015-03-26 2016-09-29 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
US9591237B2 (en) 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
CN106157328B (zh) * 2015-04-20 2019-05-03 欧姆龙株式会社 运动判定装置、运动判定方法
CN106324945A (zh) * 2015-06-30 2017-01-11 中兴通讯股份有限公司 非接触式自动对焦方法和装置
HK1203289A2 (zh) * 2015-07-07 2015-10-23 香港生產力促進局 號 種檢測運動物體的方法和裝置
US10482610B2 (en) * 2017-11-01 2019-11-19 Adobe Inc. Detection of partially motion-blurred video frames
JP7000940B2 (ja) * 2018-03-22 2022-01-19 株式会社Ｊｖｃケンウッド 形状測定装置、形状測定方法及びプログラム
JP6943333B2 (ja) * 2018-03-23 2021-09-29 日本電気株式会社 オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム
US20200342230A1 (en) * 2019-04-26 2020-10-29 Evaline Shin-Tin Tsai Event notification system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
CN110796041B (zh) * 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
JP7235137B2 (ja) * 2019-11-28 2023-03-08 日本電信電話株式会社 監視システム、監視方法、および監視プログラム
JP2021118484A (ja) * 2020-01-28 2021-08-10 株式会社チャオ ゲートウェイ装置、ゲートウェイプログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体、ならびにカメラ映像転送方法
US20230196584A1 (en) * 2021-12-20 2023-06-22 Industrial Technology Research Institute Object detection method and object detection system for video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092976A (ja) * 1999-09-24 2001-04-06 Mitsubishi Heavy Ind Ltd 移動体の検知方法
CN1466373A (zh) * 2001-10-29 2004-01-07 ���ǵ�����ʽ���� 利用视频压缩算法控制摄像机的设备和方法
CN101888535A (zh) * 2009-05-14 2010-11-17 索尼公司 运动对象检测装置、运动对象检测方法和计算机程序

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04219080A (ja) * 1990-10-18 1992-08-10 Olympus Optical Co Ltd ビデオカメラの露光制御装置
JP2667973B2 (ja) 1991-03-01 1997-10-27 警察大学校長 移動体監視装置
JPH04328689A (ja) * 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> 動画像からの移動物体抽出方法
JP3473064B2 (ja) 1992-11-20 2003-12-02 ソニー株式会社 画像動きベクトル検出装置及びビデオカメラ
US6034723A (en) 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
JPH0869597A (ja) * 1994-08-30 1996-03-12 Matsushita Electric Ind Co Ltd 動きベクトル検出手段を用いた監視装置
AU2001290608A1 (en) * 2000-08-31 2002-03-13 Rytec Corporation Sensor and imaging system
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP4330914B2 (ja) * 2003-04-09 2009-09-16 株式会社エヌ・ティ・ティ・データ 動物体検出装置および動物体検出方法
US20050041111A1 (en) * 2003-07-31 2005-02-24 Miki Matsuoka Frame adjustment device and image-taking device and printing device
US7769285B2 (en) * 2005-02-07 2010-08-03 Panasonic Corporation Imaging device
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
JP5112666B2 (ja) * 2006-09-11 2013-01-09 株式会社日立製作所 移動装置
JP4215266B2 (ja) * 2006-10-30 2009-01-28 パナソニック株式会社 画像生成装置および画像生成方法
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
JP5105945B2 (ja) * 2007-04-19 2012-12-26 キヤノン株式会社 雲台装置及びその制御方法
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
EP2215847A2 (en) * 2007-11-28 2010-08-11 Koninklijke Philips Electronics N.V. 3d visualization
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
CN102355590B (zh) * 2008-09-30 2014-11-12 松下电器产业株式会社 3d 影像的记录介质、再现装置、系统lsi、再现方法、眼镜、显示装置
JP5284048B2 (ja) * 2008-11-12 2013-09-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
JP5300585B2 (ja) * 2009-05-13 2013-09-25 キヤノン株式会社 情報処理装置、情報処理方法
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
US8520901B2 (en) * 2010-06-11 2013-08-27 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092976A (ja) * 1999-09-24 2001-04-06 Mitsubishi Heavy Ind Ltd 移動体の検知方法
CN1466373A (zh) * 2001-10-29 2004-01-07 ���ǵ�����ʽ���� 利用视频压缩算法控制摄像机的设备和方法
CN101888535A (zh) * 2009-05-14 2010-11-17 索尼公司 运动对象检测装置、运动对象检测方法和计算机程序

Also Published As

Publication number Publication date
CN103733607A (zh) 2014-04-16
US9542754B2 (en) 2017-01-10
US20140146182A1 (en) 2014-05-29
WO2013021767A1 (ja) 2013-02-14
JP5507014B2 (ja) 2014-05-28
JPWO2013021767A1 (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
CN103733607B (zh) 用于检测运动物体的装置和方法
US8477993B2 (en) Image taking apparatus and image taking method
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US7791668B2 (en) Digital camera
US8570422B2 (en) Apparatus, method, and recording medium containing program for photographing
US8831282B2 (en) Imaging device including a face detector
CN101931752B (zh) 摄像装置、以及对焦方法
CN102103754A (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN101605208A (zh) 图像处理设备、成像设备、图像处理方法及程序
KR101822661B1 (ko) 비전 인식 장치 및 방법
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
CN101854475B (zh) 摄像装置、图像处理方法及记录介质
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
US20180027172A1 (en) Focus adjusting apparatus, focus adjusting method, image capturing apparatus, and storage medium
US20080100721A1 (en) Method of detecting specific object region and digital camera
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN103945109A (zh) 摄像装置及其控制方法、远程控制装置及其控制方法
CN102265602A (zh) 图像拍摄装置
JP6491581B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
US9412008B2 (en) Tracking apparatus and tracking method
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
CN103988107A (zh) 成像设备、控制成像设备的方法和程序
US10070039B2 (en) Image processing device and image processing method
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP2001255451A (ja) 自動合焦装置、デジタルカメラ、および携帯情報入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant