CN106796657A - 用于多目标对象跟踪的自动目标选择 - Google Patents

用于多目标对象跟踪的自动目标选择 Download PDF

Info

Publication number
CN106796657A
CN106796657A CN201580056041.5A CN201580056041A CN106796657A CN 106796657 A CN106796657 A CN 106796657A CN 201580056041 A CN201580056041 A CN 201580056041A CN 106796657 A CN106796657 A CN 106796657A
Authority
CN
China
Prior art keywords
track
selection
frame
picture frames
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580056041.5A
Other languages
English (en)
Other versions
CN106796657B (zh
Inventor
T-H.金
M.朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106796657A publication Critical patent/CN106796657A/zh
Application granted granted Critical
Publication of CN106796657B publication Critical patent/CN106796657B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

讨论了与用于成像装置的从多个被跟踪对象的自动目标对象选择有关的技术。此类技术可包括生成诸如对于被跟踪对象的距帧中心的累积距离、累积速度和预测与实际轨迹的轨迹比较的一个或更多对象选择度量以及基于对象选择度量或多个对象选择度量来选择目标对象。

Description

用于多目标对象跟踪的自动目标选择
对优先权的要求
本申请是2014年11月14日提交的名称为“AUTOMATIC TARGET SELECTION FOR MULTI-TARGET OBJECT TRACKING”的美国专利申请(序号14/541631)的继续,该申请通过引用以其整体被包含。
背景技术
经摄像机或集成在诸如移动电话或平板或诸如此类等装置内的摄像机获得图像是非常普遍的。在一些情况下,成像装置可配有智能对象跟踪,从而可获得移动对象的高质量图像和视频。一些实现可允许跟踪单个对象,而其它实现可允许实时跟踪多个对象。在此类多对象跟踪实现中,由于诸如光学装置和/或图像处理单元的物理限制等各种限制,可在捕获期间为3A(例如,自动对焦、自动曝光和自动白平衡)调整选择单个对象。
从多个被跟踪对象中选择目标对象可由用户执行。例如,用户可从在被跟踪的几个对象中选择目标对象。经显示器可向用户显示包括被跟踪对象的场景,并且在一些情况下,可显示指示对象在被跟踪的指示符(例如,环绕被跟踪对象的框),并且可由用户选择指示符。用户可使用诸如也显示包括对象的场景和可选指示符的触摸屏等输入装置从对象中选择。如所讨论的,可为图像或视频捕获而跟踪选择的目标对象。
然而,从多个被跟踪对象中选择目标对象可对用户而言是困难的,特别是在对象正快速移动时。此外,诸如触摸接口等用户输入可使摄像机不稳固,这可不利地影响摄像机进行的对象跟踪和/或图像捕捉。
因此,现有技术未提供用于从多个被跟踪对象的目标对象的轻松和稳健选择。随着对在多种装置实现中轻松且快速地获得在审美上令人愉悦的图像的愿望变得更普遍,此类问题可变得关键。
附图说明
本文中所述的材料在附图中以示例的方式而非以限制的方式被示出。为确保示图的简明和清晰起见,图中所示元素不一定按比例画出。例如,为清晰起见,一些元素的尺寸相对其它元素可能显得过大。此外,在认为视当之处,引用标记已在图中被重复以指示对应或类似的元素。在附图中:
图1是用于成像装置的对于从多个被跟踪对象的自动对象选择的示例曝光设置的说明性图形;
图2示出示例成像装置;
图3是示例成像装置的说明性框图;
图4示出跨图像帧的示例对象移动;
图5示出由成像装置获得的示例图像帧;
图6是示出示例对象移动的示例图像帧重叠的图形;
图7示出用于提供从多个被跟踪对象的自动对象选择的示例过程;
图8是示出用于提供从多个被跟踪对象的自动对象选择的示例过程的流程图;
图9是用于提供从多个被跟踪对象的自动对象选择的示例系统的说明性图形;
图10是示例系统的说明性图形;以及
图11示出全部根据本公开的至少一些实现所布置的示例小形状因数(form factor)装置。
具体实施方式
现在参照附图描述一个或更多实施例或实现。虽然讨论了特定的配置和布置,但应理解的是,这只是为了说明的目的。相关领域技术人员将认识到,在不脱离描述的精神和范围的情况下,可采用其它配置和布置。相关领域技术人员将明白,本文中所述技术和/或布置也可在与本文中所述不同的多种其它系统和应用中采用。
虽然下面的描述陈述了可在诸如芯片上系统(SoC)体系结构等体系结构中显露的各种实现,但本文中所述技术和/或布置的实现不限于特定体系结构和/或计算系统,并且可由用于类似目的的任何体系结构和/或计算系统实现。例如,采用例如多个集成电路(IC)芯片和/或封装和/或诸如机顶盒、智能电话等各种计算装置和/或消费者电子(CE)装置的各种体系结构可实现本文中所述的技术和/或布置。此外,虽然以下描述可陈述诸如逻辑实现、系统组件的类型和相互关系、逻辑分割/集成选择等各种特定细节,但实践所述主题可无需此类特定细节。在其它情况下,诸如控制结构和完全软件指令序列等一些材料可未详细示出以免混合本文中公开的材料。
本文中公开的材料可以在硬件、固件、软件或其任何组合中被实现。本文中公开的材料也可被实现为存储在机器可读媒体上,可由一个或多个处理器读取和执行的指令。机器可读媒体可包括用于以机器(例如,计算装置)可读形式存储或传送信息的任何媒体和/或机制。例如,机器可读媒体可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光存储媒体、闪存装置、电气、光、声或其它形式传播信号(例如,载波、红外信号、数字信号等)及其它。
说明书中对“一个实现”、“一实现”、“一示例实现”等的引用指所述实现可包括特定特征、结构或特性,但每个实施例可不一定包括该特定特征、结构或特性。另外,此类词语不一定指相同实现。此外,在结合一实施例描述某个特定特征、结构或特性时,应认为结合无论本文中是否明确描述的其它实现来达到此类特征、结构或特性是在本领域技术人员的认知之内。
本文中描述了方法、装置、系统和物品,它们涉及为成像装置提供从多个被跟踪对象的自动对象选择,并且具体涉及基于对于被跟踪对象的一个或更多对象选择度量来自动选择用于跟踪的对象。
如上所述,经成像装置(例如,摄像机或集成在诸如智能电话或诸如此类等装置内的摄像机)获得图像可以是普通的。在一些情况下,此类成像装置可跟踪多个对象,并且向用户显示此类对象以便进行目标对象的选择。目标对象可被跟踪,并且自动图像捕捉设置和图像捕捉可基于被跟踪对象来执行。然而,从多个被跟踪对象中选择目标对象可对用户而言是困难的,并且与选择关联的用户输入可使摄像机不稳固,不利地影响对象跟踪和/或图像捕捉。
本文中讨论的技术可提供用于从多个被跟踪对象中实现自动目标对象选择。此类技术可从用户将或打算对准或聚焦的多个移动对象中自动估计目标对象。例如,可同时跟踪多个移动对象,并且基于对象的移动和摄像机的估计移动(例如,这可指示用户的意图),可基于成像装置的移动(例如,如经被跟踪对象的轨迹所确定的)和被跟踪对象将目标对象自动选择为最相关的对象。自动选择的目标对象可用于各种应用,如3A(例如,自动对焦、自动曝光和自动白平衡)调整、图像捕捉、视频捕捉、对象识别或诸如此类。
例如,本文中讨论的技术可基于多个被跟踪对象的轨迹的评估,选择目标对象。评估可确定哪些对象的移动(例如,轨迹)与用户在尝试或打算跟踪或聚焦或诸如此类的对象的移动最一致。例如,用户可在移动成像装置以尝试跟踪或聚焦目标对象。成像装置的此类用户移动可能不完全跟随对象的移动,这是因为此类对象可在快速移动或者以不可预期的方式移动或诸如此类。描述的技术可提供一个或更多度量以测量在成像装置的移动与移动对象的轨迹之间的差别。例如,度量可包括投票支持位置收敛,将移动的曲线嵌入到低维空间并且测量在曲线之间的距离,测量在对象移动与用户移动的模型之间的误差或诸如此类。
在本文中讨论的一些实施例中,为成像装置提供从多个被跟踪对象的自动对象选择可包括跨多个(例如,两个或更多)图像帧跟踪多个(例如,两个或更多)对象。例如,可使用任何适合的技术(例如,基于显著性、基于面部或基于图像描述符的对象检测或诸如此类)检测多个对象,并且跨多个帧跟踪多个对象以生成多个对象轨迹,每个轨迹与多个被跟踪对象的一个对象关联。可为多个被跟踪对象的每个对象生成对象选择度量。用于每个被跟踪对象的对象选择度量或多个对象选择度量可包括跨所述两个或更多图像帧对于第一对象的距离帧中心的累积距离、累积速度或预测轨迹与实际轨迹的轨迹比较或诸如此类(如本文中进一步讨论的)。基于对象选择度量或多个对象选择度量,可为单个对象跟踪选择目标对象,并且将其用于图像捕捉或对象识别或诸如此类。在一些示例中,目标对象选择可基于与被跟踪对象关联的度量的最小值。
通过使用此类技术,可从多个被跟踪对象中为用户自动选择目标对象。此类技术可为用户提供使用方便和改进的图像捕捉,这是因为成像装置可能在用户选择期间不需要移动。此外,用户可专注于跟踪期望对象而不分心尝试进行目标对象选择。
图1是根据本公开的至少一些实现所布置的用于成像装置101的从多个被跟踪对象的自动对象选择的示例曝光设置100的说明性图形。如图1中所示,曝光设置100可包括通过提供以虚线示出的视野的图像平面110,获得移动对象102和106的图像的成像装置101。虽然示有两个移动对象102、106,但曝光设置100可包括在视野内的任何数量的移动对象。成像装置101可包括具有图像捕捉能力的任何适合的成像装置。例如,成像装置101可以是手持式数码摄像机、智能电话、超级本、膝上型计算机、平板、移动电话或装置或诸如此类。
图2示出根据本公开的至少一些实现所布置的示例成像装置101。如图2中所示,在一实施例中,成像装置101是智能电话。如图所示,成像装置101可包括前部201和后部202。在一些示例中,如图所示,成像装置101的后部202可包括集成摄像机203(例如,包括镜头、光圈和成像传感器)和闪光装置204(例如,闪光装置或闪光灯)。也如图所示,成像装置101的前部201可包括扬声器206、显示器207和一个或更多按钮208。此外,成像装置101可包括麦克风205,其在所示示例中显示在成像装置101的底部上。
成像装置101的所述组件可以任何适合的方式被包含。例如,摄像机203和闪光装置204可包含在成像装置101的前部201。在一些示例中,前置和后置摄像机和闪光装置均可包含到成像装置101中。此外,在一些示例中,显示器207可以是触摸屏显示器,使得用户可通过经显示器207启动的命令与成像装置101交互。在一些示例中,麦克风205可包含在成像装置的前部201或后部202上。如所讨论的,在一些示例中,成像装置101可包括每个所述组件。在其它示例中,成像装置101可不包括所述组件的一个或更多组件。例如,成像装置101可不包括扬声器206和/或麦克风205。此外,讨论的组件可包含到任何形状因数的装置中,如所示智能电话、专用摄像机(例如,傻瓜摄像机(point and shoot camera)或可换镜头系统摄像机或诸如此类)、超级本、膝上型计算机、平板或本文中讨论的任何其它装置。
回到图1,如图所示,对象106可沿路径或轨迹109从位置107移到位置108,并且对象102可沿路径或轨迹105从位置103移到位置104。响应此类运动,成像装置101的用户可移动(例如,线性,旋转,经摇移,经倾斜或诸如此类)成像装置101,以尝试跟踪对象106或对象102。例如,如果对象102是用户关注的对象,则成像装置101的用户可跟踪对象102。例如,在赛车设置中,对象102可以是用户在尝试获得其图像或视频的汽车,在足球比赛设置中,对象102可以是用户在尝试获得其图像的运动员等等。如本文中进一步讨论的,对象106、103在图像帧中和跨多个图像帧的相对运动可用于生成对象选择度量,其可用于从对象106、102(或更多)中选择目标对象,以便在图像捕捉或对象识别或诸如此类中使用。
此外,在一些示例中,成像装置101可受运动或摇动(例如,在用户握住和/或移动成像装置101以跟踪对象102、106之一时)的影响,并且此外,对象102、106的一个或更多对象也可摇动或振动或诸如此类。成像装置101可包括如本文中相对于图3进一步讨论的图像稳定化电路,以降低此类运动、摇动或振动的效应,从而可生成实质上平滑的跨对象102、106的帧的轨迹。在一些示例中,可使用诸如卡尔曼(Kalman)过滤器或诸如此类等动态过滤器生成此类轨迹。此外,对象102、106一般可不进行高频移动。此类实质上平滑的轨迹和高频移动的缺乏可允许使用本文中讨论的技术的稳健确定。
图3是根据本公开的至少一些实现布置的示例成像装置101的说明性框图。如图3中所示,成像装置101可包括对象检测模块301、触摸屏显示器302、图像稳定化模块305、对象跟踪模块306、自动对象选择模块310、3A调整模块317及图像捕捉模块321。也如图所示,触摸屏显示器302可包括显示器303和触摸检测模块304,对象跟踪模块306可包括多对象跟踪模块307、轨迹过滤器模块308和单对象跟踪模块309,自动对象选择模块310可包括与中心的累积距离模块311、累积速度模块312、闭环控制器313、轨迹比较模块314、对象选择度量模块315及目标对象选择模块316,以及3A调整模块317可包括自动对焦模块318、自动曝光模块319和自动白平衡模块320。
成像装置的图像稳定化模块305可使用任何适合的技术,提供用于成像装置101的稳定化。例如,图像稳定化模块305可提供基于镜头的光学图像稳定化、基于传感器的光学图像稳定化、数字图像稳定化、摄像机体稳定化或诸如此类的一项或更多项。此类图像稳定化可经成像装置101的图像稳定化模块305和任何其它适合的模块或组件(例如,摄像机203的镜头和/或图像传感器、图像处理电路或诸如此类)提供。
成像装置101可经相同和/或有关电路获得图像帧(未显示),并且此类图像帧可存储在存储器中和/或提供到成像装置101的各种模块。在本文中使用时,术语图像帧可包括表示图像和/或其陈述的任何数据。此类图像帧可经图像传感器捕捉,并且经图像处理电路、成像管道或诸如此类处理。触摸屏显示器302可接收此类图像帧并且经显示器303向用户显示它们。此外,对象检测模块301可接收一个或更多图像帧,并且对象检测模块301可检测在一个或更多图像帧内的多个对象。对象检测模块301可使用任何适合的技术检测此类对象。例如,对象检测模块301可执行基于显著性的对象检测、基于面部的对象检测、基于图像描述符的对象检测或诸如此类的一项或更多项以检测图像帧内的多个对象。例如,对象检测模块301可经此类对象检测技术检测对象102、106。对象检测模块301可将与此类对象关联的对象检测数据(例如,位置、大小、类型或诸如此类)存储到存储器,和/或提供此类数据到成像装置101的其它模块。
如图所示,触摸屏显示器302可接收来自对象检测模块301或存储器的此类对象检测数据,并且触摸屏显示器302可经显示器303向用户显示此类对象的指示。例如,检测到的对象的指示可包括环绕检测到的对象的框或诸如此类。此类框可例如为用户提供一个或更多关注区域或潜在关注区域。如在本文中进一步讨论的,用户可选择对象或关注区域(例如,目标对象或目标关注区域),以便进行跟踪和随后的3A调整和图像捕捉或诸如此类。例如,此类用户选择可经触摸屏显示器302的触摸检测模块304(例如,经用户触摸)做出,并且此类选择可介入本文中讨论的自动对象选择过程或使其占先。
在此类示例中,触摸检测模块304可生成目标对象指示符,并且提供此类目标对象指示符到成像装置101的存储器和/或其它模块。目标对象指示符可包括指示诸如目标对象大小、位置、特性或诸如此类等选择的目标对象的任何适合数据。
如图所示,对象跟踪模块306的单对象跟踪模块309可接收来自存储器或触摸屏显示器302的触摸检测模块304的目标对象指示符。单对象跟踪模块309可基于目标对象指示符,执行目标对象的对象跟踪。此类对象跟踪可使用任何适合的技术来执行。如图所示,在一些示例中,对象跟踪模块306可实现单独的多对象跟踪模块307和单对象跟踪模块309。在其它示例中,多对象跟踪和单对象跟踪可经相同模块或电路或诸如此类来实现。在一些示例中,如本文中讨论的多对象跟踪可包括为多个被跟踪对象重复或平行执行的单对象跟踪的多个实例。也如图所示,单对象跟踪模块309可包括轨迹过滤器模块308。轨迹过滤器模块308可实现诸如卡尔曼过滤器、线性二次估计过滤器或诸如此类等动态过滤器到经多对象跟踪模块308和/或单对象跟踪模块309获得的对象轨迹。此类过滤可使获得的对象轨迹变得平滑。单对象跟踪模块309可生成对象轨迹或对象位置或诸如此类,并且提供对象轨迹或对象位置到存储器和/或3A调整模块317。
3A调整模块317可接收对象轨迹或对象位置,并且3A调整模块317可提供经自动对焦模块318的自动对焦,经自动曝光模块319的自动曝光和经自动白平衡模块320的自动白平衡的一项或更多项。基于可用于目标对象或目标对象的帧区域或诸如此类,可经任何适合的技术提供此类自动对焦、自动曝光和自动白平衡。如图所示,在此类3A调整完成时,可经图像捕捉模块321实现或提供图像捕捉过程。例如,图像捕捉模块321可经具有镜头、光圈和成像传感器的摄像机(例如,摄像机203)捕捉图像帧。在一些示例中,图像捕捉模块321可基于讨论的自动对焦、自动曝光和自动白平衡或使用讨论的自动对焦、自动曝光和自动白平衡确定的参数或设置,捕捉图像。
如所讨论的,对象检测模块301可使用任何适合的技术检测在一个或更多图像帧内的多个对象,并且对象检测模块301可将与此类对象关联的对象检测数据存储到存储器,和/或提供此类数据到成像装置101的其它模块。如图所示,多对象跟踪模块307可接收来自存储器或对象检测模块301的此类对象检测数据。多对象跟踪模块307可基于接收的对象检测数据,执行多个对象的对象跟踪。此类对象跟踪可使用任何适合的技术来执行,以生成跨多个帧的多个对象轨迹(例如,用于多个对象的每个对象的一个轨迹)。此外,如所讨论的,单对象跟踪模块309可包括轨迹过滤器模块308,其可实现在对象轨迹上的过滤以使获得的对象轨迹变得平滑。多对象跟踪模块307可提供生成的对象轨迹到存储器和/或自动对象选择模块310。
如图所示,自动对象选择模块310可接收来自存储器或多对象跟踪模块307的对象轨迹。自动对象选择模块310可生成与接收的轨迹和被跟踪对象关联的一个或更多对象选择度量。此类度量可例如包括用于轨迹(例如,用于跨图像帧的被跟踪对象)的距帧中心的累积距离、用于轨迹的累积速度、预测轨迹与(实际)轨迹的轨迹比较、其组合、基于此类度量的度量或诸如此类。
例如,距中心的累积距离模块311可生成用于每个轨迹的距中心的累积距离,并且累积速度模块312可生成用于每个轨迹的累积速度。此外,如本文中进一步讨论的,假设每个对象是目标对象,闭环控制器313可生成用于每个对象的预测轨迹,并且轨迹比较模块314可比较用于每个被跟踪对象的预测轨迹与预测轨迹,以生成轨迹比较值或诸如此类。如图所示,此类度量(例如,累积距离、累积速度和/或轨迹比较值)可传送到对象选择度量模块315,其可选择性地组合此类度量以生成用于每个被跟踪对象的度量或目标选择分数或诸如此类。此类度量或目标选择分数或诸如此类可传送到目标对象选择316,其可基于度量或目标选择分数或诸如此类(例如,基于最小值或诸如此类)来选择目标对象,并且将被跟踪对象的某个对象选择为目标对象。
自动对象选择模块310可提供目标对象或目标对象指示符到存储器和/或到对象跟踪模块306的单对象跟踪模块309。对象跟踪模块306的单对象跟踪模块309可接收来自存储器或自动对象选择模块310的目标对象指示符(例如,经自动对象选择模块310的目标对象选择模块316),并且如相对地于用户对象选择讨论的,单对象跟踪模块309可基于目标对象指示符,执行目标对象的对象跟踪。如本文中讨论的,单对象跟踪模块309可生成对象轨迹或对象位置或诸如此类,并且提供对象轨迹或对象位置到存储器和/或3A调整模块317。也如所讨论的,3A调整模块317可接收对象轨迹或对象位置,并且提供自动对焦、自动曝光和自动白平衡的一项或更多项,并且在此类3A调整完成时,图像捕捉过程可经如所讨论的图像捕捉模块321来实现或提供,以基于自动选择的目标对象来捕捉图像。
如相对于自动对象选择模块310描述的此类处理可生成一个或更多对象选择度量,并且将多个被跟踪对象之一选择为目标对象以便进行进一步处理。此类进一步处理可包括如所讨论的3A调整和图像捕捉、对象识别、调整和/或视频捕捉或诸如此类。
图4示出根据本公开的至少一些实现所布置的跨图像帧400的示例对象移动。如在图4中所示,对象102可从图像帧401中的位置405移到在图像帧402中的位置406,并且对象106可从图像帧401中的位置411移到图像帧402中的位置412。也如图所示,图像帧401可具有帧中心403,并且图像帧402可具有帧中心404。在图4的图示中,为陈述的清晰起见,图像帧401和图像帧402示为相对于彼此偏移。例如,图像帧401可在帧的序列中在图像帧402之前。图像帧401可正好在图像帧402之前,或者任何数量的中间图像帧可在图像帧401与图像帧402之间。
图5示出根据本公开的至少一些实现所布置的由成像装置101获得的示例图像帧500。如图5所示,可由成像装置101获得图像帧500。图像帧500可包括任何数量的图像帧401、501、502、503和402,并且在成像装置101的摄像机203被激活时,在成像装置101活动(例如,即使摄像机应用未由用户在运行)时,在曝光顺序已启动(例如,基于用户启动)或诸如此类时,图像帧500可由成像装置101获得。例如,可获得图像帧500,使得成像装置101可提供各种功能性,包括对象检测、对象跟踪、目标对象选择、3A调整、图像捕捉、视频捕捉、对象识别、向用户显示或诸如此类。
例如,可以诸如每秒24、30、60、120、240、480帧的帧速率,在每秒60-120帧的范围中的帧速率等任何帧速率获得图像帧500,并且可由成像装置101或成像装置101的各种组件经成像管线或诸如此类使用图像帧500。例如,图像帧500或其子集可经受各种处理技术以生成成像数据以便分析。此类成像管道可例如在成像装置101的硬件中被实现。处理技术可包括任何适合的处理技术,并且结果数据可供用于评估或另外的处理。结果数据可例如包括像素级分辨率数据、下采样的图像数据、过滤的图像数据、亮度数据、颜色平衡数据或诸如此类。结果数据可基于各个静态图像或各对或各组的图像。来自此类处理的结果数据集可处在任何分辨率。例如,分辨率可与摄像机203的分辨率相同(例如,8兆像素或诸如此类),或者处在降低的分辨率。此外,结果数据集和/或图像帧401、501、502、503、402可用于本文中讨论的图像处理技术。
在图4和5示出的示例中,三个图像帧501、502、503可在图像帧401、402之间以生成讨论的轨迹。然而,任何数量的帧可在图像帧401、402之间。此外,可评估所有图像帧或仅一些帧以生成讨论的轨迹和/或度量。例如,可评估每个帧(例如,评估可逐帧进行),可每隔一个帧进行评估,可每隔两个帧进行评估,可每隔N-1个帧进行评估等等。此类评估模式可以是一致的,或者它们可即时地(on the fly)被改变。评估模式可取决于成像装置101的处理的能力、电力管理策略、剩余电池寿命或诸如此类。此外,评估模式可取决于被跟踪对象的速度,从而可更频繁地评估更快的运动,并且可更不频繁地评估更慢的运动。
回到图4,在示出的示例中,成像装置101的用户(请参见图1)可对获得对象102的图像感兴趣。此外,成像装置101可在跟踪包括对象102和对象106在内的多个对象。如所讨论的,在用户尝试(例如,带有不同程度的成功)获得对象102的图像时可由用户101移动成像装置101。例如,用户可移动成像装置101以形成图像帧中心的轨迹408。此类用户移动可尝试使对象102居中并且跟踪对象102,并且此类用户移动可进行而不考虑例如对象106的位置和跟踪。
例如,在帧401中位置405的对象102可与帧401的帧中心403有距离409,并且在帧401中位置411的对象106可与帧401的帧中心403有距离414。也如图所示,在帧402中位置406的对象102可与帧402的帧中心404有距离410,并且在帧402中位置412的对象106可与帧402的帧中心404有距离415。在本文中讨论的示例中,距帧中心的对象距离、速度及诸如此类可基于对象102、106的中心,然而,对象102、106的任何适合位置可使用。
如图所示,距离409可小于距离414,并且距离410可以是距离415,从而指示对象102可以是用户的关注对象,这是因为用户一般将要使关注对象处在帧的中心或其附近。在示出的示例中,为每个对象102、106显示了两个图像帧401、402和距帧中心的两个距离,然而,可评估和累积任何数量的图像帧和关联距离。例如,可为中间的图像帧501-503确定到帧中心的距离,和/或可为另外的图像帧评估和累积到帧中心的距离。
例如,距中心的累积距离模块311可累积跨多个帧用于对象的距中心的距离。在示例中,用于对象102的累积距离可包括距离409和距离410,并且用于对象106的累积距离可包括距离414和距离415。可在诸如10、15个帧的任何数量的帧、帧的分数或更多项上累积用于对象的距中心的此类累积距离,帧越多越有利。在仅使用距中心的累积距离作为对象选择度量的示例中,距中心的最小累积距离可指示目标对象。例如,目标对象选择模块316可接收用于多个被跟踪对象的距中心的累积距离,并且基于距中心的接收累积距离的最小值来选择目标对象。在此类示例中,可不实现对象选择度量315。
继续参照图4,如图所示,对象102可遍历从帧401内的位置405到帧402内的位置406的轨迹407,并且对象106可遍历从帧401内位置411到帧402内位置412的轨迹413。在示出的示例中,确定的轨迹407、413可基于帧401、402和诸如图像帧501、502、503等几个中间帧来确定。如图所示,轨迹407可相对稳定和稳健,而轨迹413可实质上在不同时刻(例如,帧)之间移动,从而指示对象102可以是用户的关注对象,这是因为用户一般将要使关注对象在帧内保持相对静止。
图6是示出根据本公开的至少一些实现所布置的示例对象移动的示例图像帧重叠600的图形。在图6的图示中,为陈述的清晰起见,重叠了样本帧。在示出的示例中,重叠600可包括五个帧,然而,如本文中讨论的,任何数量的帧均可使用。如图所示,重叠600可包括重叠的图像帧的帧中心601。
如图6中所示,对象102可遍历通过位置602-606的轨迹620。例如,位置602可对应于在帧401内的位置,位置603可对应于在图像帧501内的位置,位置604可对应于在图像帧502内的位置,位置605可对应于在图像帧503内的位置,以及位置606可对应于在图像帧402内的位置。如图所示,轨迹620可相对稳健,并且虽然轨迹620提供在图像帧之间的移动(例如,从位置602到位置606),但移动相对流畅。
也如图6中所示,对象106可遍历通过位置611-615的轨迹660。例如,位置611可对应于在帧401内的位置,位置612可对应于在图像帧501内的位置,位置613可对应于在图像帧502内的位置,位置614可对应于在图像帧503内的位置,以及位置615可对应于在图像帧402内的位置。如图所示,轨迹660可提供用于大量的非线性移动。
参照图3,累积速度模块312可累积跨用于对象102、106的多个帧的速度。例如,对于对象102,累积速度模块312可基于位置607-610的更改和适用帧速率或采样率或诸如此类,确定和累积速度。例如,在与位置607的更改关联的时间更改内位置607的更改可对应于在位置602、603之间对象的速度。类似地,在与位置608、609、610的更改关联的时间更改内位置608、609、610的更改可对应于在对象102遍历轨迹620时的其速度。类似地,对于对象106,累积速度模块312可基于位置616、617、618、619的更改和适用帧速率或采样率或诸如此类,确定和累积速度。例如,在与位置616的更改关联的时间更改内位置616的更改可对应于在位置611、612之间对象106的速度,并且在与位置617、618、619的更改关联的时间更改内位置617、618、619的更改可对应于在对象106遍历轨迹660时的其速度。
可在诸如10到15个帧或更大数量的帧等任何数量的帧上经累积模块312累积此类累积距离。在仅使用累积速度作为对象选择度量的示例中,最小累积速度可指示目标对象。例如,目标对象选择模块316可接收用于多个被跟踪对象的累积速度,并且基于接收的累积速度的最小值来选择目标对象。在此类示例中,可不实现对象选择度量315。
如所讨论的,累积速度可用于确定目标对象。此类速度可一般是例如绝对值速度。此外,在图5的示例中,可使用位置607-610和616-618中的线性更改,在二维图像坐标系统中确定速度。然而,可使用任何适合的坐标平面、空间或系统和轨迹。例如,可使用在位置602-606与611-615之间的线路或线性近似,在三维空间或二维空间中估计轨迹620、660,或者可使用弯曲近似(例如,二次或更高阶近似或三角函数近似或诸如此类)来估计轨迹620、660。
如所讨论的,距中心的累积距离(例如,经距中心的累积距离模块311生成)可用作从多个被跟踪对象中确定目标对象的度量。此外,累积速度可用作从多个被跟踪对象中确定目标对象的度量。在一些示例中,距中心的此类累积距离和累积速度可组合以生成用于确定目标对象的度量。例如,对象选择度量可包括距帧中心的累积距离和累积速度的加权和。例如,对象选择度量可如等式(1)中所示确定:
其中,E可以是对象选择度量,w1可以是第一权重,E c 可以是跨帧用于对象的距帧中心的累积距离,w2可以是第二权重,以及E v 可以是跨帧用于对象的累积速度。第一权重和第二权重可以是任何适合的值。在一些示例中,它们可相加为一。在一些示例中,第一权重和第二权重可以是预设或预确定的值,并且在其它示例中,它们可基于对象特性(例如,在跟踪的对象的特性)、运动特性(例如,被跟踪对象的速度或轨迹形状)或诸如此类而改变。在一示例中,在移动慢(运动中对象的平均或均值速度小于阈值)时第一权重可大于第二权重,并且在移动快(运动中对象的平均或均值速度大于阈值)时第二权重可大于第一权重。
参照图3,可由对象选择度量模块315为被跟踪对象确定包括距帧中心的累积距离和累积速度的加权和的对象选择度量E(例如,可为每个被跟踪对象确定对象选择度量)。例如,对象选择度量模块315可接收来自距中心的累积距离模块311的累积距离和来自累积速度模块312的累积速度,并且对象选择度量模块315可通过实现等式(1)来生成对象选择度量。对象选择度量模块315可提供对象选择度量到目标对象选择模块316,其可基于接收的对象选择度量,选择用于跟踪的目标对象。例如,目标对象选择模块316可基于具有最小关联对象选择度量的对象(例如,指示用户在保持或尝试保持目标对象在帧的中心附近并且被稳健地跟踪),将某个对象选择为目标对象。
虽然相对于加权和讨论,但距帧中心的累积距离和累积速度可以任何适合的方式组合以生成对象选择度量。例如,它们可相乘,相加或平均而不进行加权,或者提供到任何适合的功能以便生成对象选择度量。此外,虽然相对于确定最小对象选择度量讨论,但目标对象选择模块316可以任何适合的方式评估对象选择度量,如确定最大值,比较阈值,比较目标值或诸如此类。例如,可基于目标的最近对象选择度量或在阈值之间的对象选择度量或诸如此类,将某个对象选择为目标。
如所讨论的,距中心的累积距离、累积速度和/或其组合可用作从多个被跟踪对象中确定目标对象的度量。此类度量可提供方便的实现和稳健的目标对象选择。然而,在一些环境中,由于对象的轨迹不可预测(例如,足球运动员或飞行中的鸟),用户可能不能满足此类准则(例如,用户可能不能使对象居中和在稳健的轨迹上)。在此类环境中,用户可以与提供有给定(例如,用户的目标对象)对象的当前位置和速度的反馈系统类似的方式做出响应。例如,在控制系统中,过冲、阻尼和延迟可以是反馈控制系统中可观测的特性,并且此类信息可用于生成对象选择度量。
例如,继续参照图3,成像装置101可包括闭环控制器313。闭环控制器可经多对象跟踪模块307接收用于被跟踪的多个对象的对象轨迹。基于接收的轨迹,例如包括对象位置和速度或诸如此类,闭环控制器313可生成模拟或预测轨迹,如用于每个被跟踪对象的闭环预测轨迹。此类预测轨迹可使用任何适合的技术来生成。在一些示例中,闭环控制器313可包括机器学习实现,这可包括基于成像装置101的用户的移动的学习模型。例如,在随着时间的过去而了解用户的移动时,可改变机器学习结构的权重或诸如此类。闭环控制313可实现任何适合的控制器,如线性控制器、非线性控制器或诸如此类。如图所示,闭环控制器313可提供预测轨迹到轨迹比较模块314。
轨迹比较模块314可比较用于被跟踪对象的接收的预测轨迹和被跟踪对象的实际轨迹以生成轨迹比较度量。在本文中使用时,术语实际轨迹可包括经成像装置101捕捉和/或估计的轨迹。在一些示例中,实际轨迹可经过滤被平滑处理,或者以其它方式经成像装置101(例如,经对象跟踪模块306)被近似计算。轨迹比较度量可使用任何适合的技术来生成。在一些示例中,轨迹比较可以为在预测轨迹与实际轨迹之间的差别或累积差别。例如,轨迹比较可以是跨图像帧的累积位置差别。在其它示例中,轨迹比较可以为预测轨迹与实际轨迹的动态时间规整(dynamic time warping)比较。在仅使用轨迹比较作为对象选择度量的示例中,轨迹比较的最小差别或最大类似性可指示目标对象。例如,目标对象选择模块316可接收用于多个被跟踪对象的轨迹比较,并且基于轨迹比较的最小值来选择目标对象。在此类示例中,可不实现对象选择度量315。
如所讨论的,距中心的累积距离、累积速度和/或轨迹比较可用作从多个被跟踪对象中确定目标对象的度量或多个度量。在一些示例中,距中心的此类累积距离、累积速度和轨迹比较可组合以生成用于确定目标对象的度量。例如,对象选择度量可包括距帧中心的累积距离、累积速度和轨迹比较的加权和。例如,对象选择度量可如等式(2)中所示确定:
其中,E可以是对象选择度量,w1可以是第一权重,E c 可以是跨帧用于对象的距帧中心的累积距离,w2可以是第二权重,E v 可以是跨帧用于对象的累积速度,以及w3可以是第三权重,E f 可以是跨帧用于对象的轨迹比较。第一权重、第二权重和第三权重可以是任何适合的值。在一些示例中,它们可相加为一。在一些示例中,第一权重、第二权重和第三权重可以是预设或预确定的值,并且在其它示例中,它们可基于对象特性、运动特性或诸如此类而改变。
参照图3,可由对象选择度量模块315为被跟踪对象确定包括距帧中心的累积距离、累积速度和轨迹比较的加权和的对象选择度量E(例如,可为每个被跟踪对象确定对象选择度量)。例如,对象选择度量模块315可接收来自距中心的累积距离模块311的累积距离、来自累积速度模块312的累积速度和来自轨迹比较模块314的轨迹比较。对象选择度量模块315可通过实现等式(2)来生成对象选择度量,并且对象选择度量模块315可提供对象选择度量到目标对象选择模块316,其可基于接收的对象选择度量,选择用于跟踪的目标对象。例如,目标对象选择模块316可基于具有最小关联对象选择度量的对象(例如,指示用户在保持或尝试保持目标对象在帧的中心附近并且被稳健地跟踪),将某个对象选择为目标对象。
虽然相对于加权和讨论,但距帧中心的累积距离、累积速度和轨迹比较可以任何适合的方式组合以生成对象选择度量。例如,它们可相乘,平均而不进行加权,或者提供到任何适合的功能以便生成对象选择度量。此外,虽然相对于确定最小对象选择度量讨论,但目标对象选择模块316可以任何适合的方式评估对象选择度量,如确定最大值,比较阈值,比较目标值或诸如此类。例如,可基于目标的最近对象选择度量或在阈值之间的对象选择度量或诸如此类,将某个对象选择为目标。
如所讨论的,距中心的累积距离、累积速度和/或轨迹比较可单独或一起用于从多个被跟踪对象中确定目标对象。此类度量可以任何适合的方式组合。如相对于等式(1)和(2)讨论的,距中心的累积距离和累积速度和/或距中心的累积距离、累积速度和轨迹比较可经加权平均来组合。在其它示例中,距中心的累积距离和轨迹比较可经加权平均或如本文中讨论的任何其它技术来组合。在仍有的其它示例中,累积速度和轨迹比较可经加权平均或如本文中讨论的任何其它技术来组合。此外,如所讨论的,单个度量(例如,距中心的累积距离、累积速度、轨迹比较或其单个组合)。在其它示例中,两个或更多此类度量可用于确定目标对象。可组合此类度量,使得如果基于此类度量的排序(以打破阈值内的均势或类似性或诸如此类),两者均是用于的对象的最小值,则确定目标对象。此外,可使用另外或其它度量,如与对象类型、对象质量或诸如此类关联的度量。经加权平均、投票系统或诸如此类,可组合此类另外的度量和讨论的度量。
本文中讨论的技术可从多个被跟踪对象自动识别目标对象,从而为用户提供使用方便和改进的图像捕捉,这是因为成像装置可能在用户选择期间不需要移动。
图7示出根据本公开的至少一些实现所布置的用于提供从多个被跟踪对象的自动对象选择的示例过程700。过程700可包括如图7中所示的一个或更多操作701-709。过程700可由装置或系统(例如,装置101或1100或系统900或1000)、逻辑电路或诸如此类执行。过程700可用于为单对象跟踪、3A调整和图像捕捉自动选择检测到的被跟踪对象。此外,过程700可允许用户为单对象跟踪、3A调整和图像捕捉选择检测到的对象和/或允许用户介入自动对象选择以做出此类选择。
如图所示,过程700可从在操作702“检测对象”的开始操作701开始,其中可检测多个对象。例如,对象检测模块301可使用诸如基于显著性的对象检测、基于面部的对象检测、基于图像描述符的对象检测或诸如此类等任何适合的技术来检测对象。此类对象检测可生成与检测到的对象关联的任何适合的对象数据,如对象位置、类型、大小或诸如此类。在一些示例中,可经环绕检测到的对象的框,向用户提供检测到的对象的指示,检测到的对象例如经显示器303向用户显示。
过程700可在决定操作703“基于触摸的选择”继续,其中可做出有关用户是否已进行对象选择的确定。例如,用户可如相对于操作702讨论的,通过触摸触摸屏显示器302的与向用户显示的对象关联的框内的区或区域,经触摸屏显示器302做出基于触摸的对象选择。
如果未进行基于触摸的选择,则过程700可在操作704“多对象跟踪”继续,其中可跟踪在操作702检测到的多个对象。例如,多个对象可包括经对象跟踪模块306的多对象跟踪模块307跟踪的两个或更多对象。此类对象跟踪可使用任何适合的技术来执行,并且可跨用于被跟踪对象的帧生成轨迹。在此类对象跟踪期间可评估帧的任何帧频率,如每帧,每隔一帧,每隔二帧或每隔N-1帧。在一些示例中,此类评估模式可一致,并且在其它示例中,它可随时间而改变(例如,对象在快速移动时选用更多样本)。此外,此类多对象跟踪可包括如相对于轨迹过滤器模块308讨论的,生成被跟踪对象的过滤的轨迹。
过程700可从在操作705“自动对象选择”的操作704继续,其中可从在操作704跟踪的对象中选择目标对象。例如,对于多个被跟踪对象的每个或至少一些对象,可生成对象选择度量。对象选择度量可包括跨图像帧距帧中心的累积距离、跨图像帧的累积速度、跨图像帧的预测轨迹与实际轨迹的轨迹比较或其组合的一项或更多项。可评估对象选择度量以生成目标对象。例如,自动对象选择模块310的目标对象选择模块316可选择目标对象。
如所讨论的,在决定操作703,可做出有关用户是否已进行对象选择的确定。决定操作703虽然示为在操作704、706前进行,但可实质上持续受到监视,使得如果进行了用户选择,则可停止多对象跟踪和自动对象选择,并且单对象跟踪可开始。
例如,如果进行基于触摸的选择,则过程700可在操作706“单对象跟踪”继续。此外,如图所示,过程700可从在操作706的操作705继续。在操作706,可执行目标对象的单对象跟踪。例如,对象跟踪模块306的单对象跟踪模块309可使用任何适合的技术跟踪目标对象。此类对象跟踪可使用任何适合的技术来执行,并且可跨用于被跟踪对象的帧生成轨迹。在此类对象跟踪期间可评估帧的任何频率的帧,如每帧,每隔一帧,每隔二帧或每隔N-1帧。在一些示例中,此类评估模式可一致,并且在其它示例中,它可随时间而改变(例如,对象在快速移动时选用更多样本)。此外,此类单对象跟踪可包括如相对于轨迹过滤器模块308讨论的,生成对象的过滤的轨迹。
过程700可在操作707“3A调整”继续,其中至少部分基于经决定操作703或操作705确定并且经操作706跟踪的目标对象,可执行自动对焦调整、自动曝光调整或自动白平衡调整的一项或更多项。例如,可经3A调整模块317执行此类3A调整。在一些示例中,在跟踪目标对象时,可实质上持续或定期进行3A调整。在其它示例中,可在用户启动图像捕捉或视频捕捉操作或诸如此类后进行3A调整。
过程700可在操作708“图像捕捉”继续,其中可基于自动对焦调整、自动曝光调整和/或自动白平衡调整来捕捉图像。此类图像捕捉可经图像捕捉模块321引导,并且可经诸如摄像机203等摄像机和有关电路执行。如所讨论的,在一些示例中,此类图像捕捉操作可由用户启动,并且在其它示例中,此类图像捕捉操作可在某些时间间隔自动执行。
如所讨论的,基于经决定操作703或操作705确定的目标对象,可执行单对象跟踪、3A调整和图像捕捉。在其它示例中,可基于目标对象,执行视频捕捉。此类视频捕捉可捕捉基于目标对象在执行讨论的3A调整的一项或更多项的多个帧。在仍有的其它示例中,可基于目标对象,执行对象识别。在此类示例中,成像装置101可包括对象识别模块或电路或诸如此类以接收目标对象选择和执行对象识别。
图8是示出根据本公开的至少一些实现所布置的用于提供从多个被跟踪对象的自动对象选择的示例过程800的流程图。过程800可包括如图8中所示的一个或更多操作801-803。过程800可形成对象选择过程的至少一部分。作为非限制性示例,过程800可形成如本文中讨论的用于成像装置101的自动对象选择过程的至少一部分。此外,本文中将参照图9的系统900描述过程800。
图9是示出根据本公开的至少一些实现所布置的用于提供从多个被跟踪对象的自动对象选择的示例系统900的说明性图形。如图9中所示,系统900可包括一个或更多中央处理单元(CPU) 901、图形处理单元(GPU) 902和存储器库(store)903。也如图所示,CPU 901可包括对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321。如本文中讨论的,对象跟踪模块306可包括多对象跟踪模块307、轨迹过滤器模块308,并且3A调整模块317可包括自动对焦模块318、自动曝光模块319和自动白平衡模块320。此外,自动对象选择模块310可包括距中心的累积距离模块311、累积速度模块312和闭环控制器313及轨迹比较模块314的一项或更多项。自动对象选择模块310也可包括目标对象选择模块,并且可选地包括对象选择度量模块315。在系统900的示例中,存储器库903可存储诸如捕捉的图像(或图像帧)、对象检测数据、对象轨迹、预测轨迹、实际轨迹、对象位置、对象速度、显示数据、3A调整数据、目标对象数据、对象选择度量、距中心的累积距离、累积速度、轨迹比较、组合对象度量等图像数据、诸如经成像管道生成的图像数据等图像有关的数据和/或如本文中讨论的任何其它数据。
也如图所示,在一些示例中,对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321可经中央处理单元901来实现。在其它示例中,对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321的一项或更多项可经图形处理单元902来实现。在仍有的其它示例中,对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321的一项或更多项可经成像管道和/或成像处理单元来实现。此外,系统900可包括如本文中相对于图3讨论的,部分经中央处理单元901和/或图形处理单元902实现的触摸屏显示器302和/或图像稳定化模块305。
图形处理单元902可包括可提供如本文中讨论的操作的任何数量和类型的图形处理单元。此类操作可经软件或硬件或其任何组合来实现。例如,图形处理单元902可包括专用于操纵从存储器库902获得的图像的电路。中央处理单元901可包括任何数量和类型的处理单元或模块,其可提供用于系统900的控制和其它高级功能和/或提供如本文中讨论的任何操作。存储器库903可以是任何类型的存储器,如易失性存储器(例如,静态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如,闪存存储器等)等等。在非限制性示例中,存储器库903可通过高速缓冲存储器来实现。在一实施例中,对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321(或本文中讨论的其它模块)的一项或更多项可经图形处理单元902的执行单元(EU)来实现。EU例如可包括可编程逻辑或电路,如可提供广泛的可编程逻辑功能的逻辑核。在一实施例中,对象检测模块301、对象跟踪模块306、自动对象选择模块310、3A调整模块317和图像捕捉模块321(或本文中讨论的其它模块)的一项或更多项可经固定功能电路或诸如此类的专用硬件来实现。固定功能电路可包括专用逻辑或电路,并且可提供可映射到用于固定目的或功能的专用逻辑的固定功能入口点集。
返回图8的讨论,过程800可在操作801“跨图像帧跟踪第一和第二对象”开始,其中可跨两个或更多图像帧来跟踪至少第一对象和第二对象。例如,如经中央处理单元901实现的对象跟踪模块306可跨两个或更多图像帧来跟踪第一和第二对象。如所讨论的,可在任何帧频率(例如,每帧、每隔一帧,每隔二帧或每隔N-1帧)在任何数量的帧(例如,10到15或更多帧)内跟踪多个对象(例如,两个或更多对象)。跟踪多个对象可包括如相对于轨迹过滤器模块308讨论的,生成对象的过滤的轨迹。例如,如经中央处理单元901实现的对象跟踪模块301可生成过滤的轨迹。
在一些示例中,在操作801前,可已检测到多个对象(例如,包括第一和第二对象)。例如,第一对象、第二对象和/或任何数量的另外对象(例如,多个对象)可在操作801前由如经中央处理单元901实现的对象检测模块301检测到。对象检测可包括基于显著性的对象检测、基于面部的对象检测和/或基于图像描述符的对象检测的一项或更多项。
处理可在操作802“生成第一和第二对象选择度量”继续,其中可生成与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量。例如,与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量可由如经中央处理单元901实现的自动对象选择模块310生成。第一和第二对象选择度量可包括如本文中讨论的任何对象选择度量。例如,第一对象选择度量可包括:跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离;跨所述两个或更多图像帧对于第一对象的累积速度;跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较;跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和;跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。在一些示例中,第一对象选择度量可包括跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较。预测轨迹可包括闭环控制预测轨迹,并且轨迹比较可包括预测轨迹与实际轨迹之间的差别或预测轨迹与实际轨迹的动态时间规整比较。在一些示例中,第一对象选择度量可包括对于第一对象的预测对象轨迹与实际对象轨迹的轨迹比较。
处理可在操作803“将第一或第二对象选择为用于跟踪的目标对象”继续,其中基于第一和第二对象选择度量,可将第一对象或第二对象选择为用于跟踪的目标对象。例如,可由如经中央处理单元901实现的自动对象选择模块310选择第一对象或第二对象。可基于在操作802生成的对象选择度量,使用任何适合的技术选择第一或第二对象,如对象选择度量的最小值、对象选择度量的最大值或对象选择度量与预确定的目标的最接近匹配。
在操作803后,可基于选择的目标对象,执行单对象跟踪、3A调整和图像捕捉。例如,可执行目标对象的单对象跟踪,可至少部分基于目标对象来提供自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个,并且可基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。例如,如经中央处理单元901实现的对象跟踪模块306可执行目标对象的单对象跟踪。此外,诸如如经中央处理单元901实现的3A调整模块317等图像捕捉调整模块或电路可提供自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个,并且如经中央处理单元901实现的图像捕捉模块321可基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。
如所讨论的,在一些示例中,可基于第一对象或第二对象的选择,执行对象跟踪、3A调整和图像捕捉。在其它示例中,可基于第一对象或第二对象的选择,执行视频捕捉。在仍有的其它示例中,可基于第一对象或第二对象的选择,执行对象识别。
可为成像装置101的用户为任何次数的自动对象选择将过程800重复任何次数。如所讨论的,过程800可提供用于从多个被跟踪对象来自动选择目标对象,而无需用户干预,使得讨论的过程在操作期间提供方便的使用。例如,用户不必手动选择对象以捕捉图像、捕捉视频或者执行如本文中讨论的对象识别。
本文中描述的系统的各种组件可在软件、固件和/或硬件和/或其任何组合中被实现。例如,成像装置101、装置1100或系统900或1000的各种组件可至少部分由诸如在例如智能电话等计算系统中可找到的计算系统级芯片(SoC)的硬件提供。本领域技术人员可论文哑巴,本文中描述的系统可包括在对应图形中未显示的另外组件。例如,本文中讨论的系统可包括诸如通信模块和诸如此类等为清晰起见而未显示的另外组件。
虽然本文中讨论的示例过程的实现可包括以示出顺序采取显示的所有操作,但本公开在此方面不受限制,并且在各种示例中,本文中示例过程的实现可包括仅显示的操作的子集,以与所示不同顺序执行的操作或另外的操作。
另外,可响应一个或更多计算机程序产品提供的指令,采取本文中讨论的任何一个或更多操作。此类程序产品可包括提供指令的信号承载媒体,指令在由例如处理器执行时,可执行本文中所述功能性。计算机程序产品可以一个或更多计算机可读媒体的任何形式被提供。因此,例如,包括一个或更多图形处理单元或处理器核的处理器可响应由一个或更多机器可读媒体输送到处理器的程序代码和/或指令或指令集,采取本文中示例过程的一个或更多框。通常,机器可读媒体可输送程序代码和/或指令或指令集形式的软件,其可促使本文中描述的任何装置和/或系统实现至少部分的成像装置101、装置1100或系统900或1000或如本文中讨论的任何其它模块或组件。
在本文中所述的任何实现中使用时,术语“模块”指配置成提供本文中描述的功能性的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可实施为软件包、代码和/或指令集或指令,并且在本文中所述任何实现中使用时,“硬件”可例如单独地或以任何组合地包括硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。模块可共同地或各个地被实施为形成更大系统的一部分的电路,例如,集成电路(IC)、系统芯片(SOC)等。
图10是根据本公开的至少一些实现所布置的示例系统1000的说明性图形。在各种实现中,系统1000可以是媒体系统,但系统1000不限于此上下文。例如,系统1000可包含到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能装置(例如,智能电话、智能平板或智能电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、摄像机(例如,傻瓜摄像机、超级变焦摄像机、数码单镜头反射(DSLR)摄像机)等等。
在各种实现中,系统1000包括耦合到显示器1020的平台1002。平台1002可接收来自诸如内容服务装置1030或内容输送装置1040等内容装置或其它类似内容源的内容。包括一个或更多导航特征的导航控制器1050可用于与例如平台1002和/或显示器1020交互。下面更详细地描述每个这些组件。
在各种实现中,平台1002可包括芯片集1005、处理器1010、存储器1012、天线1013、存储装置1014、图形子系统1015、应用1016和/或无线电1018的任何组合。芯片集1005可在处理器1010、存储器1012、存储装置1014、图形子系统1015、应用1016和/或无线电1018之间提供相互通信。例如,芯片集1005可包括能够提供与存储装置1014的相互通信的存储适配器(未示出)。
处理器1010可被实现为复复杂指令集计算机(CISC)、精简指令集计算机(RISC)、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。在各种实现中,处理器1010可以是双核处理器、双核移动处理器等等。
存储器1012可被实现为易失性存储器装置,诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM (SRAM)。
存储装置1014可被实现为非易失性存储装置,诸如但不限于磁性磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附接的存储装置、闪存存储器、电池备份SDRAM(同步DRAM)和/或网络可访问的存储装置。在各种实现中,存储装置1014可包括在例如包括多个硬盘驱动器时增大对宝贵数字媒体的存储性能增强保护的技术。
图形子系统1015可执行诸如静态或视频等图像的处理以便显示。图形子系统1015例如可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可用于通信地耦合图形子系统1015和显示器1020。例如,接口可以是高清晰多媒体接口、显示端口、无线HDMI和/或符合无线HD标准的技术的任何项。图形子系统1015可集成到处理器1010或芯片集1005中。在一些实现中,图形子系统1015可以是通信地耦合到芯片集1005的独立装置。
本文中所述的图形和/或视频处理技术可在各种硬件体系结构中被实现。例如,图形和/或视频功能可集成在芯片集内。备选的是,可使用离散图形和/或视频处理器。作为仍有的另一实现,图形和/或视频功能可由包括多核处理器的通用处理器提供。在进一步的实施例中,功能可在消费者电子装置中被实现。
无线电1018可包括能够使用各种适合无线通信技术传送和接收信号的一个或更多无线电。此类技术可涉及跨一个或更多无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨此类网络进行通信中,无线电1018可根据任何版本的一个或更多适用标准操作。
在各种实现中,显示器1020可包括任何电视类型监视器或显示器。显示器1020例如可包括计算机显示器屏幕、触摸屏显示器、视频监视器、电视状装置和/或电视。显示器1020可以是数字和/或模拟显示器。在各种实现中,显示器1020可以是全息显示器。此外,显示器1020可以是可接收视觉投影的透明表面。此类投影可传达各种形式的信息、图像和/或对象。例如,此类投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或更多软件应用1016的控制下,平台1002可在显示器1020上显示用户接口1022。
在各种实现中,内容服务装置1030可由任何国家、国际和/或独立服务来主管,并且因此可由平台1002经例如因特网访问。内容服务装置1030可耦合到平台1002和/或显示器1020。平台1002和/或内容服务装置1030可耦合到网络1060以便传递(例如,发送和/或接收)网络1060的媒体信息。内容输送装置1040也可耦合到平台1002和/或显示器1020。
在各种实现中,内容服务装置1030可包括有线电视盒、个人计算机、网络、电话、因特网启用的装置或能够输送数字信息和/或内容的家电及能够经网络1060或直接在内容提供商与平台1002和/或显示器1020之间单向或双向传递内容的任何其它类似装置。将领会的是,可经网络1060向和从系统1000中的任何一个组件和内容提供商单向和/或双向传递内容。内容的示例可包括任何媒体信息,例如包括视频、音乐、医疗和游戏信息等等。
内容服务装置1030可接收诸如包括媒体信息、数字信息和/或其它内容的有线电视节目的内容。内容提供商的示例可包括任何有线或卫星电视或无线电或因特网内容提供商。提供的示例无意于以任何方式限制根据本公开的实现。
在各种实现中,平台1002可接收来自具有一个或更多导航特征的导航控制器1050的控制信号。控制器1050的导航特征可用于与例如用户接口1022交互。在各种实施例中,导航控制器1050可以是指点装置,指点装置可以是允许用户输入空间(例如,连续和多维)数据到计算机中的计算机硬件组件(具体而言,人机接口装置)。诸如图形用户接口(GUI)和电视与监视器等许多系统允许用户使用物理手势控制和提供数据到计算机或电视。
通过在显示器上显示的指针、光标、焦环或其它视觉指示器的移动,控制器1050的导航特征的移动可在显示器(例如,显示器1020)上重复进行。例如,在软件应用1016的控制下,位于导航控制器1050上的导航特征可映射到在例如用户接口1022上显示的虚拟导航特征。在各种实施例中,控制器1050可以不是单独的组件,而可以集成到平台1002和/或显示器1020中。然而,本公开不限于本文中所示或所述的元素或上下文中。
在各种实现中,例如,在启用时,驱动器(未示出)可包括允许用户在初始引导后通过按钮的点触立即开启和关闭像电视等平台1002的技术。即使平台“关闭”,程序逻辑也可允许平台1002将内容流传送到媒体适配器或其它内容服务装置1030或内容输送装置1040。另外,芯片集1005例如可包括对5.1环绕立体声音频和/或高清晰7.1环绕立体声的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在各种实施例中,图形驱动器可包括外围组件互连(PCI)高速(Express)图形卡。
在各种实现中,系统1000中所示任何一个或更多组件均可集成。例如,平台1002和内容服务装置1030可集成,或者平台1002和内容输送装置1040可集成,或者平台1002、内容服务装置1030和内容输送装置1040可集成。在各种实施例中,平台1002和显示器1020可以是集成单元。例如,显示器1020和内容服务装置1030可集成,或者显示器1020和内容输送装置1040可集成。这些示例无意限制本公开。
在各种实施例中,系统1000可被实现为无线系统、有线系统或两者的组合。在实现为无线系统时,系统1000可包括适合通过无线共享媒体通信的组件和接口,如一个或更多天线、发射器、接收器、收发器、放大器、过滤器、控制逻辑等等。无线共享媒体的一个示例可包括部分无线频谱,如RF频谱等。在实现为有线系统时,系统1000可包括适合通过有线通信媒体通信的组件和接口,如输入/输出(I/O)适配器、将I/O适配器与对应有线通信媒体连接的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器及诸如此类。有线通信媒体的示例可包括导线、电缆、金属引脚、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台1002可建立一个或更多逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可指表示对用户有意义的内容的任何数据。内容的示例例如可包括来自话音交谈、视频会议、流传送视频、电子邮件(“email”)消息、话音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自话音交谈的数据例如可以是语音信息、静音期间、背景噪声、柔和噪声、音调等等。控制信息可指表示对自动化系统有意义的命令、指令或控制字的任何数据。例如,控制信息可用于通过系统路由媒体信息,或者指示节点以预定方式处理媒体信息。然而,实施例不限于图10中所示或所述的元素或上下文中。
如上所述,系统1000可以变化的物理样式或形状因数来实施。图11示出根据本公开的至少一些实现所布置的示例小形状因数装置1100。在一些示例中,系统1000可经装置1100来实现。在其它示例中,成像装置101、系统900或其部分可经装置1100来实现。在各种实施例中,例如,装置1100可被实现为具有无线能力的移动计算装置。移动计算装置例如可指具有处理系统和例如一个或更多电池的移动电力源或供应的任何装置。
移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能装置(例如,智能电话、智能平板或智能移动电视)、移动因特网装置(MID)、消息传递装置、数据通信装置、摄像机(例如,傻瓜摄像机、超级变焦摄像机、数码单镜头反射(DSLR)摄像机)等等。
移动计算装置的示例也可包括布置成由人佩戴的计算机,如腕部计算机、手指计算机、指环计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、衣服计算机及其它可穿戴计算机。在各种实施例中,例如,移动计算装置可被实现为能够执行计算机应用及话音通信和/或数据通信的智能电话。虽然一些实施例可通过示例,借助于实现为智能电话的移动计算装置进行描述,但可理解,其它实施例也可使用其它无线移动计算装置来实现。实施例在此上下文中并不受限制。
如图11中所示,装置1100可包括带有前部1101和后部1102的外壳。装置1100包括显示器1104、输入/输出(I/O)装置1106和集成天线1108。装置1100也可包括导航特征1112。I/O装置1106可包括用于将信息输入移动计算装置中的任何合适的I/O装置。用于I/O装置1106的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、话音识别装置和软件等等。信息也可通过麦克风(未显示)输入到装置1100中,或者可由话音识别装置数字化。如图所示,装置1100可包括摄像机1105(例如,包括镜头、光圈和成像传感器)和集成到装置1100的后部1102(或别外)的闪光装置1110。在其它示例中,摄像机1105和闪光装置1110可集成到装置1110的前部1101,或者可提供前置和后置摄像机。摄像机1105和闪光装置1110可以是发起被处理成流传送视频的图像数据的摄像机模块的组件,所述流传送视频被输出到显示器1104和/或例如经天线1108从装置1100被远程传递。
各种实施例可使用硬件元素、软件元素或两者的组合来实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素(例如,晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用、计算机程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元素和/或软件元素来实现可根据任何数量的因素而变化,如期望的计算速率、功率级别、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
至少一个实施例的一个或更多方面可由在表示处理器内各种逻辑的机器可读媒体上存储的代表性指令来实现,指令在由机器读取时,促使机器制造逻辑以执行本文中所述技术。称为IP核的此类表示可存储在有形的机器可读媒体上,并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机中。
虽然本文中陈述的某些特征已参照各种实现进行了描述,但描述并无限制意义。因此,本公开有关领域的技术人员明白本文中所述实现的各种修改及其它实现,这些均应视为位于本公开的精神和范围内。
以下示例涉及进一步的实施例。
在一个或更多第一实施例中,一种用于为成像装置提供从多个被跟踪对象的自动对象选择的方法包括跨两个或更多图像帧来跟踪至少第一对象和第二对象,生成与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量,并且至少部分基于第一对象选择度量和第二对象选择度量将第一对象或第二对象选择为用于跟踪的目标对象。
对第一实施例进一步的是,第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度或跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较。
对第一实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和。
对第一实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
对第一实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和或跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和中的至少一个。
对第一实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较,其中预测轨迹包括闭环控制预测轨迹,并且其中轨迹比较包括预测轨迹与实际轨迹之间的差别或预测轨迹和实际轨迹的动态时间规整比较中的至少一个。
对第一实施例进一步的是,第一对象选择度量包括对于第一对象的预测对象轨迹与实际对象轨迹的轨迹比较。
对第一实施例进一步的是,所述方法还包括检测包括至少第一对象和第二对象的多个对象,执行目标对象的单对象跟踪,至少部分基于目标对象来执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个,以及基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。
对第一实施例进一步的是,所述方法还包括检测包括至少第一对象和第二对象的多个对象,执行目标对象的单对象跟踪,至少部分基于目标对象来执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个,以及基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像,其中检测所述多个对象包括基于显著性的对象检测、基于面部的对象检测或基于图像描述符的对象检测中的至少一个。
对第一实施例进一步的是,跟踪第一对象包括生成第一对象的过滤的轨迹。
对第一实施例进一步的是,所述方法还包括基于目标对象来执行对象识别。
在一个或更多第二实施例中,一种用于为成像装置提供从多个被跟踪对象的自动对象选择的系统包括配置成存储图像数据的存储器和耦合到存储器的中央处理单元,其中中央处理单元包括用于跨两个或更多图像帧来跟踪至少第一对象和第二对象的对象跟踪电路、用于生成与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量并且至少部分基于第一对象选择度量和第二对象选择度量将至少第一对象或第二对象选择为用于跟踪的目标对象的自动对象选择电路。
对第二实施例进一步的是,第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度或跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较。
对第二实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和。
对第二实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
对第二实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和或跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和中的至少一个。
对第二实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较,其中预测轨迹包括闭环控制预测轨迹,并且其中轨迹比较包括预测轨迹与实际轨迹之间的差别或预测轨迹和实际轨迹的动态时间规整比较中的至少一个。
对第二实施例进一步的是,第一对象选择度量包括对于第一对象的预测对象轨迹与实际对象轨迹的轨迹比较。
对第二实施例进一步的是,所述系统还包括用于检测包括至少第一对象和第二对象的多个对象的对象检测电路、用于至少部分基于目标对象来提供自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个的图像捕捉调整电路和用于基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像的图像捕捉电路,其中对象跟踪电路将执行目标对象的单对象跟踪。
对第二实施例进一步的是,所述系统还包括用于检测包括至少第一对象和第二对象的多个对象的对象检测电路、用于至少部分基于目标对象来提供自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个的图像捕捉调整电路和用于基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像的图像捕捉电路,其中对象跟踪电路将执行目标对象的单对象跟踪,其中对象检测电路将基于基于显著性的对象检测、基于面部的对象检测或基于图像描述符的对象检测中的至少一个来检测所述多个对象。
对第二实施例进一步的是,对象跟踪电路将生成第一对象的过滤的轨迹。
对第二实施例进一步的是,所述系统还包括用于基于目标对象来执行对象识别的对象识别电路。
在一个或更多第三实施例中,一种用于提供从多个被跟踪对象的自动对象选择的系统包括用于跨所述两个或更多图像帧来跟踪至少第一对象和第二对象的部件、用于生成与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量的部件和用于至少部分基于第一对象选择度量和第二对象选择度量将第一对象或第二对象选择为用于跟踪的目标对象的部件。
对第三实施例进一步的是,第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度或跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较。
对第三实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和。
对第三实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
对第三实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较,其中预测轨迹包括闭环控制预测轨迹,并且其中轨迹比较包括预测轨迹与实际轨迹之间的差别或预测轨迹和实际轨迹的动态时间规整比较中的至少一个。
对第三实施例进一步的是,所述系统还包括用于检测包括至少第一对象和第二对象的多个对象的部件、用于执行目标对象的单对象跟踪的部件、用于至少部分基于目标对象来执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个的部件及用于基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像的部件。
对第三实施例进一步的是,用于跟踪第一对象的部件包括用于生成第一对象的过滤的轨迹的部件。
在一个或更多第四实施例中,至少一个机器可读媒体包括多个指令,所述指令响应在成像装置上被执行,促使成像装置通过以下操作来提供从多个被跟踪对象的自动对象选择:跨两个或更多图像帧来跟踪至少第一对象和第二对象,生成与第一对象关联的第一对象选择度量和与第二对象关联的第二对象选择度量,以及至少部分基于第一对象选择度量和第二对象选择度量将至少第一对象或第二对象选择为用于跟踪的目标对象。
对第四实施例进一步的是,第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度或跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较。
对第四实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于第一对象的累积速度的加权和。
对第四实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧距对于第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于第一对象的累积速度和跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
对第四实施例进一步的是,第一对象选择度量包括跨所述两个或更多图像帧对于第一对象的预测轨迹与实际轨迹的轨迹比较,其中预测轨迹包括闭环控制预测轨迹,并且其中轨迹比较包括预测轨迹与实际轨迹之间的差别或预测轨迹和实际轨迹的动态时间规整比较中的至少一个。
对第四实施例进一步的是,所述机器可读媒体还包括促使计算装置通过以下操作提供从多个被跟踪对象的自动对象选择的指令:检测包括至少第一对象和第二对象的多个对象,执行目标对象的单对象跟踪,至少部分基于目标对象来执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个,以及基于自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。
对第四实施例进一步的是,跟踪第一对象包括生成第一对象的过滤的轨迹。
在一个或更多第五实施例中,至少一个机器可读媒体可包括多个指令,所述指令响应在计算装置上被执行,促使计算装置执行根据任何一个上述实施例的方法。
在一个或更多第六实施例中,一种设备可包括用于执行根据任何一个上述实施例的方法的部件。
将认识到的是,实施例不限于如此描述的实施例,而是能够在不脱离随附权利要求的范围的情况下通过修改和变化而被实践。例如,上述实施例可包括特征的特定组合。然而,上述实施例在此方面不受限制,并且在各种实现中,上述实施例可包括采取此类特征的仅仅子集,采取此类特征的不同顺序,采取此类特征的不同组合,和/或采取与明确列出的那些特征不同的另外特征。因此,实施例的范围应参照所附权利要求连同此类权利要求被授权的等同的完全范围而被确定。

Claims (31)

1.一种用于为成像装置提供从多个被跟踪对象的自动对象选择的方法,包括:
跨两个或更多图像帧来跟踪至少第一对象和第二对象;
生成与所述第一对象关联的第一对象选择度量和与所述第二对象关联的第二对象选择度量;以及
至少部分基于所述第一对象选择度量和所述第二对象选择度量,将所述第一对象或所述第二对象选择为用于跟踪的目标对象。
2.如权利要求1所述的方法,其中所述第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度或跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较。
3.如权利要求1所述的方法,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于所述第一对象的累积速度的加权和。
4.如权利要求1所述的方法,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度和跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
5.如权利要求1所述的方法,其中所述第一对象选择度量包括跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较,其中所述预测轨迹包括闭环控制预测轨迹,并且其中所述轨迹比较包括所述预测轨迹与所述实际轨迹之间的差别或所述预测轨迹和所述实际轨迹的动态时间规整比较中的至少一个。
6.如权利要求1所述的方法,其中所述第一对象选择度量包括对于所述第一对象的预测对象轨迹与实际对象轨迹的轨迹比较。
7.如权利要求1所述的方法,还包括:
检测包括至少所述第一对象和所述第二对象的多个对象;
执行所述目标对象的单个对象跟踪;
至少部分基于所述目标对象,执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个;以及
基于所述自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。
8.如权利要求7所述的方法,其中检测所述多个对象包括基于显著性的对象检测、基于面部的对象检测或基于图像描述符的对象检测中的至少一个。
9.如权利要求1所述的方法,其中跟踪所述第一对象包括生成所述第一对象的过滤的轨迹。
10.如权利要求1所述的方法,还包括:
基于所述目标对象,执行对象识别。
11. 一种用于为成像装置提供从多个被跟踪对象的自动对象选择的系统,包括:
存储器,配置成存储图像数据;以及
中央处理单元,耦合到所述存储器,其中所述中央处理单元包括:
对象跟踪电路,用于跨两个或更多图像帧来跟踪至少第一对象和第二对象;以及
自动对象选择电路,用于生成与所述第一对象关联的第一对象选择度量和与所述第二对象关联的第二对象选择度量,并且至少部分基于所述第一对象选择度量和所述第二对象选择度量,将至少所述第一对象或所述第二对象选择为用于跟踪的目标对象。
12.如权利要求11所述的系统,其中所述第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度或跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较。
13.如权利要求11所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于所述第一对象的累积速度的加权和。
14.如权利要求11所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度和跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
15.如权利要求11所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较,其中所述预测轨迹包括闭环控制预测轨迹,并且其中所述轨迹比较包括所述预测轨迹与所述实际轨迹之间的差别或所述预测轨迹和所述实际轨迹的动态时间规整比较中的至少一个。
16.如权利要求11所述的系统,还包括:
对象检测电路,用于检测包括至少所述第一对象和所述第二对象的多个对象;
图像捕捉调整电路,用于至少部分基于所述目标对象来提供自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个;以及
图像捕捉电路,用于基于所述自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像,
其中所述对象跟踪电路将执行所述目标对象的单对象跟踪。
17.如权利要求11所述的系统,其中所述对象跟踪电路将生成所述第一对象的过滤的轨迹。
18.一种用于提供从多个被跟踪对象的自动对象选择的系统,包括:
用于跨两个或更多图像帧来跟踪至少第一对象和第二对象的部件;
用于生成与所述第一对象关联的第一对象选择度量和与所述第二对象关联的第二对象选择度量的部件;以及
用于至少部分基于所述第一对象选择度量和所述第二对象选择度量将所述第一对象或所述第二对象选择为用于跟踪的目标对象的部件。
19.如权利要求18所述的系统,其中所述第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度或跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较。
20.如权利要求18所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于所述第一对象的累积速度的加权和。
21.如权利要求18所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度和跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
22.如权利要求18所述的系统,其中所述第一对象选择度量包括跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较,其中所述预测轨迹包括闭环控制预测轨迹,并且其中所述轨迹比较包括所述预测轨迹与所述实际轨迹之间的差别或所述预测轨迹和所述实际轨迹的动态时间规整比较中的至少一个。
23.如权利要求18所述的系统,还包括:
用于检测包括至少所述第一对象和所述第二对象的多个对象的部件;
用于执行所述目标对象的单个对象跟踪的部件;
用于至少部分基于所述目标对象来执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个的部件;以及
用于基于所述自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像的部件。
24.如权利要求18所述的系统,其中用于跟踪所述第一对象的所述部件包括用于生成所述第一对象的过滤的轨迹的部件。
25.至少一个包括多个指令的机器可读媒体,所述指令响应于在成像装置上被执行,促使所述成像装置通过以下操作来提供从多个被跟踪对象的自动对象选择:
跨两个或更多图像帧来跟踪至少第一对象和第二对象;
生成与所述第一对象关联的第一对象选择度量和与所述第二对象关联的第二对象选择度量;以及
至少部分基于所述第一对象选择度量和所述第二对象选择度量,将至少所述第一对象或所述第二对象选择为用于跟踪的目标对象。
26.如权利要求25所述的机器可读媒体,其中所述第一对象选择度量包括以下的至少一个:跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度或跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较。
27.如权利要求25所述的机器可读媒体,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离和跨所述两个或更多图像帧对于所述第一对象的累积速度的加权和。
28.如权利要求25所述的机器可读媒体,其中所述第一对象选择度量包括跨所述两个或更多图像帧距对于所述第一对象的帧中心的累积距离、跨所述两个或更多图像帧对于所述第一对象的累积速度和跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较的加权和。
29.如权利要求25所述的机器可读媒体,其中所述第一对象选择度量包括跨所述两个或更多图像帧对于所述第一对象的预测轨迹与实际轨迹的轨迹比较,其中所述预测轨迹包括闭环控制预测轨迹,并且其中所述轨迹比较包括所述预测轨迹与所述实际轨迹之间的差别或所述预测轨迹和所述实际轨迹的动态时间规整比较中的至少一个。
30.如权利要求25所述的机器可读媒体,还包括促使所述计算装置通过以下操作提供从多个被跟踪对象的自动对象选择的指令:
检测包括至少所述第一对象和所述第二对象的多个对象;
执行所述目标对象的单个对象跟踪;
至少部分基于所述目标对象,执行自动对焦调整、自动曝光调整或自动白平衡调整中的至少一个;以及
基于所述自动对焦调整、自动曝光调整或自动白平衡调整来捕捉图像。
31.如权利要求25所述的机器可读媒体,其中跟踪所述第一对象包括生成所述第一对象的过滤的轨迹。
CN201580056041.5A 2014-11-14 2015-10-07 用于多目标对象跟踪的自动目标选择 Expired - Fee Related CN106796657B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/541631 2014-11-14
US14/541,631 US9684830B2 (en) 2014-11-14 2014-11-14 Automatic target selection for multi-target object tracking
PCT/US2015/054509 WO2016076984A1 (en) 2014-11-14 2015-10-07 Automatic target selection for multi-target object tracking

Publications (2)

Publication Number Publication Date
CN106796657A true CN106796657A (zh) 2017-05-31
CN106796657B CN106796657B (zh) 2020-10-30

Family

ID=55954826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580056041.5A Expired - Fee Related CN106796657B (zh) 2014-11-14 2015-10-07 用于多目标对象跟踪的自动目标选择

Country Status (3)

Country Link
US (1) US9684830B2 (zh)
CN (1) CN106796657B (zh)
WO (1) WO2016076984A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805218A (zh) * 2018-06-21 2018-11-13 中国人民解放军国防科技大学 一种基于偏差映射聚类的光学目标关联方法
CN111325089A (zh) * 2018-12-13 2020-06-23 安讯士有限公司 跟踪对象的方法和设备
CN111601032A (zh) * 2020-04-27 2020-08-28 维沃移动通信(杭州)有限公司 一种拍摄方法、装置及电子设备
CN111831178A (zh) * 2020-06-29 2020-10-27 中国科学院软件研究所 一种基于运动趋势信息的三维环境下辅助目标选择方法及系统
WO2021248348A1 (en) * 2020-06-10 2021-12-16 Plantronics, Inc. Tracker activation and deactivation in a videoconferencing system
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469167B (zh) * 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
US10595037B2 (en) * 2016-10-28 2020-03-17 Nec Corporation Dynamic scene prediction with multiple interacting agents
US11615623B2 (en) * 2018-02-19 2023-03-28 Nortek Security & Control Llc Object detection in edge devices for barrier operation and parcel delivery
CN108897777B (zh) * 2018-06-01 2022-06-17 深圳市商汤科技有限公司 目标对象追踪方法及装置、电子设备和存储介质
US20200019841A1 (en) * 2018-07-12 2020-01-16 Vmware, Inc. Neural network model for predicting usage in a hyper-converged infrastructure
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11488374B1 (en) 2018-09-28 2022-11-01 Apple Inc. Motion trajectory tracking for action detection
AU2019201192A1 (en) 2019-02-20 2020-09-03 Canon Kabushiki Kaisha Method, system and apparatus for capturing an image
CN112561954B (zh) * 2020-09-11 2023-07-14 浙江大华技术股份有限公司 目标对象跟踪轨迹的确定方法和装置、存储介质
CN112257587B (zh) * 2020-10-22 2023-12-22 无锡禹空间智能科技有限公司 目标对象的检测效果评估方法、装置、存储介质及设备
CN112561948B (zh) * 2020-12-22 2023-11-21 中国联合网络通信集团有限公司 基于时空轨迹的伴随轨迹识别方法、设备及存储介质
CN113377977A (zh) * 2021-06-17 2021-09-10 深圳市睿联技术股份有限公司 一种视频信息生成方法、装置、系统和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258152A1 (en) * 2003-06-19 2004-12-23 Herz William S. System and method for using motion vectors for object tracking
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
US20100053358A1 (en) * 2008-08-26 2010-03-04 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20110241991A1 (en) * 2009-10-07 2011-10-06 Yasunobu Ogura Tracking object selection apparatus, method, program and circuit
US20120219174A1 (en) * 2011-02-24 2012-08-30 Hao Wu Extracting motion information from digital video sequences
US20120237081A1 (en) * 2011-03-16 2012-09-20 International Business Machines Corporation Anomalous pattern discovery
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866606B1 (en) * 1996-10-04 2004-12-29 Nippon Telegraph And Telephone Corporation Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
EP1522875B1 (en) * 2003-09-30 2012-03-21 Esaote S.p.A. A method of tracking position and velocity of object's borders in two or three dimensional digital echographic images
BRPI0719033A2 (pt) * 2006-12-01 2013-11-05 Thomson Licensing Estimativa de uma localização de um objeto em uma imagem
WO2009124151A2 (en) * 2008-04-01 2009-10-08 University Of Southern California Video feed target tracking
US8170278B2 (en) * 2008-08-06 2012-05-01 Sri International System and method for detecting and tracking an object of interest in spatio-temporal space
JP4815488B2 (ja) * 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
US8611590B2 (en) * 2008-12-23 2013-12-17 Canon Kabushiki Kaisha Video object fragmentation detection and management
US8811666B2 (en) * 2009-08-06 2014-08-19 Kabushiki Kaisha Toshiba Monitoring of video images
KR101652311B1 (ko) 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US8384787B2 (en) * 2011-02-24 2013-02-26 Eastman Kodak Company Method for providing a stabilized video sequence
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CA2933095A1 (en) * 2014-02-20 2015-08-27 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US20040258152A1 (en) * 2003-06-19 2004-12-23 Herz William S. System and method for using motion vectors for object tracking
US20090244309A1 (en) * 2006-08-03 2009-10-01 Benoit Maison Method and Device for Identifying and Extracting Images of multiple Users, and for Recognizing User Gestures
US20100053358A1 (en) * 2008-08-26 2010-03-04 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20110241991A1 (en) * 2009-10-07 2011-10-06 Yasunobu Ogura Tracking object selection apparatus, method, program and circuit
US20120219174A1 (en) * 2011-02-24 2012-08-30 Hao Wu Extracting motion information from digital video sequences
US20120237081A1 (en) * 2011-03-16 2012-09-20 International Business Machines Corporation Anomalous pattern discovery
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805218A (zh) * 2018-06-21 2018-11-13 中国人民解放军国防科技大学 一种基于偏差映射聚类的光学目标关联方法
CN108805218B (zh) * 2018-06-21 2021-12-28 中国人民解放军国防科技大学 一种基于偏差映射聚类的光学目标关联方法
CN111325089A (zh) * 2018-12-13 2020-06-23 安讯士有限公司 跟踪对象的方法和设备
CN111601032A (zh) * 2020-04-27 2020-08-28 维沃移动通信(杭州)有限公司 一种拍摄方法、装置及电子设备
WO2021248348A1 (en) * 2020-06-10 2021-12-16 Plantronics, Inc. Tracker activation and deactivation in a videoconferencing system
US11805225B2 (en) 2020-06-10 2023-10-31 Plantronics, Inc. Tracker activation and deactivation in a videoconferencing system
CN111831178A (zh) * 2020-06-29 2020-10-27 中国科学院软件研究所 一种基于运动趋势信息的三维环境下辅助目标选择方法及系统
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Also Published As

Publication number Publication date
US20160140391A1 (en) 2016-05-19
US9684830B2 (en) 2017-06-20
CN106796657B (zh) 2020-10-30
WO2016076984A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
CN106796657A (zh) 用于多目标对象跟踪的自动目标选择
CN108549863B (zh) 人体姿态预测方法、装置、设备及存储介质
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN108629747B (zh) 图像增强方法、装置、电子设备及存储介质
US20220092813A1 (en) Position and pose determining method, apparatus, smart device, and storage medium
US9940717B2 (en) Method and system of geometric camera self-calibration quality assessment
CN107079141B (zh) 用于三维视频的图像拼接
CN106464807A (zh) 用于基于相位的自动聚焦的可靠性测量
CN109522426B (zh) 多媒体数据推荐方法、装置、设备及计算机可读存储介质
CN108604379A (zh) 用于确定图像中的区域的系统及方法
CN107079100A (zh) 用于相机阵列的透镜移位校正的方法和系统
CN110555883A (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
CN106797451A (zh) 具有模型验证和管理的视觉对象跟踪系统
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
CN107257980A (zh) 视频中的局部改变检测
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
CN110163806A (zh) 一种图像处理方法、装置以及存储介质
CN106464800B (zh) 用于成像设备的自动防眩光曝光的方法、系统、机器可读介质及计算设备
CN111680697B (zh) 实现领域自适应的方法、装置、电子设备及介质
CN109035334A (zh) 位姿的确定方法和装置、存储介质及电子装置
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN108108704A (zh) 人脸识别方法及移动终端
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN103533228B (zh) 用于从多个图像产生完美拍摄成像的方法和系统
CN108200335A (zh) 基于双摄像头的拍照方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030

Termination date: 20211007

CF01 Termination of patent right due to non-payment of annual fee