CN108604379A - 用于确定图像中的区域的系统及方法 - Google Patents

用于确定图像中的区域的系统及方法 Download PDF

Info

Publication number
CN108604379A
CN108604379A CN201680081425.7A CN201680081425A CN108604379A CN 108604379 A CN108604379 A CN 108604379A CN 201680081425 A CN201680081425 A CN 201680081425A CN 108604379 A CN108604379 A CN 108604379A
Authority
CN
China
Prior art keywords
image
motion
electronic device
region
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680081425.7A
Other languages
English (en)
Inventor
塞拉姆·孙达雷桑
高大山
钟辛
张雷
齐颖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108604379A publication Critical patent/CN108604379A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明描述一种用于确定图像的区域的方法。所述方法包含呈现包含一或多个对象的场景的图像。所述方法还包含接收在对应于目标对象的所述图像上选择单个点的输入。所述方法进一步包含基于所述图像获得运动掩模。所述运动掩模指示所述图像的局部运动截面及全局运动截面。所述方法进一步包含基于所述选定点及所述运动掩模确定所述图像中的区域。

Description

用于确定图像中的区域的系统及方法
技术领域
本发明大体来说涉及电子装置。更具体来说，本发明涉及用于确定图像中的区域的系统及方法。
背景技术
一些电子装置(例如，摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄像机、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、遥控飞机、智能应用程序、保健设备、机顶盒，等)捕获及/或利用图像。例如，智能电话可捕获及/或处理静止及/或视频图像。处理图像可能需要相对大量的时间，存储器及能量资源。所需资源可根据处理的复杂性而变化。
可能难以隔离图像中的对象。例如，可能难以将图像中的对象与图像中的其它内容(例如，风景)精确地分离。如从此论述可观察到，改进图像处理的系统及方法可为有益的。
发明内容
描述一种用于确定图像的区域的方法。所述方法包含呈现包含一或多个对象的场景的图像。所述方法还包含接收在对应于目标对象的所述图像上选择单个点的输入。所述方法进一步包含基于所述图像获得运动掩模。所述运动掩模指示所述图像的局部运动截面及全局运动截面。所述方法进一步包含基于所述选定点及所述运动掩模确定所述图像中的区域。
确定所述区域可包含基于选定点生成截面图。截面图可包含对应于选定点的的目标截面、可能目标截面、可能非目标截面及非目标截面。确定所述区域可包含组合截面图及运动掩模。所述方法可包含基于所述区域分段图像以产生对象掩模。
所述方法可包含融合运动信息及颜色信息。所述方法可包含基于选定点及运动掩模来确定图像中的非目标区域。
获得运动掩模可包含确定前一帧与当前帧之间的关注区域内的一组局部运动矢量。获得运动掩模还可包含确定前一帧与当前帧之间的一组全局运动矢量。获得运动掩模可进一步包含基于所述组全局运动矢量计算全局运动一致性度量。
所述方法可包含基于所述区域跟踪目标对象。所述区域可对应于目标对象。所述方法可包含基于所述区域生成关注区域(ROI)。所述方法可包含基于所述区域选择目标对象。所述方法可包含呈现目标对象的指示。
还描述一种用于确定图像的区域的电子装置。所述电子装置包含处理器。处理器经配置以呈现包含一或多个对象的场景的图像。处理器还经配置以接收选择对应于目标对象的图像上的单个点的输入。处理器经进一步配置以基于图像获得运动掩模。所述运动掩模指示所述图像的局部运动截面及全局运动截面。处理器另外经配置以基于选定点及运动掩模来确定图像中的区域。
还描述了用于确定图像的区域的设备。所述设备包含用于呈现包含一或多个对象的场景的图像的装置。所述设备还包含用于接收选择对应于目标对象的图像上的单个点的输入的装置。所述设备进一步包含用于基于图像获得运动掩模的装置。所述运动掩模指示所述图像的局部运动截面及全局运动截面。所述设备另外包含用于基于选定点及运动掩模确定图像中的区域的装置。
还描述用于确定图像的区域的计算机程序产品。计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置呈现包含一或多个对象的场景的图像的代码。所述指令还包含用于致使电子装置接收选择对应于目标对象的图像上的单个点的输入的代码。指令进一步包含用于致使电子装置基于图像获得运动掩模的代码。所述运动掩模指示所述图像的局部运动截面及全局运动截面。所述指令另外包含用于致使电子装置基于选定点及运动掩模来确定图像中的区域的代码。
附图说明
图1为说明其中可实施用于确定图像的区域的系统及方法的电子装置的一个实例的框图；
图2为说明用于确定图像的区域的方法的一个配置的流程图；
图3说明用于产生对象掩模的组件的实例；
图4说明运动掩模获得器的配置的更具体实例；
图5为说明用于获得运动掩模的方法的一个配置的流程图；
图6为说明图像、一组全局运动矢量、关注区域及一组局部运动矢量的实例的图；
图7说明截面图的一个实例；
图8说明区域图生成的实例；
图9说明基于区域图的图像分段的实例；
图10说明没有运动辅助区域图生成的方法与运动辅助区域图生成方法之间的比较的实例；
图11说明没有运动辅助区域图生成的方法与运动辅助区域图生成方法之间的比较的另一实例；
图12为说明用于确定图像的区域的方法的更特定配置的流程图；
图13为说明其中可实施用于确定图像的区域的系统及方法的电子装置的更特定实例的框图；及
图14说明可包含在经配置以实施本文中所揭示的系统及方法的各种配置的电子装置内的某些组件。
具体实施方式
本文中揭示的系统及方法可涉及确定图像的区域。例如，本文中所揭示的系统及方法的一些配置可涉及用于交互式对象分段的区域确定(例如，自动涂写生成)及/或使用分段算法(例如，运动辅助分段)的单触式对象选择。
在一些图像分段方法(例如，一些基于涂写的前景/背景分段，基于所选择区域分段及/或“交互式图像分段”的方法)中，可能需要用户提供一组前景及背景涂写以便实现准确分段。“涂写”可为一组多个点，其中多个点可为连续的(例如，在线或曲线中)或不连续的。手动提供这些涂写给用户带来了很大的负担，这使得使用此技术的应用程序的吸引力降低，特别是对于移动电话用户来说。例如，用户可能难以提供关于视频中的移动对象的准确的涂写。因此，一个具有挑战性的问题为减少(例如，最小化)用户输入，同时最大化分段的质量。
在对象选择及/或跟踪的上下文中可能出现额外或替代的困难。例如，当对象跟踪器尝试选择图像中的对象时，问题可能显而易见。基于用户的输入(例如，触摸)产生的选择可为不完整的(例如，对象跟踪器仅部分地选择对象)。虽然一些物体跟踪器可能会考虑颜色及运动，但其可能不会融合信息。相反，其可在两个来源之间进行选择。仅利用运动或颜色可能导致一些限制，例如仅选择对象的一部分或选择多于对象，这可能导致使用该选择作为输入的算法的不准确性。
对象选择可为若干计算机视觉使用状况(例如，跟踪、辨识等)中的重要操作，其中选择的准确性可能显著影响最终结果的准确性及质量。单个选定点(例如，单个触摸点、单个鼠标单击点、单个指示像素等)可为指示对关注对象的选择的一种方式。当选择非常小的对象及/或移动对象时，单个选定点可能更准确。本文中所揭示的系统及方法可基于单个选定点(例如，来自用户的单个触摸点)来准确选择关注对象。在给定来自用户的单个选定点(例如，触摸输入)的情况下，本文中所揭示的系统及方法的一些配置准确地选择关注对象。
在本文中所揭示的系统及方法的一些配置中，可通过利用局部及全局运动分析来基于单个选定点(例如，触摸点)的位置来执行用于交互式对象分段的自动区域生成(例如，背景及前景区域生成)。代替用以表示前景及背景的数个涂写，可利用来自用户的单个选定点(例如，触摸输入)来自动地生成用于分段的区域(例如，涂写，笔划等)。这可基于简单输入(例如，由用户容易地提供)来实现移动对象的分段。
本文中所揭示的系统及方法的一些配置可利用对象特性(例如，颜色、结构等)以及动机来准确地分段及/或选择对象。本文中所揭示的系统及方法的一些示例可在分段框架(例如，基于涂写的分段框架)中组合(例如，融合)颜色及运动信息。框架可考虑一或多个对象特征(例如，颜色、结构等)及运动以准确地分段及选择对象。本文中所描述的系统及方法的一些配置可放松分段算法(例如，基于涂写的分段算法)中的一些约束，这可实现速度的显著增加。分段速度的提高可实现实时性能。
本文中所揭示的系统及方法的一些配置可提供单个选定点分段(例如，单触式分段)、单个选定点跟踪(例如，单触式跟踪)、交互式图像修改或操纵(例如，对象移除、对象克隆等)、对象辨识、对象检测及/或自动变焦等。本文中所揭示的系统及方法可在各种装置及/或平台中实施。例如，本文中所揭示的系统及方法可在移动平台(例如，智能电话、蜂窝电话、平板装置、膝上型计算机、数码摄像机、可穿戴式装置，无人驾驶飞机，等)、汽车平台(例如，车辆、卡车、汽车等)、机器人及/或其它平台来实施。
本文中所揭示的系统及方法的一些配置可可靠地分段(例如，改进分段的质量)及/或选择关注对象。通过提供快速操作(例如，实时性能)，本文中所揭示的系统及方法可能是有益的。本文中所揭示的系统及方法的一些特征可包括自动确定区域(例如，前景及/或背景区域)，使得来自用户的唯一输入为指示目标对象(例如，关注对象)的位置的单个选定点(例如，触摸点)。一些配置可实时执行及/或可利用运动估计(来自两个或多于两个连续帧)以基于单个选定点(例如，由用户触摸屏幕提供)生成区域(例如，目标及非目标区域，前景及背景区域等)。本文中所揭示的系统及方法的单个选定点方法可实现移动对象的选择，所述选择原本使用基于涂写的方法可能是困难的。
本文中所揭示的系统及方法的一些配置可利用一或多个分段算法。一些分段算法可利用基于涂写的分段。例如，基于涂写的分段可为可在若干应用程序中使用的稳健技术。然而，基于涂写的分段的一个限制为它可能仅考虑颜色空间(例如，红色、绿色及蓝色(RGB)空间)而不考虑对象运动。基于涂写的分段也可能为计算密集型的。
本文中所揭示的系统及方法可解决这些限制中的一或多个。本文中所揭示的系统及方法的一些配置可修改基于涂写的分段及/或可结合基于涂写的分段来实施，以便考虑运动信息及/或减少计算负荷。例如，本文中所揭示的系统及方法可基于单个选定点(例如，触摸位置)的位置提供初始关注区域(ROI)(例如，边界框)估计。可利用运动提示来细化初始(例如，暂时)ROI估计。另外或替代地，可从基于涂写的分段中恢复粗糙掩模。恢复粗糙掩码可能会显著加快算法速度。因此，本文中所揭示的系统及方法可在一些配置中使用基于涂写的分段来提供单个选定点(例如，单触)对象选择。应注意，除了基于涂写的分段之外的其它分段方法及/或算法可用在其它配置中。
现在参考图描述各种配置，其中相同参考编号可指示功能上类似的元件。如本文中在图中一般性描述及说明的系统及方法可以广泛各种不同配置来布置及设计。因此，如图中所表示的数种配置的以下更详细的描述并非意欲限制所主张的范围，而仅仅为系统及方法的代表。
图1为说明其中可实施用于确定图像的区域的系统及方法的电子装置102的一个实例的框图。电子装置102的实例包含摄像机、视频便携式摄像机、数字摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、车辆、汽车、个人摄像机、可穿戴摄像机、虚拟现实装置(例如，耳机)、增强现实装置(例如，耳机)、混合现实装置(例如，耳机)、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、遥控飞机、无人驾驶航空器(UAV)、智能应用程序、保健设备、游戏主控台、个人数字助理(PDA)、机顶盒，等。电子装置102可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)或硬件及软件的组合(例如，具有指令的处理器)实施。
在一些配置中，电子装置102可执行结合图1至14中的一或多个所描述的功能、程序、方法、步骤等中的一或多个。另外或替代地，电子装置102可包含结合图1至14中的一或多个所描述的结构中的一或多个。
在一些配置中，电子装置102可包含处理器112、存储器122、显示器124、一或多个图像传感器104、一或多个光学系统106，及/或一或多个通信接口108。处理器112可与存储器122、显示器124、图像传感器104、光学系统106及/或通信接口108耦合(例如，与其进行电子通信)。应注意，结合图1所描述的电子装置102的元件中的一或多个(例如，图像传感器104、光学系统106、通信接口108、显示器124等)可在一些配置中可为任选的及/或可不包含(例如，实施)在电子装置102中。
处理器112可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器112可被称作中央处理单元(CPU)。尽管仅单个处理器112经展示在电子装置102中，但在替代配置中，可使用处理器(例如，图像信号处理器(ISP)与应用处理器、ARM与数字信号处理器(DSP)等)的组合。处理器112可经配置以实施本文中所揭示的方法中的一或多种。在一些配置中，处理器112可包含及/或实施图像获得器114、选定点获得器116、运动掩模获得器118及/或区域确定器120。
存储器122可为能够存储电子信息的任何电子组件。例如，存储器122可实施为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器一起包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
存储器122可存储指令及/或数据。处理器112可存取存储器122(例如，自其读取及/或向其写入)。指令可由处理器112执行以实施本文中所描述方法中的一或多者。执行指令可涉及使用存储在存储器122中的数据。当处理器112执行指令时，指令的各个部分可加载到处理器112上及/或可以将各种数据加载到处理器112上。可由存储器122存储的指令及/或数据的实例可包含图像数据、图像获得器114指令、区域确定器120指令、选定点获得器116指令及/或运动掩模获得器118指令，等等。
通信接口108可使得电子装置102能够与一或多个其它电子装置进行通信。例如，通信接口108可提供用于有线及/或无线通信的一或多个接口。在一些配置中，通信接口108可耦合到用于发射及/或接收射频(RF)信号的一或多个天线110。另外或替代地，通信接口108可实现一或多个有线(例如，通用串行总线(USB)、以太网，等)通信。
在一些配置中，可实施及/或利用多个通信接口108。例如，一个通信接口108可为蜂窝式(例如，3G、长期演进(LTE)、CDMA，等)通信接口108，另一通信接口108可为以太网接口、另一通信接口108可为通用串行总线(USB)接口，且另一通信接口108可为无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。在一些配置中，通信接口108可将信息(例如，图像信息、区域信息，等)发送到另一装置(例如，车辆、智能电话、相加、显示器、远程服务器，等)或从所述另一装置接收信息。
电子装置102(例如，图像获得器114)可获得一或多个图像(例如，数字图像、图像帧、帧、视频，等)。例如，电子装置102可包含图像传感器104及光学系统106(例如，透镜)，所述光学系统将位于光学系统106的视野内的场景及/或对象的图像聚焦到图像传感器104上。在一些配置中，光学系统106可耦合到处理器112及/或受其控制。摄像机(例如，可见光谱摄像机或其它摄像机)可包含至少一个图像传感器及至少一个光学系统。因此，在一些实施方案中，电子装置102可为一或多个摄像机且/或可包含一或多个摄像机。在一些配置中，图像传感器104可捕获一或多个图像(例如，图像帧、视频、静止图像、丛发模式图像等)。
另外或替代地，电子装置102可请求及/或接收来自另一装置(例如，耦合到电子装置102的一或多个外部摄像机、网络服务器、交通摄像机、水下摄像机、车载摄像机、网络摄像机，等)的一或多个图像。在一些配置中，电子装置102可经由通信接口108请求及/或接收一或多个图像。例如，电子装置102可或可不包含摄像机(例如，图像传感器104及/或光学系统106)且可接收来自一或多个远程装置的图像。图像(例如，图像帧)中的一或多者可包含一或多个场景及/或一或多个对象。
在一些配置中，电子装置102可包含图像数据缓冲器(未展示)。在一些配置中，图像数据缓冲器可包含在存储器122中。图像数据缓冲器可缓冲(例如，存储)来自图像传感器104及/或外部摄像机的图像数据。可将所缓冲图像数据提供到处理器112。
显示器124可集成到电子装置102中及/或可耦合到电子装置102。显示器124的实例包含液晶显示器(LCD)屏幕、发光显示器(LED)屏幕、有机发光显示器(OLED)屏幕、等离子屏幕、阴极射线管(CRT)屏幕等。在一些实施方案中，电子装置102可为具有集成显示器的智能电话。在另一实例中，电子装置102可耦合到一或多个远程显示器124及/或耦合到包含一或多个显示器124的一或多个远程装置。
在一些配置中，电子装置102可包含摄像机软件应用程序。在摄像机应用程序正运行时，位于光学系统106的视野内的对象的图像可由图像传感器104捕获。可在显示器124上呈现可由图像传感器104捕获的图像。例如，可将一或多个图像发送到显示器124供由用户观看。在一些配置中，这些图像可从存储器122回放，其可包含较早捕获的场景的图像数据。由电子装置102获得的一或多个图像可为一或多个视频帧及/或一或多个静止图像。在一些配置中，显示器124可呈现图像传感器104的全视场及/或变焦区域。另外或替代地，显示器124可呈现自动聚焦图像，对应于一或多个关注对象(例如，ROI)的一或多个指示符及/或由本文中所描述的操作中的一或多者产生的一或多个图像(例如，经剪裁对象、经变焦对象等)。
在一些配置中，电子装置102可在显示器124上呈现用户接口126。例如，用户接口126可使得用户能够与电子装置102交互。在一些配置中，用户接口126可使得用户能够输入选定点。例如，用户接口126可接收触摸、鼠标点击、手势及/或指示选定点的一些其它指示。在一些配置中，显示器124可为触摸显示器(例如，触摸屏幕显示器)。例如，触摸显示器可检测触摸输入的位置。触摸输入的位置可指示选定点。
电子装置102(例如，处理器112)可任选地耦合到一或多个其它种类装置，为所述一或多个其它种类装置的部分(例如，整合到其中)，包含及/或实施所述一或多个种类装置。例如，电子装置102可实施于配备有摄像机的遥控飞机中。在另一实例中，电子装置102(例如，处理器112)可实施于动作摄像机。
处理器112可包含及/或实施图像获得器114。可向图像获得器114提供一或多个图像(例如，图像帧、视频、丛发镜头等)。例如，图像获得器114可从一或多个图像传感器104获得图像帧。例如，图像获得器114可从一或多个图像传感器104及/或从一或多个外部摄像机接收图像数据。如上文所描述，图像可从包含在电子装置102中的影像传感器104捕获，或可从一或多个远程摄像机捕获。
在一些配置中，图像获得器114可请求及/或接收图像数据(例如，一或多个图像、图像帧等)。例如，图像获得器114可经由通信接口108请求及/或接收来自远程装置(例如，外部摄像机、远程服务器、远程电子装置等)的一或多个图像。从摄像机获得的图像可由处理器112处理以执行区域确定(例如，目标区域确定)及/或对象选择。
处理器112可包含及/或实施选定点获得器116。选定点获得器116可获得(例如，确定及/或接收)图像的一或多个选定点。例如，可向选定点获得器116提供一或多个选定点。在一些配置中，用户接口126可接收指示(例如，选择)选定点的输入(例如，触摸输入，鼠标点击，手势等)。可将选定点提供到选定点获得器116。另外或替代地，选定点获得器116可经由通信接口108接收一或多个选定点。例如，电子装置102可包含装置(例如，例如触摸屏、触摸板、按钮等的集成装置及/或可耦合到可提供选定点或指示选定点的信息的远程装置。装置的实例可包含触摸屏(例如，触摸屏监视器)、鼠标、键盘、数字笔、触摸板、摄像机(例如，用于检测手势的摄像机，例如深度传感器、飞行时间(TOF)摄像机、可见光谱摄像机等)，演示遥控器、激光指示器、视频游戏控制器、麦克风(例如，用于语音命令的音频麦克风、用于数字笔的超声麦克风等)、红外接收器、智能电话、计算机、平板电脑、服务器等。
在一些配置中，选定点可由用户接口126及/或远程装置直接提供。在其它配置中，用户接口126及/或远程装置可提供指示选定点的信息(例如，坐标，感测数据等)。例如，选定点获得器116可基于点击信号结合与在显示器124上呈现的图像有关的当前光标位置来确定选定点。在另一实例中，选定点获得器116可基于所感测到的触摸屏或触摸板的触摸区域而确定选定点(例如，通过选择对应于触摸区域的中心位置及/或平均位置的像素)。在又另一实例中，选定点获得器116可基于来自摄像机(例如，图像传感器104及/或耦合到通信接口108的摄像机)的图像数据(例如，深度数据、视觉光谱数据、手势数据等)来确定选定点。例如，选定点获得器116可基于眼睛跟踪数据及手势数据(例如，眨眼等)来确定选定点。
在一些配置中，选定点可指示及/或对应于图像上的位置(例如，在图像中)。例如，选定点可指示图像中的像素。选定点可对应于图像中的对象。例如，选定点可为图像中的对象(例如，一组对象像素中的一个)上。
处理器112可包含及/或实施运动掩模获得器118。运动掩模获得器118可基于图像获得(例如，确定及/或接收)运动掩模。运动掩模可包含及/或指示图像的局部运动截面及/或全局运动截面。局部运动截面可包含图像的其中检测到局部运动的一或多个区域。全局运动截面可包含图像的其中发生全局运动的一或多个区域及/或并非局部运动区域的一或多个区域。
在一些配置中，运动掩模获得器118可从远程装置(例如，经由通信接口108)接收运动掩模。例如，运动掩模获得器118可从指示运动掩模的远程装置接收数据(例如，具有局部运动截面及全局运动截面)。
另外或替代地，运动掩模获得器118可确定运动掩模。举例来说，运动掩模获得器118可基于两个或多于两个帧(例如，当前帧及先前帧)及/或选定点来确定运动掩模。例如，运动掩模获得器118可基于选定点生成初始关注区域(ROI)。初始ROI可具有预定形状及/或大小(例如，以选定点为中心的N×M个像素，具有距选定点的R个像素的半径的圆等)。在一些配置中，初始ROI可能相对较大(例如，可大于典型的对象大小)。
图像之间可能会发生运动。例如，场景可在图像之间移动及/或一或多个对象可在不同时间实例捕获的图像之间移动。此运动可由图像传感器相对于场景的移动(及/或反之亦然)及/或一或多个物体相对于图像传感器的移动(及/或反之亦然)产生。
运动矢量可为指示图像之间的点或区域的运动(例如，运动、位移、移位等)的矢量。例如，运动掩模获得器118可将先前帧与当前帧进行比较以确定图像的一或多个点(例如，区域)的运动。一或多个点的运动可由于图像传感器104相对于其周围环境的运动及/或由于物体相对于图像传感器104的运动而产生。应注意运动矢量可以正向顺序及/或反向顺序计算。举例来说，运动掩模获得器118可生成用于从第一(例如，先前)帧开始并前进到第二(例如，当前)帧的点的运动矢量。另外或替代地，运动掩模获得器118可生成用于从第二(例如，当前)帧开始并前进到第一(例如，先前)帧的点的运动矢量。
运动掩模获得器118可确定一组局部运动矢量(例如，两个或多于两个局部运动矢量)。局部运动矢量可为与关注区域内的点(例如，边界框)对应的运动矢量。例如，所述组局部运动矢量可包含在前一帧与当前帧之间的关注区域内的两个或多于两个局部运动矢量。在一些配置中，局部运动矢量可仅对应于帧之间的关注区域内的点(例如，像素)。因此，局部运动矢量可表征关注区域内的一或多个点的运动。在一些配置中，可使用光流计算局部运动矢量。应注意，在一些配置中，局部运动模式可能不基于特征点。
运动掩模获得器118可估计帧之间的全局运动(例如，执行全局运动估计)。全局运动可为帧之间的内容(例如，所有内容、背景内容或一般内容)的运动。全局运动信息可为全局运动的指示符及/或估计。在一些配置中，确定全局运动信息可包含计算帧之间的一或多个运动矢量(例如，用光流)。例如，全局运动矢量可跨越帧的大部分。在一些配置中，全局运动矢量可覆盖帧的特定比例。例如，全局运动矢量可跨越及/或考虑图像的90％(且可例如忽略边界)。在一些配置中，可在图像上方以网格图案确定全局运动矢量。在一些方法中，可仅基于输入图像(例如，无需其它输入运动信息，例如来自如同加速度计及/或陀螺仪的运动传感器的运动信息)确定全局运动。
在一些配置中，运动掩模获得器118可另外或替代地基于其它运动传感器数据(例如，除了图像数据之外)来估计全局运动。例如，电子装置102可包含一或多个加速度计、陀螺仪及/或其它运动传感器。由运动传感器感测的运动数据可被提供给运动掩模获得器118。运动掩模获得器118可基于一些配置中的运动数据来确定全局运动信息(例如，全局运动估计)。在一些配置中，可独立于机械控制来确定全局运动信息。例如，全局运动信息可不基于机械控制信号(例如，控制用于移动摄像机(例如，平移及倾斜)的机械致动器的信号)。例如，估计全局运动可能不是确定性的，其中运动控制信号为已知的。
运动掩模获得器118可确定一组全局运动矢量(例如，两个或多于两个全局运动矢量)。全局运动矢量可为对应于图像中的点的运动矢量。全局运动矢量可不限于关注区域内的点。例如，全局运动矢量可或可不对应于关注区域内的点。可在先前帧与当前帧之间确定所述组全局运动矢量。在一些配置中，所述组全局运动矢量可包含在关注区域之外的至少一个全局运动矢量。所述组全局运动矢量可表征图像中的一或多个点的一般运动。在一些配置中，可使用光流计算全局运动矢量。
在一些配置中，所述组全局运动矢量可跨越比所述组局部运动矢量更大的区域。另外或替代地，所述组全局运动矢量可包含比所述组局部运动矢量更少的运动矢量。例如，与所述组局部运动矢量(例如，其可包含在较小区域(例如，关注区域)上的更多运动矢量相比，所述组全局运动矢量可较不密集(例如，在较宽区域上包含较少运动矢量)。另外或替代地，可独立地确定所述组局部运动矢量及所述组全局运动矢量。例如，可与局部运动矢量分开地计算全局运动矢量。
在一些配置中，运动掩模获得器118可预处理局部运动矢量及/或全局运动矢量。举例来说，运动掩模获得器118可拒绝一或多个不可靠的运动矢量(例如，不可靠的局部运动矢量、不可靠的全局运动矢量或两者)。在一些方法中，运动掩模获得器118可运行前向光流及后向光流以获得运动矢量。运动掩模获得器118可测量(向前及向后生成的)运动矢量之间的距离误差。不满足一或多个准则(例如，在百分位数范围内，具有大于距离误差阈值等)的那些运动矢量可被拒绝(例如，丢弃，从运动矢量集中移除，未被用于随后计算，等)。结合图5给出预处理局部运动矢量及/或全局运动矢量的实例。
在一些配置中，运动掩模获得器118可检查全局运动一致性。例如，处理器112可确定用于指示将图像一致地移动的程度的全局运动的一致性度量。例如，全局运动一致性度量可指示多少图像(例如，多少或多少比例的全局运动矢量)在相似方向上(例如，在方向范围内)移动。结合图5给出了计算全局一致性度量的实例。在一些配置中，运动掩模获得器118可确定全局运动一致性度量是否满足一或多个一致性准则(例如，运动一致性条件、运动一致性量、运动一致性范围、运动一致性阈值等)。例如，运动掩模获得器118可基于全局运动一致性度量是否满足一或多个准则来以不同方式确定运动掩模。
在一些方法中，可利用全局运动一致性度量来确定运动掩模。例如，可利用全局运动一致性度量来选择用于确定运动掩模的程序(例如，局部运动截面及/或全局运动截面)。例如，可利用全局运动一致性度量来确定图像中的哪些像素被包含在局部运动截面中及/或图像中的哪些像素被包含在全局运动截面中。在全局运动一致性度量满足一或多个准则的情况下，例如，仅ROI中对应于与全局运动指示符足够不同的局部运动矢量的像素(例如，大于与全局运动矢量平均值的阈值差的局部运动矢量)可包含在局部运动截面中。特定来说，分离的运动掩模(例如，前景分离的运动掩模)可为运动掩模，其中局部运动截面仅包含对应于与全局运动(例如，全局运动矢量平均值，例如平均值或中位数)完全不同的局部运动矢量的像素。另外或替代地，分离的运动掩模可具有局部运动截面，其具有选择的满足一或多个准则的像素(例如，其运动矢量与全局运动矢量显著不同)。全局运动截面可包含像素的其余部分。在全局运动一致性度量不满足一或多个准则的状况下，ROI中的所有像素可包含在局部运动截面中(例如，所有像素对应于ROI中的原始运动矢量或对应于在移除不可靠运动矢量之后剩余的ROI中运动矢量)。特定来说，等加权运动掩模可为运动掩模，其中局部运动截面可包含ROI中的所有像素。全局运动截面可包含像素的其余部分。另外或替代地，在全局运动不一致(例如，全局运动一致性度量不满足一或多个准则)的状况下，等加权运动掩模中的局部运动截面可包含ROI中的所有像素。
在一些配置中，运动掩模获得器118可包含分离度量计算器。替代地，分离度量计算器可与运动掩模获得器118分离。分离度量计算器可基于所述组局部运动矢量及所述组全局运动矢量来计算分离度量。分离度量可为关注区域(例如，对象)与整个图像之间的相对运动程度的度量。例如，分离度量可指示一或多个局部运动矢量与全局运动之间的运动差异(例如，全局运动的测量及/或全局运动矢量的集合)。结合图5给出了用于计算分离度量的更具体的实例。
在一些配置中，计算分离度量可包含将所述组全局运动矢量拟合到全局运动模型并计算全局运动模型与所述组局部运动矢量之间的拟合误差。全局运动模型可包含所述组全局运动矢量的至少一个统计度量。例如，全局运动模型可基于全局运动矢量的一或多个统计分布度量(例如，平均值，中值(λG)、标准偏差(σG)等)。例如，分离度量可基于全局运动矢量的一或多个统计分布度量(例如，均值、中值、标准偏差等)。
在一些配置中，运动掩模获得器118可基于分离度量来计算权重图(例如，前景权重图)。例如，权重图可帮助将对应于目标对象或关注对象(例如，局部运动截面)的局部运动矢量与对应于非目标(例如，背景)内容的局部运动矢量(例如，全局运动截面)分离。在一些方法中，运动掩模获得器118可随时间平滑前景权重图。前景权重图可指示对应于每一局部运动矢量(例如，在关注区域中)的权重。另外或替代地，运动掩模获得器118可在空间上细化权重图。例如，在空间上细化权重图可包含将权重图乘以集中加权核。在一些配置中，运动掩模获得器118可随时间平滑历史权重图。
处理器112可包含及/或实施区域确定器120。区域确定器120可基于选定点及运动掩模来确定图像中的区域(例如，目标区域)。区域(例如，目标区域)可对应于目标对象或关注对象。例如，区域(例如，目标区域)可包含目标对象或关注对象的全部或部分。另外或替代地，区域确定器120可确定非目标区域(例如，背景区域)。在一些配置中，所述区域可为自动生成的涂写。例如，本文中所揭示的系统及方法可自动生成区域(例如，涂写)，作为手动生成涂写的替代。
应注意，术语“目标”可表示及/或对应于场景中要区分(例如，选择)的任何对象。例如，尽管对象可能在“目标”区域中，但其可能未必在前景中及/或可能未必为与摄像机最近的对象。在一些配置中，区域(例如，目标区域)可指包含(例如，部分或完全包含)目标对象或关注对象的区域。术语“非目标”可指并非区域(例如，目标区域)的区域。例如，“非目标”区域可包含不在所述区域(例如，目标区域)中的场景及/或对象。应注意，非目标区域可能未必在图像的背景中。
为了确定区域(例如，目标区域)，区域确定器120可基于选定点生成截面图。截面图可为包含两个或多于两个介面且对应于图像的地图。结合图7给出截面图的实例。截面图可包含目标截面(例如，前景截面)。可基于选定点来确定目标截面。例如，目标截面可包含一组包含选定点的像素。例如，目标截面可围绕选定点包含具有特定尺寸的形状的像素(例如，具有给定高度和宽度的矩形或正方形，具有给定半径的圆形等)。
在一些配置中，截面图可包含可能目标截面。可基于选定点及/或目标截面来确定可能目标截面。例如，可能目标截面可包含与目标截面有关的一组像素。例如，可能的目标截面可围绕目标截面包含具有特定尺寸的形状的像素(例如，具有给定高度和宽度的矩形或正方形，具有给定半径的圆形等)。可能的目标截面可与目标截面相邻(例如，对于包含括可能的目标截面的截面图)。
在一些配置中，截面图可包含可能非目标(例如，背景)截面。可能的非目标截面可为非目标截面(及/或非可能的目标截面)的区域。例如，目标截面(及/或可能的目标截面)可被可能的非目标截面包围。在一些配置中，可能的非目标截面可为并非目标截面(及/或并非可能的目标截面)的预定区域(具有预定形状、位置及/或尺寸)。在其它配置中，可基于选定点确定可能的非目标截面(例如，可能的非目标截面形状、位置及/或尺寸)。例如，可能非目标截面可包含关于选定点的一组像素。例如，可能的非目标截面可围绕目标截面(及/或可能目标截面)包含具有特定尺寸的形状的像素(例如，具有给定高度和宽度的矩形或正方形，具有给定半径的圆形等)。
在一些配置中，截面图可包含非目标截面(例如，背景截面)。非目标截面可为并非目标截面的区域(及/或并非可能目标截面及/或并非可能非目标截面)。例如，目标截面(及/或可能的目标截面及/或可能的非目标截面)可为由非目标截面包围。在一些配置中，非目标截面可为并非目标截面(及/或并非可能的目标截面及/或可能非目标截面)的预定区域(具有预定形状、位置及/或尺寸)。在其它配置中，可基于选定点确定非目标截面(例如，背景形状，位置及/或尺寸)。例如，非目标截面可包含与选定点有关的一组像素。例如，非目标截面可围绕目标截面(及/或可能目标截面及/或可能非目标截面)包含具有特定尺寸的形状的像素(例如，具有给定高度和宽度的矩形或正方形，具有给定半径的圆形等)。在一些配置中，截面图可为默认涂写贴图或默认笔划图。利用截面图可避免在一些配置中提供非目标(例如，“背景”)涂写的需要(例如，可仅利用单个选定点)。
区域确定器120可组合截面图及运动掩模，以便确定区域(例如，目标区域、前景区域等)及/或非目标(例如，背景)区域。例如，区域确定器120可组合目标截面及局部运动截面的至少部分以确定所述区域。在另一实例中，区域确定器120可组合目标截面、可能目标截面的至少部分及局部运动截面的至少部分以确定区域(例如，目标区域)。所述区域可对应于(例如，包含)对象(例如，目标对象、关注对象、移动对象等)。在一些方法中，可排除局部运动截面的一或多个部分。例如，可排除局部运动截面的对应于局部运动矢量的一或多个部分，所述局部运动矢量(例如，其以方向及/或量值形式显示多于阈值量的差异)与一些局部运动矢量(例如，局部运动矢量集的平均数，或局部运动实例集的其它特性)不一致。以此方式，可仅将局部运动截面的部分(例如，剩余部分)与截面图组合。在一些配置中，组合截面图与运动掩模可产生区域图。结合图8给出了组合截面图与运动掩模的实例。
在一些配置中，电子装置102可包含图像分段器。可将区域(例如，区域图、目标区域及/或非目标区域)提供给图像分段器。图像分段器可基于区域(例如，目标区域)来分段图像以产生对象掩模。例如，图像分段器的一些配置可基于颜色(及/或一或多个其它对象特性，例如亮度、梯度等)来分段图像。在一些配置中，图像分段器可确定图像的对象区域，所述对象区域具有与所述区域的颜色信息类似的颜色。对象掩模可包含对象区域及非对象区域。对象区域可指示图像中关注对象的位置。图像分段器的一些配置可基于基于涂写的分段。可使用其它分段方法。结合图9提供对象掩模的一个实例。
本文中揭示的系统及方法的一些配置可组合(例如，融合)颜色及运动信息。例如，电子装置102可基于如本文中所描述的运动信息(例如，运动矢量、局部运动矢量、全局运动矢量等)来确定区域(例如，目标区域)。在本文中所揭示的系统及方法的一些配置中，可通过利用区域(其基于运动信息)基于颜色执行图像分段来融合运动及颜色信息。例如，电子装置102可基于区域(例如，目标区域)中的颜色执行图像分段，其中基于运动信息确定区域。例如，电子装置102可基于基于运动的区域(例如，目标区域)中的颜色信息来确定对象掩模。
在一些配置中，图像分段器可获得粗糙掩模。例如，图像分段器可通过放松图像分段器中的约束来获得粗略掩模。例如，通过不施加几个严格条件，可从分段器获得粗糙(例如，粗略)掩模，其可用于生成ROI的目的。获得粗糙掩模可允许更快及/或更有效的操作(比获得典型掩模)。这反过来可允许更容易地处理移动对象。
在一些配置中，电子装置102可基于区域(例如，目标区域)来选择目标对象。例如，电子装置102可基于所述区域标记及/或区分目标对象。例如，可选择包含在所述区域中的目标对象以执行一或多个操作(例如，在显示器上呈现、跟踪、变焦、克隆、移除、辨识等)。另外或替代地，电子装置102可呈现目标对象的指示。例如，电子装置102可强调(例如，突出、划圈、显示轮廓、绘制边界框、着色、放大、在其上或附近放置指示符等)目标对象。
在一些配置中，电子装置102可基于区域(例如，目标区域)生成关注区域(ROI)(例如，边界框)。例如，电子装置102可生成包含所述区域的全部或部分的ROI。在一些方法中，电子装置102可生成ROI以紧凑地限界对象区域(例如，基于图像分段)。在一些配置中，电子装置102可在显示器上呈现ROI(例如，显示ROI的轮廓，突出ROI、为ROI着色，在ROI上及/或附近显示文字，在ROI上及/或附近显示图标等)。
区域(例如，目标区域)、对象区域及/或ROI(基于区域及/或对象区域)可用于在一些配置中执行一或多个操作。例如，电子装置102可基于区域、对象区域及/或ROI执行对象跟踪、图像修改(例如，对象移除、对象克隆等)、对象识别、对象检测及/或自动变焦。利用区域(例如，目标区域)、对象区域及/或ROI来执行这些操作中的一或多个可显著改进操作的性能(例如，准确性、速度及/或效率)。
应注意，可组合及/或划分电子装置102的元件或组件中的一或多者。例如，可组合图像获得器114、区域确定器120、选定点获得器116及/或运动掩模获得器118。另外或替代地，图像获得器114、区域确定器120、选定点获得器116及/或运动掩模获得器118中的一或多者可经划分成执行其操作的子集的元件或组件。
图2为说明用于确定图像的区域的方法200的一个配置的流程图。方法200可由电子装置(例如，结合图1所描述的电子装置102)执行。
电子装置102可获得202图像。这可如结合图1所描述完成。例如，电子装置102可利用一或多个图像传感器104捕获一或多个图像及/或可从一或多个远程装置接收一或多个图像。图像可包含包括一或多个对象的一或多个场景。
电子装置102可任选地呈现图像中的一或多者。例如，电子装置102可在显示器上呈现图像及/或可将图像提供给一或多个显示器以供呈现。这可允许用户观看图像。
电子装置102可获得204图像的单个选定点。上述情形可如结合图1所描述完成。例如，电子装置102可基于来自用户接口126及/或一或多个集成及/或远程装置(例如，触摸屏，鼠标、电子笔、手写笔等)的信息确定及/或接收图像的单个选定点(例如，接收选择图像上对应于目标对象的单个点的输入)。
电子装置102可基于图像获得206运动掩模。上述情形可如结合图1所描述完成。例如，电子装置102可确定及/或接收运动掩模，其中运动掩模指示局部运动截面及全局运动截面。在一些配置中，电子装置102(及/或远程装置)可基于至少两个图像来获得运动掩模(例如，可比较当前帧及先前帧以确定运动掩模)。例如，电子装置102可确定一组局部运动矢量及一组全局运动矢量。所述组局部运动矢量及/或所述组全局运动矢量可用于确定运动掩模的目标截面及/或运动掩模的非目标截面。
电子装置102可基于选定点及运动掩模来确定208图像中的区域(例如，目标区域)。上述情形可如结合图1所描述完成。例如，电子装置102可基于选定点生成截面图。电子装置102可组合截面图及运动掩模以确定区域(例如，目标区域)及/或非目标区域。
在一些配置中，电子装置102可基于可产生对象掩模的区域(例如，目标区域)来分段图像。上述情形可如结合图1所描述完成。电子装置102可另外或替代地执行一或多个操作。例如，在一些配置中，电子装置102可生成ROI、执行对象跟踪、执行图像修改、执行对象识别、执行对象检测及/或执行自动变焦等。
图3说明用于产生对象掩模338的组件(例如，管线)的实例。特定来说，图3说明运动掩模获得器318、区域确定器320及图像分段器336。运动掩模获得器318、区域确定器320及/或图像分段336可为结合图1所描述的运动掩模获得器118、区域确定器320及/或图像分段器的实例。运动掩模获得器318、区域确定器320及/或图像分段器336中的一或多个可用硬件或硬件与软件的组合来实施。
运动掩模获得器318可得到帧328(例如，图像帧、视频帧、突发图像、一系列图像等)。例如，运动掩模获得器318可获得当前帧及前一帧。在一些配置中，前一帧可在顺序上紧接的当前帧之前。例如，当前帧可与前一帧连续。在其它配置中，前一帧可不紧接在当前帧之前，而是可在当前帧之前多个帧(例如，两帧、三帧等)。如结合图3所描述，帧328(例如，图像、图像帧等)可由电子装置102捕获及/或可从远程装置接收。
运动掩模获得器318可获得选定点330(例如，接收选择单个点的输入)。可如结合图1所描述获得选定点330。选定点330可指示图像中的单个点(例如，当前帧)。在一些配置中，选定点330可为地址、像素位置、分数像素位置、一或多个索引号(例如，光栅索引)、触摸网格位置及/或与图像相关的另一位置指示符。
运动掩模获得器318可基于帧328及选定点330来确定运动掩模332，如结合图1所描述的。例如，运动掩模获得器318可利用选定点330来生成初始ROI(例如，ROI)。运动掩模获得器318可基于初始ROI确定运动矢量集。举例来说，运动掩模获得器318可确定初始ROI内的局部运动矢量集合。举例来说，运动掩模获得器318可选择初始ROI(例如，对于先前及/或当前帧)的一组点(例如，像素)，针对所述初始ROI确定局部运动矢量。运动掩模获得器318还可确定跨越图像的大部分的一组全局运动矢量(例如，不管初始ROI如何)。运动掩模获得器318可利用所述组局部运动矢量及/或所述组全局运动矢量来确定运动掩模332，如结合图1所描述。运动掩模332可被提供到区域确定器320。
区域确定器320可基于运动掩模332确定区域334(例如，目标区域)(及/或非目标区域)，如结合图1所描述的。例如，区域确定器320可基于选定点330生成截面图。区域确定器320可组合运动掩模332及剖面图以确定区域334。区域334(及/或所述非对象区域)可被提供到图像分段器336。
图像分段器336可基于区域334(例如，目标区域)来分段图像(例如，当前图像帧)。上述情形可如结合图1所描述完成。例如，电子装置102在一些配置中可包含图像分段器336。图像分段器336可基于区域(例如，目标区域、前景区域等)来分段图像以产生对象掩模338。对象掩模版338可包含对象区域及非对象区域。对象区域可指示图像中的目标对象或关注对象的位置。图像分段器的一些配置可基于基于涂写的分段。可使用其它分段方法。
图4说明运动掩模获得器418的配置的更具体实例。运动掩模获得器418可为结合图1及3中的一或多者所描述的运动掩模获得器118、318中的一或多者的实例。如上文所描述，运动掩模获得器418可确定运动掩模432。例如，运动掩模获得器418可基于选定点430生成初始ROI。运动掩模获得器418可利用初始ROI来确定基于帧428的一组局部运动矢量(例如，在前一帧与当前帧之间)。运动掩模获得器418还可基于帧428(例如，在前一帧与当前帧之间)确定一组全局运动矢量。
在此实例中，运动掩模获得器418包含全局运动一致性计算器440。全局运动一致性计算器440可基于所述组全局运动矢量来计算全局运动一致性度量。全局运动一致性度量可指示多少图像(例如，多少或多少比例的全局运动矢量)在相似方向上(例如，在方向范围内)移动。运动掩模获得器418可基于全局运动一致性度量是否满足一或多个准则来以不同方式确定运动掩模432。例如，如果全局运动一致性度量不满足准则，那么运动掩模获得器418可生成等加权运动掩模432。如果全局运动一致性度量满足准则，那么运动掩模获得器418可生成分离运动掩模432。因此，运动掩模获得器418可确定识别(例如，包含)关注对象(例如，移动对象)的图像中的运动掩模432(例如，局部运动截面)。
图5为说明用于获得(例如，确定)运动掩模的方法500的一个配置的流程图。在一些配置中，结合图1描述的电子装置102可执行方法500。例如，结合图1所描述的电子装置102可根据结合图5中所描述的功能、步骤、程序及/或结构中的一或多个操作。在一些配置中，方法500可为获得206运动掩模的实例，如结合图2所描述的。
电子装置102可确定502一组局部运动矢量(例如，计算一组局部运动矢量)。此可如上文结合图1所描述完成。例如，电子装置102可计算前一帧与当前帧之间的关注区域内的一或多个局部运动矢量。在一些配置中，可使用光流来完成确定502(例如，计算)局部运动矢量。图6说明局部运动矢量的实例。
如上文所描述，局部运动矢量可为在关注区域内的运动矢量。例如，可在先前帧与当前帧之间的关注区域内确定502所述组局部运动矢量。在一些配置中，电子装置102可计算具有前向轨迹及/或后向轨迹的局部运动矢量。
电子装置102可确定504全局运动矢量(例如，计算一组全局运动矢量)。上述情形可如上文结合图1所描述完成。例如，电子装置102可确定504(例如，计算)前一帧与当前帧之间的全局运动矢量。在一些配置中，可使用光流来完成确定504(例如，计算)全局运动矢量。图6说明全景运动矢量的实例。
如上文所描述，全局运动矢量可为分布在帧上的运动矢量。例如，可在前一帧与当前帧之间确定504所述组全局运动矢量。所述组全局运动矢量可跨越比局部运动矢量大的区域。另外或替代地，一或多个全局运动矢量可不包含在关注区域(例如，初始关注区域)中。应注意，一或多个全局运动矢量可包含在关注区域内。
电子装置102可预处理506运动矢量。例如，电子装置102可预处理506一或多个局部运动矢量及/或一或多个全局运动矢量。预处理506运动矢量可包含确定及/或拒绝(例如，丢弃，移除等)不可靠运动矢量。在一些配置中，拒绝(例如，丢弃、移除、不利用等)一或多个不可靠运动矢量可包含将一或多个不可靠运动矢量设置为0及/或将其从一组运动矢量中移除(例如，从所述组局部运动矢量)。
如上文所描述，可为一或多个运动矢量(例如，一或多个局部运动矢量及/或一或多个全局运动矢量)确定前向轨迹及后向轨迹。预处理506运动矢量可包含测量前向轨迹与后向轨迹之间的距离误差(例如，前向-后向误差)。距离误差(例如，前后误差)可为前向轨迹与后向轨迹之间的距离。在一些配置中，电子装置102可将距离误差确定为前向轨迹的初始点与后向轨迹的终点之间的欧几里德(Euclidean)距离。在一些配置中，可基于距离误差来拒绝运动矢量中的一或多者。例如，可拒绝一定比例的运动矢量(例如，具有一定百分位数的距离误差的局部运动矢量)及/或可拒绝具有一定量的距离误差(例如，具有超过阈值的距离误差)的一或多个运动矢量。例如，可拒绝具有前20个百分位数的距离误差的局部运动矢量。应注意，可使用其它比例(例如，第25百分位数、第50百分位数等)。另外或替代地，可保留具有低于百分位数(例如，低于第80百分位数)的距离误差的运动矢量(例如，局部运动矢量)。在一些配置中，预处理可如结合图6所描述来完成。
电子装置102可计算508全局运动一致性度量。上述情形可如上文结合图1及4中的一或多个所描述完成。全局运动一致性可为对全局运动矢量的一致运动(例如，在一或多个图像之间)的度量。
在一些配置中，计算508全局运动一致性可根据以下方程式执行。为方便起见，此处提供记号。全局运动矢量可表示为MG＝(mxi G,myi G)，其中mxi G为水平运动分量，myi G为垂直运动分量，且i∈[0,NG).NG表示全局运动矢量总数。
在一些配置中，电子装置102可确定全局运动矢量的一或多个统计度量。例如，电子装置102可确定(例如，计算)全局运动矢量的一或多个统计分布度量(例如，平均数、平均值、中值、标准偏差等)。全局运动的中值可以表示为其中为全局运动矢量的水平分量的中值且为全局运动矢量的垂直分量的中值。替代地，可定义平均值。全局运动的标准偏差可表示为其中为全局运动矢量的水平分量的标准偏差，且为全局运动矢量的垂直分量的标准偏差。
计算508全局运动一致性度量的一种方法可如下给出。在此方法中，电子装置102可确定在全局中值(或平均值)的两个标准偏差内的多个全局运动矢量。例如，对于每一运动矢量对MG，电子装置102可将全局运动一致性度量计算508为其中
电子装置102可确定510全局运动一致性度量是否满足一或多个一致性准则。例如，电子装置102可确定全局运动一致性度量为一致性量，是否在一致性范围内，及/或是否满足一致性阈值。例如，可根据以下方程式检查全局运动一致性：其中T为一致性阈值。在一些配置中，T可为0.7(例如，通过实验确定)。
如果全局运动一致性度量满足一或多个一致性准则，那么电子装置102可执行512分离。例如，如果全局运动一致性度量(例如，Vi)大于或等于一致性阈值(例如，T)，那么电子装置102可执行512分离。
在一些配置中，执行512分离可包含基于局部运动模式及全局运动模式来计算分离度量。例如，局部运动矢量可表示为ML＝(mxi L,myi L)，其中mxi L为水平运动分量，myi L为垂直运动分量，且i∈[0,NL).NL表示局部运动矢量的总数。例如，NL可表示最初生成局部运动矢量的总数或者在预处理之后剩余的局部运动矢量的总数。对于每一运动矢量对ML，电子装置102可在一些配置中将分离度量计算为例如，DL可指示所述组局部运动矢量与所述组全局运动矢量(例如，全局运动模型)之间的运动差异。例如，DL越大，本地运动矢量对应于目标对象的可能性越大(例如，与非目标内容(例如，背景)不同移动的关注对象))。在此实例中，全局运动模型可包含全局运动矢量中值λG及全局运动矢量标准偏差σG。因此，电子装置102可计算全局运动模型与局部运动模式(例如，ML)之间的拟合误差(例如，分离度量DL)。
在一些配置中，电子装置102可基于分离度量生成权重图。在一些实例中，可通过在水平(x)方向或垂直方向(y)取得分离度量的最大分量(例如，DL)来生成权重图。举例来说，权重映射(例如，WL或W)可随时间任选平滑以产生时间上平滑的权重映射(例如，Wt)。可任选地在空间上细化权重图以产生空间细化的权重图(例如，Ws)。例如，电子装置102可将权重图乘以中心加权核。在一些配置中，电子装置102可在时间上平滑并在空间上细化权重图以产生平滑的细化权重图(例如，W′)。电子装置102可任选地随时间平滑历史权重图(例如，H)。
在一些配置中，加权运动矢量(例如，局部运动矢量)可包含拒绝(例如，移除、消除、取消选择等)一或多个运动矢量(例如，预处理之后的一或多个局部运动矢量)。例如，一或多个运动矢量可经加权为0。例如，匹配全局运动矢量中值(或平均值)的一或多个局部运动矢量可导致零权重(例如，分离度量为0，其可能导致权重为0)。另外或替代地，可将来自全局运动矢量中值(或平均值)的分离距离量(例如，小于分离距离阈值)内的一或多个局部运动矢量赋予权重0。因此，一或多个具有非零(例如，>0)权重的运动矢量(例如，局部运动矢量)可为选定运动矢量。具有零权重的一或多个运动矢量(例如，局部运动矢量)可为非选定运动矢量。
电子装置102可确定514分离的运动掩模。上述情形可如上文结合图1所描述完成。例如，仅ROI中对应于剩余的局部运动矢量及/或对应于与全局运动指示符足够不同的局部运动矢量(例如，大于与全局运动矢量平均数的阈值差的局部运动矢量)的像素可包含在局部运动剖面中。特定来说，分离的运动掩模可为运动掩模，其中局部运动截面仅包含对应于与全局运动(例如，全局运动矢量平均值，例如平均值或中位数)完全不同的局部运动矢量的像素。全局运动截面可包含像素的其余部分。分离的运动掩模(例如，局部运动截面)可用于确定区域图。区域图可在一些配置中用于执行图像分段。
如果全局运动一致性度量不满足一或多个一致性准则，那么电子装置102可确定518等加权运动掩模。上述情形可如上文结合图1所描述完成。例如，ROI中的所有像素可包含在局部运动截面中(例如，所有像素对应于ROI中的原始运动矢量或对应于在移除不可靠运动矢量之后剩余的ROI中运动矢量)。特定来说，等加权运动掩模可为运动掩模，其中局部运动截面可包含ROI中的所有像素。全局运动截面可包含像素的其余部分。等加权运动掩模(例如，局部运动截面)可用于确定区域图。区域图可在一些配置中用于执行图像分段。
图6为说明图像642、一组全局运动矢量648、关注区域650(例如，初始关注区域)及一组局部运动矢量644的实例的图。具体来说，图6说明关注区域650(例如，边界框)内的一组局部运动矢量644。在此实例中，所述组局部运动矢量包含64个局部运动矢量644(例如，关注区域650内的8×8个局部运动矢量的网格)。一组全局运动矢量648也被说明为在帧上扩展。在此实例中，所述组全局运动矢量包含25个全局运动矢量648(例如，5×5个全局运动矢量648的网格)。
如上文所描述，电子装置可确定一组局部运动矢量644。在一些配置中，确定所述组局部运动矢量644可包含在关注区域650内计算一或多个运动矢量(例如，用光流)。例如，电子装置102可获得图像642中的选定点(例如，在图像642中所描绘的人的面部上)。电子装置102可生成关注区域650(例如，初始关注区域)。然后，电子装置102可确定关注区域650中的一组局部运动矢量644。在一些配置中，计算局部运动矢量可包含确定前向及后向运动矢量(例如，运行前向及后向光流)。例如，电子装置102可确定前向及后向轨迹(例如，如上文所描述)。在一些配置中，预处理可包含基于距离误差测量距离误差及/或拒绝不可靠矢量(例如，第20百分位数的运动矢量)。例如，图6说明一些被拒绝的局部运动矢量644b，其可能未被利用(留下所利用的局部运动矢量644a)。例如，在某些配置中，对应于所利用的局部运动矢量644a的像素(例如，测量局部运动矢量的点处的像素及/或测量局部运动矢量的点周围的一或多个范围内的像素)可包含在运动掩模的局部运动截面中。另外或替代地，在某些配置中，对应于被拒绝的局部运动矢量644b的像素(例如，测量局部运动矢量的点处的像素及/或测量局部运动矢量的点周围的一或多个范围内的像素)可被从运动掩模的局部运动截面排除(及/或可包含在全局运动截面中)。
如上文所描述，电子装置102可确定一组全局运动矢量。在一些配置中，电子装置102可计算一或多个全局运动矢量(例如，用光流)。例如，全局运动矢量648可跨越比局部运动矢量644大的区域。在一些配置中，全局运动矢量可以覆盖图像的特定比例。例如，全局运动矢量可跨越及/或考虑图像的90％(且可例如忽略边界)。图6说明粗糙5x5网格上的全局运动矢量648。图6进一步说明全局运动矢量中值646(与每一全局运动矢量648叠加)。如图6中所说明，可基于所利用的局部运动矢量644a来确定运动掩模的局部运动截面(例如，分离的运动掩模)。
图7说明截面图766(例如，涂写图)的一个实例。结合图7所描述的截面图766可为结合图1所描述的截面图的实例。在此实例中，截面图766包含四个截面：目标截面760、可能目标截面758、可能非目标截面756及非目标截面754。在一些配置及/或实例中，目标截面760可为前景截面、可能的目标截面758可为可能的前景截面，可能的非目标截面756可为可能的背景截面，且非目标截面754可为背景截面。然而，应注意，在一些状况下，截面760、758、756、754中的一或多个可位于不同距离处。例如，目标截面760可对应于“背景”中的对象及/或可比场景中的其它对象更远。例如，目标截面760可对应于场地远侧的足球运动员，而可能的非目标截面756可包含更靠近摄像机的其它足球运动员。
可基于运动掩模来细化截面图766。在一些配置中，可通过结合图1所描述的区域确定器120确定(例如，生成，产生等)截面图766。
可基于选定点来确定目标截面760。例如，目标截面760可包含包含选定点的一组像素(例如，补丁)。在此实例中，目标截面760包含正方形中的像素，其具有围绕选定点的给定高度及宽度。
可基于选定点及/或目标截面760来确定可能的目标截面758。在此实例中，可能的目标截面758包含相对于目标截面760的一组像素。例如，可能的目标截面758包含正方形中的像素，其具有围绕目标截面760的给定高度和宽度。
可能的非目标截面756可为并非目标截面760且并非可能的目标截面758的区域。在此实例中，可能的目标截面758被可能的非目标截面756包围。此外，可能的非目标截面756在此实例中基于选定点确定。具体来说，可能的非目标截面756包含相对于矩形中的选定点的一组像素，其具有围绕可能的目标截面758的给定高度及宽度。
非目标截面754可为并非目标截面760、并非可能的目标截面758且并非可能的非目标截面756的区域。在此实例中，可能的非目标截面756被非目标截面754包围。例如，非目标截面754包含并非其它截面的截面图(例如，图像)的剩余区域。应注意，在一些状况下，截面可部分地围绕另一截面。例如，如果目标截面760靠近图像的左边缘，那么非目标截面754可仅在三个侧面上围绕可能的非目标截面756。
图8说明区域图868生成的实例。例如，图8说明输入帧862、运动掩模864、截面图866及区域图868的实例。区域地图868的生成(例如，经修改的运动掩模、经修改的截面图、经修改的涂写图等)可通过运动信息(例如，运动掩模864)来辅助。
输入框862为可由电子装置102获得的图像的实例。如上文所描述，电子装置102可获得单个选定点884(例如，触摸点、具有鼠标点击的光标位置等)。在此实例中，单个选定点884对应于移动对象(孩子)。电子装置102可基于单个选定点884及输入帧862(以及例如前一帧)确定运动掩模864，如上文在一些配置中所描述。
运动掩模864(例如，分离的运动掩模)可包含局部运动截面870及全局运动截面872。例如，局部运动截面870可包含对应于所使用的局部运动矢量的一组像素，如结合图6所描述。全局运动截面872可包含像素的其余部分。
如上文所描述，电子装置102可获得(例如，生成、确定等)截面图866。例如，截面图866可包含对应于单个选定点884的的目标截面860、可能的目标截面858、可能的非目标截面856及非目标截面854。
电子装置102可基于运动掩模864及截面图866获得区域地图868。例如，电子装置102可将运动掩模864的局部运动截面870与目标截面860及可能的目标截面858组合以产生区域874(例如，目标区域)。在一些配置中，可能的非目标截面856、非目标截面854及全局运动截面872可经组合以产生非目标区域876(例如，背景区域)。在其它配置中，可产生多种类型的非目标区域。例如，可能的非目标截面856的剩余部分(其并非区域874)可为可能的非目标区域875，而非目标截面854可变为非目标区域876。
图9说明基于区域图968的图像分段的实例。特定来说，图9说明输入帧962、区域图968及对象掩模978的实例。如上文所描述，电子装置102可获得图像(例如，输入帧A962a)。电子装置102还可获得单个选定点984。基于单个选定点984、电子装置102可以确定区域图968(例如，区域、目标区域等)。例如，图9中所说明的区域图968可为结合图8描述的区域图868的实例。
在一些配置中，电子装置102可基于区域图968的区域来分段图像(例如，输入帧A962a)以产生对象掩模978。例如，电子装置102可以利用基于涂写的分段或另一分段算法来基于区域(例如，目标区域)产生对象掩模978。如图9中所说明，对象掩模978可包含对象区域979。通常，对象区域可包含对应于对象的一或多个组(例如，区域)像素。对象掩模978的其余部分可为非对象区域(例如，非关注对象区域)。
在一些配置中，电子装置102可基于对象掩模978(例如，经修改运动掩模)而确定关注区域980(例如，边界区域、边界框等)。例如，关注区域980可为包括对象区域979的全部或部分的形状。在一些配置中，关注区域980可具有紧密地限制对象区域979的尺寸。例如，电子装置102可确定矩形形状，所述矩形形状具有跨越物体区域979的最大宽度的宽度尺寸且具有跨越物体区域979的最大高度的高度尺寸。关注区域980可用于一或多个应用(例如，对象跟踪、图像修改、对象辨识、自动变焦等)中。例如，本文中所揭示的系统及方法可提供改进的对象跟踪、改进的图像修改、改进的对象辨识及/或改进的自动变焦，因为改进的ROI精度可改进这些应用的性能(例如，准确性，可靠性等)。
图10说明没有运动辅助区域图生成的方法与运动辅助区域图生成方法之间的比较的实例。具体来说，图10说明输入帧A 1082a及输入帧B 1082b。在具有输入帧A 1082a的实例中，使用单个选定点A 1084a来获得截面图，但未考虑运动信息(例如，未执行运动辅助的地图细化)。利用截面图来生成松散ROI 1086。如具有输入帧A 1082a的实例中所说明，松散ROI 1086未紧凑地限界关注对象(例如，前景)，因为大量的背景也包含在宽松的ROI1086中。
在具有输入帧B 1082b的实例中，使用单个选定点B 1084b来获得截面图且考虑运动信息(例如，生成运动掩模，执行运动辅助图精细化等)。截面图及运动掩模用于生成紧凑的ROI 1088。如具有输入帧B 1082b的实例所说明，紧凑的ROI 1088紧凑地限界目标对象或关注对象(例如，前景)，这是因为紧凑ROI 1088主要包含目标对象(例如，前景)及仅少量非目标内容(例如，背景)。
图11说明没有运动辅助区域图生成的方法与运动辅助区域图生成方法之间的比较的另一实例。具体来说，图11说明图像A 1194a及图像B 1194b。在具有图像A 1194a的实例中，使用单个选定点A 1184a来获得截面图1166，但未考虑运动信息(例如，未执行运动辅助的地图细化)。截面图1166用于生成对象掩模A 1190(例如，执行图像分段以产生对象掩模A 1190)。如图11中所说明，对象掩模A 1190覆盖大面积的非目标内容，其未清楚地指示目标对象或关注对象(例如，前景)。因此，利用对象掩模A 1190可能导致松散ROI 1196。如具有图像A 1194a的实例中所说明，松散ROI 1196未紧凑地限界目标对象或关注对象(例如，前景)，这是因为大量的背景也包含在松散ROI 1196中。
在具有图像B 1194b的实例中，使用单个选定点B 1184b来获得区域图1168，其中考虑运动信息(例如，生成截面图及运动掩模，执行运动辅助图细化等)。截面图及运动掩模用于生成区域图1168。然后基于区域图1168执行图像分段以产生对象掩模B 1178。如图11中所说明，对象掩模B 1178准确地指示目标对象或关注对象。使用对象掩模B1178来生成紧密的ROI 1198。如具有图像B 1194b的实例中所说明，紧密的ROI 1198紧凑地限界目标对象或关注对象(例如，前景)，这是因为紧凑的ROI 1198主要包含前景，及仅少量背景。
图12为说明用于确定图像的区域的方法1200的更特定配置的流程图。方法1200可由电子装置(例如，结合图1所描述的电子装置102)执行
电子装置102可获得1202图像。上述情形可如结合图1到4中的一或多者所描述来完成。
电子装置102可获得1204图像的单个选定点。上述情形可如结合图1到4及7到11中的一或多者所描述来完成。
电子装置102可基于图像获得1206运动掩模。上述情形可如结合图1到6、8及11中的一或多者所描述来完成。
电子装置102可基于选定点生成1208截面图。上述情形可如结合图1到3、7到8及11中的一或多者所描述来完成。
电子装置102可组合1210运动掩模及截面图以产生区域(例如，目标区域)。上述情形可如结合图1到3、8到9及11中的一或多者所描述来完成。
电子装置102可基于区域(例如，目标区域)来分段1212图像以产生对象掩模。上述情形可如结合图1到3、9及11中的一或多者所描述完成。在一些配置中，电子装置102可另外或替代地执行一或多个操作。例如，在一些配置中，电子装置102可生成ROI、执行对象跟踪、执行图像修改、执行对象识别、执行对象检测及/或执行自动变焦等。
图13为说明其中可实施用于确定图像的区域(例如，目标区域)的系统及方法的电子装置1302的更特定实例的框图。结合图13描述的电子装置1302可为结合图1描述的电子装置102的实例及/或可在一些配置中与结合图1描述的电子装置102类似地配置。电子装置1302可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)或硬件及软件的组合(例如，具有指令的处理器)实施。结合图13所描述的组件或元件中的一或多者可为结合图1所描述的对应组件或元件的实例。
在一些配置中，电子装置1302可执行结合图1到12中的一或多个所描述的功能、程序、方法、步骤等中的一或多个。另外或替代地，电子装置1302可包含结合图1到12中的一或多个所描述的结构中的一或多个。
在一些配置中，电子装置1302可包含处理器1312、存储器1322、一或多个显示器1324、一或多个图像传感器1304、一或多个光学系统1306、一或多个通信接口1308，及/或一或多个天线1310。处理器1312可耦合到(例如，与其进行电子通信)存储器1322、显示器1324、图像传感器1304、光学系统1306及/或通信接口1308。处理器1312、图像传感器1304、光学系统1306、通信接口1308、天线1310、存储器1322及/或显示器1324可与结合图1所描述的对应元件类似地操作，及/或可执行结合结合图1所描述的对应元件所描述的功能中的一或多者。应注意，结合图13所描述的电子装置1302的元件中的一或多个(例如，图像传感器1304、光学系统1306、通信接口1308、显示器1324等)可在一些配置中可为任选的及/或可不包含(例如，实施)在电子装置1302中。
处理器1312可经配置以实施本文中所揭示的方法中的一或多种。在一些配置中，处理器1312可包含及/或实施图像获得器1314、选定点获得器1316、运动掩模获得器1318、区域确定器1320、图像分段器1336、对象跟踪器1301、图像修改器1303、对象识别器1305及/或自动变焦控制器1307。图像获得器1314、选定点获得器1316、运动掩模获得器1318及/或区域确定器1320中的一或多个可为结合图1描述的对应组件或元件的实例及/或可执行结合图1所描述的对应元件描述的一或多个功能。应注意，在一些配置中，结合图13所描述的处理器1312的元件中的一或多者(例如，图像分段器1336、对象跟踪器1301、图像修改器1303、对象辨识器1305及/或自动变焦控制器1307等)可为任选的及/或可不包含(例如，实施)在电子装置1302中。
存储器1322可存储指令及/或数据。可由存储器1322存储的指令及/或数据的实例可包含图像数据、图像获得器1314指令、区域确定器1320指令、选定点获得器1316指令、运动掩模获得器1318指令、图像分段器1336指令、对象跟踪器1301指令、图像修改器1303指令、对象识别器1305指令及/或自动变焦控制器1307指令等。
在一些配置中，电子装置1302可在显示器1324上呈现用户接口1326。例如，用户接口1326可使得用户能够与电子装置1302交互。在一些配置中，用户接口1326可使得用户能够输入选定点。例如，用户接口1326可接收触摸、鼠标点击、手势及/或选择点及/或指示选定点的一些其它指示。
处理器1312可包含及/或实施图像获得器1314。图像获得器1314可为结合图1所描述的图像获得器114的实例。一或多个图像(例如，图像帧、视频、突发镜头等)可提供到图像获得器1314。上述情形可如结合图1到4中的一或多个所描述完成。从摄像机获得的图像可由处理器1312处理以执行区域(例如，目标区域)确定及/或对象选择。
处理器1312可包含及/或实施选定点获得器1316。选定点获得器1316可为结合图1所描述的选定点获得器116的实例。选定点获得器1316可获得(例如，确定及/或接收)图像的一或多个选定点。上述情形可如结合图1到4及7到11中的一或多者所描述完成。在一些配置中，用户接口1326可接收指示选定点的输入(例如，触摸输入、鼠标点击、手势等)。选定点可对应于图像中的对象。
处理器1312可包含及/或实施运动掩模获得器1318。运动掩模获得器1318可为结合图1所描述的运动掩模获得器118的实例。运动掩模获得器1318可获得(例如，确定及/或接收)基于图像的运动掩模。上述情形可如结合图1到6、8及11中的一或多者所描述完成。运动掩模可包含及/或指示图像的局部运动截面及/或全局运动截面。
处理器1312可包含及/或实施区域确定器1320。区域确定器1320可为结合图1所描述的区域确定器120。区域确定器1320可基于选定点及运动掩模来确定图像中的区域(例如，目标区域)。上述情形可如结合图1到3、7到9及11中的一或多者所描述来完成。
处理器1312可包含及/或实施图像分段器1336。图像分段器1336可为结合图1及3中的一或多个所描述的图像分段器(例如，图像分段器336)的实例。图像分段器1336可基于区域(例如，目标区域)来分段图像以产生对象掩模。上述情形可如结合图1到3、9及11中的一或多个所描述完成。对象掩模可包含对象区域及非对象区域。对象区域可指示图像中关注对象的位置。图像分段器1336的一些配置可基于基于涂写的分段。可使用其它分段方法。
在一些配置中，电子装置1302可基于区域(例如，目标区域)生成关注区域(ROI)(例如，边界框)。例如，电子装置1302可生成包含所述区域的全部或部分的ROI。在一些方法中，电子装置1302可生成ROI以紧凑地限界对象区域(例如，基于图像分段)。
在一些配置中，处理器1312可含及/或实施对象跟踪器1301。对象跟踪器1301可基于区域(例如，目标区域)、对象区域及/或ROI从图像到图像(例如，帧到帧)跟踪对象。例如，对象跟踪器1301可利用限界关注对象的ROI来跟踪后续帧中的对象。例如，对象跟踪器1301可利用基于运动的方法，基于对象特征的方法或其组合。例如，对象跟踪器1301可逐帧跟踪ROI内的图像数据的运动及/或可基于电子装置1302的移动来确定目标对象的位置、大小或帧(例如，如果摄像机在移动)或对象逐帧移动。另外或替代地，对象跟踪器1301可确定ROI中的对象的一或多个特征(例如，关键点、特征矢量等)。对象跟踪器1301可搜索一或多个特征的随后帧，以便跟踪后续帧中的对象。在一些实施方案中，对象跟踪器1301可利用基于当前帧中的区域(例如，基于截面映射及运动掩模)确定为起始ROI的ROI来进行其后的跟踪。例如，在一些配置中，对象跟踪器1301可在一或多个后续帧中生成一或多个后续ROI，而不重复区域(例如，目标区域)确定(例如，运动掩模及/或截面图生成)。
在一些配置中，处理器1312可包含及/或实施图像修改器1303。图像修改器1303可基于区域(例如，目标区域)、对象区域及/或ROI来修改图像。例如，图像修改器1303可通过用替代图像数据(例如，来自图像的复制图像数据，例如ROI附近的图像数据及/或预定图像数据(例如，用于覆盖及/或删失对象的图像数据))替换对应于对象(及/或ROI)的图像数据来移除ROI中的对象。在另一实例中，图像修改器1303可修改对象的外观。例如，图像修改器1303可去除对应于对象的红眼，可抑制对应于对象的图像噪声，可增强对象的外观(例如，去除瑕疵，饱和颜色等)，及/或可添加对对象的效果(例如，添加化妆的外观，改变颜色，添加新颖效果等)。在另一实例中，图像修改器1303可通过将图像数据从ROI复制到图像或单独图像中的另一位置来克隆ROI中的对象。其它修改是可能的。
在一些配置中，处理器1312可包含及/或实施图像辨识器1305。图像辨识器1305可基于区域(例如，目标区域)、对象区域及/或ROI来执行对象辨识。例如，对象识别器1305可将ROI中的图像数据(例如，对象)与一或多个已知对象的数据库进行比较。如果对象匹配已知对象中的一或多个，那么对象识别器1305可指示匹配及/或可基于匹配执行另一操作(例如，检索对应于对象的信息(例如，名称、识别符、联系信息等))，标记图像中的对象等)。在一些配置中，对象识别器1305可将辨识信息添加到对应于ROI中的对象的数据库。
在一些配置中，处理器1312可包含及/或实施自动变焦控制器1307。自动变焦控制器1307可基于区域(例如，目标区域)、对象区域及/或ROI执行自动变焦。例如，自动变焦控制器1307可放大ROI中的对象的外观。例如，自动变焦控制器1307可控制变焦区域的位置、运动、运动响应速度、大小及/或变焦级别。变焦区域可为图像传感器1304及/或远程摄像机的全视场内的区域。例如，变焦区域可为全视场的子区域(且例如可相对于全视场)。可放大变焦区域内的图像内容(例如，数字变焦及/或增强等)以便放大图像内容。在一些配置中，执行自动变焦可基于区域(例如，目标区域)、对象区域及/或ROI。例如，可基于ROI中的对象的移动、位置及/或大小来自动改变变焦效果。另外或替代地，自动变焦控制器1307可基于对象运动逐帧调整变焦级别。例如，变焦(例如，变焦因子、放大率等)可基于ROI大小及变焦区域大小。例如，变焦级别可基于ROI及变焦区域的大小比率。例如，区域确定器1320可在尺寸比小于最小变焦阈值的状况下增大变焦。另外或替代地，区域确定器1320可在尺寸比大于最大变焦阈值的状况下减小变焦。
处理器1312可提供变焦信息(例如，变焦区域信息，剪裁变焦区域等)。例如，处理器1312可将变焦区域提供到显示器1324以进行呈现。另外或替代地，处理器1312可将变焦区域发送到另一装置(例如，经由通信接口1308)。在一些配置中，可呈现变焦区域(例如，经剪裁的变焦区域)。在一些方法中，变焦区域可仅占据显示器1324的视图的一部分(例如，画中画(PiP)、图片与图片等)。例如，变焦区域可呈现在整个视场的顶部。在其它方法中，变焦区域可占据整个视图。例如，当放大变焦区域时，可能不会显示整个视场。
应注意，可在一些配置中实施一或多个其它模块及/或功能。例如，处理器1312可包含自动聚焦控制器，其可基于区域(例如，目标区域)、对象区域及/或ROI来聚焦图像内容。应注意，可组合及/或划分电子装置1302的元件或组件中的一或多者。
图14说明可包含在经配置以实施本文中所揭示的系统及方法的各种配置的电子装置1402内的某些组件。电子装置1402可为接入终端、移动台、用户设备(UE)、智能手机、数码摄像机、摄像机、平板装置、膝上型计算机等。电子装置1402可根据本文中所描述的电子装置102、1302中的一或多者实施。电子装置1402包含处理器1429。处理器1429可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列，等。处理器1429可被称作中央处理单元(CPU)。尽管仅单个处理器1429经展示在电子装置1402中，但在替代配置中，可实施处理器(例如，ARM及DSP)的组合。
电子装置1402还包含存储器1409。存储器1409可为能够存储电子信息的任何电子组件。存储器1409可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器一起包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
数据1413a及指令1411a可存储在存储器1409中。指令1411a可由处理器1429执行以实施本文中所描述方法中的一或多者。执行指令1411a可涉及使用存储在存储器1409中的数据1413a。在处理器1429执行指令1411时，可将指令1411b的各种部分加载到处理器1429上，且可将各种数据1413b片段加载到处理器1429上。
电子装置1402还可包含发射器1419及接收器1421，以允许向电子装置1402发射信号及从电子装置1402接收信号。发射器1419及接收器1421可统称为收发器1423。一或多个天线1417a到b可电耦合到收发器1423。电子装置1402还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。
电子装置1402可包含数字信号处理器(DSP)1425。电子装置1402还可包含通信接口1427。通信接口1427可允许及/或实现一或多个种类的输入及/或输出。例如，通信接口1427可包含用于将其它装置链接到电子装置1402的一或多个端口及/或通信装置。在一些配置中，通信接口1427可包含发射器1419、接收器1421或两者(例如，收发器1423)。另外或替代地，通信接口1427可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机，等)。例如，通信接口1427可适当用户能够与电子装置1402交互。
电子装置1402的各种组件可通过一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线，等。为清楚起见，各种总线在图14中经说明为总线系统1415。
术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)，确定及其类似者。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。此外，“确定”可包含解析、选择、挑选、建立及其类似者。
除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。
术语“处理器”应广泛揭示为囊括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机，等等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息及/或将信息写入到存储器，那么存储器被认为与处理器电子通信。与处理器成整体的存储器与处理器电子通信。
术语“指令”及“代码”应广泛揭示为包含任何类型的计算机可读语句。例如，术语“指令”及“代码”可指一或多个程序、例程、子例程、函数、程序，等。“指令”及“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。通过实例的方式且非限制性，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁碟存储装置、磁盘存储装置或其它磁性存储装置或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其它媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其它适当装置可通过装置下载及/或以它方式获得。例如，装置可耦合到服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如光盘(CD)或软盘物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到装置时获得各种方法。
应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的系统、方法及设备的布置、操作及细节做出各种修改、改变及变化而不会背离权利要求书的范围。

Claims (30)

1.一种用于确定图像的区域的方法，其包括：
呈现包括一或多个对象的场景的图像；
接收选择对应于目标对象的所述图像上的单个点的输入；
基于所述图像获得运动掩模，其中所述运动掩模指示所述图像的局部运动截面及全局运动截面；及
基于所述选定点及所述运动掩模确定所述图像中的区域。
2.根据权利要求1所述的方法，其中确定所述区域包括基于所述选定点生成截面图。
3.根据权利要求2所述的方法，其中所述截面图包括对应于所述选定点的目标区间、可能的目标截面，可能的非目标截面及非目标截面。
4.根据权利要求2所述的方法，其中确定所述区域包括组合所述截面图及所述运动掩模。
5.根据权利要求4所述的方法，其进一步包括基于所述区域分段所述图像以产生对象掩模。
6.根据权利要求1所述的方法，其进一步包括基于实施选定点及所述运动掩模而确定所述图像中的非目标区域。
7.根据权利要求1所述的方法，其进一步包括融合运动信息及颜色信息。
8.根据权利要求1所述的方法，其中获得所述运动掩模包括：
确定前一帧与当前帧之间的关注区域内的一组局部运动矢量；
确定所述前一帧与所述当前帧之间的一组全局运动矢量；及
基于所述组全局运动矢量计算全局运动一致性度量。
9.根据权利要求1所述的方法，其进一步包括基于所述区域跟踪所述目标对象，其中所述区域对应于所述目标对象。
10.根据权利要求1所述的方法，其进一步包括基于所述区域生成关注区域ROI。
11.根据权利要求1所述的方法，其进一步包括基于所述区域选择所述目标对象。
12.根据权利要求1所述的方法，其进一步包括呈现所述目标对象的指示。
13.一种用于确定图像的区域的电子装置，其包括：
处理器，其经配置以：
呈现包括一或多个对象的场景的图像；
接收选择对应于目标对象的所述图像上的单个点的输入；
基于所述图像获得运动掩模，其中所述运动掩模指示所述图像的局部运动截面及全局运动截面；及
基于所述选定点及所述运动掩模确定所述图像中的区域。
14.根据权利要求13所述的电子装置，其中所述处理器经配置以基于所述选定点生成截面图。
15.根据权利要求14所述的电子装置，其中所述截面图包括对应于所述选定点的目标区间、可能的目标截面，可能的非目标截面及非目标截面。
16.根据权利要求14所述的电子装置，其中所述处理器经配置以通过组合所述截面图及所述运动掩模来确定所述区域。
17.根据权利要求16所述的电子装置，其中所述处理器经配置以基于所述区域来分段所述图像以产生对象掩模。
18.根据权利要求13所述的电子装置，其中所述处理器经配置以基于所述选定点及所述运动掩模来确定所述图像中的非目标区域。
19.根据权利要求13所述的电子装置，其中所述处理器经配置以融合运动信息及颜色信息。
20.根据权利要求13所述的电子装置，其中所述处理器经配置以：
确定前一帧与当前帧之间的关注区域内的一组局部运动矢量；
确定所述前一帧与所述当前帧之间的一组全局运动矢量；及
基于所述组全局运动矢量计算全局运动一致性度量。
21.一种用于确定图像的区域的设备，其包括：
用于呈现包括一或多个对象的场景的图像的装置；
用于接收选择对应于目标对象的所述图像上的单个点的输入的装置；
用于基于所述图像获得运动掩模的装置，其中所述运动掩模指示所述图像的局部运动截面及全局运动截面；及
用于基于所述选定点及所述运动掩模确定所述图像中的区域的装置。
22.根据权利要求21所述的设备，其中用于确定所述区域的所述装置包括用于基于所述选定点生成截面图的装置。
23.根据权利要求22所述的设备，其中用于确定所述区域的所述装置包括用于组合所述截面图及所述运动掩模的装置。
24.根据权利要求21所述的设备，其进一步包括用于基于所述选定点及所述运动掩模而确定所述图像中的非目标区域的装置。
25.根据权利要求21所述的设备，其中用于获得所述运动掩模的所述装置包括：
用于确定前一帧与当前帧之间的关注区域内的一组局部运动矢量的装置；
用于确定所述前一帧与所述当前帧之间的一组全局运动矢量的装置；及
用于基于所述组全局运动矢量计算全局运动一致性度量的装置。
26.一种用于确定图像的区域的计算机程序产品，包括其上具有指令的非暂时性计算机可读介质，所述指令包括：
用于致使电子装置呈现包括一或多个对象的场景的图像的代码；
用于致使所述电子装置接收选择对应于目标对象的所述图像上的单个点的输入的代码；
用于致使所述电子装置基于所述图像获得运动掩模的代码，其中所述运动掩模指示所述图像的局部运动截面及全局运动截面；及
用于致使所述电子装置基于所述选定点及所述运动掩模来确定所述图像中的区域的代码。
27.根据权利要求26所述的计算机程序产品，其中用于致使所述电子装置确定所述区域的所述代码包括用于致使所述电子装置基于所述选定点生成选择图的代码。
28.根据权利要求27所述的计算机程序产品，其中用于致使所述电子装置确定所述区域的所述代码包括用于致使所述电子装置组合所述选择图及所述运动掩模的代码。
29.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述电子装置基于所述选定点及所述运动掩模确定所述图像中的非目标区域的代码。
30.根据权利要求26所述的计算机程序产品，其中用于致使所述电子装置获得所述运动掩模的所述代码包括：
用于致使所述电子装置确定前一帧与当前帧之间的关注区域内的一组局部运动矢量的代码；
用于致使所述电子装置确定所述前一帧与所述当前帧之间的一组全局运动矢量的代码；及
用于致使所述电子装置基于所述组全局运动矢量而计算全局运动一致性度量的代码。
CN201680081425.7A 2016-02-12 2016-11-21 用于确定图像中的区域的系统及方法 Pending CN108604379A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/042,782 2016-02-12
US15/042,782 US9865062B2 (en) 2016-02-12 2016-02-12 Systems and methods for determining a region in an image
PCT/US2016/063128 WO2017138995A1 (en) 2016-02-12 2016-11-21 Systems and methods for determining a region in an image

Publications (1)

Publication Number Publication Date
CN108604379A true CN108604379A (zh) 2018-09-28

Family

ID=57539638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081425.7A Pending CN108604379A (zh) 2016-02-12 2016-11-21 用于确定图像中的区域的系统及方法

Country Status (4)

Country Link
US (1) US9865062B2 (zh)
EP (1) EP3414741A1 (zh)
CN (1) CN108604379A (zh)
WO (1) WO2017138995A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866631A (zh) * 2020-12-30 2021-05-28 杭州海康威视数字技术股份有限公司 一种区域确定方法、系统、装置及电子设备
CN116055861A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种视频编辑方法和电子设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3025525B1 (en) 2013-07-25 2018-12-12 Convida Wireless, LLC End-to-end m2m service layer sessions
US10567671B2 (en) * 2014-03-18 2020-02-18 Sony Corporation Image processing apparatus and image processing method
WO2016029399A1 (en) 2014-08-28 2016-03-03 Qualcomm Incorporated Object selection based on region of interest fusion
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
WO2017218785A1 (en) 2016-06-15 2017-12-21 Convida Wireless, Llc Grant-less uplink transmission for new radio
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
EP4336850A3 (en) 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
EP3296950A1 (en) * 2016-09-15 2018-03-21 Thomson Licensing Method and device for blurring a virtual object in a video
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
EP3520243A2 (en) 2016-11-03 2019-08-07 Convida Wireless, LLC Frame structure in nr
US10902276B2 (en) * 2016-12-22 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for processing image
CN110301136B (zh) * 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
CN110383848B (zh) 2017-03-07 2022-05-06 交互数字麦迪逊专利控股公司 用于多设备呈现的定制视频流式传输
EP3545686B1 (en) * 2017-03-20 2021-09-22 Samsung Electronics Co., Ltd. Methods and apparatus for generating video content
US10223821B2 (en) 2017-04-25 2019-03-05 Beyond Imagination Inc. Multi-user and multi-surrogate virtual encounters
EP3432204B1 (en) * 2017-07-20 2024-01-17 Tata Consultancy Services Limited Telepresence framework for region of interest marking using headmount devices
US10289932B2 (en) * 2017-07-31 2019-05-14 Google Llc Object recognition state indicators
US11871451B2 (en) 2018-09-27 2024-01-09 Interdigital Patent Holdings, Inc. Sub-band operations in unlicensed spectrums of new radio
CN109379625B (zh) * 2018-11-27 2020-05-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US10956719B2 (en) * 2018-11-30 2021-03-23 Qualcomm Incorporated Depth image based face anti-spoofing
US10937169B2 (en) * 2018-12-18 2021-03-02 Qualcomm Incorporated Motion-assisted image segmentation and object detection
WO2021005105A1 (en) * 2019-07-09 2021-01-14 Sony Semiconductor Solutions Corporation Imaging systems, devices and methods
WO2021084165A1 (fr) 2019-11-03 2021-05-06 St37 Sport Et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement
CN111582060B (zh) * 2020-04-20 2023-04-18 浙江大华技术股份有限公司 自动划线周界报警方法、计算机设备及存储装置
US20220148256A1 (en) * 2020-11-11 2022-05-12 Nvidia Corporation Image blending using one or more neural networks
WO2022140392A1 (en) * 2020-12-22 2022-06-30 AI Data Innovation Corporation System and method for dynamically cropping a video transmission
US11949909B2 (en) * 2020-12-29 2024-04-02 Qualcomm Incorporated Global motion estimation using road and ground object labels for geometry-based point cloud compression
EP4095791A1 (en) * 2021-05-26 2022-11-30 Samsung Electronics Co., Ltd. Image signal processor and image processing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069918A (en) * 1996-01-15 2000-05-30 Robert Bosch Gmbh Method of detecting moving objects in chronologically successive images
CN101299272A (zh) * 2007-05-03 2008-11-05 索尼德国有限责任公司 初始化运动目标模板的方法和系统
CN102833465A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 基于运动检测的刑侦视频预处理方法
CN103218794A (zh) * 2011-08-31 2013-07-24 索尼公司 图像处理装置和方法、记录介质及程序
US20150235377A1 (en) * 2014-02-20 2015-08-20 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in media content
CN105205484A (zh) * 2014-11-26 2015-12-30 中国人民解放军第二炮兵工程大学 基于曲波变换与维纳滤波的合成孔径雷达目标检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470094B1 (en) 2000-03-14 2002-10-22 Intel Corporation Generalized text localization in images
US7254270B2 (en) 2002-07-09 2007-08-07 Hewlett-Packard Development Company, L.P. System and method for bounding and classifying regions within a graphical image
US9329827B2 (en) 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
EP2199981A1 (en) 2008-12-09 2010-06-23 Koninklijke Philips Electronics N.V. Image segmentation
RU2533441C2 (ru) 2009-12-30 2014-11-20 Нокиа Корпорейшн Способ и устройство для обеспечения поиска изображения по содержимому
US8861864B2 (en) 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US20120078899A1 (en) 2010-09-27 2012-03-29 Fontana James A Systems and methods for defining objects of interest in multimedia content
IL210427A0 (en) 2011-01-02 2011-06-30 Agent Video Intelligence Ltd Calibration device and method for use in a surveillance system for event detection
KR20130091441A (ko) 2012-02-08 2013-08-19 삼성전자주식회사 물체 추적 장치 및 그 제어 방법
WO2013144418A1 (en) 2012-03-29 2013-10-03 Nokia Corporation Image segmentation
JP2013214234A (ja) 2012-04-03 2013-10-17 Sony Corp 移動制御装置、移動制御方法、およびプログラム
CN102682454B (zh) 2012-04-28 2013-05-08 中国科学技术大学 一种视频中的感兴趣区域跟踪方法及装置
US20140003686A1 (en) 2012-06-28 2014-01-02 Technologie Avanzate T.A. Srl Multimodality Image Segmentation of Volumetric Data Sets
US9514366B2 (en) 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US9584814B2 (en) 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
WO2016029399A1 (en) 2014-08-28 2016-03-03 Qualcomm Incorporated Object selection based on region of interest fusion
US9355320B2 (en) 2014-10-30 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Blur object tracker using group lasso method and apparatus
US9542751B2 (en) 2015-05-08 2017-01-10 Qualcomm Incorporated Systems and methods for reducing a plurality of bounding regions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069918A (en) * 1996-01-15 2000-05-30 Robert Bosch Gmbh Method of detecting moving objects in chronologically successive images
CN101299272A (zh) * 2007-05-03 2008-11-05 索尼德国有限责任公司 初始化运动目标模板的方法和系统
CN103218794A (zh) * 2011-08-31 2013-07-24 索尼公司 图像处理装置和方法、记录介质及程序
CN102833465A (zh) * 2012-07-24 2012-12-19 武汉大千信息技术有限公司 基于运动检测的刑侦视频预处理方法
US20150235377A1 (en) * 2014-02-20 2015-08-20 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in media content
CN105205484A (zh) * 2014-11-26 2015-12-30 中国人民解放军第二炮兵工程大学 基于曲波变换与维纳滤波的合成孔径雷达目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABDALBASSIR ABOU-ELAILAH等: "Fusion of Global and Local Motion Estimation Using Foreground Objects for Distributed Video Coding", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
REMI TRICHET等: "Fast Video Object Selection for Interactive Television", 《2006 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866631A (zh) * 2020-12-30 2021-05-28 杭州海康威视数字技术股份有限公司 一种区域确定方法、系统、装置及电子设备
CN116055861A (zh) * 2022-05-30 2023-05-02 荣耀终端有限公司 一种视频编辑方法和电子设备
CN116055861B (zh) * 2022-05-30 2023-10-20 荣耀终端有限公司 一种视频编辑方法和电子设备

Also Published As

Publication number Publication date
US9865062B2 (en) 2018-01-09
WO2017138995A1 (en) 2017-08-17
EP3414741A1 (en) 2018-12-19
US20170236288A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
CN108604379A (zh) 用于确定图像中的区域的系统及方法
US11468648B2 (en) Image processing apparatus and image processing method
TWI683259B (zh) 一種相機姿態資訊確定的方法及相關裝置
CN110648363B (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN107636589B (zh) 用于减少多个限界区的系统和方法
US9268410B2 (en) Image processing device, image processing method, and program
US9311756B2 (en) Image group processing and visualization
CN107223269A (zh) 三维场景定位方法和装置
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
CN110069125B (zh) 虚拟对象的控制方法和装置
CN112023400B (zh) 一种高度图生成方法、装置、设备及存储介质
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN109743566A (zh) 一种用于识别vr视频格式的方法与设备
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
CN110941327A (zh) 虚拟对象的显示方法和装置
CN111870954B (zh) 一种高度图生成方法、装置、设备及存储介质
CN109816723A (zh) 投影控制方法、装置、投影交互系统及存储介质
US11113871B1 (en) Scene crop via adaptive view-depth discontinuity
CN110941974B (zh) 虚拟对象的控制方法和装置
Shiratori et al. Detection of pointing position by omnidirectional camera
CN115760584A (zh) 一种图像处理方法及相关设备
CN116485896A (zh) 基于机器人的物体抓取方法、装置、机器人及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928