CN103578116B - 用于跟踪对象的设备和方法 - Google Patents

用于跟踪对象的设备和方法 Download PDF

Info

Publication number
CN103578116B
CN103578116B CN201310311594.3A CN201310311594A CN103578116B CN 103578116 B CN103578116 B CN 103578116B CN 201310311594 A CN201310311594 A CN 201310311594A CN 103578116 B CN103578116 B CN 103578116B
Authority
CN
China
Prior art keywords
image
information
pattern
extraction
various sizes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310311594.3A
Other languages
English (en)
Other versions
CN103578116A (zh
Inventor
裴纯敏
宋武耿
全材烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN103578116A publication Critical patent/CN103578116A/zh
Application granted granted Critical
Publication of CN103578116B publication Critical patent/CN103578116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于跟踪对象的设备和方法。跟踪对象的方法包括：获得由相机捕捉的图像；根据从所述图像中的地平线到所述图像中的多个像素的距离设置具有各种尺寸的多个样式；在使用所述具有各种尺寸的多个样式扫描所述图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；在所述图像中显示关于提取的对象的位置的信息。

Description

用于跟踪对象的设备和方法
本申请要求于2012年7月23日在韩国知识产权局提交的第10-2012-0080253号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。
技术领域
示例性实施例涉及一种用于跟踪对象的设备和方法。更具体地说，示例性实施例涉及一种用于快速准确地提取和跟踪图像中的对象的设备和方法。
背景技术
用于检测和跟踪对象（诸如人或车辆）的现有技术对于图像分析研究和监视/警戒领域而言已经变得重要。现有技术可用于通过在特定区域中安装相机来找出犯罪的人或违反交通规则的车辆。此外，现有技术可用于通过在移动设备上安装相机来躲避障碍或检测和跟踪入侵者。
在现有的对象检测方法中，将被检测的对象的特性特征可来自于静止图像。此外，在现有技术中，当周围样式与对象的样式匹配时，将来自静止图像的可能区域确定为检测对象。然而，在现有技术中，会花费大量时间来比较样式，并且难以进行实时检测。此外，在现有技术中，当图像的质量低或者使用的样式没有与将被检测的对象准确地匹配时，会发生多次误检测。
发明内容
示例性实施例可提供一种用于通过使用具有各种尺寸的样式扫描图像帧来快速准确地提取和跟踪对象的设备和方法。
根据示例性实施例的一方面，一种跟踪对象的方法包括：获得由相机捕捉的图像；根据从所述图像中的地平线到所述图像中的多个像素的距离设置具有各种尺寸的多个样式；在使用所述具有各种尺寸的多个样式扫描图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；在所述图像中显示关于提取的对象的位置的信息。
所述方法还可包括：在获得图像之前，从存储在数据库中的多个对象中选择将被跟踪的对象。
所述多个对象可以以梯度直方图（HOG）的形式存储在数据库中，所述梯度直方图指示用作特征向量的亮度分布方向。
设置多个样式的步骤可包括：从所述图像检测地平线；获得关于相机的高度的信息；获得关于对象的实际尺寸的信息；使用所述图像中的地平线到所述图像中的多个像素的距离、获得的关于相机的高度的信息和获得的关于对象的实际尺寸的信息来设置将被用于扫描所述图像的所述具有各种尺寸的多个样式。
可以根据以下等式设置所述多个样式中的至少一个样式的尺寸：
提取对象的步骤可包括：在使用所述具有各种尺寸的多个样式扫描图像的同时，获得与所述具有各种尺寸的多个样式中的一个样式匹配的对象；通过将支持向量机（SVM）应用到获得的对象，从存储在数据库中的多个对象中提取将被跟踪的对象。
所述方法还可包括：传送关于提取的对象的位置的信息以及根据提取的对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息。此外，所述方法可包括：所述图像和所述下一图像都是图像帧，在由相机捕捉所述图像之后立即由所述相机捕捉所述下一图像。
所述方法还可包括：获得由第一相机捕捉的第一图像；获得由第二相机捕捉的第二图像。
在设置具有各种尺寸的多个样式的步骤中，可根据第一图像中的从地平线到多个像素的距离来设置多个样式的各种尺寸。
在提取对象的步骤中，可在使用所述具有各种尺寸的多个样式扫描第一图像的同时，将第一对象与所述具有各种尺寸的多个样式中的一个样式进行匹配。
显示关于提取的对象的位置的步骤可包括：在第一图像上显示关于提取的第一对象的位置的信息；在第二图像上显示关于提取的第一对象的位置的信息。
所述方法还可包括：存储关于对象的位置的信息以及根据对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息，当第一相机捕捉下一第一图像时，将所述信息传送到所述下一第一图像。
根据示例性实施例的另一方面，一种用于跟踪对象的设备包括：样式设置装置，基于使用相机捕捉的图像中的地平线并根据从所述地平线到多个像素的距离设置具有各种尺寸的多个样式；对象提取装置，在使用所述具有各种尺寸的多个样式扫描所述图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；对象跟踪装置，在所述图像中显示关于提取的对象的位置的信息。
所述设备还可包括：对象选择装置，从存储在数据库中的多个对象中选择将被跟踪的对象。
样式设置装置可通过检测所述图像中的地平线并获得关于所述相机的高度的信息以及关于所述对象的尺寸的信息，来设置用于扫描所述图像的所述具有各种尺寸的多个样式。
针对下一图像，对象跟踪装置可使用关于提取的对象的位置的信息以及根据提取的对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息。
根据示例性实施例的另一方面，一种用于跟踪对象的设备包括：第一相机，捕捉第一图像；第二相机，捕捉第二图像；对象选择装置，从存储在数据库中的多个对象中选择将被跟踪的对象；样式设置装置，基于第一图像中的地平线并根据从所述地平线到多个像素的距离设置具有各种尺寸的多个样式；第一对象提取装置，在使用所述具有各种尺寸的多个样式扫描第一图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的第一对象；第二对象提取装置，对第二图像使用从第一图像提取的关于第一对象的位置的信息以及根据提取的第一对象的位置的关于在所述多个样式中的至少一个样式的尺寸的信息，来提取第二对象提取；匹配装置，针对提取了第一对象和第二对象的区域对第一图像和第二图像进行匹配；对象跟踪装置，在匹配的图像中显示关于提取的匹配的对象的位置的信息。
样式设置装置可通过检测来自第一图像的地平线并获得关于第一相机和第二相机的高度的信息以及关于所述对象的尺寸的信息，来设置用于扫描所述图像的所述具有各种尺寸的多个样式。
对象跟踪装置可存储关于提取的第一对象的位置的信息和根据所述位置的关于所述多个样式中的至少一个样式的尺寸的信息，并且当第一相机捕捉下一第一图像时，将所述信息传送到所述下一第一图像。
根据示例性实施例的另一方面，一种记录有用于执行跟踪对象的方法的程序的计算机可读记录介质，所述方法包括：获得由相机捕捉的图像；基于所述图像中的地平线，根据从所述地平线到多个像素的距离设置具有各种尺寸的多个样式；在使用所述具有各种尺寸的多个样式扫描所述图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；在所述图像中显示关于提取的对象的位置的信息。
附图说明
通过参照附图详细描述本发明的示例性实施例，示例性实施例的以上和其他特征和优点将变得更清楚，其中：
图1是示意地示出根据实施例的对象跟踪设备的结构的框图；
图2A至图2D是示出存储在图1的数据库中的对象模型的示图；
图3A和图3B是用于解释图1的样式尺寸设置的示图；
图4是示意地示出在图1的图像帧中设置的各种样式尺寸的示图；
图5A和图5B是示意地示出根据图1的设置的对象在通过使用具有各种尺寸的样式扫描图像帧的期间提取对象的示图；
图6A和图6B是示意地示出在当前图像帧和下一图像帧上的样式的示图；
图7是示意地示出根据另一实施例的对象跟踪设备的结构的框图；
图8A至图8C是示意地示出提取和匹配分别由图7的第一相机和第二相机捕捉的第一图像帧和第二图像帧中的对象的示图；
图9是用于解释根据实施例的跟踪对象的方法的流程图；
图10是用于解释根据另一实施例的跟踪对象的方法的流程图。
具体实施方式
由于示例性实施例允许各种改变和多个实施例，因此将在附图中示出特定实施例，并在说明书中详细描述特定实施例。然而，这不意图将示例性实施例限制为特定实施方式，而是应该被理解为不脱离示例性实施例的精神和技术范围的所有改变、等同物和替代物包含在示例性实施例中。在示例性实施例的描述中，当认为现有技术的特定具体解释会不必要地使示例性实施例的实质模糊时，省略对现有技术的特定具体解释。
在此，诸如“第一”和“第二”的术语仅用于描述多个组成元素，但是组成元素不被这些术语所限制。这些术语仅用于区分一个组成元素与其他组成元素的目的。
在本说明书中使用的术语仅用于描述特定实施例，并不意图限制示例性实施例。除非在上下文中具有明显不同的意思，否则以单数形式使用的表达包含以复数形式使用的表达。在本说明书中，将理解诸如“包括”或“具有”等的术语意图指示在说明书中公开的特征、数量、步骤、动作、组件、部件或其组合的存在，而不意图排除可能存在或可能添加一个或多个其他特征、数量、步骤、动作、组件、部件或其组合的可能性。
可以按照功能块组件和各种处理步骤来描述示例性实施例。可通过被配置为执行指定功能的任意数量的硬件组件和/或软件组件来实现这样的功能块。例如，示例性实施例可采用可在一个或多个微处理器或其他控制装置的控制下实现各种功能的各种集成电路组件，例如，存储器元件、处理元件、逻辑元件、查找表等。作为示例，对象选择单元400、图像处理单元200、对象提取单元600、对象跟踪单元700、样式设置单元500、第一对象提取单元601、第二对象提取单元602和图像匹配单元603中的任何一个可包括用于执行它们各自的功能的处理器、硬件模块或集成电路。类似地，在使用软件编程或软件元素来实现示例性实施例的元素的情况下，可使用通过使用数据结构、对象、处理、例程或其他编程元素的任何组合来实现的各种算法，使用任何编程语言或脚本语言（诸如C、C++、Java、汇编语言等）来实现示例性实施例。可以以在一个或多个处理器上执行的算法来实现功能方面。此外，示例性实施例可采用任何数量的现有技术以进行电子配置、信号处理和/或控制、数据处理等。术语“机制”和“元素”被广义地使用，并不被限制为机械或物理实施例，而是可包括结合处理器等的软件例程。
在下文中，将通过参照附图解释优选实施例来详细描述示例性实施例。附图中的相同的标号表示相同的元件，并省略繁冗的描述。
图1是示意地示出根据实施例的对象跟踪设备10的结构。参照图1，对象跟踪设备10包括相机100、图像处理单元200、数据库300、对象选择单元400、样式设置单元500、对象提取单元600和对象跟踪单元700。
相机100通过使用例如互补金属氧化物半导体（CMOS）模块或电荷耦合器件（CCD）模块来捕捉对象的图像。通过透镜将输入图像帧提供到CMOS模块或CCD模块。CMOS模块或CCD模块将从对象反射并通过透镜的光信号转换为电信号，并输出电信号以产生图像帧。
图像处理单元200减少从相机100输出的图像帧的噪声，并执行用于提高图像质量的图像信号处理，诸如伽马校正、颜色滤波阵列插值、颜色矩阵、颜色校正、颜色增强等。
此外，图像处理单元200可通过对通过用于提高图像质量的图像信号处理产生的图像数据进行压缩来产生图像文件，或可从图像文件恢复图像数据。图像的压缩格式可以是可逆格式或不可逆格式。
此外，图像处理单元200可执行颜色处理、模糊处理、尖锐处理、图像分析处理、图像识别处理、图像效果处理等。图像识别处理可包括面部识别、场景识别等。例如，图像处理单元200可执行亮度水平调整、颜色校正、对比度调整、轮廓增强处理、屏幕划分处理、人物（character）图像产生、图像合成处理等。
数据库300存储关于对象模型的多条信息。图2示出存储在数据库300中的多种类型的对象模型。例如，关于对象模型（诸如人、瓶子、猫和汽车）的多条信息存储在数据库300中。然而，存储在数据库300中的对象模型不限于以上示例，多种类型的对象模型可被存储在数据库300中。此外，关于对象模型的实际尺寸的信息，例如，人的身高（170cm）或汽车的高度（120cm）可被一起存储在数据库300中。
以梯度直方图（HOG）的形式将对象模型存储在数据库300中，梯度直方图指示将被用作特征向量的亮度分布方向。
HOG算法是用于提取对象的特性特征的多种算法之一。根据HOG算法，将图像划分为棋盘样式的多个方格，并且在每个方格中计算亮度的分布方向的本地直方图。具体地说，使用由多个像素组成的单元以及由多个单元组成的块来容易地提取转换后的图像的特征向量。
图2A示出在以人作为对象模型的情况下通过应用HOG算法提取的特征向量。图2B、图2C和图2D分别示出瓶子、猫和汽车的特征向量。
虽然在本实施例中，HOG算法被用于提取对象模型的特性特征，但是示例性实施例不限于此。可使用各种算法（诸如图像归一化、自商图像（SQI）、修正的统计变换（MCT）等）来提取对象模型的特性特征。
对象选择单元400从存储在数据库300中的各种模型中选择将进行跟踪的对象模型。例如，对象选择单元400可根据用户的选择选择由HOG表示的人或另一对象。
样式设置单元500根据从图像帧中的地平线到该相同图像帧中的多个像素的距离来设置具有各种尺寸的多个样式。为了设置样式尺寸，样式设置单元500从图像帧检测地平线，获得关于从地平线到像素的距离的信息、关于相机100的实际高度的信息以及关于对象的实际尺寸的信息。预设关于相机100的实际高度的信息，并且可在数据库300中搜索关于对象的实际尺寸的信息。
样式设置单元500从图像帧检测地平线。地平线的检测可被描述为将图像划分为天空区域和非天空区域的方法。地平线检测方法主要可分为两种方法。
第一方法是基于区域的方法，该方法利用这样的图像的特性特征，在所述图像中天空区域覆盖了图像的上部的大部分。使用临界值来检测地平线。为了获得临界值，使用多个小滤波器和图像之间的亮度的差。在获得临界值之后，执行垂直的从上到下的搜索处理。然后，将亮度值等于或小于临界值的点确定为地平线的开始点。
第二方法是基于边缘的方法，其中，使用梯度值来检测被定义为两个独立区域之间的边界的地平线。样式设置单元500可通过使用该方法来检测图像帧中的地平线。因此，可获得关于地平线的位置的信息。
可基于从图像帧中的地平线到像素的距离以及在该图像帧中的对象的尺寸（样式尺寸）的比例分别与相机100的高度以及由对象选择单元400设置的对象的实际尺寸的比例相同的假设，来计算由样式设置单元500设置的样式尺寸。因此，可基于以上假设通过使用下面的等式来计算图像帧中的对象的样式尺寸。
[等式1]
图3A和图3B是用于解释图1的样式尺寸设置的示图。图3A示出由相机100捕捉的图3B的场景的图像帧。图3B示出用于捕捉图像帧的实际场景。参照图3A和图3B，在等式1中代入关于地平线的位置的信息、关于相机100的实际高度的信息和关于对象的实际尺寸的信息。因此，可设置图像帧的对象的尺寸，例如，样式尺寸。
图4是示意地示出针对由对象选择单元400设置的对象，根据从图像帧中的地平线到像素的距离的样式尺寸的改变。参照图4，样式设置单元500获得关于地平线的位置的信息、将被跟踪的对象、关于对象的实际尺寸的信息和关于相机100的实际高度的信息。在该状态下，样式设置单元500通过将以上信息和从地平线到预定像素pix1的距离d1应用到等式1来设置样式尺寸P1。此外，样式设置单元500通过将以上信息和从地平线到预定像素pix2的距离d2应用到等式1来设置样式尺寸P2。以相同的方式，样式设置单元500可通过将以上信息和从地平线到预定像素pix1至pixn的距离d1至dn应用到等式1来设置样式尺寸P1至Pn。
样式尺寸可根据对象的类型、关于对象的实际尺寸的信息和地平线的位置而不同。在现有技术中，通过将具有不同尺寸的多个样式应用到每个像素来比较样式以检测对象，会花费大量时间。
然而，在本实施例中，由于使用根据从地平线到像素的距离设置的样式来执行用于检测对象的样式比较，因此与现有技术相比，大幅减少了样式比较时间。
对象提取单元600使用被设置为不同尺寸的样式来扫描图像帧，并提取与样式之一匹配的对象。
图5A和图5B是示意地示出由对象提取单元600使用被设置为不同尺寸的样式来扫描图像帧，以提取与样式之一匹配的对象的示图。参照图5A描述当对象是人时跟踪对象的操作。在图5A中，样式设置单元500已经具有关于地平线的位置的信息、关于人的实际尺寸的信息和关于相机100的实际高度的信息。样式设置单元500通过将从地平线到预定像素pix1至pixn的距离d1至dn应用到等式1来设置样式P1至Pn。对象提取单元600使用被设置为不同尺寸的样式P1至Pn来扫描图像帧，并提取与样式匹配的人。从图5A中可以看出，在使用在距离da计算的样式尺寸Pa扫描图像帧的同时提取与样式Pa匹配的人（即，对象）。
下面参照图5B描述在对象为汽车时的跟踪对象的操作。在图5B中，样式设置单元500已经具有关于地平线的位置的信息、关于汽车的实际尺寸的信息和关于相机100的实际高度的信息。样式设置单元500通过将从地平线到预定像素pix1至pixn的距离d1至dn应用到等式1来设置样式P1至Pn。对象提取单元600使用被设置为不同尺寸的样式P1至Pn来扫描图像帧，并提取与样式匹配的汽车。从图5B中可以看出，在使用在距离db计算的样式尺寸Pb扫描图像帧的同时提取与样式Pb匹配的汽车（即，对象）。
对象提取单元600通过将支持向量机（SVM）应用到提取的对象来将对象分类为重要区域候选组和不重要区域候选组，并可从重要区域候选组中提取将被跟踪的对象。
对象跟踪单元700在当前图像帧上显示关于提取的对象的位置的信息以及关于提取的对象的样式尺寸的信息。然后，对象跟踪单元700将在当前图像帧上显示的信息（即，关于提取的对象的位置的信息和关于提取的对象的样式尺寸的信息）传送到下一图像帧，以显示下一图像帧。
可从关于当前图像帧上的对象的位置的信息估计关于下一图像帧上的对象的位置的信息。由于对象跟踪单元700可估计下一图像帧上的对象的位置，因此对象跟踪单元700还可估计用于跟踪对象的样式的尺寸。因此，可减少用于提取和跟踪对象的时间。
可选择地，对象跟踪单元700可在不做改变的情况下对下一图像帧使用关于当前图像帧上的对象的位置的信息和关于样式的尺寸的信息。下一图像帧上的样式的尺寸和对象的位置与当前图像帧上的差别不大。因此，在提取下一图像帧上的对象期间，可通过对当前图像帧上的样式的尺寸和对象的位置进行微调来减少用于提取和跟踪对象的时间。
图6A示出在例如汽车被选择为对象并被提取之后，对象跟踪单元700在当前图像帧上显示关于样式的尺寸的信息以及关于对象的位置的信息的情况。图6B示出对象跟踪单元700在下一图像帧上显示关于当前图像帧的对象（汽车）的位置的信息以及关于样式的尺寸的信息的情况。因此，通过针对下一图像帧使用在当前图像帧上显示的关于对象的位置的信息以及关于样式的尺寸的信息，可减少用于提取和跟踪对象的时间。
通过使用前一帧中的关于对象的位置的信息以及关于样式的尺寸的信息来在后续帧中执行对象的提取和跟踪。因此，可通过在每个图像帧上显示关于对象的位置的信息以及关于的样式的尺寸的信息来跟踪对象。
图7是示意地示出根据另一实施例的对象跟踪设备70的结构的框图。在下面的描述中，省略与参照图1至图6的描述重复的部分。
参照图7，根据另一实施例的对象跟踪设备70包括第一相机101、第二相机102、图像处理单元200、数据库300、对象选择单元400、样式设置单元500、第一对象提取单元601、第二对象提取单元602、图像匹配单元603和对象跟踪单元700。将图1和图7相比，可在图1的对象跟踪设备10中使用2D图像，可在图7的对象跟踪设备70中使用3D图像。
第一相机101和第二相机102是通过使用例如互补金属氧化物半导体（CMOS）模块或电荷耦合器件（CCD）模块来捕捉对象的左相机和右相机。第一输入图像帧和第二输入图像帧通过透镜被提供到CMOS模块或CCD模块。第一相机101和第二相机102中的每个相机的CMOS模块或CCD模块将从对象反射并通过透镜的光信号转换为电信号（捕捉信号），并输出电信号以产生图像帧。
图像处理单元200对从第一相机101输出的第一图像帧和从第二相机102输出的第二图像帧执行图像处理。图像处理单元200的结构和功能与以上参照图1至图6呈现的图像处理单元的结构和功能相同。
数据库300存储关于对象模型的多条信息。对象选择单元400从存储在数据库300中的多个对象模型中选择将被跟踪的对象模型。例如，对象选择单元400可根据用户的选择设置为跟踪由HOG表示的人或汽车。
样式设置单元500在由第一相机101捕捉的第一图像帧中根据从地平线到多个像素的距离设置具有多个尺寸的样式。样式设置单元500通过检测来自第一图像帧的地平线并获得关于第一相机101和第二相机102的高度的信息以及关于对象的尺寸的信息，来设置用于扫描第一图像帧的具有各种尺寸的多个样式。因为样式设置单元500的其它描述与图1的样式设置单元的描述相同，因此省略对样式设置单元500的其它描述。
第一对象提取单元601使用被设置为不同尺寸的样式来扫描第一图像帧并提取与样式之一匹配的对象。
第二对象提取单元602通过对第二图像帧使用由第一对象提取单元601从第一图像帧提取的关于第一对象的位置的信息和关于样式的尺寸的信息，来提取第二对象。
如果第二对象提取单元602以与第一对象提取单元601提取第一对象相同的方法提取第二对象，则需要第一对象提取时间和第二对象提取时间，所述第二对象提取时间与第一对象提取时间相同。然而，由于第二对象提取单元602通过使用关于来自第一对象提取单元601的第一对象的样式尺寸和位置的信息来提取第二对象，因此，可减少用于提取第一对象和第二对象的时间。
图像匹配单元603通过针对提取了第一对象和第二对象的区域对第一图像帧和第二图像帧进行匹配来产生3D图像。
图像匹配单元603搜索由第一相机101捕捉的第一图像帧和由第二相机102捕捉的第二图像帧中的共同特性，并通过基于搜索的共同特性匹配两个图像来获得一个图像。换句话说，对于图像匹配，将第一图像帧和第二图像帧中的每个图像帧划分为存在对象的前景区域和作为前景区域以外的其它区域的背景区域，搜索两个图像帧的背景区域的共同区域，基于共同区域匹配两个图像。由于图像匹配是已知的，因此省略对其的详细描述。
图8A至图8C是示意地示出提取和匹配分别由图7的第一相机101和第二相机102捕捉的第一图像帧和第二图像帧中的对象的示图。图8A示出从第一图像帧提取的第一对象（例如，汽车）。图8B示出通过使用来自第一图像帧的关于第一对象的位置的信息和关于样式的尺寸的信息从第二图像帧提取的第二对象（例如，汽车）。图8C示出由图像匹配单元603对第一图像帧和第二图像帧进行匹配的结果。
对象跟踪单元700在当前匹配的图像帧中显示关于提取的对象的位置的信息，并将在当前匹配的图像帧中显示的关于对象的位置的信息和关于与提取的对象相应的样式的尺寸的信息传送到第一图像帧。为了减少提取时间和跟踪时间，可从关于当前图像帧上的对象的位置的信息推测下一图像帧上的关于对象的位置的信息和关于样式的尺寸的信息。由于在输入的图像帧和匹配的图像帧中的每个图像帧中显示关于对象的位置的信息，因此可从3D图像跟踪对象。
如上所述，由于针对图像中的对象的每个位置设置多个样式尺寸，并且通过使用设置的样式来扫描图像，因此可快速准确地提取和跟踪对象。
图9是用于解释根据实施例的使用对象跟踪设备10来跟踪对象的方法的流程图。在以下描述中，省略与参照图1至图6的描述重复的部分。
参照图9，对象跟踪设备10执行从存储在数据库300中的各种对象模型中选择将被跟踪的对象的操作（S110）。选择对象的操作不限于操作S110，如果在从图像帧中提取对象之前完成了选择对象的操作，则可以在任何操作中执行选择对象的操作。
当完成选择将被跟踪的对象的操作时，对象跟踪设备10执行获得由相机100捕捉的图像帧的操作（S120）。当完成获得图像帧的操作时，对象跟踪设备10根据从图像帧的地平线到图像帧中多个像素的距离来执行设置具有各种尺寸的多个样式的操作（S130）。
当完成设置样式尺寸的操作时，对象跟踪设备10执行使用被设置为不同尺寸的样式来扫描图像帧，并提取与样式之一匹配的对象的操作（S140）。
当完成提取对象的操作时，对象跟踪设备10执行在当前图像帧上显示关于提取的对象的位置的信息的操作（S150）。
当完成显示关于对象的位置的信息的操作时，对象跟踪设备10执行将在当前图像帧上显示的关于对象的位置的信息以及关于与提取的对象相应的样式的尺寸的信息传送到下一图像帧，从而从下一图像帧提取对象的操作（S160）。
因此，由于在每个输入图像帧中显示关于对象的位置的信息，因此可快速准确地跟踪对象。
图10是用于解释根据另一实施例的跟踪对象的方法的流程图。在以下描述中，省略参照图1至图7的描述重复的部分。
参照图10，根据本实施例，对象跟踪设备70执行从存储在数据库300中的各种对象模型中选择将被跟踪的对象的操作（S210）。选择对象的操作不限于操作S210，如果在从图像帧中提取对象之前完成了选择对象的操作，则并可以在任何操作中执行选择对象的操作。
当完成选择将被跟踪的对象的操作时，对象跟踪设备70执行获得由第一相机101捕捉的第一图像帧和由第二相机102捕捉的第二图像帧的操作（S220）。
当完成获得第一图像帧和第二图像帧的操作时，对象跟踪设备70基于从第一图像帧提取的地平线线执行根据从地平线到多个像素的距离设置具有各种尺寸的多个样式的操作（S230）。
当完成设置样式尺寸的操作时，对象跟踪设备70执行使用被设置为不同尺寸的样式扫描图像帧并提取与样式之一匹配的第一对象的操作（S240）。
当完成提取第一对象的操作时，对象跟踪设备70执行以下操作（S250）：对第二图像帧使用从第一图像帧提取的关于第一对象的位置的信息以及关于样式的尺寸的信息，来提取第二对象。由于通过使用关于第一对象的位置的信息以及关于样式的尺寸的信息来提取第二对象，因此可减少用于提取第二对象的时间。
当完成提取第二对象的操作时，对象跟踪设备70执行通过针对提取了第一对象和第二对象的区域对第一图像帧和第二图像帧进行匹配，来产生3D图像的操作。
当完成对第一图像和第二图像进行匹配的操作时，对象跟踪设备70执行在匹配的图像帧中显示关于提取的对象的位置的信息的操作（S270）。
当完成显示关于对象的位置的信息的操作时，对象跟踪设备70执行以下操作（S280）：将显示在匹配的当前图像帧上的关于对象的位置的信息以及关于与提取的对象相应的样式的尺寸的信息存储在数据库300中，并且当第一相机捕捉下一第一图像帧时将所述信息传送到下一第一图像帧。
因此，由于在每个输入和匹配的图像帧中显示关于对象的位置的信息，因此对于3D图像可快速准确地跟踪对象。
如上所述，根据示例性实施例，可通过使用具有各种尺寸的多个样式扫描图像帧来快速准确地提取和跟踪对象。
示例性实施例还可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储数据的任何数据存储装置，其中，在存储之后可由计算机系统读取所述数据。
计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光数据存储装置等。计算机可读记录介质还可被分布在联网的计算机系统上，从而计算机可读代码以分布方式被存储和执行。此外，用于完成示例性实施例的功能程序、代码和代码段可由示例性实施例所属领域的程序员容易地解释。
虽然已经具体示出和描述了示例性实施例，但是本领域技术人员将理解，在不脱离由权利要求限定的示例性实施例的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (15)

1.一种跟踪对象的方法，所述方法包括：
从存储在数据库中的多个对象中选择将被跟踪的对象；
获得由相机捕捉的图像；
根据从所述图像中的地平线到所述图像中的多个像素的距离设置具有各种尺寸的多个样式；
在使用所述具有各种尺寸的多个样式扫描所述图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；
在所述图像中显示关于提取的对象的位置的信息，
其中，设置多个样式的步骤包括：
从所述图像检测地平线；
获得关于相机的高度的信息；
获得关于对象的实际尺寸的信息；
使用所述图像中的地平线到所述图像中的多个像素的距离、获得的关于相机的高度的信息和获得的关于对象的实际尺寸的信息来设置将被用于扫描所述图像的所述具有各种尺寸的多个样式。
2.如权利要求1所述的方法，其中，所述多个对象以梯度直方图(HOG)的形式存储在数据库中，所述梯度直方图指示用作特征向量的亮度分布方向。
3.如权利要求1所述的方法，其中，根据以下等式设置所述多个样式中的至少一个样式的尺寸：
4.如权利要求1所述的方法，其中，提取对象的步骤包括：
在使用所述具有各种尺寸的多个样式扫描所述图像的同时，获得与所述具有各种尺寸的多个样式中的一个样式匹配的对象；
通过将支持向量机(SVM)应用到获得的对象，从存储在数据库中的多个对象中提取将被跟踪的对象。
5.如权利要求1所述的方法，还包括：将关于提取的对象的位置的信息以及根据提取的对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息传送到下一图像中，
其中，所述图像和所述下一图像都是图像帧，在由相机捕捉所述图像之后立即由所述相机捕捉所述下一图像。
6.如权利要求1所述的方法，还包括：
获得由第一相机捕捉的第一图像；
获得由第二相机捕捉的第二图像。
7.如权利要求6所述的方法，其中，在设置具有各种尺寸的多个样式的步骤中，根据第一图像中的从地平线到多个像素的距离来设置多个样式的各种尺寸。
8.如权利要求7所述的方法，其中，在提取对象的步骤中，在使用所述具有各种尺寸的多个样式扫描第一图像的同时，将第一对象与所述具有各种尺寸的多个样式中的一个样式进行匹配。
9.如权利要求8所述的方法，其中，显示关于提取的对象的位置的信息步骤包括：
在第一图像上显示关于提取的第一对象的位置的信息；
在第二图像上显示关于提取的第一对象的位置的信息。
10.如权利要求9所述的方法，还包括：存储关于对象的位置的信息以及根据对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息，当第一相机捕捉下一第一图像时，将所述信息传送到所述下一第一图像。
11.一种用于跟踪对象的设备，所述设备包括：
对象选择装置，从存储在数据库中的多个对象中选择将被跟踪的对象；
样式设置装置，基于使用相机捕捉的图像中的地平线并根据从所述地平线到多个像素的距离设置具有各种尺寸的多个样式；
对象提取装置，在使用所述具有各种尺寸的多个样式扫描所述图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的对象；
对象跟踪装置，在所述图像中显示关于提取的对象的位置的信息，
其中，样式设置装置通过检测所述图像中的地平线并获得关于所述相机的高度的信息以及关于所述对象的尺寸的信息，来设置用于扫描所述图像的所述具有各种尺寸的多个样式。
12.如权利要求11所述的设备，其中，针对下一图像，对象跟踪装置使用关于提取的对象的位置的信息以及根据提取的对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息。
13.一种用于跟踪对象的设备，所述设备包括：
第一相机，捕捉第一图像；
第二相机，捕捉第二图像；
对象选择装置，从存储在数据库中的多个对象中选择将被跟踪的对象；
样式设置装置，基于第一图像中的地平线并根据从所述地平线到多个像素的距离设置具有各种尺寸的多个样式；
第一对象提取装置，在使用所述具有各种尺寸的多个样式扫描第一图像的同时，提取与所述具有各种尺寸的多个样式中的一个样式匹配的第一对象；
第二对象提取装置，对第二图像使用从第一图像提取的关于第一对象的位置的信息以及根据提取的第一对象的位置的关于所述多个样式中的至少一个样式的尺寸的信息，来提取第二对象；
匹配装置，针对提取了第一对象和第二对象的区域对第一图像和第二图像进行匹配；
对象跟踪装置，在匹配的图像中显示关于提取的匹配的对象的位置的信息。
14.如权利要求13所述的设备，其中，样式设置装置通过检测来自第一图像的地平线并获得关于第一相机和第二相机的高度的信息以及关于所述对象的尺寸的信息，来设置用于扫描第一图像的所述具有各种尺寸的多个样式。
15.如权利要求13所述的设备，其中，对象跟踪装置存储关于提取的第一对象的位置的信息和根据所述位置的关于所述多个样式中的至少一个样式的尺寸的信息，并且当第一相机捕捉下一第一图像时，将所述信息传送到所述下一第一图像。
CN201310311594.3A 2012-07-23 2013-07-23 用于跟踪对象的设备和方法 Active CN103578116B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120080253A KR101758684B1 (ko) 2012-07-23 2012-07-23 객체 추적 장치 및 방법
KR10-2012-0080253 2012-07-23

Publications (2)

Publication Number Publication Date
CN103578116A CN103578116A (zh) 2014-02-12
CN103578116B true CN103578116B (zh) 2018-02-13

Family

ID=49946221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310311594.3A Active CN103578116B (zh) 2012-07-23 2013-07-23 用于跟踪对象的设备和方法

Country Status (3)

Country Link
US (1) US9373034B2 (zh)
KR (1) KR101758684B1 (zh)
CN (1) CN103578116B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP6191500B2 (ja) * 2014-02-25 2017-09-06 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
DE102014102634B4 (de) * 2014-02-27 2019-02-21 Lavision Gmbh Verfahren zum Kalibrieren einer optischen Anordnung, Verfahren zum Darstellen eines periodischen Kalibriermusters und Computerprogrammprodukt
KR101445367B1 (ko) * 2014-04-01 2014-10-02 주식회사 다이나맥스 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
US9877036B2 (en) 2015-01-15 2018-01-23 Gopro, Inc. Inter frame watermark in a digital video
US9418396B2 (en) 2015-01-15 2016-08-16 Gopro, Inc. Watermarking digital images to increase bit depth
KR101726695B1 (ko) * 2015-01-23 2017-04-13 한화테크윈 주식회사 객체추적방법
KR102391852B1 (ko) * 2015-01-27 2022-04-28 한화테크윈 주식회사 움직임 검출 방법, 이 방법을 채용한 카메라 및 감시 시스템
US9781809B2 (en) * 2015-04-10 2017-10-03 Google Inc. Dynamic pathlight brightness based on size and distance of motion/object approaching the device
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
JP6806066B2 (ja) * 2015-09-11 2021-01-06 日本電気株式会社 物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム
US9930271B2 (en) * 2015-09-28 2018-03-27 Gopro, Inc. Automatic composition of video with dynamic background and composite frames selected based on frame criteria
CN105222774B (zh) * 2015-10-22 2019-04-16 Oppo广东移动通信有限公司 一种室内定位方法及用户终端
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US9749738B1 (en) 2016-06-20 2017-08-29 Gopro, Inc. Synthesizing audio corresponding to a virtual microphone location
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US10313686B2 (en) 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US10134114B2 (en) 2016-09-20 2018-11-20 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
US10192143B1 (en) * 2016-09-20 2019-01-29 Gopro, Inc. Systems and methods to distinguish between features depicted in images
US10003768B2 (en) 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
CN109478328A (zh) * 2016-09-30 2019-03-15 富士通株式会社 目标跟踪方法、装置以及图像处理设备
US10489897B2 (en) 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
EP3647236B1 (en) * 2017-06-30 2023-07-05 Panasonic Intellectual Property Management Co., Ltd. Projection instruction device, parcel sorting system, and projection instruction method
CN107590453B (zh) * 2017-09-04 2019-01-11 腾讯科技（深圳）有限公司 增强现实场景的处理方法、装置及设备、计算机存储介质
CN107742303B (zh) * 2017-09-29 2021-05-25 南京阿凡达机器人科技有限公司 一种基于机器人的目标图像显示处理方法及系统
US11328396B2 (en) * 2017-12-26 2022-05-10 Samsung Electronics Co., Ltd. Image acquisition device and method of controlling the same
US10638135B1 (en) * 2018-01-29 2020-04-28 Amazon Technologies, Inc. Confidence-based encoding
US10783648B2 (en) * 2018-03-05 2020-09-22 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
EP3827582A4 (en) * 2018-08-14 2021-07-21 Huawei Technologies Co., Ltd. IMAGE PROCESSING APPARATUS AND FEATURE EXTRACTION METHOD
KR102031503B1 (ko) * 2018-11-23 2019-11-08 유니셈(주) 다중 객체 검출 시스템 및 방법
KR102041734B1 (ko) * 2018-12-13 2019-11-27 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
KR101991307B1 (ko) * 2019-04-04 2019-06-20 인천대학교 산학협력단 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
KR20230153626A (ko) * 2022-04-29 2023-11-07 한화비전 주식회사 오토 포커스 조절 방법 및 이를 이용한 카메라 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395636A (zh) * 2006-03-01 2009-03-25 株式会社尼康 被摄体追踪计算机程序产品、被摄体追踪装置以及照相机
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
JP4873711B2 (ja) 2006-12-05 2012-02-08 本田技研工業株式会社 三次元物体を検出する装置
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
JP5277805B2 (ja) * 2008-09-05 2013-08-28 富士通株式会社 物体抽出装置、物体抽出方法および物体抽出プログラム
CN102165493B (zh) 2008-09-25 2013-11-06 澳大利亚国家Ict有限公司 对图像中的车辆的检测
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
JP4877374B2 (ja) * 2009-09-02 2012-02-15 株式会社豊田中央研究所 画像処理装置及びプログラム
KR101139389B1 (ko) 2010-04-28 2012-04-27 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 영상인식장치 및 방법
US20110285851A1 (en) 2010-05-20 2011-11-24 Honeywell International Inc. Intruder situation awareness system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395636A (zh) * 2006-03-01 2009-03-25 株式会社尼康 被摄体追踪计算机程序产品、被摄体追踪装置以及照相机
CN101534393A (zh) * 2008-03-14 2009-09-16 欧姆龙株式会社 对象图像检测装置、其控制方法、程序及电子设备

Also Published As

Publication number Publication date
KR20140013407A (ko) 2014-02-05
US9373034B2 (en) 2016-06-21
CN103578116A (zh) 2014-02-12
US20140022394A1 (en) 2014-01-23
KR101758684B1 (ko) 2017-07-14

Similar Documents

Publication Publication Date Title
CN103578116B (zh) 用于跟踪对象的设备和方法
CN109389086B (zh) 检测无人机影像目标的方法和系统
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
US9710698B2 (en) Method, apparatus and computer program product for human-face features extraction
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
US11699290B1 (en) Pedestrian re-identification method and apparatus based on local feature attention
US8548247B2 (en) Image processing apparatus and method, and program
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
US20230334235A1 (en) Detecting occlusion of digital ink
EP3054421B1 (en) Method of fast and robust camera location ordering
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN109784215B (zh) 一种基于改进的光流法的活体检测方法及系统
CN103632131B (zh) 用于提取对象的设备和方法
CN117710868B (zh) 一种对实时视频目标的优化提取系统及方法
JP2013197892A (ja) 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
WO2023056833A1 (zh) 背景图生成、图像融合方法、装置、电子设备及可读介质
CN115810166A (zh) 结合深度网络和运动特征的矿车检测方法及系统
CN113901929A (zh) 一种基于显著性的动态目标检测与识别的方法及装置
JP2016181182A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190404

Address after: Gyeonggi Do city of South Korea

Co-patentee after: Hanwha Precision Machinery Co.,Ltd.

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Patentee before: HANWHA AEROSPACE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210125

Address after: Gyeonggi Do city of South Korea

Patentee after: HANWHA TECHWIN Co.,Ltd.

Patentee after: Hanwha Corp.

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanwha Techwin Co.,Ltd.

Patentee before: Hanwha Precision Machinery Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: Hanwha Corp.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: Hanwha Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231213

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: Han Huajiqiren(zhu)

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanhua Vision Co.,Ltd.

Patentee before: Hanwha Corp.

TR01 Transfer of patent right

Effective date of registration: 20240604

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Country or region after: Republic of Korea

Address before: Gyeonggi Do city of South Korea

Patentee before: Hanhua Vision Co.,Ltd.

Country or region before: Republic of Korea

Patentee before: Han Huajiqiren(zhu)

TR01 Transfer of patent right