CN103139447B - 使用ptz相机检测对象的设备和方法 - Google Patents

使用ptz相机检测对象的设备和方法 Download PDF

Info

Publication number
CN103139447B
CN103139447B CN201210480951.4A CN201210480951A CN103139447B CN 103139447 B CN103139447 B CN 103139447B CN 201210480951 A CN201210480951 A CN 201210480951A CN 103139447 B CN103139447 B CN 103139447B
Authority
CN
China
Prior art keywords
pixel
current
background
input image
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210480951.4A
Other languages
English (en)
Other versions
CN103139447A (zh
Inventor
张权
张一权
林廷恩
金树完
金宣廷
李侊茂
尹基敏
崔镇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Seoul National University Industry Foundation
Original Assignee
Samsung Techwin Co Ltd
Seoul National University Industry Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd, Seoul National University Industry Foundation filed Critical Samsung Techwin Co Ltd
Publication of CN103139447A publication Critical patent/CN103139447A/zh
Application granted granted Critical
Publication of CN103139447B publication Critical patent/CN103139447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种使用PTZ相机检测对象的设备和方法。一种用于检测对象的设备，包括：滤波器，对当前输入图像和基于先前输入图像产生的背景模型进行滤波；单应矩阵估计单元，估计当前输入图像与背景模型之间的单应矩阵；图像排列单元，通过将单应矩阵应用到滤波的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像；前景/背景检测单元，通过将转换的背景模型与滤波的当前输入图像之间的相应像素进行比较来检测前景。

Description

使用PTZ相机检测对象的设备和方法
本申请要求2011年11月23日提交到韩国知识产权局的第10-2011-0123116号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及检测在从左右、上下和变焦(PTZ)相机输入的图像中运动的对象。
背景技术
使用PTZ相机的对象检测算法包括使用光流的运动分离技术。由于具有它们本身的运动的前景看起来显示出彼此不同的运动而相机的运动与背景相同，故这种技术涉及一种使用光流对运动进行分组的方法。
另一使用PTZ相机的对象检测算法是一种在检测运动对象的过程中在相机的水平轴和垂直轴的运动范围内产生整个区域以及大背景模型的方法。根据该方法，大背景模型随相机运动而产生，并且从大背景模型中找到与当前输入图像相应的部分。大背景模型和与当前输入图像相应的部分彼此互相比较，从而可检测运动对象。所述方法可被分为使用相机PTZ信息的方法以及不使用相机PTZ信息的另一方法。
此外，使用PTZ相机的另一对象检测算法是一种产生具有与输入图像相同尺寸的背景模型的方法。
发明内容
一个或多个示例性实施例提供了一种用于在使用左右、上下和变焦(PTZ)相机的监测系统中有效和准确地检测运动对象的设备和方法。
根据示例性实施例的一方面，一种用于检测对象的设备，包括：滤波器，对当前输入图像和基于先前输入图像产生的背景模型进行滤波；单应矩阵估计单元，估计当前输入图像与背景模型之间的单应矩阵；图像排列单元，通过将单应矩阵应用到滤波的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像；前景/背景检测单元，通过将转换的背景模型与滤波的当前输入图像之间的相应像素进行比较来检测前景。
所述设备还可包括特征点提取单元，提取背景模型的特征点并跟踪当前输入图像中的相应的特征点，其中，单应矩阵估计单元基于当前输入图像和背景模型的特征点之间的关系来估计单应矩阵。
滤波器可以是高斯差分(DOG)滤波器。
前景/背景检测单元可基于转换的背景模型的与当前像素和当前像素的至少一个相邻像素相应的比较像素的平均时间值和方差值，使用转换的背景模型的时空信息将当前输入图像的当前像素分类为前景像素或背景像素，并且相邻像素的每一个是空间中的距当前像素的欧几里得距离在第一阈值之内的像素。
如果至少一个比较像素的平均时间值与当前像素的像素值之间的差可小于比较像素的方差值与第二阈值的积，则前景/背景检测单元可将当前像素分类为背景像素。
所述设备还可包括跟踪单元，产生用于检测的前景的标签并在下一输入图像中跟踪检测的前景。
如果作为跟踪的结果，具有相同标签的前景在下一输入图像中可被连续检测，则前景/背景检测单元可在估计的前景的检测区域中将前景的当前像素以及背景模型的与当前像素相应的像素进行比较，并将当前像素分类为前景像素或背景像素，而不考虑当前像素周围的背景。
所述设备还可包括背景更新单元，基于滤波的当前输入图像的每个像素的时间信息来更新转换的背景模型。
背景更新单元可设置用于滤波的当前输入图像的每个像素的根据滤波的当前输入图像与至少一个下一输入图像之间的像素的重叠而设置的年龄值，并通过使用年龄值的倒数，基于转换的背景模型的像素的平均时间值和滤波的当前输入图像的像素的像素值的加权和来更新转换的背景模型。
根据另一示例性实施例的一方面，一种检测对象的方法，包括：对当前输入图像和基于先前输入图像产生的背景模型进行滤波；估计当前输入图像与背景模型之间的单应矩阵；通过将单应矩阵应用到滤波的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像；通过将转换的背景模型与滤波的当前输入图像之间的相应像素进行比较来检测前景。
所述估计单应矩阵的步骤可包括：提取背景模型的特征点并跟踪当前输入图像中的相应的特征点；以及基于当前输入图像和背景模型的特征点之间的关系来估计单应矩阵。
所述对当前输入图像和背景模型进行滤波的步骤可包括：使用高斯差分(DOG)滤波器对背景模型进行滤波。
所述检测前景的步骤可包括：基于转换的背景模型的与当前像素和当前像素的至少一个相邻像素相应的比较像素的平均时间值和方差值，使用转换的背景模型的时空信息将当前输入图像的当前像素分类为前景像素或背景像素；相邻像素的每一个可以是空间中的距当前像素的欧几里得距离在第一阈值之内的像素。
如果至少一个比较像素的平均时间值与当前像素的像素值之间的差可小于比较像素的方差值与第二阈值的积，则所述对当前输入图像的当前像素进行分类的步骤可包括将当前像素分类为背景像素。
所述方法还可包括：产生用于检测的前景的标签并在下一输入图像中跟踪检测的前景。
如果作为跟踪的结果，具有相同标签的前景在下一输入图像中被连续检测，则所述检测前景的步骤可包括：在估计的检测区域中将前景的当前像素以及转换的背景模型的与当前像素相应的像素进行比较，并将当前像素分类为前景像素或背景像素，而不考虑当前像素周围的背景。
所述方法还可包括：基于滤波的当前输入图像的每个像素的时间信息来更新转换的背景模型。
所述更新背景模型的步骤可包括：设置用于滤波的当前输入图像的每个像素的根据滤波的当前输入图像与至少一个下一输入图像之间的像素的重叠而设置的年龄值，以及通过使用年龄值的倒数，基于转换的背景模型的像素的平均时间值和滤波的当前输入图像的像素的像素值的加权和来更新转换的背景模型。
附图说明
通过参照附图对示例性实施例进行详细描述，上述和其它方面将变得更加清楚，其中：
图1是示意性示出根据示例性实施例的对象检测设备的框图；
图2是示意性示出根据示例性实施例的图1的图像转换单元的内部结构的框图；
图3是示出根据示例性实施例的排列当前输入图像和扭曲的背景模型的示例的示图；
图4是示意性示出根据示例性实施例的图1的对象检测单元的内部结构的框图；
图5A和图5B示出根据示例性实施例的从当前输入图像提取前景的结果；
图6是示出根据示例性实施例的确定前景像素和背景像素的方法的示图；
图7是示出根据示例性实施例的根据时间在前景提取结果中的改变的示图；
图8A到图8C示出根据示例性实施例的设置年龄值的示例；
图9是用于解释根据示例性实施例的检测对象的方法的流程图；
图10是示意性示出根据示例性实施例的监测系统的结构的框图。
具体实施方式
参照用于示出示例性实施例的附图以获得对本发明构思及其优点以及由本发明构思的实施方式完成的目标的充分理解。以下，将通过参照附图解释示例性实施例来详细描述本发明构思。附图中相同的标号表示相同的元件。
如在此使用的，术语“和/或”包括一个或多个关联列出项的任意和所有组合。当在一系列元件之后时，诸如“……中的至少一个”的描述修饰所述一系列元件的全部，而不是修饰所述一系列元件中的单独的元件。
使用光流的运动分离方法具有操作速度非常慢的缺点。存在一种对整个图像以部分为单位而不是以像素为单位来跟踪光流以实时使用光流的方法。然而，由于通过考虑检测算法的目的从全部像素检测前景来保证系统的鲁棒性，故所述方法是不合适的。
产生大背景模型的方法需要大存储空间以存储创建的背景模型。另外，整个背景模型需要根据时间流被持续更新。然而，由于仅可在存在输入图像的地方做出更新，故当相机位于在预定时间过去之后未连续做出更新的区域中时，不能够准确地检测对象。此外，由于需要总是搜索输入图像位于大背景模型中的区域，故随着背景模型的尺寸增加，花费的时间越长。
产生具有与输入图像相同尺寸的背景模型的方法需要快速并且小的存储空间。然而，由于难以创建准确的背景模型，故对象的频繁误检测是所述方法的缺点。具体地，误检测可在轮廓部分发生许多次，并且在输入图像转换期间产生的错误可能会在背景模型中连续累积。另外，当对象小或者对象的颜色与背景相似时，对象的检测变得困难。
根据本发明构思，对邻近的两个图像之间的特征点(即，由先前输入图像和当前输入图像更新的背景模型)进行跟踪，从而计算两个图像的单应矩阵。使用计算的单应矩阵来转换通过高斯差分(DOG)滤波器的背景模型。随后，对与当前输入图像重叠的区域进行搜索。考虑相邻像素的信息从当前输入图像搜索运动对象。通过基于时间的信息来更新背景模型，从而可实时地准确检测运动对象。
图1是示意性示出根据示例性实施例的对象检测设备的框图。图9是用于解释根据示例性实施例的检测对象的方法的流程图。下面参照图9对图1的对象检测设备的操作进行描述。
第一输入图像被设置为第一背景模型。从第二输入图像执行对象的检测。例如，当作为当前输入图像的第二输入图像与作为第一输入图像的背景模型进行比较时执行对象检测。
参照图1，根据当前实施例的对象检测设备包括图像转换单元100、对象检测单元200和背景更新单元300。
图像转换单元100定义当前输入图像与背景模型(背景图像)之间的关系，并对这两个图像进行转换(S700)。当前输入图像是由左右、上下和变焦(PTZ)相机捕捉的RGB图像，并且根据时间的输入场景可由于PTZ相机的运动而改变。背景模型是基于先前输入图像而产生的RGB图像。因此，当前输入图像和背景模型是在时间上的邻近图像。背景模型被产生为具有与当前输入图像相同的尺寸。因此，根据当前实施例的对象检测设备与产生大背景模型的方法相比具有快检测速度和小存储空间。
图2是示意性示出图1的图像转换单元100的内部结构的框图。参照图2，图像转换单元100包括滤波器101、特征点提取单元103、单应矩阵估计单元105和图像排列单元107。
滤波器101对当前输入图像和背景模型进行滤波(S701)。滤波器101通过对当前输入图像和背景模型进行滤波来产生具有加强的轮廓的纠正图像。滤波器101可以是由等式1表达的DOG滤波器。DOG滤波器包括具有不同方差的两个DOG，并具有加强图像中的轮廓的效果。因此，还可以通过将DOG滤波器应用到示出将被检测的非常小的对象的图像或者具有低对比度的图像来准确地检测对象。由于DOG滤波器是公知技术，故在此将省略其详细描述。虽然下面描述通过使用DOG滤波器的纠正图像的运动的检测，但是本发明构思不限于使用DOG滤波器，可使用能够提高图像质量的各种滤波器。滤波器101输出根据等式1被DOG滤波的当前输入图像和背景对象。在等式1中，字母“x”表示像素。
特征点提取单元103从当前输入图像和背景模型提取特征点(S703)。使用中的当前输入图像和背景模型是滤波器101未施加滤波的RGB图像。特征点提取单元103通过从背景模型提取特征点Xi并跟踪当前输入图像中与特征点Xi相应的特征点Xi’来提取两个图像之间的相应的特征点。特征点可通过例如Kanade-Lucas-Tomasi(LKT)跟踪方法被提取。由于LKT跟踪方法是公知技术，故在此将省略其详细描述。
单应矩阵估计单元105估计当前输入图像与背景模型之间的单应矩阵H(S703)。由于背景模型的尺寸和输入图像的尺寸相同并且背景模型是基于先前输入图像产生的，故当PTZ相机通过改变PTZ值来捕捉图像时，在当前输入图像与背景模型之间存在时间差，从而存在两个图像之间的重叠区域以及新的输入区域。因此，需要定义两个图像之间的关系。当前输入图像与背景模型之间的关系可由等式2表达，等式2示出了从背景提取的特征点Xi与从当前输入图像提取的特征点Xi’之间的单应矩阵H。在等式2中，“(x，y)”表示图像中的像素的位置(坐标)。
其中，Xi＝(xi，yi，1)T，Xi′＝(xi′，yi′，1)T (2)
图像排列单元107通过将单应矩阵H应用到纠正(滤波)的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像(S705)。通过应用单应矩阵H来转换背景模型的处理被称为扭曲(wrap)。图3是示出根据示例性实施例的排列当前输入图像和扭曲的背景模型的示例的示图。参照图3，图像排列单元107排列扭曲的背景模型和纠正的当前输入图像，并检测两个图像之间的重叠(覆盖)区域B和新的输入区域A。在重叠区域B中搜索运动对象，而将新的输入区域A应用于背景模型更新。
对象检测单元200通过将背景模型与当前输入图像之间的相应像素进行比较来检测运动对象(S800)。这里，背景模型是在由DOG滤波纠正之后被扭曲的图像，而当前输入图像是由DOG滤波纠正的图像。为了解释方便，将由对象检测单元200处理的图像称为当前输入图像或背景模型，而不添加将被处理的图像是由DOG滤波或DOG滤波/扭曲纠正的图像的描述。然而，根据示例性实施例，对象检测单元200可通过将未被滤波和扭曲的背景模型与未被滤波的当前输入图像之间的相应像素进行比较来检测运动对象。在这种情况下，图像转换单元100可简单地接收未滤波、扭曲和排列的输入图像。
图4是示意性示出图1的对象检测单元的内部结构的框图。参照图4，对象检测单元200包括前景/背景检测单元201和跟踪单元203。
前景/背景检测单元201通过使用背景模型的时空信息从当前输入图像检测前景(S801)。前景/背景检测单元201可通过将当前输入图像与背景模型之间的相应像素进行比较并对当前输入图像中的前景像素和背景像素进行分类来检测运动对象(即，前景)。图5A和图5B示出根据示例性实施例的从当前输入图像提取前景的结果。参照图5A和图5B，前景/背景检测单元201可从图5A的当前输入图像检测前景，并输出图5B的二值前景检测图像。
在现有技术中，当像素被确定为前景或背景时，在输入图像的当前像素与背景模型的相应像素之间比较像素值。作为比较的结果，当差值大时像素被确定为前景，当差值小时像素被确定为背景。该方法在通过使用固定相机检测对象中是有用的，但是当PTZ相机被用于对象检测时发生许多误检测。
因此，前景/背景检测单元201不仅考虑背景模型中的与当前输入图像中的当前像素相应的像素的像素值(以下称为“背景值”)，还考虑当前像素的相邻像素的背景值，来确定当前输入图像的当前像素是前景像素还是背景像素。平均时间像素值(以下称为“平均时间值”)被用作背景值。平均时间值表示与从第一帧到第n帧相应的像素的像素值的均值。也就是说，前景/背景检测单元201通过使用背景模型的时空信息从当前输入图像检测前景，从而可减少误检测并可执行鲁棒性的对象检测。
在等式3中，“dist”表示空间中的欧几里得距离，“Mean”表示背景模型的像素的均值(以下称为“背景均值”)，即，预定数量的背景模型中的相应像素的像素值的均值。另外，“Input”表示当前输入图像的像素的像素值，“Var”表示背景模型的像素的方差值(以下称为“背景方差值”)，“T1”和“T2”表示预设阈值。相邻像素xj是距当前像素xi的欧几里得距离在第一阈值T1之内的像素。在等式3中，“x”表示特定像素。
前景/背景检测单元201基于背景模型的与当前输入图像的当前像素xi和至少一个相邻像素xj相应的像素(即，比较像素)的平均时间值和方差值来将当前像素分类为前景像素或背景像素。当至少一个比较像素的背景均值与当前像素xi的像素值之间的差值小于第二阈值T2与该比较像素的背景方差值的积时，前景/背景检测单元201将当前像素xi确定为背景像素BG。否则，前景/背景检测单元201将当前像素xi确定为前景像素FG。
图6是示出根据示例性实施例的确定前景像素和背景像素的方法的示图。
前景/背景检测单元201检测当前输入图像的当前像素xi和欧几里得距离在第一阈值T1的范围之内的相邻像素xj。参照图6，在当前输入图像中示出了当前输入图像的当前像素xi和距当前像素xi的欧几里得距离在第一阈值T1之内的八(8)个相邻像素xj。在背景模型中，示出了背景模型的与当前输入图像的当前像素xi和相邻像素xj相应的像素，即，九(9)个比较像素。
前景/背景检测单元201基于背景模型的比较像素的背景均值和当前输入图像的当前像素xi的像素值来确定当前像素xi是否是前景像素。参照图6，前景/背景检测单元201针对所述九个比较像素中的经过比较的像素的背景均值Mean(xi)和Mean(xj)以及背景方差值Var(xi)和Var(xj)、第二阈值T2以及当前像素xi的像素值Input(xi)，来执行等式3的计算。当至少一个比较像素满足等式3时，前景/背景检测单元201将当前像素xi确定为背景像素。否则，前景/背景检测单元201将当前像素xi确定为前景像素。
比较像素的比较顺序可根据用户的设置而改变。例如，当与当前像素xi相应的比较像素的像素的比较具有优先级时，前景/背景检测单元201可首先将当前输入图像的当前像素xi和与当前像素xi相应的比较像素的像素进行比较。在这种情况下，在等式3中的xj是xi。当作为使用像素值Input(xi)、Mean(xi)、Var(xi)的比较的结果满足了等式3时，前景/背景检测单元201可将当前像素xi确定为背景像素BG。当作为比较的结果不满足等式3时，前景/背景检测单元201不将当前像素xi确定为前景像素，并可将另一比较像素与当前像素xi进行比较。当所有其它比较像素不满足等式3时，前景/背景检测单元201可将当前像素xi确定为前景像素。
前景/背景检测单元201从跟踪单元203接收作为反馈的先前输入图像的前景跟踪结果。当即使在作为前景跟踪的结果的前景的尺寸彼此不同的情况下，被连续检测预定时间的前景(预定数量的图像)也被确定为相同对象时，前景/背景检测单元201改变前景/背景确定模式。
由于前景/背景检测单元201考虑像素周围的背景来检测前景，故当前景和背景彼此相似时，前景像素被确定为背景像素，从而可减小前景的尺寸。因此，当作为前景跟踪进行预定时间的结果，连续检测的前景被确定为相同对象时，前景/背景检测单元201不考虑像素周围的背景而确定像素是否是前景。也就是说，前景/背景检测单元201估计前景的检测区域，并在估计的检测区域中将当前输入图像的当前像素与背景模型的相应像素进行比较。前景/背景检测单元201将当前输入图像的当前像素的像素值与背景模型的相应像素的像素值进行比较，并且当比较结果的差值大时将当前像素确定为前景像素，当比较结果的差值小时将当前像素确定为背景像素。因此，可减少由于与前景相似的背景造成的前景误检测错误。
图7是示出根据示例性实施例的根据时间在前景提取结果中的改变的示图。参照图7，当确定被检测为具有不同尺寸的前景是相同对象时，前景/背景检测单元201参照从跟踪单元203反馈的前景跟踪结果来改变前景/背景确定模式。因此，由于前景的尺寸可被纠正，故可避免持续的前景检测错误。
前景/背景检测单元201考虑如在使用等式3解释的方法中的周围背景，针对除了估计的检测区域之外的区域来确定当前像素是前景还是背景。
跟踪单元203跟踪从前景/背景检测单元201输出的前景检测图像的前景，并将跟踪结果反馈到前景/背景检测单元201(S803)。
跟踪单元203产生用于检测的前景的标签。因此，可看出针对相同对象来检测从连续输入图像检测的前景。可根据内部使用的识别号系统来分配标签，并且可直接在图像上指示标签或者不直接在图像上指示标签。跟踪单元203通过针对先前输入图像将比例一积分一微分(PID)控制方法应用于前景检测结果并针对当前输入图像将PID控制方法应用于前景检测结果来跟踪前景，并将跟踪结果反馈到前景/背景检测单元201。
假设针对先前输入图像的前景检测结果与针对当前输入图像的前景检测结果之间的差是“e”，则根据PID控制方法的当前输入图像中的跟踪结果0可根据等式4被更新。由于PID控制方法是公知技术，故在此将省略其详细描述。在等式4中，“ki”表示积分增益参数，“kp”表示比例增益参数，“kd”表示微分增益参数。
背景更新单元300基于当前输入图像的每个像素的时间信息来更新背景模型(S900)。更新的背景模型成为下一输入图像的背景模型。每个像素的时间信息是分配给根据由相机的运动引起的监测图像的改变而输入的每个像素的年龄值。背景更新单元300基于年龄值确定权重值，并通过将权重值应用于每个像素来对每个像素不同地设置学习率，从而更新背景。
等式5到等式7是用于解释背景模型更新的等式。更新的背景模型是RGB模型。因此，用于更新背景模型的等式5到等式7的值是RGB图像的像素值。
参照等式5，通过当前背景模型的像素的背景均值Mean(xi t-1)与当前输入图像的像素的像素值Input(xi t)的加权和来确定更新像素(即，下一背景模型中的像素)的背景均值Mean(xi t)。包括在等式5的加权和中的当前输入图像的像素的像素值与当前背景模型的像素的背景均值之间的差值的绝对值的项是将背景模型适应于照度中的急剧变化的项。
参照等式6，通过当前背景模型的像素的背景方差值Var(xi t-1)与当前输入图像的像素的像素值的加权和来确定下一背景模型的像素的背景方差值Var(xi t)。当与包括在等式6的加权和中的当前输入图像的像素的像素值与当前背景模型的像素的背景均值之间的差Input(xi t)-Mean(xi t-1)相乘的阈值T3大时，方差值的改变增加，并且虽然对象检测中的误警告减少，但是对象可能不会被实际检测到。因此，优选地是，虽然不是必须需要，但是考虑误警告率与对象检测之间的关系来设置合适的阈值T3。
由等式7确定应用于等式5和等式6的权重值α。权重值α是作为学习速度(学习率)的年龄值的倒数。年龄值是在从第一背景模型到在时间t的背景模型(基于当前输入图像产生的下一背景模型)的背景模型序列中的与当前像素相应的像素的数量。也就是说，每当输入新的图像时，在背景模型与新的输入图像彼此重叠的区域中的像素的年龄值增加1。新的输入区域的像素的年龄值从1开始。由于新的输入区域的像素成为下一背景模型中的第一像素，故年龄值是1。因此，由于应用于新的输入区域的像素的权重值大于重叠区域的像素的权重值，故对新的输入区域的像素设置高学习率。
图8A到图8C示出根据实施例的设置年龄值的示例。参照图8A到图8C，由于在第一帧的每个像素是新的输入区域的像素，故年龄值是1。在第一帧与新输入的第二帧彼此重叠的区域中的像素的年龄值是2。第二帧的新输入区域的像素的年龄值从1开始。接下来，输入第三帧，在第一帧到第三帧彼此重叠的区域中的像素的年龄值是3。在第一帧和第二帧彼此重叠的区域中的像素的年龄值是2。第三帧的新输入区域的像素的年龄值是1。在第四帧之后，根据从第一帧到第n帧重叠的数量来相似地设置每个像素的年龄值。
等式5到等式7可用于等式3的背景均值和背景方差值的计算。等式5到等式7的值是滤波或滤波/扭曲的图像的像素值。
图10是示意性示出根据示例性实施例的监测系统1的结构的框图。参照图10，根据本实施例的监测系统1包括相机20、对象检测设备10和显示单元30。
相机20被布置在特定地点的固定位置，并且是具有左右、上下和变焦功能的PTZ相机。相机20可通过使用PTZ功能在固定位置旋转机身来捕捉图像。
如上参照图1到图9所述，对象检测设备10可通过软件和/或硬件结构针对从相机20输入的图像执行运动对象检测功能。
对象检测设备10通过对在时间上相邻的输入图像和背景图像(背景模型)进行例如DOG滤波来获得清晰图像，通过使用例如LKT跟踪从输入图像和背景图像提取特征点，并计算单应矩阵。对象检测设备10通过将单应矩阵应用于DOG滤波的背景图像来扭曲背景图像，以寻找输入图像与背景图像之间的重叠区域，从而检测前景。
对象检测设备10考虑当前像素周围的背景来确定当前像素是否是前景。对象检测设备10使用背景图像的像素的平均时间像素值。因此，对象检测设备10可通过使用背景图像的时空信息检测前景来准确地检测运动对象。
另外，对象检测设备10通过基于用于输入图像的每个像素的时间信息更新背景图像来产生下一背景图像。当背景图像被更新时，对象检测设备10可考虑输入图像根据PTZ相机的运动而改变的特性来设置用于背景图像的每个像素的学习率。对象检测设备10寻找输入图像与背景图像之间的重叠区域，也就是，相应的像素，并计算作为学习率的年龄值。对象检测设备10通过将根据年龄值设置的权重值应用于每个像素来更新背景图像。因此，通过将高权重值应用于新的输入区域的像素，相应的像素的学习率可被设置为高。
对象检测设备10通过对检测的前景产生标签来跟踪前景，并使用跟踪结果以检测下一输入图像的前景。当相同标签的前景被连续检测了预定时间时，对象检测设备10在当前像素与背景图像的相应像素之间进行比较来检测前景，而不考虑输入图像的当前像素周围的背景。
由于上面已经参照图1到图9描述了用于在对象检测设备10中检测对象的结构和方法，故这里将省略其详细描述。
对象检测设备10可通过安装在计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动电话等中而作为图像拍摄系统(诸如，监测相机)中的内部结构元件或作为独立设备来进行操作。
显示单元30显示示出运动对象的监控图像。显示单元30可对用户提供视觉信息和/或听觉信息，并可形成为液晶显示(LCD)面板、有机发光显示(OLED)面板、电泳显示(EPD)面板等。显示单元30可形成为接收通过触摸的用户输入的触摸屏类型。
对象检测设备10可在PTZ相机中检测对象的处理中，通过由基于时空的背景模型减少对象的误检测并在各种情况下(例如，对象的尺寸小或者背景和对象的颜色彼此相似)通过使用具有与输入图像相同尺寸的背景模型获得实时检测，来高性能地检测对象。
此外，由于通过仅使用最近的图像来产生具有与输入图像相同尺寸的背景而不存储整个背景模型，故对象检测设备10使用较少的存储空间执行有效检测。
此外，由于对象检测设备10更准确地检测对象，故当监测系统跟踪或识别对象时，对象检测设备10可提供比传统方法更多量的信息。
根据示例性实施例的在PTZ相机中准确地检测对象的方法可应用于使用安装在移动机器人或车辆上的相机搜索运动对象并跟踪反应的系统。
如上所述，根据示例性实施例，可在使用PTZ相机的监测系统中有效和准确地检测运动对象。然而，本发明构思不限于仅使用PTZ相机，还可应用于通用相机。
虽然已经使用特定术语参照示例性实施例具体示出并描述了本发明构思，但是实施例和术语应被理解为仅用于描述的意义而不是用于限制的目的。因此，本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可进行形式和细节上的各种改变。
这里示出和描述的特定实施方式是说明性示例，并不意于以任何方式另外限制本发明构思的范围。为了简洁的目的，可不详细描述传统电子设备、控制系统、软件开发和系统的其它功能方面(以及系统的独立操作部件的各部件)。此外，在各个呈现的附图中示出的连接线或连接器意在表示各个元件之间的示例性功能关系和/或物理或逻辑连接。应注意可在实施装置中呈现许多可选择或另外的功能关系、物理连接或逻辑连接。此外，对于本发明的实施来说没有项目或部件是必要的，除非该元件被特别地描述为“必要的”或“决定性的”。将认识到在此使用的术语“包含”、“包括”和“具有”具体地意在被理解为领域中的开放性术语。
虽然已经参照示例性实施例具体示出并描述了本发明构思，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可做出形式和细节上的各种改变。

Claims (15)

1.一种用于检测对象的设备，包括：
滤波器，对当前输入图像和基于先前输入图像产生的背景模型进行滤波；
单应矩阵估计单元，估计当前输入图像与背景模型之间的单应矩阵；
图像排列单元，通过将单应矩阵应用到滤波的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像；
前景/背景检测单元，通过将转换的背景模型与滤波的当前输入图像之间的相应像素进行比较来检测前景；以及
跟踪单元，在下一输入图像中跟踪检测的前景，
其中，当滤波的当前输入图像的当前像素属于根据在预定时间内跟踪检测的前景的结果估计的检测区域时，前景/背景检测单元通过将当前像素的像素值与转换的背景模型的与当前像素相应的像素的像素值进行比较，来将当前像素分类为前景像素或背景像素，
当滤波的当前输入图像的当前像素不属于估计的检测区域时，前景/背景检测单元通过将当前像素的像素值与转换的背景模型的比较像素的像素值进行比较，来将当前像素分类为前景像素或背景像素，其中，所述比较像素与当前像素和当前像素的至少一个相邻像素相应。
2.如权利要求1所述的设备，还包括：
特征点提取单元，提取背景模型的特征点并跟踪当前输入图像中的相应的特征点，
其中，单应矩阵估计单元基于当前输入图像和背景模型的特征点之间的关系来估计单应矩阵。
3.如权利要求1所述的设备，其中，相邻像素的每一个是空间中的距当前像素的欧几里得距离在第一阈值之内的像素。
4.如权利要求1所述的设备，其中，如果背景模型的至少一个比较像素的平均时间值与当前像素的像素值之间的差小于所述至少一个比较像素的方差值与第二阈值的积，则前景/背景检测单元将当前像素分类为背景像素。
5.如权利要求1所述的设备，其中，跟踪单元产生用于检测的前景的标签。
6.如权利要求5所述的设备，其中，如果作为跟踪的结果，具有相同标签的前景在下一输入图像中被连续检测，则前景/背景检测单元估计所述检测区域。
7.如权利要求1所述的设备，还包括背景更新单元，基于当前输入图像的每个像素的时间信息来更新背景模型。
8.如权利要求7所述的设备，其中，背景更新单元设置用于当前输入图像的每个像素的根据当前输入图像与至少一个背景模型之间的像素在预定时间期间的重叠而设置的年龄值，并通过使用年龄值的倒数，基于背景模型的像素的平均时间值和当前输入图像的像素的像素值的加权和来更新背景模型。
9.如权利要求1所述的设备，其中，从当相机获得先前输入图像时的状态，通过由左右、上下和变焦操作中的至少一个操作运动相机来获得当前输入图像。
10.一种使用相机检测对象的方法，包括：
对当前输入图像和基于先前输入图像产生的背景模型进行滤波；
估计当前输入图像与背景模型之间的单应矩阵；
通过将单应矩阵应用到滤波的背景模型来转换背景模型，并排列转换的背景模型和滤波的当前输入图像；
通过将转换的背景模型与滤波的当前输入图像之间的相应像素进行比较来检测前景；以及
在下一输入图像中跟踪检测的前景，
其中，检测前景的步骤包括：
当滤波的当前输入图像的当前像素属于根据在预定时间内跟踪检测的前景的结果估计的检测区域时，通过将滤波的当前输入图像的当前像素的像素值与转换的背景模型的与滤波的当前输入图像的当前像素相应的像素的像素值进行比较，来将滤波的当前输入图像的当前像素分类为前景像素或背景像素，
当滤波的当前输入图像的当前像素不属于估计的检测区域时，通过将滤波的当前输入图像的当前像素的像素值与转换的背景模型的比较像素的像素值进行比较，来将滤波的当前输入图像的当前像素分类为前景像素或背景像素，其中，所述比较像素与滤波的当前输入图像的当前像素和滤波的当前输入图像的当前像素的至少一个相邻像素相应。
11.如权利要求10所述的方法，其中，还包括：
提取背景模型的特征点并跟踪当前输入图像中的相应的特征点；以及
基于当前输入图像和背景模型的特征点之间的关系来估计单应矩阵。
12.如权利要求10所述的方法，其中，如果背景模型的至少一个比较像素的平均时间值与滤波的当前输入图像的当前像素的像素值之间的差小于所述至少一个比较像素的方差值与第二阈值的积，则将滤波的当前输入图像的当前像素分类的步骤包括将滤波的当前输入图像的当前像素分类为背景像素。
13.如权利要求10所述的方法，还包括：基于当前输入图像的每个像素的时间信息来更新背景模型。
14.如权利要求13所述的方法，其中，所述更新背景模型的步骤包括：
设置用于当前输入图像的每个像素的根据当前输入图像与至少一个背景模型之间的像素在预定时间期间的重叠而设置的年龄值，以及
通过使用年龄值的倒数，基于背景模型的像素的平均时间值和当前输入图像的像素的像素值的加权和来更新背景模型。
15.一种用于检测对象的设备，包括：
图像输入单元，接收当前输入图像；
前景/背景检测单元，通过将当前输入图像的当前像素的像素值和至少一个背景模型的至少一个比较像素的像素值进行比较来将当前像素确定为前景或背景，其中，所述至少一个比较像素与当前输入图像的当前像素以及当前像素的相邻像素中的至少一个相应；以及
跟踪单元，在下一输入图像中跟踪检测的前景，
其中，所述至少一个背景模型基于至少一个先前输入图像而产生，
其中，当当前输入图像的当前像素属于根据在预定时间内跟踪检测的前景的结果估计的检测区域时，前景/背景检测单元通过将当前像素的像素值与背景模型的与当前像素相应的像素的像素值进行比较，来将当前像素分类为前景像素或背景像素，
当当前输入图像的当前像素不属于估计的检测区域时，前景/背景检测单元通过将当前像素的像素值与背景模型的比较像素的像素值进行比较来将当前像素分类为前景像素或背景像素，其中，所述比较像素与当前像素和当前像素的至少一个相邻像素相应。
CN201210480951.4A 2011-11-23 2012-11-23 使用ptz相机检测对象的设备和方法 Active CN103139447B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110123116A KR101299237B1 (ko) 2011-11-23 2011-11-23 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
KR10-2011-0123116 2011-11-23

Publications (2)

Publication Number Publication Date
CN103139447A CN103139447A (zh) 2013-06-05
CN103139447B true CN103139447B (zh) 2018-01-02

Family

ID=48426989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210480951.4A Active CN103139447B (zh) 2011-11-23 2012-11-23 使用ptz相机检测对象的设备和方法

Country Status (3)

Country Link
US (1) US9418320B2 (zh)
KR (1) KR101299237B1 (zh)
CN (1) CN103139447B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080448A1 (ja) * 2011-12-01 2013-06-06 パナソニック株式会社 情報処理装置
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
TWI507661B (zh) * 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法
KR102069269B1 (ko) 2014-01-21 2020-01-22 한화테크윈 주식회사 영상 안정화 장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
TWI489415B (zh) * 2013-07-17 2015-06-21 Vivotek Inc 視訊處理方法及系統
DE102013217648A1 (de) * 2013-09-04 2015-03-05 Conti Temic Microelectronic Gmbh Kamera-basierte erkennung eines an einem fahrzeug montierbaren trägersystems
KR102025362B1 (ko) * 2013-11-07 2019-09-25 한화테크윈 주식회사 검색 시스템 및 영상 검색 방법
KR101583787B1 (ko) * 2014-07-10 2016-01-08 경북대학교 산학협력단 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치
DE102014012285A1 (de) * 2014-08-22 2016-02-25 Jenoptik Robot Gmbh Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
CN105835074B (zh) * 2015-01-12 2020-07-10 达明机器人股份有限公司 机器手臂取放物件的教导方法
CN106034237B (zh) * 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
KR101677171B1 (ko) * 2015-04-24 2016-11-17 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
EP3398517A4 (en) * 2015-12-28 2019-07-17 Shimadzu Corporation RADIOGRAPHY APPARATUS
KR102153607B1 (ko) * 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
EP3440630A4 (en) * 2016-04-06 2019-09-11 HRL Laboratories, LLC SYSTEM AND METHOD FOR REMOVING GHOST IMAGES IN A VIDEO SEQUENCE USING ENLARGING OBJECT BOXES
TWI615806B (zh) * 2016-10-11 2018-02-21 威聯通科技股份有限公司 影像背景學習方法及電子裝置
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107133972A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种视频运动目标检测方法
CN107680115A (zh) * 2017-09-28 2018-02-09 深圳市鑫汇达机械设计有限公司 一种变电站智能系统中运动目标检测系统
CN109598741A (zh) * 2017-09-30 2019-04-09 佳能株式会社 图像处理装置和方法及监控系统
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
US10410371B2 (en) * 2017-12-21 2019-09-10 The Boeing Company Cluttered background removal from imagery for object detection
KR102622123B1 (ko) * 2018-02-22 2024-01-09 삼성전자주식회사 전자 장치의 움직임에 따라 관심 영역에 움직이는 피사체에 대한 움직임과 관련된 임계값을 조정하여 동영상을 촬영하는 전자 장치 및 그 작동 방법
US10769799B2 (en) 2018-08-24 2020-09-08 Ford Global Technologies, Llc Foreground detection
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
KR20210017269A (ko) * 2019-08-07 2021-02-17 삼성전자주식회사 보정 데이터의 획득을 위한 방법 및 이를 위한 전자 장치
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
GB2622770A (en) * 2022-09-20 2024-04-03 Thales Holdings Uk Plc Image processor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243765A (zh) * 2011-05-06 2011-11-16 大连民族学院 基于多相机的多目标定位跟踪方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
KR20000054784A (ko) * 2000-06-23 2000-09-05 이성환 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
US7321386B2 (en) * 2002-08-01 2008-01-22 Siemens Corporate Research, Inc. Robust stereo-driven video-based surveillance
EP1766581A4 (en) * 2004-06-14 2010-11-03 Agency Science Tech & Res DETECTION METHOD BY A DESIRED OBJECT OBSERVATION SYSTEM IN A VERY DYNAMIC ENVIRONMENT
DE602006017812D1 (de) * 2005-03-17 2010-12-09 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
DE602006017977D1 (de) * 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
WO2007033286A2 (en) * 2005-09-13 2007-03-22 Verificon Corporation System and method for object tracking and activity analysis
US20070177800A1 (en) * 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
EP1879149B1 (en) * 2006-07-10 2016-03-16 Fondazione Bruno Kessler method and apparatus for tracking a number of objects or object parts in image sequences
TW200834459A (en) 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
KR101375665B1 (ko) 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치
US8401229B2 (en) * 2007-09-04 2013-03-19 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
US8064695B2 (en) * 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
US8571261B2 (en) * 2009-04-22 2013-10-29 Checkvideo Llc System and method for motion detection in a surveillance video
KR101071352B1 (ko) * 2009-08-31 2011-10-07 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
AU2012216341A1 (en) * 2012-08-21 2014-03-13 Canon Kabushiki Kaisha Method, apparatus and system for segmenting an image in an image sequence
US9177383B2 (en) * 2013-08-29 2015-11-03 Analog Devices Global Facial detection
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243765A (zh) * 2011-05-06 2011-11-16 大连民族学院 基于多相机的多目标定位跟踪方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning patterns of activity using real-time tracking;Chris Stauffer, W. Eric L. Grimson;《IEEE Transactions on pattern analysis and machine intelligence》;20000822;第3.1节 *
Real-time viedo tracking using PTZ cameras;S. Kang, J. Paik, et al.;《Proc. Of SPIE 6th International conference on Quality Control by Artificial Vision》;20030531;第2.2、2.3节，图2 *
Scene Modeliing for Wide Area Surveillance and Image Sythesis;Mittal;《Computer Vision and Pattern Recognition》;20020806;第3节、第4节，第6节 *

Also Published As

Publication number Publication date
KR20130057283A (ko) 2013-05-31
KR101299237B1 (ko) 2013-08-22
US20130129144A1 (en) 2013-05-23
US9418320B2 (en) 2016-08-16
CN103139447A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
CN103139447B (zh) 使用ptz相机检测对象的设备和方法
US9412180B2 (en) Information processing apparatus, information processing method, and program
CN105830009B (zh) 用于视频处理的方法和设备
US8345984B2 (en) 3D convolutional neural networks for automatic human action recognition
CN101470809B (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN105324793B (zh) 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备
US20090087085A1 (en) Tracker component for behavioral recognition system
US20150334267A1 (en) Color Correction Device, Method, and Program
CN104662585B (zh) 设置事件规则的方法和使用该方法的事件监测装置
Shi et al. RGB-D semantic segmentation and label-oriented voxelgrid fusion for accurate 3D semantic mapping
CN110246160A (zh) 视频目标的检测方法、装置、设备及介质
CN106575362A (zh) 基于关注区融合的对象选择
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
Liu et al. Using unsupervised deep learning technique for monocular visual odometry
US20170220894A1 (en) Image processing device, image processing method, and program
Cho et al. Real-time people counting system for customer movement analysis
CN110348383A (zh) 一种基于卷积神经网络回归的道路中心线和双线提取方法
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
CN112633131B (zh) 一种基于深度学习视频识别的井下自动跟机方法
CN110866497A (zh) 基于点线特征融合的机器人定位与建图方法和装置
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN106204633A (zh) 一种基于计算机视觉的学生跟踪方法和装置
JP2013255062A (ja) 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
CN115410150A (zh) 传送带跑偏的检测方法、检测装置和处理器
Zhou et al. Uhp-sot: An unsupervised high-performance single object tracker

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Applicant after: SEOUL NATIONAL University INDUSTRY FOUNDATION

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

Applicant before: SEOUL NATIONAL University INDUSTRY FOUNDATION

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeongnam Changwon City, South Korea

Co-patentee after: SEOUL NATIONAL University INDUSTRY FOUNDATION

Patentee after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Co-patentee before: SEOUL NATIONAL University INDUSTRY FOUNDATION

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190301

Address after: Gyeonggi Do city of South Korea

Co-patentee after: SEOUL NATIONAL University INDUSTRY FOUNDATION

Patentee after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Co-patentee before: SEOUL NATIONAL University INDUSTRY FOUNDATION

Patentee before: HANWHA AEROSPACE Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Patentee after: SEOUL NATIONAL University INDUSTRY FOUNDATION

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

Patentee before: SEOUL NATIONAL University INDUSTRY FOUNDATION

CP01 Change in the name or title of a patent holder