CN110807792A - 比对追踪物件的方法及电子装置 - Google Patents

比对追踪物件的方法及电子装置 Download PDF

Info

Publication number
CN110807792A
CN110807792A CN201910031805.5A CN201910031805A CN110807792A CN 110807792 A CN110807792 A CN 110807792A CN 201910031805 A CN201910031805 A CN 201910031805A CN 110807792 A CN110807792 A CN 110807792A
Authority
CN
China
Prior art keywords
image
candidate
horizontal
vertical
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910031805.5A
Other languages
English (en)
Other versions
CN110807792B (zh
Inventor
陈柏志
童凯彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN110807792A publication Critical patent/CN110807792A/zh
Application granted granted Critical
Publication of CN110807792B publication Critical patent/CN110807792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种比对追踪物件的方法及电子装置。该方法对一模板影像及一候选影像分别地执行边缘检测以产生一模板边缘影像及一候选边缘影像。该方法水平地及垂直地加总(或平均)模板边缘影像的像素值以分别产生一垂直模板影像及一水平模板影像，水平地及垂直地加总(或平均)统计候选边缘影像的像素值以产生一垂直候选影像及一水平候选影像，且予以比较。比较的衡量是基于部分水平候选影像及部分垂直候选影像的位置。该方法依据水平坐标信息及垂直坐标信息确定候选影像中包含该物件的一区域。

Description

比对追踪物件的方法及电子装置
技术领域
本发明是关于一种比对追踪物件的方法及电子装置；更具体而言，是关于一种利用边缘影像信息及模板匹配技术的快速比对追踪物件的方法及电子装置。
背景技术
由于人机交互接口不断地朝向自动化设计发展，使得物件追踪技术变得越来越重要。某些已知的物件追踪技术是使用二维互相关性(two-dimensional cross-correlation)搜寻法，其是以逐像素比对方式比较模板影像与原图影像各像素之间的相关性来追踪物件。另外某些已知的物件追踪技术则是使用区块相关性(block correlationscheme)搜寻法，其是计算模板影像与原图影像在一特定相关性窗口的相关性，并取得一最大相关性系数来追踪物件。
当追踪物件时，如何快速且精准地追踪到物件是个重要的议题。前述的已知技术皆无法在确保追踪的精准度(亦即，物件确实有被追踪到)下，维持追踪速度(亦即，快速地追踪到物件)。若要判断目前追踪到的目标物是否确实为欲追踪的物件，往往耗时。然而，若要提高追踪速度，将无法精准地追踪物件，亦无法正确地判断目前追踪到的目标物是否确实为欲追踪的物件。
因此，本领域仍亟需一种能快速地追踪物件，且快速地判断欲追踪的物件是否有被成功地追踪到的影像处理技术。
发明内容
为达成上述目标，本发明的一第一态样为一种比对追踪物件的方法，其是适用于一电子装置。比对追踪物件的方法包括下列步骤：步骤(A)：对一模板影像执行边缘检测(edge detection)以产生一模板边缘影像(edge image)，其中模板影像中具有一物件；步骤(B)：对一候选影像执行边缘检测以产生一候选边缘影像；步骤(C)：依一水平方向及一垂直方向统计模板边缘影像的多个像素值以分别产生一垂直模板影像及一水平模板影像；步骤(D)：依水平方向及垂直方向统计候选边缘影像的多个像素值以产生一垂直候选影像及一水平候选影像；步骤(E)：借由将水平候选影像的至少一部分水平候选影像与水平模板影像进行位置匹配以决定一水平坐标信息；步骤(F)：借由将垂直候选影像的至少一部分垂直候选影像与垂直模板影像进行位置匹配以决定一垂直坐标信息；以及步骤(G)：依据水平坐标信息及垂直坐标信息确定候选影像中包含物件的一区域。
本发明的一第二态样为一种比对追踪物件的电子装置，其是包括一存储器与一处理器。存储器存储一模板影像与一候选影像，且模板影像具有一物件。处理器耦接存储器，且执行以下步骤：步骤(A)：对模板影像执行边缘检测以产生一模板边缘影像；步骤(B)：对候选影像执行边缘检测以产生一候选边缘影像；步骤(C)：依一水平方向及一垂直方向统计模板边缘影像的多个像素值以分别产生一垂直模板影像及一水平模板影像；步骤(D)：依水平方向及垂直方向统计候选边缘影像的多个像素值以产生一垂直候选影像及一水平候选影像；步骤(E)：借由将水平候选影像的至少一部分水平候选影像与水平模板影像进行位置匹配以决定一水平坐标信息；步骤(F)：借由将垂直候选影像的至少一部分垂直候选影像与垂直模板影像进行位置匹配以决定一垂直坐标信息；以及步骤(G)：依据水平坐标信息及垂直坐标信息确定候选影像中包含物件的一区域。
综上所述，本发明提供了一种比对追踪物件的方法及电子装置，其采用模板影像与候选影像的边缘影像(也就是模板边缘影像及候选边缘影像)，降低边缘影像的数据量，并根据降低数据量后的边缘影像来决定候选影像中是否有成功追踪到模板影像中欲追踪的物件。借此，本发明的比对追踪物件的方法及电子装置可以在确保追踪精确度的情况下快速地追踪到物件。
依据下文的详细说明，本发明所属技术领域中的技术人员应能轻易思及本发明的其他适用范围。然而，应理解，下文的详细说明及特定实例仅为例示而已，此乃因依据此详细说明，本发明所属技术领域中的技术人员将明了在本发明精神及范围内的各种改变及润饰。
附图说明
通过下文的详细说明及附图，将会更加全面地理解本发明。但应理解附图是仅以例示方式提供，并非用以限制本发明，且其中：
图1为本发明一实施例的比对追踪物件的电子装置示意图；
图2为本发明一实施例的第一影像中的追踪图框示意图；
图3为根据本发明一实施例的比对追踪物件的方法流程图；
图4A为本发明一实施例的产生垂直模板影像与水平模板影像的示意图；
图4B为本发明一实施例的产生垂直候选影像与水平候选影像的示意图；
图5A为本发明一实施例的部分水平候选影像与水平模板影像进行位置匹配的示意图；
图5B为本发明一实施例的部分垂直候选影像与垂直模板影像进行位置匹配的示意图；
图6A为根据本发明一实施例的判断部分模板影像与部分候选影像之间的影像相似度的方法流程图；以及
图6B为根据本发明一实施例的判断部分模板影像与部分候选影像之间的色彩相似度的方法流程图。
符号说明
100：电子装置
110：处理器
120：存储器
130：影像撷取器
Iin：信号
Seq：影像序列
I1：第一影像
I2：第二影像
OBJ：物件
Ftr：追踪图框
Iref：模板影像
D1：水平方向
D2：垂直方向
V1：垂直模板影像
V11、V12、V13、V14、V15、V16：位置
H1：水平模板影像
H11、H12、H13、H14、H15、H16：位置
Id：候选影像
Ed：候选边缘影像
V2：垂直候选影像
V21、V22：部分垂直候选影像
H2：水平候选影像
H21、H22：部分水平候选影像
S310、S320、S330、S340、S350、S360、S370：步骤
S371、S373、S375、S376、S377、S380：步骤
P1-P25、A0、A1-A25：像素
具体实施方式
在以下说明中，将参照本发明的实例性实施例来解释本发明，然而，此等实例性实施例并非用于将本发明限于此等实施例中所述的任何特定实例、实施例、环境、应用或特定实施方案。因此，对此等实例性实施例的说明仅为例示而非限制本发明，且本申请案的权利保护范围应由权利要求书决定。
应了解，在以下实施例及附图中，与本发明无关的元件已被省略而不予以示出；且附图中个别元件的尺寸及元件间的尺寸比例仅为便于理解起见而例示，而非用于限制实际比例。
本发明所提供的比对追踪物件的方法及电子装置，其产生模板影像与候选影像的边缘影像(也就是模板边缘影像及候选边缘影像)，再根据水平方向与垂直方向降低模板边缘影像的数据量以产生垂直模板影像及水平模板影像，以及根据水平方向与垂直方向降低候选边缘影像的数据量以产生垂直候选影像及水平候选影像。接着，将部分的水平候选影像与水平模板影像进行位置匹配以决定一水平坐标信息，以及将部分的垂直候选影像与垂直模板影像进行位置匹配以决定一垂直坐标信息。之后，根据水平坐标信息及垂直坐标信息来判断是否有在候选影像中成功地追踪到模板影像中欲追踪的物件。本发明还可进一步地利用部分模板影像及部分候选影像间的影像相似度，甚至是利用部分模板影像及部分候选影像间的色彩相似度，来提高判断是否有在候选影像中成功地追踪到模板影像中欲追踪的物件的正确度。借此，本发明的比对追踪物件的方法及电子装置可以在影响确保追踪精确度的情况下，快速地做出判断。以下将进一步介绍本发明公开的比对追踪物件的方法其电子装置。
首先，请参考图1，其是描绘本发明一实施例的比对追踪物件的电子装置100的示意图。如图1所示，电子装置100用来追踪一影像序列中的一物件，并不断地确认影像序列中的物件是否有被成功地追踪到。在本实施例中，电子装置100可为智能手机、笔记本电脑、头戴式电子装置或其他可以执行影像追踪技术的电子装置，本发明对此不作限制。
电子装置100包含一处理器110、一存储器120与一影像撷取器130。处理器110耦接存储器120与影像撷取器130。存储器120可为一存储器、一通用串行总线(UniversalSerial Bus；USB)盘、一硬盘、一光盘(Compact Disk；CD)、一USB盘或本发明所属技术领域中的技术人员所知且具有相同功能的任何其他能存储数字数据的非暂态存储媒体或装置。处理器110可为各种处理器、中央处理单元(Central Processing Unit；CPU)、微处理器(Microprocessor Unit；MPU)、数字信号处理器(Digital Signal Processor；DSP)或本发明所属技术领域中的技术人员所知的任何其他具有相同功能的计算装置。影像撷取器130则可为各种能拍摄画面并产生数字影像的装置。
在本实施例中，影像撷取器130产生一影像序列Seq并传送影像序列Seq至处理器110，以供处理器110执行下述的比对追踪物件的方法时使用。需说明者，在某些实施例中，电子装置100可不包含影像撷取器130，而是通过一接收接口接收影像序列Seq。
在本实施例中，处理器110根据一追踪图框(未标示在附图中)，从影像序列Seq中的一第一影像I1裁切出一模板影像。更进一步来说，处理器110从一远端装置(未标示在附图中)接收一信号Iin，例如：可通过电子装置100所包含的一接收接口(未标示在附图中)接收。信号Iin包含追踪图框在第一影像I1中的位置，且追踪图框对应到欲追踪的物件(例如：欲追踪的物件出现在追踪图框内)。需说明者，在其他实施例中，存储器120可事先存储模板影像，因而处理器110可不用根据追踪图框从第一影像I1裁切出模板影像。
为便于理解，请同时参考图2。在本实施例中，远端装置会显示第一影像I1，远端人员根据显示的第一影像I1选取欲追踪的物件OBJ以对应地产生追踪图框Ftr。接着，远端装置传送信号Iin至处理器110，此信号Iin包含追踪图框Ftr在第一影像I1中的位置。电子装置100的处理器110便会根据追踪图框Ftr的位置，从第一影像I1裁切出具有欲追踪的物件OBJ的模板影像以供后续比对之用。在其他实施例中，处理器110可耦接一显示装置(未标示在附图中)。显示装置显示第一影像I1，操作人员可根据显示的第一影像I1选取欲追踪的物件OBJ以对应地产生追踪图框Ftr，处理器110再根据追踪图框Ftr的位置，从第一影像I1裁切出具有欲追踪的物件OBJ的模板影像以供后续比对之用。
接下来，处理器110根据模板影像与一追踪算法估算欲追踪的物件OBJ在影像序列Seq中的一第二影像I2中的一相对位置。处理器110再根据上述相对位置，从第二影像I2裁切出一候选影像。换言之，追踪算法推估候选影像中有欲追踪的物件OBJ。处理器110将通过后续的运作来判断候选影像中是否确实有欲追踪的物件OBJ。需说明者，本发明未限制处理器110采用哪一追踪算法，且追踪算法的实施方式为本发明所属技术领域中的技术人员所悉知。举例而言，追踪算法可为核相关滤波(Kernel Correlation Filter；KCF)算法以及匹配追踪(Consensus-based Matching and Tracking of Keypoints for ObjectTracking；CMT)算法，故在此不再赘述。另需说明者，本发明未限制候选影像的尺寸与模板影像的尺寸间的关系；换言之，二者的尺寸可相同，亦可不同。
值得注意的是，本实施例的第一影像I1代表影像序列Seq中的第一张影像，且第二影像I2代表影像序列Seq中的第二张影像。在其他实施例中，上述第一影像I1是代表影像序列Seq中的某一张特定影像，且第二影像I2是代表影像序列Seq中特定影像后的其他张影像，本发明对此不作限制。
在取得模板影像与候选影像后，处理器110将模板影像与候选影像存储至存储器120中。模板影像中具有欲追踪的物件，而追踪算法推估候选影像可能有欲追踪的物件。后续，处理器110将判断是否在候选影像成功地追踪到物件(亦即，判断候选影像中是否确实有欲追踪的物件)。请同时参考图3，其是描绘处理器110所执行的比对追踪物件的方法的部分流程图。
处理器110对模板影像与候选影像执行边缘检测(edge detection)以分别产生一模板边缘影像与一候选边缘影像(步骤S310与S320)。需说明者，有关边缘检测的实施方式为本发明所属技术领域中的技术人员所悉知，故在此不再赘述。在某些实施例中，处理器110在执行边缘检测之前，可分别将模板影像与候选影像进行去噪(de-noise)，以取得较不受噪声影响的模板影像与候选影像，进而可产生品质较佳的模板边缘影像与候选边缘影像，使后续的比对及判断更为正确。
为便于理解，请同时参考图4A及图4B的具体范例，但该具体范例并非用以限制本发明的范围。在本实施例中，处理器110对模板影像Iref执行边缘检测以产生二值化的模板边缘影像Eref，且对候选影像Id执行边缘检测以产生二值化的候选边缘影像Ed。在模板边缘影像Eref及候选边缘影像Ed中，每一方格代表一个像素，其中，「白色」方格代表物件的边缘轮廓，且其像素值以1表示，「深灰色」方格代表非边缘轮廓，且其像素值以0表示。需说明者，前述代表物件的边缘轮廓的像素值，以及代表非物件的边缘轮廓的像素值仅为例示，并非用于限制本发明的范围。
另外，处理器110依一水平方向及一垂直方向统计(例如：加总、平均)模板边缘影像的多个像素值以分别产生一垂直模板影像及一水平模板影像(步骤S330)。具体来说，处理器110统计模板边缘影像的每一列的多个像素值。每一列有一个统计值，而该多个列的统计值形成一垂直模板影像。类似的，处理器110统计模板边缘影像的每一行的多个像素值。每一行有一个统计值，而该多个行的统计值形成一水平模板影像。
为便于理解，兹以图4A的具体范例说明，但该具体范例并非用以限制本发明的范围。处理器110依水平方向D1统计模板边缘影像Eref的多个像素值。举例来说，处理器110依水平方向D1加总模板边缘影像Eref每一列的多个像素值以产生垂直模板影像V1，为[0+0+0+0+0+0+0,0+1+1+1+1+1+0,0+1+0+0+0+1+0,0+1+0+0+0+1+0,0+1+0+0+0+1+0,0+1+1+1+1+1+0,0+0+0+0+0+0+0]T＝[0,5,2,2,2,5,0]T。处理器110依垂直方向D2加总模板边缘影像Eref每一行的多个像素值以产生水平模板影像H1，为[0+0+0+0+0+0+0,0+1+1+1+1+1+0,0+1+0+0+0+1+0,0+1+0+0+0+1+0,0+1+0+0+0+1+0,0+1+1+1+1+1+0,0+0+0+0+0+0+0]＝[0,5,2,2,2,5,0]。再举例来说，处理器110也可以按照类似上述作法，依水平方向D1平均模板边缘影像Eref每一列的多个像素值以产生垂直模板影像V1，且依垂直方向D2平均模板边缘影像Eref每一行的多个像素值以产生水平模板影像H1。
值得注意的是，上述垂直模板影像V1与水平模板影像H1中的数值越大，代表相应的列或行有较多的边缘，因而有较多的物件的信息量。借此，处理器110可通过垂直模板影像V1与水平模板影像H1中的数值来定义欲追踪的物件在模板影像Iref的位置。
类似地，处理器110依水平方向及垂直方向统计候选边缘影像的多个像素值以分别产生一垂直候选影像及一水平候选影像(步骤S340)。具体来说，处理器110统计候选边缘影像的每一列的多个像素值。每一列有一个统计值，而该多个列的统计值形成一垂直候选影像。类似的，处理器110统计候选边缘影像的每一行的多个像素值。每一行有一个统计值，而该多个行的统计值形成一水平候选影像。
为便于理解，兹以图4B的具体范例说明，但该具体范例并非用以限制本发明的范围。处理器110依水平方向D1统计候选边缘影像Ed的多个像素值。举例来说，处理器110依水平方向D1加总候选边缘影像Ed每一列的多个像素值以产生垂直候选影像V2，为[1+0+0+0+1+0+0,1+0+0+0+1+0+0,1+0+0+0+1+0+0,1+1+1+1+1+0+0,0+0+0+0+0+0+0,0+0+0+0+0+0+0,0+0+0+0+0+0+0]T＝[2,2,2,5,0,0,0]T。处理器110依垂直方向D2加总候选边缘影像Ed每一行的多个像素值以产生水平候选影像H2，为[1+1+1+1+0+0+0,0+0+0+1+0+0+0,0+0+0+1+0+0+0,0+0+0+1+0+0+0,1+1+1+1+0+0+0,0+0+0+0+0+0+0,0+0+0+0+0+0+0]＝[4,1,1,1,4,0,0]。再举例来说，处理器110也可以按照类似上述作法，依水平方向D1平均候选边缘影像Ed每一列的多个像素值以产生垂直候选影像V2，且依垂直方向D2平均候选边缘影像Ed每一行的多个像素值以产生水平候选影像H2。
值得注意的是，上述垂直候选影像V2与水平候选影像H2中的数值越大，代表相应的列或行有较多的边缘，因而有较多欲追踪物件的信息量(若候选影像Id确实有欲追踪的物件)。借此，处理器110可通过垂直候选影像V2与水平候选影像H2中的数值来定义通过模板影像与追踪算法所推估出来的追踪物件在模板影像Iref的位置。
在本发明中，处理器110是先执行步骤S310，再执行步骤S330。另外，处理器110是先执行步骤S320，再执行步骤S340。需注意者，本发明未限制步骤S320及步骤S330的顺序。
再请回到图3，在接下来的步骤S350-S360中，处理器110进一步地找出候选影像Id中的追踪物件(若有)对应到模板影像Iref中欲追踪的物件的哪个位置。
具体而言，在步骤S350中，处理器110将水平候选影像的至少一个部分水平候选影像与水平模板影像进行位置匹配，以决定一水平坐标信息。在本实施例中，每一个部分水平候选影像为1/2以上的水平候选影像，且较佳为3/4以上的水平候选影像。此外，处理器110分别计算每一个部分水平候选影像在水平模板影像中的多个位置的匹配程度，并选取具有最高匹配程度的位置作为水平坐标信息。
承接图4A-4B的具体范例，并请同时参考图5A。在此具体范例中，水平模板影像H1的像素值为[0,5,2,2,2,5,0]，且水平候选影像H2的像素值为[4,1,1,1,4,0,0]。处理器110从水平候选影像H2决定出部分水平候选影像H21与H22，其分别涵盖水平候选影像H2的左边的五个像素(约水平候选影像H2的左边70％)以及右边的五个像素(约水平候选影像H2的右边70％)。接着，处理器110分别计算每一个部分水平候选影像H21与H22在水平模板影像H1中的多个位置的匹配程度。
在图5A的具体范例中，从水平模板影像H1最左边开始的第0个像素、第1个像素及第2个像素为部分水平候选影像H21所要比对的3个位置H11、H12、H13(亦即，将部分水平候选影像H21与水平模板影像H1的左边对齐，再向右移动0个像素、1个像素、2个像素)。处理器110将部分水平候选影像H21最左边的像素分别对齐水平模板影像H1中的3个位置H11、H12、H13，再根据像素重叠的部分(即灰色部分)计算匹配程度(例如：互相关值(cross-correlation value))。另外，从水平模板影像H1最右边开始的第0个像素、第1个像素及第2个像素为部分水平候选影像H22所要比对的3个位置H14、H15、H16(亦即，将部分水平候选影像H22与水平模板影像H1的右边对齐，再向左移动0个像素、1个像素、2个像素)。处理器110将部分水平候选影像H22最右边的像素分别对齐水平模板影像H1中的3个位置H14、H15、H16，再根据像素重叠的部分(即灰色部分)计算匹配程度(例如：互相关值)。部分水平候选影像H21在不同位置H11、H12、H13的匹配程度以及部分水平候选影像H22在不同位置H14、H15、H16的匹配程度整理如下表<一>。
表<一>
Figure BDA0001944505910000121
Figure BDA0001944505910000131
处理器110从该多个位置H11-H16中选取具有最高匹配程度的位置作为水平坐标信息。根据表<一>，部分水平候选影像H21在位置H12(即将部分水平候选影像H21与水平模板影像H1的左边对齐后，往右移动1个像素的位置)具有最高匹配程度(其匹配程度为46)，故处理器110选取位置H12作为水平坐标信息。此一选择代表处理器110认为候选影像Id中的追踪物件的水平位置对应到模板影像Iref中的水平模板影像H1的位置H12(亦即，候选影像Id先对齐模板影像Iref，再往右移动1个像素的位置)。在其他实施例中，处理器110可采用其他匹配算法计算每一个部分水平候选影像H21-H22在水平模板影像H1中的多个位置H11-H16的匹配程度，本发明对此不作限制。
再请回到图3，在步骤S360中，处理器110将垂直候选影像的至少一个部分垂直候选影像与垂直模板影像进行位置匹配，以决定一垂直坐标信息。在本实施例中，每一个部分垂直候选影像为1/2以上的垂直候选影像，且较佳为3/4以上的垂直候选影像。此外，处理器110分别计算每一个部分垂直候选影像在垂直模板影像中的多个位置的一匹配程度，并选取具有最高匹配程度的位置作为垂直坐标信息。
承接图4A-4B的具体范例，并请同时参考图5B。在此具体范例中，垂直模板影像V1的像素值为[0,5,2,2,2,5,0]T，且垂直候选影像V2的像素值为[2,2,2,5,0,0,0]T。处理器110从垂直候选影像V2决定出部分垂直候选影像V21与V22，分别涵盖垂直候选影像V2的上面五个像素(约垂直候选影像V2的上面70％)以及下面五个像素(约垂直候选影像V2的下面70％)。接着，处理器110分别计算每一个部分垂直候选影像V21与V22在垂直模板影像V1中的多个位置的匹配程度。
在图5B的具体范例中，从垂直模板影像V1最上面位置开始的第0个像素、第1个像素及第2个像素为部分垂直候选影像V21所要比对的3个位置V11、V12、V13(亦即，将部分垂直候选影像V21与垂直模板影像V1的上缘对齐，再向下移动0个像素、1个像素、2个像素)。处理器110将部分垂直候选影像V21最上面的像素分别对齐垂直模板影像V1中的3个位置V11、V12、V13，再根据像素重叠的部分(即灰色部分)计算匹配程度(例如：互相关值(cross-correlation value))。另外，将从垂直模板影像V1最下面开始的第0个像素、第1个像素及第2个像素为部分垂直候选影像V22所要比对的3个位置V14、V15、V16(亦即，将部分垂直候选影像V22与垂直模板影像V1的下缘对齐，再向上移动0个像素、1个像素、2个像素)。处理器110将部分垂直候选影像V22最下面的像素分别对齐垂直模板影像V1中的3个位置V14、V15、V16，再根据像素重叠的部分(即灰色部分)计算匹配程度(例如：互相关值)。部分垂直候选影像V21在不同位置V11、V12、V13的匹配程度以及部分垂直候选影像V22在不同位置V14、V15、V16的匹配程度整理如下表<二>。
表<二>
Figure BDA0001944505910000141
Figure BDA0001944505910000151
处理器110从该多个位置V11-V16中选取具有最高匹配程度的位置作为垂直坐标信息。根据表<二>，部分垂直候选影像V21在位置V13(将部分垂直候选影像V21与垂直模板影像V1的上缘对齐后，往下移动2个像素的位置)具有最高匹配程度(其匹配程度为37)，故处理器110选取位置V13作为垂直坐标信息。此一选择代表处理器110认为候选影像Id中的追踪物件的垂直位置对应到模板影像Iref中的垂直模板影像V1的位置V13(亦即，候选影像Id先与模板影像Iref对齐，再往下移动2个像素的位置)。在其他实施例中，处理器110可采用其他匹配算法计算每一个部分垂直候选影像V21-V22在垂直模板影像V1中的多个位置V11-V16的匹配程度，本发明对此不作限制。
在某些实施例中，在取得水平坐标信息与垂直坐标信息(即步骤S350-S360)后，处理器110即依据水平坐标信息及垂直坐标信息来确定候选影像中包含物件的区域(步骤S370)。延续第4A、4B、5A、5B图的具体范例，处理器110是计算出部分水平候选影像H21在位置H12具有最高匹配程度，以及部分垂直候选影像V21在位置V13具有最高匹配程度。由于部分水平候选影像H21对应至候选影像Id的左边五个像素，部分垂直候选影像V21对应至候选影像Id的上面五个像素，处理器110便确定出候选影像Id中的左上5*5像素为包含物件的区域。
在某些实施例中，在取得水平坐标信息与垂直坐标信息(即步骤S350-S360)后，则是会执行图6A的流程。具体而言，处理器110根据该至少一部分水平候选影像其中之一与该至少一部分垂直候选影像其中之一，决定该候选影像的一部分候选影像(步骤S371)。另外，处理器110以水平坐标信息、垂直坐标信息及一裁切尺寸决定模板影像的一部分模板影像(步骤S373)。部分候选影像与部分模板影像的尺寸相同，故后续流程会在相同的尺寸(即部分模板影像与部分候选影像的尺寸相同)下决定候选影像中是否有成功追踪到模板影像中欲追踪的物件。
为便于理解，兹以第4A、4B、5A、5B图的具体范例说明。处理器110是计算出部分水平候选影像H21在位置H12具有最高匹配程度(如表<一>与图5A所示)，以及部分垂直候选影像V21在位置V13具有最高匹配程度(如表<二>与图5B所示)。由于图5A的部分水平候选影像H21对应至图4B的水平候选影像H2的左边五个像素，图5B的部分垂直候选影像V21对应至图4B的垂直候选影像V2的上面五个像素，处理器110便决定图4B的候选影像Id中的左上5*5个像素为部分候选影像(即对应到图4B的候选边缘影像Ed中的像素P1-P25)。
另外，处理器110以部分水平候选影像H21的尺寸以及部分垂直候选影像V21的尺寸来决定一裁切尺寸。以第5A与5B图为例，部分水平候选影像H21的尺寸为1*5个像素，部分垂直候选影像V21的尺寸为5*1个像素，因此裁切尺寸为5*5个像素。由于处理器110选取位置H12作为水平坐标信息(代表左边对齐后，往右移动1个像素)且选取位置V13作为垂直坐标信息(代表上缘对齐后，往下移动2个像素)，因此，处理器110将一裁切方框(其尺寸为前述的裁切尺寸)的左上角对齐图4A的模板影像Iref的左上角像素(即对应到图4A的候选模板影像Eref中的像素A0)。接着，处理器110将裁切方框往右移动1个像素且往下移动2个像素后，裁切出部分模板影像(即对应到图4A的候选模板影像Eref中的像素A1-A25)。
在取得部分模板影像与部分候选影像(即步骤S371-S373)后，处理器110进一步判断部分模板影像与部分候选影像之间的一影像相似度是否大于一第一门槛值(步骤S375)。需说明者，部分模板影像与部分候选影像之间的影像相似度可以通过感知哈希(perceptual hash；pHash)算法、绝对误差和(Sum of Absolute Difference；SAD)算法、余弦距离(Cosine Distance)算法或其他算法获得，本发明对此不作限制。若部分模板影像与部分候选影像之间的影像相似度不大于等于第一门槛值，代表部分候选影像与部分模板影像不相同，故判断不具有欲追踪的物件。此时，处理器110将接收影像序列Seq的下一张影像(步骤S380)，以续行分析该下一张影像。若部分模板影像与部分候选影像之间的影像相似度大于第一门槛值时，代表部分候选影像中具有欲追踪的物件(即成功追踪到模板影像中欲追踪的物件)。此时，处理器110将以部分候选影像作为包含此物件的区域(步骤S377)。更进一步来说，处理器110可将追踪图框移动到候选影像中物件的区域，以更新追踪物件的状况。
由上述可知，处理器110在判断部分模板影像与部分候选影像之间的影像相似度后，将根据影像相似度的结果来决定候选影像中是否有成功追踪到模板影像中欲追踪的物件。
在其他实施例中，在取得水平坐标信息与垂直坐标信息(即步骤S350-S360)后，则是会执行图6B的流程。在该多个实施例中，会先执行步骤S371及S373。接着，在步骤S375，若部分模板影像与部分候选影像之间的影像相似度大于第一门槛值，则处理器110进一步地判断部分模板影像与部分候选影像之间的一色彩相似度是否大于一第二门槛值(步骤S376)。更进一步来说，处理器110计算部分模板影像与部分候选影像之间的一亮度相似度、一色度相似度及一浓度相似度，并根据亮度相似度、色度相似度及浓度相似度来计算出色彩相似度。举例而言，处理器110可分别将部分模板影像与部分候选影像从RGB色彩模式转换为YUV色彩模式，其中Y代表亮度、U代表色度以及V代表浓度。接着，处理器110分别针对部分模板影像及部分候选影像产生亮度的直方图(histogram)、色度的直方图及浓度的直方图。处理器110再借由比较部分模板影像及部分候选影像的亮度的直方图而产生亮度相似度，借由比较部分模板影像及部分候选影像的色度的直方图而产生色度相似度，且借由比较部分模板影像及部分候选影像的浓度的直方图而产生浓度相似度。
若部分模板影像与部分候选影像之间的色彩相似度小于或等于第二门槛值时，代表部分候选影像与部分模板影像不相同，故判断不具有欲追踪的物件。此时，处理器110将接收影像序列Seq中的下一张影像(步骤S380)，以续行分析该下一张影像。若部分模板影像与部分候选影像之间的色彩相似度大于第二门槛值时，代表部分候选影像中具有欲追踪的物件(即成功追踪到模板影像中欲追踪的物件)。此时，处理器110将以部分候选影像作为包含此物件的区域(步骤S377)。更进一步来说，处理器110可将追踪图框移动到候选影像中物件的区域，以更新追踪物件的状况。
由上述可知，处理器110在判断部分模板影像与部分候选影像之间的影像相似度后，会接着判断部分模板影像与部分候选影像之间的色彩相似度，以根据影像相似度与色彩相似度的结果来决定候选影像中是否有成功追踪到模板影像中欲追踪的物件。
综上所述，本发明实施例所提供的一种比对追踪物件的方法及电子装置，其采用模板影像与候选影像的边缘影像(也就是模板边缘影像及候选边缘影像)，降低模板边缘影像与候选边缘影像的数据量，并根据降低数据量后的边缘影像(亦即，垂直模板影像、水平模板影像、垂直候选影像及水平候选影像)来决定候选影像中是否有成功追踪到模板影像中欲追踪的物件。借此，本发明的比对追踪物件的方法及电子装置可以在确保追踪精确度的情况下快速地追踪到物件。
上述公开内容仅用来例举本发明的部分实施态样，以及阐述本发明的详细技术内容及技术特征，而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中的技术人员基于上述公开内容及建议能思及的润饰、替换、改变及均等性的安排均属于本发明所主张的范围，而本发明的权利保护范围以权利要求书为准。

Claims (20)

1.一种比对追踪物件的方法，适用于一电子装置，其特征在于，该方法包括下列步骤：
(A)对一模板影像执行边缘检测以产生一模板边缘影像，其中该模板影像中具有一物件；
(B)对一候选影像执行边缘检测以产生一候选边缘影像；
(C)依一水平方向及一垂直方向统计该模板边缘影像的多个像素值以分别产生一垂直模板影像及一水平模板影像；
(D)依该水平方向及该垂直方向统计该候选边缘影像的多个像素值以产生一垂直候选影像及一水平候选影像；
(E)将该水平候选影像的至少一部分水平候选影像与该水平模板影像进行位置匹配以决定一水平坐标信息；
(F)将该垂直候选影像的至少一部分垂直候选影像与该垂直模板影像进行位置匹配以决定一垂直坐标信息；以及
(G)依据该水平坐标信息及该垂直坐标信息确定该候选影像中包含该物件的一区域。
2.如权利要求1所述的方法，其特征在于，该方法还包括下列步骤：
根据该至少一部分水平候选影像其中之一与该至少一部分垂直候选影像其中之一，决定该候选影像的一部分候选影像；
以该水平坐标信息、该垂直坐标信息及一裁切尺寸决定该模板影像的一部分模板影像；以及
判断该部分模板影像与该部分候选影像间的一影像相似度大于一第一门槛值；
其中，该步骤(G)是因应该影像相似度大于该第一门槛值的判断结果而执行，且该步骤(G)是判断该部分候选影像为包含该物件的该区域。
3.如权利要求2所述的方法，其特征在于，该裁切尺寸是由该至少一部分水平候选影像其中之一的一尺寸及该至少一部分垂直候选影像其中之一的一尺寸决定。
4.如权利要求1所述的方法，其特征在于，该方法还包括下列步骤：
根据该至少一部分水平候选影像其中之一与该至少一部分垂直候选影像其中之一，决定该候选影像的一部分候选影像；
以该水平坐标信息、该垂直坐标信息及一裁切尺寸决定该模板影像的一部分模板影像；
判断该部分模板影像与该部分候选影像间的一影像相似度大于一第一门槛值；以及
在判断该影像相似度大于该第一门槛值后，判断该部分模板影像与该部分候选影像间的一色彩相似度大于一第二门槛值；
其中，该步骤(G)是因应该色彩相似度大于该第二门槛值的判断结果而执行，且该步骤(G)是判断该部分候选影像为包含该物件的该区域。
5.如权利要求4所述的方法，其特征在于，该方法还包括下列步骤：
计算该部分模板影像与该部分候选影像间的一亮度相似度、一色度相似度及一浓度相似度；以及
根据该亮度相似度、该色度相似度及该浓度相似度计算出该色彩相似度。
6.如权利要求1所述的方法，其特征在于，该方法还包括下列步骤：
依据一追踪图框，自一影像序列中的一第一影像裁切出该模板影像；
根据该模板影像及一追踪算法，估算该物件在该影像序列中的一第二影像中的一相对位置；以及
根据该相对位置，自该第二影像裁切出该候选影像。
7.如权利要求6所述的方法，其特征在于，该方法还包括下列步骤：
接收一信号，其中该信号包含该追踪图框在该第一影像中的一位置，且该追踪图框对应到欲追踪的该物件。
8.如权利要求1所述的方法，其特征在于，该步骤(E)包括下列步骤：
分别计算各该至少一部分水平候选影像在该水平模板影像中的多个位置的一匹配程度；以及
选取具有最高匹配程度的位置作为该水平坐标信息。
9.如权利要求1所述的方法，其特征在于，该步骤(F)包括下列步骤：
分别计算各该至少一部分垂直候选影像在该垂直模板影像中的多个位置的一匹配程度；以及
选取具有最高匹配程度的位置作为该垂直坐标信息。
10.如权利要求1所述的方法，其特征在于，该方法还包括下列步骤：
在该步骤(A)前，将该模板影像去噪；以及
在该步骤(B)前，将该候选影像去噪。
11.一种比对追踪物件的电子装置，其特征在于，包括：
一存储器，存储一模板影像与一候选影像，且该模板影像具有一物件；以及
一处理器，耦接该存储器，且执行以下步骤：
(A)对该模板影像执行边缘检测以产生一模板边缘影像；
(B)对该候选影像执行边缘检测以产生一候选边缘影像；
(C)依一水平方向及一垂直方向统计该模板边缘影像的多个像素值以分别产生一垂直模板影像及一水平模板影像；
(D)依该水平方向及该垂直方向统计该候选边缘影像的多个像素值以产生一垂直候选影像及一水平候选影像；
(E)将该水平候选影像的至少一部分水平候选影像与该水平模板影像进行位置匹配以决定一水平坐标信息；
(F)将该垂直候选影像的至少一部分垂直候选影像与该垂直模板影像进行位置匹配以决定一垂直坐标信息；以及
(G)依据该水平坐标信息及该垂直坐标信息确定该候选影像中包含该物件的一区域。
12.如权利要求11所述的电子装置，其特征在于，该处理器根据该至少一部分水平候选影像其中之一与该至少一部分垂直候选影像其中之一，决定该候选影像的一部分候选影像，以该水平坐标信息、该垂直坐标信息及一裁切尺寸决定该模板影像的一部分模板影像，且判断该部分模板影像与该部分候选影像间的一影像相似度大于一第一门槛值，其中，该处理器是因应该影像相似度大于该第一门槛值的判断结果而执行该步骤(G)，且该步骤(G)是判断该部分候选影像为包含该物件的该区域。
13.如权利要求12所述的电子装置，其特征在于，该处理器由该至少一部分水平候选影像其中之一的一尺寸及该至少一部分垂直候选影像其中之一的一尺寸决定该裁切尺寸。
14.如权利要求11所述的电子装置，其特征在于，该处理器根据该至少一部分水平候选影像其中之一与该至少一部分垂直候选影像其中之一，决定该候选影像的一部分候选影像，以该水平坐标信息、该垂直坐标信息及一裁切尺寸决定该模板影像的一部分模板影像，且判断该部分模板影像与该部分候选影像间的一影像相似度大于一第一门槛值，
其中，该处理器在判断该影像相似度大于该第一门槛值后，判断该部分模板影像与该部分候选影像间的一色彩相似度大于一第二门槛值；
其中，该处理器是因应该色彩相似度大于该第二门槛值的判断结果而执行该步骤(G)，且该步骤(G)是判断该部分候选影像为包含该物件的该区域。
15.如权利要求14所述的电子装置，其特征在于，该处理器计算该部分模板影像与该部分候选影像间的一亮度相似度、一色度相似度及一浓度相似度，且根据该亮度相似度、该色度相似度及该浓度相似度计算出该色彩相似度。
16.如权利要求11所述的电子装置，其特征在于，该处理器依据一追踪图框，自一影像序列中的一第一影像裁切出该模板影像，根据该模板影像及一追踪算法，估算该物件在该影像序列中的一第二影像中的一相对位置，且根据该相对位置，自该第二影像裁切出该候选影像。
17.如权利要求16所述的电子装置，其特征在于，该处理器接收一信号，该信号包含该追踪图框在该第一影像中的一位置，且该追踪图框对应到欲追踪的该物件。
18.如权利要求11所述的电子装置，其特征在于，该处理器执行该步骤(E)时，分别计算各该至少一部分水平候选影像在该水平模板影像中的多个位置的一匹配程度，且选取具有最高匹配程度的位置作为该水平坐标信息。
19.如权利要求11所述的电子装置，其特征在于，该处理器执行该步骤(F)时，分别计算各该至少一部分垂直候选影像在该垂直模板影像中的多个位置的一匹配程度，且选取具有最高匹配程度的位置作为该垂直坐标信息。
20.如权利要求11所述的电子装置，其特征在于，该处理器在执行该步骤(A)前将该模板影像去噪，且该处理器在该步骤(B)前，将该候选影像去噪。
CN201910031805.5A 2018-08-06 2019-01-14 比对追踪物件的方法及电子装置 Active CN110807792B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107127292 2018-08-06
TW107127292A TWI660310B (zh) 2018-08-06 2018-08-06 比對追蹤物件的方法及電子裝置

Publications (2)

Publication Number Publication Date
CN110807792A true CN110807792A (zh) 2020-02-18
CN110807792B CN110807792B (zh) 2022-11-15

Family

ID=67348002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910031805.5A Active CN110807792B (zh) 2018-08-06 2019-01-14 比对追踪物件的方法及电子装置

Country Status (3)

Country Link
US (1) US11037307B2 (zh)
CN (1) CN110807792B (zh)
TW (1) TWI660310B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516322B (zh) * 2017-08-11 2020-08-18 浙江大学 一种基于对数极空间的图像物体大小和旋转估计计算方法
CN111506758B (zh) * 2020-04-16 2024-05-03 腾讯科技（深圳）有限公司 物品名称确定方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229921B1 (en) * 1999-01-06 2001-05-08 National Instruments Corporation Pattern matching system and method with improved template image sampling using low discrepancy sequences
US6233008B1 (en) * 1997-06-11 2001-05-15 Samsung Thomson-Csf Co., Ltd. Target tracking method and device therefor
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20080100709A1 (en) * 2006-10-27 2008-05-01 Matsushita Electric Works, Ltd. Target moving object tracking device
US20100007758A1 (en) * 2008-06-06 2010-01-14 Nikon Corporation Image matching device and camera
US20140200759A1 (en) * 2011-01-26 2014-07-17 Magna Electronics Inc. Rear vision system with trailer angle detection
US20150302239A1 (en) * 2012-11-27 2015-10-22 Sony Computer Entrtainment Inc. Information processor and information processing method
US20160267675A1 (en) * 2014-06-23 2016-09-15 Boe Technology Group Co., Ltd. Image edge detection method and apparatus thereof, image target identification method and apparatus thereof
CN107564035A (zh) * 2017-07-31 2018-01-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法
US20180068431A1 (en) * 2016-09-08 2018-03-08 Sony Corporation Video processing system and method for object detection in a sequence of image frames

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI274296B (en) * 2005-04-20 2007-02-21 Univ Nat Chiao Tung Image-based object tracking method
TWI371720B (en) 2006-09-05 2012-09-01 Chung Shan Inst Of Science Automatic target tracking system and method thereof
TWI382762B (zh) 2008-11-17 2013-01-11 Ind Tech Res Inst 移動物體的追蹤方法
US8345102B2 (en) 2009-01-13 2013-01-01 Futurewei Technologies, Inc. Image processing system and method for object tracking
TWI420124B (zh) * 2009-09-23 2013-12-21 Realtek Semiconductor Corp 邊緣檢測裝置以及應用於邊緣檢測裝置的運算電路
CN102375985A (zh) * 2010-08-10 2012-03-14 富士通株式会社 目标检测方法和设备
TWI394087B (zh) * 2010-12-31 2013-04-21 Ind Tech Res Inst 追蹤目標物的方法及裝置
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN103780871A (zh) 2012-10-19 2014-05-07 慧友电子股份有限公司 Ｐｔｚ摄影机自动追踪的方法
TWI496114B (zh) * 2012-11-23 2015-08-11 Univ Nat Taiwan 影像追蹤裝置及其影像追蹤方法
US9588605B2 (en) 2014-03-11 2017-03-07 Pixart Imaging Inc. Tracking method and optical input device using the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233008B1 (en) * 1997-06-11 2001-05-15 Samsung Thomson-Csf Co., Ltd. Target tracking method and device therefor
US6229921B1 (en) * 1999-01-06 2001-05-08 National Instruments Corporation Pattern matching system and method with improved template image sampling using low discrepancy sequences
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20080100709A1 (en) * 2006-10-27 2008-05-01 Matsushita Electric Works, Ltd. Target moving object tracking device
US20100007758A1 (en) * 2008-06-06 2010-01-14 Nikon Corporation Image matching device and camera
US20140200759A1 (en) * 2011-01-26 2014-07-17 Magna Electronics Inc. Rear vision system with trailer angle detection
US20150302239A1 (en) * 2012-11-27 2015-10-22 Sony Computer Entrtainment Inc. Information processor and information processing method
US20160267675A1 (en) * 2014-06-23 2016-09-15 Boe Technology Group Co., Ltd. Image edge detection method and apparatus thereof, image target identification method and apparatus thereof
US20180068431A1 (en) * 2016-09-08 2018-03-08 Sony Corporation Video processing system and method for object detection in a sequence of image frames
CN107564035A (zh) * 2017-07-31 2018-01-09 华南农业大学 基于重要区域识别和匹配的视频跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张青涛等: "基于快速模板匹配的智能视觉传感器设计", 《传感技术学报》 *

Also Published As

Publication number Publication date
US11037307B2 (en) 2021-06-15
US20200043180A1 (en) 2020-02-06
CN110807792B (zh) 2022-11-15
TWI660310B (zh) 2019-05-21
TW202008217A (zh) 2020-02-16

Similar Documents

Publication Publication Date Title
US11367282B2 (en) Subtitle extraction method and device, storage medium
Feng et al. Local background enclosure for RGB-D salient object detection
CN110163076B (zh) 一种图像数据处理方法和相关装置
US9674505B2 (en) Disparity search range determination for images from an image sensor array
US10165248B2 (en) Optimization method of image depth information and image processing apparatus
CN105184763B (zh) 图像处理方法和装置
US10462455B2 (en) Display apparatus, display method, and computer readable recording medium
US7606414B2 (en) Fusion of color space data to extract dominant color
US10748023B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
US8897600B1 (en) Method and system for determining vanishing point candidates for projective correction
CN110717489A (zh) Osd的文字区域的识别方法、装置及存储介质
JP2011129114A (ja) 検出装置、検出方法、検出プログラム、および記録媒体
US20180082456A1 (en) Image viewpoint transformation apparatus and method
CN111797766B (zh) 识别方法、识别装置、计算机可读存储介质和车辆
EP2977932A2 (en) Image processing apparatus, image processing method and image processing program
CN110807792B (zh) 比对追踪物件的方法及电子装置
CN110708568B (zh) 一种视频内容突变检测方法及装置
WO2017135120A1 (en) Computationally efficient frame rate conversion system
KR101377910B1 (ko) 화상 처리 방법 및 화상 처리 장치
US11256949B2 (en) Guided sparse feature matching via coarsely defined dense matches
CN110807457A (zh) Osd字符识别方法、装置及存储装置
WO2015092059A1 (en) Method and system for correcting projective distortions.
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
CN107784269A (zh) 一种3d视频帧特征点提取的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant