CN118115524A - 图像跟踪方法及图像跟踪系统 - Google Patents

图像跟踪方法及图像跟踪系统 Download PDF

Info

Publication number
CN118115524A
CN118115524A CN202211474201.6A CN202211474201A CN118115524A CN 118115524 A CN118115524 A CN 118115524A CN 202211474201 A CN202211474201 A CN 202211474201A CN 118115524 A CN118115524 A CN 118115524A
Authority
CN
China
Prior art keywords
image
rectangle
area
pixels
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211474201.6A
Other languages
English (en)
Inventor
曾国森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kinpo Electronics Inc
Original Assignee
Kinpo Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kinpo Electronics Inc filed Critical Kinpo Electronics Inc
Priority to CN202211474201.6A priority Critical patent/CN118115524A/zh
Priority to US18/104,301 priority patent/US20240169561A1/en
Publication of CN118115524A publication Critical patent/CN118115524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种图像跟踪方法及图像跟踪系统。图像跟踪方法包括获得初始图像，其中初始图像包括多个待检测物图像。各待检测物图像包括跟踪区域及主要区域，跟踪区域及主要区域的像素差值大于门槛值。该方法包括对初始图像执行图像处理以获得包括多个图像物件轮廓的二值化图像、分别计算各图像物件轮廓的最小外接矩形，并将各图像物件轮廓的最小外接矩形与预设矩形进行比对以选择与预设矩形相符的最小外接矩形作为定位区域。该方法还包括根据定位区域产生识别框并显示标示识别框的初始图像，其中识别框重叠于多个待检测物图像其中一者的跟踪区域，据此可以正确地指出目前正在跟踪的待检测物。

Description

图像跟踪方法及图像跟踪系统
技术领域
本发明有关于一种图像跟踪方法及图像跟踪系统，特别是有关于一种于多个物件中进行物件跟踪及物件标示的图像跟踪方法及图像跟踪系统。
背景技术
图像跟踪技术可于图像中识别出环境中的物体，再对此物体进行图像跟踪。目前的相关技术虽然可以对具有特殊图样的物体进行跟踪，但是当环境中存在多个相同的物体时，无法判断应跟踪哪一个物体。尤其是，当多个相同物体非常靠近或者部分地重叠时，图像中的物体可能会因此而被识别错误。并且，物体之间非常靠近或部分地重叠的原因，哪一个才是被跟踪的物体并无法在图像中明确地被指示，而造成后续在图像中跟踪物体的错误，也导致使用者无法得知图像中的哪一个物体是目前正在被跟踪的。
据此，如何在多个相同的物体中指示正确的被跟踪物体，为本发明欲解决的技术问题。
发明内容
根据本案的一实施例揭示一种图像跟踪方法，包括：通过图像采集装置以获得初始图像，其中初始图像包括多个待检测物图像。各待检测物图像包括跟踪区域及主要区域，主要区域的像素值与跟踪区域的像素值的差异大于一门槛值。接着，对初始图像执行图像处理以获得二值化图像，其中二值化图像包括多个图像物件轮廓。接着，分别计算各图像物件轮廓的最小外接矩形，并将各图像物件轮廓的最小外接矩形与预设矩形进行比对，以选择与预设矩形相符的最小外接矩形作为定位区域。接着，根据定位区域产生识别框，以及于显示装置上显示标示识别框的初始图像，其中识别框重叠于多个待检测物图像的其中一者的跟踪区域。
根据本案的一实施例，其中获得该二值化图像的步骤之前还包括：选择用于该图像处理的一二值化门槛值以及该预设矩形；以及储存该二值化门槛值及该预设矩形的信息于一存储媒体。
根据本案的一实施例，其中对该初始图像执行该图像处理以获得该二值化图像的步骤包括：于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为该二值化图像中黑色与白色中的一第一色彩像素，以及该主要区域及该多个小区块的像素被转换为黑色与白色中的一第二色彩像素。
根据本案的一实施例，其中该第一色彩像素为白色，该第二色彩像素为黑色。
根据本案的一实施例，其中该跟踪区域为黑色像素的图像，以及该主要区域包括白色像素的图像及像素值介于白色及黑色之间的多个小区块图像；其中对该初始图像执行该图像处理以获得该二值化图像的步骤包括：于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为白色像素以及该主要区域及该多个小区块的像素被转换为黑色像素。
根据本案的一实施例，其中将与该预设矩形相符的该图像物件轮廓作为该定位区域的步骤更包括：选择与该预设矩形相符且被显示于该显示装置的一关注区域的该最小外接矩形来作为该定位区域。
根据本案的一实施例，其中该关注区域为该显示装置的左半部区域或右半部区域。
根据本案的一实施例，其中该跟踪区域为该待检测物图像中具有一宽度的一中空矩形。
根据本案的一实施例，其中该多个待检测物图像系对应多个待检测物实体，且其中至少两个该待检测物实体之间非常靠近或部分地重叠。
根据本案的一实施例，其中于分别计算各该图像物件轮廓的该最小外接矩形的步骤之后，更包括：当判定各该图像物件轮廓属于非封闭图形的矩形时，执行一异常检测程序并检测该多个待检测物的排列是否发生异常；当判定该多个待检测物的排列发生异常时，发出一异常警示，其中该异常警示关联于该多个待检测物的排列发生异常状态；其中该非封闭图形的矩形包括一开口。
根据本案的一实施例揭示一种图像跟踪系统，包括图像采集装置、显示装置以及处理装置。图像采集装置经配置以对多个待检测物拍摄以获得初始图像，其中初始图像包括多个待检测物图像。各待检测物图像包括跟踪区域及主要区域，以及主要区域的像素值与跟踪区域的像素值的差异大于一门槛值。显示装置经配置以显示初始图像。处理装置耦接于图像采集装置及显示装置。处理装置经配置以对初始图像执行图像处理以获得二值化图像，其中二值化图像包括多个图像物件轮廓、分别计算各图像物件轮廓的最小外接矩形、将各图像物件轮廓的最小外接矩形与预设矩形进行比对以选择与预设矩形相符的最小外接矩形作为定位区域、根据定位区域产生一识别框，以及于显示装置上显示标示识别框的初始图像，其中识别框重叠于多个待检测物图像其中一者的跟踪区域。
根据本案的一实施例，更包括：一存储媒体，耦接于该处理装置，经配置以储存一二值化门槛值及该预设矩形的信息；其中该处理装置经配置以选择用于该图像处理的该二值化门槛值来执行该图像处理以获得该二值化图像。
根据本案的一实施例，该处理装置经配置以于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为该二值化图像中黑色与白色中的一第一色彩像素，以及该主要区域及该多个小区块的像素被转换为一第二色彩像素。
根据本案的一实施例，其中该处理装置经配置以于该图像处理中使其中该第一色彩像素为白色，该第二色彩像素为黑色。
根据本案的一实施例，其中该跟踪区域为黑色像素的图像，以及该主要区域包括白色像素的图像及像素值介于白色及黑色之间的多个小区块图像；该处理装置经配置以于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为白色像素以及该主要区域及该多个小区块的像素被转换为黑色像素。
根据本案的一实施例，其中该处理装置经配置以选择与该预设矩形相符且被显示于该显示装置的一关注区域的该最小外接矩形来作为该定位区域。
根据本案的一实施例，其中该处理装置经配置以设定该显示装置的左半部区域或右半部区域作为该关注区域。
根据本案的一实施例，其中该跟踪区域为该待检测物图像中具有一宽度的中空矩形。
根据本案的一实施例，其中该多个待检测物图像系对应多个待检测物实体，且其中至少两个该待检测物实体之间非常靠近或部分地重叠。
根据本案的一实施例，其中该处理装置经配置以当判定各该图像物件轮廓属于非封闭图形的矩形时，执行一异常检测程序并检测该多个待检测物的排列是否发生异常，以及当判定该多个待检测物的排列发生异常时，发出一异常警示，其中该异常警示关联于该多个待检测物的排列发生异常状态；其中该非封闭图形的矩形包括一开口。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为根据本案一实施例的图像跟踪系统的方块图。
图2为根据本案一实施例的待检测物图像的示意图。
图3为根据本案一实施例的多个待检测物放置于检测平台时所拍摄的初始图像的示意图。
图4为根据本案一实施例的图像跟踪方法的流程图。
图5为根据本案一实施例二值化图像的示意图。
图6为根据本案一实施例从图5的二值化图像中计算出最小外接矩形的示意图。
图7为根据本案一实施例的于初始图像上显示识别框的示意图。
其中，附图标记：
100：图像跟踪系统
110：图像采集装置
120：处理装置
130：显示装置
140：存储媒体
142：二值化门槛值
144：预设矩形
200：待检测物图像
203：屏幕
205：按键
207：太阳能面板
210：跟踪区域
220：主要区域
300：初始图像
310、320：计算机图像
311、321：跟踪区域
312、322：主要区域
313、323：小区块
500：二值化图像
541～546：区域
561、562、563、564：最小外接矩形
710：识别框
711：标记符号
S410～S460：步骤
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
请参阅图1，其为根据本案一实施例的图像跟踪系统的方块图。图1的图像跟踪系统100包括图像采集装置110、处理装置120、显示装置130及存储媒体140。处理装置120耦接于图像采集装置110、显示装置130及存储媒体140。图像采集装置110经配置以朝向一平台(图未标示)连续地采集放置于平台上的多个待检测物的初始图像，以供处理装置120进行图像识别并指出目前正在跟踪的是哪一个待检测物。显示装置130用以显示初始图像。存储媒体140储存相关程序，程序中包括用以执行图像处理的二值化门槛值142及预设矩形144的信息。
于一实施例中，平台上的多个待检测物为相同的复制物品，例如是待检测的计算机或平板计算机等其他种类产品。于另一实施例中，平台上的多个待检测物分别为不同的物品。于本案中「待检测物实体」及「待检测物」为可交互使用的技术用语，「待检测物图像」系指待检测物或待检测物实体的图像。
图像采集装置110采集的初始图像包括多个待检测物图像，每一个待检测物图像包括跟踪区域及主要区域。于一实施例中，跟踪区域为具有一宽度的中空矩形。主要区域为跟踪区域以外的其他区域。其中，跟踪区域与主要区域的像素差值大于一门槛值。
于一实施例中，中空矩形包括外矩形及内矩形，内矩形在外矩形的内部。外矩形及内矩形之间的范围为该中空矩形的面积。外矩形及内矩形分别包括两对平行边。外矩形的第一对平行边与第二对平行边之间为垂直关系。内矩形的第一对平行边与第二对平行边之间为垂直关系。外矩形的第一对平行边与内矩形的第一对平行边互相平行，外矩形的第二对平行边与内矩形的第二对平行边互相平行。中空矩形的宽度包括外矩形的第一对平行边中的一边(第一边)与最靠近内矩形的第一对平行边中的一边(第一边)之间的垂直距离(例如50像素)、外矩形的第一对平行边中的另一边(第二边)与最靠近内矩形的第一对平行边中的另一边(第二边)之间的垂直距离(例如50像素)、外矩形的第二对平行边中的一边(第一边)与最靠近内矩形的第二对平行边中的一边(第一边)之间的垂直距离(例如20像素)、外矩形的第二对平行边中的另一边(第二边)与最靠近内矩形的第二对平行边中的另一边(第二边)之间的垂直距离(例如20像素)，以及外矩形的四个顶点分别与最靠近内矩形的四个顶点的四个顶点对(例如外矩形的左上方的顶点及内矩形的左上方的顶点组成的顶点对)之间的直线距离(例如54像素)。于一实施例中，跟踪区域为黑色的像素值(例如0～49像素范围)，主要区域为白色的像素值(例如200～255像素范围)。于此实施例中，跟踪区域与主要区域的像素差值大于一门槛值(例如150像素)。
于一实施例中，图像采集装置110可以为摄像机。
于一实施例中，处理装置120可以为包括中央处理器(central processing unit,CPU)、系统单晶片(System on Chip,SoC)、应用处理器、音频处理器、数字信号处理器(digital signal processor,DSP)、特定功能的处理芯片或控制器等的电子装置。
于一实施例中，显示装置130可以为显示器、投影机或具有显示功能的电子装置。
于一实施例中，存储媒体140可以包括随机存取存储器(Random Access Memory,RAM)、非挥发性存储器(例如快闪存储器(Flash memory)、只读存储器(Read-Only Memory,ROM)、硬盘机(Hard Disk Drive,HDD)、固态硬盘(Solid State Drive,SSD)或光储存器等。
为便于理解，本案以计算机作为待检测物的例示，惟本案不限制计算机作为待检测物。
请参阅图2，其为根据本案一实施例的待检测物图像的示意图。于此实施例中，待检测物图像200为计算机的图像。如图2所示，待检测物图像200包括跟踪区域210及主要区域220。
跟踪区域210可以为待检测物图像中具有独特特征的几何图形，故本发明可根据此独特特征的几何图形来作为考量候选。并且(如后所详述)，跟踪区域210经后续步骤的图像处理后，本发明能得到图像跟踪系统100预先所设定的感兴趣特征对应的特定像素。例如本实施例跟踪区域210以计算机的显示屏幕203作为考量候选的基础，在另一实施例跟踪区域210亦可能以计算机的太阳能面板207来作为考量候选；然各个按键205因为为多个尺寸相同的小区块，故不优先将其作为跟踪区域210的考量候选。
于一实施例中，计算机的显示屏幕203的毗连外围有颜色为黑色或接近黑色的外框着色设计，并且跟踪区域210为计算机的显示屏幕203的毗连的外围，使得跟踪区域210为具有一宽度且其为颜色为黑色或接近黑色的中空矩形(中空处即计算机的电子显示屏幕203)。主要区域220为待检测物图像200中跟踪区域210以外的区域，例如本实施例中计算机的白色外壳，以及跟踪区域210以外其颜色接近白色或浅色的多个小区块例如按键205及太阳能面板207。
于一实施例中，前述的中空矩形的外矩形对应于计算机的跟踪区域210，中空矩形的内矩形对应于计算机的屏幕203。
于一实施例中，跟踪区域210为黑色的像素值(例如0～49像素范围)，主要区域220为白色的像素值(例如200～255像素范围)。于此实施例中，跟踪区域210与主要区域220的像素差值大于一门槛值(例如150像素)。
于一实施例中，跟踪区域210与主要区域220的像素差值为灰阶值(gray scale)差值。
请参阅图3，其为根据本案一实施例的多个待检测物实体放置于检测平台时所拍摄的初始图像的示意图。图3所示的初始图像300包括计算机图像310及320(即，待检测物图像)。计算机图像310及320的两台计算机为相同型号、具有相同外观及操作功能的产品。
于一实施例中，多个待检测物图像系对应多个待检测物实体。如图3所示，系对两个待检测物实体拍摄所得到的分别对应的两个待检测物图像，例如计算机图像310及320。
在一些情况下，待检测物实体会因为碰撞或传输平台移动而导致待检测物实体的间非常靠近或部分地重叠。如图3所示的两台计算机，左边的计算机的右上角略为向上靠置在右边的计算机的左侧，而使得计算机图像310及计算机图像320为部分地重叠。为简化说明，计算机图像310及320具有与图2的计算机图像200相同的外观、功能及特征叙述。而所谓待检测物实体之间非常靠近，指的是待检测物实体之间虽非上下重叠关系，但非常靠近或甚至部分实体邻近相接，故习知检测程序执行单纯以待检测物实体的整个实体外轮廓检测或指示时，会发生无法分别检测识别出及/或指示指出在检测图像中存在两待检测物实体，或无法正确指示非常靠近的待检测物实体中哪一个才是被跟踪的物体的错误结果。
请参阅图4，其为根据本案一实施例的图像跟踪方法的流程图。图4的图像跟踪方法可由图1的图像跟踪系统100所执行，以下将一并参照图3、图5及图6来说明图像跟踪方法的各个步骤。
于步骤S410，通过图像采集装置110以获得初始图像。于一实施例中，图像采集装置110持续地采集初始图像并提供该初始图像至显示装置130供使用者观看。
于步骤S420，对初始图像执行图像处理以获得二值化图像，其中二值化图像包括多个图像物件轮廓。于一实施例中，图像处理可以为OPENCV(Open Source ComputerVision Library)的二值化运算(THRESH_BINARY)、反二值化运算(THRESH_BINARY_INV)、截断运算(THRESH_TRUNC)、取零运算(THRESH_TOZERO)或反取零运算(THRESH_TOZERO_INV)等，使得初始图像经过处理装置120的图像处理而对应地产生二值化图像(或称黑白图像)。
于一实施例中，二值化门槛值142可以为用来将图像进行灰度划分的阀值(threshold value)，使得图像的像素值依据该阀值而被划分为0或1。处理装置120于执行图像处理之前，可以先根据待检测物图像来决定处理效果最佳的二值化门槛值，并储存此二值化门槛值以作为之后续处理相同的复制物时，直接使用此二值化门槛值来进行二值化图像处理。值得一提的是，所述处理效果最佳系指使用该二值化门槛值可以让提取跟踪区域的效果最佳。
请参阅图5，其为根据本案一实施例的二值化图像的示意图。图5的二值化图像500为黑白图像，其中绘示的着色的区域的部分代表二值化图像500的黑色像素，其他未着色的部分代表二值化图像500的白色像素。于一实施例中，处理装置120执行的图像处理可以将图3的主要区域312及322的白色像素及多个小区块313及323的白色或浅色像素转换为图5中的黑色像素，以及将图3所示的跟踪区域311及321的黑色像素转换为图5中的白色像素。而前述图像跟踪系统100预先所设定的感兴趣特征对应的特定像素即为白色像素。
图5的二值化图像500的白色像素形成多个白色且不规则的区域541至546。处理装置120于二值化图像500执行边界检测算法而分别计算出对应于区域541至546的图像物件轮廓。于一实施例中，图像物件系指由相同像素值所形成的像素区块，像素区块的边缘像素形成该图像物件的轮廓。举例而言，图5的区域541为多个白色像素所形成的白色区块，其中间具有着色的小矩形，白色区块的形状近似白色的中空矩形。于一实施例中，图像物件轮廓可以为二值化图像500中白色像素及黑色像素的交界处所形成的轮廓。
于一实施例中，处理装置120于图像处理中使用二值化门槛值以转换初始图像的像素，使得跟踪区域311及321(如图3)的像素被转换为二值化图像500(如图5)中黑色与白色其中一者的第一色彩像素，以及主要区域312及322(如图3)及多个小区块312及323(如图3)的像素被转换为二值化图像500(如图5)中黑色与白色其中一者的第二色彩像素。
于一实施例中，第一色彩像素为白色，第二色彩像素为黑色。
于一实施例中，先前所述图像跟踪系统100预先所设定的感兴趣特征对应的特定像素为白色像素。
藉由将初始图像转换为二值化图像，初始图像中的部分图像区块(例如计算机的按键)可以在此阶段被去除，使得后续进行图像物件跟踪时，处理装置120的图像资料运算量下降，并提升后续对待检测物的跟踪速度。
请复参阅图4，于步骤S430，通过处理装置120分别计算多个图像物件轮廓的最小外接矩形。于一实施例中，最小外接矩形系可以将图像物件轮廓包围在其中的最小矩形。
请参阅图6，其为根据本案一实施例从图5的二值化图像中计算出最小外接矩形的示意图。如上述说明，二值化图像500包括区域541至546的图像物件轮廓。
于一实施例中，处理装置120于计算最小外接矩形之前，会先判断图像物件轮廓是否属于矩形。如图5所示，区域541、542、543及544的图像物件轮廓属于矩形，区域545及546的图像物件轮廓则不属于矩形。图像物件轮廓是否为矩形的判断方法可以为判断图像轮廓的几何特征的算法来执行，本发明不在此限。
于一实施例中，处理装置120会先过滤掉不属于矩形的图像物件轮廓(例如图5的区域545及546)。被过滤掉的图像物件轮廓不会进入步骤S440的比对程序，以节省运算资源。换言之，属于矩形的图像物件轮廓才会进入步骤S440的比对程序。
于一实施例中，属于矩形的图像物件轮廓可以为封闭图形及非封闭图形。封闭图形系指所有顶点连线后形成的几何图形为封闭状态。非封闭图形系指具有至少一开口的几何图形。举例而言，区域543的外围轮廓的左侧具有一开口，因此区域543为非封闭图形。
于一实施例中，处理装置120于计算最小外接矩形之后(已过滤掉不属于矩形的图像物件轮廓)，会判断属于矩形的图像物件轮廓是否属于非封闭图形。若属于矩形的图像物件轮廓为非封闭图形，则处理装置120会执行一异常检测程序来评估是否有异常状况。欲说明的是，于矩形的图像物件轮廓属于非封闭图形的情况，代表被拍摄的多个待检测物的放置状态非常凌乱，例如彼此之间非常靠近或部分地重叠，导致一待检测物因被另一待检测物部分地遮挡而出现非封闭图形的开口。据此，本发明执行异常检测程序以排除多个待检测物的放置排列的异常状态。
于一实施例中，请复参照图3，处理装置120执行的异常检测程序包括判断是否能识别出初始图像300的图像特征区块，例如按键205的数字键‘7’、‘4’、‘1’及‘0’。若处理装置120于异常检测程序中可以识别出初始图像300的图像特征区块，则代表待检测物的放置排列属于正常状态，而往下执行步骤S440。若处理装置120于异常检测程序中无法识别出初始图像300的图像特征区块，则代表待检测物的放置排列发生异常状态，处理装置120不往下执行步骤S440，而是发出异常警示，将异常状态通知使用者以供使用者确认排除状况。
接着，于步骤S440，通过处理装置120将各个图像物件轮廓的最小外接矩形与预设矩形进行比对，以选择与预设矩形相符的最小外接矩形作为定位区域。
于一实施例中，预设矩形可以为与待检测物的跟踪区域311的大小相同的矩形。如图6所示，处理装置120从二值化图像500中获得多个最小外接矩形561、562、563及564，并从当中选择与跟踪区域311的大小相符(相同或一定误差范围内)的最小外接矩形561，并记录最小外接矩形561的图像坐标位置，以作为定位区域。于此实施例中，定位区域的位置(即最小外接矩形561)为对应至图3的计算机图像310的跟踪区域311的位置。
于另一实施例中，于初始图像包括彼此相邻但未重叠的多个待检测物图像的情况，在执行步骤S420至步骤S440后，处理装置120可以从二值化图像中获得与预设矩形相符的多个最小外接矩形。于此实施例中，处理装置120可以从多个最小外接矩形中，选择被显示于显示装置130的关注区域中的最小外接矩形来作为定位区域。
于一实施例中，处理装置120可以预先设定关注区域，例如是显示装置130的左半部区域或是右半部区域。当有多个最小外接矩形与预设矩形相符且显示装置130的左半部区域被设定为关注区域时，处理装置120会选择被显示在左半部区域的最小外接矩形的位置来作为定位区域。
于步骤S450，根据定位区域产生一识别框。
于一实施例中，处理装置120依据前述找出的定位区域，使用定位区域的图像坐标来产生识别框。识别框具有线条样式及色彩，处理装置120可依据预先设定好的线条样式及色彩来产生识别框。
于步骤S460，于显示装置130上显示初始图像以及识别框，其中该识别框重叠于多个待检测物图像其中一者的跟踪区域。
请参阅图7，其为根据本案一实施例于初始图像上显示识别框的示意图。如前述说明，处理装置120可以预先设定关注区域。多个待检测物实体被放置于平台上并随着输送带被运转，并先后进入图像采集装置110的拍摄范围内。于执行前述图像处理的步骤后，若于初始图像300中有多个最小外接矩形与预设矩形相符，例如如图7所示，初始图像300中识别出计算机图像310的跟踪区域311及计算机图像320的跟踪区域321，则处理装置120会根据预先设定的关注区域，从多个最小外接矩形中择一标示，例如于跟踪区域311及跟踪区域321中选择跟踪区域311来进行标示。而随着输送带运转，并且根据预先设定的关注区域，跟踪区域311先被标示后，在输送带后续将跟踪区域321带入上述设定的关注区域后(而相对地，跟踪区域311也脱离设定的关注区域)，跟踪区域321亦随后被识别出，并视前述的异常检测程序是否满足而有不同动作，其运作情形已如前述，于此不再赘述。
接着，如前述说明，处理装置120获得的定位区域的位置为对应至计算机图像310的跟踪区域311的位置。因此，识别框710为重叠于计算机图像310的跟踪区域311上。于一实施例中，识别框710重叠于跟踪区域311的边缘。
于一实施例中，识别框中可以显示一标记符号。如图7所示，识别框710重叠于跟踪区域311上，并且识别框710中还显示有标记符号711。标记符号711可以为几何图形或经过设计的图样，使得用于待检测物的标示更加明显并让使用者更容易辨认目前指示的待检测物为何。
于一些实施例中，于待检测物图像被标示识别框710之后，当该待检测物被移动或旋转，显示于初始图像300的识别框710也会随着移动或旋转，据以持续进行待检测物的跟踪。
综上所述，在面临多个待检测物彼此非常靠近或部分重叠的问题，本案的图像跟踪装置及图像跟踪方法可以克服因为待检测物彼此过于靠近或部分重叠所导致的无法正确跟踪待检测物的问题，并可以于多个相同的待检测物中正确地指出目前正在跟踪的待检测物，让使用者可以清楚分辨出待检测物而正确执行任务。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (20)

1.一种图像跟踪方法，其特征在于，包括：
通过一图像采集装置获得一初始图像，其中该初始图像包括多个待检测物图像，各该待检测物图像包括一跟踪区域及一主要区域，其中该跟踪区域与该主要区域的像素差值大于一门槛值；
对该初始图像执行一图像处理以获得一二值化图像，其中该二值化图像包括多个图像物件轮廓；
分别计算各该图像物件轮廓的一最小外接矩形；
将各该图像物件轮廓的该最小外接矩形与一预设矩形进行比对，以选择与该预设矩形相符的该最小外接矩形作为一定位区域；
根据该定位区域产生一识别框；以及
于一显示装置上显示标示了该识别框的该初始图像，其中该识别框重叠于该多个待检测物图像其中一者的该跟踪区域。
2.如权利要求1所述的方法，其特征在于，获得该二值化图像的步骤之前还包括：
选择用于该图像处理的一二值化门槛值以及该预设矩形；以及
储存该二值化门槛值及该预设矩形的信息于一存储媒体。
3.如权利要求2所述的方法，其特征在于，对该初始图像执行该图像处理以获得该二值化图像的步骤包括：
于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为该二值化图像中黑色与白色中的一第一色彩像素，以及该主要区域及该多个小区块的像素被转换为黑色与白色中的一第二色彩像素。
4.如权利要求3所述的方法，其特征在于，其中该第一色彩像素为白色，该第二色彩像素为黑色。
5.如权利要求2所述的方法，其特征在于，该跟踪区域为黑色像素的图像，以及该主要区域包括白色像素的图像及像素值介于白色及黑色之间的多个小区块图像；其中对该初始图像执行该图像处理以获得该二值化图像的步骤包括：
于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为白色像素以及该主要区域及该多个小区块的像素被转换为黑色像素。
6.如权利要求1所述的方法，其特征在于，将与该预设矩形相符的该图像物件轮廓作为该定位区域的步骤更包括：
选择与该预设矩形相符且被显示于该显示装置的一关注区域的该最小外接矩形来作为该定位区域。
7.如权利要求6所述的方法，其特征在于，该关注区域为该显示装置的左半部区域或右半部区域。
8.如权利要求1所述的方法，其特征在于，该跟踪区域为该待检测物图像中具有一宽度的一中空矩形。
9.如权利要求1所述的方法，其特征在于，该多个待检测物图像对应多个待检测物实体，且其中至少两个该待检测物实体之间非常靠近或部分地重叠。
10.如权利要求1所述的方法，其特征在于，于分别计算各该图像物件轮廓的该最小外接矩形的步骤之后，更包括：
当判定各该图像物件轮廓属于非封闭图形的矩形时，执行一异常检测程序并检测该多个待检测物的排列是否发生异常；
当判定该多个待检测物的排列发生异常时，发出一异常警示，其中该异常警示关联于该多个待检测物的排列发生异常状态；
其中该非封闭图形的矩形包括一开口。
11.一种图像跟踪系统，其特征在于，包括：
一图像采集装置，经配置以对多个待检测物拍摄以获得一初始图像，其中该初始图像包括多个待检测物图像，其中各该待检测物图像包括一跟踪区域及一主要区域，该跟踪区域与该主要区域的像素差值大于一门槛值；
一显示装置，经配置以显示该初始图像；
一处理装置，耦接于该图像采集装置及该显示装置，该处理装置经配置以对该初始图像执行一图像处理以获得一二值化图像，其中该二值化图像中包括多个图像物件轮廓，该处理装置分别计算各该图像物件轮廓的一最小外接矩形、将各该图像物件轮廓的该最小外接矩形与一预设矩形进行比对以选择与该预设矩形相符的该最小外接矩形作为一定位区域、根据该定位区域产生一识别框，以及于该显示装置上显示标示了该识别框的该初始图像，其中该识别框重叠于该多个待检测物图像其中一者的该跟踪区域。
12.如权利要求11所述的系统，其特征在于，更包括：
一存储媒体，耦接于该处理装置，经配置以储存一二值化门槛值及该预设矩形的信息；
其中该处理装置经配置以选择用于该图像处理的该二值化门槛值来执行该图像处理以获得该二值化图像。
13.如权利要求12所述的系统，其特征在于，该处理装置经配置以于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为该二值化图像中黑色与白色中的一第一色彩像素，以及该主要区域及该多个小区块的像素被转换为一第二色彩像素。
14.如权利要求13所述的系统，其特征在于，该处理装置经配置以于该图像处理中使其中该第一色彩像素为白色，该第二色彩像素为黑色。
15.如权利要求12所述的系统，其特征在于，该跟踪区域为黑色像素的图像，以及该主要区域包括白色像素的图像及像素值介于白色及黑色之间的多个小区块图像；该处理装置经配置以于该图像处理中使用该二值化门槛值以转换该初始图像的像素，使得该跟踪区域的像素被转换为白色像素以及该主要区域及该多个小区块的像素被转换为黑色像素。
16.如权利要求11所述的系统，其特征在于，该处理装置经配置以选择与该预设矩形相符且被显示于该显示装置的一关注区域的该最小外接矩形来作为该定位区域。
17.如权利要求16所述的系统，其特征在于，该处理装置经配置以设定该显示装置的左半部区域或右半部区域作为该关注区域。
18.如权利要求11所述的系统，其特征在于，该跟踪区域为该待检测物图像中具有一宽度的中空矩形。
19.如权利要求11所述的系统，其特征在于，该多个待检测物图像对应多个待检测物实体，且其中至少两个该待检测物实体之间非常靠近或部分地重叠。
20.如权利要求11所述的系统，其特征在于，该处理装置经配置以当判定各该图像物件轮廓属于非封闭图形的矩形时，执行一异常检测程序并检测该多个待检测物的排列是否发生异常，以及当判定该多个待检测物的排列发生异常时，发出一异常警示，其中该异常警示关联于该多个待检测物的排列发生异常状态；其中该非封闭图形的矩形包括一开口。
CN202211474201.6A 2022-11-22 2022-11-22 图像跟踪方法及图像跟踪系统 Pending CN118115524A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211474201.6A CN118115524A (zh) 2022-11-22 2022-11-22 图像跟踪方法及图像跟踪系统
US18/104,301 US20240169561A1 (en) 2022-11-22 2023-02-01 Image tracking method and image tracking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211474201.6A CN118115524A (zh) 2022-11-22 2022-11-22 图像跟踪方法及图像跟踪系统

Publications (1)

Publication Number Publication Date
CN118115524A true CN118115524A (zh) 2024-05-31

Family

ID=91080080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211474201.6A Pending CN118115524A (zh) 2022-11-22 2022-11-22 图像跟踪方法及图像跟踪系统

Country Status (2)

Country Link
US (1) US20240169561A1 (zh)
CN (1) CN118115524A (zh)

Also Published As

Publication number Publication date
US20240169561A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
CN111612781B (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
EP1970839B1 (en) Apparatus, method, and program for face feature point detection
CN111832659B (zh) 一种基于特征点提取算法检测的激光标刻系统及方法
JP2007508633A (ja) 物体輪郭画像を解析する方法および画像処理装置、物体を検出する方法および画像処理装置、産業用視覚装置、スマートカメラ、画像ディスプレイ、セキュリティシステム、ならびにコンピュータプログラム製品
CN116168351B (zh) 电力设备巡检方法及装置
CN115641332A (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
JP6197340B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
JP4242796B2 (ja) 画像認識方法及び画像認識装置
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN113822836B (zh) 标记图像的方法
JPWO2014033885A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN117522773A (zh) 产品检测方法、电子设备及存储介质
CN115187593B (zh) 屏幕缺陷检测方法和装置
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
US20240320806A1 (en) Image processing method and apparatus, electronic device and computer readable storage medium
CN118115524A (zh) 图像跟踪方法及图像跟踪系统
CN114627113B (zh) 一种印制电路板缺陷检测方法及系统及装置及介质
CN111046878B (zh) 一种数据处理方法、装置及计算机存储介质和计算机
TWI836744B (zh) 影像追蹤方法及影像追蹤系統
CN114820492A (zh) 一种电路板上多余物检测方法
Abdusalomov et al. Robust shadow removal technique for improving image enhancement based on segmentation method
CN114842228A (zh) 散斑图分区方法、装置、设备及介质
CN115239612A (zh) 电路板定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination