CN113011225A - 对象检测方法以及电子装置 - Google Patents

对象检测方法以及电子装置 Download PDF

Info

Publication number
CN113011225A
CN113011225A CN201911320398.6A CN201911320398A CN113011225A CN 113011225 A CN113011225 A CN 113011225A CN 201911320398 A CN201911320398 A CN 201911320398A CN 113011225 A CN113011225 A CN 113011225A
Authority
CN
China
Prior art keywords
frame
candidate
target object
image
specific frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911320398.6A
Other languages
English (en)
Inventor
杨朝勋
詹尚伦
陈世泽
陈建豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Priority to CN201911320398.6A priority Critical patent/CN113011225A/zh
Publication of CN113011225A publication Critical patent/CN113011225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种对象检测方法以及电子装置，其中该对象检测方法包括：利用图像处理电路判断在图像中是否有动作发生以产生判断结果；依据该判断结果，选择性地利用特定边框来识别目标对象以产生识别结果，其中该特定边框代表该目标对象在先前图像中的位置；以及依据该识别结果，选择性地更新该特定边框的信息。

Description

对象检测方法以及电子装置
技术领域
本发明涉及对象检测，尤指一种对象检测方法以及电子装置。
背景技术
近年来对象检测(object detection)已经成为一个普遍被讨论的议题，而其目的在于检测特定对象在输入图像中的位置。目前有许多对象检测的方法都需要对整张输入图像进行扫描(例如采用滑动窗口(sliding window)搭配图像金字塔(image pyramid)等方法来进行扫描)，相当耗费运算成本。然而，当欲检测的对象具有移动的特性(例如人或车)，则可仅针对该输入图像中有动作(motion)的位置进行对象识别以大幅减少整体运算时间及成本。
然而当欲检测的对象停止移动时，会因为动作消失，导致画面中即使出现欲检测的对象，也无法被检测到。另外，在检测对象停止移动的过程中，可能会发生动作区域逐渐缩小的情况，造成截取到的信息不够完整而容易导致误判。因此，需要一种新颖的方法以及电子装置，以在没有副作用或较不会带来副作用的情况下提升对象检测的效能。
发明内容
本发明的目的在于提供一种对象检测(object detection)方法(尤指一种可应用于(applicable to)静态场景中的对象检测方法)以及电子装置，以基于动作(motion)信息的检测提升对象检测的效能。
本发明至少一个实施例提供一种对象检测方法。该对象检测方法包括：利用图像处理电路判断在图像中是否有动作发生以产生判断结果；依据该判断结果，选择性地利用特定边框(bounding box)来识别目标对象以产生识别结果，其中该特定边框代表该目标对象在先前图像中的位置；以及依据该识别结果，选择性地更新该特定边框的信息。
本发明至少一个实施例提供一种电子装置。该电子装置包含相机模块、存储装置、以及耦接至该相机模块以及该存储装置的图像处理电路。该相机模块可用来获取图像，而该存储装置可用来储存特定边框的信息以及背景模型，其中该特定边框代表目标对象在先前图像中的位置。另外，该图像处理电路可用来执行程序代码以对该图像进行对象检测，例如：该图像处理电路判断在该图像中是否有动作发生以产生判断结果；依据该判断结果，该图像处理电路选择性地利用该特定边框来识别该目标对象以产生识别结果；以及依据该识别结果，该图像处理电路选择性地更新该特定边框的信息。
本发明提供的对象检测方法以及电子装置，分别针对有动作以及没有动作的情况提供对应的边框调整机制，以确保在各种情况(例如对象移动中、对象逐渐静止、对象完全静止等情况)均能准确地判断目标对象是否出现在图像中。相较于相关技术，本发明的实施例不会大幅地增加额外成本，因此本发明能在没有副作用或较不会带来副作用的情况下提升对象检测的效能。
附图说明
图1为依据本发明实施例的电子装置的示意图。
图2为依据本发明实施例的一种对象检测方法的工作流程。
图3为依据本发明实施例的图像中的候选边框的示意图。
图4为依据本发明实施例的图像中的候选边框的示意图。
图5为依据本发明实施例的图像中的候选边框的示意图。
图6为依据本发明实施例的图像中的候选边框的示意图。
具体实施方式
图1为依据本发明实施例的电子装置10的示意图，其中电子装置10可包括相机模块120、存储装置140、以及耦接至相机模块120以及存储装置140的图像处理电路160。在本实施例中，相机模块120可用来获取图像IMG，而存储装置140可用来储存特定边框的信息以及背景模型，其中该特定边框代表目标对象(例如人或车)在先前图像中的位置。另外，图像处理电路160可用来执行程序代码160C以对图像IMG进行对象检测(例如检测该目标对象是否出现在图像IMG中)。具体来说，图像处理电路160可判断在图像IMG中是否有动作发生以产生判断结果，例如图像处理电路160可通过前后帧的图像差异(frame difference)或者建立背景模型的方式判断出图像IMG中有对象移动的区域。依据该判断结果，图像处理电路160可选择性地利用该特定边框来识别该目标对象以产生识别结果，例如，图像处理电路160可通过建立在程序代码160C中的一类神经网络模型对该区域进行该目标对象的识别，并且输出对应的信心值，其中该信心值与该区域内的对象为该目标对象的概率正相关(例如，该信心值越大，表示该区域内的对象为该目标对象的概率越高)，而当该信心值大于信心临界值，图像处理电路160即判断该目标对象出现在图像IMG(尤指该区域)中。依据该识别结果，图像处理电路160可选择性地更新该特定边框的信息(例如该特定边框的尺寸和/或位置)，以确保能利用该特定边框的最新信息对下一个图像进行该目标对象的识别。
图2为依据本发明实施例的一种对象检测方法的工作流程，其中该对象检测方法可应用于(applicable to)图1所示的电子装置10。若整体工作流程能得到相同或类似的结果，可以改变图2所示的工作流程中的一个或多个步骤的执行顺序，或者，可以增加、删除或修改该工作流程中的一个或多个步骤。
在步骤210中，图像处理电路160可通过相机模块120取得图像IMG。
在步骤220中，图像处理电路160可判断在图像300中是否有动作发生以产生判断结果。若是，流程进入步骤231；否则，流程进入步骤241。
在步骤231中，图像处理电路160可依据该动作在图像IMG中的位置获取至少一个候选边框。例如，当该目标对象的整体都在移动中，图像处理电路160可依据图像中发生动作的区域获取相对应的候选边框(例如图3所示的图像300中的边框BB0)。又例如，该目标对象(例如人或车)在停止移动的过程中，该目标对象可能只有部分(partial)区域有动作发生，因此图像处理电路160可据此以产生相对应的一个或多个候选边框(例如图4所示的图像400中的边框BB1、BB2及BB3)。为便于理解，以下说明均以图3所示的边框BB0作为该特定边框的例子，尤其，作为信心值足够高(例如高于该信心临界值)的该特定边框的例子。
在步骤232中，图像处理电路160可利用所述至少一个候选边框来识别该目标对象，例如判断所述至少一个候选边框(例如边框BB1、BB2及BB3)中的对象是否为该目标对象。若是，流程进入步骤233；否则，流程进入步骤234。
在步骤233中，图像处理电路160可判断所述至少一个候选边框的尺寸(例如边框BB1、BB2及BB3的尺寸总和)是否大于该特定边框(例如边框BB0)的尺寸，或所述至少一个候选边框(例如边框BB1、BB2及BB3)相对于该特定边框(例如边框BB0)的重叠率(Intersectionover Union,IoU)是否低于重叠率临界值。若是，流程进入步骤235；否则(例如，所述至少一个候选边框的尺寸小于该特定边框的尺寸且所述至少一个候选边框相对于该特定边框的重叠率大于该重叠率临界值时)，流程进入步骤234。重叠率(IoU)的计算方式如下：
IoU＝(A(BBOXcurrent∩BBOXprevious))/A(BBOXprevious)；
其中符号A()代表面积，BBOXcurrent与A(BBOXcurrent)分别代表当前动作检测获取到的所述至少一个候选边框(例如边框BB1、BB2及BB3)所包围的区域与这个区域的面积(例如边框BB1、BB2及BB3所包围的区域的面积/尺寸)，BBOXprevious与A(BBOXprevious)分别代表先前的候选边框诸如该特定边框(例如边框BB0)所包围的区域与这个区域的面积(例如边框BB0所包围的区域的面积/尺寸)，而BBOXcurrent∩BBOXprevious与A(BBOXcurrent∩BBOXprevious)分别代表当前动作检测获取到的所述至少一个候选边框BBOXcurrent所包围的区域与先前的候选边框BBOXprevious所包围的区域(例如该特定边框诸如边框BB0所包围的区域)的交集区域与该交集区域的面积，但本发明不限于此。
在步骤234中，图像处理电路160可避免更新该特定边框的信息。例如，当图像处理电路160在步骤232中判断出边框BB1、BB2及BB3中的对象不是该目标对象时，或者当图像处理电路160在步骤233中判断边框BB1、BB2及BB3的尺寸小于边框BB0的尺寸且边框BB1、BB2及BB3相对于边框BB0的重叠率大于该重叠率临界值时，图像处理电路160可维持边框BB0的信息，以获取该目标对象的完整信息，如图5所示。
在步骤235中，图像处理电路160可依据所述至少一个候选边框更新该特定边框的信息。
在步骤241中，图像处理电路160可利用该特定边框(例如边框BB0)来识别该目标对象。
在步骤242中，图像处理电路160可调整该特定边框(例如边框BB0)的尺寸以产生至少一个候选边框，以及利用所述至少一个候选边框来识别该目标对象以产生该识别结果。例如，图像处理电路160可基于边框BB0的尺寸与位置将边框BB0放大两倍、四倍及八倍以产生分别具有多个尺寸的多个候选边框(诸如图6所示的图像600中的边框BBx2、BBx4及BBx8)，并且分别计算该多个候选边框的多个信心值，其中该多个信心值中任一信心值与对应于所述任一信心值的候选边框内的对象为该目标对象的概率正相关，例如，信心值越大，对应于这个信心值的候选边框内的对象为该目标对象的概率越高。需注意的是，以上多个不同的放大倍率的数目以及数值并不构成对本发明的限制，该多个不同的放大倍率的数目以及数值可以根据硬件资源的限制(例如运算能力)来设计。
在步骤243中，图像处理电路160可依据在该多个候选边框中信心值最大的候选边框来更新该特定边框的信息。在实际操作中，候选边框的尺寸与该目标对象的尺寸越接近，这个候选边框的信心值越高，因此，在图6所示的实施例中，图像处理电路160可依据边框BBx8来更新该特定边框的信息。
在步骤250中，图像处理电路160可将以上流程所得到的结果(例如是否检测到该目标对象和/或最新的特定边框的信息)输出并储存至存储装置140中，例如将此结果回传至运行在图像处理电路160上的相关程序模块，但本发明不限于此。
另外，在步骤242以及步骤243中，图像处理电路160将一并产生具有该多个尺寸的多个候选边框再找出其中具有最大信心值的候选边框，但本发明不限于此。在某些实施例中，图像处理电路160可以顺序地将边框BB0放大两倍、四倍及八倍，而当边框BB0被放大至特定倍率的尺寸即找到局部最大(local maximum)信心值时(例如，当放大两倍所得到的信心值大于放大前得到的信心值且放大四倍所得到的信心值小于放大两倍所得到的信心值时，放大两倍所得到的信心值即为局部最大信心值)，图像处理电路160可以为了节省运算量而直接将该局部最大信心值当作全局最大(global maximum)信心值。
虽然动作检测大幅减少了传统对象检测方法所需的运算量，但是当被检测的对象逐渐停止移动或是静止不动时，相关技术所使用的动作检测方法可能会把该对象误认为是背景而造成误判。本发明所提供的对象检测方法以及电子装置10可分别针对有检测到动作以及没有检测到动作的情况下触发相对应的机制来寻找信心值最大的候选边框。
例如，在被检测的目标对象停止移动的过程中，这个目标对象可能仅在部分区域有动作发生，此时图像处理电路160可能会获取到尺寸较小的一个或多个候选边框，如图4所示。然而，由于该一个或多个候选边框的尺寸小于在处理先前图像时保留的候选边框(例如该特定边框)的尺寸，且两者重叠率超过重叠率临界值，因此图像处理电路160可直接保留该特定边框以确保能取得最多的信息，如图5所示。
又例如，在被检测的目标对象逐渐靠近电子装置10而造成该特定边框仅能获取到这个目标对象的部分区域，如图6所示的边框BB0获取到的区域，图像处理电路160可对边框BB0进行尺寸调整，以找到信心值最高的候选边框。
总结来说，本发明提供的对象检测方法以及电子装置，分别针对有动作以及没有动作的情况提供对应的边框调整机制，以确保在各种情况(例如对象移动中、对象逐渐静止、对象完全静止等情况)均能准确地判断目标对象是否出现在图像中，并且储存有至少一个可靠的候选边框以在对后续输入的图像进行对象检测时使用。相较于相关技术，本发明的实施例不会大幅地增加额外成本，因此本发明能在没有副作用或较不会带来副作用的情况下提升对象检测的效能。
以上所述仅为本发明之较佳实施例，凡依本发明申请专利范围所做的等同变化与修饰，皆应属本发明的涵盖范围。
附图标记说明：
10：电子装置
120：相机模块
140：存储装置
160：图像处理电路
160C：程序代码
IMG、300、400、600：图像
210、220、231、232、233、234、235、241、242、243、250：步骤
BB0、BB1、BB2、BB3、BBx2、BBx4、BBx8：边框

Claims (10)

1.一种对象检测方法，包括：
利用图像处理电路判断在图像中是否有动作发生以产生判断结果；
依据所述判断结果，选择性地利用特定边框来识别目标对象以产生识别结果，其中所述特定边框代表所述目标对象在先前图像中的位置；以及
依据所述识别结果，选择性地更新所述特定边框的信息。
2.如权利要求1所述的对象检测方法，还包括：
当所述判断结果指出在所述图像中没有动作发生时，利用所述特定边框来识别所述目标对象。
3.如权利要求2所述的对象检测方法，其中利用所述特定边框来识别所述目标对象的步骤包括：
调整所述特定边框的尺寸以产生至少一个候选边框；以及
利用所述至少一个候选边框来识别所述目标对象以产生所述识别结果。
4.如权利要求3所述的对象检测方法，其中，
调整所述特定边框的尺寸以产生所述至少一个候选边框的步骤包括产生分别具有多个尺寸的多个候选边框；以及
利用所述至少一个候选边框来识别所述目标对象以产生所述识别结果包括利用所述图像处理电路分别计算所述多个候选边框的多个信心值，其中所述多个信心值中的任一信心值与对应于所述任一信心值的候选边框内的对象为所述目标对象的概率正相关。
5.如权利要求4所述的对象检测方法，其中依据所述识别结果选择性地更新所述特定边框的信息的步骤包括：依据在所述多个候选边框中信心值最大的候选边框来更新所述特定边框的信息。
6.如权利要求1所述的对象检测方法，其中依据所述判断结果选择性地利用所述特定边框来识别所述目标对象以产生所述识别结果包括：
当所述判断结果指出在所述图像中有动作发生时，依据所述动作在所述图像中的位置获取至少一个候选边框，以及利用所述至少一个候选边框来识别所述目标对象以产生所述识别结果。
7.如权利要求6所述的对象检测方法，其中依据所述识别结果选择性地更新所述特定边框的信息包括：
当所述识别结果指出所述至少一个候选边框内的对象不是所述目标对象时，避免更新所述特定边框的信息。
8.如权利要求6所述的对象检测方法，其中依据所述识别结果选择性地更新所述特定边框的信息包括：
当所述识别结果指出所述至少一个候选边框内的对象是所述目标对象时，依据所述至少一个候选边框的尺寸或所述至少一个候选边框相对于所述特定边框的重叠率选择性地更新所述特定边框的信息。
9.如权利要求8所述的对象检测方法，其中依据所述识别结果选择性地更新所述特定边框的信息包括：
当所述至少一个候选边框的尺寸大于所述特定边框的尺寸或所述至少一个候选边框相对于所述特定边框的重叠率小于临界值时，依据所述至少一个候选边框更新所述特定边框的信息。
10.一种电子装置，包括：
相机模块，用来获取图像；
存储装置，用来储存特定边框的信息，其中所述特定边框代表目标对象在先前图像中的位置；以及
图像处理电路，耦接至所述相机模块以及所述存储装置，用来执行程序代码以对所述图像进行对象检测，其中：
所述图像处理电路判断在所述图像中是否有动作发生以产生判断结果；
依据所述判断结果，所述图像处理电路选择性地利用所述特定边框来识别所述目标对象以产生识别结果；以及
依据所述识别结果，所述图像处理电路选择性地更新所述特定边框的信息。
CN201911320398.6A 2019-12-19 2019-12-19 对象检测方法以及电子装置 Pending CN113011225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911320398.6A CN113011225A (zh) 2019-12-19 2019-12-19 对象检测方法以及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911320398.6A CN113011225A (zh) 2019-12-19 2019-12-19 对象检测方法以及电子装置

Publications (1)

Publication Number Publication Date
CN113011225A true CN113011225A (zh) 2021-06-22

Family

ID=76382261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911320398.6A Pending CN113011225A (zh) 2019-12-19 2019-12-19 对象检测方法以及电子装置

Country Status (1)

Country Link
CN (1) CN113011225A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
CN106162181A (zh) * 2015-04-09 2016-11-23 杭州海康威视数字技术股份有限公司 视频编码中背景图像的更新方法及其装置
CN108537829A (zh) * 2018-03-28 2018-09-14 哈尔滨工业大学 一种监控视频人员状态识别方法
CN109313806A (zh) * 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
US20190130586A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Robust sleeping object detection in video analytics
CN109784290A (zh) * 2019-01-23 2019-05-21 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质
TWI662484B (zh) * 2018-03-01 2019-06-11 國立交通大學 物件偵測方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
CN106162181A (zh) * 2015-04-09 2016-11-23 杭州海康威视数字技术股份有限公司 视频编码中背景图像的更新方法及其装置
CN109313806A (zh) * 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
US20190130586A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Robust sleeping object detection in video analytics
TWI662484B (zh) * 2018-03-01 2019-06-11 國立交通大學 物件偵測方法
CN108537829A (zh) * 2018-03-28 2018-09-14 哈尔滨工业大学 一种监控视频人员状态识别方法
CN109784290A (zh) * 2019-01-23 2019-05-21 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘涛;吴泽民;姜青竹;胡磊;刘熹;: "基于候选区域的视觉目标识别算法", 军事通信技术, no. 04, 25 December 2015 (2015-12-25) *
王明高;王琰;: "一种基于相关特征匹配的移动目标检测方法", 中国图象图形学报, no. 08, 15 August 2007 (2007-08-15) *

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
US9547800B2 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-D images
US6961466B2 (en) Method and apparatus for object recognition
US7756295B2 (en) Change region detection device and change region detecting method
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
KR20180033037A (ko) 사물 감지 장치 및 방법
JP5063632B2 (ja) 学習モデル生成装置、対象物検出システム、及びプログラム
JP6095817B1 (ja) 物体検出装置
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
JP2018180945A (ja) 物体検出装置及びプログラム
CN111583183B (zh) 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111914627A (zh) 一种车辆识别与追踪方法及装置
CN110728700A (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
Kos et al. Where to look for tiny objects? ROI prediction for tiny object detection in high resolution images
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法
TWI736063B (zh) 物件偵測方法以及電子裝置
CN112115810A (zh) 基于信息融合的目标识别方法、系统、计算机设备和存储介质
JP2008165496A (ja) 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム
CN113011225A (zh) 对象检测方法以及电子装置
US9536137B2 (en) Object detection apparatus
CN110689556A (zh) 跟踪方法、装置及智能设备
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
CN114821596A (zh) 文本识别方法、装置、电子设备和介质
JP3679958B2 (ja) ナンバープレート認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination