CN113496136A - 无人机及其影像识别方法 - Google Patents

无人机及其影像识别方法 Download PDF

Info

Publication number
CN113496136A
CN113496136A CN202010189501.4A CN202010189501A CN113496136A CN 113496136 A CN113496136 A CN 113496136A CN 202010189501 A CN202010189501 A CN 202010189501A CN 113496136 A CN113496136 A CN 113496136A
Authority
CN
China
Prior art keywords
frame
current frame
frames
feature model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010189501.4A
Other languages
English (en)
Inventor
刘一帆
于思耘
陈奎廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN202010189501.4A priority Critical patent/CN113496136A/zh
Priority to TW109111211A priority patent/TWI784254B/zh
Priority to US17/203,735 priority patent/US11875560B2/en
Publication of CN113496136A publication Critical patent/CN113496136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明涉及一种无人机以及适用于无人机的影像识别方法。影像识别方法包括：取得影像数据流，其中影像数据流包括当前帧；对当前帧中的对象进行影像识别以产生对应于当前帧的第一框格；检测对象的移动以产生对应于当前帧的第二框格；以及根据第一框格以及第二框格判定对象为追踪目标。利用本发明的实施例所提供的无人机和影像识别方法能够精准地识别、检测及追踪移动对象。

Description

无人机及其影像识别方法
技术领域
本发明涉及一种无人机侦防的技术，且特别是涉及一种无人机及其影像识别方法。
背景技术
传统的安防系统常仰赖具有高运算能力的服务器以进行对象识别，且安防摄影机的监视距离通常不会超过15米。上述的条件使执行对象识别变得容易。另一方面，由于安防摄影机并不会移动，故服务器可以很容易地通过观察影像中之场景是否发生变化来识别出移动中的对象。
在无人机侦防技术的领域中，受限于重量和耗电量的限制，安装于无人机上的处理器并不具备充足的运算能力。据此，无人机会将所拍摄的影像压缩，并经由无线网络将其传送至服务器以进行运算。在空中进行巡检而不断移动的无人机时常不具备良好的通讯质量。因此，服务器很难完整地还原无人机所传送的压缩影像并且对移动对象进行精确地识别。另一方面，无人机所拍摄之影像的场景会随着无人机的移动而变化，故服务器将无法通过观察影像中之场景是否发生变化来识别出移动中的对象。
本“背景技术”段落只是用来帮助了解本发明内容，因此在“背景技术”中所公开的内容可能包含一些没有构成本领域技术人员所知道的现有技术。此外，在“背景技术”中所公开的内容并不代表该内容或者本发明一个或多个实施例所要解决的问题，也不代表在本发明申请前已被本领域技术人员所知晓或认知。
发明内容
本发明提供一种无人机以及适用于无人机的影像识别方法。本发明的无人机可以在有限的运算能力的条件下，对高画质影像中的对象进行精准的识别、检测及追踪。
为达成上述之一或部分或全部目的或是其他目的，本发明提出一种无人机，包括影像摄取装置、存储介质和处理器。影像摄取装置用于产生影像数据流，其中影像数据流包括当前帧(frame)。存储介质用于储存多个模块。处理器耦接影像摄取装置以及存储介质，处理器存取并执行这些模块，且这些模块包括对象识别模块、移动对象检测模块和对象追踪模块。对象识别模块用于对当前帧中的对象进行影像识别以产生对应于当前帧的第一框格(box)。移动对象检测模块用于检测对象的移动以产生对应于当前帧的第二框格。对象追踪模块用于根据第一框格以及第二框格判定对象为追踪目标。
为达成上述之一或部分或全部目的或是其他目的，本发明提出一种影像识别方法，适用于无人机，影像识别方法包括：取得影像数据流，其中影像数据流包括当前帧；对当前帧中的对象进行影像识别以产生对应于当前帧的第一框格；检测对象的移动以产生对应于当前帧的第二框格；以及根据第一框格以及第二框格判定对象为追踪目标。
基于上述，本发明之无人机可通过比较影像识别以及移动对象检测之结果判断出帧中的场景变化是由真正的移动对象所造成，从而精准地识别、检测及追踪移动对象。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1A是根据本发明的实施例绘示的无人机的操作示意图。
图1B是根据本发明的实施例绘示的无人机的功能方块图。
图2是根据本发明的实施例绘示的由无人机进行影像识别的流程图。
图3A及3B是根据本发明的实施例绘示的先前帧及当前帧的示意图。
图3C、3D及3E及3F是根据本发明的实施例绘示的由移动对象检测模块检测对象的移动的示意图。
图4A及4B是根据本发明的实施例绘示的由对象识别模块对对象进行影像识别的示意图。
图5是根据本发明的实施例绘示的由对象追踪模块判定对象为追踪目标的示意图。
图6是根据本发明的实施例绘示的影像识别方法的流程图。
附图标记说明
10：无人机
100：处理器
20：先前帧
200：影像摄取装置
21、22、23、24、25：第二灰阶网格
30：当前帧
300：存储介质
310：对象识别模块
31、32、33、34、35：第一灰阶网格
320：移动对象检测模块
330：对象追踪模块
40：第三帧
400：收发器
A：第一对象
A'：第二对象
B、B'：对象
BS：基地台
L1、L2、L3、L4：线段
M1：特征模型/光谱功率分布模型
M2：预测特征模型/光谱功率分布模型
S201、S202、S203、S204、S205、S206、S207、S208、S209、S210、S211、S212、S213、S214、S215、S216、S61、S62、S63、S64：步骤
T1：第一时间点
T2：第二时间点
T3：第三时间点
t1：第一时间区间
t2：第二时间区间
t3：第三时间区间
W1：第一框格
W2：第二框格
W2'：第三框格
W1'、W3、WA、WB'：框格。
具体实施方式
为了方便理解本发明，以下将举诸多实施例详细说明本发明实施例中的无人机及其影像识别方法。
传统的无人机无法利用本身的运算能力来对无人机所截取到的影像进行影像分析，而需要将影像传送至地面的基地台，由基地台来进行影像识别。在传输带宽有限的情况下，传统的无人机并无法传送大量的影像数据。由于无人机无法处理高画质的影像，故其监视范围也会被限缩。
有鉴于此，本发明提出一种影像识别方法，能降低无人机在进行影像识别时所耗用的运算量。据此，无人机能利用其本身的处理器来进行影像识别，且能飞往更高处以对更大的范围进行监视，如图1A所示。图1A绘示根据本发明的实施例的无人机10的操作示意图。无人机10可与地面的基地台BS通讯连接，当无人机10检测到移动对象时，将移动对象的追踪结果传送至基地台BS。
图1B绘示根据本发明的实施例的无人机10的功能方块图。无人机10可包括处理器100、影像摄取装置200、存储介质300以及收发器400。
处理器100例如是中央处理单元(central processing unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignal processor，DSP)、可编程控制器、专用集成电路(application specificintegrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)或其他类似元件或上述元件的组合。处理器100耦接影像摄取装置200、存储介质300和收发器400，并可存取和执行储存于存储介质300中的模块或各种应用程序。
影像摄取装置200可设置在无人机10上。影像摄取装置200可例如是摄影机、照相机等具有影像摄取功能之电子装置。在本实施例中，影像摄取装置200用以摄取影像以产生影像数据流。
存储介质300例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，用于记录可由处理器100执行的多个模块或各种应用程序。在本实施例中，存储介质300可储存包括对象识别模块310、移动对象检测模块320以及对象追踪模块330等多个模块，其功能将于后续说明。
收发器400以无线或有线的方式传输及接收信号。收发器400例如可以是蓝牙(Bluetooth)、无线保真(Wi-Fi)、紫蜂(Zigbee)或其它无线传输的传输与接收硬件装置用于接收与发送信号，亦不以为限制。收发器400还可以执行例如低噪声放大(low noiseamplifying，LNA)、阻抗匹配、混频、上下变频转换、滤波、放大以及类似的操作。在本实施例中，在无人机10已从影像数据流中识别出对象并将该对象标识为追踪目标，以产生经标识影像数据流后，收发器400可发送经标识影像数据流的指令或用以指示该对象为追踪目标的指令。
图2绘示根据本发明的实施例由无人机10进行影像识别的流程图。
在本实施例中，影像数据流是由影像摄取装置200所产生，并且影像数据流包括当前帧和先前帧，其中先前帧对应于第二时间点T2，当前帧对应于第一时间点T1，并且第二时间点T2早于第一时间点T1，其中T1-T2>0。换言之，先前帧出现在影像数据流的时间点早于当前帧出现在影像数据流的时间点。
为便于说明，图3A及3B绘示根据本发明的实施例的先前帧20及当前帧30的示意图。
参照图2。移动对象检测模块320可检测对象的移动以产生对应于当前帧30的第二框格W2。具体的流程如步骤S201至步骤S210所述。
在步骤S201，移动对象检测模块320从影像数据流中取得先前帧20，其中先前帧20包括影像数据流中对应于第二时间点T2的影像数据。
在步骤S202，移动对象检测模块320对第二帧集合进行预处理，以产生对应于第二帧集合的至少一个第二灰阶网格。具体来说，移动对象检测模块320可从影像数据流中接收第二帧集合，以用以计算对应于先前帧20的预测特征模型。第二帧集合可包括先前帧20。在一些实施例中，第二帧集合还可以包括第二时间点T2(对应于先前帧20)至提早第二时间区间内的帧。举例来说，假设所述第二时间区间为t2(例如：10秒)，则第二帧集合可包括影像数据流在时间点(T2-t2)至时间点T2内的一个或多个帧。举例而言，T2可以为第150秒，t2可以为10秒，第二帧集合则可包括影像数据流在时间点为第140秒至时间点第150秒内的一个或多个帧(例如：30个帧)。移动对象检测模块320可将第二帧集合内的至少一帧分割并转为灰阶色调(grayscale)，藉以产生对应于第二帧集合的至少一个第二灰阶网格。在后续的步骤S204中，所述至少一个第二灰阶网格可用以计算对应于先前帧20的预测特征模型。需注意的是，预处理的方式可由使用者依实际需求而调整，本发明不限于此。
在步骤S203，移动对象检测模块320基于当前帧30计算出对应于第一时间点T1的单应性转换矩阵(homography transform matrix)。所述单应性转换矩阵可例如是根据第三帧集合而计算出。第三帧集合可包括当前帧30。在一些实施例中，第三帧集合还可以包括第一时间点T1(对应于当前帧30)至提早第三时间区间内的帧。举例来说，假设第三时间区间为t3，则第三帧集合可包括影像数据流在时间点(T1-t3)至时间点T1内的一个或多个帧(例如：30个帧)。举例而言，t3可以为第5秒，第三帧集合则可包括影像数据流在当前秒数以及当前秒数的前五秒内的一个或多个帧(例如：15个帧)。
在步骤S204，移动对象检测模块320利用单应性转换矩阵对先前帧20进行转换以产生对应于第一时间点T1的预测特征模型。更具体来说，移动对象检测模块320可利用对应于第一时间点T1的单应性转换矩阵对与第二时间点T2相对应的先前帧20的至少一个第二灰阶网格进行转换，藉以产生对应于第一时间点T1的预测特征模型。以图3A为例。在图3A中，假设移动对象检测模块320将对应于第二时间点T2的先前帧20分割并转为灰阶色调，从而产生对应于第二帧集合的第二灰阶网格21、第二灰阶网格22、第二灰阶网格23和第二灰阶网格24。移动对象检测模块320可利用单应性转换矩阵对第二灰阶网格21进行转换，从而根据对应于第二时间点T2的第二灰阶网格21计算出对应于第一时间点T1的预测特征模型。所述预测特征模型可例如是如图3A所示的光谱功率分布模型M2，本发明不限于此。
回到图2，在步骤S205，移动对象检测模块320从影像数据流中取得当前帧30，其中当前帧30包括影像数据流中对应于第一时间点T1的影像数据。
在步骤S206，移动对象检测模块320对第一帧集合进行预处理，以产生对应于第一帧集合的至少一个第一灰阶网格。具体来说，移动对象检测模块320可从影像数据流中接收第一帧集合，以用以计算对应于当前帧30的特征模型。第一帧集合可包括当前帧30。在一些实施例中，第一帧集合还可以包括第一时间点T1(对应于当前帧30)至提早第一时间区间内的帧。举例来说，假设第一时间区间为t1(例如：1秒)，则第一帧集合可包括影像数据流在时间点(T1-t1)至时间点T1内的一个或多个帧。举例而言，T1可以为第200秒，t1可以为20秒，第二帧集合则可包括影像数据流在时间点为第180秒至时间点第200秒内的一个或多个帧(例如：60个帧)。移动对象检测模块320可将第一帧集合内的至少一帧分割并转为灰阶色调，藉以产生对应于第一帧集合的至少一个第一灰阶网格。
在步骤S207，移动对象检测模块320计算出对应于当前帧30的特征模型。具体来说，移动对象检测模块320可根据至少一个第一灰阶网格产生特征模型。以图3B为例。在图3B中，假设移动对象检测模块320将对应于第一时间点T1的当前帧30分割并转为灰阶色调，从而产生对应于第一帧集合的第一灰阶网格31、第一灰阶网格32、第一灰阶网格33和第一灰阶网格34。移动对象检测模块320可根据对应于第一时间点T1的第一灰阶网格31计算出对应于第一时间点T1的特征模型。所述特征模型可例如是如图3B所示的光谱功率分布模型M1，本发明不限于此。
根据图3A和3B，在第二时间点T2时，先前帧20的第二灰阶网格21中并不存在任何对象。因此，基于第二灰阶网格21所计算出的光谱功率分布模型M2对应于不存在任何对象的情形。在经过一段时间而到达第一时间点T1后，对象A出现在当前帧30的第一灰阶网格31之中。因此，基于第一灰阶网格31所计算出的光谱功率分布模型M1对应于出现对象A的情形。
回到图2，在步骤S208，移动对象检测模块320比对至少一个第一灰阶网格与至少一个第二灰阶网格以计算差异。以图3A和3B为例，移动对象检测模块320可计算对应于第一灰阶网格31的光谱功率分布模型M1(即：特征模型)与对应于第二灰阶网格21的光谱功率分布模型M2(即：预测特征模型)之间的差异。所述差异可关联于例如光谱功率分布模型M1与光谱功率分布模型M2的平均数、方差或其他种类的统计参数，或可关联于光谱功率分布模型M1与光谱功率分布模型M2之间的KL散度(KL-divergence)等类型的量度(measure)。
回到图2，在步骤S209，移动对象检测模块320判断该差异是否超过差异阈值。若光谱功率分布模型M1与光谱功率分布模型M2之间的差异超过差异阈值，则进入步骤S210。若该差异在差异阈值以下，则停止由无人机10进行影像识别的流程。
以图3A和3B为例，由于在第二时间点T2时先前帧20中并未出现对象A，因此，由移动对象检测模块320根据先前帧20所预测出的光谱功率分布模型M2(即：预测特征模型)并没有包括对象A的信息。然而，在第一时间点T1时，当前帧30中出现了对象A。因此，由移动对象检测模块320根据当前帧30所计算出的光谱功率分布模型M1(即：特征模型)受到对象A的影响而产生变化，从而导致光谱功率分布模型M1与光谱功率分布模型M2之间的差异超过差异阈值。基于光谱功率分布模型M1与光谱功率分布模型M2之间的差异超过差异阈值，移动对象检测模块320可判断在第一灰阶网格31中的对象A是移动对象。另一方面，由于先前帧20与当前帧30中的对象B并没有移动，因此，对应于第二灰阶网格25的预测特征模型与对应于第一灰阶网格35的特征模型之间将不会存在显著的差异(即：预测特征模型与特征模型之间的差异不超过差异阈值)。据此，移动对象检测模块320将不会视对象B为移动对象。
回到图2，在步骤S210，移动对象检测模块320判定对象出现在当前帧的至少一个第一网格之中，并且根据该至少一个第一网格的边界产生第二框格W2(如图3E所示)。图3C、3D、3E及3F绘示根据本发明的实施例由移动对象检测模块320检测对象A的移动的示意图。在图3C中，移动对象检测模块320在步骤S209中判定出第一灰阶网格31之中出现了对象A。同样地，移动对象检测模块320也可以根据与步骤S209相同的方式判定出第一灰阶网格32和第一灰阶网格33之中出现了对象A。据此，移动对象检测模块320可根据由第一灰阶网格31、第一灰阶网格32以及第一灰阶网格33之边界所延伸而成的线段L1、L2、L3和L4产生第二框格W2，如图3D及3E所示，其中第二框格W2为第一灰阶网格31、第一灰阶网格32以及第一灰阶网格33的各个边界所延伸而成的线段所能包围住的最大面积。另一方面，由于对象B在当前帧30时并不是移动对象，故移动对象检测模块320将不会产生对应于对象B的框格。
参照图3F，在第三时间点T3时，移动对象检测模块320可检测对应于第三时间点T3的第三帧40中的第二对象A'之第二移动，藉以产生对应于第三帧40的第三框格W2'，其中第一时间点T1早于第三时间点T3。另一方面，移动对象检测模块320可检测对应于第三时间点T3的第三帧40中的对象B'之移动，藉以产生对应于第三帧40的框格WB'。在后续的步骤中，移动对象检测模块320可基于判定第三框格W2'中的第二对象A'与框格WB'中的对象B'两者中的何者应为对应于当前帧30中的对象A(如图3E所示)之结果，以得知对象A(即：第二对象A')的移动，从而达到追踪对象A的功效。
对象识别模块310可用于对当前帧30中的对象进行图像影像识别，以产生对应于当前帧30的第一框格。具体的流程如步骤S211至步骤S212所述。
回到图2，在步骤S211，对象识别模块310对当前帧30进行影像分析，以判定当前帧30之中是否存在至少一个追踪对象。简言之，若当前帧之中存在至少一个追踪对象，则进入步骤S212。若当前帧之中不存在任何追踪对象，则停止由无人机10进行影像识别的流程。
在步骤S212，对象识别模块310可基于至少一个追踪对象而产生对应于当前帧的第一框格W1。图4A及4B绘示根据本发明的实施例由对象识别模块310对对象A、B进行影像识别的示意图。参照图4A，对象识别模块310可对当前帧30进行影像分析，例如，对象识别模块310可使用神经网络对当前帧30进行影像分析，藉以从外观来识别出存在于当前帧30之中的对象。接着，对象识别模块310可判定当前帧30之中存在可作为追踪目标的对象A或对象B。据此，对象识别模块310可基于对象A而产生对应于当前帧30的第一框格W1。同样地，对象识别模块310可基于对象B而产生对应于当前帧30的框格WA。
参照图4B，在第三时间点T3时，对象识别模块310可对与第三时间点T3相对应的第三帧40进行影像分析，藉以识别出存在于第三帧40中的对象。接着，对象识别模块310可判定第三帧40之中存在可作为追踪目标的对象A'或对象B'。据此，对象识别模块310可基于对象A'而产生对应于第三帧40的框格W1'。同样地，对象识别模块310可基于对象B'而产生对应于第三帧40的框格WA'。
对象追踪模块330可用于根据第一框格W1以及第二框格W2判定对象A为一追踪目标。具体的流程如步骤S213至步骤S216所述。
回到图2，在步骤S213，对象追踪模块330计算第一框格W1以及第二框格W2的重叠度(intersection over union，IOU)，并且判断重叠度是否高于一重叠阈值。若重叠度高于重叠阈值，则进入步骤S214。若重叠度在重叠阈值以下，则停止由无人机10进行影像识别的流程。在步骤S214，对象追踪模块330判定对象A为候选的追踪目标。具体来说，对象追踪模块330可基于第一框格W1与第二框格W2的重叠度高于重叠阈值，而判定由对象识别模块310所产生的第一框格W1与由移动对象检测模块320所产生的第二框格W2框选了相同的对象A。换言之，对象识别模块310和移动对象检测模块320两者都检测到了对象A的存在。经过对象识别模块310和移动对象检测模块320的双重检查，无人机10误判对象A为移动对象的机率将会显著地降低。
以图3E和图4A为例，根据图3E，移动对象检测模块320可通过追踪对象A之移动而产生第二框格W2。根据图4A，对象识别模块310可通过对当前帧30进行影像分析而产生第一框格W1。对象追踪模块330可基于第一框格W1和第二框格W2的重叠度高于重叠阈值，而将位于第一框格W1或第二框格W2之中的对象A判定为候选的追踪目标。
回到图2，在步骤S215，对象追踪模块330可判断第三帧40中的第二对象A'是否为对象A。若第二对象A'为对象A，则进入步骤S216。若第二对象A'并非对象A，则停止由无人机10进行影像识别的流程。
图5绘示根据本发明的实施例由对象追踪模块330判定对象A为追踪目标的示意图。参照图3E、图3F和图5，对象追踪模块330可根据与步骤S201至步骤S214相同的方式判定第二对象A'和对象B'为候选的追踪目标。接着，对象追踪模块330可根据第二框格W2和第三框格W2'两者的中心点位置，判断图3F中的第二对象A'是否为图3E中的对象A。具体来说，对象追踪模块330可根据第二框格W2和第三框格W2'两者的中心点位置以及第二框格W2和框格WB'两者的中心点位置，来判断出图3F中之候选的追踪目标第二对象A'以及对象B'之中的何者为当前帧30中的对象A。举例来说，对象追踪模块330可根据第二框格W2和第三框格W2'两者之中心点之间的距离短于第二框格W2和框格WB'两者之中心点之间的距离，而判断第三帧40中的第二对象A'为当前帧30中的物件A。据此，对象追踪模块330可将候选的追踪目标第二对象A'(即：对象A)判定为追踪目标。
在步骤S216，对象追踪模块330通过收发器400传送包含第三框格W2'的经标识影像数据流和/或指令，其中该指令指示第二对象A'(即：对象A)为追踪目标。在基地台(例如：如图1所示的基地台BS)接收到经标识影像数据流和/或指令后，基地台内的显示装置便可将标示了追踪目标(即：对象A)的经标识影像数据流显示给安全管理人员。基于经标识影像数据流和/或指令，安全管理人员可清楚地从显示装置识别出追踪目标(即：对象A)。
图6绘示根据本发明的实施例的影像识别方法的流程图，其中所述影像识别方法可由无人机10实施。在步骤S61，通过影像摄取装置200取得影像数据流，其中影像数据流包括当前帧。在步骤S62，由对象识别模块310对当前帧中的对象进行影像识别，以产生对应于当前帧的第一框格。在步骤S63，由移动对象检测模块320检测该对象的移动以产生对应于当前帧的第二框格。在步骤S64，由对象追踪模块330根据第一框格以及第二框格判定对象为追踪目标。
综上所述，本发明的无人机可对影像数据流进行影像识别以及移动对象检测。通过比较影像识别以及移动对象检测之结果，无人机可有效地为使用者判断出帧中的场景变化是由真正的移动对象所造成，抑或是由无人机之移动所造成。因此，就算无人机不断地移动，无人机也不会因无人机本身所造成的场景变化而误判受监视区域中出现移动对象。另一方面，本发明所提出的移动对象检测技术在进行对象的移动检测时并不需对帧中的影像进行特征提取和特征分析，因此可显著地降低所需要的运算量而使得无人机可通过本身的处理器来完成移动对象检测。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求书所界定的范围为准。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用以命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。

Claims (26)

1.一种无人机，其特征在于，所述无人机包括影像摄取装置、存储介质和处理器；其中，
所述影像摄取装置用于产生影像数据流，其中所述影像数据流包括当前帧；
所述存储介质用于储存多个模块；以及
所述处理器耦接所述影像摄取装置以及所述存储介质，所述处理器存取并执行所述多个模块，且所述多个模块包括对象识别模块、移动对象侦检测模块和对象追踪模块；其中，
所述对象识别模块用于对所述当前帧中的对象进行影像识别以产生对应于所述当前帧的第一框格；
所述移动对象检测模块用于检测所述对象的移动以产生对应于所述当前帧的第二框格；以及
所述对象追踪模块用于根据所述第一框格以及所述第二框格判定所述对象为追踪目标。
2.根据权利要求1所述的无人机，其特征在于，
所述移动对象检测模块由所述影像数据流接收第一帧集合以及第二帧集合，用以计算出特征模型及预测特征模型，并且所述移动对象检测模块根据所述特征模型及所述预测特征模型的差异产生对应于所述当前帧的所述第二框格，其中
所述第一帧集合包含所述当前帧且用于计算出对应于所述当前帧的所述特征模型；以及
所述第二帧集合包含所述先前帧且用于计算出对应于所述先前帧的所述预测特征模型。
3.根据权利要求2所述的无人机，其特征在于，所述移动对象检测模块基于所述当前帧计算出对应于第一时间点的单应性转换矩阵，以利用所述单应性转换矩阵对所述先前帧进行转换以产生对应于所述第一时间点的所述预测特征模型。
4.根据权利要求3所述的无人机，其特征在于，所述当前帧对应于所述第一时间点、所述先前帧对应于第二时间点并且所述第二时间点早于所述第一时间点。
5.根据权利要求4所述的无人机，其特征在于，所述第一帧集合包括所述第一时间点至提早第一时间区间内的帧，并且所述第二帧集合包括所述第二时间点至提早第二时间区间内的帧。
6.根据权利要求2所述的无人机，其特征在于，所述移动对象检测模块对所述第一帧集合及所述第二帧集合进行预处理，其中所述预处理包括将所述第一帧集合及所述第二帧集合内的至少一帧分割并转为灰阶色调，以产生对应于所述第一帧集合的至少一个第一灰阶网格与对应于所述第二帧集合的至少一个第二灰阶网格。
7.根据权利要求6所述的无人机，其特征在于，所述移动对象检测模块根据所述至少一个第一灰阶网格产生所述特征模型，并且利用单应性转换矩阵对所述至少一个第二灰阶网格进行转换，以产生所述预测特征模型。
8.根据权利要求6所述的无人机，其特征在于，所述移动对象检测模块比对所述至少一个第一灰阶网格与所述至少一个第二灰阶网格以计算所述差异。
9.根据权利要求2所述的无人机，其特征在于，所述移动对象检测模块基于所述差异超过差异阈值而判定所述对象出现在所述当前帧的至少一个第一网格之中，并且根据所述至少一个第一网格的边界产生所述第二框格。
10.根据权利要求1所述的无人机，其特征在于，所述对象追踪模块计算所述第一框格以及所述第二框格的重叠度，并且基于所述重叠度高于重叠阈值而判定所述对象为所述追踪目标。
11.根据权利要求1所述的无人机，其特征在于，所述对象识别模块对所述当前帧进行影像分析，以判定所述当前帧是否存在至少一个追踪对象，并基于所述至少一个追踪对象而产生对应于所述当前帧的所述第一框格。
12.根据权利要求1所述的无人机，其特征在于，所述移动对象检测模块检测第二对象的第二移动以产生对应于第三帧的第三框格，且所述对象追踪模块根据所述第二框格和所述第三框格两者的中心点位置判断所述第二对象是否为所述对象，其中所述第三帧对应于第三时间点并且所述第一时间点早于所述第三时间点。
13.根据权利要求12所述的无人机，其特征在于，所述无人机还包括：
收发器，耦接所述处理器，所述收发器用于传送包含所述第三框格的经标识影像数据流和指令，其中所述指令指示所述第二对象为所述追踪目标。
14.一种影像识别方法，适用于无人机，其特征在于，所述影像识别方法包括：
取得影像数据流，其中所述影像数据流包括当前帧；
对所述当前帧中的对象进行影像识别，以产生对应于所述当前帧的第一框格；
检测所述对象的移动以产生对应于所述当前帧的第二框格；以及
根据所述第一框格以及所述第二框格判定所述对象为追踪目标。
15.根据权利要求14所述的影像识别方法，其特征在于，检测所述对象的所述移动以产生对应于所述当前帧的所述第二框格的步骤包括：
由所述影像数据流接收第一帧集合以及第二帧集合，用以计算出特征模型及预测特征模型；以及
根据所述特征模型及所述预测特征模型的差异产生对应于所述当前帧的所述第二框格，其中
所述第一帧集合包含所述当前帧且用于计算出对应于所述当前帧的所述特征模型；以及
所述第二帧集合包含所述先前帧且用于计算出对应于所述先前帧的所述预测特征模型。
16.根据权利要求15所述的影像识别方法，其特征在于，由所述影像数据流接收所述第一帧集合以及所述第二帧集合，以计算出所述特征模型及所述预测特征模型的步骤包括：
基于所述当前帧计算出对应于第一时间点的单应性转换矩阵，以利用所述单应性转换矩阵对所述先前帧进行转换以产生对应于所述第一时间点的所述预测特征模型。
17.根据权利要求16所述的影像识别方法，其特征在于，所述当前帧对应于所述第一时间点、所述先前帧对应于第二时间点并且所述第二时间点早于所述第一时间点。
18.根据权利要求17所述的影像识别方法，其特征在于，所述第一帧集合包括所述第一时间点至提早第一时间区间内的帧，并且所述第二帧集合包括所述第二时间点至提早第二时间区间内的帧。
19.根据权利要求15所述的影像识别方法，其特征在于，所述影像识别方法还包括：
对所述第一帧集合及所述第二帧集合进行预处理，其中所述预处理包括将所述第一帧集合及所述第二帧集合内的至少一帧分割并转为灰阶色调，以产生对应于所述第一帧集合的至少一个第一灰阶网格与对应于所述第二帧集合的至少一个第二灰阶网格。
20.根据权利要求19所述的影像识别方法，其特征在于，由所述影像数据流接收所述第一帧集合以及所述第二帧集合，以计算出所述特征模型及所述预测特征模型的步骤包括：
根据所述至少一个第一灰阶网格产生所述特征模型，并且利用单应性转换矩阵对所述至少一个第二灰阶网格进行转换，以产生所述预测特征模型。
21.根据权利要求19所述的影像识别方法，其特征在于，所述影像识别方法还包括：
比对所述至少一个第一灰阶网格与所述至少一个第二灰阶网格以计算所述差异。
22.根据权利要求15所述的影像识别方法，其特征在于，根据所述特征模型及所述预测特征模型的所述差异产生对应于所述当前帧的所述第二框格的步骤包括：
基于所述差异超过差异阈值而判定所述对象出现在所述当前帧的至少一个第一网格之中，并且根据所述至少一个第一网格的边界产生所述第二框格。
23.根据权利要求14所述的影像识别方法，其特征在于，根据所述第一框格以及所述第二框格判定所述对象为所述追踪目标的步骤包括：
计算所述第一框格以及所述第二框格的重叠度，并且基于所述重叠度高于重叠阈值而判定所述对象为所述追踪目标。
24.根据权利要求14所述的影像识别方法，其特征在于，对所述当前帧中的所述对象进行影像识别以产生对应于所述当前帧的所述第一框格的步骤包括：
对所述当前帧进行影像分析，以判定所述当前帧是否存在至少一个追踪对象，并基于所述至少一个追踪对象而产生对应于所述当前帧的所述第一框格。
25.根据权利要求15所述的影像识别方法，其特征在于，所述影像识别方法还包括：
检测第二对象的第二移动以产生对应于第三帧的第三框格，并根据所述第二框格和所述第三框格两者的中心点位置判断所述第二对象是否为所述对象，其中所述第三帧对应于第三时间点并且所述第一时间点早于所述第三时间点。
26.根据权利要求25所述的影像识别方法，其特征在于，所述影像识别方法还包括：
传送包含所述第三框格的经标识影像数据流和指令，其中所述指令指示所述第二对象为所述追踪目标。
CN202010189501.4A 2020-03-18 2020-03-18 无人机及其影像识别方法 Pending CN113496136A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010189501.4A CN113496136A (zh) 2020-03-18 2020-03-18 无人机及其影像识别方法
TW109111211A TWI784254B (zh) 2020-03-18 2020-04-01 無人機及其影像辨識方法
US17/203,735 US11875560B2 (en) 2020-03-18 2021-03-16 Unmanned aerial vehicle and image recognition method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010189501.4A CN113496136A (zh) 2020-03-18 2020-03-18 无人机及其影像识别方法

Publications (1)

Publication Number Publication Date
CN113496136A true CN113496136A (zh) 2021-10-12

Family

ID=77746536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010189501.4A Pending CN113496136A (zh) 2020-03-18 2020-03-18 无人机及其影像识别方法

Country Status (3)

Country Link
US (1) US11875560B2 (zh)
CN (1) CN113496136A (zh)
TW (1) TWI784254B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117705816B (zh) * 2024-02-06 2024-04-26 西南交通大学 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
US20190114804A1 (en) * 2017-10-13 2019-04-18 Qualcomm Incorporated Object tracking for neural network systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831087B2 (en) * 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
KR101183781B1 (ko) * 2009-12-22 2012-09-17 삼성전자주식회사 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
CN103500322B (zh) 2013-09-10 2016-08-17 北京航空航天大学 基于低空航拍图像的车道线自动识别方法
PL411602A1 (pl) * 2015-03-17 2016-09-26 Politechnika Poznańska System do estymacji ruchu na obrazie wideo i sposób estymacji ruchu na obrazie wideo
US9390506B1 (en) * 2015-05-07 2016-07-12 Aricent Holdings Luxembourg S.A.R.L. Selective object filtering and tracking
CN105578034A (zh) 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN106598226B (zh) * 2016-11-16 2019-05-21 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
US10282617B2 (en) * 2017-03-28 2019-05-07 Qualcomm Incorporated Methods and systems for performing sleeping object detection and tracking in video analytics
TW201737729A (zh) * 2017-07-24 2017-10-16 wei-qi Huang 無人機搜尋救援系統及其方法
CN109426782B (zh) * 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
US11373332B2 (en) * 2020-01-06 2022-06-28 Qualcomm Incorporated Point-based object localization from images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576214B1 (en) * 2012-01-23 2017-02-21 Hrl Laboratories, Llc Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification
CN106981073A (zh) * 2017-03-31 2017-07-25 中南大学 一种基于无人机的地面运动目标实时跟踪方法及系统
US20190114804A1 (en) * 2017-10-13 2019-04-18 Qualcomm Incorporated Object tracking for neural network systems

Also Published As

Publication number Publication date
US20210291980A1 (en) 2021-09-23
TWI784254B (zh) 2022-11-21
US11875560B2 (en) 2024-01-16
TW202137060A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US11302104B2 (en) Method, apparatus, device, and storage medium for predicting the number of people of dense crowd
KR101588995B1 (ko) 대상 검출 장치 및 대상 검출 방법
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
US20190370551A1 (en) Object detection and tracking delay reduction in video analytics
US20060170769A1 (en) Human and object recognition in digital video
WO2016149938A1 (zh) 视频监控方法、视频监控系统以及计算机程序产品
US20080191886A1 (en) Flame detecting method and device
US20180144476A1 (en) Cascaded-time-scale background modeling
KR102345873B1 (ko) 해양관측 부이용 영상촬영 카메라를 이용한 파랑관측 방법 및 시스템
US20180047271A1 (en) Fire detection method, fire detection apparatus and electronic equipment
KR102155724B1 (ko) 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템
JP2014027442A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2000998B1 (en) Flame detecting method and device
CN113096158A (zh) 运动对象的识别方法、装置、电子设备及可读存储介质
CN114627388B (zh) 输电线路异物检测设备及其异物检测方法
CN111507342A (zh) 一种图像处理方法、装置、系统及存储介质
US11983951B2 (en) Human detection device and human detection method
CN113496136A (zh) 无人机及其影像识别方法
CN112561968B (zh) 一种基于单目视觉的输电导线舞动监测方法及装置
CN104866844A (zh) 一种面向监控视频的人群聚集检测方法
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
CN108764124B (zh) 人群运动的检测方法及装置
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备
JP2008177768A (ja) 画像伝送装置及び画像伝送方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination