CN102480615B - 图像目标区域追踪系统与方法 - Google Patents

图像目标区域追踪系统与方法 Download PDF

Info

Publication number
CN102480615B
CN102480615B CN201010597473.6A CN201010597473A CN102480615B CN 102480615 B CN102480615 B CN 102480615B CN 201010597473 A CN201010597473 A CN 201010597473A CN 102480615 B CN102480615 B CN 102480615B
Authority
CN
China
Prior art keywords
picture
target area
sprite
image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010597473.6A
Other languages
English (en)
Other versions
CN102480615A (zh
Inventor
石明于
吴奕纬
杨菘斐
粘金重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN102480615A publication Critical patent/CN102480615A/zh
Application granted granted Critical
Publication of CN102480615B publication Critical patent/CN102480615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

本发明公开了一种图像目标区域追踪系统与方法。该图像目标区域追踪系统包括：一目标区域追踪与取像模块，配置在一移动端的一移动平台上；一远程操控模块配置在一另一平台上，此两模块之间通过一数字网络来传递所需的信息，此目标区域追踪与取像模块以一实时回溯式图像搜寻技术，将先前在此移动平台上所拍摄的至少一图像画面存储至一画面缓冲区，及从此远程操控模块所点选的一目标区域的位置开始进行追踪，并找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置。本发明避免了因为网络传输延迟所造成移动端与另一平台间的图像不同步问题。

Description

图像目标区域追踪系统与方法
技术领域
本发明公开的是关于一种图像目标区域追踪系统与方法。
背景技术
当自然灾害发生时，往往会伴随着地面交通与通信的中断，此时救灾指挥单位需要实时掌握灾区信息。图1是移动式大范围救灾信息及时搜集系统的一范例示意图。如图1的范例所示，通过使用无人飞行器(UnmannedAerial Vehicle，UAV)或其它移动装置(后称移动端110)，实时拍摄与传输图像，搭配实时视频流(video stream)模块与实时点选放大图像(zoom-inpicture)快速回传模块120，取得特定目标区域的放大图像，来让后端(如地面导控站130)的救灾指挥单位(如通过一中央管制系统140)，可以快速且实时地取得灾区的图像数据，借此精确掌握灾区的现况150。实时视频流模块与实时点选放大图像快速回传模块是移动端110的装置，例如实时视频流模块可以采用一广角摄影机来取得灾区地面广域的实时图像；而实时点选放大图像快速回传模块例如可以采用一移动变焦式(Pan/Tilt/Zoom，PTZ)摄影机来取得特定目标区域的放大图像。
也就是说，移动式大范围救灾信息及时搜集系统主要包含移动端与地面导控站端。移动端是系统的核心，负责图像的拍摄与传输；地面导控站端是一操作接口，来让地面操作人员可以根据目前拍摄的广域实时图像来选取目标区域，并显示目标区域的放大图像。而移动式大范围救灾信息及时搜集系统中，实时点选放大图像快速回传模块主要用来取得目标区域的放大图像，借此让救灾指挥单位可以掌握特定区域的现况。
由于移动端与后端导控站间的网络传输与图像编译码延迟，导致后端导控站目前所看到的视频流图像画面会落后移动端现在拍摄的图像画面。图2是一范例示意图，说明移动端与地面导控站间的画面不同步。如图2的范例所示，地面导控站的操作人员在时间点为i+n时所点选的目标区域230的位置(x，y)跟此目标区域在移动端现在(例如时间点为i+2n)所拍摄画面240中的位置260会存在一定的位移量(offset)262。因此，如果要让移动端正确地追踪操作人员所点选的目标区域，则系统必须能精确地计算出位移量262的大小，并根据计算出的位移量262来判断地面导控站所点选的目标区域在移动端现在拍摄画面中的相对位置。
已知技术中，图3是一种及时对象追踪系统的一个范例示意图，此对象追踪系统300将数张图像画面(video)305输入至缓冲区310后，从数个追踪模块(tracking module)中选择一个追踪模块320来对缓冲区内的图像进行正向追踪(track forward)330与反向追踪(track backward)340。完成正向与反向追踪后，可以得到一追踪错误值(tracking error)350，当追踪错误值350小于阈值(threshold)360时，清空缓冲区(empty buffer)370来对后续的图像进行追踪；反之，当错误值大于阈值360时，重新选择另一个追踪模块(selecting another tracking module)380来进行追踪。
追踪延迟图像画面的另一已知技术如图4的范例。此技术是一种对象追踪系统400，用来追踪远程所拍摄的对象。当操作者在控制站410上点选画面中的对象后，控制端追踪器412便通过存储于控制站410的先前图像开始进行追踪。控制端追踪器412根据追踪的结果产生控制移动指令(control movement instructions)来表示所要追踪对象的移动方向，并把此指令传回给感测端420。感测端420根据收到的指令驱动远程追踪器422来调整图像传感器424的位置来拍摄所要追踪的对象。
目前，飞行载具上物体追踪技术往往需要借重不少昂贵的测量设备(如高精度GPS与姿态仪等)及复杂的计算，来估算移动端目前与目标区域间的相对高度、速度与方向等，以精确地计算出位移量的大小。增加这些测量设备也同时意味着移动端的成本、体积、重量及耗能的提升。所以，对象追踪的机制需要运算速度快并且有效率，包括如成本低、准确度高、及解决网络传输延迟所造成图像画面不同步的问题等。
发明内容
本发明公开的实施例可以提供一种图像目标区域追踪系统与方法。
所公开的一实施例是关于一种图像目标区域追踪系统。此系统包含一目标区域追踪与取像模块(object region tracking and picturing module)及一远程操控模块(remote control module)。此目标区域追踪与取像模块配置在一移动端的一移动平台上，此远程操控模块配置在一另一平台上，此两模块之间通过一数字网络来传递所需的信息。此目标区域追踪与取像模块以一实时回溯式图像搜寻技术，将先前在此移动平台上所拍摄的至少一图像画面存储至一画面缓冲区，及自此远程操控模块所点选的一目标区域的位置开始进行追踪，并找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置。
所公开的另一实施例是关于一种图像目标区域追踪方法。此方法包含：以一实时回溯式图像搜寻技术，将先前在一移动平台上所拍摄的至少一图像画面存储至一画面缓冲区；通过存储在此画面缓冲区中的至少一图像画面，将从一远程操控模块所点选的一目标区域的位置开始进行追踪；以及找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置。
所公开的又一实施例是关于一种图像目标区域追踪的计算机程序产品。此计算机程序产品包含一存储器以及存储于此存储器的一可执行的计算机程序。此计算机程序通过一处理器来执行：以一实时回溯式图像搜寻技术，将先前在一移动平台上所拍摄的至少一图像画面存储至一画面缓冲区；通过存储在此画面缓冲区中的至少一图像画面，将从一远程操控模块所点选的一目标区域的位置开始进行追踪：以及找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置。
本发明避免了因为网络传输延迟所造成移动端与另一平台间的图像不同步问题，也无须使用位移量来找出所点选的目标区域在移动端目前拍摄图像中的位置，借此减少整套追踪系统的建设成本。
现配合下列附图、实施例的详细说明及权利要求，将上述及本发明的其它目的与优点详述于后。
附图说明
图1是一范例示意图，说明移动式大范围救灾信息及时搜集系统的一种应用情境。
图2是一范例示意图，说明移动端与地面导控站间的画面不同步。
图3是一种及时对象追踪系统的一范例示意图。
图4是一种对象追踪系统的一范例示意图。
图5是一图像目标区域追踪系统的一范例示意图，与所公开的某些实施例一致。
图6是一流程图，说明画面缓冲区控制器如何决定画面缓冲区的运行，与所公开的某些实施例一致。
图7是一流程图，说明实时回溯式图像搜寻技术的运行，与所公开的某些实施例一致。
图8是图像目标区域追踪技术的应用场景的一范例示意图，与所公开的某些实施例一致。
图9是目标区域追踪与取像模块及远程操控模块的内部结构的一范例示意图，与所公开的某些实施例一致。
图10是一范例示意图，说明图像目标区域追踪方法的运行流程，与所公开的某些实施例一致。
图11说明画面可取代性的判断，与所公开的某些实施例一致。
图12是一范例示意图，说明图像目标区域追踪的计算机程序产品及其应用场景，与所公开的某些实施例一致。
【主要元件符号说明】
110  移动端             130  地面导控站
120  实时点选放大图像快速回传模块
140  中央管制系统       150  灾区的现况
230  时间点为i+n时所点选的目标区域
240  移动端在时间点为i+2n所拍摄画面
260  移动端在时间点为i+2n所拍摄画面中的位置
262  位移量
300  对象追踪系统       305  图像画面
310  缓冲区             320  追踪模块
330  正向追踪                   340  反向追踪
350  追踪错误值                 360  阈值
370  清空缓冲区                 380  选择另一个追踪模块
400  对象追踪系统               410  控制站
412  控制端追踪器               420  感测端
422  远程追踪器                 424  图像传感器
500  图像目标区域追踪系统       510  目标区域追踪与取像模块
512  画面缓冲区                 515  移动平台
520  远程操控模块               522  目标区域
514、524  数据通信元件          526  显示元件
599  另一平台                   555  数字网络
566  目标
610  从一图像传感器提取一新图像画面
620  检查此新图像画面是否可以存放在画面缓冲区中？
630  检查画面缓冲区512是满的吗？
640  将最早存入画面缓冲区的画面移除
650  将此新图像画面存放在画面缓冲区中
710  提取图像画面i并存放至画面缓冲区中
720  实时将图像画面i传送至远程操控模块
730  远程操控模块点选图像画面i中的一目标区域
740  将画面桢码i与目标区域在图像画面i中的坐标回传给画面缓冲区控制器
750  画面缓冲区控制器便会通知移动平台上的一追踪元件，从图像画面i开始追踪至在移动平台上目前最新拍摄的画面i+N
914  图像传感器                 916  追踪元件
928  指针控制元件
1010 以一实时回溯式图像搜寻技术，将先前在一移动平台上所拍摄的至少一图像画面存储至一画面缓冲区
1020 通过存储在画面缓冲区中的至少一图像画面，将从一远程操控模块所点选的一目标区域的位置开始进行追踪
1030 找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置
1110 根据目前子画面的位置与大小设定，将目前子画面从目前画面中取出
1120 使用目前子画面在参考画面中进行搜寻与比对
1130 在参考画面中，当找到与目前子画面相似的画面区块时，将此画面区块标记为参考子画面，并比对目前子画面与参考子画面间的差异性
1140 当残留图像的大小与目前子画面相同时，无须存储目前画面于画面缓冲器中
1150 当残留图像的大小小于目前子画面时，根据参考子画面大小的下限来判断
1160 当残留图像的大小小于参考子画面大小的下限时，将目前画面存储于画面缓冲器中；反之，无须存储目前画面于画面缓冲器中
1200 计算机程序产品            1210  存储器
1220 计算机程序                1230  处理器
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明公开实施例提出一种图像目标区域追踪技术，此实施例结合画面缓冲区(frame buffer)及画面缓冲区控制(frame buffer control)，以实时回溯式图像搜寻技术，将先前拍摄的图像画面存储至特定的缓冲区(buffer)，并且通过使用此缓冲区让目标区域追踪算法可以从被点选的目标区域的位置开始进行目标区域的追踪，来避免因为网络传输延迟所造成移动端与地面导控站间的图像不同步问题。依此，本实施例的目标区域追踪算法无须使用位移量来找出地面导控站的操作人员所点选的目标区域在移动端目前拍摄图像中的位置，借此减少整套追踪系统的建设成本。所点选的目标区域例如是移动物体(moving object)、或是固定背景(background)、或是同时含有移动物体及固定背景。移动物体例如是行驶中的汽机车、船等，固定背景例如是地貌、建筑物等。
承上所述，本实施例所采用的实时回溯图像搜寻技术主要用于移动端上的实时点选放大图像快速回传模块中。而本实施例的图像目标区域追踪系统的示意图如图5的范例所示，与所公开的某些实施例一致。图5的范例中，图像目标区域追踪系统500可以包含一目标区域追踪与取像模块510与一远程操控模块520。
目标区域追踪与取像模块510是配置在一移动端的一移动平台515上，例如无人飞行载具；远程操控模块520配置在另一平台599上，例如地面导控站。目标区域追踪与取像模块510及远程操控模块520之间通过一数字网络555来传递所需的信息。例如目标区域追踪与取像模块510可以备有一数据通信元件(data communication device)514，远程操控模块520也备有一数据通信元件524。数据通信元件514与数据通信元件524之间通过数字网络550分别来传递目标区域追踪与取像模块510及远程操控模块520所需的信息。另一平台599也可以在移动端上。
目标区域追踪与取像模块510以一实时回溯式图像搜寻技术，通过将先前在移动平台515所拍摄的至少一图像画面存储至一画面缓冲区512，从远程操控模块520所点选的一目标区域的位置开始进行追踪，例如在一显示元件(display device)526上点选目标区域522，并找出目标区域522在移动平台515最新所拍摄的图像画面中的一相对位置。如此，目标区域追踪与取像模块510就无须算出位移量，就可以找出在远程操控模块520所点选的目标区域522在移动平台515最新拍摄的图像画面中的相对位置566，因此可以减少建设整套图像目标区域追踪系统500的成本。
目标区域追踪与取像模块510采用的实时回溯式图像搜寻技术，主要包含画面缓冲区512及一画面缓冲区控制器(frame buffer controller)。画面缓冲区512用来暂时存储在移动平台515所拍摄的目前拍摄的图像及先前至少一图像画面，用来作为目标区域追踪时使用。画面缓冲区控制器是用来决定哪些图像画面(image frame)该被存放在画面缓冲区512中、哪些图像画面该从画面缓冲区512中移除。换句话说，画面缓冲区控制器是用来控制画面缓冲区的大小及决定该存储哪些画面。本实施例的图像目标区域追踪系统500也可以包括此画面缓冲区控制器来控制画面缓冲区的大小及决定哪些画面该储放于画面缓冲区512。缓冲区控制器可以判断画面可取代性，来减少画面缓冲区512的存储器需求。
图6是一流程图，说明画面缓冲区控制器如何决定画面缓冲区的运行，与所公开的某些实施例一致。如图6的范例所示，首先，画面缓冲区控制器从一图像传感器(image sensor)提取一新图像画面(步骤610)，然后，检查此新图像画面是否可以存放在画面缓冲区512中(步骤620)。当此新图像画面不可以存放在画面缓冲区512时，则返回至步骤610。当此新图像画面可以存放在画面缓冲区512时，检查画面缓冲区512是满的(full)吗？(步骤630)。当画面缓冲区512是满的时，画面缓冲区控制器将最早存入画面缓冲区的画面移除(步骤640)。当画面缓冲区512未满时，将此新图像画面存放在画面缓冲区512中(步骤650)。也就是说，当所存储的画面张数大于画面缓冲区的空间时，画面缓冲区控制器会将最早进入画面缓冲区的画面移除，画面缓冲区可以视为是一个先进先出(first-in-first-out，FIFO)的队列(queue)。
图7是一流程图，说明实时回溯式图像搜寻技术的运行，与所公开的某些实施例一致。如图7的范例所示，首先，提取图像画面i并存放至画面缓冲区512中(步骤710)，并且实时将图像画面i传送至远程操控模块520(步骤720)，例如可以通过一视频流(video streaming)模块来传送视频流。当远程操控模块520点选图像画面i中的一目标区域(步骤730)后，远程操控模块520将画面桢码(frame index)i与目标区域在图像画面i中的坐标回传给画面缓冲区控制器(步骤740)。此时，画面缓冲区控制器便会通知移动平台上的一追踪元件从图像画面i开始追踪至在移动平台上目前最新拍摄的画面(即图像画面i+N)(步骤750)。因为采用画面缓冲区的因素，所以此追踪元件无须算出位移量，就可以找出远程操控模块520所点选的目标区域位置在在移动平台上最新拍摄图像画面i+N中的相对位置。
承上所述，图8是移动式大范围救灾信息及时搜集系统使用图像目标区域追踪技术的应用场景的一个范例示意图，与所公开的某些实施例一致。图8的范例中，当移动端开始运行后，移动端上的广角取像模块拍摄地面图像(即广域图像)，并将此广域图像利用无线网络送至地面导控站。地面导控站则会将压缩的图像译码后，显示至屏幕画面中。此时，地面导控站的操作人员根据回传的视频流图像来点选出目标区域后，地面导控站接着将目标区域在视频流图像画面中的坐标(x，y)及画面桢码i回传至移动端。
移动端上的目标区域追踪与取像模块510中的一追踪元件在收到目标区域的坐标(x1，y1)及画面桢码i后，立即针对此目标区域从图像画面i开始追踪至移动端目前最新拍摄的图像画面i+N，找出目标区域在移动端最新拍摄图像画面i+N中的相对位置(x2，y2)，并且同时驱动取像模块连续拍摄此目标区域的放大图像，并将拍摄的放大图像回传至地面导控站。地面导控站将收集到的图像信息通过网络实时回传至中央管制系统，借此让后端的救灾指挥单位实时且精准地掌握灾区的现况。
除了图8的应用场景外，此图像目标区域追踪技术还可以应用在远程目标区域追踪、移动目标区域锁定与追踪以及双动态目标区域锁定与追踪都有其极高的应用潜力等。
图9是目标区域追踪与取像模块510及远程操控模块520的内部结构的一范例示意图，与所公开的某些实施例一致。承上所述，图9的范例中，目标区域追踪与取像模块510可以包括画面缓冲区512、一图像传感器914、一追踪元件916、以及数据通信元件514。远程操控模块520可以包括数据通信元件524、显示元件526、以及一指针控制元件928。以下搭配附图来说明图像目标区域追踪500及其模块的运行。
承上所述，图10是一范例示意图，说明图像目标区域追踪方法的运行流程，与所公开的某些实施例一致。参考图10，以一实时回溯式图像搜寻技术，将先前在一移动平台上所拍摄的至少一图像画面存储至一画面缓冲区，如步骤1010所示。步骤1010中，可以通过目标区域追踪与取像模块510来执行实时回溯式图像搜寻技术；而此至少一图像画面可以自图像传感器914中提取出，并同时存放在画面缓冲区512中。
再通过存储在画面缓冲区512中的至少一图像画面，将从一远程操控模块所点选的一目标区域的位置开始进行追踪，如步骤1020所示。步骤1020中，可以通过远程操控模块上的显示元件526来点选此目标区域；而目标区域在一图像画面的位置可以通过指针控制元件928来取得，并通过数据通信元件524，将此图像画面的画面桢码及此位置传送给目标区域追踪与取像模块510的追踪元件916，以开始进行追踪此目标区域。然后，找出此目标区域在此移动平台上最新拍摄的图像画面中的一相对位置，如步骤1030所示。追踪元件916可以传送此追踪结果来驱动取像模块连续拍摄此目标区域的放大图像，并通过数据通信元件514，将所拍摄的放大图像回传至远程操控模块520。
为了不影响目标区域追踪算法的精确性与速度，存放于画面缓冲区中画面都未经过任何压缩处理。因此，画面缓冲区会需要不小的存储器空间来存放先前所拍摄的画面。例如，一张24-位未压缩的VGA(640×480)图像画面所需的存储空间为0.9216MB(921600字节)。假设传输延迟为1秒时，则画面缓冲区必须存储60张以上的图像。换句话说，在这样的情况下，画面缓冲区最少需要约55MB的存储器空间。并且，为了增加追踪的准确度与视频流图像的质量，图像画面的分辨率也会不断地增加。如此，画面缓冲区所需的存储器空间也会随之增加。
所以，本实施例针对画面缓冲区提出一套有效的管控机制，来降低画面缓冲区所需的存储器空间。此画面缓冲区的管控机制是通过画面可取代性的判断，来减少画面缓冲区的存储器需求。此画面可取代性的判断可以用于前述步骤1010中，或是前述画面缓冲区控制器中，从而过滤图像，来减少画面缓冲器的存储器需求。
本实施例的画面可取代性的判断是要找出哪些画面具有高度的重复性，例如高于一特定比例，然后从画面缓冲区中移除这些具有高度重复性的画面，来减少画面缓冲区所需的存储器空间。而每张画面的可取代性是取决于某一画面在其它画面中残留图像(residual image)大小是否高于一特定比例。残留图像的定义是目前已存于画面缓冲区的画面，其特定区域的子画面(sub-frame)与参考画面(reference frame)中相似的部份就是残留图像。举例来说，若画面A可以被画面B所取代，则在画面A里的图像数据有超过一定比例会出现在画面B中，也就是画面A在画面B中的残留图像值超过一个定值。倘若画面A可以被画面B所取代，则只存储画面B，以节省画面缓冲区所需的存储器空间。
目前已存于画面缓冲区的画面可以是取像模块目前或先前所拍摄的画面；而参考画面可以是一组或单张画面，用来做为画面比对时用，可以是取像模块目前或先前所拍摄的画面。而存储在画面缓冲区中的所有画面都可以作为参考画面。在目前画面中特定区域的子画面，定义为目前子画面(current sub-frame)；使用目前子画面在参考画面中找出相似的画面区块定义为参考子画面(reference sub-frame)，也就是残留图像。
根据上述定义，图11说明画面可取代性的判断，与所公开的某些实施例一致。首先，根据目前子画面的位置与大小设定，将目前子画面从目前画面中取出(步骤1110)。接着，使用目前子画面在参考画面中进行搜寻与比对(步骤1120)。在参考画面中，当找到与目前子画面相似的画面区块时，将此画面区块标记为参考子画面，并比对目前子画面与参考子画面间的差异性(步骤1130)。当残留图像的大小与目前子画面相同时，无须存储目前画面于画面缓冲器中(步骤1140)。当残留图像小于目前子画面时，根据参考子画面大小的下限来判断(步骤1150)。当残留图像的大小小于参考子画面大小的下限时，将目前画面存储于画面缓冲器中；反之，无须存储目前画面于画面缓冲器中(步骤1160)。
当图像目标区域追踪系统运行时，取像模块会不断地进行拍摄，经过画面缓冲区控制器筛选后，将部份的画面存入画面缓冲区。因此，在进行目标区域追踪时，一旦新画面存储至画面缓冲区的速度大于目标区域追踪的速度，则会发生无法完成目标区域追踪的情况。本实施例设计一种自动停止目标区域追踪的机制。此机制是一超过及停(over-then-stop)的机制。也就是说，当目标区域追踪超过一定时间或目前处理的画面离目前拍摄的画面只有数张的差异时，就停止目标区域追踪。
因此，本实施例可以使用一时间计数器(time counter)来计算目标区域追踪所耗费的时间，及一画面差异计数器(frame difference counter)来计算目前处理的画面与目前拍摄的画面的数张差异。当启动目标区域追踪时，同时设定此两计数器。一旦时间计数器大于一个值，或画面差异计数器小于一个值时，就自动停止目标区域追踪。也就是说，本公开的图像目标区域追踪系统还可以包括一时间计数器及一画面差异计数器，并根据算出的目标区域追踪所耗费的时间及目前处理的画面与目前拍摄的画面的数张差异，来进行自动停止目标区域追踪的侦测。
本发明公开的实施例也可以用一计算机程序产品(computer programproduct)来实现。如图12的范例所示，计算机程序产品1200至少包含一存储器1210以及存储于此存储器的一可执行的计算机程序(executablecomputer program)1220。此计算机程序可以通过一处理器1230或一计算机系统来执行图10的图像目标区域追踪方法的步骤1010至步骤1030。处理器1230还可以包括目标区域追踪与取像模块510，通过此模块来执行步骤1010至步骤1030。如前所述，目标区域追踪与取像模块与远程操控模块之间通过一数字网络来传递所需的信息。
处理器1230可以包括一画面缓冲区控制器，通过画面可取代性的判断，来减少该画面缓冲器的存储器需求。并且，处理器1230还可以包括一时间计数器及一画面差异计数器，来进行自动停止目标区域追踪的侦测，来避免发生无法完成目标区域追踪的情况。图12的范例中，处理器或计算机系统1230也可以结合取像模块来拍摄及放大图像如图8的应用场景，来进行数据传输与前述的图像目标区域追踪。
综上所述，本公开的实施例可以提供一种图像目标区域的追踪技术，包括图像目标区域追踪系统与方法及计算机程序产品。其结合画面缓冲区及画面缓冲区控制，以一实时回溯式图像搜寻技术，可以从被点选的目标区域的位置开始进行目标区域的追踪，来避免因为网络传输延迟所造成移动端与另一平台间的图像不同步问题。也无须使用位移量来找出所点选的目标区域在移动端目前拍摄图像中的位置，借此减少整套追踪系统的建设成本。
以上所述者仅为本发明公开的实施例，当不能依此限定发明实施的范围。即凡根据权利要求所作的等同变换与修改，都应仍属本发明专利涵盖的范围。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像目标区域追踪系统，该系统包含：
一目标区域追踪与取像模块，配置在一移动端上的一移动平台上，包括一画面缓冲区及一画面缓冲区控制器；以及
一远程操控模块，配置在一另一平台上，该远程操控模块与该目标区域追踪与取像模块之间通过一数字网络来传递所需的信息；
其中，该目标区域追踪与取像模块采用实时回溯式图像搜寻技术，将先前在该移动平台上所拍摄的至少一图像画面i存储至所述画面缓冲区，并且实时将图像画面i传送至远程操控模块；远程操控模块点选图像画面i中的一目标区域，将画面桢码i与目标区域在图像画面i中的坐标回传给画面缓冲区控制器；及所述画面缓冲区控制器通知移动平台上的追踪元件从该远程操控模块所点选的一目标区域的位置开始进行追踪，追踪至在移动平台上目前最新拍摄的画面i+N，并找出该目标区域在该移动平台上最新拍摄的图像画面i+N中的一相对位置；
其中，该画面缓冲区控制器，通过画面可取代性的判断，来减少该画面缓冲器的存储器需求，所述画面可取代性的判断是要找出具有高于一特定比例的重复性的画面，然后从该画面缓冲区中移除高于该特定比例的重复性的画面，来减少该画面缓冲区所需的存储器空间；
其中，所述画面可取代性的判断包括：根据目前子画面的位置与大小设定，将目前子画面从目前画面中取出；使用目前子画面在参考画面中进行搜寻与比对；在参考画面中，当找到与目前子画面相似的画面区块时，将此画面区块标记为参考子画面，并比对目前子画面与参考子画面间的差异性；当残留图像的大小与目前子画面相同时，无须存储目前画面于画面缓冲器中；当残留图像小于目前子画面时，根据参考子画面大小的下限来判断，当残留图像的大小小于参考子画面大小的下限时，将目前画面存储于画面缓冲器中，反之，无须存储目前画面于画面缓冲器中，其中，所述残留图像为目前子画面与参考子画面中的相似部份。
2.根据权利要求1所述的系统，其中该两模块各自备有一数据通信元件，并且该两数据通信元件之间通过该数字网络，分别来传递该目标区域追踪与取像模块及该远程操控模块所需的信息。
3.根据权利要求1所述的系统，其中该画面缓冲区是一先进先出的队列。
4.根据权利要求1所述的系统，其中该另一平台为一地面导控站。
5.根据权利要求1所述的系统，该系统还包括一时间计数器及一画面差异计数器，来进行一自动停止目标区域追踪的侦测。
6.根据权利要求1所述的系统，该系统还包括一图像传感器，并且该至少一图像画面是从该图像传感器中提取出，并同时存放在该画面缓冲区中。
7.一种图像目标区域追踪方法，运行在一目标追踪系统上，该方法包含：
以一实时回溯式图像搜寻技术，将先前在一移动平台上所拍摄的至少一图像画面i存储至一画面缓冲区，并实时将该图像画面i传送至一远程操控模块；
该远程操控模块点选该图像画面i中的该目标区域；并将所点选的画面桢码i与该目标区域在图像画面中的坐标回传给一画面缓冲区控制器；
通知移动平台上的一追踪元件，通过存储在该画面缓冲区中的至少一图像画面，将从所述远程操控模块所点选的所述目标区域的位置开始进行追踪，追踪至移动平台上目前最新拍摄的画面i+N；以及
找出该目标区域在该移动平台上最新拍摄的图像画面i+N中的一相对位置；
对该画面缓冲区的管控，并通过画面可取代性的判断，来减少该画面缓冲区的存储器需求，其中该画面可取代性的判断是要找出具有高于一特定比例的重复性的画面，然后从该画面缓冲区中移除高于该特定比例的重复性的画面，来减少该画面缓冲区所需的存储器空间；
其中，所述画面可取代性的判断包括：根据目前子画面的位置与大小设定，将目前子画面从目前画面中取出；使用目前子画面在参考画面中进行搜寻与比对；在参考画面中，当找到与目前子画面相似的画面区块时，将此画面区块标记为参考子画面，并比对目前子画面与参考子画面间的差异性；当残留图像的大小与目前子画面相同时，无须存储目前画面于画面缓冲器中；当残留图像小于目前子画面时，根据参考子画面大小的下限来判断，当残留图像的大小小于参考子画面大小的下限时，将目前画面存储于画面缓冲器中，反之，无须存储目前画面于画面缓冲器中，其中，所述残留图像为目前子画面与参考子画面中的相似部份。
8.根据权利要求7所述的方法，该方法还包括：
根据目标区域追踪所耗费的时间及目前处理的图像画面离目前拍摄的图像画面的张数差异，来进行一自动停止目标区域追踪的侦测。
9.根据权利要求7所述的方法，其中当所存储的图像画面张数大于该画面缓冲区的空间时，将最早进入该画面缓冲区的图像画面移除。
CN201010597473.6A 2010-11-30 2010-12-16 图像目标区域追踪系统与方法 Active CN102480615B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW099141563 2010-11-30
TW099141563A TWI514324B (zh) 2010-11-30 2010-11-30 影像目標區域追蹤系統與方法及電腦程式產品

Publications (2)

Publication Number Publication Date
CN102480615A CN102480615A (zh) 2012-05-30
CN102480615B true CN102480615B (zh) 2015-01-21

Family

ID=46093077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010597473.6A Active CN102480615B (zh) 2010-11-30 2010-12-16 图像目标区域追踪系统与方法

Country Status (3)

Country Link
US (1) US8854473B2 (zh)
CN (1) CN102480615B (zh)
TW (1) TWI514324B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805009B1 (en) * 2012-01-17 2014-08-12 Verint Systems Inc. Trajectory matching across disjointed video views
US9160982B1 (en) * 2012-01-17 2015-10-13 Verint Systems Ltd. Trajectory matching across disjointed video views
IL219639A (en) * 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
EP4093019A1 (en) 2013-01-17 2022-11-23 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
IL224273B (en) * 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
JP6103948B2 (ja) * 2013-01-17 2017-03-29 キヤノン株式会社 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
KR102104409B1 (ko) * 2013-11-14 2020-05-29 한화테크윈 주식회사 영상저장시스템 및 오픈플랫폼기반 영상저장시스템에서 프로토콜 변환 방법
CN107577247B (zh) 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
KR20160024143A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
CN107851176A (zh) 2015-02-06 2018-03-27 阿克伦大学 光学成像系统及其方法
US9471059B1 (en) * 2015-02-17 2016-10-18 Amazon Technologies, Inc. Unmanned aerial vehicle assistant
JP6604019B2 (ja) * 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
CN105120136A (zh) * 2015-09-01 2015-12-02 杨珊珊 基于无人飞行器的拍摄装置及其拍摄处理方法
CN105407330A (zh) * 2015-12-21 2016-03-16 中国航天空气动力技术研究院 减小链路延时对光电载荷目标锁定影响的方法
CN109190728B (zh) * 2018-08-15 2022-04-29 国网山东省电力公司莱芜供电公司 一种电网物资质检系统
TWI719591B (zh) * 2019-08-16 2021-02-21 緯創資通股份有限公司 物件追蹤方法及其電腦系統
US11722705B2 (en) * 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006138544A1 (en) * 2005-06-16 2006-12-28 Honeywell International, Inc. Object tracking system
US20070188653A1 (en) * 2006-02-13 2007-08-16 Pollock David B Multi-lens array system and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3908082A (en) * 1972-11-13 1975-09-23 Martin Marietta Corp Dim object enhancement technique in video signal producing system
AU622208B2 (en) * 1988-08-12 1992-04-02 Digital Equipment Corporation Frame removal mechanism for token ring networks
KR100295712B1 (ko) * 1994-03-11 2001-11-14 미다라이 후지오 컴퓨터디스플레이시스템컨트롤러
JP3847353B2 (ja) * 1994-09-29 2006-11-22 日本テキサス・インスツルメンツ株式会社 同期検出回路
KR960028124A (ko) * 1994-12-30 1996-07-22 이몬 제이. 월 필름 소스에 의해 생성된 비디오 필드 식별 방법 및 장치
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US5999905A (en) * 1995-12-13 1999-12-07 Sony Corporation Apparatus and method for processing data to maintain continuity when subsequent data is added and an apparatus and method for recording said data
US5917958A (en) * 1996-10-31 1999-06-29 Sensormatic Electronics Corporation Distributed video data base with remote searching for image data features
US6275818B1 (en) * 1997-11-06 2001-08-14 International Business Machines Corporation Cost based optimization of decision support queries using transient views
US6122666A (en) * 1998-02-23 2000-09-19 International Business Machines Corporation Method for collaborative transformation and caching of web objects in a proxy network
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
ES2240058T3 (es) * 1999-02-03 2005-10-16 Elbit Systems Ltd. Videoseguimiento retardado.
US6650333B1 (en) * 1999-06-09 2003-11-18 3Dlabs Inc., Ltd. Multi-pool texture memory management
JP2002085642A (ja) * 2000-09-18 2002-03-26 Marukin:Kk スロット遊戯機およびスロット遊戯機付パチンコ機
GB2371936A (en) * 2001-02-03 2002-08-07 Hewlett Packard Co Surveillance system for tracking a moving object
US6828977B2 (en) * 2001-02-15 2004-12-07 Sony Corporation Dynamic buffer pages
US20020188945A1 (en) * 2001-06-06 2002-12-12 Mcgee Tom Enhanced EPG to find program start and segments
AU2002361572A1 (en) * 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
JP4217174B2 (ja) * 2004-02-13 2009-01-28 パナソニック株式会社 動画符号化装置および動画符号化方法
JP2005278152A (ja) * 2004-02-25 2005-10-06 Matsushita Electric Ind Co Ltd 映像音声再生装置及び映像音声再生方法
JP2006014121A (ja) * 2004-06-29 2006-01-12 Sanyo Electric Co Ltd 画像符号化方法、画像符号化装置および撮像装置
US7369135B2 (en) * 2004-10-29 2008-05-06 Nvidia Corporation Memory management system having a forward progress bit
US7512279B2 (en) * 2005-06-22 2009-03-31 General Electric Company System, method and computer instructions for compression of four dimensional data
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
US20080028181A1 (en) * 2006-07-31 2008-01-31 Nvidia Corporation Dedicated mechanism for page mapping in a gpu
US7756296B2 (en) * 2007-03-27 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using forward and backward tracking
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US8824546B2 (en) * 2007-06-19 2014-09-02 Vantrix Corporation Buffer based rate control in video coding
US8395629B1 (en) * 2007-11-09 2013-03-12 Lucasfilm Entertainment Company Ltd. Reducing data stored in a deep-frame buffer
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
JP5076932B2 (ja) * 2008-02-01 2012-11-21 富士通株式会社 フレームカウンタ補正装置及び対向装置
US8654756B2 (en) * 2008-07-18 2014-02-18 Panasonic Corporation Transmission device, reception device, transmission method, reception method, and transmission/reception system
TWI382762B (zh) * 2008-11-17 2013-01-11 Ind Tech Res Inst 移動物體的追蹤方法
US20100265260A1 (en) * 2009-04-17 2010-10-21 Jerzy Wieslaw Swic Automatic Management Of Buffer Switching Using A Double-Buffer
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006138544A1 (en) * 2005-06-16 2006-12-28 Honeywell International, Inc. Object tracking system
US20070188653A1 (en) * 2006-02-13 2007-08-16 Pollock David B Multi-lens array system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2006-14121A 2006.01.12 *

Also Published As

Publication number Publication date
TWI514324B (zh) 2015-12-21
TW201222478A (en) 2012-06-01
US20120133778A1 (en) 2012-05-31
CN102480615A (zh) 2012-05-30
US8854473B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
CN102480615B (zh) 图像目标区域追踪系统与方法
CN105959625B (zh) 控制无人机追踪拍摄的方法及装置
US8180107B2 (en) Active coordinated tracking for multi-camera systems
CN106056075A (zh) 基于无人机的社区网格化中重点人员识别及跟踪系统
EP3745085A1 (en) Multi-device visual navigation method and system in variable scene
CN103901884A (zh) 信息处理方法和信息处理设备
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
CN108897342B (zh) 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
US20140049654A1 (en) Information providing system, information providing device, image capture device, and computer program
CN112815923B (zh) 视觉定位方法和装置
CN110929669A (zh) 数据标注方法及装置
US20150111601A1 (en) Systems and methods for displaying distant images at mobile computing devices
CN104363426A (zh) 一种多摄像机目标关联的交通视频监控系统和监控方法
CN113008237A (zh) 一种路径规划方法及装置、飞行器
CN116295412A (zh) 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法
CN114199235B (zh) 一种基于扇面深度相机的定位系统及定位方法
CN111179309A (zh) 一种跟踪方法及设备
CN106394918A (zh) 一种无人机搭载的全景相机系统及其操作方法
KR102267764B1 (ko) 군집 드론 기반 광대역 정찰 감시 시스템 및 이를 이용한 광대역 정찰 감시 방법
CN112235355A (zh) 一种公路路政无人机巡查方法和系统
US10922825B2 (en) Image data processing method and electronic device
CN108206940B (zh) 视频串流的接合与传输方法、网关装置及观看装置
CN115144843A (zh) 一种物体位置的融合方法及装置
CN115065816A (zh) 基于全景视频技术的真实地理空间场景实时构建方法
CN112911151A (zh) 目标跟随方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant