CN109298778A - 追踪系统及其方法 - Google Patents

追踪系统及其方法 Download PDF

Info

Publication number
CN109298778A
CN109298778A CN201810821465.1A CN201810821465A CN109298778A CN 109298778 A CN109298778 A CN 109298778A CN 201810821465 A CN201810821465 A CN 201810821465A CN 109298778 A CN109298778 A CN 109298778A
Authority
CN
China
Prior art keywords
image
region
interest
traceable device
attitude data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810821465.1A
Other languages
English (en)
Other versions
CN109298778B (zh
Inventor
陈远东
游子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN109298778A publication Critical patent/CN109298778A/zh
Application granted granted Critical
Publication of CN109298778B publication Critical patent/CN109298778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开文件提出一种追踪系统及方法。追踪系统包含外观具有特征图案的可追踪装置以及追踪装置。追踪装置包含光学感测模块，用以获取涵盖可追踪装置的第一影像。追踪装置还具有处理器，其耦接于光学感测模块。处理器是用以依据特征图案，在第一影像上获取对应此特征图案的一关注区域，并在第一影像的关注区域中定位出多个特征区域的区域位置，其中每一特征区域包含该特征图案的一部分。处理器还根据此些区域位置来计算可追踪装置的姿态数据，借此，不需要获取两个(或两次)或以上的影像即能判断姿态数据。

Description

追踪系统及其方法
技术领域
本公开文件涉及追踪系统及方法，特别是一种通过分析影像来追踪物件的追踪系统及方法。
背景技术
在现有的通过影像识别的物件追踪方法中，通常需要拍摄许多连续的影像，并识别连续影像中的部分特征来锁定欲追踪的物件。例如若欲追踪的物件是具有特定发光频率的特征，则需要先拍摄连续的影像，并分别对此些影像进行影像识别，再经由识别的结果来评估物件的移动状况。
然而，通过分析许多影像来对物件进行追踪的作法，需要对每张影像分别进行识别。若影像的分辨率越大，越不容易在影像上找到物件，造成物件追踪的负担。因此，如何降低追踪物件时的负担或成本实为相当重要的考量。
发明内容
根据本公开文件的一实施例，公开一种追踪系统，包含：一可追踪装置，外观具有至少一特征图案；以及一追踪装置，包含：一光学感测模块，用以获取包含该可追踪装置的一第一影像；以及一处理器，耦接于该光学感测模块，该处理器用以：依据该特征图案，在该第一影像中获取对应该特征图案的一第一关注区域(region of interest)；在该第一关注区域中定位出多个特征区域的多个区域位置，其中每一特征区域包含该特征图案的一部分；以及根据该些区域位置，计算该可追踪装置的一第一姿态数据。
根据本公开文件的一实施例，该处理器是依据该特征图案的一骨架(skeleton)，在该第一影像中获取该第一关注区域。
根据本公开文件的一实施例，该处理器还用以依据该第一关注区域执行一深度学习演算法，以产生该可追踪装置在该第一关注区域时的一粗略姿态数据。
根据本公开文件的一实施例，当该处理器获取该第一关注区域时，该处理器还用以：取得该光学感测模块在获取该第一影像之前所获取的一第二影像以及该第二影像中对应该特征图案的一第二关注区域；读取该可追踪装置在该第二影像与该第一影像的获取时间点间所产生的一移动信号；根据该移动信号及该第二关注区域，预估在该第一影像中的一局部范围；以及依据该特征图案，在该第一影像的该局部范围搜索该第一关注区域。
根据本公开文件的一实施例，该处理器依据该可追踪装置在该第二关注区域时的一第二姿态数据以及该移动信号，计算该可追踪装置在该第一关注区域时的一粗略姿态数据。
根据本公开文件的一实施例，该追踪装置还包含：一姿态数据库，用以记录该可追踪装置的多个姿态数据及对应该等姿态数据的多个参考影像，其中该处理器还用以：根据该可追踪装置的该粗略姿态数据，于该姿态数据库找出对应的一参考影像，其中该对应参考影像包含该些特征区域；以及依据该对应参考影像，定位出该些特征区域的该些区域位置。
根据本公开文件的一实施例，该可追踪装置还包含：一惯性测量单元(inertialmeasurement unit)，用以产生该可追踪装置的该移动信号；以及一通信模块，耦接该惯性测量单元，用以将该移动信号传送至该追踪装置。
根据本公开文件的一实施例，该可追踪装置包含一发光模块，使该光学感测模块获取的该第一影像具有对应该特征图案的一发光图案，而当该处理器获取该第一关注区域时，该处理器还用以：对该第一影像执行一二值化运算(thresholding)以获得一二值化影像；以及在该二值化影像上获取该第一关注区域，其中该第一关注区域包含该发光图案。
根据本公开文件的一实施例，该第一姿态数据包含一三轴位置、一偏航值、一倾斜值、一旋转值的至少一者。
根据本公开文件的一实施例，该处理器于计算该可追踪装置的该第一姿态数据时，是依据该些特征区域的各该些区域位置在该第一影像的一影像坐标，执行一姿态估计演算法(pose estimation algorithm)，以计算该第一姿态数据。
根据本公开文件的一实施例，公开一种追踪方法，用于追踪外观具有至少一特征图案的一可追踪装置，该追踪方法包含：获取包含该可追踪装置的一第一影像；依据该特征图案，在该第一影像中获取对应该特征图案的一第一关注区域；在该第一关注区域中定位出多个特征区域的多个区域位置，其中每一特征区域包含该特征图案的一部分；以及根据该些区域位置，计算该可追踪装置的一第一姿态数据。
根据本公开文件的一实施例，该获取该第一关注区域的步骤包含：依据该特征图案的一骨架(skeleton)，在该第一影像中获取该第一关注区域。
根据本公开文件的一实施例，依据该第一关注区域执行一深度学习演算法，以产生该可追踪装置在该第一关注区域时的一粗略姿态数据。
根据本公开文件的一实施例，该获取该第一关注区域的步骤包含：取得在获取该第一影像之前所获取的一第二影像以及该第二影像中对应该特征图案的一第二关注区域；读取该可追踪装置在该第二影像与该第一影像的获取时间点间所产生的一移动信号；根据该移动信号及该第二关注区域，预估在该第一影像中的一局部范围；以及依据该特征图案，在该第一影像的该局部范围搜索该第一关注区域。
根据本公开文件的一实施例，依据该可追踪装置在该第二关注区域时的一第二姿态数据以及该移动信号，计算该可追踪装置在该第一关注区域时的一粗略姿态数据。
根据本公开文件的一实施例，产生一姿态数据库，用以记录该可追踪装置的多个姿态数据及对应该等姿态数据的多个参考影像；其中，该定位出该些区域位置的步骤包含：根据该可追踪装置的该粗略姿态数据，于该姿态数据库找出对应的一参考影像，其中该对应参考影像包含该些特征区域；以及依据该对应参考影像，定位出该些特征区域的该些区域位置。
根据本公开文件的一实施例，该移动信号是由该可追踪装置所包含的一惯性测量单元(inertial measurement unit)所产生。
根据本公开文件的一实施例，该可追踪装置包含一发光模块，以使所获取的该第一影像具有对应该特征图案的一发光图案，而该获取该第一关注区域的步骤还包含：对该第一影像执行一二值化运算(thresholding)以获得一二值化影像；以及在该二值化影像上获取该第一关注区域，其中该第一关注区域包含该发光图案。
根据本公开文件的一实施例，该第一姿态数据包含一三轴位置、一偏航值、一倾斜值、一旋转值的至少一者。
根据本公开文件的一实施例，该计算该可追踪装置的该第一姿态数据的步骤包含：依据该些特征区域的各该些区域位置在该第一影像的一影像坐标，执行一姿态估计演算法(pose estimation algorithm)，以计算该第一姿态数据。
附图说明
以下详细描述结合说明书附图阅读时，将有利于较佳地理解本公开文件的实施方式。应注意，根据说明上实务的需求，附图中各特征并不一定按比例绘制。实际上，出于论述清晰的目的，可能任意增加或减小各特征的尺寸。
图1示出根据本公开文件一些实施例中追踪系统在空间的环境示意图。
图2示出根据本公开文件一些实施例中可追踪装置的示意图。
图3示出根据本公开文件一些实施例中用于追踪定位的特征图案的示意图。
图4示出根据本公开文件一些实施例中一种追踪系统的功能方框图。
图5示出根据本公开文件一些实施例中一种追踪方法的步骤流程图。
图6示出由追踪装置获取影像的画面示意图。
图7示出根据本公开文件另一些实施例中一种追踪方法的步骤流程图。
附图标记说明：
为让本公开内容的上述和其他目的、特征、优点与实施例能更明显易懂，附图标记的说明如下：
100 追踪装置
110 光学感测模块
120 处理器
130 通信模块
200 追踪方法
300 可追踪装置
310 特征图案
320 骨架
321a～321d 特征区域
350 可追踪装置
351 惯性测量单元
353 通信模块
355 发光模块
40 追踪系统
500 使用者
610 第一影像
611 关注区域
612 骨架
700 追踪方法
S210～240 步骤
S221～S227 步骤
具体实施方式
以下公开内容提供许多不同实施例或实例，以便实施本发明的不同特征。下文描述元件及排列的特定实例以简化本发明。当然，该等实例仅为示例性且并不欲为限制性。本发明可在各实例中重复元件符号及/或字母。此重复是出于简明性及清晰的目的，且本身并不指示所论述的各实施例及/或配置之间的关系。
请参阅图1，其示出根据本公开文件一些实施例中追踪系统在空间的环境示意图。如图1所示，环境中有追踪装置100以及可追踪装置300。追踪装置100设置在环境中，使用者500可手持可追踪装置300在三维空间中自由的移动。在移动的过程中，追踪装置100的光学感测模块110会获取环境中的影像。在图1中，追踪装置100与光学感测模块110是显示为分离的实体，实际上光学感测模块110亦可设置于追踪装置100上。可追踪装置300上设置有可供识别的特征图案310。特征图案310为经过特殊设计的图案，以避免和空间环境中其他物件混淆，而能提高识别度。在光学感测模块110获取到影像后便会回传至追踪装置100，由追踪装置100作影像识别。追踪装置100若判断出影像中具有特征图案310，则可认定可追踪装置300目前在画面中，据以接着对可追踪装置300作后续的追踪操作。在一些实施例中，追踪装置100为可提供虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)或混合实境(mixed reality,MR)的头戴式装置(head-mounted device)或头戴式显示器(head-mounted display)，由使用者500穿戴，而可追踪装置300为任何可穿戴于使用者500身上的控制装置，如手持控制器或手套。在另一些实施例中，可追踪装置300可以用任何外观上具有特征图案的物体替代，且其特征图案的部位为刚体(rigid body)，如此特征图案不致扭曲变形而无法识别。
在一些实施例中，追踪装置100可设置一个以上的光学感测模块110。光学感测模块110可以是摄影机或照相机。举例来说，追踪装置100设置四个摄影机的情况，此四个摄影机彼此相邻设置，以分别获取不同视野的影像。通过增加摄影机的数量，可以提升在环境中判读到可追踪装置300的机会，缩短搜索可追踪装置300的时程。
请参阅图2，其示出根据本公开文件一些实施例中可追踪装置300的示意图。可追踪装置300上设置有一个或多个的特征图案310。特征图案310的数量，会影响对可追踪装置300在影像画面中的搜索效果。在可追踪装置300上设置越多个特征图案310，越容易在影像中获取到特征图案310，使得更容易确认可追踪装置300在空间中的存在。在一些实施例中，该多个特征图案彼此不同，或是设置于可追踪装置300上具有差异点(例如大小、方位等不同)，以提高各特征图案的识别度。
在另一些实施例中，在可追踪装置300上布满特征图案310，而形成一个大型的图案，同样可以提升对可追踪装置300的识别成功率。
请参阅图3，其示出根据本公开文件一些实施例中用于追踪定位的特征图案的示意图。如图3所示的特征图案310是具有”hTCA”字样的图案，每个字样内部的线条则为其骨架(skeleton)320。图3另显示多个较小的特征区域321a～321d，每一特征区域包含特征图案的一部分。此些特征区域321a～321d为彼此不同的区域，或者是在整个特征图案310中独一无二的区域。
值得一提的是，特征图案310也可以是几何图案或与一般环境中物体或摆饰等等相异的图样，本公开文件并不限制特征图案310的图样设计。在部分范例中，特征图案310必须具有一个以上(例如四个)彼此不相同的特征区域。特征区域的细节将于后面段落说明。
请参阅图4，其示出根据本公开文件一些实施例中一种追踪系统40的功能方框图。如图4所示，追踪系统40包含追踪装置100以及可追踪装置350。追踪装置100包含光学感测模块110、处理器120以及通信模块130。追踪装置100以及可追踪装置350执行如图1所示环境中的操作，即使用者500手持可追踪装置350在空间中自由的移动操作。请一并参阅图5，其示出根据本公开文件一些实施例中一种追踪方法200的步骤流程图。在步骤S210，光学感测模块110获取第一影像。接着，在步骤S220中，处理器120会依据特征图案(例如图3所示的特征图案310)，在第一影像上获取对应特征图案的关注区域(region of interest，ROI)。例如，处理器120可依据整个特征图案于第一影像中进行搜索，以判断第一影像是否包含该特征图案；若有包含，则从第一影像获取包含该特征影像的一关注区域。在一些实施例中，是使用如图3所示的特征图案310的骨架320来搜索第一影像。由于骨架320所包含的像素数较特征图案310为少，因此可以加速影像的搜索及比对，以更迅速地在第一影像中找到关注区域。
在另一些实施例中，追踪方法200可以使用一第一深度学习演算法来决定第一影像的关注区域。举例来说，在追踪装置100(如图1所示)具有多个摄影机的情况，在同一时间会获取到多个第一影像。在执行到追踪方法200的步骤S220时，各个第一影像上可能会获取到零至多个的关注区域。例如，四个摄影机在同一时间获取到四个第一影像，若在此四个第一影像上分别判断有2个、2个、1个、0个关注区域，处理器120将此五个关注区域作为该第一深度学习演算法的输入，经过判读之后会得到一个最精确或信心值最高的关注区域。该第一深度学习演算法是事先经过训练而得。于训练过程中，利用大量经过标记(labeling)的影像(亦即标注影像是否包含特征图案)作为输入，以训练出深度学习模型所需的参数，最终建构出适用于判读影像是否出现特征图案的深度学习演算法。
接着，执行步骤S230，处理器120在关注区域中判断多个特征区域(例如图3所示的特征区域321a～321d)，并在第一影像中定位出该等特征区域的多个区域位置。该等区域位置可以为特征区域在第一影像的影像坐标。此步骤所述的定位多个区域位置可以为先搜索关注区域中的多个特征区域，此些特征区域例如是前述的具有彼此不同特征的影像区域，由于关注区域的区域大小(例如100x120)远小于第一影像(例如1024x768)，在关注区域中搜索更小的特征区域(例如20x20)，可以快速地计算出特征区域在第一影像上的所在位置。
接着，执行步骤S240，处理器120使用该等区域位置来计算可追踪装置300的姿态数据。举例来说，处理器120获得了四个特征区域的四个影像坐标，由于追踪系统40具有光学感测模块110的内部参数(例如本身的三维坐标)、四个特征区域的影像坐标，则可使用一姿态估计演算法(pose estimation algorithm)如透视N点演算法(perspective n-pointalgorithm)，来推算出可追踪装置300在空间中的姿态信息，例如三轴位置(如相对于光学感测模块110的三轴坐标)、偏航角度(Yaw)、倾斜角度(Pitch)、旋转角度(Roll)、三轴旋转角度的至少其一。
请参阅图6，其示出由追踪装置100的光学感测模块110获取第一影像610的画面示意图。此图示以可追踪装置300上设置一个特征图案作为说明。在执行完如图5所示的步骤S220，处理器120依据特征图案612，在第一影像610上获取对应特征图案612的关注区域611。获得关注区域611之后，对于可追踪装置300的后续追踪会锁定在此关注区域611中，本公开文件将说明如何在不同的影像中追踪关注区域611，而不需要对于每个影像作完整的影像识别。
请再参阅图4，可追踪装置350包含惯性测量单元351(inertial measurementunit，IMU)、通信模块353以及发光模块355。惯性测量单元351耦接通信模块353，惯性测量单元351感测可追踪装置350的三维空间中的动作而对应地产生动作信号，而动作信号通过通信模块353被传送，动作信号由追踪装置100的通信模块130所接收。惯性测量单元351可提供连续时间上三轴的加速度和角速度，其经过特定数学运算后可以表示可追踪装置350在一段时间区段内的移动与转动，因此两个时间点之间的移动与转动状况与加速度及角速度存在关连性。
图7示出根据本公开文件另一些实施例中一种追踪方法700的步骤流程图。请一并参阅图4，使用者手持可追踪装置350在空间中挥动，在步骤S210中，光学感测模块110对空间拍摄而获取到第一影像。此步骤是与图5所示的步骤S210相同。
接着，执行步骤S221，取得光学感测模块110在获取第一影像之前所获取的第二影像，以及第二影像中对应特征图案的关注区域。第二影像是前一个时间点取得的影像讯框(frame)，例如在30Hz的帧率，第二影像就是取得第一影像之前1/30秒时取得的影像。而第二影像的关注区域即是在前一个时间点进行追踪定位时所获取的对应特征图案的区域。换言之，第一影像与第二影像为具有关注区域或特征图案的连续影像。
在步骤S222中，读取可追踪装置350在第二影像与第一影像的获取时间点间所产生的移动信号。移动信号可以是惯性测量单元351所产生的加速度与角速度信号。接着，执行步骤S223，处理器120根据移动信号与第二影像的关注区域来预估在第一影像中的一局部范围，并依据特征图案或其骨架，在该局部范围中搜索关注区域。举例来说，第二影像的关注区域为其中心点坐标是在第二影像中的(576,488)，大小为100x120的小区域。处理器120使用第二影像至第一影像之间的时间对加速度与角速度信号分别进行二次积分与一次积分，可以获得移动的位移量(translation)与转动量(rotation)，再以此空间中的移动量进行映射转换运算，以估算第二影像的关注区域经过移动量之后，会在第一影像的哪个位置，接着再依据此估算出来的位置设定出该局部范围，以进行第一影像的关注区域的搜索。如此，就不需在整张第一影像中进行搜索，而大幅提升搜索的速度及准确度。需注意的是，若因缺乏先前的有效定位数据，而无法获取前一个时间点的第二影像及其关注区域，例如开机后首次进行定位或是发生追踪失败(lost tracking)的情形，仍需以整张第一影像为范围来搜索关注区域。
接着，执行步骤S224，处理器120依据可追踪装置350在第二影像的关注区域时的姿态数据以及移动信号，来粗估可追踪装置350在第一影像的关注区域时的粗略姿态数据。此处称的为粗略姿态数据，是因后续还会依据此粗略姿态数据，计算出更精确的姿态数据，下文将会详述。可追踪装置350在第二影像的关注区域时的姿态数据，是由前一时间点的定位所产生，而根据前文，由移动信号可算出第二影像至第一影像期间可追踪装置350的移动量(包含位移量与转动量)，因此处理器120可根据此移动量及先前姿态数据(即可追踪装置350在第二影像的关注区域时的姿态数据)来粗估可追踪装置350在第一影像的关注区域时的粗略姿态数据。在一些实施例中，当无法获取可追踪装置350先前在第二影像的关注区域时的姿态数据时，如前述的开机后首次定位或是发生追踪失败的情形，追踪方法700可以使用一第二深度学习演算法来产生可追踪装置350的粗略姿态数据。第二深度学习演算法如同前述的第一深度学习演算法，亦为事先经过训练而得。于训练过程中，利用大量包含不同姿态的特征图案的影像作为输入，以训练出深度学习模型所需的参数，最终建构出适用于判读影像中的特征图案为何种姿态的深度学习演算法。因此，若以第一影像中包含特征图案的关注区域为演算法的输入，则第二深度学习演算法可输出具最高信心值的对应姿态。
执行完步骤S224之后，处理器120已获得可追踪装置350在第一影像时的粗略姿态数据，接着执行步骤S225，处理器120使用可追踪装置350在第一影像时的粗略姿态数据，于一姿态数据库中进行比对，以获得对应的一参考影像。在一些实施例中，该姿态数据库中存储多个预先产生的参考影像，每一个参考影像包含特征图案，且具有对应的姿态数据以及多个特征区域的区域位置。举例来说，处理器120以位移量与转动量的至少其中一个值在姿态数据库中寻找相同或最接近的一个或数个值，并取出此些值对应的参考影像，因此会取得一个或数个参考影像。
接着执行步骤S226，若取得多个参考影像，则处理器120根据第一影像的关注区域(其包含特征图案)，从该等参考影像中选出一个最接近的影像。在一些实施例中，处理器120可执行一影像相似度演算法(image similarity algorithm)，将关注区域与该等参考影像进行详细比对，以找出其中最相似的参考影像。在另一些实施例中，若从姿态数据库中只取出一个参考影像，则处理器120同样执行关注区域与参考影像的详细比对，以确认取出的参考影像是正确的。
值得一提的是，本公开文件提出的姿态数据库的所有参考影像中，均具有多个特征区域的区域位置，也就是说，建置在姿态数据库中的参考影像除了具有特征图案以外，也会具有正确的多个特征区域的区域位置。举例来说，若参考影像有四个特征区域，则也会一并记录此四个特征区域在影像中的精确影像位置。接着，在选择出参考影像之后，执行步骤S227，处理器120以所选择的参考影像的多个特征区域的多个区域位置，计算可追踪装置350的姿态数据。相对于前文所述的粗略姿态数据，此处计算所得的姿态数据是更为精确的。在一些实施例中，处理器120是以该等区域位置(如影像坐标)使用一姿态估计演算法如透视N点演算法来计算该可追踪装置350的姿态数据。据此，本公开文件的追踪方法700可以在影像上快速取得多个特征点及其影像位置，以用于计算可追踪装置350的精确姿态数据。
值得一提的是，本公开文件的追踪方法200以及追踪方法700可以在每一个获取的影像(或每一次同时获取的多个影像)中就能计算出可追踪装置350(或可追踪装置300)的姿态数据，而不需要获取两个(或两次)或以上的影像才能判断姿态数据，如此就可较不受限于一般光学感应模块的低帧率，而提升以影像识别进行追踪定位的效率。
请再参阅图4，可追踪装置350包含发光模块355，以使光学感测模块110获取到的第一影像会具有对应特征图案的发光图案。例如，可追踪装置350外观上的特征图案可制作成透光的，并将发光模块355设置于可追踪装置350内部，如此特征图案的部位即可透光，而形成对应特征图案的发光图案。在一些实施例中，于前述追踪方法200以及追踪方法700中，当处理器120欲获取对应特征图案的关注区域时，会先对第一影像执行二值化运算(thresholding)以获得二值化影像。因此，处理器120可以在二值化影像上获取具有发光图案的关注区域。如此，通过二值化运算可以让关注区域的判断(如图5的步骤S210)上更为快速。
综上所述，本公开文件的诸多实施例提供可快速识别追踪物件的方法，首先通过特征图案或其骨架来初步判定影像中是否可能有追踪到物件，接着，结合前一个影像定位所产生的关注区域与姿态数据以及物件的移动信号，来预估下一个影像的关注区域以及粗略的姿态数据，并使用姿态数据库来取得最正确的特征区域的区域位置，不需要个别计算每一个影像特征点的位置，即可快速地执行姿态估计运算而获得精确的物件姿态。
上文概述若干实施例的特征，使得熟习此项技术者可更好地理解本发明的实施方式。熟习此项技术者应了解，可轻易使用本发明作为设计或修改其他工艺及结构的基础，以便实施本文所介绍的实施例的相同目的及/或实现相同优势。熟习此项技术者亦应认识到，此类等效结构并未脱离本发明的构思及范围，且可在不脱离本发明的构思及范围的情况下产生本文的各种变化、替代及更改。

Claims (20)

1.一种追踪系统，其特征在于，包含：
一可追踪装置，外观具有至少一特征图案；以及
一追踪装置，包含：
一光学感测模块，用以获取包含该可追踪装置的一第一影像；以及
一处理器，耦接于该光学感测模块，该处理器用以：
依据该特征图案，在该第一影像中获取对应该特征图案的一第一关注区域；
在该第一关注区域中定位出多个特征区域的多个区域位置，其中每一特征区域包含该特征图案的一部分；以及
根据所述区域位置，计算该可追踪装置的一第一姿态数据。
2.如权利要求1所述的追踪系统，其特征在于，其中该处理器是依据该特征图案的一骨架，在该第一影像中获取该第一关注区域。
3.如权利要求1所述的追踪系统，其特征在于，其中该处理器还用以依据该第一关注区域执行一深度学习演算法，以产生该可追踪装置在该第一关注区域时的一粗略姿态数据。
4.如权利要求1所述的追踪系统，其特征在于，其中当该处理器获取该第一关注区域时，该处理器还用以：
取得该光学感测模块在获取该第一影像之前所获取的一第二影像以及该第二影像中对应该特征图案的一第二关注区域；
读取该可追踪装置在该第二影像与该第一影像的获取时间点间所产生的一移动信号；
根据该移动信号及该第二关注区域，预估在该第一影像中的一局部范围；以及
依据该特征图案，在该第一影像的该局部范围搜索该第一关注区域。
5.如权利要求4所述的追踪系统，其特征在于，其中该处理器依据该可追踪装置在该第二关注区域时的一第二姿态数据以及该移动信号，计算该可追踪装置在该第一关注区域时的一粗略姿态数据。
6.如权利要求3或5所述的追踪系统，其特征在于，其中该追踪装置还包含：
一姿态数据库，用以记录该可追踪装置的多个姿态数据及对应该等姿态数据的多个参考影像，其中该处理器还用以：
根据该可追踪装置的该粗略姿态数据，于该姿态数据库找出对应的一参考影像，其中该对应参考影像包含所述特征区域；以及
依据该对应参考影像，定位出所述特征区域的所述区域位置。
7.如权利要求4所述的追踪系统，其特征在于，其中该可追踪装置还包含：
一惯性测量单元，用以产生该可追踪装置的该移动信号；以及
一通信模块，耦接该惯性测量单元，用以将该移动信号传送至该追踪装置。
8.如权利要求1所述的追踪系统，其特征在于，其中该可追踪装置包含一发光模块，使该光学感测模块获取的该第一影像具有对应该特征图案的一发光图案，而当该处理器获取该第一关注区域时，该处理器还用以：
对该第一影像执行一二值化运算以获得一二值化影像；以及
在该二值化影像上获取该第一关注区域，其中该第一关注区域包含该发光图案。
9.如权利要求1所述的追踪系统，其特征在于，其中该第一姿态数据包含一三轴位置、一偏航值、一倾斜值、一旋转值的至少一者。
10.如权利要求1所述的追踪系统，其特征在于，其中该处理器于计算该可追踪装置的该第一姿态数据时，是依据所述特征区域的各所述区域位置在该第一影像的一影像坐标，执行一姿态估计演算法，以计算该第一姿态数据。
11.一种追踪方法，其特征在于，用于追踪外观具有至少一特征图案的一可追踪装置，该追踪方法包含：
获取包含该可追踪装置的一第一影像；
依据该特征图案，在该第一影像中获取对应该特征图案的一第一关注区域；
在该第一关注区域中定位出多个特征区域的多个区域位置，其中每一特征区域包含该特征图案的一部分；以及
根据所述区域位置，计算该可追踪装置的一第一姿态数据。
12.如权利要求11所述的追踪方法，其特征在于，其中该获取该第一关注区域的步骤包含：依据该特征图案的一骨架，在该第一影像中获取该第一关注区域。
13.如权利要求11所述的追踪方法，其特征在于，还包含：
依据该第一关注区域执行一深度学习演算法，以产生该可追踪装置在该第一关注区域时的一粗略姿态数据。
14.如权利要求11所述的追踪方法，其特征在于，其中该获取该第一关注区域的步骤包含：
取得在获取该第一影像之前所获取的一第二影像以及该第二影像中对应该特征图案的一第二关注区域；
读取该可追踪装置在该第二影像与该第一影像的获取时间点间所产生的一移动信号；
根据该移动信号及该第二关注区域，预估在该第一影像中的一局部范围；以及
依据该特征图案，在该第一影像的该局部范围搜索该第一关注区域。
15.如权利要求14所述的追踪方法，其特征在于，还包含：
依据该可追踪装置在该第二关注区域时的一第二姿态数据以及该移动信号，计算该可追踪装置在该第一关注区域时的一粗略姿态数据。
16.如权利要求13或15所述的追踪方法，其特征在于，还包含：
产生一姿态数据库，用以记录该可追踪装置的多个姿态数据及对应该等姿态数据的多个参考影像；
其中，该定位出所述区域位置的步骤包含：
根据该可追踪装置的该粗略姿态数据，于该姿态数据库找出对应的一参考影像，其中该对应参考影像包含所述特征区域；以及
依据该对应参考影像，定位出所述特征区域的所述区域位置。
17.如权利要求14所述的追踪方法，其特征在于，其中该移动信号是由该可追踪装置所包含的一惯性测量单元所产生。
18.如权利要求11所述的追踪方法，其特征在于，其中该可追踪装置包含一发光模块，以使所获取的该第一影像具有对应该特征图案的一发光图案，而该获取该第一关注区域的步骤还包含：
对该第一影像执行一二值化运算以获得一二值化影像；以及
在该二值化影像上获取该第一关注区域，其中该第一关注区域包含该发光图案。
19.如权利要求11所述的追踪方法，其特征在于，其中该第一姿态数据包含一三轴位置、一偏航值、一倾斜值、一旋转值的至少一者。
20.如权利要求11所述的追踪方法，其特征在于，其中该计算该可追踪装置的该第一姿态数据的步骤包含：
依据所述特征区域的各所述区域位置在该第一影像的一影像坐标，执行一姿态估计演算法，以计算该第一姿态数据。
CN201810821465.1A 2017-07-24 2018-07-24 追踪系统及其方法 Active CN109298778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762535976P 2017-07-24 2017-07-24
US62/535,976 2017-07-24

Publications (2)

Publication Number Publication Date
CN109298778A true CN109298778A (zh) 2019-02-01
CN109298778B CN109298778B (zh) 2021-02-23

Family

ID=64959070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810821465.1A Active CN109298778B (zh) 2017-07-24 2018-07-24 追踪系统及其方法

Country Status (4)

Country Link
US (1) US10755422B2 (zh)
EP (1) EP3460756B1 (zh)
CN (1) CN109298778B (zh)
TW (1) TWI682326B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
US12062189B2 (en) 2020-08-25 2024-08-13 Htc Corporation Object tracking method and object tracking device
US20220132042A1 (en) * 2020-10-26 2022-04-28 Htc Corporation Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera
US20230041519A1 (en) * 2021-08-09 2023-02-09 Htc Corporation Tracking system, tracking method and non-transitory computer-readable storage medium
TWI793931B (zh) * 2021-09-28 2023-02-21 宏達國際電子股份有限公司 虛擬影像顯示系統及虛擬影像顯示方法
US20240168289A1 (en) * 2022-11-17 2024-05-23 Htc Corporation Head-mounted display device, tracking system, and tracking method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548547A (zh) * 2007-08-16 2009-09-30 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
CN102466472A (zh) * 2010-11-17 2012-05-23 财团法人资讯工业策进会 立体尺寸量测系统与方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1677250B9 (en) * 2003-10-21 2012-10-24 NEC Corporation Image collation system and image collation method
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
US9131143B2 (en) * 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
EP2965288A4 (en) * 2013-03-08 2016-07-27 Intel Corp IMAGE ENCODING TECHNIQUES BASED ON AREA OF INTEREST
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548547A (zh) * 2007-08-16 2009-09-30 索尼电脑娱乐公司 利用与倾斜角信息相结合的视频输入的对象检测
CN102466472A (zh) * 2010-11-17 2012-05-23 财团法人资讯工业策进会 立体尺寸量测系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RODRIGUEZ-RAMOS, A., SAMPEDRO, C., BAVLE, H., MILOSEVIC, Z., GAR: "Towards fully autonomous landing on moving platforms for rotary Unmanned Aerial Vehicles", 《UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 *

Also Published As

Publication number Publication date
TW201909030A (zh) 2019-03-01
TWI682326B (zh) 2020-01-11
EP3460756B1 (en) 2021-02-17
CN109298778B (zh) 2021-02-23
EP3460756A1 (en) 2019-03-27
US10755422B2 (en) 2020-08-25
US20190026904A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
CN109298778A (zh) 追踪系统及其方法
CN108062776B (zh) 相机姿态跟踪方法和装置
Tjaden et al. A region-based gauss-newton approach to real-time monocular multiple object tracking
US10353482B2 (en) Systems and methods for tracking motion and gesture of heads and eyes
CN110411441A (zh) 用于多模态映射和定位的系统和方法
CN109255813A (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
CN104937635B (zh) 基于模型的多假设目标追踪器
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
CN107004279A (zh) 自然用户界面相机校准
JP2024054137A (ja) 画像表示システム
EP3869468A1 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪系统
US12047674B2 (en) System for generating a three-dimensional scene of a physical environment
US20210166393A1 (en) Pixel-wise Hand Segmentation of Multi-modal Hand Activity Video Dataset
CN109445599A (zh) 交互笔检测方法及3d交互系统
CN104574357A (zh) 定位带有已知图形的基准点的系统和方法
US20240013415A1 (en) Methods and systems for representing a user
CN113256724B (zh) 一种手柄inside-out视觉6自由度定位方法及系统
WO2021231406A1 (en) Vision sensing device and method
CN112114660A (zh) 一种利用人体足部在小空间范围内的运动来实现虚拟世界人物大范围移动的方法
JP6571723B2 (ja) 動作プログラムを生成するプログラミング装置、及びプログラム生成方法
WO2019053790A1 (ja) 位置座標算出方法及び位置座標算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant