CN114115517A - 对象跟踪方法和对象跟踪装置 - Google Patents
对象跟踪方法和对象跟踪装置 Download PDFInfo
- Publication number
- CN114115517A CN114115517A CN202110981040.9A CN202110981040A CN114115517A CN 114115517 A CN114115517 A CN 114115517A CN 202110981040 A CN202110981040 A CN 202110981040A CN 114115517 A CN114115517 A CN 114115517A
- Authority
- CN
- China
- Prior art keywords
- light
- emitting element
- emitting elements
- tracking
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004044 response Effects 0.000 claims description 24
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Radar Systems Or Details Thereof (AREA)
- Burglar Alarm Systems (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种对象跟踪方法和对象跟踪装置。所述方法包含:在跟踪状态中,控制图像捕获装置捕获特定对象的第一图像,其中发光元件的至少一第一发光元件为开启并经捕获于所述第一图像中;基于第一图像中发光元件的至少一第一发光元件确定特定对象的第一对象姿态;基于第一对象姿态获得发光元件的至少一第二发光元件,其中至少一第二发光元件经估计为无法由图像捕获装置捕获;以及关闭至少一第二发光元件。
Description
技术领域
本公开大体上涉及一种对象跟踪技术,确切地说,涉及一种基于装设在待跟踪对象上的发光元件而执行的对象跟踪方法及使用此方法的对象跟踪装置。
背景技术
参见图1,其绘示常规的对象跟踪机制。在图1中,待跟踪的特定对象199可在其不同表面上装设有多个发光元件104(例如,发光二极管)。在此情况下,可使用图像捕获装置102捕获特定对象199的图像,且这些图像可用于确定特定对象199的对象姿态(例如,位置/定向/旋转/平移)。具体来说,对象跟踪装置可获得由图像捕获装置102捕获的图像,且分析在图像中捕获的发光元件104的光线分布以获得特定对象199的对象姿态。
然而,受限于图像捕获装置102的图像捕获范围,一些发光元件104可能无法由图像捕获装置102捕获。也就是说,发光元件104中仅有一部分对于图像捕获装置102为可见的,而一些发光元件104对于图像捕获装置102可能为不可见的。
在此情况下,如果那些不可见的发光元件104持续地开启(即,发光),则可能产生额外的电力消耗。
发明内容
因此,本公开是针对一种可用于解决上述问题的对象跟踪方法和对象跟踪装置。
本公开的实施例提供一种适于对象跟踪装置的对象跟踪方法。方法包含:在跟踪状态中,控制图像捕获装置以捕获特定对象的第一图像,其中多个发光元件装设于特定对象上,且发光元件的至少一第一发光元件为开启并经捕获于所述第一图像中;基于第一图像中发光元件的至少一第一发光元件确定特定对象的第一对象姿态;基于第一对象姿态获得发光元件的至少一第二发光元件,其中至少一第二发光元件经估计为无法由图像捕获装置捕获;以及关闭至少一第二发光元件。
本公开的实施例提供一种对象跟踪装置,其包含存储电路和处理器。存储电路存储程序代码。处理器耦合到存储电路且存取程序代码以进行以下操作:在跟踪状态中,控制图像捕获装置以捕获特定对象的第一图像,其中多个发光元件装设于特定对象上,且发光元件的至少一第一发光元件为开启并经捕获于所述第一图像中;基于第一图像中发光元件的至少一第一发光元件确定特定对象的第一对象姿态;基于第一对象姿态获得发光元件的至少一第二发光元件,其中至少一第二发光元件经估计为无法由图像捕获装置捕获;以及关闭至少一第二发光元件。
附图说明
包含随附附图以提供对本发明的还理解,且随附附图并入本说明书中并构成本说明书的一部分。附图示出本发明的实施例,且与描述一起用于解释本发明的原理。
图1绘示常规对象跟踪机制。
图2绘示根据本公开的实施例的对象跟踪装置的示意图。
图3绘示根据本公开的实施例的对象跟踪方法的流程图。
图4绘示根据本公开的第一实施例所示出的应用情境。
图5绘示根据本公开的第二实施例所示出的应用情境。
图6绘示根据本公开的图4所示出的应用情境。
附图标号说明
41、42:表面;
102:图像捕获装置;
104、411、412、413、414、415、416、421、422、423、424、425:发光元件;
199、400:特定对象;
200:对象跟踪装置;
202:存储电路;
204:处理器;
D1:对象距离;
G1:第一群组;
G2:第二群组;
IM1:第一图像;
S310、S320、S330、S340:步骤。
具体实施方式
现将详细参考本发明的当前优选实施例,在随附附图中示出所述实施例的实例。在可能的情况下,相同的参考标号在附图及描述中用于指代相同或类似部件。
参见图2,其绘示根据本公开的实施例的对象跟踪装置的示意图。在一些实施例中,对象跟踪装置200可为任何计算机装置和/或智能装置,且对象跟踪装置200可用于跟踪装设有多个发光元件(例如,LED)的特定对象。在一些实施例中,在获得特定对象的图像之后,对象跟踪装置200可基于在图像中捕获的发光元件的光线分布获得特定对象的对象姿态(例如,位置/定向/平移/旋转)。
在各种实施例中,特定对象可为任何待跟踪对象。举例来说,对象跟踪装置200可属于虚拟现实(virtual reality;VR)系统,其中此VR系统可包含一些交互式装置(例如,VR手套和/或VR手持型控制器)以供用户与VR系统提供的VR内容交互。在此情况下,这些交互式装置的外表面可装设/分布有发光元件,且对象跟踪装置200可控制图像捕获装置(例如,相机)以捕获这些交互式装置的图像,并基于在各图像中捕获的光线分布获得这些交互式装置的姿态。因此,可获得握持/使用交互式装置的用户的动作以用于进一步调整VR内容,但本公开不限于此。
在图2中,对象跟踪装置200包含存储电路202和处理器204。存储电路202为以下中的一个或组合:静态或移动随机存取存储器(random access memory;RAM)、只读存储器(read-only memory;ROM)、快闪存储器、硬盘或任何其它类似装置,且所述存储电路202记录可由处理器204执行的程序代码和/或多个模块。
处理器204可与存储电路202耦合,且处理器204可为例如图形处理单元(graphicprocessing unit;GPU)、通用处理器、专用处理器、常规处理器、数字信号处理器(digitalsignal processor;DSP)、多个微处理器、与DSP内核相关联的一或多个微处理器、控制器、微控制器、专用集成电路(Application Specific Integrated Circuit;ASIC)、现场可编程门阵列(Field Programmable Gate Array;FPGA)电路、任何其它类型的集成电路(integrated circuit;IC)、状态机等。
在本公开的实施例中,处理器204可存取存储在存储电路202中的模块和/或程序代码以实施本公开中所提供的对象跟踪方法,这将在下文中进一步论述。
在本公开的实施例中,对象跟踪装置200可运作于搜索状态或跟踪状态中。在对象跟踪装置200无法跟踪特定对象(例如,对象跟踪装置200已丢失跟踪特定对象或对象跟踪装置200刚刚开始跟踪特定对象)的情况下,对象跟踪装置200可运作在搜索状态中以尝试找到所述特定对象。
一旦已发现特定对象且此特定对象在图像捕获装置102的图像捕获范围内为可跟踪的,对象跟踪装置200便可切换运作于跟踪状态中,以保持跟踪特定对象。然而,如果特定对象上的所有发光元件始终保持开启,此将可能产生额外电力消耗。因此,本公开的实施例可用于自适应地关闭特定对象上的一些发光元件,使得电力消耗能够减少。
参见图3,其绘示根据本公开的实施例的对象跟踪方法的流程图。此实施例的方法可由图2中的对象跟踪装置200执行,且图3中的各步骤的细节将在下文用图2中所绘示的组件描述。另外,为了更好地理解本公开的概念,图4将用作实例,其中图4绘示根据本公开的第一实施例所示出的应用情境。
首先,在步骤S310中,在跟踪状态中,处理器204控制图像捕获装置102以捕获特定对象400的第一图像IM1,其中多个发光元件装设于特定对象400上,且发光元件的至少一第一发光元件为开启且经捕获于第一图像IM1中。在图4中,可假设待跟踪特定对象400为具有多个表面的长方体,且各表面可装设/安装有对应的发光元件。
举例来说,发光元件411至发光元件416可装设于特定对象400的表面41上。发光元件421至发光元件425可装设于特定对象400的表面42上。类似地,特定对象400的其它表面可装设有对应的发光元件,但受限于图4的可视角度,可能无法观察到这些位于其它表面上的发光元件。
在图4中,假设仅有表面41对于图像捕获装置102为可见的,使得仅有表面41上的发光元件411至发光元件416可由图像捕获装置102捕获。也就是说,表面42上的发光元件421至发光元件425对图像捕获装置102为不可见的,但本公开不限于此。在此情况下,仅有发光元件411至发光元件416可经捕获于第一图像IM1中,而发光元件411至发光元件416可理解为发光元件的第一发光元件,但本公开不限于此。
接下来,在步骤S320中,处理器204基于第一图像IM1中发光元件的第一发光元件确定特定对象400的第一对象姿态。也就是说,处理器204可基于开启且捕获于第一图像IM1中的发光元件411至发光元件416而确定特定对象400的第一对象姿态。
在一些实施例中,处理器204已知特定对象400上的各发光元件的位置。在此情况下,处理器204可通过基于第一图像IM1中由发光元件411至发光元件416发出的光线的光线分布进行任何已知姿态检测算法(例如,由内向外(inside-out)跟踪和/或由外向内(outside-in)跟踪)来确定第一对象姿态,但本公开不限于此。
在步骤S330中,处理器204基于第一对象姿态获得发光元件的第二发光元件,其中所述至少一第二发光元件经估计为无法由图像捕获装置102捕获。
详细地说,由于第一对象姿态对于处理器204是已知的,因此处理器204可估计哪些发光元件对于图像捕获装置102是不可捕获的,且将这些不可捕获的发光元件视为第二发光元件。举例来说,基于图4中的第一对象姿态,处理器204将得知仅表面41上的发光元件411至发光元件416对于图像捕获装置102是可捕获的(即,可见的),而其它表面(例如,表面42)上的发光元件对于图像捕获装置102是不可捕获的(即,不可见的)。换句话说,除了表面41以外,其他表面上的发光元件不在图像捕获装置102的视线(line of sight)中。
因此,处理器204可将除了表面41以外的表面上的发光元件视为第二发光元件,但本公开不限于此。
接下来,在步骤S340中,处理器204关闭第二发光元件。在图4中,处理器204可关闭除了表面41以外的表面上的发光元件,例如发光元件421至发光元件425,使得各第二发光元件停止发出光线。在各种实施例中,对象跟踪装置200可还包含耦合到处理器204的无线通信电路,且处理器204可控制无线通信电路以将第一控制信号发送到各第二发光元件以关闭各第二发光元件。在其它实施例中,假设所有发光元件由一控制逻辑控制,那么处理器204可将第一要求信号发送到此控制逻辑以要求此控制逻辑关闭各第二发光元件,但本公开不限于此。
在一些实施例中,一些第二发光元件可能已经关闭,而处理器204可使用第一控制信号来保持其关闭,或请求控制逻辑保持其关闭,但本公开不限于此。
因此,在关闭第二发光元件之后可减少电力消耗。此外,由于各第二发光元件对于图像捕获装置102是不可见的,因此跟踪特定对象400的性能将不受影响。
在一些实施例中,如果图像捕获装置102为远离于特定对象400,那么在由图像捕获装置102捕获的图像中可能无法区分两个相邻发光元件的光线。举例来说,在图4中,当图像捕获装置102远离特定对象400时,相邻发光元件411和发光元件412的光线可能会被协同地捕获为第一图像IM1中的较大/模糊光点。类似地,表面41上的其它相邻发光元件将被协同地捕获为第一图像IM1中的其它较大光点。在此情况下,由于处理器204可能无法基于第一图像IM1中的较大/模糊光点适当地确定特定对象400的对象姿态,进而可能导致较差的跟踪性能。
因此,本公开的实施例还提供用于解决以上问题的机制,且将在下文中提供详细论述。
参见图5,其绘示根据本公开的第二实施例所示出的应用情境。在本公开的实施例中,第一发光元件可划分成第一群组和第二群组。举例来说,发光元件411至发光元件416(即,第一发光元件)可划分成第一群组G1和第二群组G2,其中第一群组G1可包含发光元件411、发光元件413以及发光元件415,且第二群组G2可包含发光元件412、发光元件414以及发光元件416,但本公开不限于此。
在一些实施例中,所有发光元件可预先划分成第一群组和第二群组。在此情况下,第一群组可示范性地包含发光元件411、发光元件413、发光元件415、发光元件421、发光元件423、发光元件425(以及其它表面上的一些发光元件)。第二群组可示范性地包含发光元件412、发光元件414、发光元件416、发光元件422、发光元件424(以及其它表面上的一些发光元件)。在其它实施例中,处理器204可先获得在第一图像IM1(即,第一发光元件)中捕获的发光元件,且接着将这些发光元件划分成第一群组G1和第二群组G2,但本公开不限于此。
在一个实施例中,处理器204可获得图像捕获装置102与特定对象400之间的对象距离D1。在一些实施例中,由于处理器204可基于特定对象400的第一对象姿态获得特定对象400的位置,而处理器204可据以估计对象距离D1。在一些实施例中,处理器204可将图像捕获装置102的位置视为坐标系统中的原点。在此情况下,在获得坐标系统中特定对象400的位置之后,处理器204可据以获得坐标系统中图像捕获装置102与特定对象400之间的距离作为对象距离D1,但本公开不限于此。
在一个实施例中,处理器204可确定对象距离D1是否大于第一距离阈值。在各种实施例中,第一距离阈值的值可基于设计者的需求而定。在一个实施例中,第一距离阈值的值可确定为处理器204无法在由图像捕获装置102捕获的图像中区分来自相邻发光元件的光的最小距离。举例来说,如果处理器204在对象距离D1大于80厘米时无法在所捕获图像中区分来自相邻发光元件的光线,那么第一距离阈值可确定为80厘米,但本公开不限于此。
在一个实施例中,响应于确定图像捕获装置102与特定对象400之间的对象距离D1大于第一距离阈值,处理器204可关闭第二群组G2中的发光元件(例如,发光元件412、发光元件414、发光元件416)。另一方面,响应于确定图像捕获装置102与特定对象400之间的对象距离D1不大于第一距离阈值,处理器204可保持第二群组G2中的发光元件(例如,发光元件412、发光元件414、发光元件416)开启。
在图5中,假设对象距离D1大于第一距离阈值,那么处理器204可关闭第二群组G2中的发光元件412、发光元件414以及发光元件416。因此,在由图像捕获装置102捕获的后续图像中,处理器204将能够区分第一群组G1中的发光元件411、发光元件413、发光元件415的光线,且据以确定特定对象400的对象姿态。
在一些实施例中,如果第一群组中的发光元件中的两个之间的距离太接近,那么处理器204将仍无法区分这些相邻发光元件的光线。因此,第一群组中的发光元件中的任两个之间的距离可设计成大于第二距离阈值。在一个实施例中,第二距离可确定为当对象距离D1大于第一距离阈值时,处理器204能够区分第一群组中的发光元件中的任两个的光线的最小距离,但本公开不限于此。
在特定对象400为可跟踪的一些实施例中,可进一步关闭一些第一发光元件以节省更多电力。具体来说,如果特定对象400的对象姿态未知,那么一个图像中所捕获的发光元件的数目需要大于一最小数量以供处理器204确定特定对象400的对象姿态。然而,一旦特定对象400已被跟踪(即,已知特定对象400的对象姿态),那么即使当所捕获的发光元件的数目少于所述最小数量时,处理器204仍能够跟踪特定对象400(此是因为特定对象400不大可能进行高速移动)。因此,当对象距离D1因过于接近而使得图像捕获装置102仅能捕获几个(其可少于上述最小数量)发光元件时,处理器204可关闭其它未捕获的发光元件以节省更多电力。
在一个实施例中,在跟踪状态中,响应于确定发光元件中仅至少一参考发光元件可由图像捕获装置102捕获且参考发光元件的数目小于所述最小数量,处理器204可关闭除了参考发光元件以外的其它发光元件,其中最小数量为用于确定特定对象400的对象姿态所需的发光元件的数量。
参见图6,其绘示根据本公开的图4所示出的应用情境。在图6中,假设对象跟踪装置200运作于跟踪状态(即,特定对象400为可跟踪的),且图像捕获装置102仅可捕获发光元件413和发光元件414。在此情况下,发光元件413和发光元件414可视为参考发光元件。因此,处理器204可进一步关闭发光元件411、发光元件412、发光元件415以及发光元件416。借此,可在不丢失特定对象400的跟踪的情况下节省更多电力。
在一个实施例中,响应于确定已丢失跟踪特定对象400,处理器204可从跟踪状态切换到搜索状态。在搜索状态中,处理器204可获得特定对象400上的发光元件的至少一特定发光元件,其中所述至少一特定发光元件恰好在特定对象400丢失跟踪之前为开启。接下来,处理器204可控制图像捕获装置102捕获预定数目的第二图像,且确定是否在第二图像中跟踪/找到特定对象400。
具体来说,由于特定对象400的对象姿态可能不会有显著变化,因此一旦丢失特定对象400的跟踪,那么在所述至少一特定发光元件开启的情况下,可更容易在随后捕获的图像(即,第二图像)中找到特定对象400。
在一个实施例中,响应于确定在第二图像中跟踪/找到特定对象400,处理器204可从搜索状态切换到跟踪状态。
另一方面,响应于确定未在第二图像中的任一个中跟踪到特定对象400,处理器204可开启所有发光元件,进而可增大跟踪到特定对象400的可能性。在一个实施例中,响应于确定特定对象400在图像捕获装置102的图像捕获范围内变为可跟踪的,处理器204可从搜索状态切换到跟踪状态。
在一个实施例中,处理器204可控制无线通信电路以将第二控制信号发送到所有发光元件以开启所有发光元件。在其它实施例中,处理器204可将第二要求信号发送到控制逻辑以要求控制逻辑开启所有发光元件,但本公开不限于此。
在一个实施例中,响应于确定特定对象400已改变为第二对象姿态,处理器204可基于第二对象姿态获得发光元件的至少一第三发光元件,其中所述至少一第三发光元件经估计为可由图像捕获装置102捕获。接下来,处理器204可开启至少一第三发光元件。
具体来说,当特定对象400的对象姿态已改变时,一些关闭的发光元件可能变得对于图像捕获装置102为可见的。因此,当特定对象400已改变为第二对象姿态时,处理器204可估计哪些发光元件当前对于图像捕获装置102为可见的,并将这些发光元件视为第三发光元件。因此,处理器204可开启第三发光元件以用于实现更好的跟踪性能,但本公开不限于此。
综上所述,本公开的实施例提供一种基于待跟踪的特定对象的对象姿态而自适应地关闭此待跟踪特定对象上的一些发光元件的机制。借此,可在不降低跟踪特定对象的性能的情况下减少电力消耗。
本领域的技术人员将显而易见,可在不脱离本发明的范围或精神的情况下对本发明的结构作出各种修改和变化。鉴于前文,希望本发明涵盖对本发明的修改和变化,条件是所述修改和变化在所附权利要求书及其等效物的范围内。
相关申请案的交叉引用
本申请主张2020年8月25日申请的美国临时申请案序列号63/069,728的优先权权益。上述专利申请案的全部内容特此以引用的方式并入本文中且成为本说明书的一部分。
Claims (20)
1.一种对象跟踪方法,适于对象跟踪装置,其特征在于,包括:
在跟踪状态中,控制图像捕获装置捕获特定对象的第一图像,其中多个发光元件装设于所述特定对象上,且所述多个发光元件的至少一第一发光元件为开启并经捕获于所述第一图像中;
基于所述第一图像中所述多个发光元件的所述至少一第一发光元件确定所述特定对象的第一对象姿态;
基于所述第一对象姿态获得所述多个发光元件的至少一第二发光元件,其中所述至少一第二发光元件经估计为无法由所述图像捕获装置捕获;以及
关闭所述至少一第二发光元件。
2.根据权利要求1所述的对象跟踪方法,其中所述至少一第一发光元件包括第一群组和第二群组,且所述方法还包括:
获得所述图像捕获装置与所述特定对象之间的对象距离;以及
响应于确定所述图像捕获装置与所述特定对象之间的所述对象距离大于第一距离阈值,关闭所述至少一第一发光元件的所述第二群组。
3.根据权利要求2所述的对象跟踪方法,其中所述第一群组中的所述多个发光元件中的任何两个之间的距离大于第二距离阈值。
4.根据权利要求2所述的对象跟踪方法,其中在关闭所述至少一第一发光元件的所述第二群组的步骤之后,所述方法还包括:
响应于确定所述图像捕获装置与所述特定对象之间的所述对象距离不大于所述第一距离阈值,保持所述至少一第一发光元件的所述第二群组开启。
5.根据权利要求1所述的对象跟踪方法,其中在所述对象跟踪装置的所述跟踪状态中,所述特定对象在所述图像捕获装置的图像捕获范围内为可跟踪的。
6.根据权利要求5所述的对象跟踪方法,还包括:
在所述跟踪状态中,响应于确定所述多个发光元件中仅有至少一参考发光元件可由所述图像捕获装置捕获且所述至少一参考发光元件的数目小于最小数量,关闭除了所述至少一参考发光元件以外的其它发光元件,其中所述最小数量为用于确定所述特定对象的对象姿态所需的所述多个发光元件的数量。
7.根据权利要求1所述的对象跟踪方法,还包括:
响应于确定所述特定对象已丢失跟踪,从所述跟踪状态切换到搜索状态;
在所述搜索状态中,获得所述多个发光元件的至少一特定发光元件,其中所述至少一特定发光元件在所述特定对象丢失跟踪之前为开启;
控制所述图像捕获装置捕获预定数目的第二图像;以及
响应于确定在所述多个第二图像中跟踪到所述特定对象,从所述搜索状态切换到所述跟踪状态。
8.根据权利要求7所述的对象跟踪方法,还包括:
响应于确定未在所述多个第二图像中的任一个中跟踪到所述特定对象,将所述多个发光元件全部开启。
9.根据权利要求8所述的对象跟踪方法,其中在将所述多个发光元件全部开启的步骤之后,所述方法还包括:
响应于确定所述特定对象在所述图像捕获装置的图像捕获范围内变为可跟踪的,从所述搜索状态切换到所述跟踪状态。
10.根据权利要求1所述的对象跟踪方法,还包括:
响应于确定所述特定对象已改变为第二对象姿态,基于所述第二对象姿态获得所述多个发光元件的至少一第三发光元件,其中所述至少一第三发光元件经估计为可由所述图像捕获装置捕获;以及
开启所述至少一第三发光元件。
11.一种对象跟踪装置,其特征在于,包括:
存储电路,存储程序代码;以及
处理器,耦合到所述存储电路且存取所述程序代码以执行:
在跟踪状态中,控制图像捕获装置捕获特定对象的第一图像,其中多个发光元件装设于所述特定对象上,且所述多个发光元件的至少一第一发光元件为开启并经捕获于所述第一图像中;
基于所述第一图像中所述多个发光元件的所述至少一第一发光元件确定所述特定对象的第一对象姿态;
基于所述第一对象姿态获得所述多个发光元件的至少一第二发光元件,其中所述至少一第二发光元件经估计为无法由所述图像捕获装置捕获;以及
关闭所述至少一第二发光元件。
12.根据权利要求11所述的对象跟踪装置,其中所述至少一第一发光元件包括第一群组和第二群组,且所述处理器还执行:
获得所述图像捕获装置与所述特定对象之间的对象距离;以及
响应于确定所述图像捕获装置与所述特定对象之间的所述对象距离大于第一距离阈值,关闭所述至少一第一发光元件的所述第二群组。
13.根据权利要求12所述的对象跟踪装置,其中所述第一群组中的所述多个发光元件中的任何两个之间的距离大于第二距离阈值。
14.根据权利要求12所述的对象跟踪装置,其中在关闭所述至少一第一发光元件的所述第二群组之后,所述处理器还执行:
响应于确定所述图像捕获装置与所述特定对象之间的所述对象距离不大于所述第一距离阈值,保持所述至少一第一发光元件的所述第二群组开启。
15.根据权利要求11所述的对象跟踪装置,其中在所述对象跟踪装置的所述跟踪状态中,所述特定对象在所述图像捕获装置的图像捕获范围内为可跟踪的。
16.根据权利要求15所述的对象跟踪装置,其中所述处理器还执行:
在所述跟踪状态中,响应于确定所述多个发光元件中仅有至少一参考发光元件可由所述图像捕获装置捕获且所述至少一参考发光元件的数目小于最小数量,关闭除了所述至少一参考发光元件以外的其它发光元件,其中所述最小数量为用于确定所述特定对象的对象姿态所需的所述多个发光元件的数量。
17.根据权利要求11所述的对象跟踪装置,其中所述处理器还执行:
响应于确定所述特定对象已丢失跟踪,从所述跟踪状态切换到搜索状态;
在所述搜索状态中,获得所述多个发光元件的至少一特定发光元件,其中所述至少一特定发光元件在所述特定对象丢失跟踪之前为开启;
控制所述图像捕获装置捕获预定数目的第二图像;以及
响应于确定在所述多个第二图像中跟踪到所述特定对象,从所述搜索状态切换到所述跟踪状态。
18.根据权利要求17所述的对象跟踪装置,其中所述处理器还执行:
响应于确定未在所述多个第二图像中的任一个中跟踪到所述特定对象,将所述多个发光元件全部开启。
19.根据权利要求18所述的对象跟踪装置,其中在将所述多个发光元件全部开启之后,所述处理器还执行:
响应于确定所述特定对象在所述图像捕获装置的图像捕获范围内变为可跟踪的,从所述搜索状态切换到所述跟踪状态。
20.根据权利要求11所述的对象跟踪装置,其中所述处理器还执行:
响应于确定所述特定对象已改变为第二对象姿态,基于所述第二对象姿态获得所述多个发光元件的至少一第三发光元件,其中所述至少一第三发光元件经估计为可由所述图像捕获装置捕获;以及
开启所述至少一第三发光元件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063069728P | 2020-08-25 | 2020-08-25 | |
US63/069,728 | 2020-08-25 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410254946.4A Division CN118138744A (zh) | 2020-08-25 | 2021-08-25 | 对象跟踪方法和对象跟踪装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114115517A true CN114115517A (zh) | 2022-03-01 |
CN114115517B CN114115517B (zh) | 2024-04-02 |
Family
ID=80356856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110981040.9A Active CN114115517B (zh) | 2020-08-25 | 2021-08-25 | 对象跟踪方法和对象跟踪装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220067949A1 (zh) |
CN (1) | CN114115517B (zh) |
TW (1) | TWI786784B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6244703B1 (en) * | 1999-03-16 | 2001-06-12 | Nathaniel Resnikoff | Method and apparatus for calibration of an electronic vision device |
CN1794010A (zh) * | 2005-12-19 | 2006-06-28 | 北京威亚视讯科技有限公司 | 位置姿态跟踪系统 |
US20060252541A1 (en) * | 2002-07-27 | 2006-11-09 | Sony Computer Entertainment Inc. | Method and system for applying gearing effects to visual tracking |
CN102449641A (zh) * | 2009-05-30 | 2012-05-09 | 索尼电脑娱乐公司 | 用于对象跟踪的颜色校准 |
US20140071103A1 (en) * | 2012-09-12 | 2014-03-13 | Pixart Imaging Incorporation | Object Tracking Apparatus and Control Method Thereof |
US20150193934A1 (en) * | 2013-04-26 | 2015-07-09 | Panasonic Intellectual Property Corporation Of America | Motion sensor apparatus having a plurality of light sources |
CN106599929A (zh) * | 2016-12-22 | 2017-04-26 | 深圳市虚拟现实技术有限公司 | 虚拟现实特征点筛选空间定位方法 |
CN110612506A (zh) * | 2017-05-09 | 2019-12-24 | 微软技术许可有限责任公司 | 立体相机和手持对象的校准 |
US20200191943A1 (en) * | 2015-07-17 | 2020-06-18 | Origin Wireless, Inc. | Method, apparatus, and system for wireless object tracking |
US20200201045A1 (en) * | 2018-12-21 | 2020-06-25 | Microsoft Technology Licensing, Llc | Controlling light source intensities on optically trackable object |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8836483B2 (en) * | 2011-10-05 | 2014-09-16 | Chip Goal Electronic Corporation, R.O.C. | Optical remote control system and light source control method therefor |
US10402959B2 (en) * | 2014-11-05 | 2019-09-03 | Illinois Tool Works Inc. | System and method of active torch marker control |
US10456685B2 (en) * | 2015-04-14 | 2019-10-29 | Nintendo Co., Ltd. | Identifying and tracking objects via lighting patterns |
US10532277B2 (en) * | 2015-06-11 | 2020-01-14 | Facebook Technologies, Llc | Hand-held controllers with light-emitting diodes synchronized to an external camera |
TWI682326B (zh) * | 2017-07-24 | 2020-01-11 | 宏達國際電子股份有限公司 | 追蹤系統及其方法 |
-
2021
- 2021-08-16 US US17/402,626 patent/US20220067949A1/en active Pending
- 2021-08-24 TW TW110131301A patent/TWI786784B/zh active
- 2021-08-25 CN CN202110981040.9A patent/CN114115517B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6244703B1 (en) * | 1999-03-16 | 2001-06-12 | Nathaniel Resnikoff | Method and apparatus for calibration of an electronic vision device |
US20060252541A1 (en) * | 2002-07-27 | 2006-11-09 | Sony Computer Entertainment Inc. | Method and system for applying gearing effects to visual tracking |
CN1794010A (zh) * | 2005-12-19 | 2006-06-28 | 北京威亚视讯科技有限公司 | 位置姿态跟踪系统 |
CN102449641A (zh) * | 2009-05-30 | 2012-05-09 | 索尼电脑娱乐公司 | 用于对象跟踪的颜色校准 |
US20140071103A1 (en) * | 2012-09-12 | 2014-03-13 | Pixart Imaging Incorporation | Object Tracking Apparatus and Control Method Thereof |
US20150193934A1 (en) * | 2013-04-26 | 2015-07-09 | Panasonic Intellectual Property Corporation Of America | Motion sensor apparatus having a plurality of light sources |
US20200191943A1 (en) * | 2015-07-17 | 2020-06-18 | Origin Wireless, Inc. | Method, apparatus, and system for wireless object tracking |
CN106599929A (zh) * | 2016-12-22 | 2017-04-26 | 深圳市虚拟现实技术有限公司 | 虚拟现实特征点筛选空间定位方法 |
CN110612506A (zh) * | 2017-05-09 | 2019-12-24 | 微软技术许可有限责任公司 | 立体相机和手持对象的校准 |
US20200201045A1 (en) * | 2018-12-21 | 2020-06-25 | Microsoft Technology Licensing, Llc | Controlling light source intensities on optically trackable object |
Also Published As
Publication number | Publication date |
---|---|
US20220067949A1 (en) | 2022-03-03 |
TW202209864A (zh) | 2022-03-01 |
TWI786784B (zh) | 2022-12-11 |
CN114115517B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810456B2 (en) | Apparatus and methods for saliency detection based on color occurrence analysis | |
US9317744B2 (en) | Device and method for determining gesture and operation method of gesture determining device | |
WO2013061504A1 (en) | Image processing apparatus, image processing method, and program | |
US20170315519A1 (en) | Systems and methods to operate controllable devices with gestures and/or noises | |
US8928626B2 (en) | Optical navigation system with object detection | |
US9958961B2 (en) | Optical pointing system | |
US9435646B2 (en) | Displacement detection device and operating method thereof | |
US7853080B2 (en) | System and method for identifying and labeling cluster pixels in a frame of image data for optical navigation | |
US9058064B2 (en) | Interactive image system, interactive control device and operation method thereof | |
CN110297545B (zh) | 手势控制方法、手势控制装置和系统、以及存储介质 | |
CN114115517B (zh) | 对象跟踪方法和对象跟踪装置 | |
CN109218692A (zh) | 用于受控阴影投射以增加被投影内容的感知质量的方法和装置 | |
CN118138744A (zh) | 对象跟踪方法和对象跟踪装置 | |
US9275610B2 (en) | Object tracking apparatus and control method thereof | |
CN108181989B (zh) | 基于视频数据的手势控制方法及装置、计算设备 | |
CN114286004A (zh) | 对焦方法、拍摄装置、电子设备及介质 | |
US20220317771A1 (en) | Method for tracking trackers and host | |
Hiruma et al. | Guided visual attention model based on interactions between top-down and bottom-up information for robot pose prediction | |
CN103566587B (zh) | 遥控装置及交互系统的省电方法 | |
US10867399B2 (en) | Image processing circuit for convolutional neural network | |
TWI825730B (zh) | 管理追蹤裝置的方法、裝置管理器及電腦可讀儲存媒體 | |
TWI694413B (zh) | 影像處理電路 | |
CN114500823B (zh) | 跟踪可移动对象的方法、跟踪装置 | |
CN114846296A (zh) | 使用能够与设备一起运输的传感器进行定位 | |
CN117170351A (zh) | 姿态校正的方法和主机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |