CN109388132B - 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质 - Google Patents

用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质 Download PDF

Info

Publication number
CN109388132B
CN109388132B CN201710655313.4A CN201710655313A CN109388132B CN 109388132 B CN109388132 B CN 109388132B CN 201710655313 A CN201710655313 A CN 201710655313A CN 109388132 B CN109388132 B CN 109388132B
Authority
CN
China
Prior art keywords
time point
sampling time
track sampling
track
candidate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710655313.4A
Other languages
English (en)
Other versions
CN109388132A (zh
Inventor
杨旸
王炜
王琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN201710655313.4A priority Critical patent/CN109388132B/zh
Publication of CN109388132A publication Critical patent/CN109388132A/zh
Application granted granted Critical
Publication of CN109388132B publication Critical patent/CN109388132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

本发明涉及用于动作跟踪的方法、装置和设备，该方法包括：使用在任一轨迹采样时间点的前一轨迹采样时间点和该任一轨迹采样时间点处所拍摄的图像来计算在该任一轨迹采样时间点处对象的第一候选位置；基于在该前一轨迹采样时间点处对象的实际位置和在该任一和前一轨迹采样时间点之间收到的线性加速度信号和角加速信号，计算在该任一轨迹采样时间点处对象的第二候选位置，其中，加速度计信号和角加速度信号分别指示对象的线性加速度和角加速度；基于在该任一轨迹采样时间点处对象的第一和第二候选位置，确定在该任一轨迹采样时间点处对象的实际位置。利用该方法、装置和设备，能够以较低的成本取得较好的轨迹跟踪性能。

Description

用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读 介质
技术领域
本发明涉及轨迹跟踪领域，尤其涉及用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质。
背景技术
轨迹跟踪技术方案用于跟踪被监测对象的运动轨迹，其在医疗康复、体育训练和游戏等领域有广泛的应用。轨迹跟踪技术方案分成两类：基于基础设施的轨迹跟踪技术方案和基于可穿戴设备的轨迹跟踪技术方案。
基于基础设施的轨迹跟踪技术方案包括光学动作跟踪技术方案(例如，微软的体感设备Kinect、索尼的动态控制器PlayStation Move、体感控制器Leap Motion等)、声纳动作跟踪技术方案和电磁场动作跟踪技术方案(例如游戏控制器Razer Hydra)，其需要部署不同的基础设施来实现对象轨迹跟踪。例如，光学轨迹跟踪技术方案需要在被监测对象前安装摄像机或红外接收机，或者需要在被监测对象上附着标记。声纳轨迹跟踪技术方案和电磁场轨迹跟踪技术方案需要安装发射器和接收器阵列。基于基础设施的轨迹跟踪技术方案具有较好的轨迹跟踪性能，但由于需要部署基础设施，因此其成本较高。
基于可穿戴设备的轨迹跟踪技术方案通过在在被监测对象上佩戴诸如惯性传感器(例如，加速度计、陀螺仪等)和光纤传感器等这样的传感器来跟踪被监测对象的轨迹。基于可穿戴设备的轨迹跟踪技术方案不能得到被监测对象的全局位置，只能计算相对位置来跟踪对象的轨迹，从而其轨迹跟踪性能不如基于基础设施的轨迹跟踪技术方案。但是，由于传感器的特性，基于可穿戴设备的轨迹跟踪技术方案具有较低的成本。
发明内容
本发明的实施例提供用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质，其能够以较低的成本取得较好的轨迹跟踪性能。
按照本发明的实施例的一种用于动作跟踪的设备，包括：环境信息采集单元，用于在各个轨迹采样时间点处拍摄图像；加速度计，用于以第一时间间隔周期地输出线性加速度信号，其指示佩戴所述设备的对象的线性加速度；陀螺仪，用于以第二时间间隔周期地输出角加速度信号，其指示所述对象的角加速度；以及，控制单元，耦合到所述环境信息采集单元、所述加速度计和所述陀螺仪，用于：对于所述各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所述环境信息采集单元所拍摄的图像来计算在所述任一轨迹采样时间点处所述对象的第一候选位置；基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速度信号和所述角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置；以及，基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
按照本发明的实施例的一种用于动作跟踪的方法，包括：对于各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置；基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度；以及，基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
按照本发明的实施例的一种用于动作跟踪的装置，包括：第一计算模块，用于对于各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置；第二计算模块，用于基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度；以及，确定模块，用于基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
按照本发明的实施例的一种控制单元，包括：处理器；以及，存储器，其存储有可执行指令，所述可执行指令当被执行时使得所述处理器执行前述的方法。
按照本发明的实施例的一种机器可读介质，其存储有可执行指令，所述可执行指令当被执行时使得机器执行前述的方法。
从以上可以看出，本发明的实施例的方案仅使用环境信息采集单元、加速度计和陀螺仪来跟踪对象的轨迹，并不需要发射器和接收器阵列或者安装在对象前的摄像机或红外接收机等这样的基础设施，从而与现有的基于基础设施的轨迹跟踪技术方案相比，本发明的实施例的方案减少了成本。此外，本发明的实施例的方案综合利用基于加速度计和陀螺仪输出的信号获取的对象的位置和基于环境信息采集单元拍摄的图像计算的对象的位置两者来计算对象的实际位置，因而，与现有的基于可穿戴设备的动作跟踪技术方案相比，本发明的实施例的方案的轨迹跟踪性能更好。
附图说明
本发明的特征、特点、优点和益处通过以下结合附图的详细描述将变得显而易见。
图1示出了按照本发明的一个实施例的用于轨迹跟踪的设备的架构示意图。
图2示出了按照本发明的一个实施例的用于轨迹跟踪的方法的流程图。
图3示出了按照本发明的一个实施例的用于轨迹跟踪的设备的示意图。
图4示出了按照本发明的一个实施例的用于轨迹跟踪的方法的流程图。
图5示出了按照本发明的一个实施例的用于轨迹跟踪的装置的示意图。
图6示出了按照本发明的一个实施例的控制单元的示意图。
具体实施方式
下面，结合附图详细描述本发明的各个实施例。
图1示出了按照本发明的一个实施例的用于轨迹跟踪的设备的示意图。图1所示的用于轨迹跟踪的设备10可以配戴在诸如人的手腕、人的胳膊、动物身体或任何其它可移动的对象O上以跟踪对象O的运动轨迹。设备10通过计算在一系列轨迹采样时间点处对象O的位置来实现对象O的运动轨迹跟踪。
如图1所示，设备10可以包括作为环境信息采集单元的单目摄像头20、惯性测量单元30和控制单元40。控制单元40分别与位置确定单元20和惯性测量单元30连接。
单目摄像头20以采样率f1(或以时间间隔P1(P1＝1/f1))在各个轨迹采样时间点处拍摄图像并输出给控制单元40。
惯性测量单元30包括加速度计和陀螺仪。惯性测量单元30的加速度计以采样率f2(或以时间间隔P2(P2＝1/f2))周期地采样对象O的线性加速度并向控制单元40输出用于指示对象O的线性加速度的线性加速度信号。惯性测量单元30的陀螺仪以采样率f3(或以时间间隔P3(P3＝1/f3))周期地检测对象O的角加速度并控制单元40输出用于指示对象O的角加速度的角加速度信号。采样率f2和f3大于或等于采样率f1。采样率f2和f3可以相同或不同。
每当从惯性测量单元30接收到一个加速度计信号，控制单元40就存储该加速度计信号及其接收时间，其中，该接收时间指控制单元40接收到该加速度计信号的时间。
每当从惯性测量单元30接收到一个陀螺仪信号，控制单元40就存储该陀螺仪信号及其接收时间，其中，该接收时间指控制单元40接收到该陀螺仪信号的时间。
对于每一个轨迹采样时间点Tr(i)，控制单元40利用基于单目视觉的同时定位和地图创建(SLAM)算法，使用在轨迹采样时间点Tr(i)的前一个轨迹采样时间点Tr(i-1)和轨迹采样时间点Tr(i)处单目摄像头20所拍摄的图像来计算在轨迹采样时间点Tr(i)处对象O的候选位置L(i)。接着，控制单元40基于在轨迹采样时间点Tr(i-1)处对象O的实际位置以及在轨迹采样时间点Tr(i)和轨迹采样时间点Tr(i-1)之间接收到的加速度计信号和角加速信号，计算在轨迹采样时间点Tr(i)处对象O的候选位置S(i)。然后，控制单元40基于在轨迹采样时间点Tr(i)处对象O的候选位置S(i)和候选位置L(i)，确定在轨迹采样时间点Tr(i)处对象O的实际位置。在获得在每一个轨迹采样时间点Tr(i)处对象O的实际位置之后，就实现了对象O的运动轨迹跟踪。
图2示出了按照本发明的一个实施例的用于轨迹跟踪的方法的流程图。下面结合图1所示的配戴在对象O上的设备10来详细说明图2的方法200。
在方框202，每当从惯性测量单元30的加速度计接收到一个加速度计信号，设备10的控制单元40就存储该加速度计信号及其接收时间。
在方框204，每当从惯性测量单元30的陀螺仪接收到一个陀螺仪信号，设备10的控制单元40就存储该陀螺仪信号及其接收时间。
在方框206，当从单目摄像头20接收到在一个轨迹采样时间点Tr(j)处拍摄的图像时，控制单元40利用基于单目视觉的SLAM算法，使用在轨迹采样时间点Tr(j)的前一个轨迹采样时间点Tr(j-1)处单目摄像头20所拍摄的图像和在轨迹采样时间点Tr(j)处单目摄像头20所拍摄的图像来计算在轨迹采样时间点Tr(j)处对象O的候选位置L(i)。由于利用基于单目视觉的SLAM算法来计算对象的位置是公知技术，因此，在此省略对其的详细描述。
在方框207，控制单元40从所存储的加速度计信号和陀螺仪信号中检索出其接收时间落入在轨迹采样时间点Tr(j-1)和轨迹采样时间点Tr(j)之间的加速度计信号和陀螺仪信号。
在方框208，控制单元40使用方框207所检索得到的各个陀螺仪信号所指示的对象O的角加速度以及惯性测量单元30的陀螺仪采样的时间间隔P2的时间长度，计算对象O的相对运动方向。例如，将方框206所检索得到的各个陀螺仪信号所指示的对象O的角加速度分别在时间间隔P2的时间长度上进行积分运算并求和以获得一个角度，然后把所获得的角度作为对象O的相对运动方向。
在方框210，控制单元40计算方框208所计算的相对运动方向与在轨迹采样时间点Tr(j-1)处对象O的绝对运动方向加权，作为在轨迹采样时间点Tr(j)处对象O的绝对运动方向。
在方框212，控制单元40使用方框207所检索得到的各个加速度计信号所指示的对象O的线性加速度以及惯性测量单元30的加速度计采样的时间间隔P1的时间长度，计算在轨迹采样时间点Tr(j)处对象O的绝对运动方向上相对于在轨迹采样时间点Tr(j-1)处对象O的实际位置A(j-1)对象O的位移。例如，将方框207所检索得到的各个加速度计信号所指示的对象O的线性加速度分别在时间间隔P1的时间长度上进行积分运算并求和以获得一个位移值，作为在轨迹采样时间点Tr(j)处对象O的绝对运动方向上相对于在轨迹采样时间点Tr(j-1)处对象O的实际位置对象O的位移。
在方框214，控制单元40利用在轨迹采样时间点Tr(j-1)处对象O的实际位置和方框212中所计算的对象O的位移，计算得到在轨迹采样时间点Tr(j)处对象O的候选位置S(j)。
在方框216，控制单元40计算方框206中所计算的候选位置L(j)和方框214中所计算的候选位置S(j)的加权求和之值，作为在轨迹采样时间点Tr(j)处对象O的实际位置A(j)。
如果方法200还未结束，则流程返回方框206，以计算在下一个轨迹采样时间点Tr(j+1)处对象O的候选位置L(j+1)。
从以上的描述可以看出，在本实施例中，仅使用单目摄像头、加速度计和陀螺仪来跟踪对象的轨迹，并不需要发射器和接收器阵列或者安装在对象前的摄像机或红外接收机等这样的基础设施，从而与现有的基于基础设施的轨迹跟踪技术方案相比，本实施例的方案减少了成本。此外，在本实施例中，综合利用基于加速度计和陀螺仪输出的信号获取的对象的位置以及基于利用单目摄像头拍摄的图像获取的对象的位置两者来计算对象的实际位置，因而，与现有的基于可穿戴设备的轨迹跟踪技术方案相比，本实施例的方案的轨迹跟踪性能更好。
此外，在本实施例中，对象的实际位置是综合利用基于加速度计和陀螺仪输出的信号获取的对象的位置以及基于利用单目摄像头拍摄的图像获取的对象的位置两者来计算的，因此，即使基于加速度计和陀螺仪输出的信号获取的对象的位置和基于利用单目摄像头拍摄的图像获取的对象的位置的其中一个丢失了，控制单元也能利用没有丢失的另一个来计算对象的实际位置，从而提到了系统的鲁棒性和稳定性。
其它变型
本领域技术人员应当理解，虽然在上面的实施例中，控制单元40利用基于单目视觉的SLAM算法来计算在各个轨迹采样时间点处对象O的候选位置，然而，本发明并不局限于此。在本发明的其它一些实施例中，控制单元40也可以利用除了基于单目视觉的SLAM算法之外的其它合适的算法来计算在各个轨迹采样时间点处对象O的候选位置。
本领域技术人员应当理解，虽然在上面的实施例中，在轨迹采样时间点Tr(j)处对象O的实际位置A(j)是方框206中计算的候选位置L(j)和方框214中计算的候选位置S(j)的加权求和之值，然而，本发明并不局限于此。在本发明的其它一些实施例中，在轨迹采样时间点Tr(j)处对象O的实际位置A(j)可以利用方框206中计算的候选位置L(j)和方框214中计算的候选位置S(j)使用其它合适的方式来计算。例如但不局限于，可以根据在轨迹采样时间点Tr(j-1)和轨迹采样时间点Tr(j)之间的加速度计信号所指示的对象O的线性加速度来判断在轨迹采样时间点Tr(j-1)和轨迹采样时间点Tr(j)之间对象O是高速运动还是低速运动；如果对象O是高速运动，则把方框214中计算的候选位置S(j)作为在轨迹采样时间点Tr(j)处对象O的实际位置A(j)，或者，仍然使用方框206中计算的候选位置L(j)和方框214中计算的候选位置S(j)的加权求和之值作为在轨迹采样时间点Tr(j)处对象O的实际位置A(j)但方框214中计算的候选位置S(j)所占的权重更大；如果对象O是低速运动，则把方框206中计算的候选位置L(j)作为在轨迹采样时间点Tr(j)处对象O的实际位置A(j)，或者，仍然使用方框206中计算的候选位置L(j)和方框214中计算的候选位置S(j)的加权求和之值作为在轨迹采样时间点Tr(j)处对象O的实际位置A(j)但方框206中计算的候选位置L(j)所占的权重更大。
本领域技术人员应当理解，虽然在上面的实施例中，设备10使用惯性测量单元30来提供线性加速度信号和角加速度信号，然而，本发明并不局限于此。在本发明的其它一些实施例中，设备10可以不包括惯性测量单元30，而是直接包括加速度计和陀螺仪来提供线性加速度信号和角加速度信号。
本领域技术人员应当理解，虽然在上面的实施例中，用于在各个轨迹采样时间点处拍摄图像的环境信息采集单元是单目摄像头20，然而，本发明并不局限于此。在本发明的其它一些实施例中，用于在各个轨迹采样时间点处拍摄图像的环境信息采集单元也可以是除了单目摄像头20之外的其它合适设备，例如双目摄像头、深度摄像头、ToF传感器等。
图3示出了按照本发明的一个实施例的用于动作跟踪的设备的示意图。如图3所示，用于动作跟踪的设备300包括环境信息采集单元302、加速度计304、陀螺仪306和控制单元308。
环境信息采集单元302用于在各个轨迹采样时间点处拍摄图像。加速度计304用于以第一时间间隔周期地输出线性加速度信号，其指示佩戴设备300的对象的线性加速度。陀螺仪306用于以第二时间间隔周期地输出角加速度信号，其指示所述对象的角加速度。控制单元308耦合到环境信息采集单元302、加速度计304和陀螺仪306，用于：对于所述各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所述环境信息采集单元所拍摄的图像来计算在所述任一轨迹采样时间点处所述对象的第一候选位置；基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速度信号和所述角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置；以及，基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
在一个方面，所述计算在所述任一轨迹采样时间点处所述对象的第二候选位置包括：利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向；利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向；利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移；以及，利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置。
在另一个方面，所述确定在所述任一轨迹采样时间点处所述对象的实际位置包括：计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
在又一个方面，控制单元308利用基于单目视觉的同时定位和地图创建算法，使用在所述前一轨迹采样时间点和所述任一轨迹采样时间点处环境信息采集单元302所拍摄的图像来计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置。
在再一个方面，加速度计304和陀螺仪306集成在惯性测量单元中。
图4示出了按照本发明的一个实施例的用于动作跟踪的方法的流程图。图4所示的方法400可以例如但不局限于由控制单元50或308来实现。
如图4所示，方法400可以包括，在方框402，对于各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置。
方法400还可以包括，在方框404，基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度。
方法400还可以包括，在方框406，基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
在一个方面，所述线性加速度信号是加速度计以第一时间间隔周期地提供的，以及，所述角加速信号是陀螺仪以第二时间间隔周期地提供的，其中，方框404包括：利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向；利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向；利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移；以及，利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置。
在另一个方面，方框406包括：计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
在又一个方面，在所述任一轨迹采样时间点处所述对象的所述第一候选位置是利用基于单目视觉的同时定位和地图创建算法，使用在所述前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像而计算的。
图5示出了按照本发明的一个实施例的用于动作跟踪的装置的示意图。图5所示的用于动作跟踪的装置500可以利用软件、硬件或软硬件结合的方式来实现，并且，例如但不局限于可以安装在控制单元50或308中。
如图5所示，装置500可以包括第一计算模块502、第二计算模块504和确定模块506。第一计算模块502用于对于所述各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置。第二计算模块504用于基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度。确定模块506用于基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
在一个方面，所述线性加速度信号是加速度计以第一时间间隔周期地提供的，以及，所述角加速信号是陀螺仪以第二时间间隔周期地提供的，其中，第二计算模块504包括：用于利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向的模块；用于利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向的模块；用于利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移的模块；以及，用于利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置的模块。
在另一个方面，确定模块506进一步用于：计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
在又一个方面，在所述任一轨迹采样时间点处所述对象的所述第一候选位置是利用基于单目视觉的同时定位和地图创建算法，使用在所述前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像而计算的。
图6示出了按照本发明的一个实施例的控制单元的示意图。如图5所示，控制单元600可以包括处理器602和存储器604。其中，存储器604存储有可执行指令，所述可执行指令当被执行时使得处理器602执行图4所示的方法400。
本发明的实施例还提供一种机器可读介质，其存储有可执行指令，所述可执行指令当被执行时使得机器执行图4所示的方法400。
本领域技术人员将理解，本发明所公开的各个实施例可以在不偏离发明实质的情况下做出各种变形、修改和/或调整，这些变形、修改和/或调整都落在本发明的保护范围之内。因此，本发明的保护范围由所附的权利要求书来定义。

Claims (15)

1.一种用于轨迹跟踪的设备，包括：
环境信息采集单元，用于在各个轨迹采样时间点处拍摄图像；
加速度计，用于以第一时间间隔周期地输出线性加速度信号，其指示佩戴所述设备的对象的线性加速度；
陀螺仪，用于以第二时间间隔周期地输出角加速度信号，其指示所述对象的角加速度；以及
控制单元，耦合到所述环境信息采集单元、所述加速度计和所述陀螺仪，用于：对于所述各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所述环境信息采集单元所拍摄的图像来计算在所述任一轨迹采样时间点处所述对象的第一候选位置；基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速度信号和所述角加速度信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置；以及，基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
2.如权利要求1所述的设备，其中，所述计算在所述任一轨迹采样时间点处所述对象的第二候选位置包括：
利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速度信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向；
利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向；
利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移；以及
利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置。
3.如权利要求1所述的设备，其中，所述确定在所述任一轨迹采样时间点处所述对象的实际位置包括：
计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
4.如权利要求1所述的设备，其中，所述控制单元利用基于单目视觉的同时定位和地图创建算法，使用所述前一轨迹采样时间点和所述任一轨迹采样时间点处所述环境信息采集单元所拍摄的图像来计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置。
5.如权利要求1所述的设备，其中，所述加速度计和所述陀螺仪集成在惯性测量单元中。
6.一种用于轨迹跟踪的方法，包括：
对于各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置；
基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速度信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度；以及，
基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
7.如权利要求6所述的方法，其中，
所述线性加速度信号是加速度计以第一时间间隔周期地提供的，以及，所述角加速度信号是陀螺仪以第二时间间隔周期地提供的，
其中，所述计算在所述任一轨迹采样时间点处所述对象的第二候选位置包括：
利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速度信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向；
利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向；
利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移；以及
利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置。
8.如权利要求6所述的方法，其中，所述确定在所述任一轨迹采样时间点处所述对象的实际位置包括：
计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
9.如权利要求6所述的方法，其中，在所述任一轨迹采样时间点处所述对象的所述第一候选位置是利用基于单目视觉的同时定位和地图创建算法，使用在所述前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像而计算的。
10.一种用于轨迹跟踪的装置，包括：
第一计算模块，用于对于各个轨迹采样时间点中的任一轨迹采样时间点，使用在所述任一轨迹采样时间点的前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像来计算在所述任一轨迹采样时间点处对象的第一候选位置；
第二计算模块，用于基于在所述前一轨迹采样时间点处所述对象的实际位置以及在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的加速度计信号和角加速度信号，计算在所述任一轨迹采样时间点处所述对象的第二候选位置，其中，所述加速度计信号指示所述对象的线性加速度，以及，所述角加速度信号指示所述对象的角加速度；以及，
确定模块，用于基于在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置，确定在所述任一轨迹采样时间点处所述对象的实际位置。
11.如权利要求10所述的装置，其中，
所述线性加速度信号是加速度计以第一时间间隔周期地提供的，以及，所述角加速度信号是陀螺仪以第二时间间隔周期地提供的，
其中，所述第二计算模块包括：
用于利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述角加速度信号所指示的角加速度和所述第二时间间隔的时间长度，计算所述对象的相对运动方向的模块；
用于利用在所述前一轨迹采样时间点处所述对象的绝对运动方向和所述相对运动方向，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向的模块；
用于利用在所述任一轨迹采样时间点和所述前一轨迹采样时间点之间接收到的所述线性加速信号所指示的线性加速度和所述第一时间间隔的时间长度，计算在所述任一轨迹采样时间点处所述对象的绝对运动方向上相对于在所述前一轨迹采样时间点处所述对象的实际位置所述对象的位移的模块；以及
用于利用在所述前一轨迹采样时间点处所述对象的实际位置和所述位移，计算在所述任一轨迹采样时间点处所述对象的所述第二候选位置的模块。
12.如权利要求10所述的装置，其中，
所述确定模块进一步用于：计算在所述任一轨迹采样时间点处所述对象的所述第一候选位置和所述第二候选位置的加权求和值，作为在所述任一轨迹采样时间点处所述对象的实际位置。
13.如权利要求10所述的装置，其中，在所述任一轨迹采样时间点处所述对象的所述第一候选位置是利用基于单目视觉的同时定位和地图创建算法，使用在所述前一轨迹采样时间点和所述任一轨迹采样时间点处所拍摄的图像而计算的。
14.一种控制单元，包括：
处理器；以及
存储器，其存储有可执行指令，所述可执行指令当被执行时使得所述处理器执行权利要求6-9中的任意一个所述的方法。
15.一种机器可读介质，其存储有可执行指令，所述可执行指令当被执行时使得机器执行权利要求6-9中的任意一个所述的方法。
CN201710655313.4A 2017-08-03 2017-08-03 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质 Active CN109388132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710655313.4A CN109388132B (zh) 2017-08-03 2017-08-03 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710655313.4A CN109388132B (zh) 2017-08-03 2017-08-03 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质

Publications (2)

Publication Number Publication Date
CN109388132A CN109388132A (zh) 2019-02-26
CN109388132B true CN109388132B (zh) 2024-03-19

Family

ID=65412047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710655313.4A Active CN109388132B (zh) 2017-08-03 2017-08-03 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质

Country Status (1)

Country Link
CN (1) CN109388132B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007085683A1 (en) * 2006-01-27 2007-08-02 Tampereen Teknillinen Yliopisto Time parametrized trajectory determination
JP2007226761A (ja) * 2006-01-26 2007-09-06 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
CN102222341A (zh) * 2010-04-16 2011-10-19 东软集团股份有限公司 运动特征点检测方法及装置、运动目标检测方法及装置
CN106959109A (zh) * 2017-03-23 2017-07-18 广州视源电子科技股份有限公司 一种用于动态对象的跟踪方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102016497B (zh) * 2008-07-15 2012-07-25 松下电器产业株式会社 便携终端及其位置确定方法
US9146299B2 (en) * 2013-08-06 2015-09-29 Qualcomm Incorporated Method and apparatus for position estimation using trajectory

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226761A (ja) * 2006-01-26 2007-09-06 Nippon Hoso Kyokai <Nhk> 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム
WO2007085683A1 (en) * 2006-01-27 2007-08-02 Tampereen Teknillinen Yliopisto Time parametrized trajectory determination
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
CN102222341A (zh) * 2010-04-16 2011-10-19 东软集团股份有限公司 运动特征点检测方法及装置、运动目标检测方法及装置
CN106959109A (zh) * 2017-03-23 2017-07-18 广州视源电子科技股份有限公司 一种用于动态对象的跟踪方法及装置

Also Published As

Publication number Publication date
CN109388132A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
Norrdine et al. Step detection for ZUPT-aided inertial pedestrian navigation system using foot-mounted permanent magnet
KR101347838B1 (ko) 모션 캡처 장치 및 관련 방법
JP2009074859A (ja) 運動計測装置及び位置計測装置
EP3201633B1 (en) Methods and systems for vertical trajectory determination and automatic jump detection
JP5459678B2 (ja) 移動体画像追尾装置
US11223764B2 (en) Method for determining bias in an inertial measurement unit of an image acquisition device
US10557711B2 (en) Apparatus for inferring pedestrian position based on pedestrian movement detection, and method therefor
EP1280457A4 (en) MOVEMENT DETERMINATION
JP2009074861A (ja) 移動量計測装置及び位置計測装置
KR101693629B1 (ko) 로코모션 인터페이스 장치상에서 보행하는 보행자의 위치 추정 방법 및 장치
CN113218407B (zh) 一种基于vio和卫星导航系统融合的地图生成方法及装置
Chen et al. Sensing strides using EMG signal for pedestrian navigation
KR102218582B1 (ko) 수중 위치 인식 시스템
CN105547291B (zh) 室内人员自主定位系统的自适应静止检测方法
CN112697131A (zh) 基于视觉和惯性导航系统的井下移动装备定位方法及系统
CN109388132B (zh) 用于轨迹跟踪的方法、装置和设备以及控制单元和机器可读介质
KR20130022078A (ko) 모바일 매핑 시스템 및 이의 제어 방법
Le Sage et al. Kalman filter design for application to an INS analysing swimmer performance
JP2009186422A (ja) 方位角計測装置及び方位角計測方法
US10830906B2 (en) Method of adaptive weighting adjustment positioning
CN208314856U (zh) 一种用于单目机载目标检测的系统
CN108413970B (zh) 一种定位方法、云系统、电子设备及计算机程序产品
KR101900564B1 (ko) 표적 정보 획득 장치
KR101672710B1 (ko) 증강현실을 이용한 실내 위치 모니터링 시스템
US20230252887A1 (en) Method and device for operating an infrastructure sensor system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant