CN116026317A - 步行测速方法、头戴显示设备和可读存储介质 - Google Patents

步行测速方法、头戴显示设备和可读存储介质 Download PDF

Info

Publication number
CN116026317A
CN116026317A CN202310067342.4A CN202310067342A CN116026317A CN 116026317 A CN116026317 A CN 116026317A CN 202310067342 A CN202310067342 A CN 202310067342A CN 116026317 A CN116026317 A CN 116026317A
Authority
CN
China
Prior art keywords
walking
user
current
information
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310067342.4A
Other languages
English (en)
Inventor
赵冠博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202310067342.4A priority Critical patent/CN116026317A/zh
Publication of CN116026317A publication Critical patent/CN116026317A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请公开了一种步行测速方法、头戴显示设备和可读存储介质,所述步行测速方法包括:动态采集用户双足对应的步行图像信息;根据动态采集的步行图像信息,识别出用户的当前步频信息和当前步长信息;根据当前步频信息和当前步长信息,确定用户的当前步行速度。本申请能够提高识别用户的步行速度的识别准确性。

Description

步行测速方法、头戴显示设备和可读存储介质
技术领域
本申请涉及移动智能设备技术领域,尤其涉及一种步行测速方法、头戴显示设备和可读存储介质。
背景技术
地图搜索软件已经成为人们出行必不可少的工具,经常用于路线规划,目的地查找等场景。但是,现有的步行导航系统是通过大量用户的平均步行速度估计用户从出发地到目的地的时间,这种方式与使用者本人的步行速度相关性较低,导航软件所预测的到达时间往往存在较大误差。为了解决这个问题,目前采取的技术方案主要是运用步行惯性导航(Pedestrian Dead Reckoning,PDR)技术,该PDR技术将行人的每一个单步步长设置为常数,并进行步频的检测,实现人员的定位和跟踪。然而,行人的步长通常一般都是不固定的,步长估计还受很多因素的影响,例如人的身高、体重以及心理状态等。行人步长的不固定性通常会增加步行惯性导航的难度,这是因为每一步1cm的误差,将导致100步中产生1m的累积误差。且PDR的传感器部件存在零偏和漂移,因此PDR容易累积航向误差,无法长时间对用户的步行速度进行精确识别。
因此,目前亟需一种能够精确识别用户的步行速度的方法。
发明内容
本申请的主要目的在于提供一种步行测速方法、头戴显示设备和可读存储介质,旨在解决如何提高对用户的步行速度的识别准确性的技术问题。
为实现上述目的,本申请提供一种步行测速方法,所述步行测速方法应用于头戴显示设备,所述方法包括:
动态采集用户双足对应的步行图像信息;
根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息;
根据所述当前步频信息和所述当前步长信息,确定用户的当前步行速度。
可选地,所述根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息的步骤包括:
根据动态采集的所述步行图像信息,识别用户的脚步落点坐标,以及相邻的脚步落点坐标之间的脚步交替频率;
根据所述脚步落点坐标,确定用户的当前步长信息;
根据所述脚步交替频率,确定用户的当前步频信息。
可选地,所述头戴显示设备还包括特征标识点,所述特征标识点用于贴附或者安装于双足的足尖部,所述根据动态采集的所述步行图像信息,识别用户的脚步落点坐标的步骤包括:
动态捕捉双足上的特征标识点,根据动态捕捉的特征标识点,对双足的足尖部的坐标位置进行追踪定位,得到用户在每个行走周期的足部运动轨迹;
根据所述足部运动轨迹,确定当前行走周期中足部在步行方向上的足部出镜长度最长对应的第一关键图像帧;
基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标。
可选地,所述基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标的步骤包括:
基于预设构建的摄像头坐标系,识别所述第一关键图像帧中的足尖部的第一坐标位置;
基于预设的坐标矩阵转换关系,将所述第一坐标位置转换为在世界坐标系下的第二坐标位置,并将所述第二坐标位置,作为用户在步行方向上的脚步落点坐标。
可选地,所述根据所述脚步落点坐标,确定用户的当前步长信息的步骤包括:
获取预存的出镜长度映射关系表;
根据所述脚步落点坐标确定足部出镜长度,从所述出镜长度映射关系表中查询得到所述足部出镜长度映射的步长信息;
将映射的所述步长信息,作为用户的当前步长信息。
可选地,所述获取预存的出镜长度映射关系表的步骤之前包括:
输出对预存的出镜长度映射关系表进行参数校准的校准引导信息,其中,所述校准引导信息包括引导用户执行步行动作的动作引导信息;
采集用户响应于所述动作引导信息而执行步行动作过程的行走视频流,并通过位置传感器检测执行步行动作过程的总行走距离;
根据所述行走视频流,识别用户的总行走步数;
根据所述总行走距离和所述总行走步数,计算得到用户的平均步长;
根据所述行走视频流,确定各行走周期在足部出镜最长时刻对应的第二关键图像帧,并根据各所述第二关键图像帧,确定执行步行动作过程的所有行走周期的平均足部出镜长度;
将所述平均步长与所述平均足部出镜长度建立基准映射关系,并依据所述基准映射关系,对所述出镜长度映射关系表进行校准,得到校准后的出镜长度映射关系表;
所述获取预存的出镜长度映射关系表的步骤包括:
获取校准后的出镜长度映射关系表。
可选地,在所述确定用户的当前步行速度的步骤之后,所述方法还包括:
获取当前目的地和预存的地图;
实时检测当前位置,从所述地图中确定得到从当前位置步行至当前目的地的最佳步行路径,并根据用户的当前步行速度,以及所述最佳步行路径对应的路程距离,计算得到抵达当前目的地的需求时间;
将所述最佳步行路径和所述需求时间显示于所述头戴显示设备的导航系统界面。
可选地,在计算得到抵达当前目的地的需求时间的步骤之后,所述方法还包括:
根据所述路程距离和所述当前步长信息,计算得到抵达当前目的地的需求步数;
将所述需求步数显示于所述头戴显示设备的导航系统界面。
本申请还提供一种头戴显示设备,所述头戴显示设备为实体设备,所述头戴显示设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述步行测速方法的程序,所述步行测速方法的程序被处理器执行时可实现如上述的步行测速方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现步行测速方法的程序,所述实现步行测速方法的程序被处理器执行以实现如上述步行测速方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的步行测速方法的步骤。
本申请的技术方案是通过动态采集用户双足对应的步行图像信息,根据动态采集的步行图像信息,识别出用户的当前步频信息和当前步长信息,并根据当前步频信息和当前步长信息,确定用户的当前步行速度,从而使得本申请得到的当前步行速度不是通过统计大量用户的平均步行速度,作为用户的当前步行速度,而是采集用户双脚的行走图像,并结合图像识别方式从而更为准确地识别出用户的实时步频和实时步长,从而动态更新步行导航系统中到达目的地的时间,精确预测出使用步行导航系统的用户前往目的地所需要的时间,增强了预测步速与使用者的相关性,具有良好的用户体验,弥补了传统导航软件估算行程时间误差大的缺点。
目前,步行惯性导航(Pedestrian Dead Reckoning,PDR)技术将行人的每一个单步步长设置为常数,并进行步频的检测,实现人员的定位和跟踪。然而,由于行人的步长通常一般都是不固定的,步长估计还受很多因素的影响,例如人的身高、体重以及心理状态等。行人步长的不固定性通常会增加步行惯性导航的难度,这是因为每一步1cm的误差,将导致100步中产生1m的累积误差。且PDR的传感器部件存在零偏和漂移,因此PDR容易累积航向误差,无法长时间对用户的步行速度进行精确识别。
相比于目前的该PDR技术,由于不同用户的身高、体重或步行习惯不同,因此不同用户的步行速度往往存在差异,而本申请通过图像识别方式,基于步行图像信息而识别出用户的当前步行速度,更加符合用户个人的生理特征(例如身高、体重等)和步行习惯,提高了用户步行速度的预测精确度,同时还规避了PDR的传感器部件存在零偏和漂移容易累积航向误差的问题,从而使得本申请提升了识别用户当前步行速度的准确性,进而解决了如何提高对用户的步行速度的识别准确性的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请步行测速方法第一实施例的流程示意图;
图2为本申请步行测速方法第二实施例中步骤S200的细化流程示意图;
图3为本申请步行测速方法第三实施例的流程示意图;
图4为本申请实施例的步行导航场景的场景示意图;
图5为本申请实施例中连续多个行走周期的第一关键图像帧的示意图;
图6为本申请一实施例的相邻两个行走周期的第一关键图像帧的示意图;
图7为本申请另一实施例的相邻两个行走周期的第一关键图像帧的示意图;
图8为本申请一实施例中计算步行所需时间和步数的流程示意图;
图9为本申请实施例中头戴显示设备涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
在本实施例中,本申请的头戴显示设备可以是例如混合现实(Mixed Reality)—MR设备(例如MR头盔或者MR眼镜)、增强现实(Augmented Reality)—AR设备(例如AR头盔或者AR眼镜)、虚拟现实-(Virtual Reality)—VR设备(例如VR头盔或者VR眼镜)、扩展现实(Extended Reality)—XR设备(例如XR头盔或者XR眼镜)或其某种组合。
目前,采取的技术方案主要是运用步行惯性导航(Pedestrian Dead Reckoning,PDR)技术,该PDR技术将行人的每一个单步步长设置为常数,并进行步频的检测,实现人员的定位和跟踪。然而,行人的步长通常一般都是不固定的,步长估计还受很多因素的影响,例如人的身高、体重以及心理状态等。行人步长的不固定性通常会增加步行惯性导航的难度,这是因为每一步1cm的误差,将导致100步中产生1m的累积误差。且PDR的传感器部件存在零偏和漂移,因此PDR容易累积航向误差,无法长时间对用户的步行速度进行精确识别。
实施例一
基于此,请参照图1,本实施例提供一种步行测速方法,所述步行测速方法应用于头戴显示设备,所述方法包括:
步骤S100,动态采集用户双足对应的步行图像信息;
本实施例的头戴显示设备在用户行进过程中佩戴于用户的头部。
在本实施例中,该步行图像信息代表用户的双脚在地面进行步行的图像信息,该步行图像信息包括用户相邻落脚点对应的图像。其中,可通过头戴显示设备配置的摄像头来动态采集用户双足对应的步行图像信息。容易理解的是,该摄像头的图像拍摄角度是朝向地面的双足方向的,从而便于采集用户双足对应的步行图像信息,可参照图4进行辅助理解,图4为本申请实施例的步行导航场景的场景示意图。需要说明的是,为了避免用户头部的位姿发生变化(例如仰头或者向左/右旋转头部等),使得摄像头的图像拍摄角度无法对准地面的双足方向造成无法采集到步行图像信息,可将摄像头设置为鱼眼摄像头,或者将多个摄像头分别设置在头戴显示设备上的不同位置,从而使得摄像头进行图像采集的覆盖区域增大,即使用户头部的位姿发生变化,也仍然能采集到步行图像信息。
步骤S200,根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息;
容易理解的是,该当前步频信息是指用户当前脚步的频率,表征步行过程中两脚在单位时间内交替的次数,步频信息是决定步行速度的一种重要因素,步频的单位通常为步/秒,也可以为步/分等。该当前步长信息是指用户步行过程中两脚相邻着地点之间的距离,步长信息是决定步行速度的另一种重要因素,步长的单位通常为米,也可以为厘米。
在本实施例中,可基于图像识别的方式,对用户双足对应的步行图像信息进行图像识别,从而识别出用户的当前步频信息和当前步长信息。该图像识别的方式,本领域技术人员已有一定深入的研究,在此不再赘述。
步骤S300,根据所述当前步频信息和所述当前步长信息,确定用户的当前步行速度。
本领域技术人员可知的是,根据当前步频信息和当前步长信息,可计算得到用户的当前步行速度,例如,通过计算当前步频与当前步长的乘积,便可得到用户的当前步行速度。
本实施例的技术方案是通过动态采集用户双足对应的步行图像信息,根据动态采集的步行图像信息,识别出用户的当前步频信息和当前步长信息,并根据当前步频信息和当前步长信息,确定用户的当前步行速度,从而使得本实施例得到的当前步行速度不是通过统计大量用户的平均步行速度,作为用户的当前步行速度,而是采集用户双脚的行走图像,并结合图像识别方式从而更为准确地识别出用户的实时步频和实时步长,从而动态更新步行导航系统中到达目的地的时间,精确预测出使用步行导航系统的用户前往目的地所需要的时间,增强了预测步速与使用者的相关性,具有良好的用户体验,弥补了传统导航软件估算行程时间误差大的缺点。
目前,步行惯性导航(Pedestrian Dead Reckoning,PDR)技术将行人的每一个单步步长设置为常数,并进行步频的检测,实现人员的定位和跟踪。然而,由于行人的步长通常一般都是不固定的,步长估计还受很多因素的影响,例如人的身高、体重以及心理状态等。行人步长的不固定性通常会增加步行惯性导航的难度,这是因为每一步1cm的误差,将导致100步中产生1m的累积误差。且PDR的传感器部件存在零偏和漂移,因此PDR容易累积航向误差,无法长时间对用户的步行速度进行精确识别。
相比于目前的该PDR技术,由于不同用户的身高、体重或步行习惯不同,因此不同用户的步行速度往往存在差异,而本实施例通过图像识别方式,基于步行图像信息而识别出用户的当前步行速度,更加符合用户个人的生理特征(例如身高、体重等)和步行习惯,提高了用户步行速度的预测精确度,同时还规避了PDR的传感器部件存在零偏和漂移容易累积航向误差的问题,从而使得本实施例提升了识别用户当前步行速度的准确性,进而解决了如何提高对用户的步行速度的识别准确性的技术问题。
在一种可能的实施方式中,请参照图2,所述步骤S200,根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息的步骤包括:
步骤S210,根据动态采集的所述步行图像信息,识别用户的脚步落点坐标,以及相邻的脚步落点坐标之间的脚步交替频率;
在本实施例中,容易理解的是,该脚步落点坐标包括左足的脚步落点坐标和右足的脚步落点坐标,且一般情况下,用户在步行过程中,相邻的脚步落点坐标往往是左足的脚步落点坐标与右足的脚步落点坐标交替出现。
作为一种示例,可通过对步行图像信息中进行脚形边缘检测,从而识别出用户的足部,进而通过对该足部进行追踪定位,识别出用户的脚步落点坐标,以及通过识别相邻的脚步落点坐标之间的交替时长确定脚步交替频率。需要说明的是,为了提高识别出用户足部的准确性,在对步行图像信息中进行脚形边缘检测之前,可对步行图像信息进行灰度化处理。
作为另一种示例,请参照图3,所述头戴显示设备还包括特征标识点,所述特征标识点用于贴附或者安装于双足的足尖部,所述根据动态采集的所述步行图像信息,识别用户的脚步落点坐标的步骤包括:
步骤S211,动态捕捉双足上的特征标识点,根据动态捕捉的特征标识点,对双足的足尖部的坐标位置进行追踪定位,得到用户在每个行走周期的足部运动轨迹;
在本实施例中,用户每走出一步代表一个行走周期,例如,左脚向前迈出一步代表一个行走周期,然后紧接着右脚向前迈出一步代表另一个行走周期。
需要说明的是,该特征标识点是指设于双足(包括左足和右足)的足尖部用于辅助对双足进行定位识别的特征标识,例如该特征标识点的体现形式可为特定的图案、特定形状的物件,或者发出红外光的灯环等,本实施例中不做具体限定,可根据具体的实施情况而定。头戴显示设备的处理器可通过识别图像信息中的特征标识点,从而识别出双足。其中,之所以将特征标识点设于双足的足尖部,是因为更加便于后续捕捉到各行走周期中足部在步行方向上的足部出镜长度最长对应的图像帧。该足部出镜长度是指在同一个行走周期中,摄像头所采集的步行图像信息中足部在步行方向上所延伸的长度。容易理解的是,在同一个行走周期中,足部出镜长度最长对应的图像帧中足部(或者足尖部)的坐标,即为该行走周期中的脚步落点坐标(即落脚点位置)。
本实施例中,双足包括左足和右足。其中,分别设于左足和右足的特征标识点可以相同,也可以不同,可根据实际应用场景需求进行设计,本实施例对此不作具体的限定。在一种应用场景下,在对步行图像信息进行图像识别的过程中需要区分左足和右足,此时可将设于左足和右足的特征标识点进行区别设计。示例性地,特征标识点为红外光源的发光点,对左足的红外光源的发光点和右足的红外光源的发光点的数目和/或排列形状做不同的设计,例如左足的发光点排列成半圆形状,右足的发光点排列为圆形形状。
在本实施例中,本领域技术人员可知的是,可通过头戴显示设备的摄像头捕捉双足上的特征标识点,实现对双足的足尖部的追踪定位,进而得到用户在每个行走周期的足部运动轨迹。
步骤S212,根据所述足部运动轨迹,确定当前行走周期中足部在步行方向上的足部出镜长度最长对应的第一关键图像帧;
在本实施例中,第一关键图像帧是指当前行走周期中足部在步行方向上的足部出镜长度最长的图像帧。容易理解的是,当前行走周期是指当前时刻所处的行走周期。
需要说明的是,该足部出镜长度是指在同一个行走周期中,摄像头所采集的步行图像信息中足部在步行方向上所延伸的长度。容易理解的是,在同一个行走周期中,足部出镜长度最长对应的图像帧中足部(或者足尖部)的坐标,即为该行走周期中的脚步落点坐标。这是因为,在一个行走周期中,人抬脚逐渐向前迈,其足部出镜长度也逐渐增大,当脚落地时,该足部出镜长度将停止增大,此时在该行走周期中足部出镜长度最长,同时也意味着将进入下一个行走周期。因此,足部出镜长度最长对应的图像帧中足尖部(或者特征标识点)的坐标,即为该行走周期中的脚步落点坐标。请参照图5,图5中“1”所示的图像帧是指第一行走周期中的第一关键图像帧,图5中“2”所示的图像帧是指与第一行走周期相邻的第二行走周期中的第一关键图像帧,“N-1”所示的图像帧是指与第N-1次行走周期中的第一关键图像帧,“N”所示的图像帧是指与第N-1次行走周期相邻的第N次行走周期中的第一关键图像帧,其中N为大于1的正整数。其中,“Left”是指左足的足部出镜长度,“Ritht”是指右足的足部出镜长度。可以理解的是,“Left”和“Ritht”在各自对应所在的行走周期中的足部出镜长度最长。
本领域技术人员可知的是,用户在步行过程中,一般情况下,在某一行走周期a中为左足向前迈,那么在行走周期a的下一行走周期b为右足向前迈。为了助于理解,可参照图6,上面的框图对应行走周期a对应的第一关键图像帧,下面的框图对应行走周期b对应的第一关键图像帧。对应地,在某一行走周期c中为右足向前迈,那么在行走周期c的下一行走周期d为左足向前迈。
可以理解的是,不同的行走周期对应第一关键图像帧中的足部出镜长度往往不同,当然也可能存在相同的情况,例如在用户步幅均匀一直的情形下。但在不同的时间段,用户的步幅由于身体疲劳度或者事务紧急度等因素往往表现不一致。例如图6为一时间段内的相邻两个行走周期对应的第一关键图像帧,图7为另一时间段内的相邻两个行走周期对应的第一关键图像帧,可以看出,两个不同时间段中第一关键图像帧的足部出镜长度明显不同。
步骤S213,基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标。
在本实施例中,可直接捕捉该第一关键图像帧中特征标识点的坐标位置,从而识别出第一关键图像帧中用户的足尖部的坐标位置,并可将该第一关键图像帧中用户的足尖部的坐标位置,作为用户在步行方向上的脚步落点坐标。
本实施例通过设置用于贴附或者安装于双足的足尖部的特征标识点,然后动态捕捉双足上的特征标识点,根据动态捕捉的特征标识点,对双足的足尖部的坐标位置进行追踪定位,得到用户在每个行走周期的足部运动轨迹,根据该足部运动轨迹,确定当前行走周期中足部在步行方向上的足部出镜长度最长对应的第一关键图像帧,从而便于通过该第一关键图像帧,准确识别得到用户在步行方向上的脚步落点坐标(即落脚点位置)。
所述步骤S210之后,执行步骤S220,根据所述脚步落点坐标,确定用户的当前步长信息;
在一种可实施方式中,所述步骤S220,根据所述脚步落点坐标,确定用户的当前步长信息的步骤包括:
步骤A10,获取预存的坐标映射关系表;
步骤A20,从所述坐标映射关系表中查询得到所述脚步落点坐标对应的步长信息;
步骤A30,将所述脚步落点坐标对应的步长信息,作为用户的当前步长信息。
在本实施例中,该坐标映射关系表中存储有多种脚步落点坐标,以及各脚步落点坐标与步长信息一一映射的映射关系,因此可通过从该坐标映射关系表中查询得到当前脚步落点坐标对应的步长信息。需要说明的是,该坐标映射关系表可为在头戴显示设备出厂前,本领域技术人员通过实验标定所得,并预存于头戴显示设备的系统中。
在另一种可实施方式中,所述根据所述脚步落点坐标,确定用户的当前步长信息的步骤包括:
步骤B10,获取预存的出镜长度映射关系表;
步骤B20,根据所述脚步落点坐标确定足部出镜长度,从所述出镜长度映射关系表中查询得到所述足部出镜长度映射的步长信息;
本领域技术人员可知的是,由于该脚步落点坐标实际上为摄像头坐标系下的落脚点的坐标,其既包括用于表示落脚点在左右方向位置的X轴坐标,还包括落脚点在步行方向位置的Y轴坐标,因此,通过脚步落点坐标中的Y轴坐标即可确定足部出镜长度。
步骤B30,将映射的所述步长信息,作为用户的当前步长信息。
在本实施例中,该出镜长度映射关系表中存储有多种足部出镜长度,以及各足部出镜长度与步长信息一一映射的映射关系,因此可通过从出镜长度映射关系表中,查询得到当前足部出镜长度映射的步长信息。需要说明的是,该出镜长度映射关系表可为在头戴显示设备出厂前,本领域技术人员通过实验标定所得,并预存于头戴显示设备的系统中。
本实施例通过根据脚步落点坐标先确定出足部出镜长度,然后从出镜长度映射关系表中查询得到足部出镜长度映射的步长信息,相比于直接根据脚步落点坐标直接映射得到用户的当前步长信息,本实施例由于去除了脚步落点坐标中冗余的坐标信息(去除了表示落脚点在左右方向位置的X轴坐标),从而减少了映射复杂度,且足部出镜长度是作为当前步长信息的关键影响因素,因此通过足部出镜长度映射得到用户的当前步长信息,可提高数据映射的效率和准确性,同时相比于上一实施例中的坐标映射关系表,本实施例的出镜长度映射关系表中所存储的数据更少,减少了对头戴显示设备的数据存储空间的占用。
所述步骤S220之后,执行步骤S230,根据所述脚步交替频率,确定用户的当前步频信息。
本领域技术人员可以理解的是,相邻两个脚步落点坐标之间的脚步交替频率,为当前步频信息的关键影响因素,因此可根据该脚步交替频率,确定用户的当前步频信息。
本实施例通过根据动态采集的步行图像信息,识别用户的脚步落点坐标,以及相邻的脚步落点坐标之间的脚步交替频率,并根据脚步落点坐标,确定用户的当前步长信息,再根据该脚步交替频率,确定用户的当前步频信息,从而准确地识别出用户的当前步频信息和当前步长信息。
在一种可能的实施方式中,所述步骤S213,基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标的步骤包括:
步骤C10,基于预设构建的摄像头坐标系,识别所述第一关键图像帧中的足尖部的第一坐标位置;
本领域技术人员可以理解的是,摄像头坐标系是指以用于采集步行图像信息的摄像头为基准而建立的坐标系。
步骤C20,基于预设的坐标矩阵转换关系,将所述第一坐标位置转换为在世界坐标系下的第二坐标位置,并将所述第二坐标位置,作为用户在步行方向上的脚步落点坐标。
在本实施例中,本领域技术人员可以理解的是,世界坐标系是指表征现实物理世界的空间坐标所建立的坐标系。该坐标矩阵转换关系是指将摄像头坐标系下的坐标向量,转换至世界坐标系下的坐标向量的矩阵转换规则。
本实施例通过基于预设构建的摄像头坐标系,识别第一关键图像帧中的足尖部的第一坐标位置,并基于预设的坐标矩阵转换关系,将第一坐标位置转换为在世界坐标系下的第二坐标位置,并将第二坐标位置,作为用户在步行方向上的脚步落点坐标,从而准确得到用户在步行方向上的脚步落点坐标。
在一种可能的实施方式中,所述获取预存的出镜长度映射关系表的步骤之前包括:
步骤D10,输出对预存的出镜长度映射关系表进行参数校准的校准引导信息,其中,所述校准引导信息包括引导用户执行步行动作的动作引导信息;
在本实施例中,该校准引导信息的内容表现形式可为图文内容、语音内容,或者图文内容和语音内容两者的结合,本实施例对此不作具体的限定。
步骤D20,采集用户响应于所述动作引导信息而执行步行动作过程的行走视频流,并通过位置传感器检测执行步行动作过程的总行走距离;
在本实施例中,该行走视频流是指对用户响应于动作引导信息而执行的步行动作过程进行拍摄而得到的视频流。该位置传感器可包括GPS(GlobalPositioning System,全球定位系统)和/或IMU(Inertial Measurement Unit,惯性测量单元)传感器,本实施例对此不作具体的限定。
步骤D30,根据所述行走视频流,识别用户的总行走步数;
其中,该总行走步数是指用户执行该步行动作过程对应的总行走步数。例如用户响应于动作引导信息而执行的步行动作过程总共走了3步,则代表该总行走步数为3步。
步骤D40,根据所述总行走距离和所述总行走步数,计算得到用户的平均步长;
其中,该总行走距离是指用户执行该步行动作过程对应的总行走距离。例如用户响应于动作引导信息而执行的步行动作过程总共走了3.6米,则代表该总行走距离为3.6米。
为了助于理解本实施例,示例性地,若总行走步数为3步,总行走距离为3.6米,则此时计算得到用户的平均步长为1.2米。
步骤D50,根据所述行走视频流,确定各行走周期在足部出镜最长时刻对应的第二关键图像帧,并根据各所述第二关键图像帧,确定执行步行动作过程的所有行走周期的平均足部出镜长度;
在本实施例中,该第二关键图像帧是指在用户响应于动作引导信息而执行步行动作过程内,每一个行走周期中足部在步行方向上的足部出镜长度最长的图像帧。
为了助于理解本实施例,示例性地,若用户响应于动作引导信息而执行的步行动作过程包括3个行走周期(即总行走步数为3步),依次为第一行走周期、第二行走周期和第三行走周期,其中,识别出第一行走周期的第二关键图像帧对应的足部出镜长度为0.5米,第二行走周期的第二关键图像帧对应的足部出镜长度为0.4米,第三行走周期的第二关键图像帧对应的足部出镜长度为0.6米,此时确定执行步行动作过程的所有行走周期的平均足部出镜长度为0.5米。
步骤D60,将所述平均步长与所述平均足部出镜长度建立基准映射关系,并依据所述基准映射关系,对所述出镜长度映射关系表进行校准,得到校准后的出镜长度映射关系表;
所述获取预存的出镜长度映射关系表的步骤包括:
步骤D70,获取校准后的出镜长度映射关系表。
为了助于理解本实施例,列举一具体场景,示例性地,若该平均步长为1.2米,该平均足部出镜长度为0.5米,该出镜长度映射关系表中存储有8种足部出镜长度:0.1米、0.2米、0.3米、0.4米、0.5米、0.6米、0.7米和0.8米。其中,足部出镜长度0.1米映射的步长信息为a,足部出镜长度0.2米映射的步长信息为b,足部出镜长度0.3米映射的步长信息为c,足部出镜长度0.4米映射的步长信息为d,足部出镜长度0.5米映射的步长信息为e,足部出镜长度0.6米映射的步长信息为f,足部出镜长度0.7米映射的步长信息为g,足部出镜长度0.8米映射的步长信息为h。此时该基准映射关系即为步长1.2米与足部出镜长度0.20米的映射关系,并依据该基准映射关系,对出镜长度映射关系表进行校准。具体地,依据该基准映射关系,生成与该基准映射关联的多个外围映射关系,基准映射关系为步长1.2米与足部出镜长度0.5米的映射关系,则生成的该外围映射关系即为:基准映射关系为步长1.2+z米与足部出镜长度0.5+z米的映射关系(z可为正值,也可为负值),例如根据该基准映射关系,可确定:足部出镜长度0.1米映射的步长信息为0.8米,足部出镜长度0.2米映射的步长信息为0.9米,足部出镜长度0.3米映射的步长信息为1米,足部出镜长度0.4米映射的步长信息为1.1米,足部出镜长度0.5米映射的步长信息为1.2米,足部出镜长度0.6米映射的步长信息为1.3米,足部出镜长度0.7米映射的步长信息为1.4米,足部出镜长度0.8米映射的步长信息为1.5米。此时,若出镜长度映射关系表中预存的各映射关系与该基准映射关系或外围映射关系不一致,则需要对该出镜长度映射关系表进行校准,例如出镜长度映射关系表中预存的足部出镜长度0.1米映射的步长信息a为1米,与0.8米不一致,因此此时将出镜长度映射关系表中预存的足部出镜长度0.1米映射的步长信息校准为0.8米。
需要说明的是,上述示出的具体场景仅用于帮助理解本实施例的技术构思或工作原理,并不构成对本申请的限定,基于本实施例的技术构思或工作原理进行更多形式的简单变换,均应在本申请的保护范围内。
由于不同用户在佩戴头戴显示设备的佩戴位姿往往会不同,即使同一个用户在每一次佩戴头戴显示设备的佩戴位姿也往往会产生或多或少的差异,而如果用户当前佩戴头戴显示设备的佩戴位姿,相对于出厂前对该出镜长度映射关系表进行标定过程中的头戴显示设备的佩戴位姿存在偏差时,那么将导致无法根据当前识别的足部出镜长度,从出镜长度映射关系表中准确映射得到用户的当前步长信息,也即出厂前标定的该出镜长度映射关系表已不适用于用户在当前佩戴位姿下的步长信息的识别,因此可通过用户每次在佩戴头戴显示设备过程中,对预存的出镜长度映射关系表进行参数校准,具体可包括:输出对预存的出镜长度映射关系表进行参数校准的校准引导信息,其中,该校准引导信息包括引导用户执行步行动作的动作引导信息,采集用户响应于动作引导信息而执行步行动作过程的行走视频流,并通过位置传感器检测执行步行动作过程的总行走距离,根据该行走视频流,识别用户的总行走步数,根据总行走距离和所述总行走步数,计算得到用户的平均步长,根据该行走视频流,确定各行走周期在足部出镜最长时刻对应的第二关键图像帧,并根据各第二关键图像帧,确定执行步行动作过程的所有行走周期的平均足部出镜长度,将该平均步长与该平均足部出镜长度建立基准映射关系,并依据该基准映射关系,从而实现对出镜长度映射关系表进行校准,进而便于从校准后的出镜长度映射关系表中,准确映射得到用户的当前步长信息,提升识别出用户的当前步长信息的准确性。
实施例二
基于本申请上述实施例,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,在所述确定用户的当前步行速度的步骤之后,所述方法还包括:
步骤E10,获取当前目的地和预存的地图;
在本实施例中,该地图可为头戴显示设备对应的活动场所的地图。
步骤E20,实时检测当前位置,从所述地图中确定得到从当前位置步行至当前目的地的最佳步行路径,并根据用户的当前步行速度,以及所述最佳步行路径对应的路程距离,计算得到抵达当前目的地的需求时间;
在本实施例中,可包括GPS和/或IMU传感器等位置传感器实时检测用户的当前位置。
需要说明的是,可将从当前位置步行至当前目的地的路程距离最短的路径作为最佳步行路径,也可将从当前位置步行至当前目的地的交通信号灯最少的路径作为最佳步行路径,还可将从当前位置步行至当前目的地的步行时间最少的路径作为最佳步行路径,本实施例对此不作具体的限定。
容易理解的是,可将最佳步行路径对应的路程距离除以当前步行速度,计算得到的商即为抵达当前目的地的需求时间。
步骤E30,将所述最佳步行路径和所述需求时间显示于所述头戴显示设备的导航系统界面。
本实施例通过实时检测当前位置,从地图中确定得到从当前位置步行至当前目的地的最佳步行路径,并根据用户的当前步行速度,以及最佳步行路径对应的路程距离,计算得到抵达当前目的地的需求时间,并将最佳步行路径和需求时间显示于头戴显示设备的导航系统界面,将虚拟的定位导航信息以更清晰直观的方式,显示给用户抵达当前目的地的最佳步行路径和需求时间,有效地帮助用户实现定位导航,用户可在不分散多余注意力的情况下实时查看导航信息,保证导航信息准确可靠,提升用户步行过程中的导航使用体验。此外,用户使用头戴式头戴显示设备进行导航寻找路线时,使得用户在行进过程中不需要用户低头查看导航指引,减少用户低头查看导航指引的频率,从而减少用户步行过程中注意力分散的现象,提升用户行进安全。
在一种可能的实施方式中,在计算得到抵达当前目的地的需求时间的步骤之后,所述方法还包括:
步骤F10,根据所述路程距离和所述当前步长信息,计算得到抵达当前目的地的需求步数;
步骤F20,将所述需求步数显示于所述头戴显示设备的导航系统界面。
在本实施例中,可将该路程距离除以该当前步长,计算得到的商即为抵达当前目的地的需求步数。
本实施例通过根据该路程距离和当前步长信息,计算得到抵达当前目的地的需求步数,并将该需求步数显示于头戴显示设备的导航系统界面,将虚拟的定位导航信息以更清晰直观的方式,显示给用户抵达当前目的地的需求步数,有效地帮助用户实现定位导航,提升用户步行过程中的导航使用体验。
为了助于理解本申请的技术构思或工作原理,列举一具体实施例:
在该具体实施例中,请参照图8,图8为本申请一实施例中计算步行所需时间和步数的流程示意图,包括:
步骤1、用AR眼镜(头戴显示设备的一种)的摄像头实时提取佩戴者双脚交替进入拍摄画面的图像信息,如图5所示为摄像头提取的相邻两个行走周期的第一关键图像帧(双脚进入画面最长的时候);
步骤2、记录单位时间t内双脚交替进入画面的频数n,可以计算出用户步频(即当前步频信息)为n/t;
步骤3、根据双脚入镜的图像信息换算佩戴者步长(即当前步长信息);
步骤4、根据佩戴者当前的步频和步长,结合地图数据中提供距离目的地的距离S,可以推算出佩戴者步行到目的地所需的时间和步数,以及加快或者减缓步伐后,到达目的地所需时间的波动量。
本实施例详述了精确步行导航方法的步骤,AR设备端的摄像头拍摄行走过程中的双脚,根据画面中双脚交替出现频率推算佩戴者脚步频率,通过对画面中双脚入境的长度推算佩戴者的步长变化,参考步频和步长推算佩戴者步行前往目的地所需的时间和步数,并实时显示在AR眼镜显示屏上,为佩戴者提供实时的导航信息。
需要说明的是,上述具体实施例仅用于帮助理解本实施例的技术构思或工作原理,并不构成对本申请的限定,基于本实施例的技术构思或工作原理进行更多形式的简单变换,均应在本申请的保护范围内。
实施例三
本发明实施例还提供一种步行测速装置,所述步行测速装置应用于头戴显示设备,所述步行测速装置包括:
采集模块,用于动态采集用户双足对应的步行图像信息;
识别模块,用于根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息;
确定模块,用于根据所述当前步频信息和所述当前步长信息,确定用户的当前步行速度。
可选地,所述识别模块,还用于:
根据动态采集的所述步行图像信息,识别用户的脚步落点坐标,以及相邻的脚步落点坐标之间的脚步交替频率;
根据所述脚步落点坐标,确定用户的当前步长信息;
根据所述脚步交替频率,确定用户的当前步频信息。
可选地,所述头戴显示设备还包括特征标识点,所述特征标识点用于贴附或者安装于双足的足尖部,所述识别模块,还用于:
动态捕捉双足上的特征标识点,根据动态捕捉的特征标识点,对双足的足尖部的坐标位置进行追踪定位,得到用户在每个行走周期的足部运动轨迹;
根据所述足部运动轨迹,确定当前行走周期中足部在步行方向上的足部出镜长度最长对应的第一关键图像帧;
基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标。
可选地,所述识别模块,还用于:
基于预设构建的摄像头坐标系,识别所述第一关键图像帧中的足尖部的第一坐标位置;
基于预设的坐标矩阵转换关系,将所述第一坐标位置转换为在世界坐标系下的第二坐标位置,并将所述第二坐标位置,作为用户在步行方向上的脚步落点坐标。
可选地,所述识别模块,还用于:
获取预存的出镜长度映射关系表;
根据所述脚步落点坐标确定足部出镜长度,从所述出镜长度映射关系表中查询得到所述足部出镜长度映射的步长信息;
将映射的所述步长信息,作为用户的当前步长信息。
可选地,所述步行测速装置还包括校准模块,所述校准模块用于:
输出对预存的出镜长度映射关系表进行参数校准的校准引导信息,其中,所述校准引导信息包括引导用户执行步行动作的动作引导信息;
采集用户响应于所述动作引导信息而执行步行动作过程的行走视频流,并通过位置传感器检测执行步行动作过程的总行走距离;
根据所述行走视频流,识别用户的总行走步数;
根据所述总行走距离和所述总行走步数,计算得到用户的平均步长;
根据所述行走视频流,确定各行走周期在足部出镜最长时刻对应的第二关键图像帧,并根据各所述第二关键图像帧,确定执行步行动作过程的所有行走周期的平均足部出镜长度;
将所述平均步长与所述平均足部出镜长度建立基准映射关系,并依据所述基准映射关系,对所述出镜长度映射关系表进行校准,得到校准后的出镜长度映射关系表;
所述校准模块,还用于:
获取校准后的出镜长度映射关系表。
可选地,所述确定模块,还用于:
获取当前目的地和预存的地图;
实时检测当前位置,从所述地图中确定得到从当前位置步行至当前目的地的最佳步行路径,并根据用户的当前步行速度,以及所述最佳步行路径对应的路程距离,计算得到抵达当前目的地的需求时间;
将所述最佳步行路径和所述需求时间显示于所述头戴显示设备的导航系统界面。
可选地,所述确定模块,还用于
根据所述路程距离和所述当前步长信息,计算得到抵达当前目的地的需求步数;
将所述需求步数显示于所述头戴显示设备的导航系统界面。
本发明实施例提供的步行测速装置,采用上述实施例一或实施例二中的步行测速方法,能够提高识别用户的步行速度的识别准确性。与现有技术相比,本发明实施例提供的步行测速装置的有益效果与上述实施例提供的步行测速方法的有益效果相同,且所述步行测速装置中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
实施例四
本发明实施例提供一种头戴显示设备,头戴显示设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的步行测速方法。
下面参考图9,其示出了适于用来实现本公开实施例的头戴显示设备的结构示意图。本公开实施例中的头戴显示设备可以包括但不限于混合现实(Mixed Reality)—MR设备、增强现实(Augmented Reality)—AR设备、虚拟现实-(Virtual Reality)—VR设备、扩展现实(Extended Reality)—XR设备或其某种组合等等。图9示出的头戴显示设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示,头戴显示设备可以包括处理装置1001(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM1002)中的程序或者从存储装置加载到随机访问存储器(RAM1004)中的程序而执行各种适当的动作和处理。在RAM1004中,还存储有AR眼镜操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出(I/O)接口也连接至总线1005。
通常,以下系统可以连接至I/O接口1006:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1008;包括例如磁带、硬盘等的存储装置1003;以及通信装置1009。通信装置1009可以允许AR眼镜与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的AR眼镜,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置1003被安装,或者从ROM1002被安装。在该计算机程序被处理装置1001执行时,执行本公开实施例的方法中限定的上述功能。
本发明提供的头戴显示设备,采用上述实施例一或实施例二中的步行测速方法,能够提高识别用户的步行速度的识别准确性。与现有技术相比,本发明实施例提供的头戴显示设备的有益效果与上述实施例一提供的步行测速方法的有益效果相同,且该头戴显示设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
实施例五
本发明实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的步行测速方法。
本发明实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是头戴显示设备中所包含的;也可以是单独存在,而未装配入头戴显示设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被头戴显示设备执行时,使得头戴显示设备:动态采集用户双足对应的步行图像信息;根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息;根据所述当前步频信息和所述当前步长信息,确定用户的当前步行速度。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质,存储有用于执行上述步行测速方法的计算机可读程序指令,能够提高识别用户的步行速度的识别准确性。与现有技术相比,本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的步行测速方法的有益效果相同,在此不做赘述。
实施例六
本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的步行测速方法的步骤。
本申请提供的计算机程序产品能够提高识别用户的步行速度的识别准确性。与现有技术相比,本发明实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的步行测速方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种步行测速方法,其特征在于,所述步行测速方法应用于头戴显示设备,所述方法包括:
动态采集用户双足对应的步行图像信息;
根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息;
根据所述当前步频信息和所述当前步长信息,确定用户的当前步行速度。
2.如权利要求1所述的步行测速方法,其特征在于,所述根据动态采集的所述步行图像信息,识别出用户的当前步频信息和当前步长信息的步骤包括:
根据动态采集的所述步行图像信息,识别用户的脚步落点坐标,以及相邻的脚步落点坐标之间的脚步交替频率;
根据所述脚步落点坐标,确定用户的当前步长信息;
根据所述脚步交替频率,确定用户的当前步频信息。
3.如权利要求2所述的步行测速方法,其特征在于,所述头戴显示设备还包括特征标识点,所述特征标识点用于贴附或者安装于双足的足尖部,所述根据动态采集的所述步行图像信息,识别用户的脚步落点坐标的步骤包括:
动态捕捉双足上的特征标识点,根据动态捕捉的特征标识点,对双足的足尖部的坐标位置进行追踪定位,得到用户在每个行走周期的足部运动轨迹;
根据所述足部运动轨迹,确定当前行走周期中足部在步行方向上的足部出镜长度最长对应的第一关键图像帧;
基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标。
4.如权利要求3所述的步行测速方法,其特征在于,所述基于所述第一关键图像帧,识别得到用户在步行方向上的脚步落点坐标的步骤包括:
基于预设构建的摄像头坐标系,识别所述第一关键图像帧中的足尖部的第一坐标位置;
基于预设的坐标矩阵转换关系,将所述第一坐标位置转换为在世界坐标系下的第二坐标位置,并将所述第二坐标位置,作为用户在步行方向上的脚步落点坐标。
5.如权利要求3所述的步行测速方法,其特征在于,所述根据所述脚步落点坐标,确定用户的当前步长信息的步骤包括:
获取预存的出镜长度映射关系表;
根据所述脚步落点坐标确定足部出镜长度,从所述出镜长度映射关系表中查询得到所述足部出镜长度映射的步长信息;
将映射的所述步长信息,作为用户的当前步长信息。
6.如权利要求5所述的步行测速方法,其特征在于,所述获取预存的出镜长度映射关系表的步骤之前包括:
输出对预存的出镜长度映射关系表进行参数校准的校准引导信息,其中,所述校准引导信息包括引导用户执行步行动作的动作引导信息;
采集用户响应于所述动作引导信息而执行步行动作过程的行走视频流,并通过位置传感器检测执行步行动作过程的总行走距离;
根据所述行走视频流,识别用户的总行走步数;
根据所述总行走距离和所述总行走步数,计算得到用户的平均步长;
根据所述行走视频流,确定各行走周期在足部出镜最长时刻对应的第二关键图像帧,并根据各所述第二关键图像帧,确定执行步行动作过程的所有行走周期的平均足部出镜长度;
将所述平均步长与所述平均足部出镜长度建立基准映射关系,并依据所述基准映射关系,对所述出镜长度映射关系表进行校准,得到校准后的出镜长度映射关系表;
所述获取预存的出镜长度映射关系表的步骤包括:
获取校准后的出镜长度映射关系表。
7.如权利要求1所述的步行测速方法,其特征在于,在所述确定用户的当前步行速度的步骤之后,所述方法还包括:
获取当前目的地和预存的地图;
实时检测当前位置,从所述地图中确定得到从当前位置步行至当前目的地的最佳步行路径,并根据用户的当前步行速度,以及所述最佳步行路径对应的路程距离,计算得到抵达当前目的地的需求时间;
将所述最佳步行路径和所述需求时间显示于所述头戴显示设备的导航系统界面。
8.如权利要求7所述的步行测速方法,其特征在于,在计算得到抵达当前目的地的需求时间的步骤之后,所述方法还包括:
根据所述路程距离和所述当前步长信息,计算得到抵达当前目的地的需求步数;
将所述需求步数显示于所述头戴显示设备的导航系统界面。
9.一种头戴显示设备,其特征在于,所述头戴显示设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8中任一项所述步行测速方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现步行测速方法的程序,所述实现步行测速方法的程序被处理器执行以实现如权利要求1至8中任一项所述步行测速方法的步骤。
CN202310067342.4A 2023-01-16 2023-01-16 步行测速方法、头戴显示设备和可读存储介质 Pending CN116026317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310067342.4A CN116026317A (zh) 2023-01-16 2023-01-16 步行测速方法、头戴显示设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310067342.4A CN116026317A (zh) 2023-01-16 2023-01-16 步行测速方法、头戴显示设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN116026317A true CN116026317A (zh) 2023-04-28

Family

ID=86077533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310067342.4A Pending CN116026317A (zh) 2023-01-16 2023-01-16 步行测速方法、头戴显示设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN116026317A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256486A (ja) * 2000-03-10 2001-09-21 Hitachi Kiden Kogyo Ltd 歩行評価装置
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
CN1818559A (zh) * 2005-02-11 2006-08-16 三星电子株式会社 基于步幅的路线指引设备和方法
JP2007144107A (ja) * 2005-10-25 2007-06-14 Vr Sports:Kk 運動補助システム
JP2009216598A (ja) * 2008-03-11 2009-09-24 Toshiba Corp 携帯端末、案内表示システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256486A (ja) * 2000-03-10 2001-09-21 Hitachi Kiden Kogyo Ltd 歩行評価装置
JP2004344418A (ja) * 2003-05-22 2004-12-09 Anima Kk 三次元動作解析装置
CN1818559A (zh) * 2005-02-11 2006-08-16 三星电子株式会社 基于步幅的路线指引设备和方法
JP2007144107A (ja) * 2005-10-25 2007-06-14 Vr Sports:Kk 運動補助システム
JP2009216598A (ja) * 2008-03-11 2009-09-24 Toshiba Corp 携帯端末、案内表示システム及びプログラム

Similar Documents

Publication Publication Date Title
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
JP6674791B2 (ja) 混雑度推定方法、人数推定方法、混雑度推定プログラム、人数推定プログラム、および人数推定システム
CN110553648A (zh) 一种用于室内导航的方法和系统
WO2022193508A1 (zh) 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品
KR20110032765A (ko) 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
KR20220028042A (ko) 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109345015B (zh) 用于选取路线的方法和装置
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
JP6653507B2 (ja) 情報端末、位置推定方法、および位置推定プログラム
CN111445499B (zh) 用于识别目标信息的方法及装置
CN116026317A (zh) 步行测速方法、头戴显示设备和可读存储介质
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN114518117A (zh) 导航方法、装置、电子设备、介质
KR20230018214A (ko) 포즈를 추정하는 방법 및 장치
CN113272626A (zh) 同心距离环和距离可视化
CN114632317B (zh) 跌倒检测方法及装置、存储介质及电子设备
KR102587209B1 (ko) 소셜 맵핑을 이용한 보행도로 데이터 획득 시스템 및 그 방법
CN115523940B (zh) 导航显示方法、装置、电子设备及存储介质
CN115900713A (zh) 辅助语音导航方法、装置、电子设备及存储介质
KR20220086798A (ko) 지체 장애인을 위한 보행 도로 정보 제공 서비스
Bacchewar et al. Indoor Navigation Using Augmented Reality
Bacchewar et al. Literature Survey: Indoor Navigation Using Augmented Reality
CN115657792A (zh) 手柄追踪方法、智能穿戴设备和可读存储介质
CN114413900A (zh) 室内导航方法、装置与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination