CN117631827A - 信息显示方法、装置及智能穿戴设备 - Google Patents
信息显示方法、装置及智能穿戴设备 Download PDFInfo
- Publication number
- CN117631827A CN117631827A CN202311455838.5A CN202311455838A CN117631827A CN 117631827 A CN117631827 A CN 117631827A CN 202311455838 A CN202311455838 A CN 202311455838A CN 117631827 A CN117631827 A CN 117631827A
- Authority
- CN
- China
- Prior art keywords
- sensing
- image
- target
- data
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 20
- 239000011521 glass Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种信息显示方法、装置及智能穿戴设备,属于智能穿戴设备技术领域。该方法包括:获取测距传感器采集到的第一传感数据和图像传感器采集到的图像数据;将第一传感数据和图像数据进行匹配,获得图像数据中目标对象对应的第二传感数据;根据目标对象对应的目标类别和第二传感数据确定目标对象对应的感知图像,并根据感知图像执行信息显示操作。解决了不能及时对智能穿戴设备在使用环境中的障碍物或碰撞危险进行提醒,则可能会在使用过程中发生意外事件,影响用户体验的问题。提高了使用智能穿戴设备的安全性。
Description
技术领域
本发明涉及智能穿戴设备技术领域,尤其涉及一种信息显示方法、装置及智能穿戴设备。
背景技术
随着技术的不断进步和市场需求的不断增长,智能穿戴设备如AR眼镜、VR眼镜等已经成为当前研究的热点之一。以AR眼镜为例,它可以让用户在现实世界中通过眼镜看到虚拟图像,具有广泛的应用前景和市场潜力。
当多人体验AR眼镜或者在户外体验AR眼镜时,若不能对使用环境中的障碍物或碰撞危险进行提醒,则可能会使用户在使用AR眼镜中发生意外事件,影响用户体验。
发明内容
本发明实施例的主要目的在于提供一种信息显示方法、装置及智能穿戴设备,旨在解决相关技术中不能及时对智能穿戴设备在使用环境中的障碍物或碰撞危险进行提醒,则可能会使用户在使用智能穿戴设备的过程中发生意外事件,从而影响用户体验的问题。
第一方面,本发明实施例提供一种信息显示方法,应用于智能穿戴设备,所述智能穿戴设备设置有测距传感器和图像传感器,包括:
获取所述测距传感器采集到的第一传感数据和所述图像传感器采集到的图像数据;
将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;
根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
第二方面,本发明实施例提供一种信息显示装置,包括:
数据获取模块,用于获取测距传感器采集到的第一传感数据和图像传感器采集到的图像数据;
数据匹配模块,用于将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;
信息显示模块,用于根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
第三方面,本发明实施例还提供一种智能穿戴设备,所述智能穿戴设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项信息显示方法的步骤。
本发明实施例提供一种信息显示方法、装置及智能穿戴设备,该方法应用于智能穿戴设备,其中,智能穿戴设备设置有测距传感器和图像传感器,该方法包括:获取测距传感器采集到的第一传感数据和图像传感器采集到的图像数据;将第一传感数据和图像数据进行匹配,获得图像数据中目标对象对应的第二传感数据;根据目标对象对应的目标类别和第二传感数据确定目标对象对应的感知图像,并根据感知图像执行信息显示操作。该方法中将测距传感器采集到的第一传感数据和图像传感器采集到的图像数据进行匹配,当第一传感数据转换至图像传感器对应的图像坐标系得到传感图像后,传感图像与图像数据中目标对象的目标区域匹配时,则将该传感图像对应的第一传感数据作为该目标对象对应的第二传感数据,从而将第一传感数据和图像数据建立关联关系,进而根据第二传感数据确定目标对象与智能穿戴设备之间的距离信息,以及根据图像数据确定目标对象的目标类别,进而根据目标对象的距离信息以及目标类别建立目标对象对应的感知图像,从而根据感知图像执行信息显示操作,可实时显示智能穿戴设备所处环境中的目标对象的信息,进而达到提醒用户的目的。解决了相关技术中不能及时对智能穿戴设备在使用环境中的障碍物或碰撞危险进行提醒,则可能会使用户在使用智能穿戴设备的过程中发生意外事件影响用户使用的问题。提高了使用智能穿戴设备的安全性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种信息显示方法的流程示意图;
图2为图1中的信息显示方法的子步骤S102流程示意图;
图3为本发明实施例提供的一种感知图像的示意图;
图4为实施本实施例提供的信息显示方法的一场景示意图;
图5为本发明实施例提供的一种信息显示装置的模块示意图;
图6为本发明实施例提供的一种智能穿戴设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种信息显示方法、装置及智能穿戴设备。其中,该信息显示方法可应用于智能穿戴设备中,该智能穿戴设备可以为AR眼镜、XR眼镜等电子设备。
下面结合附图,对本发明的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本发明实施例提供的一种信息显示方法的流程示意图。
如图1所示,该信息显示方法应用于智能穿戴设备,智能穿戴设备设置有测距传感器和图像传感器,该信息显示方法包括步骤S101至步骤S103。
步骤S101、获取所述测距传感器采集到的第一传感数据和所述图像传感器采集到的图像数据。
示例性地,测距传感器设置在智能穿戴设备上,并保证测距传感器能够检测到智能穿戴设备所处环境中目标对象对应的第一传感数据。图像传感器也设置在智能穿戴设备中,并保证图像传感器能够采集到智能穿戴设备所处环境中目标对象对应的图像数据。其中,目标对象为智能穿戴设备所处环境中的障碍物,目标对象用于表征用户在使用智能穿戴设备时影响用户安全的物体。
可选地,目标对象可以为人物、车辆等。本申请中对目标对象的具体类型不做限制,可根据实际需求自行定义。
例如,测距传感器为超声波传感器,图像传感器为相机,智能穿戴设备为AR眼镜,则将超声波传感器设置在AR眼镜的镜框部分,并保证超声波传感器检测目标对象的视野为AR眼镜的正前方。将相机也设置在AR眼镜的镜框部分,并保证相机检测目标对象的视野也为AR眼镜的正前方。此外,当相机和超声波传感器设置完成后,需要将相机和超声波传感器的相对位置保持不变,以为后续将第一传感数据和图像数据获得对应关系提供支撑。
其中,超声波传感器的工作原理是通过超声波发射装置向外发出超声波,通过接收器接收到发送过来超声波时的时间差来测算距离。超声波传感器的探测角度一般分为水平和垂直两种,水平探测角度一般在15-30度之间,垂直探测角度一般在60-80度之间。一般来说,超声波传感器的检测距离在2cm-5m之间。
步骤S102、将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据。
示例性地,将测距传感器所对应的测距坐标系和图像传感器所对应的图像坐标系重合,也即测距坐标系和图像坐标系相同,则第一传感数据和图像数据处于同一参考系下,进而将第一传感数据和图像数据进行匹配,当第一传感数据处于图像数据中目标对象所在的区域时,则将第一传感数据确定为图像数据中目标对象对应的第二传感数据。
在一些实施方式中,所述将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据,具体地,参照图2,步骤S102包括:子步骤S1021至子步骤S1023。
子步骤S1021、确定所述图像数据中所述目标对象所对应的目标区域。
示例性地,利用基于深度学习的目标检测算法如RCNN、YOLO等算法对图像数据中的目标对象进行检测,进而获得目标对象所对应的目标区域。
可选的,目标检测算法还可以为Fast RCNN、Faster RCNN等,本申请不做具体限制,可根据实际需求自行选择。
示例性地,确定图像数据中目标对象所对应的目标区域的方法,还可先根据区域提取算法如Edge Boxes、Selective Search等获取图像数据中目标对象所对应的目标区域。
子步骤S1022、将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像。
示例性地,为了将同一目标对象对应的第一传感数据和图像数据进行关联,则将第一传感数据转换至图像传感器下对应的传感图像,进而为后续第一传感数据和图像数据之间关联提供支撑。
在一些实施方式中,所述将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像,包括:确定所述测距传感器对应的测距坐标系和所述图像传感器对应的图像坐标系之间的转换矩阵;根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
示例性地,以测距传感器为原点,以经过该原点的任意方向为x轴,以垂直于x轴的方向为y轴建立测距传感器对应的测距坐标系,以及以图像传感器采集的图像数据对应的左上角为原点,以左上角水平向右的方向为x轴,以左上角垂直向下的方向为y轴,建立图像传感器对应的图像坐标系,获得目标对象在测距坐标系中的坐标信息A以及同一目标对象在图像坐标系中的坐标信息B,进而根据坐标信息A和坐标信息B确定两者之间的转换矩阵。
可选地,本申请中对建立测距传感器对应的测距坐标系和图像传感器对应的图像坐标系的方式不做限制,用户可根据实际使用中的需求自行设置。
如标定转换矩阵的方法为:目标对象1在测距坐标系中的坐标信息为A1,在图像坐标系中的坐标信息B1,目标对象2在测距坐标系中的坐标信息为A2,在图像坐标系中的坐标信息B2,以及目标对象n在测距坐标系中的坐标信息为An,在图像坐标系中的坐标信息Bn,进而通过(A1,B1)、(A2,B2)、...、以及(An,Bn)分别与转换矩阵X建立关联关系A1*X=B1、A2*X=B2、...、An*X=Bn,进而对上述关联关系进行矩阵求解,从而获得测距传感器对应的测距坐标系和图像传感器对应的图像坐标系之间的转换矩阵。
示例性地,将第一传感数据与转换矩阵进行矩阵相乘从而获得第一传感数据在图像坐标系下对应的传感图像。
具体地,获得利用测距传感器对应的测距坐标系和图像传感器对应的图像坐标系之间的转换矩阵,可快速将测距传感器对应的第一传感数据和图像传感器对应的图像数据进行快速关联,为后续进行信息展示提供支撑,也提高了工作效率。
在一些实施方式中,所述第一传感数据包括传感角度和传感距离,所述根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像,包括:根据所述第一传感数据的传感角度和所述第一传感数据的传感距离确定传感矩阵;根据所述传感矩阵和所述转换矩阵进行乘积计算,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
示例性地,测距传感器为超声波传感器,通过超声波传感器获得的第一传感数据包括传感角度θ和传感距离distance,进而根据传感角度θ和传感距离distance确定传感矩阵U=[θ,distance]。
示例性地,将传感矩阵U和转换矩阵X进行乘积计算,从而获得第一传感数据在图像坐标系下对应的传感图像。
例如,X为2乘2的矩阵,x11、x12、x21、x22均表示数字,则将传感矩阵U和转换矩阵X进行相乘得到第一传感数据在图像坐标系下对应的1行2列的传感图像,如下公式所示:
P=U*X
其中,P表示传感图像,U表示传感矩阵,X表示转换矩阵。
具体地,根据传感角度θ和传感距离distance确定传感矩阵U,可快速将第一传感数据转换至图像坐标系下对应的传感图像,提高了工作效率,为后续进行信息展示提供支撑。
子步骤S1023、将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据。
示例性地,传感图像为测距传感器测量目标对象获得的第一传感数据经过数据转换至图像传感器对应的图像坐标系下的数据。目标区域为图像传感器采集目标对象在图像数据中的位置。因此当目标区域与传感图像进行交集运算后得到的运算结果不为空集时,则将第一传感数据确定为目标区域对应的第二传感数据。
示例性地,将目标区域与传感图像进行交集运算,也即判断目标区域与传感图像是否存在重合部分,当存在重合部分时则运算结果不为空集,将第一传感数据确定为该目标区域对应的第二传感数据;当不存在重合部分时则运算结果为空集,则不能将第一传感数据确定为该目标区域对应的第二传感数据。
在一些实施方式中,所述将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据,包括:判断所述传感图像是否位于所述目标区域中,当所述传感图像位于所述目标区域中时,则将所述传感图像对应的所述第一传感数据确定为所述目标区域对应的第二传感数据。
示例性地,当传感图像位于目标区域中,也即传感图像完全处于目标区域中,则表明测距传感器测量的目标对象与目标区域对应的目标对象为同一目标对象,进而将传感图像对应的第一传感数据确定为目标区域对应的第二传感数据。从而实现了将同一目标对象的第一传感数据和目标区域进行一一对应。
例如,目标区域为矩形区域,四角坐标分别为(x1,y1)、(x1+w,y1)、(x1,y1+h)、(x1+w,y1+h),传感图像为[x2,y2],则当[x2,y2]位于矩形区域部时,则将传感图像对应的第一传感数据确定为目标区域对应的第二传感数据。
步骤S103、根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
示例性地,对图像数据进行目标检测获得了目标对象对应的目标类别,则当确定第二传感数据和目标区域的一一对应关系后,也确定了第二传感数据对应的目标类别。
例如,根据区域提取算法如Edge Boxes、Selective Search等获取图像数据中目标对象所对应的目标区域后,进而再利用目标分类器如SVM、CNN等算法确定目标对象中目标区域对应的目标类别。目标类别可以为人物、车辆等。
可选地,在定义目标类别时,可根据智能穿戴设备在所处环境中需要识别的物体类型进行划分。可根据实际需求进行定义,本申请不做具体限制。
示例性地,第二传感数据中包括测距传感器测量的距离信息,则当获得第二传感数据与目标对象对应的目标区域建立一一对应关系后,则可将第二传感数据中的距离信息确定为智能穿戴设备与目标对象之间的距离信息。
示例性地,根据目标类别确定目标对象在感知图像中的形状样式,并根据距离信息调整目标类别对应的形状样式的大小,当距离信息越大则目标类别对应的形状样式在感知图像中的大小越小;当距离信息越小则目标类别对应的形状样式在感知图像中的大小越大。从而获得对应的感知图像,进而将感知图像进行显示。
在一些实施方式中,所述根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,包括:确定所述目标对象对应的所述目标类别;获得所述第二传感数据对应的目标数量;当所述目标数量大于预设数量时,根据所述第二传感数据确定所述目标对象对应的目标坐标;根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像。
示例性地,当图像数据中包含多个目标对象时,经第一传感数据和图像数据进行匹配,获得图像数据中目标对象对应的第二传感数据后,每个目标对象的第二传感数据对应的传感数据的数量不同,则对每个目标对象的第二传感数据进行数量统计获得第二传感数据对应的目标数量。当第二传感数据的目标数量大于预设数量时,则根据第二传感数据确定目标对象在测距传感器下对应的目标坐标,从而将目标类别对应的形状样式显示在目标坐标对应的目标位置上,进而获得目标对象对应的感知图像。
例如,图像数据中包含目标对象1和目标对象2,经过将第一传感数据和图像数据的关联处理后,可得到目标对象1对应的第二传感数据为空,目标对象2对应的第二传感数据为第一传感数据1和第一传感数据2。则可得到目标对象1对应的目标数量为0,目标对象2对应的目标数量为2,当预设数量为0时,则需根据目标对象2对应的第一传感数据1和第一传感数据2进行计算获得目标对象2对应的目标坐标,从而根据目标坐标和目标类别确定目标对象2对应的感知图像。
可选地,预设数量可以为0,也可以为1等等,预设数量越大表明经过筛选后的目标对象对应的第二传感数据的数量越多,后续计算得到的感知图像的可信度也越高。本申请对于预设数量不做具体限制,可根据实际需求进行设置。
具体地,本申请中对目标对象对应的第二传感数据进行筛选,则可以获得目标对象更精确的距离信息,从而在获得感知图像时更具有说服力,准确性也更高。
在一些实施方式中,所述第二传感数据包括传感角度和传感距离,所述当所述目标数量大于预设数量时,则根据所述第二传感数据确定所述目标对象对应的目标坐标,包括:对所述第二传感数据的传感角度进行均值计算,获得平均角度,以及对所述第二传感数据的传感距离进行均值计算,获得平均距离;根据所述平均角度和所述平均距离确定所述目标对象在测距坐标系下对应的坐标信息;确定所述测距坐标系和所述智能穿戴设备对应的设备坐标系的转换关系;根据所述转换关系和所述坐标信息确定所述目标对象对应的目标坐标。
示例性地,测距传感器为超声波传感器,第二传感数据为第一传感数据的部分数据,当第一传感数据中包含传感角度和传感距离时,则第二传感数据也包括传感角度和传感距离,当目标数量大于预设数量时,则将预设数量下第二传感数据的传感角度进行均值计算,从而获得平均角度以及对第二传感数据的传感距离进行均值计算,获得平均距离
示例性地,根据平均角度和平均距离/>进行计算,从而获得目标对象在测距坐标系下对应的坐标信息/>
示例性地,确定测距坐标系和智能穿戴设备对应的设备坐标系的转换关系,从而将目标对象在测距坐标系下对应的坐标信息转换至目标对象在设备坐标系下对应的目标坐标。
例如,当测距坐标系和智能穿戴设备对应的设备坐标系的转换关系为测距坐标系水平移动a,垂直移动b后即与设备坐标系重合,则可得到目标坐标为或者,当测距坐标系和智能穿戴设备对应的设备坐标系一致时,则可得到目标坐标与目标对象在测距坐标系下对应的坐标信息相同,均为/>
具体地,将目标坐标确定在智能穿戴设备对应的设备坐标系下后,用户可直接根据感知图像得到与目标对象之间的距离,更加直观,也更加快速的对用户进行提醒,方便用户进行躲避。
在一些实施方式中,所述根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像,包括:确定所述目标类别对应的目标图案,以及获得所述目标坐标对应的目标位置;根据所述目标图案和所述目标位置,获得所述目标对象对应的感知图像。
示例性地,不同的目标类别对应不同地目标图案,以使得当用户看到该目标图案后可直接关联至对应地目标类别,进而达到提醒的目的。
例如,目标类别包括人和车,人对应的目标图案为纯红色,车对应的目标图案为纯绿色。
示例性地,将目标坐标在设备坐标系下的目标位置根据目标图案的样式进行显示,从而获得目标对象对应的感知图像。
例如,如图3所示,将设备坐标系所处的平面划分成多个1*1的正方形,则当目标坐标为(s,c),目标类别为人对应的目标图案为纯红色时,则将设备坐标系下第s行第c列时对应的正方形确定为目标位置,从而将该目标位置对应的正方形显示为纯红色。若目标类别为车时,可将该目标位置对应的正方形显示为纯绿色。
可选地,为提高用户利用感知图像可快速判断目标对象的位置,可设置预设范围,当目标对象处于该预设范围内时,才将目标对象显示在对应的感知图像中,从而能够更加有效的辅助用户更加安全的使用智能穿戴设备。
具体地,将不同的目标类别对应不同地目标图案,使得用户看到该目标图案后可直接关联至对应地目标类别,进而达到快速提醒的目的,而且用户也可以通过感知图像中显示目标图案的位置也能快速得到与目标对象之间的距离,从而更加有效的辅助用户更加安全的使用智能穿戴设备。
请参照图4,图4为实施本实施例提供的信息显示方法的一场景示意图,如图4所示,首先获取超声波传感器采集到的第一传感数据和相机采集到的图像数据,对图像数据进行目标检测获得目标对象所对应的目标类别及目标区域,确定超声波传感器对应的测距坐标系和相机对应的图像坐标系之间的转换矩阵;根据转换矩阵将第一传感数据进行数据转换,获得第一传感数据在图像坐标系下对应的传感图像,进而判断传感图像是否位于目标区域中,当传感图像位于目标区域中时,则将传感图像对应的第一传感数据确定为目标区域对应的第二传感数据;获得第二传感数据对应的目标数量;当目标数量大于预设数量时,对第二传感数据的传感角度进行均值计算,获得平均角度,以及对第二传感数据的传感距离进行均值计算,获得平均距离;进而根据平均角度和平均距离确定目标对象在测距坐标系下对应的坐标信息;再确定测距坐标系和智能穿戴设备对应的设备坐标系的转换关系;根据转换关系和坐标信息确定目标对象对应的目标坐标,再根据目标类别确定对应的目标图案;进而将目标图案在目标坐标对应的目标位置进行显示,获得目标对象对应的感知图像,进而根据感知图像执行信息显示操作。从而解决了相关技术中不能及时对智能穿戴设备在使用环境中的障碍物或碰撞危险进行提醒,则可能会使用户在使用智能穿戴设备的过程中发生意外事件,从而影响用户体验的问题。提高了使用智能穿戴设备的安全性。
请参阅图5,图5为本申请实施例提供的一种信息显示装置200,该信息显示装置200包括数据获取模块201、数据匹配模块202以及信息显示模块203,其中,数据获取模块201,用于获取测距传感器采集到的第一传感数据和图像传感器采集到的图像数据;数据匹配模块202,用于将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;信息显示模块203,用于根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
在一些实施方式中,数据匹配模块201在所述将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据过程中,执行:
确定所述图像数据中所述目标对象所对应的目标区域;
将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像;
将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据。
在一些实施方式中,数据匹配模块201在所述将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像过程中,执行:
确定所述测距传感器对应的测距坐标系和所述图像传感器对应的图像坐标系之间的转换矩阵;
根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
在一些实施方式中,所述第一传感数据包括传感角度和传感距离,数据匹配模块201在所述根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像过程中,执行:
根据所述第一传感数据的传感角度和所述第一传感数据的传感距离确定传感矩阵;
根据所述传感矩阵和所述转换矩阵进行乘积计算,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
在一些实施方式中,数据匹配模块201在所述将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据过程中,执行:
判断所述传感图像是否位于所述目标区域中;
当所述传感图像位于所述目标区域中时,将所述传感图像对应的所述第一传感数据确定为所述目标区域对应的第二传感数据。
在一些实施方式中,信息显示模块203在所述根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像过程中,执行:
确定所述目标对象对应的所述目标类别;
获得所述第二传感数据对应的目标数量;
当所述目标数量大于预设数量时,根据所述第二传感数据确定所述目标对象对应的目标坐标;
根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像。
在一些实施方式中,所述第二传感数据包括传感角度和传感距离,信息显示模块203在所述当所述目标数量大于预设数量时,则根据所述第二传感数据确定所述目标对象对应的目标坐标过程中,执行:
对所述第二传感数据的传感角度进行均值计算,获得平均角度,以及对所述第二传感数据的传感距离进行均值计算,获得平均距离;
根据所述平均角度和所述平均距离确定所述目标对象在测距坐标系下对应的坐标信息;
确定所述测距坐标系和所述智能穿戴设备对应的设备坐标系的转换关系;
根据所述转换关系和所述坐标信息确定所述目标对象对应的目标坐标。
在一些实施方式中,信息显示模块203在所述根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像过程中,执行:
确定所述目标类别对应的目标图案,以及获得所述目标坐标对应的目标位置;
根据所述目标图案和所述目标位置,获得所述目标对象对应的感知图像。
在一些实施方式中,信息显示装置200可应用于智能穿戴设备。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的信息显示装置200的具体工作过程,可以参考前述信息显示方法实施例中的对应过程,在此不再赘述。
请参阅图6,图6为本发明实施例提供的一种智能穿戴设备的结构示意性框图。
如图6所示,智能穿戴设备300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301用于提供计算和控制能力,支撑整个智能穿戴设备的运行。处理器301可以是中央处理单元(Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器302可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的智能穿戴设备的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的信息显示方法。
在一实施例中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取所述测距传感器采集到的第一传感数据和所述图像传感器采集到的图像数据;
将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;
根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
在一些实施方式中,处理器301在所述将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据过程中,执行:
确定所述图像数据中所述目标对象所对应的目标区域;
将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像;
将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据。
在一些实施方式中,处理器301在所述将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像过程中,执行:
确定所述测距传感器对应的测距坐标系和所述图像传感器对应的图像坐标系之间的转换矩阵;
根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
在一些实施方式中,所述第一传感数据包括传感角度和传感距离,处理器301在所述根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像过程中,执行:
根据所述第一传感数据的传感角度和所述第一传感数据的传感距离确定传感矩阵;
根据所述传感矩阵和所述转换矩阵进行乘积计算,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
在一些实施方式中,处理器301在所述将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据过程中,执行:
判断所述传感图像是否位于所述目标区域中;
当所述传感图像位于所述目标区域中时,将所述传感图像对应的所述第一传感数据确定为所述目标区域对应的第二传感数据。
在一些实施方式中,处理器301在所述根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像过程中,执行:
确定所述目标对象对应的所述目标类别;
获得所述第二传感数据对应的目标数量;
当所述目标数量大于预设数量时,根据所述第二传感数据确定所述目标对象对应的目标坐标;
根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像。
在一些实施方式中,处理器301在所述第二传感数据包括传感角度和传感距离,所述当所述目标数量大于预设数量时,则根据所述第二传感数据确定所述目标对象对应的目标坐标过程中,执行:
对所述第二传感数据的传感角度进行均值计算,获得平均角度,以及对所述第二传感数据的传感距离进行均值计算,获得平均距离;
根据所述平均角度和所述平均距离确定所述目标对象在测距坐标系下对应的坐标信息;
确定所述测距坐标系和所述智能穿戴设备对应的设备坐标系的转换关系;
根据所述转换关系和所述坐标信息确定所述目标对象对应的目标坐标。
在一些实施方式中,处理器301在所述根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像过程中,执行:
确定所述目标类别对应的目标图案,以及获得所述目标坐标对应的目标位置;
根据所述目标图案和所述目标位置,获得所述目标对象对应的感知图像。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的智能穿戴设备的具体工作过程,可以参考前述信息显示方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明实施例说明书提供的任一项信息显示方法的步骤。
其中,所述存储介质可以是前述实施例所述的智能穿戴设备的内部存储单元,例如所述智能穿戴设备的硬盘或内存。所述存储介质也可以是所述智能穿戴设备的外部存储设备,例如所述智能穿戴设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种信息显示方法,其特征在于,应用于智能穿戴设备,所述智能穿戴设备设置有测距传感器和图像传感器,所述方法包括:
获取所述测距传感器采集到的第一传感数据和所述图像传感器采集到的图像数据;
将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;
根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据,包括:
确定所述图像数据中所述目标对象所对应的目标区域;
将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像;
将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像传感器下所对应的传感图像,包括:
确定所述测距传感器对应的测距坐标系和所述图像传感器对应的图像坐标系之间的转换矩阵;
根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
4.根据权利要求3所述方法,其特征在于,所述第一传感数据包括传感角度和传感距离,所述根据所述转换矩阵将所述第一传感数据进行数据转换,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像,包括:
根据所述第一传感数据的传感角度和所述第一传感数据的传感距离确定传感矩阵;
根据所述传感矩阵和所述转换矩阵进行乘积计算,获得所述第一传感数据在所述图像坐标系下对应的所述传感图像。
5.根据权利要求2所述方法,其特征在于,所述将所述传感图像和所述目标区域进行匹配,确定所述目标区域对应的第二传感数据,包括:
判断所述传感图像是否位于所述目标区域中;
当所述传感图像位于所述目标区域中时,将所述传感图像对应的所述第一传感数据确定为所述目标区域对应的第二传感数据。
6.根据权利要求1所述方法,其特征在于,所述根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,包括:
确定所述目标对象对应的所述目标类别;
获得所述第二传感数据对应的目标数量;
当所述目标数量大于预设数量时,根据所述第二传感数据确定所述目标对象对应的目标坐标;
根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像。
7.根据权利要求6中所述的方法,其特征在于,所述第二传感数据包括传感角度和传感距离,所述当所述目标数量大于预设数量时,则根据所述第二传感数据确定所述目标对象对应的目标坐标,包括:
对所述第二传感数据的传感角度进行均值计算,获得平均角度,以及对所述第二传感数据的传感距离进行均值计算,获得平均距离;
根据所述平均角度和所述平均距离确定所述目标对象在测距坐标系下对应的坐标信息;
确定所述测距坐标系和所述智能穿戴设备对应的设备坐标系的转换关系;
根据所述转换关系和所述坐标信息确定所述目标对象对应的目标坐标。
8.根据权利要求6所述的方法,其特征在于,所述根据所述目标坐标和所述目标类别确定所述目标对象对应的感知图像,包括:
确定所述目标类别对应的目标图案,以及获得所述目标坐标对应的目标位置;
根据所述目标图案和所述目标位置,获得所述目标对象对应的感知图像。
9.一种信息显示装置,其特征在于,包括:
数据获取模块,用于获取测距传感器采集到的第一传感数据和图像传感器采集到的图像数据;
数据匹配模块,用于将所述第一传感数据和所述图像数据进行匹配,获得所述图像数据中目标对象对应的第二传感数据;
信息显示模块,用于根据所述目标对象对应的目标类别和所述第二传感数据确定所述目标对象对应的感知图像,并根据所述感知图像执行信息显示操作。
10.一种智能穿戴设备,其特征在于,所述智能穿戴设备包括处理器、存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的信息显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311455838.5A CN117631827A (zh) | 2023-11-02 | 2023-11-02 | 信息显示方法、装置及智能穿戴设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311455838.5A CN117631827A (zh) | 2023-11-02 | 2023-11-02 | 信息显示方法、装置及智能穿戴设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117631827A true CN117631827A (zh) | 2024-03-01 |
Family
ID=90027859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311455838.5A Pending CN117631827A (zh) | 2023-11-02 | 2023-11-02 | 信息显示方法、装置及智能穿戴设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117631827A (zh) |
-
2023
- 2023-11-02 CN CN202311455838.5A patent/CN117631827A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10217005B2 (en) | Method, apparatus and device for generating target detection information | |
EP3644276B1 (en) | Methods and systems for the fast estimation of three-dimensional bounding boxes and drivable surfaces using lidar point clouds | |
US10997439B2 (en) | Obstacle avoidance reminding method, electronic device and computer-readable storage medium thereof | |
EP2150053B1 (en) | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method | |
CN109918977B (zh) | 确定空闲车位的方法、装置及设备 | |
EP2562622A2 (en) | Apparatus and method for detecting a pointer relative to a touch surface | |
CN111445531B (zh) | 一种多目相机导航方法、装置、设备及存储介质 | |
US20130329961A1 (en) | Geometric pre-correction for automatic license plate recognition | |
CN112102409B (zh) | 目标检测方法、装置、设备及存储介质 | |
CN112528773B (zh) | 障碍物信息融合方法、装置、电子设备和存储介质 | |
KR101995223B1 (ko) | 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램 | |
CN112883955A (zh) | 货架布局检测方法、装置及计算机可读存储介质 | |
CN109828250A (zh) | 一种雷达标定方法、标定装置及终端设备 | |
CN110782464B (zh) | 物品堆积3d空间占用率的计算方法、编解码器及存储装置 | |
CN114972941A (zh) | 被遮挡车辆三维检测的决策融合方法、装置及电子设备 | |
CN110766646A (zh) | 展示架遮挡检测方法、装置以及存储介质 | |
CN117631827A (zh) | 信息显示方法、装置及智能穿戴设备 | |
CN112633143B (zh) | 图像处理系统、方法、头戴设备、处理设备及存储介质 | |
CN113673288A (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN113903188B (zh) | 车位检测方法、电子设备及计算机可读存储介质 | |
CN114638947A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
WO2021256267A1 (ja) | 情報処理システム、情報処理装置、及び、情報処理方法 | |
CN111028264B (zh) | 一种旋转鲁棒的三维物体检测优化方法及装置 | |
CN113820018A (zh) | 一种基于红外成像的测温方法、装置、系统及介质 | |
KR20180119344A (ko) | 영역 감시 장치 및 이에 의한 영역 감시 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |