CN114666784A

CN114666784A - 上报终端传感器信息的方法、终端和可读存储介质

Info

Publication number: CN114666784A
Application number: CN202011541787.4A
Authority: CN
Inventors: 孙鹏; 邬华明; 司晔; 王园园
Original assignee: Vivo Mobile Communication Co Ltd
Current assignee: Vivo Mobile Communication Co Ltd
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2022-06-24
Also published as: WO2022135459A1

Abstract

本申请公开了一种上报终端传感器信息的方法、终端和可读存储介质，其中，上报终端传感器信息的方法，包括：第一终端上报传感器相关信息，传感器相关信息包括以下至少一项：传感器的设备信息和传感器的第一测量信息。本申请提供的实施例，通过收集当前终端，也即第一终端中，传感器的设备信息和传感器的第一测量信息，通过传感器的设备信息和传感器的第一测量信息，进行如数据传输、定位等功能的实现，一方面有效地利用了终端设备上设置的多种传感器的性能，解决了终端传感器性能的浪费的问题，另一方面提高了终端定位的成功率和泛用性，并提高了终端的定位性能。

Description

上报终端传感器信息的方法、终端和可读存储介质

技术领域

本申请属于定位技术领域，具体涉及一种上报终端传感器信息的方法、终端和可读存储介质。

背景技术

在相关技术中，手机等终端上设置有多种传感器，比如图像传感器，在手机、平板电脑、行车记录仪等终端上，普遍都设置有摄像头，摄像头就是一种图像传感器。

然而，在相关技术中，如摄像头等图像传感器一般仅用于获取照片、视频等媒体数据，无法被应用到如定位其他场景，因此这些传感器没有被有效利用，造成终端传感器性能浪费。

因此，如何解决终端传感器性能的浪费，是亟待解决的技术问题。

发明内容

本申请实施例提供一种上报终端传感器信息的方法、终端和可读存储介质，能够实现解决终端传感器性能的浪费的效果。

第一方面，本申请实施例提供了一种上报终端传感器信息的方法，包括：

获取第一终端的传感器相关信息，传感器相关信息包括以下至少一项：传感器的设备信息和传感器的第一测量信息。

第二方面，本申请实施例提供了一种终端，包括存储器和处理器，存储器上存储有程序或指令，处理器执行程序或指令时实现如第一方面的上报终端传感器信息的方法。

第三方面，本申请实施例提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如第一方面的上报终端传感器信息的方法。

本申请提供的实施例，通过收集当前终端，也即第一终端中，传感器的设备信息和传感器的第一测量信息，通过传感器的设备信息和传感器的第一测量信息，进行如数据传输、定位等功能的实现，一方面有效地利用了终端设备上设置的多种传感器的性能，解决了终端传感器性能的浪费的问题，另一方面使得终端定位不再依赖于基站定位或全球定位系统(Global Positioning System，GPS)信号，提高了终端定位的成功率和泛用性，并提高了终端的定位性能。

附图说明

图1示出了根据本申请实施例的上报终端传感器信息的方法的流程图之一；

图2示出了根据本申请实施例的上报终端传感器信息的方法的流程图之二；

图3示出了根据本申请实施例的上报终端传感器信息的方法的流程图之三；

图4示出了根据本申请实施例的上报终端传感器信息的方法的流程图之四；

图5示出了根据本申请实施例的上报终端传感器信息的方法的流程图之五；

图6示出了根据本申请实施例的上报终端传感器信息的方法的流程图之六；

图7示出了根据本申请实施例的上报终端传感器信息的方法的流程图之七；

图8示出了根据本申请实施例的终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的上报终端传感器信息的方法进行详细地说明。

在本申请的一些实施例中，上报终端传感器信息的方法包括：第一终端上报传感器相关信息，传感器相关信息包括以下至少一项：传感器的设备信息和传感器的第一测量信息。

在本申请实施例中，通过收集当前终端，也即第一终端中，传感器的设备信息和传感器的第一测量信息，并进行上报，通过传感器的设备信息和传感器的第一测量信息，进行如数据传输、定位等功能的实现，有效地利用了终端设备上设置的多种传感器的性能，解决了终端传感器性能的浪费的问题。

在本申请的一些实施例中，图1示出了根据本申请实施例的上报终端传感器信息的方法的流程图之一，如图1所示，上报终端传感器信息的方法包括：

步骤102，第一终端上报传感器相关信息；

在步骤102中，传感器相关信息包括以下至少一项：传感器的设备信息和传感器的第一测量信息；

步骤104，网络根据传感器相关信息，执行第一终端的定位和/或第一终端的数据传输。

在本申请实施例中，通过收集当前终端，也即第一终端中，传感器的设备信息和传感器的第一测量信息，并进行上报，通过传感器的设备信息和传感器的第一测量信息，进行如数据传输、定位等功能的实现，一方面有效地利用了终端设备上设置的多种传感器的性能，解决了终端传感器性能的浪费的问题，另一方面使得终端定位不再依赖于基站定位或全球定位系统(Global Positioning System，GPS)信号，提高了终端定位的成功率和泛用性，并提高了终端的定位性能。

在本申请的一些实施例中，图2示出了根据本申请实施例的上报终端传感器信息的方法的流程图之一，如图2所示，上报终端传感器信息的方法还包括如下至少之二：

步骤202，上报设备信息和第一测量信息中的一种或多种；

步骤204，请求第二测量信息。

其中，设备信息包括以下中的一种或多种：

传感器类型、数据类型信息、传感器朝向、传感器与第一终端的天线的空间关系。

在本申请实施例中，终端主动上报传感器的设备信息，并上报传感器的第一测量信息，以使网络设备，如基站、定位服务器等，能够利用设备信息和第一测量信息，实现对终端设备的位置进行定位等功能，从而有效地利用终端传感器的性能，避免传感器性能浪费。

其中，设备类型包括传感器的类型，如图像传感器、音频传感器等。设备类型还包括传感器所采集到的传感数据的数据类型信息，如图像信息、音频信息等。设备类型还包括传感器的朝向，如图像传感器摄像头的朝向，麦克风拾音部件的朝向等。设备类型还包括传感器与天线组件的空间关系，即传感器，与终端天线之间的位置关系，该空间关系可以是坐标数据、角度数据等。

在本申请的一些实施例中，传感器类型包括以下中的一种或多种：

图像传感器、雷达传感器、红外探测传感器、结构光传感器；

在传感器类型包括图像传感器的情况下，数据类型信息包括图像传感器的帧率信息、图像传感器的编码类型中的一种或多种；

在传感器类型包括结构光传感器的情况下，数据类型信息包括结构光传感器的测量结果、飞行时间法测量值中的一种或多种，其中结构光传感器的测量结果包括深度信息。

在本申请实施例中，雷达传感器可以是短波雷达传感器。图像传感器可以是摄像头等传感器。红外探测传感器可以是位置传感器、距离传感器、温度传感器等。

当传感器包括结构光传感器时，结构光传感器的测量结果可以是点阵构成的三维立体模型，如果结构光传感器是飞行时间(Time of flight，TOF)类传感器，则数据类型信息还包括飞行时间法测量值。其中，结构光传感器最终得到的信息为立体信息，即包括深度(y轴)信息。

在本申请的一些实施例中，数据类型信息包括以下中的一种或多种：

定位算法、第一测量信息对应的人工智能网络类型、第一测量信息对应的人工智能网络的参数信息、是否需要接收回馈信息、对应的工作模式；以及

在传感器需要接收回馈信息的情况下，数据类型信息还包括以下中的一种或多种：

回馈信息的返回方式、回馈信息的格式、回馈信息的类型。

在该实施例中，数据类型信息包括传感器利用的定位算法，该定位算法可以是与传感器的类型相对应的算法。

第一测量信息对应的人工智能网络类型，即可通过人工智能网络对传感器的检测数据进行处理，最终实现定位等功能。

第一测量信息对应的人工智能网络的参数信息，也就是对通过人工智能网络对第一测量信息进行处理时，人工智能网络的配置信息。

是否需要接收回馈信息，也就是在通过终端的传感器实现定位时，将第一测量信息上报至位置服务器后，是否需要位置服务器返回对应的回馈信息才能实现定位等功能。

如果传感器需要结束回馈信息，则上报的数据类型信息中，还包括终端需要的回馈信息的返回方式，回馈信息的个数和类型等。

传感器对应的工作模式，也就是传感器的当前工作状态，包括但不限于：定位、数据传输、校准、测试、自检等。

在本申请的一些实施例中，人工智能网络包括以下中的一种或多种：

卷积网络、全连接网络、递归神经网络、生成对抗网络、深度置信网络、自动编码器。

在本申请实施例中，能够理解的是，人工智能网络可以是卷积网络、神经网络等，卷积网络可以是各种类型的卷积网络，本申请实施例对卷积网络、神经网络、对抗网络置信网络和自动编码器等网络的类型不做具体限定。

在本申请的一些实施例中，空间关系包括以下中的一种或多种：

传感器与天线组件的坐标关系；传感器与天线组件的角度关系；第一终端的本地坐标系与全局坐标系间的转换参数；本地坐标系的轴承角、下倾角和倾斜角；传感器与天线组件的相对空间关系；

其中，上报空间关系包括：

上报空间关系的预测值，或空间关系对应的运动范围。

在本申请实施例中，传感器与天线之间的空间关系，可以是传感器与天线组件的坐标关系、角度关系，其中，坐标关系可以是大地坐标系下的坐标关系，或是第一终端的本地坐标系下的坐标关系，在本地坐标系的情况下，空间关系还包括本地坐标系与全局坐标系间的转换参数、本地坐标系的轴承角、下倾角和倾斜角等。

传感器与天线组件的相对空间关系，比如以天线组件为基准，传感器位于天线组件的方位、距离和角度等。

上报空间关系的步骤，具体可以包括空间关系的预测值，如根据传感器的位置变化趋势，预测在某个时间点下的空间关系，或空间关系的运动范围，如传感器的检测端的运动范围等。

在本申请的一些实施例中，根据预先配置的条件，再次上报空间关系；

其中，预先配置的条件包括以下至少一项：空间关系发生变化，网络触发新的上报，工作模式发生变化。

在该实施例中，第一终端可以动态上报设备信息，例如空间关系的上报可以是静态上报，也可以是动态上报，其中动态上报即根据预先配置的条件是否被满足，来确定是否上报或再次上报控件关系。根据预先配置的条件是否被满足，来确定是否上报或再次上报控件关系，其中的条件包括空间关系发生变化，网络触发新的上报，工作模式发生变化中的一种或多种。

在本申请的一些实施例中，第一测量信息还包括传感器的工作模式，工作模式包括以下中的一种或多种：初始位置标记模式、地图制作模式、地图更新模式、实时定位模式。

在本申请实施例中，传感器的工作模式包括初始位置标记模式，即标定当前终端的初始位置，该初始位置可作为测距的起点，如应用于测量步数、距离、运动轨迹的长度等场景。

地图制作模式，具体包括以下场景，其一是按照一定间隔记录传感器的实时位置信息，并将这些实时位置信息，按照其先后时间顺序，将其连接，形成“地图”。其二是利用图像传感器和结构光传感器，实时建立一个控件的“地图”数据文件，该地图可以是二维地图或三维地图。

地图更新模式是基于地图制作模式，即对制作的地图文件进行更新的模式。

实时定位模式具体是获取终端的实时位置，该实时位置可以结合地图进行显示，用于标定终端在地图中的位置。

在本申请的一些实施例中，图3示出了根据本申请实施例的上报终端传感器信息的方法的流程图之三，如图3所示，上报终端传感器信息的方法还包括：

步骤302，在工作模式发生切换的情况下，获取工作模式切换前的第一位置信息和第一朝向信息，并获取工作模式切换后的第二位置信息和第二朝向信息；

步骤304，在第二位置信息与第一位置信息不同的情况下，上报第二位置信息，以及在第二朝向信息与第一朝向信息不同的情况下，上报第二朝向信息。

在本申请实施例中，当传感器的工作模式发生了变化，则需要判断传感器的朝向信息和位置信息是否随之改变，具体为获取工作模式变化前的第一位置信息和第一朝向信息，并获取工作模式变化后的第二位置信息和第二朝向信息，如果第二位置信息和第二朝向信息与第一位置信息和第一朝向信息不同，则说明朝向和位置发生了变化，此时上报发生了变化的位置信息和朝向信息。

在本申请的一些实施例中，第一测量信息包括以下中的一种或多种：

测量结果、基于测量结果确定的定位信息、测量结果的数据格式；

其中，测量结果的数据格式为网络不可恢复的数据格式。

在本申请实施例中，测量结果具体为传感器的检测结果，如距离值、亮度值、图像数据等，基于测量结果确定的定位信息，是根据测量结果，通过对应的定位算法或定位方式，得到的位置信息，如根据图像信息和建立的地图信息得到的终端在地图中的位置等。测量结果的数据格式，是传感器的检测值的数据格式，如图像信息的图片格式(如.jpg和.png等)。

在本申请的一些实施例中，第一终端按照配置的上报类型和/或设定的周期定期，上报设备信息和/或第一测量信息；或第一终端接收触发信号或信令，根据触发信号或信令上报设备信息和/或第一测量信息；或第一终端检测当前事件信息，在当前事件信息与预设的目标事件信息相匹配的情况下，上报设备信息和/或第一测量信息。

在本申请实施例中，第一终端可以按照设定的周期，定期上报设备信息和第一测量信息中的一种或全部，用于实时定位。

第一终端还可以根据接收到的触发信号，上报设备信息和第一测量信息中的一种或全部，其中触发信号可以来自网络或其他终端，本申请实施例对此不做限定。

第一设备还可以根据当前事件，选择是否上报设备信息和第一测量信息中的一种或全部。具体地，如果当前事件与预设的目标事件相匹配，则执行上报动作。其中，预设的目标事件可以根据用户设置、网络规则等进行编辑。如，当终端处于充电状态时上报、当终端时间处于预设的时间段时上报等。

图像传感器采集的图像信息、雷达传感器发送信号及反射信号的信息、雷达传感器在不同角度或位置下反射信号的强度信息、雷达传感器的时延信息、结构光传感器发送信号及反射信号的信息、结构光传感器在不同角度或位置下反射信号的深度信息、结构光传感器的时延信息、预设测量数据、对至少一种测量数据的处理请求信息、时间戳信息、位置信息、位置信息对应的定位方式信息、位置信息对应的传感器类型信息、至少一个传感器的角度信息、下行定位数据(DL based Positioning)、上行定位数据(UL basedPositioning)、超带宽(UWB，Ultra Wide Band)定位测量数据、Wi-Fi定位测量数据。

在本申请实施例中，第一测量信息可以是特定传感器的检测数据、网络约定的数据、第一终端的本地数据、传感器的状态参数等，本申请实施例对此不做限定。

在本申请的一些实施例中，第一测量信息用于执行所述终端的终端辅助定位，所述第一测量信息包括

图像信息、时间戳信息、位置信息、位置信息对应的定位方式信息和图像传感器的角度信息。

在本申请实施例中，定位方式包括终端定位(UE based)或终端辅助定位(UEassisted)，在执行终端辅助定位(UE assisted)时，第一测量信息包括图像信息、时间戳信息、位置信息、位置信息对应的定位方式信息和图像传感器的角度信息。

在本申请的一些实施例中，执行第一终端的定位包括执行终端定位，第一测量信息包括：

时间戳信息、位置信息、图像传感器的角度信息和位置信息对应的定位方式信息。

在本申请实施例中，定位方式包括终端定位(UE based)或终端辅助定位(UEassisted)，在执行终端定位(UE based)时，第一测量信息包括时间戳信息、位置信息、图像传感器的角度信息和位置信息对应的定位方式信息。

在本申请的一些实施例中，在传感器用于执行第一终端的定位的情况下，第一测量信息包括：预设测量数据、对至少一种测量数据的处理请求信息和时间戳信息。

在本申请实施例中，在利用传感器对第一终端进行定位时，第一测量信息还包括预设测量数据、对至少一种测量数据的处理请求信息和时间戳信息。

在本申请的一些实施例中，第一测量信息包括：

图像信息、时间戳信息、位置信息、图像传感器的角度信息、位置信息对应的定位方式信息、下行定位数据、上行定位数据、超带宽定位测量数据和Wi-Fi定位测量数据。

在本申请实施例中，在一些情况下，如第一终端或第一终端的传感器处于校准模式的情况下，可以采集如下第一测量信息，包括图像传感器采集到的图像信息、时间戳信息、位置信息、图像传感器的角度信息、位置信息对应的定位方式信息、下行定位数据、上行定位数据、超带宽定位测量数据和Wi-Fi定位测量数据。

在本申请的一些实施例中，在工作模式为校准模式的情况下上报第一测量信息。

在本申请实施例中，当第一终端的传感器的工作模式为校准模式，则上报采集的第一测量信息，具体包括：图像传感器采集到的图像信息、时间戳信息、位置信息、图像传感器的角度信息、位置信息对应的定位方式信息、下行定位数据、上行定位数据、超带宽定位测量数据和Wi-Fi定位测量数据。

在本申请的一些实施例中，请求第二测量信息，包括：

向网络侧设备发送图像请求，并接收网络侧设备反馈的第二终端的图像传感器获取的图像信息；

其中，图像信息包括绝对时间标识信息；或

图像信息包括相对于定位参考系统的发送时刻的相对时间标识信息。

在本申请实施例中，第一终端还可以通过图像请求，获取第二终端的图像传感器获取的图像信息，以通过组合多个不同终端的图像信息，来进行当前场景进行定位和地图绘制等工作。

其中，图像信息包括时间信息，该时间信息可以是绝对时间标识信息，从而避免多个终端之间本地时间的时间差，时间信息还可以是相对于定位参考系统的发送时刻的相对时间标识信息，即通过定位参考系统实现不同终端之间的本地时间的归一化。

在本申请的一些实施例中，图4示出了根据本申请实施例的上报终端传感器信息的方法的流程图之四，如图4所示，上报终端传感器信息的方法还包括：

步骤402，接收网络侧设备或定位服务器发送的第二测量信息；

步骤404，基于第一测量信息和第二测量信息确定第一终端的位置信息。

在本申请实施例中，终端设备接收网络侧设备或定位服务器发送的第二测量信息，并结合第一测量信息和第二测量信息，确定当前第一终端的位置信息。其中，第二测量信息可以是定位服务器或网络设备通过自身硬件或算法得到的测量信息，也可以是不同于第一终端的其他终端获取的测量信息，本申请实施例对此不做限定。

进一步地，第二测量信息可以是与第一测量信息相同的数据类型，其测量角度可能与第一测量信息相同或不同。第二测量信息也可以是与第一测量信息不同的数据类型，即第二测量信息与第一测量信息之间形成互补。第二测量信息还可以是第一测量信息对应的测量信息，结合第一测量信息和第二测量信息能够得到更加准确和更加完整的测量数据。

在本申请的一些实施例中，图5示出了根据本申请实施例的上报终端传感器信息的方法的流程图之五，如图5所示，上报终端传感器信息的方法还包括：

步骤502，接收网络侧设备或定位服务器发送的信息处理方式；

步骤505，通过信息处理方式对第一测量信息和第二测量信息进行处理。

在本申请实施例中，第一终端接收来自于网络侧设备，或来自于定位服务器的信息处理方式，该信息处理方式可以是预设的算法、预设的处理程序等，通过该信息处理方式，能够对第一测量信息你和第二测量信息进行有效的信息处理，从而将原始数据整合为能够用于定位或者数据发送的有效信息，或根据原始数据得到当前第一终端的位置信息，或进行地图绘制、地图更新等。

在本申请的一些实施例中，图6示出了根据本申请实施例的上报终端传感器信息的方法的流程图之六，如图6所示，请求第二测量信息，包括：

步骤602，向网络侧设备发送数据请求；

步骤604，接收网络侧设备反馈的与数据请求对应的第二测量信息。

在本申请实施例中，第一终端可通过向网络侧设备发送数据请求，网络侧设备在接收到数据请求后，根据第一终端的数据请求，向终端设备反馈对应的第二测量信息。其中，第二测量信息可以是定位服务器或网络设备通过自身硬件或算法得到的测量信息，也可以是不同于第一终端的其他终端获取的测量信息，本申请实施例对此不做限定。

在本申请的一些实施例中，图7示出了根据本申请实施例的上报终端传感器信息的方法的流程图之七，如图7所示，请求第二测量信息，包括：

步骤702，向网络侧设备发送定位方式信息；

步骤704，接收网络侧设备反馈的与定位方式信息对应的第二测量信息。

在本申请实施例中，第一终端向网络侧设备发送定位方式信息，其中，定位方式信息指示了第一终端即将发起的定位流程的工作方式，如所利用的传感器的种类、所利用的传感器的检测数据的数据类型和数据格式等，在接收到定位方式信息后，网络设备根据定位方式信息，确定第一终端在定位时，可能用得到的第二测量信息，并向第一终端反馈该第二测量信息，以使第一终端能够根据自身的第一测量信息和接收到的第二测量信息实现定位。

在本申请的一些实施例中，通过第一终端发起定位流程；或

通过网络侧设备发起定位流程；或

通过第三终端发起定位流程。

在本申请实施例中，定位流程为第一终端对自身的位置信息进行获取和/或上报的流程，该定位流程可以由第一终端自身发起，第一终端自身主动获取第一测量信息，并请求第二测量信息，实现定位。

定位流程还可以由网络侧设备发起，如定位服务器等，网络侧设备向第一终端发送对应的信令，第一终端根据接收到的信令，开始采集自身的第一测量信息并上报，同时接收网络侧的第二测量信息，实现定位。

定位流程还可以通过区别于第一终端的任一第三终端发起，第三终端可以直接与第一终端之间建立点对点连接，并发起定位流程，第三终端还可以通过网络侧设备，如定位服务器来转发该定位流程，从而实现定位。

在本申请的一些实施例中，上报终端传感器信息的方法还包括：第一终端上报第一测量信息对应的时间信息。

在本申请实施例中，第一终端在上报第一测量信息时，同时上报第一测量信息对应的时间信息，通过时间维度可以将不同终端上报的不同测量信息相互匹配，并基于时间轴实现精确定位。

在本申请的一些实施例中，时间信息为第一终端相对于任一第四终端的相对时间信息。

在本申请实施例中，第一测量信息对应的时间信息，具体为第一终端相对于任一第四终端的相对时间信息，其中，该第四终端为基准终端，第四终端的时间信息可以是本地时间信息或绝对时间信息，在第四终端的时间不变的情况下，任一终端相对同一个第四终端的时间信息能够保证全部终端的时间信息均处于同一条时间轴下，避免不同终端之间的本地时间差造成测量信息时间不对应，能够有效提高定位精度。

在本申请的一些实施例中，时间信息为绝对时间信息。

在本申请实施例中，第一测量信息对应的时间信息，具体为绝对时间信息，其中，第一终端可以通过卫星时间校准、访问时间服务器等方式获取绝对时间，并将本地时间保持与绝对之间相同步。全部终端上传的测量信息均与绝对时间信息相匹配，能够保证全部终端的时间信息均处于同一条时间轴下，避免不同终端之间的本地时间差造成测量信息时间不对应，能够有效提高定位精度。

在本申请的一些实施例中，第一测量信息还包括至少一个第五终端的传感器的测量信息。

在本申请实施例中，第一终端向网络侧设备上报的第一测量信息中，除了包括采集自身传感器的测量信息外，还可以包括任一第五终端的传感器的测量信息，即通过一个终端同时上报多个不同终端的传感器的测量信息。其中，第一终端与第五终端之间可以建立点对点的直接数据连接，也可以通过骨干网、基站、服务器等建立间接的数据连接，从而获取第五终端的传感器的测量信息，本申请实施例对此不做限定。

在本申请的一些实施例中，收集第一终端的传感器的设备信息和传感器的第一测量信息，包括：

通过预设的神经网络，在第一终端的本地数据中提取本地信息，根据本地信息生成设备信息和/或第一测量信息。

在本申请实施例中，可以通过预设的神经网络，在第一终端的本地数据中提取本地信息，并生成对应的设备信息和第一测量信息，该过程不会占用第一终端的本地算力，一方面能够避免第一终端的性能被过分占用导致的终端性能损耗，另一方面能够避免过度使用第一终端的电池电能，保证第一终端的续航能力。

在本申请的一些实施例中，对终端采集自身的传感器的设备信息，以及传感器的测量信息，并进行上报，实现终端的定位的过程中，其数据采集、交互、传输、数据结构等进行了标准的规范。

具体地，终端向网络/定位服务器上报设备信息，该设备信息可以具体包括如下内容：

终端上报支持的传感器(sensor)(传感器)类型，支持的传感器(sensor)数据类型，和/或传感器(sensor)相关的设备信息，还可以包括用于定位的其他信息，如计算类型信息等。

其中，传感器(sensor)可以是用于采集图像信息的设备，用于雷达探测的设备，用于红外探测的设备，用于采集结构光相关测量结果的设备。

终端可以进一步上报针对各设备的能力信息，例如图像设备帧率(Frames PerSecond，FPS)等能力信息。

具体地，传感器(sensor)数据类型，是指针对某类型的传感器(sensor)可以上报的数据类型，例如用于结构光采集的设备，可以直接上报带有深度信息的结构光测量结果，也可以上报不同角度的TOF测量值。

数据类型还包括上报的测量数据是如何编码的，比如图像设备测量得到的图像信息是通过何种方式编码的。

其中，用于定位的其他信息包括：

对应支持的定位算法，例如是传感器(sensor)信息与其他信息混合定位，还是TDOA(到达时间差，一种利用时间差进行定位的方法)，还是基于机器学习定位；

支持的定位算法可以针对所支持的传感器(sensor)类型分别上报；

上报的数据对应的AI(人工智能)网络特征，例如对应上报的数据希望网络利用哪种类型的AI网络处理等；

包括对应的AI网络的参数信息；

是否需要网络返回相应的数据，和/或返回数据的方式、类型、格式等；

支持的工作模式，如该设备是否支持初始位置标记/地图制作更新、是否支持实时位置更新，是否能在多种模式间切换等等；

某类传感器(sensor)的朝向，和/或与天线的空间关系。

其中，空间关系包括：坐标关系，传感器(sensor)朝向等角度关系。

具体地，传感器(sensor)朝向等角度关系若相对于终端本地坐标系，还需要上报本地坐标系(Local Coordinate System，LCS)与全局坐标系(Global Coordinate System，GCS)转换参数，至少包含终端本地坐标系的角度α(轴承角)，β(下倾角)和γ(倾斜角)。

上报包括不限于相对空间关系上报，且空间关系的上报可以上报多个可能值，或者某个运动范围。

以摄像头为例，摄像头空间关系的上报可以是静态上报，也可以是动态上报，例如摄像头/雷达探头角度不断调整时，可以实时上报摄像头/探头角度信息，或者与测量信息同时上报设备信息，例如随着某次测量结果同时上报对应该次测量的空间关系。

传感器的工作模式包括：

1、初始位置标记；

2、地图制作；

3、地图更新；

4、实时位置确定。

考虑周边位置可能在变换，传感器的工作模式可能会需要在两种模式间切换，一旦切换，为了节省校准开销，可能仅需要上报特定位置、朝向的特定结果。

终端向网络上报测量信息，测量信息为传感器(sensor)获得的实时测量结果，如摄像头的图像数据，雷达测量数据(如通过毫米波雷达获得的距离、角度、TOF信息等)，结构光测量设备采集的数据，包括各类反射的TOF信息，以及对应各角度的深度信息。

测量信息还可以是基于上述数据的某类抽象信息，例如上报根据图像信息检测到的新出现的遮挡信息等。

例如网络可以预配置特定方向、位置、深度，要求终端针对该特定方向、位置、深度，上报相应的遮挡信息。

例如网络可以预配置特定图像，要求终端在检测到的图像与目标图像和/或目标图像的某类特定变换(例如，平移、角度变化)不符合预配置特定的图像时，上报不符合的内容。

传感器(sensor)数据的格式，可以通过网络和终端之间提前约定，比如可以为网络不可恢复的数据格式，用于保护隐私。

或者，网络可以仅仅知道如何处理相应的终端上报数据并将数据返回给终端，但并没有办法获得用户的位置。

还可以通过其他数据脱敏的方式，进行保护隐私。

终端上报传感器(sensor)测量数据可以网络触发上报，或者定期上报，或者基于预先设定的事件上报。

其中，预先设定的事件包括：

1、进入特定区域(例如小区)的事件；

2、某类测量信号达到一定阈值的事件；

3、终端从先前位置移动超过一些预定义的(直线)距离的事件。

在一些实施情况下，网络可以预配置特定图像，要求终端在检测到的图像与目标图像和/或目标图像的某类特定变换(例如，平移、角度变化)不符合时，进行上报。

终端向网络上报的格式，可以包括如下的信息中部分或全部：

根据采用的定位方法不同(如UE assisted或UE based)或工作模式不同，上报的内容不同：

例如采用利用图像设备采集的图像信息进行UE assisted定位时，上报的内容包括如下的部分：

例如采用图像设备采集的图像信息进行UE based方案时，上报的内容包括如下的部分：

例如采用基于AI的定位方案时，上报的内容包括如下的部分：

例如在校准模式下，上报的内容包括如下部分：

终端可以向网络请求特定测量数据：

例如设备2向网络请求获得设备1的图像数据；网络向设备1发送图像数据；网络在向终端发送数据时，按绝对时间或相对时间标识信息等。

其中，相对时间可以相对PRS发送时刻；终端向网络请求时，标识希望获得数据的时间。

网络/定位服务器向终端配置相应的辅助数据，包括如下：

网络/定位服务器向终端发送特定数据，终端基于本地数据和网络发送的数据，确定终端的位置；

网络/定位服务器向终端发送特定处理方法，用于终端结合本地数据和网络发送的数据处理相应的信息；

该辅助数据的提供，依赖终端提出请求，或者网络根据终端选择的定位方法网络向终端提供；

提供相应的数据可以基于differential的方式：例如在第一时间点，网络提供相应的数据，在第二时间点，网络向终端提供的数据采用与第一时间点差分的方式提供，从而减少数据配置开销。

定位服务可以由终端发起，或者由网络/定位服务发起，也可以由第三方发起；

多种测量信息间协同：

终端向网络上报不同测量结果间的时间关系；

可以初始时上报不同设备间的时间关系，这类时间关系中包括不限于软件系统和硬件系统引入的可能时间差，该类数据可能需要通过出厂校准或实时校准获得；

终端直接在每类上报中直接标识绝对时间；

多种测量信息包括源自一个设备的信息，也包括源自多种设备的信息。

例如图像数据可能源自上述设备1，无线测量信号源自设备2，网络基于多种测量信息可以通过是否在相同的report中隐含指示相应的数据间的时间关系，是否可以同时使用，时间关系误差范围为多大等。

关于隐私设置：

可以通过预先约定/配置的神经网络对本地的数据提取关键上报信息，但网络侧无法根据关键上报信息恢复原始图像数据；

网络侧向终端侧配置对应的神经网络，或者终端侧通知网络侧使用的神经网络。

在本申请的一些实施例中，图8示出了根据本申请实施例的终端的结构示意图，可选的，本申请实施例还提供一种终端1900，包括处理器1910，存储器1909，存储在存储器1909上并可在所述处理器1910上运行的程序或指令，该程序或指令被处理器1910执行时实现上述上报终端传感器信息的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的终端包括上述所述的移动终端和非移动终端。

该终端1900包括但不限于：射频单元1901、网络模块1902、音频输出单元1903、输入单元1904、传感器1905、显示单元1906、用户输入单元1907、接口单元1908、存储器1909、以及处理器1910等部件。

其中，处理器1910调用存储器1909中的程序或指令，获取传感器1905的相关信息，并根据相关信息执行终端1900的定位和/或数据传输，一方面有效地利用了终端设备上设置的多种传感器的性能，解决了终端传感器性能的浪费的问题，另一方面使得终端定位不再依赖于基站定位或GPS(Global Positioning System，全球定位系统)信号，提高了终端定位的成功率和泛用性，并提高了终端的定位性能。

本领域技术人员可以理解，终端1900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，射频单元1901可用于收发信息或收发通话过程中的信号，具体的，接收基站的下行数据或向基站发送上行数据。射频单元1901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。

网络模块1902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1903可以将射频单元1901或网络模块1902接收的或者在存储器1909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1903还可以提供与终端1900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1903包括扬声器、蜂鸣器以及受话器等。

输入单元1904用于接收音频或视频信号。输入单元1904可以包括图形处理器(Graphics Processing Unit，GPU)5082和麦克风5084，图形处理器5082对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1906上，或者存储在存储器1909(或其它存储介质)中，或者经由射频单元1901或网络模块1902发送。麦克风5084可以接收声音，并且能够将声音处理为音频数据，处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1901发送到移动通信基站的格式输出。

终端1900还包括一种或多种传感器1905，比如指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器以及其他传感器。

显示单元1906用于显示由用户输入的信息或提供给用户的信息。显示单元1906可包括显示面板5122，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5122。

用户输入单元1907可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1907包括触控面板5142以及其他输入设备5144。触控面板5142也称为触摸屏，可收集用户在其上或附近的触摸操作。触控面板5142可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1910，接收处理器1910发来的命令并加以执行。其他输入设备5144可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板5142可覆盖在显示面板5122上，当触控面板5142检测到在其上或附近的触摸操作后，传送给处理器1910以确定触摸事件的类型，随后处理器1910根据触摸事件的类型在显示面板5122上提供相应的视觉输出。触控面板5142与显示面板5122可作为两个独立的部件，也可以集成为一个部件。

接口单元1908为外部装置与终端1900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/0)端口、视频I/0端口、耳机端口等等。接口单元1908可以用于接收来自外部装置的输入(例如，数据类型信息、电力等等)并且将接收到的输入传输到终端1900内的一个或多个元件或者可以用于在终端1900和外部装置之间传输数据。

存储器1909可用于存储软件程序以及各种数据。存储器1909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1910通过运行或执行存储在存储器1909内的软件程序和/或模块，以及调用存储在存储器1909内的数据，执行终端1900的各种功能和处理数据，从而对终端1900进行整体监控。处理器1910可包括一个或多个处理单元；优选的，处理器1910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。

终端1900还可以包括给各个部件供电的电源1911，优选的，电源1911可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的终端中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络侧设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种上报终端传感器信息的方法，其特征在于，包括：

第一终端上报传感器相关信息，所述传感器相关信息包括以下至少一项：传感器的设备信息和传感器的第一测量信息。

2.根据权利要求1所述方法，其特征在于，

所述传感器相关信息用于所述第一终端的定位和/或所述第一终端的数据传输。

3.根据权利要求1所述方法，其特征在于，所述方法还包括如下至少之一：

上报所述设备信息和/或所述第一测量信息；

请求第二测量信息；

其中，所述设备信息包括以下中的一种或多种：

传感器类型、数据类型信息、传感器朝向、传感器与所述第一终端的天线的空间关系。

4.根据权利要求3所述方法，其特征在于，所述传感器类型包括以下中的一种或多种：

在所述传感器类型包括所述图像传感器的情况下，所述数据类型信息包括所述图像传感器的帧率信息、所述图像传感器的编码类型中的一种或多种；

在所述传感器类型包括所述结构光传感器的情况下，所述数据类型信息包括所述结构光传感器的测量结果、飞行时间法测量值中的一种或多种，其中所述结构光传感器的测量结果包括深度信息。

5.根据权利要求3所述方法，其特征在于，所述数据类型信息包括以下中的一种或多种：

定位算法、所述第一测量信息对应的人工智能网络类型、所述第一测量信息对应的人工智能网络的参数信息、是否需要接收回馈信息对应的工作模式；以及

在所述传感器需要接收所述回馈信息的情况下，所述数据类型信息还包括以下中的一种或多种：

所述回馈信息的返回方式、所述回馈信息的格式、所述回馈信息的类型。

6.根据权利要求5所述方法，其特征在于，所述人工智能网络包括以下中的一种或多种：

7.根据权利要求3所述方法，其特征在于，所述空间关系包括以下中的一种或多种：

所述传感器与所述天线组件的坐标关系；所述传感器与所述天线组件的角度关系；所述第一终端的本地坐标系与全局坐标系间的转换参数；所述本地坐标系的轴承角、下倾角和倾斜角；所述传感器与所述天线组件的相对空间关系；

其中，上报所述空间关系包括：

上报所述空间关系的预测值，或所述空间关系对应的运动范围。

8.根据权利要求7所述方法，其特征在于，所述方法还包括：

根据预先配置的条件，再次上报所述空间关系；其中，预先配置的条件包括以下至少一项：空间关系发生变化，网络触发新的上报，工作模式发生变化。

9.根据权利要求3所述方法，其特征在于，所述第一测量信息还包括所述传感器的工作模式，所述工作模式包括以下中的一种或多种：

初始位置标记模式、地图制作模式、地图更新模式、实时定位模式。

10.根据权利要求9所述方法，其特征在于，所述方法还包括：

在所述工作模式发生切换的情况下，获取所述工作模式切换前的第一位置信息和第一朝向信息，并获取所述工作模式切换后的第二位置信息和第二朝向信息；

在所述第二位置信息与所述第一位置信息不同的情况下，上报所述第二位置信息，以及在所述第二朝向信息与所述第一朝向信息不同的情况下，上报所述第二朝向信息。

11.根据权利要求1所述方法，其特征在于，所述第一测量信息包括以下中的一种或多种：

测量结果、基于所述测量结果确定的定位信息、所述测量结果的数据格式；

其中，所述测量结果的数据格式为网络不可恢复的数据格式。

12.根据权利要求11所述方法，其特征在于，

所述第一终端按照配置的上报类型和/或设定的周期定期，上报所述设备信息和/或所述第一测量信息；或

所述第一终端接收触发信号或信令，根据所述触发信号或信令上报所述设备信息和/或第一测量信息；或

所述第一终端检测当前事件信息，在所述当前事件信息与预设的目标事件信息相匹配的情况下，上报所述设备信息和/或所述第一测量信息。

13.根据权利要求4所述方法，其特征在于，所述第一测量信息包括以下中的一种或多种：

所述图像传感器采集的图像信息、所述雷达传感器发送信号及反射信号的信息、所述雷达传感器在不同角度或位置下反射信号的强度信息、所述雷达传感器的时延信息、所述结构光传感器发送信号及反射信号的信息、所述结构光传感器在不同角度或位置下反射信号的深度信息、所述结构光传感器的时延信息、预设测量数据、对至少一种测量数据的处理请求信息、时间戳信息、位置信息、所述位置信息对应的定位方式信息、所述位置信息对应的传感器类型信息、至少一个所述传感器的角度信息、下行定位数据、上行定位数据、超带宽定位测量数据、Wi-Fi定位测量数据。

14.根据权利要求13所述方法，其特征在于，所述第一测量信息用于执行所述终端的终端辅助定位，所述第一测量信息包括以下一种或多种：

所述图像信息、所述时间戳信息、所述位置信息、所述位置信息对应的定位方式信息、所述图像传感器的角度信息。

15.根据权利要求4所述方法，其特征在于，所述第一测量信息用于执行所述终端的基于终端定位，所述第一测量信息包括以下一种或多种：

时间戳信息、所述第一终端的位置信息、所述图像传感器的角度信息、所述位置信息对应的定位方式信息。

16.根据权利要求13所述方法，其特征在于，在所述传感器相关信息用于所述第一终端的定位的情况下，所述第一测量信息包括以下一种或多种：

所述预设测量数据、对所述至少一种测量数据的处理请求信息、所述时间戳信息。

17.根据权利要求4所述方法，其特征在于，所述第一测量信息包括：

所述图像信息、所述时间戳信息、所述第一终端的位置信息、所述图像传感器的角度信息、所述第一终端的位置信息对应的定位方式信息、下行定位数据、上行定位数据、超带宽定位测量数据和所述Wi-Fi定位测量数据。

18.根据权利要求17所述方法，其特征在于，在所述传感器的工作模式为校准模式的情况下上报所述第一测量信息。

19.根据权利要求3所述方法，其特征在于，所述请求第二测量信息，包括：

其中，所述图像信息包括绝对时间标识信息；或

所述图像信息包括相对于定位参考系统的发送时刻的相对时间标识信息。

20.根据权利要求3所述方法，其特征在于，还包括：

接收网络侧设备或定位服务器发送的所述第二测量信息，基于所述第一测量信息和所述第二测量信息确定所述第一终端的位置信息。

21.根据权利要求20所述方法，其特征在于，还包括：

接收网络侧设备或定位服务器发送的信息处理方式，通过所述信息处理方式对所述第一测量信息和所述第二测量信息进行处理。

22.根据权利要求3所述方法，其特征在于，所述请求第二测量信息，包括：

向网络侧设备发送数据请求；

接收网络侧设备反馈的与所述数据请求对应的所述第二测量信息。

23.根据权利要求3所述方法，其特征在于，所述请求第二测量信息，包括：

向网络侧设备发送定位方式信息；

接收网络侧设备反馈的与所述定位方式信息对应的所述第二测量信息。

24.根据权利要求2所述方法，其特征在于，通过所述第一终端发起定位流程；或

通过网络侧设备发起定位流程；或

通过第三终端发起定位流程。

25.根据权利要求1所述方法，其特征在于，还包括：

上报所述第一测量信息对应的时间信息。

26.根据权利要求25所述方法，其特征在于，所述时间信息为所述第一终端相对于任一第四终端的相对时间信息。

27.根据权利要求25所述方法，其特征在于，所述时间信息为绝对时间信息。

28.根据权利要求1所述方法，其特征在于，所述第一测量信息还包括至少一个第五终端的传感器的测量信息。

29.根据权利要求1所述方法，其特征在于，在第一终端上报传感器相关信息之前，所述方法包括：

通过预设的神经网络，在所述第一终端的本地数据中提取本地信息，根据所述本地信息生成所述设备信息和/或第一测量信息。

30.一种终端，其特征在于，包括存储器和处理器，所述存储器上存储有程序或指令，所述处理器执行所述程序或指令时实现如权利要求1至29中任一项所述方法。

31.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至29中任一项所述方法。