CN112304330B - 展示车辆的行驶状态的方法以及电子设备 - Google Patents

展示车辆的行驶状态的方法以及电子设备 Download PDF

Info

Publication number
CN112304330B
CN112304330B CN202011180455.8A CN202011180455A CN112304330B CN 112304330 B CN112304330 B CN 112304330B CN 202011180455 A CN202011180455 A CN 202011180455A CN 112304330 B CN112304330 B CN 112304330B
Authority
CN
China
Prior art keywords
vehicle
mobile terminal
coordinate system
data
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011180455.8A
Other languages
English (en)
Other versions
CN112304330A (zh
Inventor
费聪
崔精兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011180455.8A priority Critical patent/CN112304330B/zh
Publication of CN112304330A publication Critical patent/CN112304330A/zh
Priority to PCT/CN2021/116170 priority patent/WO2022088973A1/zh
Application granted granted Critical
Publication of CN112304330B publication Critical patent/CN112304330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开公开了一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质。其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。

Description

展示车辆的行驶状态的方法以及电子设备
技术领域
本公开涉及自动驾驶技术，尤其地，涉及一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质。
背景技术
当前，驾驶状态的识别主要依赖于车载设备。例如，可以利用车载设备上的组合惯导(IMU)和车载故障诊断系统(OBD)来获取车速、航向角、负载等信息，进而判别出车辆超速、超载等危险驾驶行为。然而，当前的车载设备制造成本高，安装难度大，难以在短时间内大规模部署实现。
当前也提出了利用移动终端(例如移动终端)来识别驾驶状态的方法。然而，现有的利用移动终端来识别车辆状态的方法要求移动终端固定位置或是固定朝向。因此，在利用移动终端来识别驾驶状态时，用户对移动终端的其它操作将受到影响。并且，当前利用移动终端所能够识别驾驶状态的种类较少，并且识别出的车辆状态的准确度和灵敏度都不够高，难以商用。
当前在移动终端上显示车辆的行驶状态的界面也不够直观，不能为驾驶员更直观地提供车辆行驶相关的信息。
发明内容
本公开的实施例提供了一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质。
本公开的实施例提供了一种展示车辆的行驶状态的方法，所述方法由位于正在行驶的车辆中的移动终端执行，所述方法包括：获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面；在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述初始车道对应的道路画面上；获取所述移动终端的定位数据；获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的，其中，所述基于移动终端的坐标系的Y轴指向所述移动终端的朝向，所述基于移动终端的坐标系的Z轴垂直与所述移动终端的屏幕的方向，所述基于移动终端的坐标系的X轴垂直于所述基于移动终端的坐标系的Y轴和所述基于移动终端的坐标系的Z轴组成的平面，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据；基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态，其中，所述基于车辆的坐标系的Y轴指向车辆的行驶方向，所述基于车辆的坐标系的Z轴指向地心，所述基于车辆的坐标系的X轴垂直于所述基于车辆的坐标系的Y轴和所述基于车辆的坐标系的Z轴组成的平面；以及基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，在所述总车道对应的道路画面上动态地更新显示所述虚拟动画对象。
本公开的实施例提供了包括显示屏幕、多个传感器、定位组件和处理器，其中，所述多个传感器被配置为：获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据；所述定位组件被配置为：获取所述移动终端的定位数据；所述处理器被配置为：获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；从所述定位组件获取所述移动终端的定位数据；从所述多个传感器获取所述多个传感器数据；基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态；基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，确定所述车辆行驶的车道变化；所述显示屏幕被配置为：显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面；在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述车辆行驶的初始车道对应的道路画面上；显示将所述虚拟动画对象从初始车道对应的道路画面动态地移动至变化后的车道对应的道路画面的动画。
本公开的实施例提供了一种电子设备。该电子设备包括：一个或多个处理器；和一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，使得所述电子设备执行上述的方法。
根据本公开的又一实施例，还提供了一种计算机可读存储介质，所述指令在被电子设备的处理器执行时使得所述电子设备实现上述的方法。
本公开的实施例提供了一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质，其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开的实施例还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开的实施例还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。
附图说明
图1是示出用于移动终端位于正在行驶的车辆的场景的示例示意图。
图2A是示出根据本公开实施例的展示车辆的行驶状态的方法的流程图。
图2B是示出根据本公开实施例的展示车辆的行驶状态的登录界面的示意图。
图2C是示出根据本公开实施例的展示车辆的行驶状态的工作界面的示意图。
图2D是示出根据本公开实施例的展示车辆的行驶状态的多个动态曲线图。
图2E是示出根据本公开实施例的展示车辆的行驶状态的工作界面的再一示例的示意图。
图3A是示出根据本公开实施例的设置展示车辆的行驶状态的多个界面的示意图。
图3B是示出根据本公开实施例的设置展示车辆的行驶状态的多个界面的示意图。
图3C是示出根据本公开实施例的确定车辆在车辆的坐标系上的行驶状态的方法的示意图。
图4是示出根据本公开实施例的用于显示车辆的行驶状态的移动终端的结构图。
图5示出了根据本公开实施例的用于显示车辆的行驶状态的装置的示意图。
图6示出了根据本公开实施例的示例性计算设备的架构的示意图。
图7示出了根据本公开实施例的存储介质的示意图。
具体实施方式
下面将参照附图描述根据本公开的示例实施例。
图1是示出用于移动终端位于正在行驶的车辆的场景100的示例示意图。
参考图1，用户在正在行驶的车辆中使用移动终端，其中移动终端的朝向可以不固定。例如，移动终端的朝向可以与正在行驶的车辆的行进方向相同，也可以不同。根据本公开的实施例，在移动终端的朝向不固定的情况下，移动终端仍可以准确直观地显示车辆的行进方向和车辆的行为。例如，移动终端可以以动态画面的方式显示驾驶员的驾驶行为，以直观的方式提供了车辆行驶相关的信息。
在本文中所述的移动终端可以是任何的电子设备，例如，智能手机、平板电脑、笔记本电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)等。移动终端还可以是能够在上述设备中搭载的各种应用软件，例如，诸如地图导航软件等等。
移动终端可以使用人工智能技术来识别车辆的驾驶行为，并将所识别的车辆的驾驶行为显示在移动终端的显示屏幕上。本文中所述的人工智能(Artificialintelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，例如具备推理与决策驾驶员的行为的功能。
本公开实施例提供的方案涉及人工智能的自动驾驶等技术，具体通过如下实施例进行说明。具体地，自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自动驾驶技术有着广泛的应用前景。
本公开的实施例提供了一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质，其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开的实施例还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开的实施例还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。
图2A是示出根据本公开实施例的展示车辆的行驶状态的方法200的流程图。图2B是示出根据本公开实施例的展示车辆的行驶状态的登录界面200的示意图。图2C是示出根据本公开实施例的展示车辆的行驶状态的工作界面200C的示意图。图2D是示出根据本公开实施例的展示车辆的行驶状态的多个动态曲线图。图2E是示出根据本公开实施例的展示车辆的行驶状态的工作界面的再一示例的示意图。
在步骤S201中，移动终端获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。
例如，移动终端可以获取由用户输入的所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。移动终端可以显示如图2B所示的示例界面200B以便于用户输入所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。示例界面200B可以是用户登陆界面，用户可以在该界面上以输入数字的方式，使得移动终端能够获取所述车辆行驶的道路的总车道。例如，如果用户输入数字6，则表示当前车辆行驶在6车道的道路上。登录界面也可以向用户提供与总车道相关的选项，例如，“双向八车道”、“双向四车道”、“1左转车道-3直行车道-1右转车道”等等，用户可以基于该选项进行选择。用户还可以在该界面上以输入数字的方式，告知移动终端所述车辆行驶的初始车道。例如，如果用户输入数字2，则表示当前车辆行驶在从左至右的第二个车道上。用户还可以在该界面上以输入文字的方式，告知移动终端所述车辆行驶的初始车道。例如，用户可以输入“左转车道”或“左起第2车道”等文字，告知移动终端所述车辆行驶的初始车道。当然，登录界面也可以向用户提供与所述车辆行驶的初始车道相关的选项或问题以提示用户进行选择，例如，“请问您在左转第一车道上吗？”、“请在第2车道和第3车道中进行选择”等等，用户可以基于该选项进行选择。本公开对所述移动终端与用户的交互方式不进行限制，只要移动终端可以从用户输入中获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道即可。
例如，移动终端还可以利用所述移动终端的定位组件，获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。
例如，基于所述移动终端的定位数据和移动终端中存储的离线地图信息，获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；或基于所述移动终端的定位数据查询所述车辆行驶的道路的信息，以获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。
所述定位组件用于定位移动终端的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。定位组件可以直接通过定位获取的位置，确定当前道路的状态。例如，当定位组件获取到车辆正行驶在某条道路上，移动终端可以调用离线地图中存储的该道路的信息，以获取该道路的总车道。移动终端还可以向服务器查询该道路的信息，以获取该道路的总车道。当然，移动终端还可以直接通过定位数据，直接推测出车辆所行驶的车道。
在步骤S202中，显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面。
例如，用户界面可以呈现在图2C中所示的工作界面-1上。在该用户界面上以动画的方式模拟驾驶场景。例如，在图2C中的用户界面中显示了五条车道，每条车道以虚线的车道线进行分割。例如，该用户界面可以使用画布(Canvas)控件、视图(view)控件或者容器控件来实现，当然本公开中的用户界面还可以使用任何已知的GUI(用户交互界面)控件来实现和绘制，本公开对此不进行限制。
在步骤S203中，在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述车辆行驶的初始车道对应的道路画面上。
例如，如用户界面以黑色小车标识的虚拟动画对象所示，其对应于正在行驶的车辆。例如移动终端可以创建与正在行驶的车辆相对应属性动画对象。属性动画是在一定时间间隔内，通过不断对属性动画对象的参数值进行改变，并不断将改变的参数值赋给对象的属性，从而实现该对象在该属性上的动画效果。该属性动画对象可以是对象动画绘制类(ObjectAnimator)或数值动画绘制类(valueAnimator)。其中，objectAnimator可以对对象的某个属性执行一次动画，属性值会自动更新。valueAnimator并不会改变属性的大小，而是在一段时间内生成某些值，然后再为对象中的属性设置这些值，从而实现动画。
例如，可以将虚拟动画对象的属性设置为3，以将该虚拟动画对象显示在图2C中的5条车道中的第3条车道上，也即中间车道上。当然本公开中的虚拟动画对象还可以使用任何已知的GUI(用户交互界面)的其它动画对象来创建/绘制，本公开对此不进行限制。
在步骤S204中，获取所述移动终端的定位数据。
可选的，所述定位数据可以包括车辆的所在的经度数据集合、纬度数据集合、航向角数据集合、俯仰角数据集合、和翻滚角数据集合等等。所述定位数据是车辆在行进过程中实时采集的。由此定位数据可以包括在多个时刻采集的、以时间顺序排列的经度数据、纬度数据、航向角数据、俯仰角数据、和翻滚角数据。虽然采用移动终端的定位组件来采集这些数据，但是由于在车辆行驶过程中，移动终端的移动与车辆的移动大体上一致。因此，移动终端的定位数据可以反映车辆的位置和移动速度。本领域技术人员应当理解，定位数据随着定位组件的实现方式不同还可以包括更多和更少的数据集合，本公开对此不进行限制。
在步骤S205中，获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的。其中，所述基于移动终端的坐标系的Y轴指向移动终端的朝向，所述基于移动终端的坐标系的Z轴垂直移动终端的屏幕的方向，所述基于移动终端的坐标系的X轴垂直于所述基于移动终端的坐标系的Y轴和所述基于移动终端的坐标系的Z轴组成的平面，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据。
可选地，其中，所述获取与所述车辆的行驶状态相关的多个传感器数据还包括：利用所述移动终端的加速度计获取所述移动终端在所述车辆在行进过程中的多个时刻的至少三个轴向的加速度数据集合，所述至少三个轴向包括所述基于移动终端的坐标系的Y轴、所述基于移动终端的坐标系的X轴和所述基于移动终端的坐标系的Z轴；利用所述移动终端的陀螺仪获取所述移动终端在所述车辆在行进过程中的所述多个时刻的绕所述至少三个轴向旋转的角速度数据集合；利用所述移动终端的磁力计获取所述移动终端在所述车辆在行进过程中的所述多个时刻的地磁强度和地磁方向的集合；以及基于所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合，确定所述与所述车辆的行驶状态相关的多个传感器数据。
本领域技术人员应当理解，与所述车辆的行驶状态相关的多个传感器数据随着所述多个传感器的类型不同还可以包括更多和更少的数据集合，本公开对此不进行限制。
可选地，所述移动终端的坐标系是指在车辆上非固定的移动终端或固定的移动终端测量的数据所基于的坐标系。由于，移动终端在车辆内的位置可能不同，同时移动终端也可以随着用户的操作具备不同的位置和朝向，因此，无法保证移动终端的坐标系与车辆坐标系重合。由此，所述多个传感器数据需要经过进一步处理以体现车辆在车辆坐标系下的行驶状态。
在步骤S206中，基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态。
可选地，如图2C所示，移动终端所述用户界面上提供显示动态文字区；以及在所述动态文字区中，以文字的形式显示所述车辆在车辆的坐标系上的行驶状态；其中，所述行驶状态包括：直线行驶、向左换道、向右换道、向左转弯、向右转弯、加速、减速中的至少一部分。通过动态文字可以实时监控驾驶状态。其中的动态文字区可以如图2C的工作界面-1和工作界面-2所示，其以文字描述的方式示出了当前驾驶员的驾驶行为。
可选地，可以将所述多个传感器数据以及所述定位数据先从移动终端的坐标系转换到参考坐标系，再从参考坐标系转换到车辆的坐标系。由于移动终端的姿态不固定，从而导致移动终端的坐标系到车辆的坐标系的映射关系不是唯一固定的。因此，可以通过多个传感器的数据获取移动终端实时的姿态，然后根据移动终端实时的姿态先从移动终端的坐标系转换到参考坐标系，再转换到车辆的坐标系。需要说明的是，参考坐标系指的是真实世界的方向，也即以指向地磁北极的方向为正北，以指向地磁南极的方向为正南。
可选地，如图2C所示，移动终端在所述用户界面上显示车辆即时数据区；在所述车辆即时数据区中，在所述车辆即时数据区中，以数值的形式显示所述车辆在车辆的坐标系上的行驶状态；其中，所述行驶状态包括车辆的横向加速度、车辆的纵向加速度、车辆的航向角速度、车辆的航向角、车辆的翻滚角和车辆的俯仰角中的至少一部分。
车辆的俯仰角是车辆的坐标系的X轴与参考坐标系的X轴之间的角度(角度范围为-90°至+90°)。翻滚角是车辆的坐标系的Z轴与参考坐标系的Z轴之间的角度(角度范围-180°至+180°)。航向角是车辆的坐标系的Y轴与参考坐标系的Y轴之间的角度(角度范围-180°至+180°)。
其中的车辆即时数据区可以如图2C的工作界面-1和工作界面-2所示，其以数值的方式示出了当前车辆的速度。虽然在图2C的工作界面-1和工作界面-2中仅示出了车辆的当前速度，其还可以示出车辆的其它的行驶状态，并且以向左滚动、向右滚动、向上滚动、向下滚动的显示方式依次显示车辆的横向加速度、车辆的纵向加速度、车辆的航向角速度、车辆的航向角、车辆的翻滚角和车辆的俯仰角等。
可选地，如图2C所示，移动终端在所述用户界面上显示多个动态曲线按钮；在所述多个动态曲线按钮中的任意一个动态曲线按钮被触发的情况下，显示被触发的动态曲线按钮所对应的动态曲线的显示界面；其中，所述动态曲线包括：基于参考坐标的加速度曲线、基于移动终端的坐标系的加速度曲线、基于移动终端的坐标系的姿态角曲线、基于移动终端的坐标系的角速度曲线、基于移动终端的坐标系的磁感应强度曲线、和基于车辆的坐标系的状态参数曲线中的至少一部分。
可选地，所述动态曲线的显示界面可以覆盖所述道路画面。例如，用户通过点击/按压/触摸图2C中的曲线1对应的动态曲线按钮，将工作界面-1的用户界面切换至工作界面-2的动态曲线区，该动态曲线区用于显示被触发的动态曲线按钮所对应的动态曲线的显示界面。例如，图2C中的曲线1可以对应于基于移动终端的坐标系的角速度曲线。
移动终端可以通过新建一个与动态曲线相对应的画布、视图、或容器在当前的显示页面之上，然后在该画布、视图、或容器中绘制对应的动态曲线。移动终端可以通过将动态曲线相对应的画布、视图、或容器的属性变为可见以覆盖当前显示的用户界面，然后在该画布、视图、或容器中绘制对应的动态曲线。当然，本领域技术人员应当理解用户还可以通过其他方式来触发动态曲线视图的显示，本公开对此不进行限制。
图2C中的工作界面-2仅作为示例，本领域技术人员能够理解该动态曲线区还可以显示其他动态曲线。例如，图2D给出了动态曲线区可以显示的多种动态曲线的一些示例。这些示例中分别对应了基于参考坐标的加速度曲线、基于移动终端的坐标系的加速度曲线、基于移动终端的坐标系的姿态角曲线、基于移动终端的坐标系的角速度曲线、基于移动终端的坐标系的磁感应强度曲线、和基于车辆的坐标系的状态参数曲线。虽然，图2C仅示意性的画出了曲线1对应的动态曲线，本领域技术人员应当理解用户交互界面上包括的其它的按钮可以分别对应图2D中的各个动态曲线图。
在图2D中的各个动态曲线图的横轴表示时间，竖轴均为表示动态曲线的数值。例如，图2D中的动态曲线图中的各个曲线按照编号①至⑥分别表示基于参考坐标的加速度在各个时刻对应的值、基于移动终端的坐标系的加速度在各个时刻对应的值、基于移动终端的坐标系的姿态角在各个时刻对应的值、基于移动终端的坐标系的角速度在各个时刻对应的值、基于移动终端的坐标系的磁感应强度在各个时刻对应的值、和基于车辆的坐标系的状态参数在各个时刻对应的值。上述的动态曲线都是随时间自动更新的。也即该动态曲线始终显示从当前时刻之前的一段时间(例如，一分钟、五分钟)内的车辆状态的变化。
在显示动态曲线图而不显示道路画面时，动态文字区中显示的文字可以相应地变动，以在不提供道路画面的情况下，仍提示驾驶员车辆所行驶的车道。例如，如图2C所示，其动态文字区中显示的文字可以由“直线行驶”变更为“在第二车道上直线行驶”。当然，动态文字区中显示的文字也可以保持不变，本公开对此不进行限制。
在步骤S207中，基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，在所述总车道对应的道路画面上动态地更新显示所述虚拟动画对象。
例如，可选地，移动终端可以基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，确定所述车辆行驶的车道变化；以及显示将所述虚拟动画对象从初始车道对应的道路画面动态地移动至变化后的车道对应的道路画面的动画。
参考图2E所示，例如，假设移动终端确定车辆的行驶状态为从第三车道向左换道至第二车道。移动终端可以以动画的形式显示与向左换道相对应的动画。可选地，可以通过将所述虚拟动画对象针对移动终端屏幕宽度方向做位移，使得虚拟动画对象从屏幕正中的第3车道向左或向右平移至第3车道旁的一个或多个车道。在制作属性动画时，可以通过调用属性动画内规定的相应函数来实现。例如，在针对属性动画的参数translationX做位移时，可以通过调用属性动画的动画设置函数ObjectAnimatoranimator＝ObjectAnimator.ofFloat(textView,View.TRANSLATION_X,0,100)来实现(其中的数值仅作为示意性说明)其在画面中的横向位移，在设置动画时长时可调用animator.setDuration()等。可选地，动画时长可以与当前车辆的车速相关，车速越快，动画时长越短。可选地，还可以通过将所述虚拟动画对象顺时针/逆时针旋转一定的角度，以表示其正在左转(或左并道)或右转(或右并道)。
本公开的实施例提供了一种展示车辆的行驶状态的方法，其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开的实施例还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开的实施例还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。
图3A是示出根据本公开实施例的设置展示车辆的行驶状态的多个界面300A的示意图。图3B是示出根据本公开实施例的设置展示车辆的行驶状态的多个界面300B的示意图。图3C是示出根据本公开实施例的确定车辆在车辆的坐标系上的行驶状态的方法300C的示意图。
可选地，用户还可以对要显示或正在显示的车辆状态进行设置。
可选地，如图3A所示，移动终端在显示屏幕上提供功能切换区，所述功能切换区包括多个自定义设置按钮；在所述多个自定义设置按钮中的任意一个自定义设置按钮被触发的情况下，显示被触发的自定义设置按钮所对应的自定义设置界面；其中，所述自定义设置包括：加速度解算设置、姿态角解算设置、通用设置和行车数据记录设置中的至少一部分。
例如，如图3A所示，在触发加速度按钮后，用户提供与加速度解算设置相关的自定义设置界面。
可选地，提供被触发的自定义设置按钮所对应的自定义设置界面还包括：在所述自定义设置界面上显示滤波器设置条目，其中，所述滤波器设置条目所规定的滤波器设置被用于对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波，其中，所述滤波器设置条目包括互补滤波器使能按钮，所述互补滤波器使能按钮用于触发是否利用互补滤波器对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波；和/或，其中，所述滤波器设置条目包括卡尔曼滤波器使能按钮，所述卡尔曼滤波器使能按钮用于触发是否利用卡尔曼滤波器对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。
互补滤波器和卡尔曼滤波器均与姿态角解算相关。例如，如图3A所示，在触发姿态角按钮后，用户提供与姿态角解算设置相关的自定义设置界面，其包括是否开启互补滤波器和卡尔曼滤波器。虽然图3A仅示出了互补滤波器和卡尔曼滤波器，本领域技术人员能够理解移动终端还可以设计更多或更少的滤波器来实现姿态角解算相关的滤波。
姿态角是用于确定移动终端的坐标系与参考坐标系之间的转换关系的参数之一。以下参见图3B进一步描述移动终端如何利用姿态角，基于所述多个传感器数据以及所述定位数据来确定所述车辆在车辆的坐标系上的行驶状态的方法300C。
在步骤S301中，移动终端可以基于加速度数据集合、角速度数据集合、和地磁强度和地磁方向的集合，获取在所述多个时刻的姿态角数据集合。
姿态是指一个坐标系相对于另一个坐标系之间的位置关系。移动终端的坐标系的Y轴指向移动终端的前进方向，Z轴垂直移动终端的屏幕的方向，X轴垂直于Y轴和Z轴组成的平面。参考坐标系的X、Y、Z轴则分别沿正北、正东、指向地心三个方向。姿态角用于表示移动终端的坐标系到参考坐标系之间的相对角位置关系。姿态角包括俯仰角、翻滚角和航向角。
俯仰角是移动终端的坐标系的X轴与参考坐标系的X轴之间的角度(角度范围为-90°至+90°)。翻滚角是移动终端的坐标系的Z轴与参考坐标系的Z轴之间的角度(角度范围-180°至+180°)。航向角是移动终端的坐标系的Y轴与参考坐标系的Y轴之间的角度(角度范围-180°至+180°)。
在移动终端移动/翻转/摇摆时，陀螺仪可以测量上述俯仰角、翻滚角和航向角旋转的角速度。
加速度计可以当作倾角计使用。加速度计能够测量重力的特性，当加速度计发生倾斜时，其三轴上的重力加速度就会发生变化，进而计算出翻滚角和俯仰角。磁力计是用来测量地球磁场强度的传感器。移动终端可以使用磁力计姿态角中的航向角(航向角为三轴磁力计在水平方向上的分量)。在移动终端静止时可以通过加速度计和磁强计获取初始的俯仰角、翻滚角和航向角。进而通过初始的俯仰角、翻滚角和航向角，再利用陀螺仪测量的角速度，既可以推算出包括多个时刻的姿态角数据的姿态角数据集合。
具体地推算过程简要描述如下。
在空间中，两个坐标系间任何复杂的角位置关系都可以看作是有限次的基本旋转的复合，而他们相应的变换矩阵等于他们基本旋转(也即绕X轴旋转、绕Y轴旋转和绕Z轴旋转)确定的变换矩阵的连乘，连乘顺序依照基本旋转的先后次序由右向左排列。
假设通过加速度计和磁强计获取初始的俯仰角翻滚角θ和航向角/>
在以下的表示中，以p作为下标表示移动终端的坐标系下的值，以n作为下标表示参考坐标系下的值。以p为上标以n为下标表示由参考坐标系旋转至移动终端的坐标系，以n为上标以p为下标表示由移动终端的坐标系旋转至参考坐标系。因此，X轴、Y轴、Z轴旋转的矩阵分别为这三个矩阵如下所示：
将这三个矩阵反向连乘，即可得到由移动终端的坐标系旋转至参考坐标系的旋转矩阵
为了减少计算量，可以将上述式子(2)使用四元数来计算。四元数和欧拉角可以相互转化，四元数运算相比欧拉角运算，在减少计算量的同时，能避免欧拉角死锁现象。四元数是一个超复数，可以看作是四维空间中的一个向量，可以描述刚体的定点转动。它由四个元构成，包括三个虚部i，j，k和一个实部。以下示出了四元数与欧拉角的转换关系。
δ为任意一个欧拉角。将利用式子(3)所表示的四元素与欧拉角的关系，基于式子(2)，可以获得姿态矩阵(姿态矩阵/>是旋转矩阵/>的逆矩阵)的四元数表示：
上述的q0,q1,q2,q3可以根据初始的俯仰角翻滚角θ和航向角/>解出。
假设通过陀螺仪可以获得的移动终端的坐标系下的、在时刻t时的x轴、y轴和z轴的角速度分别为ωx、ωy和ωz。利用四元数的微分方程，可以获得式子(5)。
由此，利用时刻t的q0,q1,q2,q3的值可以得到更新的姿态矩阵利用姿态矩阵/>可以反推出更新的姿态角。
接着，可以通过以下式子，带入更新的姿态矩阵的值，以进一步获取各个时刻，在参考坐标系下的加速度数据集合、角速度数据集合、和地磁强度和地磁方向的集合。
例如，假设在移动终端的坐标系下，加速度数据为ap。在参考坐标系下，加速度数据为an。此时ap与an的关系如式子(6)。
例如，假设在移动终端的坐标系下，角速度数据为wp。在参考坐标系下，角速度数据为wn。此时wp与wn的关系如式子(7)。
例如，用户还可以选择开启/关闭与加速度解算相关的一个或多个滤波器。当开启加速度解算相关滤波器后，移动终端将采用这样的滤波器来进一步处理加速度数据ap。由此，获得更准确的加速度值ap。当关闭加速度解算相关滤波器后，移动终端可以减少车辆的加速度相关的计算量，进而使得其它更重要的应用获得更多的计算资源。虽然图3A仅示出了均值滤波器、中值滤波器和低通滤波器三种滤波器，本领域技术人员能够理解移动终端还可以设计更多或更少的滤波器来实现加速度解算相关的滤波。
由于陀螺仪可能存在常值误差和随机漂移误差，由于陀螺仪存在常值误差和随机漂移误差，虽然在短时间内能保证输出角度的准确性，但随着时间的增加，其输出误差也累积增加。因此，用户还可以通过触发如图3A所示的传感器校准按钮以触发陀螺仪的零点偏移的校准。
此外，还可以通过融合陀螺仪、加速度计和磁力计所得到的传感器数据进行校准(例如，滤波或融合)。加速度计在静止或匀速状态下通过测量重力场，可以准确计算出俯仰角和翻滚角，不存在累积误差问题。但是由于车辆的行驶，移动终端通常处于动态环境中，因此仅使用加速度计可能造成输出误差。磁力计在没有磁场干扰的情况下，可以准确计算出航向角，但实际使用中磁场干扰无处不在，给输出也造成了误差。
例如，如果接收到卡尔曼滤波器使能信号，移动终端即可使用卡尔曼滤波进行多传感器数据融合以实现优势互补。
可选地，如果接收到上述的卡尔曼滤波器使能信号，所述卡尔曼滤波器使能信号指示是否利用卡尔曼滤波器对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。
陀螺仪的数据拥有很好的动态特性，可以提供瞬时的角度变化，所以用姿态角(或四元数)作为状态值，利用四元数微分方程建立状态方程：
其中，v是陀螺仪的误差。用户在触发如图3A所示的传感器校准按钮以触发陀螺仪的零点偏移的校准后，即可获得该值。若未触发零点偏移的校准，v可以为零。
另一方面，利用磁力计数据ut＝[ux uy uz]T和三轴加速度数据gt＝[gx gy gz]T建立观测方程。具体地，由于重力加速度是垂直地面向下，磁场力是朝北并斜指向地面，所以磁场力与重力加速度的向量积就能够确定一个东西方向的向量，即然后再通过重力加速度和这个东西方向的向量，就能够确定一条南北方向的向量，即/>综合以上三向量能确定移动终端此时的观测矩阵/>
利用状态方程(8)和观测矩阵就可以利用卡尔曼滤波算法进行递推迭代了。具体的迭代方式与传统的卡尔曼迭代算法一致，在此不再赘述。
在步骤S302中，移动终端可以基于所述姿态角数据集合，确定所述移动终端的坐标系与参考坐标系之间的转换关系。
正如上所述，每一个时刻的姿态角t对应于在时刻t处的所述移动终端的坐标系与参考坐标系之间的转换关系，进而基于所述姿态角数据集合，确定所述移动终端的坐标系与参考坐标系之间的转换关系。
在步骤S303中，移动终端基于所述定位数据获取车辆的航向角数据的集合。此时，移动终端的定位组件(GPS)提供的航向角可以作为车辆的航向角数据的集合。
在步骤S304中，移动终端基于所述车辆的航向角数据的集合，确定所述参考坐标系与所述车辆的坐标系之间的转换关系。
车辆的坐标系与参考坐标系的z轴近似重合，此时移动终端GPS提供的航向角γ相当于车辆的坐标系相对于参考坐标系的姿态角，(此时航向角为GPS航向角γ，俯仰角和翻滚角为0)，计算从车辆的坐标系与参考坐标系的旋转矩阵
其中，
在步骤S305中，移动终端基于所述移动终端的坐标系与参考坐标系之间的转换关系、所述参考坐标系与所述车辆的坐标系之间的转换关系，确定所述移动终端的坐标系和所述车辆的坐标系之间的转换关系。
在步骤S306中，移动终端基于所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，确定所述车辆在车辆的坐标系上的行驶状态。
可选地，步骤S306包括步骤S3061至S3063。
在步骤S3061中，移动终端利用所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，将所述多个传感器数据和所述定位数据转换为基于车辆的坐标系的横向加速度集合、纵向加速度集合和航向角速度集合。
在步骤S3062中，移动终端从所述横向加速度集合、所述纵向加速度集合和所述航向角速度集合，提取所述车辆的时间-行为序列。
在步骤S3063中，移动终端获取模板时间-行为序列，并将所述模板时间-行为序列与所述车辆的时间-行为序列进行特征匹配以确定所述车辆在所述车辆的坐标系上的行驶状态。
例如，移动终端可以预先采集不同类别标准的行驶状态数据作为模板时间-行为序列，然后分别标记为直线行驶、向左换道、向右换道、向左转弯、向右转弯、加速、减速等。
应用程序运行时采集实时轨迹序列，计算与模板时间-行为序列的相似度，以进行图3C所示的特征匹配步骤。
例如，当用户触摸图3A中的记录按钮时，移动终端提供行车数据记录设置界面以记录不同的轨迹。可选地，用户还可以通过触发模式按钮，以是的移动终端提供通用设置界面，其进一步设置移动终端的数据增广和自由固定。
例如，假设用户希望在日后还能够识别出更多的驾驶行为，例如“连续向左变道”、“连续向右变道”等。用户可以通过通用设置界面，使能数据增广功能。在使能数据增广功能后，移动终端可以提供对话框来提示用户为新的驾驶行为命名。假设用户希望识别出“连续向左变道两次”的驾驶行为，并以“连续向左变道两次”命名该驾驶行为。接着，用户可以通过触发图3A中的记录按钮。此时，如图3A所示，行车数据记录设置中的对话框中可以显示出用户希望识别的驾驶行为“连续向左变道两次”。接着，将移动终端将记录与“连续向左变道两次”相关的数据作为模板数据。模板数据可以进一步被提取成上述的模板时间-行为序列以用于日后的比较。
可选地，如图3A中的通用设置界面所示，用户还可以选择是否开启自由固定功能。如果自由固定功能开启，移动终端将实现上述的移动终端的坐标系到车辆的坐标系的解算，以在不固定移动终端的朝向的情况下识别车辆的驾驶行为。如果自由固定功能关闭，移动终端将不实现上述的移动终端的坐标系到车辆的坐标系的解算。此时移动终端应当固定朝前摆放，此时移动终端的坐标系与车辆的坐标系重合。由此，可以在移动终端固定超期摆放时，减少坐标系解算所使用的计算量，提高解算精度。
例如，可以采用动态规整(DTW)算法作为相似度的衡量指标。DTW可以计算两个时间序列的相似度，尤其适用于不同时长、不同节奏的时间序列。DTW将自动扭曲时间序列(即在时间轴上进行局部的缩放)，使得两个序列的形态尽可能的一致，得到最大可能的相似度。移动终端对比的特征序列有车辆的横、纵向加速度和航向角速度，针对不同的驾驶行为会对三类序列的DTW相似度给予不同的权重，将与当前序列最接近的模板序列判定为当前行驶状态。
本公开的实施例提供了一种展示车辆的行驶状态的方法，其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开的实施例还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开的实施例还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。
如图4所示，本公开的实施例还提供了一种用于显示车辆的行驶状态的移动终端400。其包括多个传感器403、定位组件404、显示屏幕402和处理器401。
多个传感器403被配置为：获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据。
定位组件404被配置为：获取所述移动终端的定位数据。
处理器401被配置为：获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；从所述定位组件获取所述移动终端的定位数据；从所述多个传感器获取所述多个传感器数据；基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态；基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，确定所述车辆行驶的车道变化。
显示屏幕402被配置为：显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面；在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述车辆行驶的初始车道对应的道路画面上；显示将所述虚拟动画对象从初始车道对应的道路画面动态地移动至变化后的车道对应的道路画面的动画。
显示屏幕402还被配置为在所述用户界面上显示动态文字区；以及在所述动态文字区中，以文字的形式显示所述车辆在所述基于车辆的坐标系上的行驶状态；其中，所述行驶状态包括：直线行驶、向左换道、向右换道、向左转弯、向右转弯、加速、减速中的至少一个。
显示屏幕402还被配置为在所述用户界面上显示车辆即时数据区；在所述车辆即时数据区中，以数值的形式显示所述车辆在车辆的坐标系上的行驶状态；其中，所述行驶状态包括车辆的横向加速度、车辆的纵向加速度、车辆的航向角速度、车辆的航向角、车辆的翻滚角和车辆的俯仰角中的至少一部分。
显示屏幕402还被配置为在所述用户界面上显示多个动态曲线按钮；在所述多个动态曲线按钮中的第一动态曲线按钮被触发时，显示所述第一动态曲线按钮所对应的动态曲线的显示界面；其中，所述动态曲线包括：基于参考坐标的加速度曲线、基于移动终端的坐标系的加速度曲线、基于移动终端的坐标系的姿态角曲线、基于移动终端的坐标系的角速度曲线、基于移动终端的坐标系的磁感应强度曲线、和基于车辆的坐标系的状态参数曲线中的至少一个。
显示屏幕402还被配置为在所述用户界面上显示功能切换区，所述功能切换区包括多个自定义设置按钮；在所述多个自定义设置按钮中的任意一个自定义设置按钮被触发的情况下，显示被触发的自定义设置按钮所对应的自定义设置界面；其中，所述自定义设置包括：加速度解算设置、姿态角解算设置、通用设置和行车数据记录设置中的至少一部分。
所述多个传感器403包括加速度计、陀螺仪、和磁力计。其中，所述获取与所述车辆的行驶状态相关的多个传感器数据还包括：利用所述移动终端的加速度计获取所述移动终端在所述车辆在行进过程中的多个时刻的至少三个轴向的加速度数据集合，所述至少三个轴向包括所述基于移动终端的坐标系的Y轴、所述基于移动终端的坐标系的X轴和所述基于移动终端的坐标系的Z轴；利用所述移动终端的陀螺仪获取所述移动终端在所述车辆在行进过程中的所述多个时刻的绕所述至少三个轴向旋转的角速度数据集合；利用所述移动终端的磁力计获取所述移动终端在所述车辆在行进过程中的所述多个时刻的地磁强度和地磁方向的集合；以及基于所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合，确定所述与所述车辆的行驶状态相关的多个传感器数据。
其中，提供被触发的自定义设置按钮所对应的自定义设置界面还包括：在所述自定义设置界面上显示滤波器设置条目，其中，所述滤波器设置条目所规定的滤波器设置被用于对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波，其中，所述滤波器设置条目包括互补滤波器使能按钮，所述互补滤波器使能按钮用于触发是否利用互补滤波器对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。和/或其中，所述滤波器设置条目包括卡尔曼滤波器使能按钮，所述卡尔曼滤波器使能按钮用于触发是否利用卡尔曼滤波器对所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。
其中，基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态还包括：基于加速度数据集合、角速度数据集合、和地磁强度和地磁方向的集合中，获取在所述多个时刻的姿态角数据集合；基于所述姿态角数据集合，确定所述移动终端的坐标系与参考坐标系之间的转换关系；基于所述定位数据获取车辆的航向角数据的集合；基于所述车辆的航向角数据的集合，确定所述参考坐标系与所述车辆的坐标系之间的转换关系；基于所述移动终端的坐标系与参考坐标系之间的转换关系、所述参考坐标系与所述车辆的坐标系之间的转换关系，确定所述移动终端的坐标系和所述车辆的坐标系之间的转换关系；以及基于所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，确定所述车辆在车辆的坐标系上的行驶状态。
根据本公开的实施例，上文描述的过程也可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述过程的方法的程序代码。
本公开的实施例提供了一种展示车辆的行驶状态的方法、用于显示车辆的行驶状态的移动终端、电子设备和计算机存储介质，其可以仅利用移动终端内置传感器作为信号源，不依赖于车载设备，解决组合惯导设备成本高的问题。同时，本公开的实施例还通过多传感器融合和坐标系解算，在不依赖于移动终端严格的固定位置的情况下能够准确高效地识别和显示车辆的多种驾驶状态。本公开的实施例还通过在移动终端上显示车辆的行驶状态的动画，为驾驶员更直观地提供了车辆行驶相关的信息。
根据本公开的又一方面，还提供了一种用于展示车辆的行驶状态的装置。图5示出了根据本公开实施例的装置2000的示意图。
如图5所示，所述装置2000可以包括一个或多个处理器2010，和一个或多个存储器2020。其中，所述存储器2020中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器2010运行时，可以执行如上所述的展示车辆的行驶状态的方法。
本公开实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或ARM架构的。
一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。
例如，根据本公开实施例的方法或装置也可以借助于图6所示的计算设备3000的架构来实现。如图6所示，计算设备3000可以包括总线3010、一个或多个CPU3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的用于确定车辆的驾驶风险的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然，图6所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图6示出的计算设备中的一个或多个组件。
根据本公开的又一方面，还提供了一种计算机可读存储介质。图7示出了根据本公开的存储介质的示意图4000。
如图7所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的展示车辆的行驶状态的方法。本公开实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开实施例的展示车辆的行驶状态的方法。
需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。
在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims (14)

1.一种展示车辆的行驶状态的方法，所述方法由位于正在行驶的车辆中的移动终端执行，所述方法包括：
获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；
显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面；
在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述初始车道对应的道路画面上；
获取所述移动终端的定位数据；
获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据；
基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态；
基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，在所述总车道对应的道路画面上动态地更新显示所述虚拟动画对象；
在所述用户界面上显示功能切换区，所述功能切换区包括多个自定义设置按钮；以及
在所述多个自定义设置按钮中的任意一个自定义设置按钮被触发的情况下，显示被触发的自定义设置按钮所对应的自定义设置界面；
其中，所述显示被触发的自定义设置按钮所对应的自定义设置界面包括：
在所述自定义设置界面上显示滤波器设置条目，其中，所述滤波器设置条目所规定的滤波器设置被用于对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波，
其中，所述滤波器设置条目包括互补滤波器使能按钮，所述互补滤波器使能按钮用于触发是否利用互补滤波器对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波；和/或
其中，所述滤波器设置条目包括卡尔曼滤波器使能按钮，所述卡尔曼滤波器使能按钮用于触发是否利用卡尔曼滤波器对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。
2.如权利要求1所述的方法，其中，基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，在所述道路画面上动态地更新所述虚拟动画对象的显示状态，还包括：
基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，确定所述车辆行驶的车道变化；以及
显示将所述虚拟动画对象从初始车道对应的道路画面动态地移动至变化后的车道对应的道路画面的动画。
3.如权利要求1所述的方法，其中，所述获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道还包括：
获取由用户输入的所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；
基于所述移动终端的定位数据和移动终端中存储的离线地图信息，获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；或
基于所述移动终端的定位数据查询所述车辆行驶的道路的信息，以获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道。
4.如权利要求1-3中的任一项所述的方法，还包括：
在所述用户界面上显示动态文字区；以及
在所述动态文字区中，以文字的形式显示所述车辆在所述车辆的坐标系上的行驶状态；
其中，所述行驶状态包括：直线行驶、向左换道、向右换道、向左转弯、向右转弯、加速、减速中的至少一个。
5.如权利要求1-3中的任一项所述的方法，还包括：
在所述用户界面上显示车辆即时数据区；
在所述车辆即时数据区中，以数值的形式显示所述车辆在车辆的坐标系上的行驶状态；
其中，所述行驶状态包括车辆的横向加速度、车辆的纵向加速度、车辆的航向角速度、车辆的航向角、车辆的翻滚角和车辆的俯仰角中的至少一部分。
6.如权利要求1所述的方法，还包括：
在所述用户界面上显示多个动态曲线按钮；
在所述多个动态曲线按钮中的第一动态曲线按钮被触发时，显示所述第一动态曲线按钮所对应的动态曲线的显示界面；
其中，所述动态曲线包括：基于参考坐标的加速度曲线、基于移动终端的坐标系的加速度曲线、基于移动终端的坐标系的姿态角曲线、基于移动终端的坐标系的角速度曲线、基于移动终端的坐标系的磁感应强度曲线、和基于车辆的坐标系的状态参数曲线中的至少一个。
7.如权利要求1-3中的任一项所述的方法，其中，所述自定义设置包括：加速度解算设置、姿态角解算设置、通用设置和行车数据记录设置中的至少一部分。
8.如权利要求7所述的方法，其中，所述获取与所述车辆的行驶状态相关的多个传感器数据还包括：
利用所述移动终端的加速度计获取所述移动终端在所述车辆在行进过程中的多个时刻的至少三个轴向的加速度数据集合，所述至少三个轴向包括所述基于移动终端的坐标系的Y轴、所述基于移动终端的坐标系的X轴和所述基于移动终端的坐标系的Z轴；
利用所述移动终端的陀螺仪获取所述移动终端在所述车辆在行进过程中的所述多个时刻的绕所述至少三个轴向旋转的角速度数据集合；
利用所述移动终端的磁力计获取所述移动终端在所述车辆在行进过程中的所述多个时刻的地磁强度和地磁方向的集合；以及
基于所述加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合，确定所述与所述车辆的行驶状态相关的多个传感器数据。
9.如权利要求8所述的方法，其中，基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态还包括：
基于加速度数据集合、角速度数据集合、和地磁强度和地磁方向的集合，获取在多个时刻的姿态角数据集合；
基于所述在多个时刻的姿态角数据集合，确定所述移动终端的坐标系与参考坐标系之间的转换关系；
基于所述定位数据获取车辆的航向角数据的集合；
基于所述车辆的航向角数据的集合，确定所述参考坐标系与所述车辆的坐标系之间的转换关系；
基于所述移动终端的坐标系与参考坐标系之间的转换关系、所述参考坐标系与所述车辆的坐标系之间的转换关系，确定所述移动终端的坐标系和所述车辆的坐标系之间的转换关系；以及
基于所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，确定所述车辆在车辆的坐标系上的行驶状态。
10.如权利要求9所述的方法，所述基于所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，确定所述车辆在车辆的坐标系上的行驶状态还包括：
利用所述移动终端的坐标系和所述车辆的坐标系之间的转换关系，将所述多个传感器数据和所述定位数据转换为基于车辆的坐标系的横向加速度集合、纵向加速度集合和航向角速度集合；
从所述横向加速度集合、所述纵向加速度集合和所述航向角速度集合，提取所述车辆的时间-行为序列；
获取模板时间-行为序列，并将所述模板时间-行为序列与所述车辆的时间-行为序列进行特征匹配以确定所述车辆在所述车辆的坐标系上的行驶状态。
11.一种用于显示车辆的行驶状态的移动终端，包括显示屏幕、多个传感器、定位组件和处理器，其中，
所述多个传感器被配置为：
获取与所述车辆的行驶状态相关的多个传感器数据，所述多个传感器数据是基于移动终端的坐标系的，所述多个传感器数据包括加速度数据、角速度数据、地磁强度数据和地磁方向数据；
所述定位组件被配置为：
获取所述移动终端的定位数据；
所述处理器被配置为：
获取所述车辆行驶的道路的总车道和所述车辆行驶的初始车道；
从所述定位组件获取所述移动终端的定位数据；
从所述多个传感器获取所述多个传感器数据；
基于所述多个传感器数据以及所述定位数据，确定所述车辆在车辆的坐标系上的行驶状态；
基于所述车辆行驶的初始车道和所确定的所述车辆的行驶状态，确定所述车辆行驶的车道变化；
所述显示屏幕被配置为：
显示用户界面，所述用户界面包含所述总车道对应的道路画面，所述总车道对应的道路画面包括所述初始车道对应的道路画面；
在所述道路画面上显示与所述车辆相对应的虚拟动画对象，所述虚拟动画对象显示在所述车辆行驶的初始车道对应的道路画面上；
显示将所述虚拟动画对象从初始车道对应的道路画面动态地移动至变化后的车道对应的道路画面的动画；
显示功能切换区，所述功能切换区包括多个自定义设置按钮；
在所述多个自定义设置按钮中的任意一个自定义设置按钮被触发的情况下，显示被触发的自定义设置按钮所对应的自定义设置界面；
其中，所述显示被触发的自定义设置按钮所对应的自定义设置界面包括：
在所述自定义设置界面上显示滤波器设置条目，其中，所述滤波器设置条目所规定的滤波器设置被用于对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波，
其中，所述滤波器设置条目包括互补滤波器使能按钮，所述互补滤波器使能按钮用于触发是否利用互补滤波器对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波；和/或
其中，所述滤波器设置条目包括卡尔曼滤波器使能按钮，所述卡尔曼滤波器使能按钮用于触发是否利用卡尔曼滤波器对加速度数据集合、角速度数据集合和地磁强度和地磁方向的集合进行滤波。
12.如权利要求11所述的移动终端，其中，所述显示屏幕还被配置为：
在所述用户界面上显示动态文字区，并且在所述动态文字区中，以文字的形式显示所述车辆在所述车辆的坐标系上的行驶状态，其中，所述行驶状态包括：直线行驶、向左换道、向右换道、向左转弯、向右转弯、加速、减速中的至少一个；和/或
在所述用户界面上显示车辆即时数据区，并且在所述车辆即时数据区中，以数值的形式显示所述车辆在车辆的坐标系上的行驶状态，其中，所述行驶状态包括车辆的横向加速度、车辆的纵向加速度、车辆的航向角速度、车辆的航向角、车辆的翻滚角和车辆的俯仰角中的至少一部分。
13.一种电子设备，包括：
一个或多个处理器；和
一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被电子设备的处理器执行时使得所述电子设备实现如权利要求1-9中任一项所述的方法。
CN202011180455.8A 2020-10-29 2020-10-29 展示车辆的行驶状态的方法以及电子设备 Active CN112304330B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011180455.8A CN112304330B (zh) 2020-10-29 2020-10-29 展示车辆的行驶状态的方法以及电子设备
PCT/CN2021/116170 WO2022088973A1 (zh) 2020-10-29 2021-09-02 展示车辆的行驶状态的方法以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011180455.8A CN112304330B (zh) 2020-10-29 2020-10-29 展示车辆的行驶状态的方法以及电子设备

Publications (2)

Publication Number Publication Date
CN112304330A CN112304330A (zh) 2021-02-02
CN112304330B true CN112304330B (zh) 2024-05-24

Family

ID=74331437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011180455.8A Active CN112304330B (zh) 2020-10-29 2020-10-29 展示车辆的行驶状态的方法以及电子设备

Country Status (2)

Country Link
CN (1) CN112304330B (zh)
WO (1) WO2022088973A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112304330B (zh) * 2020-10-29 2024-05-24 腾讯科技（深圳）有限公司 展示车辆的行驶状态的方法以及电子设备
CN113619589B (zh) * 2021-07-22 2022-11-15 中汽创智科技有限公司 驾驶行为信息的确定方法、装置、电子设备及存储介质
CN113790732B (zh) * 2021-08-06 2023-09-01 荣耀终端有限公司 位置信息的生成方法及装置
CN114279446B (zh) * 2021-12-22 2023-11-03 广东汇天航空航天科技有限公司 飞行汽车航姿测量方法、装置及飞行汽车
CN114291106A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 用于车辆的信息展示方法、装置、电子设备和存储介质
CN115293301B (zh) * 2022-10-09 2023-01-31 腾讯科技（深圳）有限公司 车辆的变道方向的预估方法、装置及存储介质
CN115607955A (zh) * 2022-10-13 2023-01-17 蔚来汽车科技(安徽)有限公司 车机系统、用于实现扩展显示的方法和存储介质
CN116105747B (zh) * 2023-04-07 2023-07-04 江苏泽景汽车电子股份有限公司 航迹线动态显示方法、存储介质及电子设备
CN118331677B (zh) * 2024-06-12 2024-09-20 华域视觉科技(上海)有限公司 动画对象展示方法、电子设备、存储介质及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5061264B1 (ja) * 2012-03-23 2012-10-31 国立大学法人 千葉大学 小型姿勢センサ
CN103818333A (zh) * 2012-11-16 2014-05-28 西安众智惠泽光电科技有限公司 一种车辆防侧翻预警系统
CN106205175A (zh) * 2015-05-28 2016-12-07 Lg电子株式会社 用于车辆的显示设备和车辆
CN110320891A (zh) * 2019-07-09 2019-10-11 中车青岛四方车辆研究所有限公司 轨道车辆制动系统can总线报文维护监控系统及监控方法
CN110332979A (zh) * 2019-06-12 2019-10-15 南京国科软件有限公司 车辆振动监测报警装置
CN110466516A (zh) * 2019-07-11 2019-11-19 北京交通大学 一种基于非线性规划的曲线道路自动车换道轨迹规划方法
CN111034164A (zh) * 2017-06-04 2020-04-17 苹果公司 用户界面相机效果
CN111551174A (zh) * 2019-12-18 2020-08-18 无锡北微传感科技有限公司 基于多传感器惯性导航系统的高动态车辆姿态计算方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3018030B1 (en) * 2014-11-10 2019-04-24 Magneti Marelli S.p.A. Device for the detection of the attitude of motor vehicles
KR101942793B1 (ko) * 2015-07-03 2019-01-28 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR20180116574A (ko) * 2017-04-17 2018-10-25 엘지전자 주식회사 이동 단말기
KR20190023550A (ko) * 2017-08-29 2019-03-08 현대자동차주식회사 내비게이션 정보를 이용한 주행지원시스템 및 그 동작방법
CN107843255A (zh) * 2017-10-24 2018-03-27 燕山大学 面向运动再现的工程车辆行驶姿态测量系统及方法
US10921135B2 (en) * 2018-10-12 2021-02-16 Baidu Usa Llc Real-time map generation scheme for autonomous vehicles based on prior driving trajectories
CN110455300B (zh) * 2019-09-03 2021-02-19 广州小鹏汽车科技有限公司 导航方法、导航显示方法、装置、车辆及机器可读介质
CN111137298B (zh) * 2020-01-02 2021-11-16 中车株洲电力机车有限公司 一种车辆自动驾驶方法、装置、系统和存储介质
CN111623795B (zh) * 2020-05-28 2022-04-15 阿波罗智联(北京)科技有限公司 实景导航图标显示方法、装置、设备和介质
CN112304330B (zh) * 2020-10-29 2024-05-24 腾讯科技（深圳）有限公司 展示车辆的行驶状态的方法以及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5061264B1 (ja) * 2012-03-23 2012-10-31 国立大学法人 千葉大学 小型姿勢センサ
CN103818333A (zh) * 2012-11-16 2014-05-28 西安众智惠泽光电科技有限公司 一种车辆防侧翻预警系统
CN106205175A (zh) * 2015-05-28 2016-12-07 Lg电子株式会社 用于车辆的显示设备和车辆
CN111034164A (zh) * 2017-06-04 2020-04-17 苹果公司 用户界面相机效果
CN110332979A (zh) * 2019-06-12 2019-10-15 南京国科软件有限公司 车辆振动监测报警装置
CN110320891A (zh) * 2019-07-09 2019-10-11 中车青岛四方车辆研究所有限公司 轨道车辆制动系统can总线报文维护监控系统及监控方法
CN110466516A (zh) * 2019-07-11 2019-11-19 北京交通大学 一种基于非线性规划的曲线道路自动车换道轨迹规划方法
CN111551174A (zh) * 2019-12-18 2020-08-18 无锡北微传感科技有限公司 基于多传感器惯性导航系统的高动态车辆姿态计算方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hyun-Eui Kim ; Jeho Nam ; Keehoon Hong ; Jinwoong Kim.Noise-filtering method for large-scale holographic 3D display.2018 IEEE International Conference on Imaging Systems and Techniques.2018,全文. *
一种车辆运动姿态参数的实时测量方法;杨澜;郝茹茹;王润民;戚秀真;;中国科技论文;20161031;11(19);全文 *
付雷，章政，余义.基于改进型显性互补滤波的MEMS姿态解算.自动化与仪表.2018,(第11期),全文. *
刘军 ; 聂斐 ; 蔡骏宇 ; 熊明路 ; 陶昌岭 ; .基于安卓的汽车状态测量及预测系统的研究.汽车技术.2015,(02),全文. *

Also Published As

Publication number Publication date
WO2022088973A1 (zh) 2022-05-05
CN112304330A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112304330B (zh) 展示车辆的行驶状态的方法以及电子设备
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
CN110556012B (zh) 车道定位方法及车辆定位系统
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN111959495B (zh) 车辆的控制方法、装置及车辆
US20210370970A1 (en) Positioning Method And Apparatus, Autonomous Driving Vehicle, Electronic Device And Storage Medium
CN106814753B (zh) 一种目标位置矫正方法、装置及系统
JP6335556B2 (ja) ポインティングによる情報クエリ
CN108801276A (zh) 高精度地图生成方法及装置
CN111562603B (zh) 基于航位推算的导航定位方法、设备及存储介质
CN106705959A (zh) 检测移动终端航向的方法和装置
CN108235809A (zh) 端云结合定位方法、装置及电子设备、计算机程序产品
KR20230008000A (ko) 차선 및 특징 포인트에 기초한 위치확정방법 및 장치, 전자장비, 저장매체, 컴퓨터 프로그램 및 자율주행차량
US20230392938A1 (en) Navigation information processing method, electronic device, and storage medium
WO2024139716A1 (zh) 数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品
Zhou et al. DeepVIP: Deep learning-based vehicle indoor positioning using smartphones
CN107942090A (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN112363196B (zh) 车辆属性确定方法、装置、存储介质和电子设备
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN115560744A (zh) 机器人以及基于多传感器的三维建图方法、存储介质
CN110068341A (zh) 一种汽车惯性导航应用方法及装置
CN104699987A (zh) 一种手臂惯性式动作捕捉数据融合方法
CN103808959B (zh) 一种感测系统及其方法
CN117076824B (zh) 移动终端的状态预测方法、装置、电子设备和存储介质
Trojnacki et al. Determination of motion parameters with inertial measurement units–Part 1: mathematical formulation of the algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038332

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant