CN112601693A - 用于监测和规划交通工具的运动的方案 - Google Patents

用于监测和规划交通工具的运动的方案 Download PDF

Info

Publication number
CN112601693A
CN112601693A CN201980058178.2A CN201980058178A CN112601693A CN 112601693 A CN112601693 A CN 112601693A CN 201980058178 A CN201980058178 A CN 201980058178A CN 112601693 A CN112601693 A CN 112601693A
Authority
CN
China
Prior art keywords
vehicle
information
mobile device
trajectory
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980058178.2A
Other languages
English (en)
Other versions
CN112601693B (zh
Inventor
A·克利恩
J·蒂姆勒
A·哈尔
R·J·维什卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN112601693A publication Critical patent/CN112601693A/zh
Application granted granted Critical
Publication of CN112601693B publication Critical patent/CN112601693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于监测交通工具的运动的方法、装置和带有指令的计算机可读的存储介质。首先由移动设备接收(10)关于交通工具的轨迹的信息。然后以增强现实呈现的形式将轨迹显示(11)在移动设备的显示单元上。接着检测(12)移动设备的用户的用于影响轨迹的输入。最后基于用户的输入将信息传输(13)给交通工具。

Description

用于监测和规划交通工具的运动的方案
技术领域
本发明涉及一种用于监测交通工具的运动的方法、装置和带有指令的计算机可读的存储介质。此外，本发明涉及一种用于规划交通工具的运动的方法、装置和带有指令的计算机可读的存储介质，以及一种利用这种方法或这种装置的交通工具。
背景技术
自多年以来已经能够发觉在社会上数字技术的越来越广的传播。可以预期的是，社会的这种数字化在日常生活中变得越来越明显。虚拟-和增强现实技术和-应用是这种数字化的特别的表现。增强现实(AR)(德语是“erweiterte Realitaet，即扩展现实”)是通过虚拟元素对真实世界的丰富，这些虚拟元素在三维空间中位置正确地记录并且允许实时交互。由于在专业领域中在德语范畴中表述“增强现实”相对于表述“扩展现实”已获得承认，因此在下面使用前者。同义地也使用表述“混合现实”。为了呈现AR显示可例如使用增强现实眼镜。增强现实眼镜像正常的眼镜那样佩戴，但具有一个或多个投影单元或显示器，借助于所述投影单元或显示器可给眼镜的佩戴者在眼睛前投影信息或将信息直接投影到视网膜上。眼镜在此设计成使得佩戴者也可感知到周围环境。针对增强现实眼镜的新技术、例如光场技术，在所使用的电池技术方面的进步以及大企业进入到其中让人预期对所述设备的增大的接受度。
备选地，AR显示也可借助于增强现实智能手机或增强现实平板电脑生成。在此，虚拟元素在相应的设备的显示屏上与由相应的设备的摄像头拍摄的周围环境一起显示。也能够将内容投影到真实的周围环境中。
总体上，可预见的是，增强现实眼镜、增强现实智能手机和其他增强现实设备在终端客户中越来越多地被使用。由于引导市场的运行系统的提供商目前致力于建立其针对增强现实应用的开发环境和功能，因此可以从如下出发，即，该行业在未来将提供有效率的可行方案，例如用于提供在汽车领域中基于增强现实呈现的用户接口。
这种用户接口的一种可能的应用情况是交通工具的运动操纵。在此考虑如下情形，在该情形中驾驶员或另外的人员位于正实施行驶操纵的车辆外部。此处例如考虑应用场景，在所述应用场景中车辆进行自动的驶入停车位操纵或在转移到相应的区中之后实施自动化的代客-泊车行驶中。在手动领域中，此处最重要的是包含手动驶入停车位或调车的场景。
例如DE 10 2016 013 696 A1描述一种用于针对带有包括至少一个摄像头的移动终端设备的车辆进行停车位识别的方法。借助于移动终端设备在车辆周围环境的借助于摄像头检测到的图像中执行空闲空间分析。依据空闲空间分析的结果识别在车辆周围环境中的至少一个空闲的停车位。该空闲的停车位在移动终端设备上显示并且可以由用户选择用于停泊过程。
DE 10 2016 009 700 A1描述了一种用于在执行机动车的自主的驶入停车位或驶出停车位过程的情况下支持用户的装置，该机动车带有包括至少一个光学显示单元的移动终端设备。此外，移动终端设备包括至少一个摄像头和控制单元。控制单元测定或接收机动车在自主的驶入停车位-或驶出停车位过程期间的预计的轨迹。控制单元此外执行轨迹和/或依据轨迹所测定的、由机动车在未来驶过的行驶路线在显示单元上的呈现。该呈现将机动车及其周围环境的借助于摄像头检测到的实时图像位置正确地叠加。
发明内容
本发明的目的是提供一种用于监测和规划交通工具的运动的改进的方案。
该目的通过带有权利要求1或6的特征的方法、通过根据权利要求8所述的带有指令的计算机可读的存储介质、通过带有权利要求9或10的特征的装置以及通过带有权利要求11的特征的交通工具来实现。本发明的优选的设计方案是从属权利要求的内容。
根据本发明的第一方面，用于监测交通工具的运动的方法包括以下步骤：
-接收关于交通工具的轨迹的信息；
-以增强现实呈现的形式将轨迹显示在移动设备的显示单元上；
-检测移动设备的用户的用于影响轨迹的输入；并且
-基于用户的输入将信息传输给交通工具。
相应地，计算机可读的存储介质包含如下指令，所述指令在通过计算机实施时促使计算机实施用于监测交通工具的运动的以下步骤：
接收关于交通工具的轨迹的信息；
-以增强现实呈现的形式将轨迹显示在移动设备的显示单元上；
-检测移动设备的用户的用于影响轨迹的输入；并且
-基于用户的输入将信息传输给交通工具。
术语“计算机”在此应广泛地理解。尤其是，计算机也包括基于处理器的移动式数据处理装置。
与此类似，用于监测交通工具的运动的装置具有：
-接收单元，所述接收单元用于接收关于交通工具的轨迹的信息；
-图形单元，所述图形单元用于以增强现实呈现的形式在移动设备的显示单元上生成轨迹的显示；
-用户接口，所述用户接口用于检测所述移动设备的用户的用于影响轨迹的输入；以及
-传输单元，所述传输单元用于基于用户的输入将信息传输给交通工具。
根据本发明的第二方面，用于规划交通工具的运动的方法包括以下步骤：
-将关于交通工具的轨迹的信息传输给移动设备；
-基于移动设备的用户的输入从移动设备接收用于影响轨迹的信息；并且
-基于至少所接收的信息规划交通工具的运动。
相应地，计算机可读的存储介质包含如下指令，所述指令在通过计算机实施时促使计算机实施用于规划交通工具的运动的以下步骤：
-将关于交通工具的轨迹的信息传输给移动设备；
-基于移动设备的用户的输入从移动设备接收用于影响轨迹的信息；并且
-基于至少所接收的信息规划交通工具的运动。
术语“计算机”在此应广泛地理解。尤其是，计算机也包括交通工具中的控制设备。
与此类似，用于规划交通工具的运动的装置具有：
-传输单元，所述传输单元用于将关于交通工具的轨迹的信息传输给移动设备；
-接收单元，所述接收单元用于基于移动设备的用户的输入从移动设备接收用于影响轨迹的信息；以及
-运动规划器，所述运动规划器用于基于至少所接收的信息规划交通工具的运动。
根据本发明的解决方案基于如下构思，即，将关于当前的经规划的轨迹的信息从当前的位置出发从交通工具出来传输给移动设备，并且此处借助于增强部进行显示，例如在使用移动设备的摄像头功能的情况下。为了进行传输，可例如使用无线的传输途径、如WiFi或蓝牙。处于外部的人员、例如车辆的驾驶员可以由此将其智能手机的摄像头对准于车辆，并且在其智能手机的显示屏上那么可看到关于经规划的行驶途径的增强的显示。备选地，车辆的驾驶员可以通过其增强现实眼镜观察车辆，该增强现实眼镜那么产生所需的增强部。区别于已知的方式(其中用户只能开始或停止交通工具的运动)，用户现在具有主动影响交通工具的轨迹的可能性。以这种方式，用户可以对潜在的危险情形做出反应并且具有对于交通工具的运动的较大的控制。在汽车领域中，所描述的方案不仅对于传统的PKW-应用而且对于带有重的、例如多轴的商用车辆的使用场景是很有帮助的，所述商用车辆在调车活动方面带有特别高的要求。此外，可有利利用的是针对用于房车的运动系统的解决方案，所述房车例如可借助于远程操作来控制。
根据本发明的一方面，移动设备接收关于由交通工具的传感装置识别到的障碍物的信息并且在显示单元上显示所述信息。通过增强现实呈现同样可以可视化：交通工具是否已正确地识别出环境中的特定的静态或动态障碍物，例如水泥柱子、车库的支柱或人员。用户、尤其是没有经验的使用者因此正好可以在初期使用时消除如下担心，即，交通工具、例如由于传感器故障而损伤到自身。
根据本发明的一方面，用户的输入确定针对交通工具的目标点、针对交通工具的路径或关于障碍物的信息。为此，尤其是提供利用接触敏感的显示屏。例如可通过在相应的位置处简单地敲击显示屏来确定目标点或障碍物。路径可以又通过用一根手指在显示屏上画出路径来确定。所提及的输入能够由此非常直观且以特别简单的方式进行。附加地，可设置专用的控制开关面，例如用于开始或停止运动。此外，经由这种开关面可以实现防意外事故-按键(Totmann-Taster)的功能。
根据本发明的一方面，用户在显示单元上标记障碍物或对经标记的障碍物进行分类。例如，用户可以在接触敏感的显示屏上敲击或圈出障碍物。如果经标记的元素在手动标记之后没有被自动识别，则为此可以实现含义指派(Bedeutungszuweisung)。为此，用户可以例如调用下拉菜单，在该下拉菜单中不同的分类可供选择。这可以是基于位置的分类，如“地面上的障碍物”、“垂直的障碍物”或“动态物体”。但更准确的分类也是可行的，如“坑洼”、“人员”或“墙”。用户由此能够以非常简单的方式补充或修正没有被被传感装置识别到的障碍物或错误识别的障碍物。此外，这些信息可用于，改善在交通工具的环境感知方面的数据情况。
根据本发明的一方面，交通工具接收由移动设备检测到的环境信息或另外的源的信息并且在规划运动时考虑所述环境信息或另外的源的信息。用于有效结合移动设备的可行方案在于，将移动设备的摄像头图像用作附加的传感器，并且提供交通工具的传感器融合的内容。
在此，尤其是可设想两种途径。一方面，可以在没有另外的信息的情况下将摄像头图像提供给交通工具的评估单元。相应的技术上的软件模块可以在这种情况下借助机载算法进行自身的环境感知的改善或验证，其方式为，例如可以更好地估算间距或通过新的视角才能完全发现物体。
另一方面，图像处理步骤在移动设备方面或基于服务器就已经是能实施的。在此，则可进行重要的处理步骤以用于测量和识别环境，所述测量和识别反正为了呈现增强现实显示而必须执行。然后可将结果以汇总的形式传送给交通工具的模块。
当然，也能够并行地利用上文所描述的方式。
由于移动设备也配备有麦克风，因此根据上文所描述的原理也可将声学信号提供给交通工具并且所述声学信号可被考虑用于解读当前的情形。由于例如在不同路面上的轮胎运动产生特征性的声音模式，因此可以例如在非期望的噪声(比如正碎裂的玻璃或碰撞噪声)的情况下利用措施做出反应。例如可以停止停泊过程、改变轨迹或减小速度等。
特别有利地，用于规划运动的根据本发明的方法或根据本发明的装置被使用在交通工具中。该交通工具可以例如是机动车。然而根据本发明的解决方案能够同样地用于其他类型的交通工具，例如用于船舶、飞机，尤其是在于地面上运动时，或用于自动化的运输系统。
在船舶航行的领域中，所描述的方案实现对船舶的运动和位置的更好的预测，不仅在手动运行中而且在自动运行中。因此，当地的领航员、但或者船舶的船员和乘客可借助于其移动设备识别和预测当前的舵位(航线)和机器功率(速度)关于实际的航道和其余环境的影响。
因此，如针对航海领域中那样，所提出的方案在空中交通的领域中也具有高的相关性。此处，一方面可设想通过飞行员进行使用，其中，首先在地面上(从闸口滑行至起飞跑道或从着陆跑道滑行至闸口)可提供用于正确路径的光学定向。另一方面，移动设备也可以由地面工作人员、例如停泊-指示员或机场监测来使用，以便显示飞机的当前的轨迹。在此，例如指示员将移动设备朝飞机对准并且由此那么看到当前的轨迹并且如有可能也看到直至目标闸口的进一步引导的路径。
相同的原理可以同样地应用于轨道交通或公交交通。此处，用户一方面也可以是顾客，但另一方面也可以是站在轨道站台或公交站台处的工作人员。此处目的还在于，理解、预测并且如果期望的话还控制其他车辆的运动和意图。
另外的应用情况是使用在自动化的集装箱-集散地中，在其中可使用和监测自动化的起重车辆。以这种方式可以显著提高与这些自动化的重型载重车辆打交道时的安全性。
另外的应用情况是由驾校使用。此处，学员的驾驶输入可转换成未来的增强现实轨迹。这些信息那么一方面可被驾驶教练考虑到，以便给出反馈。但记录也可以后期对于学员本身而言作为反馈基础是重要的。
附图说明
本发明的另外的特征可由下面的描述和权利要求结合附图显而易见。
图1示意性地示出用于监测交通工具的运动的方法；
图2示意性地示出用于监测交通工具的运动的装置的第一实施形式；
图3示意性地示出用于监测交通工具的运动的装置的第二实施形式；
图4示意性地示出用于规划交通工具的运动的方法；
图5示意性地示出用于规划交通工具的运动的装置的第一实施形式；
图6示意性地示出用于规划交通工具的运动的装置的第二实施形式；
图7示意性地示出用于显示增强现实呈现的智能手机；
图8示意性地示出增强现实眼镜；
图9示意性地示出机动车，在该机动车中实现根据本发明的解决方案；
图10示意性地示出根据本发明的解决方案的系统图；
图11图解说明以增强现实呈现的形式对轨迹和通过传感器识别到的物体的可视化；
图12-15图解说明用户对运动规划的主动施加影响。
具体实施方式
为了更好地理解本发明的原理，下面借助附图更详细地阐释本发明的实施形式。不言而喻的是，本发明不局限于这些实施形式，并且所描述的特征也可组合或修改，而不离开本发明的在权利要求中所限定的保护范围。
图1示意性示出用于监测交通工具的运动的方法。首先由移动设备接收10关于交通工具的轨迹的信息。此外，可接收关于由交通工具的传感装置识别到的障碍物的信息。然后以增强现实呈现的形式将轨迹和如有可能识别到的障碍物显示11在移动设备的显示单元上。接着检测12移动设备的用户的用于影响轨迹的输入。用户的输入可以例如确定针对交通工具的目标点、针对交通工具的路径或关于障碍物的信息。例如用户为此在显示单元上标记障碍物或对经标记的障碍物进行分类。最后基于用户的输入将信息传输13给交通工具。在此，可附加地将由移动设备检测到的环境信息传输给交通工具。
图2示意性地示出用于监测交通工具的运动的装置20的第一实施形式。装置20具有输入端21，接收单元22经由该输入端接收例如关于交通工具的轨迹的信息。此外，可接收关于由交通工具的传感装置识别到的障碍物的信息。此外，装置20具有图形单元23，该图形单元用于以增强现实呈现的形式在移动设备90的显示单元上生成对轨迹和识别到的障碍物的显示。借助于用户接口28可以检测用户的用于影响轨迹的输入。用户的输入可以例如确定针对交通工具的目标点、针对交通工具的路径或关于障碍物的信息。例如用户为此在显示单元上标记障碍物或对经标记的障碍物进行分类。传输单元26基于用户的输入经由装置20的输出端27将信息传输给交通工具。附加地，可将由移动设备检测到的环境信息传输给交通工具。
接收单元22、图形单元23和传输单元26可由控制单元24控制。经由用户接口28如有可能也可改变接收单元22、图形单元23、传输单元26或控制单元24的设定。在装置20中产生的数据可在需要时存储在装置20的存储器25中，例如用于后期的评估或用以通过装置20的部件来利用。接收单元22、图形单元23、传输单元26以及控制单元24可实现为专用硬件、例如为集成电路。但当然所述接收单元、图形单元、传输单元以及控制单元也可部分地或完全地组合或作为软件实现，该软件在适合的处理器上运行，例如在GPU或CPU上运行。输入端21和输出端27可作为分离的接口实现或作为组合的双向接口实现。装置20可以是独立的部件，该独立的部件经由数据连接与移动设备连接。但该装置同样可以集成到移动设备中。
图3示意性地示出用于监测交通工具的运动的装置30的第二实施形式。装置30具有处理器32和存储器31。例如装置30是移动式计算单元，例如平板电脑中或智能手机中的移动式计算单元。在存储器31中存储有指令，所述指令在通过处理器32实施时促使装置30实施根据所描述的方法之一的步骤。存储在存储器31中的指令由此体现为可通过处理器32实施的程序，该程序实现根据本发明的方法。装置30具有用于接收信息的输入端33。由处理器32生成的数据经由输出端34提供。此外，所述数据可存储在存储器31中。输入端33和输出端34可联合成双向接口。
处理器32可以包括一个或多个处理器单元，例如微处理器、数字信号处理器或由它们构成的组合。
所描述的实施形式的存储器25，31不仅可具有易失性存储区域而且可具有非易失性存储区域并且可包括各种各样的存储设备和存储介质，例如硬盘、光学存储介质或半导体存储器。
图4示意性地示出一种用于规划交通工具的运动的方法。首先将关于交通工具的轨迹的信息传输15给移动设备。附加地，可传输关于由交通工具的传感装置识别到的障碍物的信息。接着基于移动设备的用户的输入接收16由移动设备传输的用于影响轨迹的信息。用户的输入可以例如确定针对交通工具的目标点、针对交通工具的路径或关于障碍物的信息。最后，基于至少所接收的信息来规划17交通工具的运动。附加地，交通工具可以接收16由移动设备检测到的环境信息或另外的源的信息并且在规划17运动时考虑所述环境信息或另外的源的信息。
图5示意性地示出用于规划交通工具的运动的装置40的第一实施形式。装置40具有输出端47，传输单元46经由该输出端将关于交通工具的轨迹的信息传输给移动设备。在此，附加地可传输关于由交通工具的传感装置识别到的障碍物的信息。接收单元42基于移动设备的用户的输入经由装置40的输入端41接收由移动设备传输的用于影响轨迹的信息。用户的输入可以例如确定针对交通工具的目标点、针对交通工具的路径或关于障碍物的信息。运动规划器43基于至少所接收的信息规划交通工具的运动。附加地，运动规划器43可以在规划运动时考虑由移动设备检测到的环境信息或另外的源的信息，所述环境信息或另外的源的信息被接收单元42接收。运动规划器43的规划数据可经由输出端47发送给交通工具的控制设备。
接收单元42、运动规划器43和传输单元46可由控制单元44控制。经由用户接口48如有可能也可改变接收单元42、运动规划器43、传输单元46或控制单元44的设定。在装置40中产生的数据可在需要时存储在装置40的存储器45中，例如用于后期的评估或用以通过装置40的部件来利用。接收单元42、运动规划器43、传输单元46以及控制单元44可实现为专用硬件、例如为集成电路。但当然所述接收单元、运动规划器、传输单元以及控制单元也可部分地或完全地组合或作为软件实现，该软件在适合的处理器上运行，例如在GPU或CPU上运行。输入端41和输出端47可作为分离的接口实现或作为组合的双向接口实现。
图6示意性地示出用于规划交通工具的运动的装置50的第二实施形式。装置50具有处理器52和存储器51。例如装置50是交通工具的控制设备。在存储器51中存储有指令，所述指令在通过处理器52实施时促使装置50实施根据所描述的方法之一的步骤。存储在存储器51中的指令由此体现为可通过处理器52实施的程序，该程序实现根据本发明的方法。装置50具有用于接收信息的输入端53。由处理器52生成的数据经由输出端54提供。此外，所述数据可存储在存储器51中。输入端53和输出端54可联合成双向接口。
处理器52可以包括一个或多个处理器单元，例如微处理器，数字信号处理器或由它们构成的组合。
所描述的实施形式的存储器45，51不仅可具有易失性存储区域而且可具有非易失性存储区域并且包括各种各样的存储设备和存储介质，例如硬盘、光学存储介质或半导体存储器。
图7示意性地示出智能手机60作为针对如下移动设备的示例，该移动设备适合用于在根据本发明的方法或根据本发明的装置的情况下使用。智能手机60具有显示屏62，该显示屏设置成用于显示增强现实呈现。为此，智能手机60借助于摄像头63检测周围环境，该周围环境被显示在显示屏62上。关于所显示的周围环境在显示屏62上的叠加的信息经由接口61接收。尤其是，经由接口61可以与交通工具进行数据交换。显示屏62设计成接触敏感的并且用作用于与用户交互的接口。
图8示意性地示出增强现实眼镜70作为针对如下移动设备的示例，该移动设备适合用于在根据本发明的方法或根据本发明的装置的情况下使用。增强现实眼镜70具有摄像头71，该摄像头用于检测增强现实眼镜的周围环境的周围环境数据。借助于姿势(或位姿，即Pose)确定装置72可以确定增强现实眼镜的姿势，例如依据周围环境数据。图形单元73根据所测定的姿势生成用于增强现实眼镜的显示。为此，姿势确定装置72和图形单元73可相互交换数据。关于要显示的内容的信息经由接口74接收。尤其是，经由接口74可以与交通工具进行数据交换。由图形单元73生成的显示通过投影单元75淡入。在图8中的示例中，使用单目的显示屏，也就是说仅在用户的一只眼睛前布置有显示屏。当前所描述的解决方案显然也可以利用带有双目的显示屏(其中对于每只眼睛使用一个显示屏)的增强现实眼镜，或带有双目的显示屏(其中对于两只眼睛使用一个共同的显示屏)的增强现实眼镜来实现。与用户的交互此处可以借助于语音指令或通过使用附加的输入设备来进行。
图9示意性地示出交通工具80，在该交通工具中实现根据本发明的解决方案。在该示例中，交通工具80是机动车。机动车具有成像传感器81、例如摄像头。此外，存在雷达传感器82以及激光雷达传感器83。机动车的另外的部件是导航设备84以及数据传递单元85。借助于数据传递单元85可以构建通向移动设备或通向服务提供商的连接，尤其是用来交换用于运动规划的信息。不同的传感器81,82,83的数据以及经由数据传递单元85所接收的用于运动规划的信息由根据本发明的装置40在规划机动车的运动时考虑。为了存储数据存在存储器86。在机动车的不同部件之间的数据交换经由网络87进行。
图10示意性地示出根据本发明的解决方案的系统图。可看到交通工具80(此处以机动车的形式)以及移动设备90，所述交通工具和移动设备经由通讯连接交换数据。附加地，示出以监测摄像头的形式的另一传感器96以及后端97。在直到现在的描述中，对运动的监测和规划在包括相应地存在于移动设备90或交通工具80中的传感装置、在那检测的传感器数据和在那存在的计算能力在内的情况下发生。
如下扩展方案是可行的：后端97通过无线的数据连结而供使用。借助于这种后端可将其他的位于附近的车辆、移动设备或固定安装的源96的传感器作为数据源供移动设备90或交通工具80使用。然后基于自身的且外来的传感器数据计算出增强部或轨迹。为了防止有害的攻击场景，通讯优选是加密的并且对于每个数据包设有唯一的时间戳。
如果自身的移动设备90或交通工具80的环境数据不够，例如由于摄像头图像被柱子遮挡，则存储在后端97中的环境数据可被考虑用于追踪或物体识别。在此，优选对于每个存储在后端97中的数据可设置时间戳，由此可判定，这些数据对于相应的应用情况是否可用作源。
作为附加的备选方案，可在其他时间点将由移动设备或交通工具提供给后端97的数据借助于增强部如此地供使用者使用，使得所述数据为使用者提供附加价值。对此的示例是信息如“在由您选择的停车空位中今天已经有X个人停过车”或“在您左侧三个停车空位处的车辆通常在5分钟内离开位置”。在此，显然要确保数据保护。
图11图解说明以增强现实呈现的形式在移动设备90的显示单元91上对轨迹92和通过传感器识别到的物体93的可视化。处于外部的人员、例如已下车的驾驶员因此可以设身处地领会(nachvollziehen)并且修正地介入正自动行驶的车辆的操作。以这种方式同样能够从外部设身处地领会正手动驾驶的人员的操作，例如在当前的方向盘角度情况下预计的行驶途径并且例如用于更准确的指示。
图12-15图解说明用户对运动规划的主动施加影响，此处以机动车为例。用户为此将其移动设备的摄像头朝车辆对准并且利用增强的显示来工作或产生所述显示。仅示出在移动设备的显示单元上所显示的内容。
图12示出车辆朝着停车位方向的经规划的轨迹92。在停车位中存在以坑洼的形式的障碍物93，该坑洼至今未被车辆的传感装置识别出。
在图13中，用户用手指在移动设备的摄像头图像上标记出坑洼。相应的信息接着由移动设备传输给车辆，该车辆现在在运动规划时可考虑所鉴别出的坑洼。如果经标记的元素在手动标记之后没有被自动识别，则用户可在其方面进行含义指派。
在图14中可看出，坑洼已被车辆识别为障碍物93。但在具体的示例中，经规划的运动没有被运动规划器改变，因为坑洼没有被认作为有问题的障碍物93。因此，用户想要自己给车辆指派路线。
对于该应用(其在图15中示出)，用户可以在第一步骤中用手指将简单的路径95绘出到移动设备的摄像头图像上。在第二步骤中，该路径然后可以由交通工具的相应的路径规划单元检查并且转换成可实施的建议。为此，优选进行更新过的且改善的增强的显示，其反映交通工具的实际能力。在可选的第三步骤(确认)之后，然后从该新的路径出发。
附图标记列表：
10 接收关于交通工具的轨迹的信息
11 显示轨迹作为增强现实呈现
12 检测用户的输入
13 将关于用户的输入的信息传输给交通工具
15 传输关于交通工具的轨迹的信息
16 接收用于影响轨迹的信息
17 规划交通工具的运动
20 装置
21 输入端
22 接收单元
23 图形单元
24 控制单元
25 存储器
26 传输单元
27 输出端
28 用户接口
30 装置
31 存储器
32 处理器
33 输入端
34 输出端
40 装置
41 输入端
42 接收单元
43 运动规划器
44 控制单元
45 存储器
46 传输单元
47 输出端
48 用户接口
50 装置
51 存储器
52 处理器
53 输入端
54 输出端
60 智能手机
61 接口
62 显示屏
63 摄像头
70 增强现实眼镜
71 摄像头
72 接口
73 姿势确定装置
74 图形单元
75 投影单元
80 交通工具
81 成像传感器
82 雷达传感器
83 激光雷达传感器
84 导航设备
85 数据传递单元
86 存储器
87 网络
90 移动设备
91 显示单元
92 轨迹
93 障碍物
94 时间点
95 路径
96 传感器
97 后端。

Claims (11)

1.一种用于监测交通工具(80)的运动的方法，所述方法带有以下步骤：
-接收(10)关于所述交通工具(80)的轨迹(92)的信息；
-以增强现实呈现的形式将所述轨迹(92)显示(11)在移动设备(90)的显示单元(91)上；
-检测(12)所述移动设备(90)的用户的用于影响所述轨迹(92)的输入；并且
-基于所述用户的输入将信息传输(13)给所述交通工具(80)。
2.根据权利要求1所述的方法，其中，所述移动设备(90)接收关于由所述交通工具(80)的传感装置(81,82,83)识别到的障碍物(93)的信息并且将所述信息显示在所述显示单元(91)上。
3.根据权利要求1或2所述的方法，其中，所述用户的输入确定针对所述交通工具(80)的目标点(94)、针对所述交通工具(80)的路径(95)或关于障碍物(93)的信息。
4.根据权利要求3所述的方法，其中，所述用户在所述显示单元(91)上标记障碍物(93)或对经标记的障碍物(93)进行分类。
5.根据前述权利要求中任一项所述的方法，其中，将由所述移动设备(90)检测到的环境信息传输给所述交通工具(80)。
6.一种用于规划交通工具(80)的运动的方法，所述方法带有以下步骤：
-将关于所述交通工具(80)的轨迹(92)的信息传输(15)给移动设备(90)；
-基于所述移动设备(90)的用户的输入从所述移动设备(90)接收(16)用于影响所述轨迹(92)的信息；并且
-基于至少所接收的信息规划(17)所述交通工具(80)的运动。
7.根据权利要求6所述的方法，其中，所述交通工具(80)接收(16)由所述移动设备(90)检测到的环境信息或另外的源(80,90,96)的信息并且在规划(17)运动时考虑所述环境信息或另外的源的信息。
8.一种带有指令的计算机可读的存储介质，所述指令在通过计算机实施时促使所述计算机实施根据权利要求1至5中任一项所述的用于监测交通工具(80)的运动的方法的步骤或根据权利要求6或7所述的用于规划交通工具(80)的运动的方法的步骤。
9.一种用于监测交通工具(80)的运动的装置(20)，所述装置带有：
-接收单元(22)，所述接收单元用于接收(10)关于所述交通工具(80)的轨迹(92)的信息；
-图形单元(23)，所述图形单元用于以增强现实呈现的形式在移动设备(90)的显示单元(91)上生成所述轨迹(92)的显示(11)；
-用户接口(28)，所述用户接口用于检测(12)所述移动设备(90)的用户的用于影响所述轨迹(92)的输入；以及
-传输单元(26)，所述传输单元用于基于所述用户的输入将信息传输(13)给所述交通工具(80)。
10.一种用于规划交通工具(80)的运动的装置(40)，所述装置带有：
-传输单元(46)，所述传输单元用于将关于所述交通工具(80)的轨迹(92)的信息传输(15)给移动设备(90)；
-接收单元(42)，所述接收单元用于基于所述移动设备(90)的用户的输入从所述移动设备(90)接收(16)用于影响所述轨迹(92)的信息；以及
-运动规划器(43)，所述运动规划器用于基于至少所接收的信息规划(17)所述交通工具(80)的运动。
11.一种交通工具(80)，其特征在于，所述交通工具(80)具有根据权利要求10所述的装置(40)或设置成用于实施根据权利要求6或7所述的用于规划所述交通工具(80)的运动的方法。
CN201980058178.2A 2018-09-06 2019-08-08 用于监测和规划交通工具的运动的方案 Active CN112601693B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018215186.5A DE102018215186A1 (de) 2018-09-06 2018-09-06 Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
DE102018215186.5 2018-09-06
PCT/EP2019/071279 WO2020048718A1 (de) 2018-09-06 2019-08-08 Konzept zum überwachen und planen einer bewegung eines fortbewegungsmittels

Publications (2)

Publication Number Publication Date
CN112601693A true CN112601693A (zh) 2021-04-02
CN112601693B CN112601693B (zh) 2023-04-18

Family

ID=67667822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058178.2A Active CN112601693B (zh) 2018-09-06 2019-08-08 用于监测和规划交通工具的运动的方案

Country Status (4)

Country Link
US (1) US11934188B2 (zh)
CN (1) CN112601693B (zh)
DE (1) DE102018215186A1 (zh)
WO (1) WO2020048718A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325844A (zh) * 2021-05-27 2021-08-31 天津迦自机器人科技有限公司 一种辅助自主定位导航ar教学演示的障碍物位置识别方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018215186A1 (de) 2018-09-06 2020-03-12 Volkswagen Aktiengesellschaft Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
DE102019215524A1 (de) * 2019-10-10 2021-04-15 Ford Global Technologies, Llc Verfahren und Anordnung zum Visualisieren eines Fahrwegs, Computerprogrammprodukt und computerlesbares Speichermedium
US11609562B2 (en) * 2020-04-27 2023-03-21 Deere & Company Using generated markings for vehicle control and object avoidance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955290A (zh) * 2016-04-27 2016-09-21 腾讯科技（深圳）有限公司 无人飞行器控制方法及装置
CN106794874A (zh) * 2014-10-11 2017-05-31 奥迪股份公司 用于运行自动引导的无人驾驶的机动车的方法和监控系统
CN107515606A (zh) * 2017-07-20 2017-12-26 北京格灵深瞳信息技术有限公司 机器人实现方法、控制方法及机器人、电子设备
WO2018077647A1 (de) * 2016-10-26 2018-05-03 Volkswagen Aktiengesellschaft Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs
CN108025766A (zh) * 2015-05-20 2018-05-11 法雷奥舒适驾驶助手公司 用于通过移动终端交互控制机动车辆的自动停放的方法
CN108137096A (zh) * 2015-11-26 2018-06-08 宝马股份公司 用于停放车辆的系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
EP2672354B1 (en) 2011-01-31 2020-03-04 Toyota Jidosha Kabushiki Kaisha Vehicle control apparatus
JP5921320B2 (ja) * 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
DE102012208288A1 (de) 2012-05-16 2013-11-21 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102012222972A1 (de) * 2012-12-12 2014-06-12 Robert Bosch Gmbh Verfahren und Einrichtung zur Ermittlung einer Trajektorie eines Fahrmanövers
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法
US20140278053A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Navigation system with dynamic update mechanism and method of operation thereof
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
DE102013213039A1 (de) * 2013-07-03 2015-01-08 Continental Automotive Gmbh Assistenzsystem und Assistenzverfahren zur Unterstützung bei der Steuerung eines Kraftfahrzeugs
US20150116358A1 (en) * 2013-10-25 2015-04-30 Electronics And Telecommunications Research Institute Apparatus and method for processing metadata in augmented reality system
US9212926B2 (en) * 2013-11-22 2015-12-15 Ford Global Technologies, Llc In-vehicle path verification
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법
WO2015182290A1 (ja) * 2014-05-28 2015-12-03 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
DE102014018108A1 (de) 2014-12-06 2016-06-09 Daimler Ag Verfahren zur Bestimmung eines Fahrmanövers eines Fahrzeuges
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
WO2017071143A1 (en) * 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
EP3843063B1 (en) * 2015-09-25 2023-08-02 Apple Inc. Augmented reality display system
BR112018007120B1 (pt) * 2015-10-09 2023-05-02 Nissan Motor Co., Ltd Dispositivo de display veicular e método de display veicular
WO2017117562A1 (en) * 2015-12-31 2017-07-06 Daqri, Llc Augmented reality based path visualization for motion planning
DE102016208373A1 (de) 2016-05-17 2017-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und ein mobiles Anwendergerät zum Erzeugen einer Fahrerinformation umfassend zumindest ein grafisches Element im Zusammenhang mit zumindest einem Rad des Fahrzeugs
DE102016009700A1 (de) 2016-08-10 2018-02-15 Daimler Ag Vorrichtung und Verfahren zur Unterstützung eines Nutzers bei einer Durchführung eines autonomen Einpark- oder Ausparkvorgangs eines Kraftfahrzeugs
DE102016013696A1 (de) 2016-11-17 2017-05-24 Daimler Ag Verfahren und Vorrichtung zur Parkplatzerkennung
DE102018215186A1 (de) 2018-09-06 2020-03-12 Volkswagen Aktiengesellschaft Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
US10488215B1 (en) * 2018-10-26 2019-11-26 Phiar Technologies, Inc. Augmented reality interface for navigation assistance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106794874A (zh) * 2014-10-11 2017-05-31 奥迪股份公司 用于运行自动引导的无人驾驶的机动车的方法和监控系统
CN108025766A (zh) * 2015-05-20 2018-05-11 法雷奥舒适驾驶助手公司 用于通过移动终端交互控制机动车辆的自动停放的方法
CN108137096A (zh) * 2015-11-26 2018-06-08 宝马股份公司 用于停放车辆的系统
CN105955290A (zh) * 2016-04-27 2016-09-21 腾讯科技（深圳）有限公司 无人飞行器控制方法及装置
WO2018077647A1 (de) * 2016-10-26 2018-05-03 Volkswagen Aktiengesellschaft Verfahren sowie system zur externen steuerung eines autonomen fahrzeugs
CN107515606A (zh) * 2017-07-20 2017-12-26 北京格灵深瞳信息技术有限公司 机器人实现方法、控制方法及机器人、电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325844A (zh) * 2021-05-27 2021-08-31 天津迦自机器人科技有限公司 一种辅助自主定位导航ar教学演示的障碍物位置识别方法

Also Published As

Publication number Publication date
WO2020048718A1 (de) 2020-03-12
US11934188B2 (en) 2024-03-19
US20210311472A1 (en) 2021-10-07
DE102018215186A1 (de) 2020-03-12
CN112601693B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN112601693B (zh) 用于监测和规划交通工具的运动的方案
US11676346B2 (en) Augmented reality vehicle interfacing
US10248116B2 (en) Remote operation of autonomous vehicle in unexpected environment
US11486726B2 (en) Overlaying additional information on a display unit
US10556600B2 (en) Assessment of human driving performance using autonomous vehicles
US11827274B2 (en) Turn path visualization to improve spatial and situational awareness in turn maneuvers
US9475422B2 (en) Communication between autonomous vehicle and external observers
US9507345B2 (en) Vehicle control system and method
US9001153B2 (en) System and apparatus for augmented reality display and controls
US8781170B2 (en) Vehicle ghosting on full windshield display
US10775634B2 (en) Method for calculating the movement data of the head of a driver of a transportation vehicle, data glasses and transportation vehicle for use in the method, and computer program
US10527849B2 (en) Augmented reality vehicular assistance for color blindness
WO2016186039A1 (ja) 自動車周辺情報表示システム
US20180165838A1 (en) System and method for generating a semantically meaningful two-dimensional image from three-dimensional data
WO2016051447A1 (ja) 情報表示制御システムおよび情報表示制御方法
WO2021253955A1 (zh) 一种信息处理方法、装置、车辆以及显示设备
CN113994409A (zh) 机动车
JP2020154375A (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
CN113401071B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
TWI817823B (zh) 車輛控制系統、頭戴式顯示裝置及車輛控制方法
WO2017069038A1 (ja) 車載表示システム
CN114207685B (zh) 自主车辆交互系统
TW202419324A (zh) 車輛控制系統、頭戴式顯示裝置及車輛控制方法
CN116674540A (zh) 车辆通过控制方法、装置、电子设备及可读存储介质
CN118061924A (zh) 车辆控制系统、头戴式显示装置及车辆控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant