CN109425496A - 车辆检查 - Google Patents
车辆检查 Download PDFInfo
- Publication number
- CN109425496A CN109425496A CN201810973905.5A CN201810973905A CN109425496A CN 109425496 A CN109425496 A CN 109425496A CN 201810973905 A CN201810973905 A CN 201810973905A CN 109425496 A CN109425496 A CN 109425496A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned plane
- computer
- received
- method described
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
一种系统,包括计算机,该计算机编程为从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;并且根据所接收的图像数据向车辆发送指令以致动车辆部件。
Description
技术领域
本发明涉及车辆技术领域,具体涉及车辆检查。
背景技术
车辆检查可以包括测试各种车辆部件,例如电池、轮胎、电子系统、灯等。可以检查车身是否有损坏。然而,在检查如车灯的部件方面缺乏技术基础设施。
发明内容
根据本发明,提供一种系统,包含计算机,计算机编程为:
从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;和
根据接收的图像数据,向车辆发送指令以致动车辆部件。
根据本发明的一个实施例,计算机还编程为根据接收的图像数据识别车辆。
根据本发明的一个实施例,计算机还编程为:
经由空中无人机接收车辆无线信号;和
根据接收的车辆无线信号和接收的图像数据来确定车辆的状态。
根据本发明的一个实施例,计算机还编程为:
经由空中无人机接收来自多个车辆的多个车辆无线信号;和
根据接收的图像数据,从多个无线信号中识别车辆的相应车辆无线信号。
根据本发明的一个实施例,计算机还编程为根据接收的图像中包括的车辆标识符、车辆型号和车辆颜色中的至少一个来识别车辆。
根据本发明的一个实施例,车辆标识符包括车辆的车身上的图形图案。
根据本发明的一个实施例,计算机还编程为通过以下方式致动车辆部件:
根据接收的车辆状态确定目的地;和
通过加速、转向和制动中的至少一个将车辆导航到确定的目的地。
根据本发明的一个实施例,计算机还编程为:
部署空中无人机飞越多个车辆;
生成包括多个车辆的图像;和
在生成的图像上叠加每个车辆的相应车辆状态。
根据本发明的一个实施例,叠加相应车辆状态包括为多个车辆中的每个车辆显示已批准和缺陷状态中的一个。
根据本发明的一个实施例,部署无人机飞越多个车辆还包括:
根据多个车辆的位置坐标确定飞行路线;和
根据确定的飞行路线致动无人机飞行。
根据本发明的一个实施例,计算机还编程为:
接收手持装置位置;和
将手持装置位置添加在生成的图像上。
根据本发明的一个实施例,计算机还编程为:
接收标准,其中标准包括已批准的车辆、缺陷车辆、低燃料车辆和下一批运输车辆中的至少一个;和
根据接收的标准致动车辆外部车灯。
根据本发明的一个实施例,系统还包含包括在空中无人机中的第二计算机,第二计算机编程为根据车辆传感器数据和无人机传感器数据中的至少一个来确定车辆的位置。
根据本发明,提供一种方法,包含:
从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;和
根据接收的图像数据,向车辆发送指令以致动车辆部件。
根据本发明的一个实施例,方法还包含根据接收的图像数据识别车辆。
根据本发明的一个实施例,方法还包含:
经由空中无人机接收车辆无线信号;和
根据接收的车辆无线信号和接收的图像数据来确定车辆的状态。
根据本发明的一个实施例,方法还包含根据接收的图像中包括的车辆标识符、车辆型号和车辆颜色中的至少一个来识别车辆。
根据本发明的一个实施例,方法还包含:
部署空中无人机飞越多个车辆;
生成包括多个车辆的图像,和
在生成的图像上叠加每个车辆的相应车辆状态。
根据本发明的一个实施例,部署无人机飞越多个车辆还包括:
根据多个车辆的位置坐标确定飞行路线;和
根据确定的飞行路线致动无人机飞行。
根据本发明的一个实施例,方法还包含:
接收标准,其中标准包括已批准的车辆、缺陷车辆、低燃料车辆和下一批运输车辆中的至少一个;和
根据接收的标准致动车辆外部车灯。
附图说明
图1是示例性车辆、示例性无人机和示例性手持式装置的框图;
图2是示出飞越车辆的图1的无人机的框图;
图3示出了显示包括车辆的图像的图1的手持装置;
图4是用于车辆检查操作的示例性过程的流程图;
图5是用于车辆操作的示例性过程的流程图。
具体实施方式
本文公开了一种包括计算机的系统,该计算机编程为从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据,并且根据所接收的图像数据,向车辆发送指令以致动车辆部件。
计算机还可以编程为根据所接收的图像数据识别车辆。
计算机还可以编程为经由空中无人机接收车辆无线信号,并且根据所接收的车辆无线信号和所接收的图像数据来确定车辆的状态。
计算机还可以编程为经由空中无人机接收来自多个车辆的多个车辆无线信号,并且根据所接收的图像数据从多个无线信号中识别该车辆的相应车辆无线信号。
计算机还可以编程为根据所接收的图像中包括的车辆标识符、车辆型号和车辆颜色中的至少一个来识别车辆。
车辆标识符可以包括车辆车身上的图形图案。
计算机还可以编程为通过根据所接收的车辆状态确定目的地来致动车辆部件,并且通过加速、转向和制动中的至少一个将车辆导航到确定的目的地。
计算机还可以编程为部署空中无人机以在多个车辆上飞行,生成包括多个车辆的图像,并且在生成的图像上叠加每个车辆的相应车辆状态。
叠加相应的车辆状态可以包括为多个车辆中的每个车辆显示已批准和缺陷状态之一。
部署无人机以在多个车辆上飞行还可以包括根据多个车辆的位置坐标确定飞行路线,并且根据所确定的飞行路线致动无人机飞行。
计算机还可以编程为接收手持装置位置,并且将手持装置位置叠加在所生成的图像上。
计算机还可以编程为接收标准,其中标准包括批准的车辆、缺陷车辆、低燃料车辆和下一批运输的车辆中的至少一个;并且根据所接收的标准致动车辆外部车灯。
该系统还可以包括包含在空中无人机中的第二计算机,第二计算机编程为根据车辆传感器数据和无人机传感器数据中的至少一个来确定车辆的位置。
本文还公开了一种方法,包括从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;并且根据所接收的图像数据向车辆发送指令以致动车辆部件。
该方法还可以包括根据所接收的图像数据识别车辆。
该方法还可以包括经由空中无人机接收车辆无线信号,并且根据所接收的车辆无线信号和所接收的图像数据来确定车辆的状态。
该方法还可以包括根据所接收的图像中包括的车辆标识符、车辆型号和车辆颜色中的至少一个来识别车辆。
该方法还可以包括部署空中无人机以在多个车辆上飞行,生成包括多个车辆的图像,并且在生成的图像上叠加每个车辆的相应车辆状态。
部署无人机以在多个车辆上飞行还可以包括根据多个车辆的位置坐标确定飞行路线,并且根据所确定的飞行路线致动无人机飞行。
该方法还可以包括接收标准,其中该标准包括已批准的车辆、缺陷车辆、低燃料车辆和下一批运输的车辆中的至少一个,并且根据所接收的标准致动车辆外部车灯。
还公开了一种编程为执行任何上述方法步骤的计算装置。还公开了一种包含该计算装置的空中无人机。还公开了一种包括该计算装置的车辆。
还公开了一种计算机程序产品,包含存储可由计算机处理器执行的指令的计算机可读介质,该指令用于执行上述任何方法步骤。
示例系统元件
图1示出了车辆100、无人机160和手持装置180。车辆100可以以各种已知方式(例如用电动马达和/或内燃发动机)供能。车辆100可以包括任何车辆,例如小型客车、卡车、运动型多功能车、跨界车辆、客货车、小型货车等。车辆100可以包括计算机110、(一个或多个)致动器120、(一个或多个)传感器130、人机界面(HMI)140、无线通信接口145和外部车灯150。
计算机110包括如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质,并且存储可由计算机110执行的用于执行包括如本文所公开的各种操作的指令。
计算机110可以以自主模式、半自主模式或非自主模式操作车辆100。出于本公开的目的,自主模式被定义为其中车辆100的推进、制动和转向中的每一个由计算机110控制的模式;在半自主模式中,计算机控制车辆100的推进、制动和转向中的一个或两个;在非自主模式中,操作者控制车辆100的推进、制动和转向。
计算机110可以包括用于执行以下操作的编程:操作陆地车辆100的制动器、推进器(例如通过控制内燃发动机、电动马达、混合动力发动机等中的一个或多个来控制车辆100中的加速度)、转向器、气候控制器、内部和/或外部车灯等中的一个或多个,以及确定计算机110(而不是人类操作者)是否以及何时控制这种操作。另外,计算机110可以编程为确定人类操作者是否以及何时控制这种操作。
计算机110可以包括或者例如经由车辆100网络(例如包括如下面进一步描述的通信总线)通信地连接到多于一个的处理器,例如包括在车辆100中的用于监视和/或控制各种车辆控制器(例如动力传动系统控制器、制动控制器、转向控制器等)的控制器等。计算机110通常设置用于在车辆100的通信网络上进行通信,该通信网络可以包括车辆100中的总线(例如控制器区域网络(CAN)等)和/或其他有线和/或无线机制。
计算机110可以通过车辆100的通信网络,向车辆100中的各种装置(例如致动器120、HMI 140等)发送消息和/或从该各种装置接收消息。可选地或另外地,在计算机110实际上包含多个装置的情况下,车辆通信网络可以用于在本公开中表示为计算机110的装置之间的通信。
如已知的,车辆100的致动器120通过可以根据适当的控制信号致动各种车辆100子系统的电路、芯片或其他电子和/或机械部件来实现。致动器120可用于控制车辆系统,例如车辆100的制动系统、加速系统和/或转向系统。
车辆100的传感器130可包括已知通过车辆通信总线提供数据的各种装置。例如,传感器130可包括设置在车辆100中和/或车辆100上的提供包含至少一些车辆外部数据的一个或多个摄像机、雷达、红外传感器和/或光探测和测距(LIDAR)传感器130。计算机110可以通过如已知的合适接口接收数据。设置在例如车辆100的顶部上的LIDAR传感器130可以提供包括如车辆100周围的其他车辆的物体的相对位置、尺寸和形状的物体数据。计算机110可以接收物体数据并且至少部分地根据所接收的物体数据来以自主和/或半自主模式操作车辆100。
车辆100可以包括配置为确定车辆100的当前位置的坐标的全球定位系统(GPS)传感器130。计算机110可以编程为使用已知的导航技术以识别从当前位置到所选目的地的路线,以及通过例如HMI 140显示地图和到所选目的地的当前驾驶方向。
此外,计算机110可以配置为经由车辆100通信接口145和网络195通过车辆到基础设施(V到I)接口来与其他车辆100、无人机160、远程计算机190和/或手持装置180通信。网络195表示计算机110和远程计算机190可以通过其相互通信的一个或多个机制,并且可以是各种有线或无线通信机制中的一个或多个,包括任何期望的组合的:有线(例如电缆和光纤)和/或无线(例如蜂窝、无线、卫星、微波和射频)通信机制和任何期望的网络拓扑(或当利用多个通信机制时的拓扑)。示例性通信网络195包括提供数据通信服务的无线通信网络(例如使用蜂窝、蓝牙、IEEE 802.11等中的一个或多个)、专用短程通信(DSRC)、局域网(LAN)和/或广域网(WAN)(包括互联网)。
HMI 140向车辆100的乘员呈现信息并且从车辆100的乘员接收信息。HMI 140可以位于例如车辆100的乘客舱中的仪表板上,或者乘员可接近的一个或多个其他位置。HMI140可以包括用于向乘员提供信息的拨号盘、数字读出器、屏幕(如触摸感应显示屏)、扬声器等。HMI 140可以包括用于从乘员接收信息的按钮、旋钮、键盘、麦克风等。
无人机160是无人驾驶飞行器(UAV)并且包括可以控制无人机160的各种操作的多个电路、芯片或其他电子和/或机电部件。例如,无人机160可以根据输出到其螺旋桨致动器的控制信号进行飞行。无人机160可以配备有导航系统,使得它可以飞到并且悬停在特定位置。图1示出了飞越车辆100的无人机160。在本公开的上下文中,悬停或“飞越”意味着以与相应车辆100基本相同的经度和纬度飞行,即在车辆100中心的5米(m)内飞行。
无人机160可以包括一个或多个传感器165,例如可以捕获无人机160附近(例如下方)区域的图像的摄像机传感器165。无人机160摄像机传感器165可以与灯安装到相同的壳体,并且无人机160可以编程为打开无人机160摄像机传感器165以捕获无人机160下方的区域的图像。因此,当无人机160悬停在车辆100上方时,无人机160摄像机传感器165可以捕获一个或多个车辆100的图像。另外地或可选地,无人机160可包括其他类型的物体探测传感器165,例如雷达、LIDAR等。
无人机160可以包括例如向车辆100计算机110、无人机160计算机等提供无人机160的GPS位置坐标(即纬度/经度对)的GPS传感器165。例如,无人机160计算机可以根据所接收的GPS位置坐标、预定路线200(参见图2)等来导航无人机160。
无人机160可以包括无线通信接口170。车辆100计算机110、无人机160计算机等可以经由通信接口145、170彼此通信并且经由网络195与远程计算机190通信,网络195包括一个或多个电信协议,例如蜂窝技术(如3G、4G、长期演进(LTE)等)、蓝牙、蓝牙低功耗、WiFi(无线)等。在一个示例中,如果无人机160和车辆100在用于无线通信的通信协议的通信范围(例如用于蓝牙的100米(m))内的距离d1内,则无人机160和车辆100计算机110可以经由无线网络195进行通信。
远程计算机190和/或手持装置180计算机可以编程为从例如容器、发射台等部署无人机160。为了部署无人机160,远程计算机190可以致动无人机160致动器以起飞并且悬停在主车辆100上方。在图2所示的一个示例中,远程计算机190可以编程为部署无人机160以飞行并且沿着路线200行进。远程计算机190可以编程为根据多个车辆100的位置坐标(例如停放在停车场等中)确定路线200。在一个示例中,远程计算机190可以编程为确定路线200,使得无人机160可以捕获每个车辆100的图像。在另一个示例中,远程计算机190可以编程为例如通过将停车区域分成多个较小区域来确定多个飞行路线200,并且部署多个无人机160使得每个无人机160遵循所确定的飞行路线200中的一个。
远程计算机190可以编程为从空中无人机160接收识别车辆100、车辆100的位置以及车辆100的状态的图像数据。远程计算机190还可以编程为根据所接收的图像数据向车辆100发送致动车辆100部件的指令。另外地或可选地,手持装置180计算机、车辆100中的计算机110、远程计算机190或其组合可以编程为执行本文公开的步骤。
本文中“识别车辆100的图像数据”意味着所接收的图像数据包括关于车辆100(如车辆100车身)的信息,例如俯视图像。图像数据可以包括从无人机160传感器165(例如摄像机、LIDAR、雷达等)接收的数据。图像数据可以包括车辆100标识符、车辆100模型和车辆100颜色。车辆100标识符可以包括车辆100的车身上的图形图案155。图形图案155可以包括条形码、快速响应(QR)码等。
本公开中的车辆100的“状态”是指车辆100的检查结果,并且车辆100部件的“状态”是指车辆100部件的状态。车辆100部件状态可包括与部件相关联的数据,例如燃料箱水平、轮胎充气状态、诊断故障代码(DTC)记录状态、车身损坏状态等。车辆100状态可根据一个或多个车辆100部件状态来确定。例如,在确定车辆100部件状态中的每一个是可接受的或准备就绪(例如,燃料水平和轮胎充气是可接受的、没有记录DTC、并且没有识别出车辆100的车身损坏)时,可确定车辆100状态为“已批准”、“可接受”、“准备就绪”等。此外,在确定车辆100部件状态中的至少一个是不可接受时,车辆100状态可以是“缺陷”、“不批准”、“故障”等。在另一个示例中,在确定车辆100部件状态的至少一定百分比(例如90%)是“可接受”时,可以确定车辆100状态为“已批准”、“可接受”,“准备就绪”等。表1示出了各种车辆100部件的示例状态。
状态数据 | 根据以下确定 |
燃料水平 | 与车辆计算机的无线通信 |
轮胎充气 | 与车辆计算机的无线通信 |
DTC | 与车辆100计算机的无线通信 |
车身损坏 | 图像处理 |
表1
远程计算机190可以编程为根据所接收的图像数据(例如图形图案155)来识别车辆100。例如,远程计算机190可以编程为根据A QR码图形图案155和存储在远程计算机190中的与相应QR码相关联的数据来识别车辆100。
远程计算机190可以编程为经由空中无人机160接收车辆100无线信号,并且根据所接收的车辆100无线信号和所接收的图像数据来确定车辆的状态。无人机160计算机可以编程为在悬停在车辆100上方时向车辆100发送状态请求,和/或在无人机160无线通信接口170的通信范围内向车辆100广播状态请求。车辆100计算机110可以编程为在经由无线通信接口145接收到状态消息请求时作出响应。例如,车辆100计算机110可以编程为发送车辆100标识符,例如车辆识别号码(VIN)、车辆100燃料水平、轮胎充气水平、DTC状态、位置坐标等。远程计算机190可以编程为根据所接收的图像数据(例如使用已知图像处理技术)确定车辆100是否具有车身损伤,例如凹痕。
无人机160计算机可以编程为根据从车辆100GPS传感器130和/或无人机160GPS传感器165接收的数据位置坐标来确定车辆100的位置。例如,远程计算机190可以编程为根据无人机160的位置坐标和所接收的图像数据确定车辆100的位置。在一个示例中,远程计算机190可以编程为在根据图像数据确定无人机160悬停在车辆100正上方(即垂直地在车辆100上方)时确定车辆100的位置坐标与无人机160的位置坐标相同。
如上所述,无人机160可以编程为从车辆100接收无线信号。然而,在接收到状态请求时,多个车辆100(例如蓝牙网络195的范围内的车辆)可以通过经由无线网络195发送它们各自的状态来进行响应。远程计算机190可以编程为经由空中无人机160接收多个车辆100的无线信号并且从所接收的无线信号根据所接收的图像数据识别车辆100的相应无线信号。例如,远程计算机190可以编程为通过识别车辆100上的图形图案155来确定车辆100标识符,例如VIN。在一个示例中,远程计算机190可以编程为通过解码图形图案155来确定标识符。在另一个示例中,远程计算机190可以编程为解码图形图案155以确定参考编号并且根据所确定的参考编号来查找存储信息(例如存储在远程计算机190存储器中)中的车辆100标识符。如上所述,来自车辆100的接收数据可以包括相应的车辆100标识符,例如VIN。因此,远程计算机190可以根据车辆100的标识符(根据所接收的图像数据确定的并且包括在所接收的无线信号中的)来识别车辆100的无线信号。另外地或可选地,远程计算机190可以编程为通过致动车辆100外部车灯150闪烁并且使用图像处理技术确定车辆100的车灯150是否闪烁,来确定所接收的无线信号是否来自车辆100。
如上所述,多个车辆100(例如数百或数千的车辆100)可以存储在停车区域中。在图2-3所示的一个示例中,远程计算机190可以编程为部署空中无人机160飞越车辆100并且生成包括车辆100的图像300。图像可以显示在手持装置180上。远程计算机190还可以编程为在生成的图像300上叠加每个车辆100的相应车辆100状态(例如叠加物310)。叠加物310包括带有文本和/或图形信息的图像,可以通过将叠加物310放置在图像300的指定区域(例如在图像300的显示相应车辆100的部分上)中来将叠加物310与图像300组合。叠加相应的车辆100状态可以包括显示每个车辆100的批准(OK)或缺陷(NOK)状态,如图3所示。叠加物310可以包括带有每个车辆100的接收状态的文本和/或图形信息。
远程计算机190可以编程为通过根据车辆100的位置坐标确定飞行路线200并且致动无人机根据确定的飞行路线200飞行,来部署无人机160例如在停车场中飞过车辆100。例如,远程计算机190可以编程为根据车辆100的位置坐标、停车场的坐标、车辆100的数量等来确定飞行路线200。
用户185可以携带装置180同时在停车场中移动。在一个示例中,装置180计算机可以编程为接收手持装置180的位置坐标并且例如通过在图像300中显示符号320来将手持装置180的位置叠加在生成的图像300上。因此,有利地,用户可以识别其相对于车辆100的位置。
在一些示例中,装置180用户185可以致动满足特定标准或规范(例如燃料箱水平低于全部的1/4的所有车辆100、预定在下一小时内运输的所有车辆100)的车辆100的部件。在一个示例中,远程计算机190可以编程为接收标准或规范并且致动满足所接收的标准或规范的车辆或车辆100的外部车灯150。本文的“分类车辆100”表示满足所接收标准的车辆100。例如,当标准包括具有低燃料水平的所有车辆100时,箱中具有低水平燃料的车辆100可以是分类车辆100。因此,可以根据标准对零个、一个或多个分类车辆100进行分类。
远程计算机190可以编程为根据车辆100的状态来致动车辆100部件。远程计算机190可以编程为根据状态数据确定目的地,例如在车辆100状态是批准的情况下为运输场地的位置,或者在车辆100状态是缺陷的情况下为修理站的位置。远程计算机190还可以编程为通过加速、转向和制动将车辆100导航到确定的目的地。远程计算机190可以经由无线网络195将车辆100的位置坐标发送到车辆100。
处理
图4是用于车辆100检查操作的示例性过程400的流程图。远程计算机190、无人机160计算机或其组合可以编程为执行过程400的框。
过程400在框405中进行,远程计算机190从例如车辆100、生产设施计算机等接收数据。远程计算机190可以编程为接收和存储(一个或多个)车辆100的停车区域的位置坐标、车辆100的数量、车辆100的相应位置、车辆100标识符和/或运输数据(如各个车辆100的预定运输时间)等。
接下来在框410中,远程计算机190确定用于无人机160的飞行路线200。远程计算机190可以编程为根据车辆100的位置坐标确定飞行路线200,使得无人机160通过穿过所确定的飞行路线200来接收来自每个车辆100的图像数据。在一个示例中,远程计算机190可以编程为使用预先确定的导航模式来确定飞行路线200,例如从停车区域的东南角开始并且在停车区域的东北角结束的线性扫掠、从停车区域的中心开始并且螺旋地延伸到停车区域的周边的圆形路径等。另外,远程计算机190可以编程为根据无人机160摄像机传感器165的分辨率确定飞行路线200的高度,即,使无人机160以这样的高度飞行,使得所接收的图像数据可以提供车辆100标识符(例如图形图案155数据)。另外地或可选地,远程计算机190可以编程为例如通过在多个无人机160之间分割数据收集任务来确定多个无人机160的多个飞行路线200。飞行路线200可以包括无人机160要经过的位置坐标和高度,以及在各自的位置和/或高度处的时间。飞行路线200可以包括应该拍摄图像数据的时间、无人机160摄像机传感器165在接收图像时的方向等。
接下来,在框415中,远程计算机190部署(一个或多个)无人机160以飞行并且遵循所确定的(一个或多个)路线200。例如,远程计算机190可编程为经由无线通信网络195向(一个或多个)无人机160发送路径200数据。
接下来,在框420中,远程计算机190根据从无人机160接收的图像数据识别车辆100。无人机160可以悬停在车辆100上方并且提供包括车辆100车身、图形模式155等的图像数据。远程计算机190可以编程为根据从无人机160接收的数据和接收的车辆100标识符等来识别车辆100。
接下来,在判定框425中,远程计算机190确定是否从车辆100接收到无线信号。远程计算机190可以编程为从多个车辆100接收多个无线信号并且根据车辆100的标识符(例如包括在接收的图像中的图形图案155)和/或可以根据包括在图形图案155中的参考编号查找的标识符来确定从车辆100接收的无线信号。另外,远程计算机190可以编程为向(一个或多个)车辆100发送状态请求,并且响应于车辆100发送的请求(如图5中所讨论的)而接收无线信号。如果远程计算机190确定从车辆100接收到无线信号,则过程400前进到框430;否则,过程400返回到判定框425。
在框430中,远程计算机确定车辆100的状态。在一个示例中,远程计算机190经由无人机160传感器165接收图像数据,并且经由无人机160无线通信接口170接收无线数据,如燃料箱水平、电池充电状态、轮胎充气状态、DTC状态等。例如,如表1所示,远程计算机190可以编程为根据所接收的无线数据来确定一个或多个车辆100部件状态,例如燃料箱水平状态、轮胎充气状态和DTC记录状态并且根据所接收的图像数据来确定车身损伤,并且在确定车辆100部件的状态被批准时确定车辆100的状态(即车辆100是否被批准)。在另一示例中,远程计算机190从无人机160接收车辆100状态(即无人机160计算机根据车辆100部件状态确定车辆100状态)。如上所述,在确定每个车辆100部件状态都是已批准时,可以确定车辆100状态为“已批准”;否则,车辆100状态是“缺陷”、“故障”等。在另一个示例中,在确定车辆100部件状态的至少百分比是“已批准”(例如至少90%的车辆100部件状态是“已批准”、“可接受”等)时,可以确定车辆100状态为“已批准”。
接下来,在判定框435中,远程计算机190确定路线是否完成。远程计算机190可以编程为在确定无人机160已经行进所确定的路线200(例如根据路线200的位置坐标和无人机160的GPS传感器165数据)时确定路线已完成。如果远程计算机190确定路线200已完成,则过程400前进到框440;否则,过程400返回到框420。
在框440中,远程计算机190生成具有叠加物310的图像300(参见图3)。在一个示例中,远程计算机190可以编程为通过组合来自无人机160的多个接收的图像数据(例如使用如已知的图像拼接技术)来生成图像300。远程计算机190还可以编程为根据相应的车辆100状态生成叠加物310并且在生成的图像300上添加叠加物310。
接下来,在判定框445中,远程计算机190确定是否从例如手持装置180接收到标准或规范。在一个示例中,手持装置180的用户185可以从呈现在手持装置180的标准列表中选择一个或多个标准。手持装置180可以编程为经由无线网络195将所选标准的列表发送到远程计算机190。如果远程计算机190确定已经接收到一个或多个标准,则过程400前进到框450;否则,过程400返回到判定框445。
在框450中,远程计算机190确定并且向满足标准或规范的车辆100发送指令;如上所述,这种车辆100可以被无人机160识别。在另一示例中,远程计算机190可以编程为发送根据车辆100的状态确定的目的地。此外,可以批量指示满足标准或规范的多个车辆100前进到目的地。
在框450之后,过程400结束,或者可选地,尽管图4中未示出,返回到框405。
图5是用于车辆100操作的示例性过程500的流程图。例如,车辆100计算机110可以编程为执行过程500的框。
过程500在判定框510中开始,其中计算机110确定是否接收到状态请求。该请求可能已经经由无人机160发送(参见图4)。例如,计算机110可以编程为经由车辆100无线通信接口145接收状态请求。如果计算机110确定接收到状态请求,则过程500前进到框520;否则,过程500返回到判定框550。
在框520中,计算机110接收传感器130数据。例如,计算机110可以编程为从(一个或多个)轮胎压力传感器130、电池传感器130、燃料水平传感器130等接收数据。
接下来,在框530中,计算机110接收诊断数据。例如,计算机110可以编程为接收车辆100子系统、ECU、致动器120、传感器130等的DTC状态。计算机110可以编程为经由车辆100通信网络接收诊断数据,车辆100通信网络使得如ECU、致动器10、传感器130等车辆100部件能够彼此通信。
接下来,在框540中,计算机110通过发送车辆100状态和/或车辆100部件状态(如上所述)来回复状态请求。例如,车辆100计算机110可以编程为将包括如表1中所示的信息的车辆100状态发送到远程计算机190。另外,计算机110可以编程为在发送的答复中包括车辆100标识符。因此,远程计算机110或任何其他接收器可以确定从哪个车辆100接收状态。
接下来,在判定框550中,计算机110确定是否例如从远程计算机190接收到指令。指令可以包括自主地导航到目的地(例如运输区域)、致动车辆100车灯150等。如果计算机110确定接收到指令,则过程500前进到框560;否则,过程500结束,或者可选地,尽管图5中未示出,返回到判定框510。
在框560中,计算机110根据所接收的指令致动一个或多个车辆100部件。例如,计算机110致动车辆100加速、制动、和/或转向致动器120以将车辆100自主地导航到包括在所接收的指令中的目的地。作为另一示例,计算机110致动车辆100外部车灯150闪烁。在框560之后,过程500结束,或者可选地,尽管图5中未示出,返回到判定框510。
除非另有说明或者上下文另有要求,否则修饰名词的冠词“一”应理解为一个或多个。短语“根据”包括部分或全部根据。
如本文所讨论的计算装置通常各自包括可以由如上显示的一个或多个计算装置执行的,并且用于执行上述过程的框和步骤的指令。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序进行编译或解释,这些编程语言和/或技术包括但不限于单独的或组合的JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常,处理器(如微处理器)从存储器、计算机可读介质等接收指令并且执行这些指令,由此执行包括本文所述过程中的一个或多个的一个或多个过程。可以使用各种计算机可读介质来存储和传输这样的指令和其他数据。计算装置中的文件通常是存储在如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(如指令)的任何介质。这种介质可以采取包括但不限于非易失性介质、易失性介质等的许多形式。非易失性介质包括如光盘或磁盘以及其他永久存储器。易失性介质包括如通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM(光盘只读存储器,compact disc read-only memory)、DVD(数字影碟,digital videodisk)、任何其他光学介质、打孔卡、纸带、任何其他具有孔图案的物理介质、RAM(随机存取存储器,Random Access Memory)、PROM(可编程只读存储器,ProgrammableRead Only Memory)、EPROM(可擦可编程只读存储器)、闪存、电可擦除可编程只读存储器(EEPROM)、任何其它存储器芯片或存储器盒、或计算机可从其读取的任何其它介质。
对于本文所述的介质、过程、系统、方法等,应当理解的是,尽管将这些过程等的步骤已描述为根据某个有序序列发生,但这样的过程可以按照不同于本文描述顺序的顺序执行的描述步骤来实施。还应当理解的是,可以同时执行某些步骤,可以添加其他步骤,或者可以省略本文描述的某些步骤。换言之,本文提供的系统和/或过程的描述是以说明某些实施例为目的,而不应将其解释为对公开主题的限制。
因此,应当理解的是,包括上述描述和附图及以下权利要求的本公开旨在是说明性的而不是限制性的。在阅读上述描述之后,除了提供的实施例之外的许多实施例和应用将是对本领域技术人员显而易见的。不应该参考上述描述来确定本发明的范围,而应该参考本公开所附权利要求和/或包括在基于本公开的非临时专利申请中的权利要求,以及这些权利要求所享有的全部等同范围来确定本发明的范围。预期和意图的是,未来的发展将出现在本文讨论的技术中,并且所公开的系统和方法将并入到未来的实施例中。总之,应该理解的是,本公开主题是能够进行修改和变化的。
Claims (16)
1.一种方法,包含:
从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;和
根据所述接收的图像数据,向所述车辆发送指令以致动车辆部件。
2.根据权利要求1所述的方法,还包含根据所述接收的图像数据识别所述车辆。
3.根据权利要求1所述的方法,还包含:
经由所述空中无人机接收车辆无线信号;和
根据所述接收的车辆无线信号和所述接收的图像数据来确定所述车辆的所述状态。
4.根据权利要求3所述的方法,还包含:
经由所述空中无人机接收来自多个车辆的多个车辆无线信号;和
根据所述接收的图像数据从所述多个无线信号识别所述车辆的相应车辆无线信号。
5.根据权利要求1所述的方法,还包含至少根据所述接收的图像中包括的车辆标识符、车辆型号和车辆颜色中的一个来识别所述车辆。
6.根据权利要求5所述的方法,其中所述车辆标识符包括所述车辆的车身上的图形图案。
7.根据权利要求1所述的方法,还包含:
部署所述空中无人机飞越多个车辆;
生成包括所述多个车辆的图像,和
在所述生成的图像上叠加每个所述车辆的相应车辆状态。
8.根据权利要求7所述的方法,还包含:
接收手持装置位置;和
将所述手持装置位置添加在所述生成的图像上。
9.根据权利要求7所述的方法,其中部署所述无人机飞越所述多个车辆还包括:
根据所述多个车辆的位置坐标确定飞行路线;和
根据所述确定的飞行路线致动所述无人机飞行。
10.根据权利要求1所述的方法,还包含:
接收标准,其中所述标准包括已批准的车辆、缺陷车辆、低燃料车辆和下一批运输车辆中的至少一个;和
根据所述接收的标准致动车辆外部车灯。
11.根据权利要求1所述的方法,其中致动所述车辆部件还包括:
根据所述接收的所述车辆状态确定目的地;和
通过加速、转向和制动中的至少一个将所述车辆导航到所述确定的目的地。
12.根据权利要求1所述的方法,还包含至少根据车辆传感器数据和无人机传感器数据之一来在所述空中无人机中确定所述车辆的所述位置。
13.一种计算装置,编程为执行如权利要求1-11中任一项所述的方法。
14.一种地面车辆,包含计算装置,所述计算装置编程为执行如权利要求1-11中任一项所述的方法。
15.一种计算机程序产品,包含存储可由计算机处理器执行以执行权利要求1-11中任一项所述的方法的指令的计算机可读介质。
16.一种系统,包含计算机,所述计算机编程为:
从空中无人机接收识别车辆、车辆位置和车辆状态的图像数据;和
根据所述接收的图像数据,向所述车辆发送指令以致动车辆部件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/689,604 US10585439B2 (en) | 2017-08-29 | 2017-08-29 | Vehicle inspection |
US15/689,604 | 2017-08-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109425496A true CN109425496A (zh) | 2019-03-05 |
Family
ID=65321442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810973905.5A Pending CN109425496A (zh) | 2017-08-29 | 2018-08-24 | 车辆检查 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10585439B2 (zh) |
CN (1) | CN109425496A (zh) |
DE (1) | DE102018120902A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10089396B2 (en) | 2014-07-30 | 2018-10-02 | NthGen Software Inc. | System and method of a dynamic interface for capturing vehicle data |
US10997413B2 (en) * | 2018-03-23 | 2021-05-04 | NthGen Software Inc. | Method and system for obtaining vehicle target views from a video stream |
US11614735B1 (en) * | 2018-05-18 | 2023-03-28 | Uatc, Llc | Systems and methods for remote status detection of autonomous vehicles |
US11721010B2 (en) | 2019-09-22 | 2023-08-08 | Openlane, Inc. | Vehicle self-inspection apparatus and method |
DE102019129713A1 (de) * | 2019-11-05 | 2020-12-10 | Audi Ag | Lokalisieren von Vorrichtungen |
US11461890B2 (en) * | 2020-02-05 | 2022-10-04 | Fulpruf Technology Corporation | Vehicle supply chain damage tracking system |
US11557211B2 (en) | 2020-08-06 | 2023-01-17 | Capital One Services, Llc | System and method for remote viewing of vehicles using drones |
DE102020122304A1 (de) * | 2020-08-26 | 2022-03-03 | Deere & Company | Verfahren zur Überprüfung eines Zustandes einer mobilen Nutzeinheit oder einer Wartungsstation |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5983161A (en) * | 1993-08-11 | 1999-11-09 | Lemelson; Jerome H. | GPS vehicle collision avoidance warning and control system and method |
US5995898A (en) * | 1996-12-06 | 1999-11-30 | Micron Communication, Inc. | RFID system in communication with vehicle on-board computer |
US6072248A (en) * | 1998-08-05 | 2000-06-06 | Muise; Christopher Russel | Method of and system for externally and remotely disabling stolen or unauthorized operated vehicles by pursuing police and the like |
US7257426B1 (en) | 1999-05-26 | 2007-08-14 | Johnson Controls Technology Company | Wireless communications systems and method |
US20040203379A1 (en) * | 2002-04-23 | 2004-10-14 | Johnson Controls Technology Company | Bluetooth transmission of vehicle diagnostic information |
US20050267657A1 (en) * | 2004-05-04 | 2005-12-01 | Devdhar Prashant P | Method for vehicle classification |
US9824507B2 (en) * | 2005-06-30 | 2017-11-21 | Innova Electronics Corporation | Mobile device based vehicle diagnostic system |
US8630765B2 (en) | 2006-11-17 | 2014-01-14 | Innova Electronics, Inc. | OBD II-compliant diagnostic PC tablet and method of use |
US20110202471A1 (en) * | 2010-02-12 | 2011-08-18 | Kelley Blue Book Co., Inc. | Method and system for selling motor vehicles |
US9489839B2 (en) * | 2012-08-06 | 2016-11-08 | Cloudparc, Inc. | Tracking a vehicle using an unmanned aerial vehicle |
US8836788B2 (en) * | 2012-08-06 | 2014-09-16 | Cloudparc, Inc. | Controlling use of parking spaces and restricted locations using multiple cameras |
US8818572B1 (en) * | 2013-03-15 | 2014-08-26 | State Farm Mutual Automobile Insurance Company | System and method for controlling a remote aerial device for up-close inspection |
US20150062339A1 (en) * | 2013-08-29 | 2015-03-05 | Brian Ostrom | Unmanned aircraft system for video and data communications |
US20150134143A1 (en) * | 2013-10-04 | 2015-05-14 | Jim Willenborg | Novel tracking system using unmanned aerial vehicles |
CN104091425A (zh) | 2014-06-10 | 2014-10-08 | 东莞市麦蒂科技有限公司 | 一种用于工业生产线的手持式数据采集终端 |
US9809305B2 (en) * | 2015-03-02 | 2017-11-07 | Amazon Technologies, Inc. | Landing of unmanned aerial vehicles on transportation vehicles for transport |
US9505494B1 (en) * | 2015-04-30 | 2016-11-29 | Allstate Insurance Company | Enhanced unmanned aerial vehicles for damage inspection |
US11140514B2 (en) | 2015-11-13 | 2021-10-05 | Ford Global Technologies, Llc | Method and apparatus for wireless proximity based component information provision |
US10370102B2 (en) * | 2016-05-09 | 2019-08-06 | Coban Technologies, Inc. | Systems, apparatuses and methods for unmanned aerial vehicle |
US10303166B2 (en) * | 2016-05-23 | 2019-05-28 | nuTonomy Inc. | Supervisory control of vehicles |
US20190026961A1 (en) * | 2017-07-18 | 2019-01-24 | Ford Global Technologies, Llc | Drone-based diagnostic system for active grille shutters of a vehicle |
-
2017
- 2017-08-29 US US15/689,604 patent/US10585439B2/en active Active
-
2018
- 2018-08-24 CN CN201810973905.5A patent/CN109425496A/zh active Pending
- 2018-08-27 DE DE102018120902.9A patent/DE102018120902A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
US20190064836A1 (en) | 2019-02-28 |
DE102018120902A1 (de) | 2019-02-28 |
US10585439B2 (en) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109425496A (zh) | 车辆检查 | |
CN105590481B (zh) | 自动驾驶车辆、自动驾驶管理装置及其控制方法 | |
US11004281B2 (en) | Roadside assistance with unmanned aerial vehicle | |
CN105745113B (zh) | 用于可旋转光检测和测距设备的非接触式电耦合 | |
CN106573546A (zh) | 为电动车辆呈现路线信息 | |
CN109927567A (zh) | 无线车辆充电 | |
US10460184B2 (en) | Image information acquiring apparatus, vehicle, and control method thereof | |
CN111857123A (zh) | 紧急路线规划系统 | |
US11897505B2 (en) | In-vehicle operation of simulation scenarios during autonomous vehicle runs | |
CN109017764A (zh) | 用于自主车辆的自主停车方法和系统 | |
CN114126954A (zh) | 用于自动化地停泊车辆的方法 | |
CN107305130A (zh) | 车辆安全系统 | |
US11796995B2 (en) | Vehicle with presentation device | |
CN107672507A (zh) | 自主船舶下水 | |
CN105180958A (zh) | 一种导航方法、装置及系统 | |
CN112344949A (zh) | 计算机可读记录介质、控制装置、系统、装置和车辆 | |
CN114281095A (zh) | 控制装置、系统及非临时计算机可读介质 | |
JP2020149233A (ja) | 車両制御システム、車両制御方法、及びプログラム | |
JP2007026018A (ja) | 物流用移動体の移動管理方法及び物流用移動体の移動管理システム | |
CN114828131A (zh) | 通讯方法、介质、车载通讯系统、芯片及车辆 | |
CN209889855U (zh) | 运输工具的停车控制和装卸控制系统、运输工具及车辆 | |
CN113470418A (zh) | 收容区域管理装置 | |
CN109520518A (zh) | 用于车辆导航的本地导航系统 | |
US20230401680A1 (en) | Systems and methods for lidar atmospheric filtering background | |
KR20060118750A (ko) | 운전자가 직접 정보수집하는 차량 탑재용 네비게이션 장치및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |