CN110335479B - 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统 - Google Patents

虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统 Download PDF

Info

Publication number
CN110335479B
CN110335479B CN201910597199.3A CN201910597199A CN110335479B CN 110335479 B CN110335479 B CN 110335479B CN 201910597199 A CN201910597199 A CN 201910597199A CN 110335479 B CN110335479 B CN 110335479B
Authority
CN
China
Prior art keywords
projection
zebra crossing
data
signal
virtual zebra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910597199.3A
Other languages
English (en)
Other versions
CN110335479A (zh
Inventor
丁磊
孟超
刘聪
栾辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Horizons Shanghai Autopilot Technology Co Ltd
Original Assignee
Human Horizons Shanghai Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Horizons Shanghai Autopilot Technology Co Ltd filed Critical Human Horizons Shanghai Autopilot Technology Co Ltd
Priority to CN201910597199.3A priority Critical patent/CN110335479B/zh
Publication of CN110335479A publication Critical patent/CN110335479A/zh
Application granted granted Critical
Publication of CN110335479B publication Critical patent/CN110335479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01FADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/50Road surface markings; Kerbs or road edgings, specially adapted for alerting road users
    • E01F9/576Traffic lines
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01FADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/50Road surface markings; Kerbs or road edgings, specially adapted for alerting road users
    • E01F9/576Traffic lines
    • E01F9/582Traffic lines illuminated
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/07Controlling traffic signals
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提出一种虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统,方法包括:确定预设管辖范围内的交通数据,所述交通数据包括行人数据和车辆数据,或者,所述交通数据包括信号灯数据、行人数据和车辆数据;根据所述交通数据,确定优先通行者;根据所述优先通行者,生成虚拟斑马线投影信号,所述虚拟斑马线投影信号用于对虚拟斑马线投影的控制;将所述虚拟斑马线投影信号发送至路端投影设备。本发明实施例采用投影斑马线的方式,避免了斑马线老化、褪色、磨损的问题,减少了人工维护成本,实现斑马线智能化和人性化控制。

Description

虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统
技术领域
本发明涉及交通控制技术领域,尤其涉及一种虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统。
背景技术
当前道路上斑马线都是由人工直接绘制在路面上,随时间推移,斑马线会出现老化、褪色、磨损等,需要人工经常维护,尤其在郊区、农村等人员稀少地,缺乏经常维护的条件。
发明内容
本发明实施例提供一种虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种虚拟斑马线投影控制方法,所述方法包括:
确定预设管辖范围内的交通数据,所述交通数据包括行人数据和车辆数据,或者,所述交通数据包括信号灯数据、行人数据和车辆数据;
根据所述交通数据,确定优先通行者;
将所述虚拟斑马线投影信号发送至路端投影设备。
在一种实施方式中,所述虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
在一种实施方式中,所述信号灯数据包括:所述预设管辖范围内是否存在信号灯的信息及信号灯所指示的通行者;
所述行人数据包括:所述预设管辖范围内是否存在行人的信息;
所述车辆数据包括:所述预设管辖范围内是否存在车辆的信息;
所述交通数据包括信号灯数据、行人数据和车辆数据时,所述根据所述交通数据,确定优先通行者,包括:在所述预设管辖范围内不存在信号灯,且存在行人及车辆的情况下,确定所述优先通行者为行人;在所述预设管辖范围内存在信号灯,且存在行人和车辆的情况下,确定所述优先通行者为所述信号灯所指示的通行者。
在一种实施方式中,所述根据所述交通数据,确定优先通行者,还包括:
在所述预设管辖范围内不存在行人和车辆的情况下,确定无所述优先通行者;
在所述预设管辖范围内不存在所述信号灯,且存在车辆而不存在行人的情况下,确定所述优先通行者为车辆。
在一种实施方式中,所述生成虚拟斑马线投影信号之前,还包括:根据所述行人数据和所述车辆数据,预测行人和车辆的交汇位置;根据所述交汇位置,确定投影位置;
所述根据所述优先通行者,生成虚拟斑马线投影信号,包括:
根据所述优先通行者和所述投影位置,生成所述虚拟斑马线投影信号。
在一种实施方式中,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
第二方面,本发明实施例提供了一种虚拟斑马线投影控制装置,所述装置包括:
数据确定模块,用于确定预设管辖范围内的交通数据,所述交通数据包括行人数据和车辆数据,或者,所述交通数据包括信号灯数据、行人数据和车辆数据;
优先通行者确定模块,用于根据所述交通数据,确定优先通行者;
信号生成模块,用于根据所述优先通行者,生成所述虚拟斑马线投影信号,所述虚拟斑马线投影信号用于对虚拟斑马线投影的控制;
控制投影模块,用于将所述虚拟斑马线投影信号发送至路端投影设备。
在一种实施方式中,所述虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
在一种实施方式中,所述信号灯数据包括:所述预设管辖范围内是否存在信号灯的信息及信号灯所指示的通行者;
所述行人数据包括:所述预设管辖范围内是否存在行人的信息;
所述车辆数据包括:所述预设管辖范围内是否存在车辆的信息;
所述交通数据包括信号灯数据、行人数据和车辆数据时,所述优先通行者确定模块用于在所述预设管辖范围内不存在所述信号灯,且存在行人及车辆的情况下,确定优先通行者为行人;还用于在所述预设管辖范围内存在所述信号灯,且存在行人和车辆的情况下,确定优先通行者为所述信号灯所指示的通行者。
在一种实施方式中,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
第三方面,本发明实施例提供了一种虚拟斑马线投影控制装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述虚拟斑马线投影控制方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种虚拟斑马线投影系统,包括上述虚拟斑马线投影控制装置和路端投影设备,所述虚拟斑马线投影装置连接所述路端投影设备;
所述路端投影设备用于根据所述虚拟斑马线投影信号,进行虚拟斑马线投影。
在一种实施方式中,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
第五方面,本发明实施例提供了一种计算机可读存储介质,用于存储虚拟斑马线投影控制装置所用的计算机软件指令,其包括用于执行上述虚拟斑马线投影控制方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果:斑马线采用投影的方式,避免了斑马线老化、褪色、磨损的问题,减少了人工维护成本。通过交通数据,判定优先通行者,进而生成虚拟斑马线投影信号控制虚拟斑马投影,实现斑马线智能化和人性化控制。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的虚拟斑马线投影控制方法的流程图;
图2示出根据本发明实施例的虚拟斑马线投影控制方法的步骤S2的一种实施方式的流程图;
图3示出根据本发明实施例的虚拟斑马线投影控制方法所投影的虚拟斑马线的一种示例图;
图4示出根据本发明实施例的虚拟斑马线投影控制装置的结构框图;
图5示出根据本发明实施例的虚拟斑马线投影控制装置的另一种的结构框图;
图6示出根据本发明实施例的虚拟斑马线投影系统的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的虚拟斑马线投影控制方法的流程图。如图1所示,该方法包括:
S1、确定预设管辖范围内的交通数据,交通数据包括信号灯数据、行人数据和车辆数据,或者,交通数据包括行人数据和车辆数据;
S2、根据交通数据,确定优先通行者;
S3、根据优先通行者,生成虚拟斑马线投影信号,所述虚拟斑马线投影信号用于对虚拟斑马线投影的控制;
S4、将虚拟斑马线投影信号发送至路端投影设备。
上述实施方式,斑马线采用投影的方式,避免了老化、褪色、磨损的问题,减少了人工维护成本。进一步的,通过获取信号灯数据、行人数据和车辆数据,并判定优先通行者,进而生成虚拟斑马线投影信号控制路端投影设备投影虚拟斑马,实现斑马线智能化和人性化控制。
用于执行上述步骤S1~步骤S3的控制设备和路端投影设备可以为分离的两个设备,两个设备之间建立有线或者无线的通信连接,或者,控制设备和路端投影设备可以集成于同一路端设备。进一步的,控制设备可以为路端控制设备。上述方案也可以应用于云控制平台,云控制平台通信连接路端投影设备。
通过路端控制设备或者云控制平台作为第三方来获取数据,优先通行者结果的判断更加中立。
在一种实施方式中,路端投影设备可以为单独的交通设施设置在道路上;也可以为道路上的现有交通设施,如路灯、信号指示灯和道路指示牌等等。路端投影设备可以设置于路口,也可以设置于道路非路口处。路端投影设备的设置位置可以选择较多行人选择穿行的路段。
在一种实施方式中,通常,优先通行者为行人或车辆,行人不仅包括步行/跑步的人、也可以包括坐轮椅的人、乘婴儿车的人、骑单车的人和骑滑轮车的人等等。车辆可以包括但不限于汽车、面包车、货车和卡车。
在一种实施方式中,步骤S1中确定行人数据可以通过下述至少一种方式确定:方式一,通过采集摄像头拍摄的预设管辖范围内的图像数据,对图像数据进行识别,根据图像识别结果确定行人数据。方式二,通过采集激光雷达对预设管辖范围进行探测,并根据激光雷达反馈的信号确定行人数据。其中,激光雷达,是以发射激光束探测目标的位置、速度等特征量的雷达系统。方式三,接收行人的智能设备(如GPS设备、手机、智能手表和智能眼镜)发送的数据,根据接收的智能设备的数据,确定行人数据。
其中,行人数据可以包括是否存在行人、存在行人数量的数据和行人的位置的数据。进一步的,行人数据还可以包括行人的行走方向信息、速度信息和路线信息。行人的方向信息、速度信息和路线信息可以由行人的智能设备直接接收到,或者是通过同一行人的多个实时位置来确定行人的方向信息、速度信息和路线信息。
在一种实施方式中,步骤S1中确定车辆数据可以通过下述至少一种方式确定:方式一,通过采集摄像头拍摄的预设管辖范围内的图像数据,对图像数据进行识别,根据图像识别结果确定车辆数据。方式二,通过采集激光雷达对预设管辖范围进行探测,并根据激光雷达反馈的信号确定车辆数据。方式三,接收车辆发送的数据,根据接收的车辆所发送数据,确定车辆数据。
其中,车辆数据可以包括是否存在车辆、存在车辆的数量以及各个车辆的位置信息。进一步的,车辆数据还可以包括:车辆的航向信息、速度信息和路线信息等。
通常,摄像头的感知范围为单向50米感知范围,激光雷达的感知范围为环视60米感知范围。
其中,上述摄像头和雷达激光为示例,其它可以实现感知行人或车辆的存在、获取行人数据和车辆数据的感知设备,也属于本实施例的保护范围。包括摄像头和激光雷达的在内的感知设备,可以设置于路端设备上。执行本实施例的控制设备、摄像头和雷达激光可以设置于同一路端设备上,也可以各自设置在不同的路端设备上。
在一种实施方式中,步骤S1中确定信号灯数据可以通过下述至少一种方式确定:通过采集摄像头拍摄的预设管辖范围内的图像数据,对图像数据进行识别,根据图像识别结果确定信号灯数据。方式二,接收由信号灯传输的数据或者交通调度中心传输的数据,根据接收到的传输的数据,确定信号灯数据。
其中,信号灯数据包括:是否存在信号灯、信号灯所指示的通行者和通行时长等。信号灯可以包括用于指示车辆通行的红绿灯和用于指示行人通行的红绿灯。例如,若用于指示车辆通行的红绿灯显示绿灯、用于指示行人通行的红绿灯显示红灯,则此时信号灯的指示通行者为车辆。
在一种实施方式中,交通数据包括信号灯数据、行人数据和车辆数据时;参见图2,步骤S2,包括:
S21、在预设管辖范围内不存在信号灯,且存在行人和车辆或者只存在行人的情况下,确定优先通行者为行人。在其它实施方式中,也可以确定不存在优先通行者。
S22、在预设管辖范围内存在信号灯,且存在行人和车辆的情况下,确定优先通行者为信号灯所指示的通行者。
在一种实施方式中,参见图2,步骤S2,还包括:
S23、在预设管辖范围内不存在行人和车辆的情况下,确定不存在优先通行者。
S24、在预设管辖范围内不存在信号灯,且存在车辆而不存在行人的情况下,确定优先通行者为车辆;在其它实施方式中,也可以确定不存在优先通行者。
S25、在预设管辖范围内存在信号灯,且只存在车辆不存在行人的情况下,确定优先通行者为信号灯所指示的通行者;在其它实施方式中,也可以确定优先通行者为车辆。
S26、在预设管辖范围内存在信号灯,且只存在行人不存在车辆的情况下,确定优先通行者为信号灯所指示的通行者;在其它实施方式中,也可以确定优先通行者为行人。
在一种实施方式中,虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
在一种示例中,虚拟斑马线本体可以为多条相互平行的白实线组成的图形,如图3中虚拟斑马线本体投影31的示例。优先通行者指示可以包括文字指示和图标指示中的至少一种,如图3中优先通行者指示32的文字示例:优先通行者为行人,可以显示“行人优先”的文字提示,优先通行者为车辆,可以显示“车辆优先”的文字提示。图3仅为示例,具体的文字内容、图标形状、以及虚拟斑马线本体和优先通行者指示的相对位置关系可以依据实际需求进行设计和调整。
在一种实施方式中,对应步骤S21至步骤S26的优先通行者的确定结果,步骤S3可以包括:
当优先通行者为行人,生成虚拟斑马线投影信号,且虚拟斑马线投影信号包括投影虚拟斑马线本体和投影行人优先通行指示。
当优先通行者为车辆,生成虚拟斑马线投影信号,且虚拟斑马线投影信号包括投影虚拟斑马线本体和投影车辆优先通行指示。
当不存在优先通行者,不生成虚拟斑马线投影信号。进一步的,若检测到当前进行虚拟斑马线投影,停止虚拟斑马线投影。
在另一种实施方式中,所述交通数据包括行人数据和车辆数据时,步骤S2,包括:在预设管辖范围内存在行人和车辆,确定优先通行者为行人。在预设管辖范围内存在车辆而不存在行人的情况下,确定不存在优先通行者或者优先通行者为车辆。在预设管辖范围内存在行人而不存在车辆的情况下,确定不存在优先通行者或者确定优先同行者为行人。在预设管辖范围内不存在车辆和行人的情况下,确定无所述优先通行者。
在另一种实施方式中,在生成虚拟斑马线投影信号之前,还可以包括步骤:
根据行人数据和车辆数据,预测行人和车辆的交汇位置;根据交汇位置,确定投影位置;
根据优先通行者,生成虚拟斑马线投影信号,包括:
根据优先通行者和投影位置,生成虚拟斑马线投影信号。
上述实施例进一步预测行人和车辆的交汇位置,可以实现产生交汇才进行投影,或者是可以实现在对应的交汇位置进行虚拟斑马线投影。更加人性化和智能化,提高用户体验。
在一种实施方式中,行人数据包括行人的实时位置,根据行人数据和车辆数据,预测行人和车辆的交汇位置可以包括:根据行人的位置信息、行走方向信息和速度信息,以及车辆的位置信息、航向信息和速度信息,预测行人和车辆的交汇位置。
在一种实施方式中,步骤S4,包括:将虚拟斑马线投影信号发送至路端投影设备,以使路端投影设备根据虚拟斑马投影信号,进行虚拟斑马线投影。
在一种实施方式中,路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
数字微镜阵列投影技术,基于数字微镜器件(Digital Micromirror Device,DMD)的一种投影技术,DMD包括成千上万个微小的方形镜片,通过这些镜片建造在静态随机存取内存(SRAM)上方的铰链结构上而组成DMD。每一个镜片可以通断一个像素的光,铰链结构允许镜片在两个状态之间倾斜,例如+12度为“开”,-12度为“关”,当镜片不工作时,它们处于0度的“停泊”状态。光源的光线照射在DMD上,而某一镜片处在“开”的位置上时,这一镜片将光反射到屏幕上形成一个像素的像图。微镜阵列投影技术可以随意改变焦点,实现高质量投影,光学路径相当简单,体积小。路端投影设备采用微镜阵列投影技术,可以实现高质量投影,也可以极大降低了投影高度(路端投影设备的安装高度)的要求。
微透镜阵列投影技术,基于微透镜阵列的一种投影技术。示例的,所采用的投影设备一个或多个投影单元,每个投影单元可以包括光学投影器件阵列和至少一个光源。光学投影器件阵列可以包括多个光学投影器件,如400个、200个光学投影器件;光学投影器件阵列可以包括至少一个微透镜。微透镜的直径可以是2000μm甚至更小的直径。微透镜阵列投影技术可以实现投射在平面、倾斜、弯曲的表面上能够产生较好的聚焦图案。路端投影设备采用微透镜阵列投影技术,可以实现高质量投影,也可以极大降低了投影高度(路端投影设备的安装高度)的要求。
硅基液晶(Liquid Crystal On Silicon,LCOS)投影技术,所采用LCOS芯片的结构是以互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)芯片为电路基板及反射层,被磨平抛光后当作反射镜,液晶被注入于CMOS集成电路芯片和透明玻璃基板之间,光源发出的光线透过玻璃基板和液晶材料,然后在从CMOS芯片表面反射出来。液晶分子的排列在电场作用下发生变化,影响其液晶单元的透光率或反射率,从而影响它的光学性质,反射出来的光经过透镜以后就能在屏幕上形成图像。
CMOS芯片是电压控制的一种电子元件。是组成CMOS数字集成电路的基本单元。
图4示出本发明实施例提供了一种虚拟斑马线投影控制装置,装置包括:
数据确定模块41,用于确定预设管辖范围内的交通数据,所述交通数据包括信号灯数据、行人数据和车辆数据,或者,所述交通数据包括行人数据和车辆数据;
优先通行者确定模块42,用于根据交通数据,确定优先通行者;
信号生成模块43,用于根据优先通行者,生成虚拟斑马线投影信号,虚拟斑马线投影信号用于对虚拟斑马线投影的控制;
控制投影模块44,用于将虚拟斑马线投影信号发送至路端投影设备。
在一种实施方式中,虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
在一种实施方式中,信号灯数据包括:预设管辖范围内是否存在信号灯的信息及信号灯所指示的通行者;
行人数据包括:预设管辖范围内是否存在行人的信息;
车辆数据包括:预设管辖范围内是否存在车辆的信息;
在一种实施方式中,交通数据包括信号灯数据、行人数据和车辆数据时,优先通行者确定模块42用于在预设管辖范围内不存在信号灯,且存在行人和车辆的情况下,确定优先通行者为行人。
优先通行者确定模块42还用于在预设管辖范围内存在信号灯,且存在行人和车辆的情况下,确定优先通行者为信号灯所指示的通行者。
优先通行者确定模块42还用于在预设管辖范围内不存在行人和车辆的情况下,确定不存在优先通行者;还用于在预设管辖范围内不存在信号灯,且存在车辆而不存在行人的情况下,确定优先通行者为车辆。
该装置还包括:投影位置确定模块,用于根据行人数据和车辆数据,预测行人和车辆的交汇位置;根据交汇位置,确定投影位置。则,信号生成模块43用于根据优先通行者和投影位置,生成虚拟斑马线投影信号。
在一种实施方式中,虚拟斑马线投影为采用数字光处理投影技术的虚拟斑马线投影。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图5示出根据本发明实施例的虚拟斑马线投影控制装置的结构框图。如图5所示,该装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行计算机程序时实现上述实施例中的虚拟斑马线投影控制方法。存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA,Extended IndustryStandard Architecture)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
参见图6,图6示出本发明实施例提供了一种虚拟斑马线投影系统的结构框图,包括上述虚拟斑马线投影控制装置71和路端投影设备72,虚拟斑马线投影装置71连接路端投影设备72。
在一种实施方式中,虚拟斑马线投影装置71和路端投影设备72之间的连接包括有线或者无线的通信连接。
在一种实施方式中,虚拟斑马线投影装置71和路端投影设备72可以分别设于不同的路端设备上,也可以集成于同一路端设备上。
路端投影设备72用于根据从虚拟斑马线投影装置71接收到的虚拟斑马线投影信号,进行虚拟斑马线投影。
在一种实施方式中,路端投影设备72采用微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
在一种实施方式中,还可以包括摄像头,用于拍摄预设管辖范围内的图像数据,以提供图像数据给虚拟斑马线投影控制装置71确定行人数据和/或车辆数据。
在另一种实施方式中,还可以包括激光雷达,用于检测管辖范围内的目标数据,激光雷达反馈的数据提供给虚拟斑马线投影控制装置71确定行人数据和/或车辆数据。
在一种实施方式中,虚拟斑马线投影系统为路端设备。
在一种实施方式中,虚拟斑马线投影系统集成于现有交通设施上,如红绿交通灯、路灯或道路指示牌。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种虚拟斑马线投影控制方法,其特征在于,所述方法包括:
确定预设管辖范围内的交通数据,所述交通数据包括行人数据和车辆数据,或者,所述交通数据包括信号灯数据、行人数据和车辆数据;
根据所述交通数据,确定优先通行者;
根据所述优先通行者,生成虚拟斑马线投影信号,所述虚拟斑马线投影信号用于对虚拟斑马线投影的控制;
将所述虚拟斑马线投影信号发送至路端投影设备,以使路端投影设备根据虚拟斑马投影信号,进行虚拟斑马线投影;
所述生成虚拟斑马线投影信号之前,还包括:根据所述行人数据和所述车辆数据,预测行人和车辆的交汇位置;根据所述交汇位置,确定投影位置;
所述根据所述优先通行者,生成虚拟斑马线投影信号,包括:根据所述优先通行者和所述投影位置,生成所述虚拟斑马线投影信号。
2.根据权利要求1所述的方法,其特征在于,所述虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
3.根据权利要求1所述的方法,其特征在于,
所述信号灯数据包括:所述预设管辖范围内是否存在信号灯的信息及信号灯所指示的通行者;
所述行人数据包括:所述预设管辖范围内是否存在行人的信息;
所述车辆数据包括:所述预设管辖范围内是否存在车辆的信息;
所述交通数据包括信号灯数据、行人数据和车辆数据时,所述根据所述交通数据,确定优先通行者,包括:在所述预设管辖范围内不存在信号灯,且存在行人及车辆的情况下,确定所述优先通行者为行人;在所述预设管辖范围内存在信号灯,且存在行人和车辆的情况下,确定所述优先通行者为所述信号灯所指示的通行者。
4.根据权利要求3所述的方法,其特征在于,所述根据所述交通数据,确定优先通行者,还包括:
在所述预设管辖范围内不存在行人和车辆的情况下,确定无所述优先通行者;
在所述预设管辖范围内不存在所述信号灯,且存在车辆而不存在行人的情况下,确定所述优先通行者为车辆。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
6.一种虚拟斑马线投影控制装置,其特征在于,所述装置包括:
数据确定模块,用于确定预设管辖范围内的交通数据,所述交通数据包括行人数据和车辆数据,或者,所述交通数据包括信号灯数据、行人数据和车辆数据;
优先通行者确定模块,用于根据所述交通数据,确定优先通行者;
信号生成模块,用于根据所述优先通行者,生成虚拟斑马线投影信号,所述虚拟斑马线投影信号用于对虚拟斑马线投影的控制;
控制投影模块,用于将所述虚拟斑马线投影信号发送至路端投影设备,以使路端投影设备根据虚拟斑马投影信号,进行虚拟斑马线投影;
所述装置还包括:投影位置确定模块,用于根据所述行人数据和所述车辆数据,预测行人和车辆的交汇位置,根据所述交汇位置,确定投影位置;所述信号生成模块,用于根据所述优先通行者和所述投影位置,生成所述虚拟斑马线投影信号。
7.根据权利要求6所述的装置,其特征在于,所述虚拟斑马线投影信号包括:虚拟斑马线本体投影信号和优先通行者指示投影信号。
8.根据权利要求6所述的装置,其特征在于,所述信号灯数据包括:所述预设管辖范围内是否存在信号灯的信息及信号灯所指示的通行者;
所述行人数据包括:所述预设管辖范围内是否存在行人的信息;
所述车辆数据包括:所述预设管辖范围内是否存在车辆的信息;
所述交通数据包括信号灯数据、行人数据和车辆数据时,所述优先通行者确定模块用于在所述预设管辖范围内不存在所述信号灯,且存在行人及车辆的情况下,确定优先通行者为行人;还用于在所述预设管辖范围内存在所述信号灯,且存在行人和车辆的情况下,确定优先通行者为所述信号灯所指示的通行者。
9.根据权利要求6至8任一项所述的装置,其特征在于,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
10.一种虚拟斑马线投影控制装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。
11.一种虚拟斑马线投影系统,其特征在于,包括权利要求6至10任一项所述的虚拟斑马线投影控制装置和路端投影设备,所述虚拟斑马线投影装置连接所述路端投影设备;
所述路端投影设备用于根据所述虚拟斑马线投影信号,进行虚拟斑马线投影。
12.根据权利要求11所述的系统,其特征在于,所述路端投影设备采用数字微镜阵列投影技术、微透镜阵列投影技术或者硅基液晶投影技术进行虚拟斑马线投影。
13.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
CN201910597199.3A 2019-07-02 2019-07-02 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统 Active CN110335479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597199.3A CN110335479B (zh) 2019-07-02 2019-07-02 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597199.3A CN110335479B (zh) 2019-07-02 2019-07-02 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统

Publications (2)

Publication Number Publication Date
CN110335479A CN110335479A (zh) 2019-10-15
CN110335479B true CN110335479B (zh) 2020-10-09

Family

ID=68144141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597199.3A Active CN110335479B (zh) 2019-07-02 2019-07-02 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统

Country Status (1)

Country Link
CN (1) CN110335479B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU209851U1 (ru) * 2021-10-15 2022-03-23 Тимур Юсупович Закиров Пешеходный переход

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910631A (zh) * 2019-12-02 2020-03-24 上海宝康电子控制工程有限公司 基于多源触发的行人过街控制系统及行人过街控制方法
CN111882891A (zh) * 2020-07-29 2020-11-03 哈尔滨工业大学 一种投射式斑马线的敷设方法及系统
CN112185100A (zh) * 2020-09-09 2021-01-05 博识峰云(深圳)信息技术有限公司 一种行人引导方法及装置
CN112614352A (zh) * 2020-12-15 2021-04-06 北京百度网讯科技有限公司 确定优先通行权的方法、装置、设备、介质和程序产品
CN113450556B (zh) * 2021-06-28 2022-06-21 哈尔滨工业大学 一种基于智能路灯的投射斑马线敷设系统
CN116153051B (zh) * 2022-11-01 2023-11-24 西部科学城智能网联汽车创新中心(重庆)有限公司 基于车路协同的虚拟人行横道构建方法及装置

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034361A (zh) * 2011-01-13 2011-04-27 李志恒 一种具有提示功能的路口信号控制系统及其方法
CN203825922U (zh) * 2014-03-03 2014-09-10 重庆欧派信息科技有限责任公司 斑马线模拟体验系统
KR20150000580U (ko) * 2015-01-08 2015-02-05 서기원 레이져 빔을 결합한 교통 신호등
CN104376731A (zh) * 2014-10-09 2015-02-25 苏州合欣美电子科技有限公司 基于人行横道信号灯的投影系统
CN204557798U (zh) * 2015-05-03 2015-08-12 黄浩 一种基于物联网的智能交通控制系统
CN205582267U (zh) * 2016-03-25 2016-09-14 青岛智慧城市产业发展有限公司 一种可自动识别行人人数调整换灯节奏的智能人行红绿灯系统
CN106530753A (zh) * 2016-12-12 2017-03-22 广州二通通信科技有限公司 一种智能交通灯控制系统
CN106530683A (zh) * 2016-10-20 2017-03-22 吉林大学 一种行人过街可移动激光墙智能引导系统
CN206497573U (zh) * 2016-12-23 2017-09-15 林一帆 行人路过无交通信号灯的斑马线感应式警示灯
CN107165092A (zh) * 2017-06-10 2017-09-15 郑州市市政维护工程有限公司 一种智能防撞护栏结构
WO2017196515A1 (en) * 2016-05-09 2017-11-16 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on location of vehicle zones
WO2018016663A1 (ko) * 2016-07-20 2018-01-25 최광주 V2p 충돌예방 시스템 및 그 방법
CN107886710A (zh) * 2017-10-29 2018-04-06 山东鲁控电力设备有限公司 人行横道地带色光指示系统及方法
CN207441038U (zh) * 2017-11-16 2018-06-01 江苏捷仁智能化系统工程有限公司 一种非灯控路口避让预警系统
CN108447274A (zh) * 2018-04-16 2018-08-24 陈嘉晖 一种智能交通指示系统
CN109102696A (zh) * 2018-07-06 2018-12-28 北京工业大学 基于主动安全的交叉频密路段冲突预警方法
CN109166326A (zh) * 2018-10-22 2019-01-08 交通运输部公路科学研究所 无交通信号灯的城市交叉路口新型控制系统及方法
CN208351712U (zh) * 2018-06-04 2019-01-08 周颂之 一种微交通智能系统
CN109377772A (zh) * 2018-12-21 2019-02-22 深圳市华海科技研发有限公司 人行横道智能自动警示系统
CN109389836A (zh) * 2017-08-03 2019-02-26 杭州海康威视数字技术股份有限公司 交通信号灯的控制方法、装置、系统及控制器
CN109584544A (zh) * 2018-12-10 2019-04-05 上海澳星照明电器制造有限公司 一种高效的行人通过路口提示系统
CN109584577A (zh) * 2018-11-29 2019-04-05 北京博纳菲德科技有限公司 一种辅助行人过马路的人行道警示装置
CN109754601A (zh) * 2018-12-28 2019-05-14 银江股份有限公司 一种基于空间矢量计算对同时多任务进行冲突检测的方法
CN109816973A (zh) * 2018-01-24 2019-05-28 杭州商警云智能科技有限公司 一种斑马线行人过街交通信号灯感应装置
CN109941187A (zh) * 2017-12-20 2019-06-28 大众汽车(中国)投资有限公司 车辆警示系统和方法
CN110136485A (zh) * 2019-06-20 2019-08-16 吉林大学 无红绿灯路段行人过斑马线汽车辅助提醒系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202672063U (zh) * 2012-05-23 2013-01-16 李正浩 虚拟斑马线投影装置
CN103996301B (zh) * 2013-02-20 2016-12-28 深圳市海洋王照明工程有限公司 探测显示装置
CN204117365U (zh) * 2014-08-08 2015-01-21 蒋浪 带有发光标志牌的夜间投影式道路交通人行横道
CN104794922A (zh) * 2015-05-03 2015-07-22 黄浩 一种基于物联网的智能交通控制系统
CN108091176B (zh) * 2016-11-23 2023-06-27 吉林大学 一种汽车主动防碰撞虚拟斑马线控制系统
CN208367920U (zh) * 2018-06-14 2019-01-11 唐晖 一种组合式投影斑马线交通信号灯
CN108894136B (zh) * 2018-07-12 2020-10-13 中国联合网络通信集团有限公司 一种虚拟的斑马线的生成方法及装置

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034361A (zh) * 2011-01-13 2011-04-27 李志恒 一种具有提示功能的路口信号控制系统及其方法
CN203825922U (zh) * 2014-03-03 2014-09-10 重庆欧派信息科技有限责任公司 斑马线模拟体验系统
CN104376731A (zh) * 2014-10-09 2015-02-25 苏州合欣美电子科技有限公司 基于人行横道信号灯的投影系统
KR20150000580U (ko) * 2015-01-08 2015-02-05 서기원 레이져 빔을 결합한 교통 신호등
CN204557798U (zh) * 2015-05-03 2015-08-12 黄浩 一种基于物联网的智能交通控制系统
CN205582267U (zh) * 2016-03-25 2016-09-14 青岛智慧城市产业发展有限公司 一种可自动识别行人人数调整换灯节奏的智能人行红绿灯系统
WO2017196515A1 (en) * 2016-05-09 2017-11-16 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on location of vehicle zones
WO2018016663A1 (ko) * 2016-07-20 2018-01-25 최광주 V2p 충돌예방 시스템 및 그 방법
CN106530683A (zh) * 2016-10-20 2017-03-22 吉林大学 一种行人过街可移动激光墙智能引导系统
CN106530753A (zh) * 2016-12-12 2017-03-22 广州二通通信科技有限公司 一种智能交通灯控制系统
CN206497573U (zh) * 2016-12-23 2017-09-15 林一帆 行人路过无交通信号灯的斑马线感应式警示灯
CN107165092A (zh) * 2017-06-10 2017-09-15 郑州市市政维护工程有限公司 一种智能防撞护栏结构
CN109389836A (zh) * 2017-08-03 2019-02-26 杭州海康威视数字技术股份有限公司 交通信号灯的控制方法、装置、系统及控制器
CN107886710A (zh) * 2017-10-29 2018-04-06 山东鲁控电力设备有限公司 人行横道地带色光指示系统及方法
CN207441038U (zh) * 2017-11-16 2018-06-01 江苏捷仁智能化系统工程有限公司 一种非灯控路口避让预警系统
CN109941187A (zh) * 2017-12-20 2019-06-28 大众汽车(中国)投资有限公司 车辆警示系统和方法
CN109816973A (zh) * 2018-01-24 2019-05-28 杭州商警云智能科技有限公司 一种斑马线行人过街交通信号灯感应装置
CN108447274A (zh) * 2018-04-16 2018-08-24 陈嘉晖 一种智能交通指示系统
CN208351712U (zh) * 2018-06-04 2019-01-08 周颂之 一种微交通智能系统
CN109102696A (zh) * 2018-07-06 2018-12-28 北京工业大学 基于主动安全的交叉频密路段冲突预警方法
CN109166326A (zh) * 2018-10-22 2019-01-08 交通运输部公路科学研究所 无交通信号灯的城市交叉路口新型控制系统及方法
CN109584577A (zh) * 2018-11-29 2019-04-05 北京博纳菲德科技有限公司 一种辅助行人过马路的人行道警示装置
CN109584544A (zh) * 2018-12-10 2019-04-05 上海澳星照明电器制造有限公司 一种高效的行人通过路口提示系统
CN109377772A (zh) * 2018-12-21 2019-02-22 深圳市华海科技研发有限公司 人行横道智能自动警示系统
CN109754601A (zh) * 2018-12-28 2019-05-14 银江股份有限公司 一种基于空间矢量计算对同时多任务进行冲突检测的方法
CN110136485A (zh) * 2019-06-20 2019-08-16 吉林大学 无红绿灯路段行人过斑马线汽车辅助提醒系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU209851U1 (ru) * 2021-10-15 2022-03-23 Тимур Юсупович Закиров Пешеходный переход

Also Published As

Publication number Publication date
CN110335479A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110335479B (zh) 虚拟斑马线投影控制方法、装置和虚拟斑马线投影系统
US20230331087A1 (en) Image projection apparatus
US11247605B2 (en) Image projection apparatus configured to project an image on a road surface
US11180119B2 (en) System and method for autonomous vehicle predictive sensor cleaning
US20190158790A1 (en) Vehicular control system
US10527440B2 (en) Vehicle routing to avoid regions with glare
CN105008170B (zh) 车辆用平视显示器装置
WO2005124431A1 (ja) 情報表示装置、ナビゲーション装置
CN109409301B (zh) 交通信号灯的信息获取方法、装置及存储介质
JP6930971B2 (ja) 表示装置、表示システム、および移動体
US20160225186A1 (en) System and method for augmented reality support
JP6748947B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP2015219782A (ja) 画像表示装置、画像表示方法及び画像表示制御プログラム
CN115586649A (zh) 一种多视角显示的车辆显示系统
GB2562151A (en) Concept for generating parking space for vehicles
CN110967870A (zh) 一种用于智能化汽车灯的多像素照明与显示装置
CN113119863B (zh) 一种全车窗成像系统
CN113219657A (zh) 一种车辆平视显示系统
JP2018069774A (ja) 車両運転支援装置、および車両運転支援方法
TWI767646B (zh) 行人智慧照明系統及其控制方法
CN115610315A (zh) 基于数据融合的车辆灯光控制方法、设备及存储介质
CN112863169A (zh) 提高通行效率的方法、装置、电子设备及介质
CN110341600A (zh) 一种智能后视镜的倒车自动检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant