CN115938146B - 道路环境感知方法、装置和系统、标签、设备、程序及介质 - Google Patents
道路环境感知方法、装置和系统、标签、设备、程序及介质 Download PDFInfo
- Publication number
- CN115938146B CN115938146B CN202211733139.8A CN202211733139A CN115938146B CN 115938146 B CN115938146 B CN 115938146B CN 202211733139 A CN202211733139 A CN 202211733139A CN 115938146 B CN115938146 B CN 115938146B
- Authority
- CN
- China
- Prior art keywords
- information
- road environment
- field
- preset
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims description 49
- 206010039203 Road traffic accident Diseases 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 19
- 238000013139 quantization Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 28
- 235000019557 luminance Nutrition 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开实施例公开了一种道路环境感知方法、装置和系统、标签、设备、程序及介质,通过捕获道路环境中标签的状态,生成脉冲流,基于该脉冲流中对应于标签的光敏单元对应的脉冲序列进行解调,得到脉冲流对应的解调结果,进而,响应于从脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息,由此标签与移动体之间以可见光通信方式传输道路环境信息,使移动体可以从附近环境获取更多的道路环境信息、更准确地获取道路环境信息,有效满足自动驾驶的道路环境感知需求。
Description
技术领域
本公开涉及自动驾驶技术、脉冲视觉技术和光通信技术,尤其是一种道路环境感知方法、装置和系统、标签、设备、程序及介质。
背景技术
自动驾驶被广泛认为是未来交通、物流和智慧城市的关键基础。目前,汽车和IT行业正在大力投资自动驾驶的关键技术,包括道路环境感知和理解、预测、决策的数据管道资产。相关技术中,主要通过摄像机和激光雷达传感器来感知道路环境,以为预测和决策提供必要的基础信息。只有准确地感知和理解道路环境,才能准确地预测未来的道路环境、做出正确的决策,以提高交通安全性。
然而,在实现本公开的过程中,本公开的发明人通过研究发现,在存在遮挡、恶劣天气条件等情况下,摄像机和激光雷达传感器这类车载成像传感器在感知范围和能见度方面存在根本性缺陷,难以感知交通事故、道路施工、路面积水、道路表面结冰等动态道路和交通状况,无法满足自动驾驶的道路环境感知需求。
发明内容
本公开实施例提供一种道路环境感知的技术方案。
本公开实施例的一个方面,提供一种道路环境感知方法,所述方法包括:
捕获道路环境中标签的状态,生成脉冲流;所述标签的状态包括第一状态和第二状态;所述脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
本公开实施例的另一个方面,提供另一种道路环境感知方法,应用于标签,所述方法包括:
获取道路环境信息;
基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息生成待广播信息;其中,所述设备标识用于唯一标识一个设备;所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
通过调节所述标签的状态对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态;
广播所述调制信息。
本公开实施例的又一个方面,提供一种道路环境感知装置,所述装置包括:
第一获取模块,用于获取光敏阵列生成的脉冲流,其中,所述脉冲流基于所述光敏阵列捕获的道路环境中标签的状态生成;所述脉冲流包括所述光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
解调模块,用于对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
解析模块,用于响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
本公开实施例的又一个方面,提供一种脉冲视觉系统,所述脉冲视觉系统包括光敏阵列和道路环境感知装置,其中:
所述光敏阵列,用于捕获道路环境中标签的状态,生成脉冲流;所述标签的状态包括第一状态和第二状态;所述脉冲流包括所述光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
所述道路环境感知装置,用于对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
本公开实施例的又一个方面,提供一种标签,所述标签还包括:
第二获取模块,用于获取道路环境信息;
生成模块,用于基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息生成待广播信息;其中,所述设备标识用于唯一标识一个设备;所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
调制模块,用于通过调节所述标签的状态对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态;
广播模块,用于广播所述调制信息。
本公开实施例的又一个方面,提供一种道路环境感知系统,包括标签和脉冲视觉系统,所述脉冲视觉系统包括光敏阵列,其中:
所述标签,用于获取道路环境信息;基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息生成待广播信息;其中,所述设备标识用于唯一标识一个设备;所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;通过调节所述标签的状态对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态;广播所述调制信息;
所述脉冲视觉系统,用于利用所述光敏阵列捕获道路环境中标签的状态,生成脉冲流;所述脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
本公开实施例的又一个方面,提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器,还包括本公开任一实施例所述的脉冲视觉系统;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述时序信号处理装置实现应用于所述的脉冲视觉系统的任一实施例的道路环境感知方法。
本公开实施例的又一个方面,提供另一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器,还包括本公开任一实施例所述的标签;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述时序信号处理装置实现应用于所述标签的任一实施例的道路环境感知方法。
本公开实施例的再一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本公开上述任一实施例所述的道路环境感知方法。
本公开实施例的再一个方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开上述任一实施例所述的道路环境感知方法。
基于本公开上述实施例提供的道路环境感知方法、装置和系统、标签、设备、程序及介质,可以在道路环境中部署标签,通过标签获取道路环境信息,并基于预设消息帧结构,根据预先设置的前导码序列和道路环境信息生成待广播信息,然后,通过调节标签的状态对该待广播信息进行调制,得到调制信息并进行广播,由此,可以通过调节标签的状态的变化实现对待广播信息的调制和广播,以便接收方基于视觉方式捕获标签的状态并解调出相应的道路环境信息;另外,通过预设消息帧结构,为标签配置了独特的时间模式属性,通过前导码序列可以有效区分标签和道路环境中的其他物体并过滤掉环境光,以避免环境噪声的影响。由此,本公开实施例通过标签以可见光通信广播道路环境信息的方式,由于无需利用摄像机和激光雷达传感器这类车载成像传感器直接感知交通事故等现场,可以避免由于遮挡、恶劣天气条件等因素导致无法感知现场或者影响感知结果的准确性,能够有效满足自动驾驶的道路环境感知需求。
另外,可以捕获道路环境中标签的状态生成脉冲流,对脉冲流中对应于标签的光敏单元对应的脉冲序列进行解调得到脉冲流对应的解调结果,从上述脉冲流对应的解调结果中识别出前导码序列后,基于预设消息帧结构和该脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息,由此,实现了道路环境中标签与移动体(例如车辆)之间以可见光通信方式传输道路环境信息,使移动体可以从附近环境获取更多的道路环境信息、更准确地获取道路环境信息,有效满足自动驾驶的道路环境感知需求,以便更好地做出决策,提高行驶的合规性、安全性和驾驶感受,相对于直接移动体直接利用摄像机和激光雷达传感器感知交通事故等现场的方式,可以避免由于遮挡、恶劣天气条件等因素导致无法感知现场或者影响感知结果的准确性;另外,通过预设消息帧结构,为标签配置了独特的时间模式属性,通过前导码序列可以有效区分标签和道路环境中的其他物体并过滤掉环境光,以避免环境噪声的影响。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开道路环境感知方法一个实施例的流程图。
图2为本公开实施例中预设消息帧结构的一个具体示例。
图3为本公开实施例中生成待广播信息的一个实现方式的流程图。
图4为本公开实施例中预设消息帧结构的另一个具体示例。
图5为本公开实施例中生成待广播信息的另一个实现方式的流程图。
图6为本公开实施例中预设消息帧结构的又一个具体示例。
图7为本公开实施例中生成待广播信息的又一个实现方式的流程图。
图8为本公开道路环境感知方法一个实施例的流程图。
图9为本公开实施例中基于解调结果解析得到道路环境信息的一个实现方式的流程图。
图10为本公开道路环境感知方法又一个实施例的流程图。
图11为本公开实施例中基于脉冲流进行图像重建的一个实现方式的流程图。
图12为本公开实施例中对重建图像进行量化处理的一个实现方式的流程图。
图13为本公开实施例中对量化图像序列中的目标像素点进行解调的一个实现方式的流程图。
图14为本公开标签一个实施例的结构示意图。
图15为本公开道路环境感知装置一个实施例的结构示意图。
图16为本公开道路环境感知装置另一个实施例的结构示意图。
图17为本公开脉冲视觉系统一个实施例的结构示意图。
图18为本公开道路环境感知系统一个实施例的结构示意图。
图19为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器、自动驾驶系统等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器、自动驾驶系统等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开道路环境感知方法一个实施例的流程图。本实施例的道路环境感知方法可应用于道路环境中的标签,该标签具体可以设置于道路环境中基础设施(例如路灯、路障、路牌、交通标志、限位杆等)上,也可以设置于其他移动体(例如车辆、警告三角架)上,如图1所示,该实施例的道路环境感知方法包括:
102,获取道路环境信息。
104,基于预设消息帧结构,根据预先设置的前导码序列和道路环境信息生成待广播信息。
预先设置的前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中除标签外的其他对象,例如,该前导码序列可以为一系列时间间隔相同的二进制符号“0”或“1”组成的序列,例如01010101。另外,前导码序列是在发送有效信息之前发送的信号序列,当前导码序列发送完毕以后立即发送有效信息,通过前导码序列可以提醒接收方注意接收即将发送的有效信息,以免丢失有用信息。
其中的待广播信息,例如可以是以一系列时间间隔相同的二进制符号“0”或“1”构成的序列。该时间间隔内的信号可以称为码元,即每个二进制符号即一个码元,码元所占用的时间间隔可以称为码元长度。
106,通过调节标签的状态对待广播信息进行调制,得到调制信息。
其中,标签的状态包括:第一状态和第二状态。在其中一些实现方式中,该第一状态可以包括亮状态和暗状态中的一个,第二状态对应包括亮状态和暗状态中的另一个。
108,广播上述调制信息。
基于本实施例,可以在道路环境中部署标签,通过标签获取道路环境信息,并基于预设消息帧结构,根据预先设置的前导码序列和该道路环境信息生成待广播信息,然后,通过调节标签的状态对该待广播信息进行调制,得到调制信息并进行广播,由此,可以通过调节标签的状态的变化实现对待广播信息的调制和广播,以便接收方基于视觉方式捕获标签的状态并解调出相应的道路环境信息;另外,通过预设消息帧结构,为标签配置了独特的时间模式属性,通过前导码序列可以有效区分标签和道路环境中的其他物体并过滤掉环境光,以避免环境噪声的影响。由此,本公开实施例通过标签以可见光通信广播道路环境信息的方式,由于无需利用摄像机和激光雷达传感器这类车载成像传感器直接感知交通事故等现场,可以避免由于遮挡、恶劣天气条件等因素导致无法感知现场或者影响感知结果的准确性,能够有效满足自动驾驶的道路环境感知需求。
可见光通信(Visible Light Communication,VLC)是指利用可见光波段的光作为信息载体,不使用光纤等有线信道的传输介质,而在空气中直接传输光信号的通信方式。相对于WiFi、蓝牙、蜂窝网络等基于无线电信号通信技术来说,可见光通信有信号干扰少、防窃听、可用带宽大等天然优势,可以适用于物联网,满足车-基础设施(Infrastructure-to-vehicle,I2V)之间的通信需求。
可选地,在一些可能的实现方式中,本公开实施例中的道路环境信息例如可以包括以下任意一种或多种类型的信息:道路交通管制信息,动态感知信息,等等。其中,动态感知信息例如可以包括但不限于以下任意一种或多种类型的信息:故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息,等等。
其中,道路交通管制信息,例如可以包括但不限于车道或道路或场所、禁止或允许使用时段、禁止或允许使用的移动体类型或移动体范围等等。现有技术中,通过交通标志增加额外的限制时间以实现道路交通管制,例如高峰时段的公共汽车专用车道、夜间的临时停车位、为特殊活动预留的车道或道路等等,需要车辆的驾驶员人工逐一判断,这些交通标志由于其复杂的机制,通常会使驾驶员感到困惑,基于本公开上述实施例,可以获取道路交通管制信息,对获取到的道路交通管制信息进行相应处理并通过标签广播出去,以使接收端的移动体可以通过脉冲视觉系统接收并识别出该道路交通管制信息,从而提示驾驶员或者对该移动体进行相应的行驶控制,以便于遵守交通法律法规。在一种具体实现中,可以直接在标签中设置道路交通管制信息,也可以由服务器基于标签的设备标识和位置之间的对应关系,向需要进行交通管制的各道路对应位置的设备标识所标识的标签发送相应的道路交通管制信息,从而使标签获得该道路交通管制信息。
其中,故障车辆的故障信息,例如可以包括但不限于故障车辆的具体位置、所需寻求的帮助等等。根据现有交通法律法规规定,如果车辆发生故障或交通事故,应在车辆后方50-200米处设置一个警示三角架作为警告标志。然而,目前的警告标志只能警告即将到来的车辆前方有故障车辆请注意安全行驶,无法提供其他信息。基于本公开实施例,可以获取故障车辆的故障信息,对获取到的故障车辆的故障信息进行相应处理并通过标签广播出去,从而可以向故障车辆外的其他车辆传递详细的故障信息,例如事故原因和/或寻求帮助,以使接收端的移动体可以通过脉冲视觉系统接收并识别出该故障车辆的故障信息,并且可以比普通的视觉方法更早、更远距离地被其他车辆识别,以便故障车辆可以得到更早、更有效的帮助。在一种具体实现中,可以由故障车辆或者故障车辆附近车辆的驾驶员向相应车辆的通信系统输入故障车辆的故障信息,车辆的通信系统可以控制车辆的发光二极管(light-emitting diode,LED)向标签发送可见光信号从而建立该车辆到标签的下行光通信链路,通信系统控制LED以很高的频率打开和关闭,使得LED发出的可见光作为信息的载波,将故障车辆的故障信息通过开/关键控(OOK)的方式调制到载波(可见光)上传输,标签上的光学传感器接收到该光信号后进行解码,即可得到故障车辆的故障信息。
其中,交通事故信息,例如可以包括但不限于交通故障的发生位置、涉及的车道或道路等等。基于本公开实施例,可以获取交通事故信息,对获取到的故障车辆的交通事故信息进行相应处理并通过标签广播出去,从而可以向一定距离外的移动体传递交通事故信息,以使接收端的移动体可以通过脉冲视觉系统接收并识别出该交通事故信息,从而及早地进行变道或者变更行驶路线,避免交通拥堵。在一种具体实现中,可以由发送交通事故的车辆或者附近车辆的驾驶员向相应车辆的通信系统输入交通事故信息,车辆的通信系统可以控制车辆的LED向标签发送可见光信号从而建立该车辆到标签的下行光通信链路,通信系统控制LED以很高的频率打开和关闭,使得LED发出的可见光作为信息的载波,将交通事故信息通过开/关键控(OOK)的方式调制到载波(可见光)上传输,标签上的光学传感器接收到该光信号后进行解码,即可得到交通事故信息。或者,在另一种具体实现中,也可以由交通事故的发生位置附近的摄像头基于计算机视觉方式获取该交通事故信息,并将该交通事故信息发送给通信连接的标签。
其中,盲区感知信息,例如可以包括但不限于进入盲区的移动的体类型、进入盲区的移动的数量、盲区的道路故障等等。现实世界的道路环境中包含了不可避免的盲区,例如山路的急转弯,由于存在视野遮挡,无法获知盲区中状况,例如,对向是否有车辆驶入、驶入车辆的类型、是否存在路面塌陷等等,对于人类驾驶员来说,提前获知盲区中状况,对于安全驾驶是至关重要的;对于自动驾驶车辆来说,感知盲区以进行安全驾驶决策的是非常令人向往的。基于本公开实施例,可以获取盲区感知信息,对获取到的盲区感知信息进行相应处理并通过标签广播出去,不同行驶方向共同视野中的标签可以起到盲区桥梁的作用。在一种具体实现中,也可以由与标签通信连接的摄像头基于计算机视觉方式获取该盲区感知信息,例如对于山路的急转弯导致的盲区,可以在急转弯出分别针对两个行驶方向安装摄像头和与摄像头通信连接的标签,通过面向其中一个方向的摄像头采集从该方向进入盲区的移动的体类型、进入盲区的移动的数量、盲区的道路故障等等,然后将该盲区感知信息发送给通信连接的标签,以由该标签将该盲区感知信息广播给即将从其中另一个方向进入盲区的移动体。
其中,道路状况信息,用于表示车道或道路的表面情况,例如可以包括但不限于车道或道路的表面状况(例如积水、雪、雪浆、冰或霜等污染物类型)、以及到当前位置的有效距离。基于本公开实施例,可以获取道路状况信息,对获取到的道路状况信息进行相应处理并通过标签广播出去,从而可以向一定距离外的移动体传递前方道路状况信息,以使接收端的移动体可以通过脉冲视觉系统接收并识别出该道路状况信息,从而及早地进行变道、变更行驶路线或者减速行驶,以提高驾驶安全性。在一种具体实现中,可以由服务器基于标签的设备标识和位置之间的对应关系,向车道或道路的表面情况可能影响安全行驶的车道或道路对应位置的设备标识所标识的标签发送相应的道路状况信息,从而使标签获得该道路状况信息。或者,在另一种具体实现中,也可以由摄像头基于计算机视觉方式识别出车道或道路的表面情况符合预设危险等级时,将该车道道路状况信息发送给通信连接的标签。
其中,交通状况信息,用于表示附近的交通情况,例如可以包括但不限于同向行驶的移动体的数量、对向行驶的移动体的数量、交通拥堵程度等等。基于本公开实施例,可以获取交通状况信息,对获取到的交通状况信息进行相应处理并通过标签广播出去,从而可以向一定距离外的移动体传递所在道路的交通状况,以使接收端的移动体可以通过脉冲视觉系统接收并识别出该交通状况信息,从而确定是否调整行驶路线或者行驶速度。在一种具体实现中,可以由摄像头基于计算机视觉方式识别监控范围内的交通状况信息,并将该车道道路状况信息发送给通信连接的标签。
图2为本公开实施例中预设消息帧结构的一个具体示例。如图2所示,在该具体示例中,上述预设消息帧结构包括基于第一预设格式的以下字段:前导字段,设备标识字段,帧长度字段,至少一个信息字段,校验和字段。其中,信息字段的结构包括基于第二预设格式的以下子字段:信息类型子字段,信息类型对应信息中各预设内容的子字段。前导字段、设备标识字段、帧长度字段、校验和字段中的各字段具有相应的预设长度,信息类型子字段、以及各预设内容的子字段分别具有与对应的信息类型相应的预设长度,不同信息类型的道路环境信息包含的信息内容不同,对应的信息字段可能包括不同数量的子字段,各子字段的长度也可能不同。其中,各字段和子字段的长度可以根据实际需求预先设置,例如,可以根据各字段和子字段需要表达的信息的数据长度、以及信息的可能取值的数量等因素确定。不同信息类型的道路环境信息包含的信息内容不同,对应的信息字段可能包括不同数量的子字段,各子字段的长度也可能不同。
其中,前导字段用于携带前导码序列数据;设备标识字段用于携带设备标识数据;帧长度字段用于携带一个消息帧的位长度数据,根据一个消息帧中包括的道路环境信息的信息类型和数量的不同,不同消息帧的至少一个信息字段的长度可能不同,相应的帧长度字段需要携带的位长度数据也不同;校验和字段用于携带一个消息帧中除该校验和字段外其他字段携带的数据的校验和数据以用于接收方进行错误检测。每个信息字段用于携带一条道路环境信息的以下数据:信息类型数据,以及该信息类型对应信息中的各预设内容数据,例如,在一个具体示例中,在道路交通管制信息包括车道标识、禁止使用的移动体类型和禁止使用的时间段时,道路交通管制信息对应的信息字段可以包括基于第二预设格式的以下子字段:信息类型子字段,移动体类型子字段和时间段子字段。
例如,在一个具体示例中,通过标签广播的道路环境信息的信息类型包括道路交通管制信息、道路状况信息和交通状况信息时,前导字段的长度、设备标识字段的长度、帧长度字段的长度、一个信息字段的长度、校验和字段的长度可以分别为8比特(bit),信息类型子字段的长度可以为2bit,分别以00、01、11表示不同的信息类型。在信息类型为道路交通管制信息时,信息字段还包括:用于携带车辆类型数据的车辆类型子字段,长度为5bit;用于携带是否允许使用当前道路的使用许可子字段,长度为1bit。在信息类型为道路状况信息时,信息字段还包括:用于携带车道或道路的表面情况数据的路面情况子字段,长度为3bit;用于携带到当前位置的有效距离数据的距离子字段,长度为3bit。在信息类型为交通状况信息时,信息字段还包括:用于携带同向行驶车辆数量的同向数量子字段,长度为3bit;用于对向行驶车辆数量的对向数量子字段,长度为3bit。
图3为本公开实施例中生成待广播信息的一个实现方式的流程图。如图3所示,该实施例中,通过操作102获取的道路环境信息可以包括至少一种信息类型的道路环境信息。相应的,操作104中,针对该至少一种信息类型的道路环境信息执行以下操作:
202,获取预先设置的前导码序列作为前导字段的属性值。
204,获取标签的设备标识作为设备标识字段的属性值。
其中的设备标识用于唯一标识一个设备。
206,基于预设消息帧结构、上述至少一种信息类型的道路环境信息包括的道路环境信息的数量和该至少一种信息类型的道路环境信息中每条道路环境信息的信息类型,确定帧长度字段的属性值。
基于预设消息帧结构,前导字段、设备标识字段、帧长度字段、校验和字段中的各字段分别具有相应的预设长度;信息类型子字段、以及各预设内容的子字段分别具有与对应的信息类型相应的预设长度,这样,每种信息类型的道路环境信息具有相应的预设长度,基于上述至少一种信息类型的道路环境信息包括的道路环境信息的数量和每条道路环境信息的信息类型,便可以确定至少一个信息字段的长度。由此,基于前导字段、设备标识字段、帧长度字段、校验和字段的长度和至少一个信息字段的长度可以确定帧长度,即一条待广播信息的长度,作为帧长度字段的属性值。
208,分别基于上述至少一种信息类型的道路环境信息中每条道路环境信息的信息类型和信息内容确定一个信息字段中各子字段的属性值。
由于不同信息类型的道路环境信息包含的信息内容不同,可能包括不同数量的子字段、各子字段的长度也可能不同,分别针对每条道路环境信息,确定其信息类型、以及相应的各预设内容的子字段的属性值。例如,在一个具体实现中,当一条道路环境信息为“前方500米处有故障车辆需要救援”时,确定其信息类型为故障车辆的故障信息,信息字段对应的预设内容的子字段分别为:信息类型子字段、故障车辆的具体位置子字段、所需寻求的帮助子字段,分别确定该道路环境信息中对应信息类型子字段、故障车辆的具体位置子字段、所需寻求的帮助子字段的内容为故障车辆的故障信息、前方500米、救援,并分别获取信息类型子字段的内容故障车辆的故障信息、故障车辆的具体位置子字段的前方500米、所需寻求的帮助子字段的内容救援对应的二进制符号序列,对应作为信息类型子字段、故障车辆的具体位置子字段、所需寻求的帮助子字段的属性值。
在具体实现中,操作202-208可以同时执行,也可以以任意先后顺序执行,本公开实施例对此不做限制。
210,利用预设校验算法,对前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值和上述至少一个信息字段中各信息字段的属性值进行处理,得到校验和字段的属性值。
212,基于前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值、上述至少一个信息字段中各信息字段的属性值和校验和字段的属性值,生成具有预设消息帧结构的待广播信息。
基于本实施例的消息帧结构,可以将一种或多种类型的道路环境信息调制为一条调制信息广播,这样,通过一条调制信息可以发送至少一种信息类型的道路环境信息。
可选地,在图3所示实施例中,可以先比较获取到的至少一种信息类型的道路环境信息的数量是否大于第一预设数量。响应于道路环境信息的数量大于第一预设数量(例如5条),依次从上述至少一种信息类型的道路环境信息中选取不大于第一预设数量的道路环境信息作为目标道路环境信息,针对该目标道路环境信息执行操作202-212及后续操作106-108,即,每次可以将不大于第一预设数量的目标道路环境信息调制为一条调制信息广播,从而将上述至少一种信息类型的道路环境信息调制为多条调制信息依次广播。否则,响应于道路环境信息的数量不大于第一预设数量,直接针对上述至少一种信息类型的道路环境信息执行操作202-212及后续操作106-108,即,将上述至少一种信息类型的道路环境信息调制为一条调制信息广播。
基于本实施例,可以针对不同信息类型的道路环境信息,一次发送不大于第一预设数量的目标道路环境信息,既可以提高信息发送和接收效率,还可以避免一次发送过多信息导致信息发送或者传输出现错误,兼顾实现信息收发效率和准确率。
图4为本公开实施例中预设消息帧结构的另一个具体示例。如图4所示,在该具体示例中,上述预设消息帧结构包括基于第一预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,至少一个信息字段,校验和字段。其中,信息字段的结构包括基于第四预设格式的以下子字段:各预设内容的子字段。前导字段、设备标识字段、帧长度字段、信息类型字段、校验和字段中的各字段具有相应的预设长度,各预设内容的子字段分别具有与对应的信息类型相应的预设长度。其中,各字段和子字段的长度可以根据实际需求预先设置,例如,可以根据各字段和子字段需要表达的信息的数据长度、以及信息的可能取值的数量等因素确定。不同信息类型的道路环境信息包含的信息内容不同,对应的信息字段可能包括不同数量的子字段,各子字段的长度也可能不同。
其中,前导字段用于携带前导码序列数据。设备标识字段用于携带设备标识数据。帧长度字段用于携带一个消息帧的位长度数据,根据一个消息帧中包括的道路环境信息的信息类型和数量的不同,不同消息帧的至少一个信息字段的长度可能不同,相应的帧长度字段需要携带的位长度数据也不同。信息类型字段用于携带信息类型数据。校验和字段用于携带一个消息帧中除该校验和字段外其他字段携带的数据的校验和数据以用于接收方进行错误检测。每个信息字段用于携带一条道路环境信息的以下数据:该信息类型对应信息中的各预设内容数据。
继续图2中的上述具体示例,通过标签广播的道路环境信息的信息类型包括道路交通管制信息、道路状况信息和交通状况信息时,前导字段的长度、设备标识字段的长度、帧长度字段的长度、信息类型字段的长度、一个信息字段的长度、校验和字段的长度可以分别为8bit、8bit、8bit、2bit、6bit、8bit,其中,在信息类型字段,分别以00、01、11表示不同的信息类型。在信息类型为道路交通管制信息时,信息字段包括:用于携带车辆类型数据的车辆类型子字段,长度为5bit;用于携带是否允许使用当前道路的使用许可子字段,长度为1bit。在信息类型为道路状况信息时,信息字段包括:用于携带车道或道路的表面情况数据的路面情况子字段,长度为3bit;用于携带到当前位置的有效距离数据的距离子字段,长度为3bit。在信息类型为交通状况信息时,信息字段包括:用于携带同向行驶车辆数量的同向数量子字段,长度为3bit;用于对向行驶车辆数量的对向数量子字段,长度为3bit。
图5为本公开实施例中生成待广播信息的另一个实现方式的流程图。如图5所示,该实施例中,通过操作102获取的道路环境信息可以包括至少一种信息类型的道路环境信息。相应的,操作104中,针对该至少一种信息类型的道路环境信息执行以下操作:
302,依次从上述至少一种信息类型的道路环境信息中选取一种信息类型的道路环境信息,并针对选取的一种信息类型的道路环境信息执行操作304-316。
304,获取预先设置的前导码序列作为前导字段的属性值。
306,获取标签的设备标识作为设备标识字段的属性值。
其中的设备标识用于唯一标识一个设备。
308,获取选取的一种类型的道路环境信息的信息类型作为信息类型字段的属性值。
例如,在一个具体实现中,当一条道路环境信息为“前方500米处有故障车辆需要救援”时,确定其信息类型为故障车辆的故障信息,确定该道路环境信息中对应信息类型字段的内容为故障车辆的故障信息,并获取该信息类型字段的内容故障车辆的故障信息对应的二进制符号序列,作为信息类型字段的属性值。
310,基于预设消息帧结构、选取的一种类型的道路环境信息的信息类型和上述选取的一种信息类型的道路环境信息包括的道路环境信息的数量,确定帧长度字段的属性值。
基于预设消息帧结构,前导字段、设备标识字段、帧长度字段、信息类型字段、校验和字段中的各字段分别具有相应的预设长度;信息字段中各预设内容的子字段分别具有与对应的信息类型相应的预设长度,这样,每种信息类型的道路环境信息具有相应的预设长度,基于该信息类型的道路环境信息包括的道路环境信息的数量,便可以确定至少一个信息字段的长度。由此,基于前导字段、设备标识字段、帧长度字段、信息类型字段,校验和字段的长度和至少一个信息字段的长度可以确定帧长度,即一条待广播信息的长度,作为帧长度字段的属性值。
312,分别基于上述选取的一种信息类型的道路环境信息中每条道路环境信息的信息内容确定与该选取的一种信息类型对应的一个信息字段中各子字段的属性值。
由于不同信息类型的道路环境信息包含的信息内容不同,可能包括不同数量的子字段、各子字段的长度也可能不同,分别针对每条道路环境信息,确定其信息类型对应的各预设内容的子字段的属性值。例如,在一个具体实现中,当一条道路环境信息为“前方500米处有故障车辆需要救援”时,确定其信息类型为故障车辆的故障信息,信息字段对应的预设内容的子字段分别为:故障车辆的具体位置子字段、所需寻求的帮助子字段,分别确定该道路环境信息中对应故障车辆的具体位置子字段、所需寻求的帮助子字段的内容为前方500米、救援,并分别获取故障车辆的具体位置子字段的前方500米、所需寻求的帮助子字段的内容救援对应的二进制符号序列,对应作为故障车辆的具体位置子字段、所需寻求的帮助子字段的属性值。
在具体实现中,操作304-312可以同时执行,也可以以任意先后顺序执行,本公开实施例对此不做限制。
314,利用预设校验算法,对前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值、信息类型字段的属性值和上述至少一个信息字段中各子字段的属性值进行处理,得到校验和字段的属性值。
316,基于前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值、信息类型字段的属性值、上述至少一个信息字段中各子字段的属性值和校验和字段的属性值,生成具有预设消息帧结构的待广播信息。
之后,可以针对该待广播信息执行后续操作106-108,将上述选取的一种信息类型的道路环境信息调制为一条调制信息广播,然后,返回执行操作302,再从上述至少一种信息类型的道路环境信息中选取下一种信息类型的道路环境信息,并针对选取的下一种信息类型的道路环境信息执行操作304-316及后续操作106-108,直至上述至少一种信息类型的道路环境信息全部被处理完毕。
基于本实施例的消息帧结构,每次可以将同一种类型的一条或多条道路环境信息调制为一条调制信息广播,这样,通过一条调制信息可以发送一种信息类型的一条或多条道路环境信息。
可选地,在图5所示实施例中,通过操作302选取一种信息类型的道路环境信息之后,可以先比较选取一种信息类型的道路环境信息包括的道路环境信息的数量是否大于第二预设数量。响应于该道路环境信息的数量大于第二预设数量,依次从选取的一种类型的道路环境信息中选取不大于第二预设数量的道路环境信息作为目标道路环境信息,针对该目标道路环境信息执行操作304-316及后续操作106-108,直至本次选取的一种类型的道路环境信息中不存在未被选取的道路环境信息,即本次选取的一种类型的道路环境信息都被调制为调制信息广播,再返回执行操作302,从上述至少一种信息类型的道路环境信息中选取下一种信息类型的道路环境信息,并以该下一种信息类型的道路环境信息作为选取的一种信息类型的道路环境信息,执行本实施例的操作,即开始执行比较选取一种信息类型的道路环境信息包括的道路环境信息的数量是否大于第二预设数量的操作及后续操作,直至上述至少一种信息类型的道路环境信息全部被处理完毕。响应于该道路环境信息的数量不大于第二预设数量,直接针对选取的一种信息类型的道路环境信息执行操作304-316及后续操作106-108,将本次选取的一种类型的道路环境信息调制为一条调制信息广播,之后,再返回执行操作302,从上述至少一种信息类型的道路环境信息中选取下一种信息类型的道路环境信息,并以该下一种信息类型的道路环境信息作为选取的一种信息类型的道路环境信息,执行本实施例的操作,即开始执行比较选取一种信息类型的道路环境信息包括的道路环境信息的数量是否大于第二预设数量的操作及后续操作,直至上述至少一种信息类型的道路环境信息全部被处理完毕。
基于本实施例,可以一次发送同一信息类型的不大于第二预设数量的道路环境信息,每次发送的道路环境信息的信息类型相同,既可以提高待广播信息的生成效率、提高信息发送和接收效率,还可以避免一次发送过多信息导致信息发送或者传输出现错误,兼顾实现信息收发效率和准确率。
图6为本公开实施例中预设消息帧结构的又一个具体示例。如图6所示,在该具体示例中,上述预设消息帧结构包括基于第五预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,信息字段,校验和字段。其中,信息字段的结构包括基于第六预设格式的以下子字段:信息类型对应信息中各预设内容的子字段;前导字段、设备标识字段、信息类型字段、校验和字段中的各字段具有相应的预设长度,各预设内容的子字段分别具有与对应的信息类型相应的预设长度。
其中,各字段和子字段的长度可以根据实际需求预先设置,例如,可以根据各字段和子字段需要表达的信息的数据长度、以及信息的可能取值的数量等因素确定。不同信息类型的道路环境信息包含的信息内容不同,对应的信息字段可能包括不同数量的子字段,各子字段的长度也可能不同。
其中,前导字段用于携带前导码序列数据。设备标识字段用于携带设备标识数据。帧长度字段用于携带一个消息帧的位长度数据,根据一个消息帧中包括的道路环境信息的信息类型和数量的不同,不同消息帧的至少一个信息字段的长度可能不同,相应的帧长度字段需要携带的位长度数据也不同。信息类型字段用于携带信息类型数据。校验和字段用于携带一个消息帧中除该校验和字段外其他字段携带的数据的校验和数据以用于接收方进行错误检测。信息字段用于携带道路环境信息的以下数据:该信息类型对应信息中的各预设内容数据。
继续图2中的上述具体示例,通过标签广播的道路环境信息的信息类型包括道路交通管制信息、道路状况信息和交通状况信息时,前导字段的长度、设备标识字段的长度、帧长度字段的长度、信息类型字段的长度、信息字段的长度、校验和字段的长度可以分别为8bit、8bit、8bit、2bit、6bit、8bit,其中,在信息类型字段,分别以00、01、11表示不同的信息类型。在信息类型为道路交通管制信息时,信息字段包括:用于携带车辆类型数据的车辆类型子字段,长度为5bit;用于携带是否允许使用当前道路的使用许可子字段,长度为1bit。在信息类型为道路状况信息时,信息字段包括:用于携带车道或道路的表面情况数据的路面情况子字段,长度为3bit;用于携带到当前位置的有效距离数据的距离子字段,长度为3bit。在信息类型为交通状况信息时,信息字段包括:用于携带同向行驶车辆数量的同向数量子字段,长度为3bit;用于对向行驶车辆数量的对向数量子字段,长度为3bit。
图7为本公开实施例中生成待广播信息的又一个实现方式的流程图。如图7所示,该实施例中,通过操作102获取的道路环境信息包括至少一种信息类型的道路环境信息。相应的,操作104中,针对该至少一种信息类型的道路环境信息执行以下操作:
402,依次从上述至少一种信息类型的道路环境信息中选取一条道路环境信息。
404,获取预先设置的前导码序列作为前导字段的属性值。
406,获取标签的设备标识作为设备标识字段的属性值。
其中的设备标识用于唯一标识一个设备。
408,获取选取的道路环境信息对应的目标信息类型,作为信息类型字段的属性值。
例如,在一个具体实现中,当一条道路环境信息为“前方500米处有故障车辆需要救援”时,确定其目标信息类型为故障车辆的故障信息,获取该目标信息类型字段对应的二进制符号序列,作为信息类型字段的属性值。
410,基于预设消息帧结构和目标信息类型,确定帧长度字段的属性值。
基于预设消息帧结构,前导字段、设备标识字段、帧长度字段、信息类型字段、校验和字段中的各字段分别具有相应的预设长度;各信息类型对应的各预设内容的子字段分别具有相应的预设长度,这样,每种信息类型对应的信息字段具有相应的长度。由此,基于前导字段、设备标识字段、帧长度字段、信息类型字段,校验和字段的长度和信息字段的长度可以确定帧长度,即一条待广播信息的长度,作为帧长度字段的属性值。
412,分别从选取的道路环境信息中,获取目标信息类型对应的信息字段中各预设内容的子字段的属性值。
由于不同信息类型的道路环境信息包含的信息内容不同,可能包括不同数量的子字段、各子字段的长度也可能不同,分别针对每条道路环境信息,确定其信息类型对应的各预设内容的子字段的属性值。例如,在一个具体实现中,当一条道路环境信息为“前方500米处有故障车辆需要救援”时,确定其信息类型为故障车辆的故障信息,信息字段对应的预设内容的子字段分别为:故障车辆的具体位置子字段、所需寻求的帮助子字段,分别确定该道路环境信息中对应故障车辆的具体位置子字段、所需寻求的帮助子字段的内容为前方500米、救援,并分别获取故障车辆的具体位置子字段的前方500米、所需寻求的帮助子字段的内容救援对应的二进制符号序列,对应作为故障车辆的具体位置子字段、所需寻求的帮助子字段的属性值。
414,利用预设校验算法,对前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值、信息类型字段的属性值和信息字段中各子字段的属性值进行处理,得到校验和字段的属性值。
416,基于前导字段的属性值、设备标识字段的属性值、帧长度字段的属性值、信息类型字段的属性值、信息类型字段的属性值、信息字段中各预设内容的子字段的属性值和校验和字段的属性值,生成具有预设消息帧结构的待广播信息。
基于本实施例的消息帧结构,每次可以将一条或道路环境信息调制为一条调制信息广播。
本公开上述各实施例仅示例性地提供几种消息帧结构的具体实现,具体实现过程中,可以根据需要传输的消息的信息类型、需要通过同时传输的消息的信息类型和数量、以及需要携带的其他信息等需求而弹性设计;另外,消息帧结构的帧长度不受限于硬件或软件,其中每个字段的长度可以根据实际要求改变。
可选地,在一些可能的实现方式中,在操作106中,可以通过如下方式调节标签的亮暗状态:基于预设时钟周期控制标签是否反射入射光的反射光,使标签呈现相应的亮状态或者暗状态。
可选地,在一些可能的实现方式中,标签的表面可以设置有用于逆反射入射光以增加标签的亮度的反光材料。
该反光材料通过逆反射,能够自动实现所有光束精确的相互指向,以最小的散射将光源发射到该反光材料表面的所有光线反射到光源,通过定向增强了视野中标签的亮度,有助于脉冲视觉系统从视野中识别出标签。标签本身不发光,而是通过以一定的扩散角逆反射利用通常由外部供电的光源(例如道路旁的照明灯、车辆的LED前照灯、车辆尾灯、阳光等)发出的入射光。在一种具体实现方式中,标签上覆盖有由低功耗的微控制单元(Microcontroller Unit,MCU)控制的液晶层,该液晶层可以利用液晶的特性来控制通过自身的照度,从而实现由MCU控制的通信逻辑流程。标签可以通过反光材料逆反射外部光源发送的光信号(即入射光)并通过液晶层阻挡或通过光信号的方式来控制标签是否反射该入射光的反射光(即调制光信号),从而使标签呈现相应的亮状态或者暗状态,由此实现对待广播信息的调制和广播。该液晶层与传统的液晶屏的原理相同,但像素更少,功耗更低,微控制单元能够调节施加在液晶层上的电压,从而控制液晶层内的液晶材料充电或放电,以相应控制液晶层阻挡或通过光信号,从而实现光信号的OOK调制。在液晶层阻挡光信号时,标签呈现暗状态;在液晶层通过光信号时,标签呈现亮状态。
然而,由于液晶材料的分子的非线性变化特性,在不同状态之间切换需要一定的响应时间,即液晶层需要一定的响应时间才能改变阻挡或通过光信号的状态,在液晶层的状态切换之后才能调制下一个符号,该响应时间通常在几毫秒范围内。在液晶层内的液晶材料充电时,光信号的接收方(即本公开实施例中的脉冲视觉系统)一侧接收到的信号波形有一个逐渐下降的边沿(持续时间通常超过4毫秒);在液晶层内的液晶材料放电时,光信号的接收方(即本公开实施例中的脉冲视觉系统)一侧接收到的信号波形有一个急速上升的边沿(时间通常小于1毫秒)。
当标签与道路环境中的现有设施集成时,标签通常具有复杂的空间特征,例如纹理、大小、形状等。因此,特别是在高速数据传输过程中,对这种具有空间特征的标签进行检测和跟踪是不利的。本公开实施例中的预设消息帧结构,为标签配置了独特的时间模式属性,通过每个消息帧中的前导码序列形成预设数量个连续的闪烁,可以有效区分标签和道路环境中的其他物体,由于环境光形成的环境噪声以与前导码序列相同的方式闪烁的概率非常低,由此可以区分并过滤掉环境光。此外,通过设备标识字段携带的数据,可以区分多个标签,即使在接收方的视野内存在多个在物理空间上彼此接近的标签,接收方也可以通过消息帧中设备标识字段携带的数据,确定各标签,进而分别解调出各标签发送的道路环境信息。
本公开实施例中的标签,可以使用反光材料反射入射的可见光并用液晶层进行调制,因此也称为可见光识别(Visible Light Identification,VLID)标签。VLID标签的传输速度快(例如可达1kbps),且功耗低(例如小于500μw),它可以由一个小的太阳能电池板供电,或由一个有多年电池寿命的按钮电池供电。
图8为本公开道路环境感知方法一个实施例的流程图。本实施例的道路环境感知方法可应用于脉冲视觉系统,该脉冲视觉系统可以包括光敏阵列,该脉冲视觉系统可以设置于任意的移动体上,其中的移动体例如可以是汽车、轨道交通工具(例如火车、地铁等)、机器人、飞行物等任意可移动的对象,本公开实施例对具体移动体不做限制。如图8所示,该实施例的道路环境感知方法包括:
502,捕获道路环境中标签的状态,生成脉冲流。
其中,标签的状态包括第一状态和第二状态。在其中一些实现方式中,该第一状态可以包括亮状态和暗状态中的一个,第二状态对应包括亮状态和暗状态中的另一个。其中,脉冲流包括光敏阵列的各光敏单元采集得到的脉冲序列,光敏阵列中的不同光敏单元分别对应于观测场景的不同区域,其中的脉冲序列包括在各采样时刻的脉冲特征值,该脉冲特征值用于表示是否有脉冲生成,例如,该脉冲特征值的取值可以为1、0,对应表示在相应的采样时刻有脉冲生成、无脉冲生成。
光敏阵列可以是脉冲相机中的光电传感器,脉冲相机是一种生物灵感的神经形态相机,可以通过光敏阵列持续记录观测场景各个时刻的瞬时光强值来记录信息,并仿照人类视网膜中央凹的采样机制,将采集到的信息转化为二进制脉冲序列,输出是各像素的脉冲序列,可以达到每秒生成4万帧图像。由于采样频率比较高,以脉冲序列的形式表示视觉信息,能够持续记录光强的变化,不存在曝光时间窗口的概念,具有普通CMOS技术时的高时间分辨率(高达40000Hz)和自由动态范围,能够更加完整地记录标签的亮暗状态及其变化,在保证高帧频检测的同时避免信息丢失,从而能够支持自动驾驶、机器人和无人机的高速视觉。
光敏阵列可以分别通过各感光器(对应于像素)采集对应空间区域的光信号,并通过积分器对该空间区域的光信号进行累积,得到信号累积值,并利用阈值比较器比较该信号累积值是否达到预设累积阈值;响应于上述信号累积值达到预设累积阈值,生成一个脉冲信号,并将该信号累积值复位(如置零),以便重新进行累积。
504,对脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到脉冲流对应的解调结果。
其中,脉冲流对应的解调结果可以包括用于表示以下信息的解调数据:前导码序列。另外,还可以选择性地包括用于表示以下信息的解调数据:道路环境信息的信息类型、标签的设备标识、道路环境信息帧长度和道路环境信息的信息内容。其中的设备标识用于唯一标识一个设备。其中的前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象。
其中,前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中除标签外的其他对象,例如,该前导码序列可以为一系列时间间隔相同的二进制符号“0”或“1”组成的序列,例如01010101,其中的每个二进制符号即一个码元。
506,响应于从上述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和该脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息。
基于本实施例,可以捕获道路环境中标签的状态生成脉冲流,对脉冲流中对应于标签的光敏单元对应的脉冲序列进行解调得到脉冲流对应的解调结果,从上述脉冲流对应的解调结果中识别出前导码序列后,基于预设消息帧结构和该脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息,由此,实现了道路环境中标签与移动体(例如车辆)之间以可见光通信方式传输道路环境信息,使移动体可以从附近环境获取更多的道路环境信息、更准确地获取道路环境信息,有效满足自动驾驶的道路环境感知需求,以便更好地做出决策,提高行驶的合规性、安全性和驾驶感受,相对于直接移动体直接利用摄像机和激光雷达传感器感知交通事故等现场的方式,可以避免由于遮挡、恶劣天气条件等因素导致无法感知现场或者影响感知结果的准确性;另外,通过预设消息帧结构,为标签配置了独特的时间模式属性,通过前导码序列可以有效区分标签和道路环境中的其他物体并过滤掉环境光,以避免环境噪声的影响。
可选地,在一些可能的实现方式中,标签的表面可以设置有用于反射入射光以增加该标签的亮度的反光材料。如上实施例所述,标签可以通过基于预设时钟周期控制标签是否反射光源(例如道路旁的照明灯、车辆的LED前照灯、车辆尾灯、阳光等)发出的入射光的反射光,使标签呈现相应的亮状态或者暗状态,并通过逆反射利用通常由外部供电的光源发出的入射光来增加该标签的亮度。在白天场景下,可以通过控制标签是否反射阳光的反射光使标签呈现相应的亮状态或者暗状态,并通过反射阳光增加该标签的亮度,而在夜间场景下,可以通过控制标签是否反射道路旁的照明灯、车辆的LED前照灯、车辆尾灯等光源的反射光使标签呈现相应的亮状态或者暗状态,并通过逆反射道路旁的照明灯、车辆的LED前照灯、车辆尾灯等光源增加该标签的亮度,在车辆的LED前照灯、车辆尾灯等光源照射标签时,标签可以将入射光以一定的扩散角逆反射至车辆,由于存在一定的扩散角,逆反射光可以覆盖车辆,包括设置于车辆上的脉冲相机,从而使得脉冲相机可以捕获道路环境中标签的亮暗状态。
基于本实施例,由于标签的表面设置有用于逆反射入射光的反光材料,能够通过定向增强视野中标签的亮度,有助于脉冲视觉系统从视野中识别出标签。
可选地,在一些可能的实现方式中,本公开实施例中的道路环境信息例如可以包括以下任意一种或多种类型的信息:道路交通管制信息,动态感知信息,等等。其中,动态感知信息例如可以包括但不限于以下任意一种或多种类型的信息:故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息,等等。其中的道路交通管制信息和各项动态感知信息,具体可以参见本公开上述示例的介绍,此处不再赘述。
可选地,在一些可能的实现方式中,上述预设消息帧结构包括基于第一预设格式的以下字段:前导字段,设备标识字段,帧长度字段,至少一个信息字段,校验和字段。其中,信息字段的结构包括基于第二预设格式的以下子字段:信息类型子字段,信息类型对应信息中各预设内容的子字段。前导字段、设备标识字段、帧长度字段、信息类型子字段、校验和字段中的各字段具有相应的预设长度,各预设内容的子字段分别具有与对应的信息类型相应的预设长度。相应地,通过操作506得到的至少一条道路环境信息可以包括至少一种信息类型的道路环境信息。基于本实施例的消息帧结构,可以一次接收至少一种信息类型的一条或多条道路环境信息。
基于本实施例,可以一次接收至少一种信息类型的道路环境信息。
或者,在另一些可能的实现方式中,上述预设消息帧结构包括基于第一预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,至少一个信息字段,校验和字段。其中,信息字段的结构包括基于第四预设格式的以下子字段:各预设内容的子字段。前导字段、设备标识字段、帧长度字段、信息类型字段、校验和字段中的各字段具有相应的预设长度,各预设内容的子字段分别具有与对应的信息类型相应的预设长度。相应地,通过操作506得到的至少一条道路环境信息可以包括同一种信息类型的道路环境信息。基于本实施例的消息帧结构,可以一次接收同一种信息类型的一条或多条道路环境信息。
基于本实施例,可以一次接收一种信息类型的至少一条道路环境信息。
或者,在又一些可能的实现方式中,上述预设消息帧结构包括基于第五预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,信息字段,校验和字段。其中,信息字段的结构包括基于第六预设格式的以下子字段:信息类型对应信息中各预设内容的子字段;前导字段、设备标识字段、信息类型字段、校验和字段中的各字段具有相应的预设长度,各预设内容的子字段分别具有与对应的信息类型相应的预设长度。相应地,通过操作506得到的至少一条道路环境信息可以包括一条道路环境信息。基于本实施例的消息帧结构,可以一次接收一条或道路环境信息。
基于本实施例,可以一次接收一条道路环境信息。
图9为本公开实施例中基于解调结果解析得到道路环境信息的一个实现方式的流程图。如图9所示,在图8所示实施例的基础上,该实施例中,操作506可以包括:
5060,响应于从上述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构,确定解调结果中不属于校验和字段的其他解调数据。
5062,利用预设校验算法,对上述其他解调数据进行计算,得到校验和计算结果。
5064,比较上述校验和计算结果与解调结果中校验和字段的解调数据是否一致。
若上述校验和计算结果与解调结果中校验和字段的解调数据一致,说明道路环境信息的传输和接收准确,执行操作5066;否则,若上述校验和计算结果与解调结果中校验和字段的解调数据不一致,说明道路环境信息在传输或者接收过程中发生了错误,不再对该解调结果进行解析,以避免错误道路环境信息的影响,并节省后续解析所需的计算资源。
5066,基于预设消息帧结构,从前导码序列之后的解调结果中获取预设消息帧结构中各字段和各子字段的解调数据。
5068,分别对预设消息帧结构中各字段和各子字段的解调数据进行解析,即获取各字段和各子字段的解调数据对应的具体信息,即,获取各字段和各子字段的解调数据(即二进制符号)所对应的具体信息,得到至少一条道路环境信息。
基于本实施例,可以基于解调结果中的校验和字段对解调结果的准确性进行校验,以避免道路环境信息在传输或者接收过程中发生错误,提高道路环境信息识别结果的有效性。
可选地,在一些可能的实现方式中,基于本公开实施例解析得到至少一条道路环境信息后,还可以根据该至少一条道路环境信息输出提示消息,例如,可以直接输出该至少一条道路环境信息(例如,前方200米处积水较深、前方500米处有故障车辆需要救援等等);或者,也可以输出该至少一条道路环境信息和提醒信息(例如,前方200米处积水较深,请注意减速,等等)。
基于本实施例,可以根据标签广播的至少一条道路环境信息输出相应的提示消息,以提醒驾驶员采取相应的驾驶措施安全驾驶,提高驾驶安全性和驾驶感受。
可选地,在一些可能的实现方式中,基于本公开实施例解析得到至少一条道路环境信息后,还可以根据上述至少一条道路环境信息对所在移动体进行相应的行驶控制,例如,在上述至少一条道路环境信息中有道路环境信息指示前方200米处积水较深时,控制车辆减速行驶或者变道;在上述至少一条道路环境信息中有道路环境信息指示前方私家车这一车辆类型不允许使用当前道路时,控制移动体调整行驶路线,等等。
基于本实施例,可以根据标签广播的至少一条道路环境信息,直对移动体进行相应的行驶控制,以提高自动驾驶的安全性。
本公开实施例中,由于脉冲相机的观测场景中可能包括多个标签,每个标签分别通过其设备标识进行标识,则可以在从上述脉冲流对应的解调结果中识别出前导码序列和设备标识后,分别针对各设备标识对应的像素点执行操作504-506及后续应用操作,即识别得到各标签广播的道路环境信息,并可以基于该道路环境信息进行相应的应用操作,例如输出提示消息,和/或对所在移动体进行相应的行驶控制,等等。
图10为本公开道路环境感知方法又一个实施例的流程图。如图10所示,在图8或图9所示实施例的基础上,该实施例中,在操作502之后,还可以包括:
602,基于脉冲流进行图像重建,得到重建图像序列,该重建图像序列包括各采样时刻的重建图像。
其中,重建图像中的各像素点与光敏阵列中的各光敏单元一一对应。
相应地,在操作504中,可以对重建图像序列中对应于标签的像素点的数据进行解调。
基于本实施例,可以对基于脉冲流进行图像重建,基于重建图像序列进行数据解调从而得到脉冲流对应的解调结果。
图11为本公开实施例中基于脉冲流进行图像重建的一个实现方式的流程图。如图11所示,在图10所示实施例的基础上,该实施例中,操作602基于脉冲流进行图像重建,可以包括:
6020,分别针对光敏阵列中的各光敏单元,基于各光敏单元对应的脉冲序列,获取脉冲间隔小于第一预设阈值的特定光敏单元。
其中,脉冲间隔δ小于第一预设阈值K的特定光敏单元,亮度(正比于光强值)较高的光敏单元,由此限制了脉冲流的前视深度不超过第一预设阈值K,有助于确定对应于标签的目标光敏单元来提取信息。其中,K的取值为大于0的数值,可以根据实际需求设置,并可以根据需要更新。
本公开实施例中,标签的亮度越高,对应于标签的光敏单元的亮度和光强值也越高,亮度光强值与成正比。
6022,基于各光敏单元对应的脉冲序列中的脉冲特征值,获取各光敏单元在各采样时刻的光强值。
其中,操作6020和6022可以同时执行,也可以以任意时间顺序执行,本公开实施例对此不做限制。
6024,利用预设灰度变换方式,对各光敏单元在各采样时刻的光强值进行灰度变换,以提高特定光敏单元的光强值与其他光敏单元的光强值之间的对比度,得到各光敏单元在各采样时刻的灰度值。
其中,其他光敏单元为光敏阵列中除特定光敏单元之外的光敏单元。
例如,在一种具体实现中,可以通过如下公式(1)所述的灰度变换方式,对各光敏单元在各采样时刻的光强值进行灰度变换:
其中,f()表示灰度变换核,在实际应用中,f()可以例如可以采用但不限于如下公式(2)中任一所述灰度变换核:
其中,∈为用于防止出现log(0)的最小值,在实际应用中例如可以被设置为1/K。
6026,基于各光敏单元在各采样时刻的灰度值,生成各采样时刻的重建图像。
基于本实施例,获取脉冲间隔小于第一预设阈值的特定像素点,通过限制脉冲流的前视深度来专注于明亮像素点作为可能对应于标签的特定光敏单元,并对各光敏单元在各采样时刻的光强值进行灰度变换来提高特定光敏单元的光强值与其他光敏单元的光强值之间的对比度以凸显标签区域的信号、并避免针对非标签区域的信号进行处理消耗计算资源、影响系统性能;另外,相对于传统的采用仿生算法或者神经网络算法等图像重建方式,仅过滤掉脉冲间隔不小于第一预设阈值的光敏单元,而不会为了提高重建图像的视觉质量而对所有光敏单元进行过滤处理,避免了由此导致的隐藏在脉冲流中的信息丢失,有助于保证标签传输的信息的完整性,完整、准确地解调识别出标签发送的道路环境信息。
可选地,在一些可能的实现方式中,通过操作602基于脉冲流进行图像重建之后,还可以对重建图像进行量化处理,相应的,操作504中对量化处理得到的量化图像序列中对应于标签的目标像素点的数据(即灰度值量化值)进行解调。
另外,再参见图10,在本公开道路环境感知方法再一个实施例中,在操作602之后,还可以包括:
604,利用自适应量化算法,分别对各采样时刻的重建图像中各像素点的灰度值进行量化处理,得到量化图像序列,该量化图像序列包括各采样时刻的重建图像对应的量化图像。
其中,在量化图像中,对应于标签的目标像素点的灰度值被量化为+1或者-1,不对应于标签的非目标像素点(即观测场景中的其他像素点,可以称为噪声)的灰度值被量化为0。
由于观测场景中可能有多个标签,每个标签的亮度可能不同;即使在一个标签内,不同像素点的光照也不完全相同,因此,可能导致不同光敏单元的亮度或者光强值不同。基于本实施例,使用非归零(NRZ)代码来表示比特,对每个像素点的灰度值进行量化,可以将各采样时刻的重建图像中各像素点的灰度值中,对应于标签的目标像素点的灰度值被量化为+1或者-1,不对应于标签的非目标像素点的灰度值量化为0,以自适应地匹配NRZ编码,从接收方的脉冲视觉系统来看,对应于标签的目标像素点明亮像素和暗像素的灰度值可以分别对应于+1和-1,噪声的灰度值被量化为0,从而将重建图像中各像素点的灰度值量化为适于解调的状态量,并且能够适应动态场景(即移动体运动场景)下道路环境中照明亮度的变化对灰度值的影响,进而能够提高解调结果的准确性。
图12为本公开实施例中对重建图像进行量化处理的一个实现方式的流程图。如图12所示,在图11所示实施例的其中一些实现方式中,操作604可以包括:
6040,分别针对各采样时刻的重建图像中各像素点,比较其对应的各光敏单元采集观测场景时的亮度上限和亮度下限之间的差值是否大于第二预设阈值。
其中,第二预设阈值的取值为大于0的预设数值,其具体取值可以根据实际需求确定,并可以根据需要更新。
若亮度上限和亮度下限之间的差值大于第二预设阈值,可以认为该像素点为对应于标签的目标像素点,执行操作6042;否则,若亮度上限和亮度下限之间的差值不大于第二预设阈值,亮度上限和亮度下限之间距离较近,可以认为该像素点为环境噪声,执行操作6046。
基于标签的逆反射和液晶材料特性,移动体上的灯(例如前照灯)入射到标签时,对应于标签的各目标像素点在标签处于亮状态时的亮度最高(对应的最高亮度称为亮度上限)、在标签处于暗状态时的亮度最低(对应的最低亮度称为亮度下限),该亮度上限和亮度下限会随着时间的推移衰减到与入射到标签的光信号相同的亮度以适应亮度的变化。
可选地,在一种具体实现中,可以分别针对各光敏单元,获取前导码序列对应时间段内各采样时刻的光强值的最高光强值和最低光强值分别作为对应像素点的亮度上限和亮度下限。
或者,在另一种具体实现中,前导码序列由一系列的一系列时间间隔相同的二进制符号“0”或“1”组成,可以获取前导码序列对应时间段内对应于码元“1”的亮度的平均值作为该像素点的亮度上限,获取前导码序列对应时间段内对应于码元“0”的亮度的平均值作为该像素点的亮度下限。
或者,在又一种具体实现中,可以分别通过如下方式获取该像素点的亮度上限upper和亮度下限lower:
upper←max{value,(1-λ)(value+th/2)+λ·lightness[0]}
lower←min{value,(1-λ)(value-th/2)+λ·lightness[0]}
其中,max{}表示取最大值,min{}表示取最小值,lightness[0]前导码序列中第一个码元的亮度,value表示对应于前导码序列中各码元的亮度的平均值,λ为折现系数,λ的取值为预先设置的大于0且小于1的常数,th为预先设置的阈值,th的取值可以根据实际需求设置,并可以根据需要更新。
6042,确定亮度上限和亮度下限之间的差值大于第二预设阈值的像素点为对应于标签的目标像素点,分别比较目标像素点中各目标像素点的灰度值是否大于亮度上限与亮度下限的平均值。
6044,将灰度值大于亮度上限与亮度下限的平均值的目标像素点的灰度值量化为+1,将灰度值不大于亮度上限与亮度下限的平均值的目标像素点的灰度值量化为-1。
之后,执行操作504,对量化处理得到的量化图像序列中的目标像素点的灰度值量化值进行解调。
6046,确定亮度上限和亮度下限之间的差值不大于第二预设阈值的像素点为非目标像素点,分别将非目标像素点中的各非目标像素点的灰度值量化为0。
之后,执行操作504,对量化处理得到的量化图像序列中的目标像素点的灰度值量化值进行解调。
基于本实施例,分别针对各像素点,获取该像素点对应的光敏单元采集观测场景时的亮度上限和亮度下限,基于亮度上限和亮度下限之间的差值是否大于第二预设阈值确定该像素点是否为对应于标签的目标像素点、或者环境噪声,将对应于环境噪声的非目标像素点的灰度值量化为0;针对各目标像素点,分别基于该目标像素点灰度值是否大于亮度上限与亮度下限的平均值确定该目标像素点属于明亮像素或者暗像素,将明亮像素的灰度值量化为+1,将暗像素的灰度值量化为-1,从而实现了对重建图像中各像素点的灰度值的准确量化处理。
图13为本公开实施例中对量化图像序列中的目标像素点进行解调的一个实现方式的流程图。如图13所示,在图8-图12任一所示实施例的基础上,该实施例中,操作504对量化处理得到的量化图像序列中的目标像素点的灰度值量化值进行解调时,可以包括依次以量化图像序列中的一个码元作为当前码元执行以下操作:
5040,基于预设时钟周期和量化图像序列中的量化图像,确定当前码元的相关信息,该当前码元的相关信息可以包括:当前码元的起始时刻。
可选地,在一些可能的实现方式中,当前码元为量化图像序列中第一个码元时,可以确定量化图像序列中的第一帧量化图像作为第一个码元的起始时刻。当前码元为量化图像序列中第一个码元之后的任一码元时,可以基于相邻前一码元的解调数据是否为用于表示有脉冲生成的脉冲特征值、预设时钟周期和相邻前一码元的起始时刻,确定该任一码元的起始时刻,其中的相邻前一个码元为该任一码元相邻的前一个码元。
由于液晶材料的分子的非线性变化特性,在液晶层内的液晶材料充电时,脉冲视觉系统一侧接收到信号波形有一个逐渐下降的边沿(持续时间通常超过4毫秒);在液晶层内的液晶材料放电时,脉冲视觉系统接收到信号波形有一个急速上升的边沿(时间通常小于1毫秒),因此对来自标签的信号解调具有一定的挑战性,需要对这两条边沿进行不同的处理。
例如,在一个具体实现中,当量化图像序列中灰度值的量化值发生变化时,即在该任一码元的相邻前一码元的灰度值的量化值相对于该相邻前一码元的相邻前一码元的灰度值的量化值发生变化时,若该任一码元的相邻前一码元的解调数据为1(对应于有脉冲生成的脉冲特征值),即在脉冲信号波形的上升阶段,则确定i+1/3·period作为该任一码元的起始时刻,其中,i表示相邻前一码元的起始时刻,period表示对应于一个码元长度的预设时钟周期;若该任一码元的相邻前一码元的解调为0(对应于无脉冲生成的脉冲特征值),即在脉冲信号波形的下降阶段,则确定i+2/3·period作为该任一码元的起始时刻。
5042,基于当前码元的相关信息,对量化图像序列中属于当前码元的一帧目标量化图像中至少一个目标像素点的灰度值量化值进行解调,得到当前码元的解调结果。
其中,当前码元的解调结果可以包括至少一个目标像素点的灰度值量化值对应的脉冲特征值,相应的,上述脉冲流对应的解调结果包括该量化图像序列中所有码元的解调结果。
由于标签和脉冲视觉系统是一个分布式系统,二者之间的时钟会存在一定的漂移,而且,由于脉冲相机的接收频率比标签的调制信息的频率高,因此,标签发送的一个符号可能对应于多个重建图像和量化图像,例如,标签发送的其中一位符号为1时,对应于该位符号1的量化图像序列可能包括许多帧量化图像(对应的目标像素的灰度值的量化值为+1);标签发送的其中一位符号为0时,对应于该位符号0的量化图像序列可能包括许多帧量化图像(对应的目标像素的灰度值的量化值为-1)。
基于本实施例,可以适应标签调制信息时液晶材料充放电阶段非线性变化的非对称性,结合标签的液晶层调制器编码的时序性质,进行标签端信息调制阶段的时钟恢复,准确确定每一个码元的起始时刻,以便解调出标签调制的原始信息。
可选地,在一些可能的实现方式中,操作5042可以包括:
A2,基于当前码元的相关信息,确定量化图像序列中属于当前码元的一帧目标量化图像,具体来说,可以选取自当前码元的起始时刻起一个预设时钟周期内的一帧量化图像作为目标量化图像。
A4,对目标量化图像中目标像素点的灰度值量化值进行解调,得到目标像素点序列和目标像素点序列对应的解调数据序列。
其中,目标像素点序列包括各目标像素点的像素位置,解调数据序列包括各目标像素点的解调数据,该解调数据为各目标像素点的灰度值量化值对应的脉冲特征值。
A6,基于目标像素点序列和解调数据序列确定当前码元的解调结果。
基于本实施例,可以分别确定属于当前码元的一帧目标量化图像中目标像素点的灰度值量化值进行解调,由此获得当前码元的解调结果。
可选地,在一些可能的实现方式中,通过操作A6确定当前码元的解调结果之后,还可以包括:
B2,识别针对量化图像序列已经得到的解调结果中是否包括前导码序列;
响应于从针对量化图像序列已经得到的解调结果中识别出前导码序列,针对该前导码序列之后的当前码元执行以下操作:
B4,在前导码序列之后的当前码元为前导码序列之后的第一个码元时,基于该第一码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,确定该第一个码元的解调关键点作为至少一个目标像素点,相应地,该第一个码元的相关信息还包括:第一个码元的中解调关键点的像素位置;
B6,在前导码序列之后的当前码元为第一个码元之后的码元时,依次基于当前码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,确定相邻后一个码元的解调关键点作为至少一个目标像素点,其中的解调关键点为目标像素点中用于解调的目标像素点,相邻后一个码元为当前码元相邻的后一个码元,相应地,当前码元的相关信息还包括:当前码元中解调关键点的像素位置。
基于本实施例,在解调识别出前导码序列之后,可以依次根据各码元对应的目标像素点序列和目标像素点序列对应的解调数据序列确定相邻后一个码元的解调关键点进行解调,由此,能够适应动态场景(即移动体运动场景)下对标签的跟踪和对标签发送的信息的解调。
相应地,在一些可能的实现方式中,当前码元为前导码序列之后的码元(包括第一个码元及该第一个码元之后的码元)时,在操作A6中,具体可以基于目标像素点序列和解调数据序列,获取当前码元的解调关键点的解调数据,即从解调数据序列中获取与当前码元的解调关键点对应的解调数据,作为当前码元的解调结果。
基于本实施例,由于对应于同一个标签的目标像素点的解调数据相同,可以直接从解调数据序列中获取与当前码元的解调关键点对应的解调数据,作为当前码元的解调结果。
可选地,在一些可能的实现方式中,在操作B4和B6中,可以通过对目标量化图像中的各目标像素点进行信号质量估计,基于信号质量确定前导码序列之后各码元的解调关键点。
具体来说,在操作B4中,可以基于第一个码元对应的目标像素点序列和该目标像素点序列对应的解调数据序列,分别对第一个码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到第一个码元对应的目标量化图像中的各目标像素点的信号质量。进而,从第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第一预设质量要求的一个目标像素点作为第一个码元的解调关键点,例如,从第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量高于第一预设质量阈值、且在第一个码元对应的目标量化图像中的各目标像素点中信号质量最高的一个目标像素点作为第一个码元的解调关键点。
在操作B6中,可以基于前导码序列之后的当前码元对应的目标像素点序列和该目标像素点序列对应的解调数据序列,分别对当前码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到当前码元对应的目标量化图像中的各目标像素点的信号质量。进而,从当前码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第二预设质量要求的一个目标像素点作为所述相邻后一个码元的解调关键点,例如,确定当前码元对应的目标量化图像中,当前码元的解调关键点的邻域内是否存在信号质量与当前码元的解调关键点的信号质量之间差值大于第二预设质量阈值的目标像素点;若邻域内存在信号质量与当前码元的解调关键点的信号质量之间差值大于第二预设质量阈值的目标像素点,从该差值大于第二预设质量阈值的目标像素点中选取信号质量最高的一个目标像素点作为相邻后一个码元的解调关键点,从而实现对应于标签的目标像素点中信号质量较好的像素点的跟踪;否则,若邻域内存在信号质量与当前码元的解调关键点的信号质量之间差值均大于第二预设质量阈值的目标像素点,则选取当前码元的解调关键点作为相邻后一个码元的解调关键点,即保持解调关键点不变。
脉冲相机的视场(即观测场景)中的一个标签对应于多个像素,但许多像素很可能由于物体的移动和/或环境噪声而被遮挡,因此,找到一个具有高信号质量的良好采样位置(即关键点)对解调过程的鲁棒性至关重要。基于本公开实施例,针对同一设备标识,基于信号质量确定对应的目标像素点中前导码序列之后各码元的解调关键点,该解调关键点通常是在标签的中心位置,这里信号最稳定、最强,但随着环境的变化,解调关键点也可能在视场中移动,本实施例通过跟踪来更新解调关键点的像素位置,能够在运动场景下追踪高信号质量的关键点,鉴于脉冲相机的高采样率,能够在当前码元的解调关键点的相邻像素中找到一个可接受、信号质量最好的关键点作为下一码元的解调关键点,这使得即使在标签和脉冲相机之间的相对位置发生快速或不可预测的变化时,也可以鲁棒地解调信号。
可选地,在一些可能的实现方式中,在上述操作B4和B6中,可以通过如下方式分别对各目标像素点进行信号质量估计:
C2,基于与各目标像素点的解调数据相同的邻域内像素点的数量,确定各目标像素点的相似度。
其中,在解调数据与一个目标像素点的解调数据相同的领域内像素点的数量越多时,该目标像素点的相似度越大;反之,在解调数据与一个目标像素点的解调数据相同的领域内像素点的数量越少时,该目标像素点的相似度越小。例如,若目标像素点A在其邻域内有20个像素点的解调数据与该目标像素点的解调数据相同,目标像素点B在其邻域内有10个像素点的解调数据与该目标像素点的解调数据相同,则目标像素点A的相似度大于目标像素点B的相似度。
例如,在一个具体实现中,可以通过如下公式(3)-(4)确定目标像素点(x,y)的相似度Similarity[x,y],(x,y)表示该目标像素点的像素位置,(i,j)表示目标像素点(x,y)邻域内(即相邻的)一个像素点的像素位置,K表示以目标像素点(x,y)为中心的、X轴的两个方向和Y轴的两个方向分别相邻的K个像素点,目标像素点(x,y)与X轴的两个方向和Y轴的两个方向分别相邻的K个像素点构成以目标像素点(x,y)为中心的、包括(2K+1)*(2K+1)个像素点的正方形,K的取值为基于标签的大小等实际因素预先设置的大于1的整数。
Sim(i,j,x,y)=(demoded[i,j],demoded[x,y])M 公式(4)
其中,demoded[x,y]表示目标像素点(x,y)的解调数据,demoded[i,j]表示目标像素点(x,y)的邻域内像素点(i,j)的解调数据,当目标像素点(x,y)在之前相邻的M个码元的解调数据demoded[x,y]与该邻域内像素点(i,j)在该之前相邻的M个码元的解调数据demoded[i,j]分别对应相同时(·,·)M的值为1,否则(·,·)M的值为0。
C4,基于各目标像素点的亮度上限,确定各目标像素点的亮度。
例如,在一个具体实现中,可以通过如下公式(5)确定各目标像素点(x,y)的亮度Luminance[x,y]:
其中,upper[x,y]表示各目标像素点(x,y)的亮度上限,max_luminance表示可能的最大亮度,即脉冲相机所能接收的最大亮度,其具体取值可以预先获取。在脉冲相机一定的情况下,脉冲相机采样(即脉冲生成与发放)的频率存在最大值,如果脉冲相机的像素在每次采样中都生成并发放了脉冲,即脉冲相机中像素的脉冲序列是全1,例如1111111,此时该像素的光强对应的亮度即为可能的最大亮度。
C6,基于各目标像素点的相似度和亮度,确定各目标像素点的信号质量。
例如,在一个具体实现中,可以通过如下公式(6)确定各目标像素点(x,y)的信号质量Quality[x,y]:
Quality[x,y]=α·Similarity[x,y]+β·Luminance[x,y] 公式(6)
其中,α、β分别为预先设置的大于0且小于1的常数。
基于本实施例,可以基于各目标像素点的相似度和亮度,客观、准确的确定各目标像素点的信号质量,以便于信号质量确定前导码序列之后各码元的解调关键点,实现动态场景中解调关键点的跟踪。
本公开实施例提供的任一种点道路环境感知方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种点道路环境感知方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种点道路环境感知方法。下文不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图14为本公开标签一个实施例的结构示意图。本公开实施例的标签可设置于道路环境中,具体可以设置于道路环境中基础设施(例如路灯、路障、路牌、交通标志、限位杆等)上,也可以设置于其他移动体(例如车辆、警告三角架)上,可选地,该标签的表面可以设置用于逆反射入射光以增加标签的亮度的反光材料。本公开实施例的标签可用于实现本公开上述各应用于标签的道路环境感知方法实施例。如图14所示,该实施例的标签还包括:第二获取模块702,生成模块704,调制模块706和广播模块708。其中:
第二获取模块702,用于获取道路环境信息。
生成模块704,用于基于预设消息帧结构,根据预先设置的前导码序列和该道路环境信息生成待广播信息。其中,前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象。
调制模块706,用于通过调节标签的状态对待广播信息进行调制,得到调制信息,其中,标签的状态包括:第一状态和第二状态。
广播模块708,用于广播调制信息。
本公开实施例的标签与本公开上述各应用于标签的道路环境感知方法实施例相互对应,在内容上可相互参考、引用,关于本公开实施例的标签中的各模块及其具体实现可参考本公开上述各应用于标签的道路环境感知方法实施例的记载,此处不再赘述。
图15为本公开道路环境感知装置一个实施例的结构示意图。本公开实施例的道路环境感知装置可应用于脉冲视觉系统,该脉冲视觉系统设置于移动体上,该脉冲视觉系统可以设置于任意的移动体上,其中的移动体例如可以是汽车、轨道交通工具(例如火车、地铁等)、机器人、飞行物等任意可移动的对象,该脉冲视觉系统包括光敏阵列。本公开实施例的道路环境感知装置可用于实现本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例。如图15所示,该实施例的道路环境感知装置包括:
第一获取模块802,用于获取光敏阵列生成的脉冲流,其中,该脉冲流基于光敏阵列捕获的道路环境中标签的状态生成;脉冲流包括所述光敏阵列中各光敏单元采集得到的脉冲序列,光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;脉冲序列包括在各采样时刻的脉冲特征值,该脉冲特征值用于表示是否有脉冲生成。
解调模块804,用于对脉冲流中对应于标签的光敏单元对应的脉冲序列进行解调,得到脉冲流对应的解调结果,该脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象。
解析模块806,用于响应于从脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息。
图16为本公开道路环境感知装置另一个实施例的结构示意图。如图16所示,在图15所示实施例的基础上,该实施例的道路环境感知装置还可以包括:图像重建模块808,用于基于脉冲流进行图像重建,得到重建图像序列,该重建图像序列包括各采样时刻的重建图像。其中,重建图像中的各像素点对应于光敏阵列中各光敏单元。相应地,解调模块804,用于对脉冲流中对应于标签的光敏单元对应的脉冲序列进行解调.
可选地,在一些可能的实现方式中,图像重建模块808,具体用于:分别针对光敏阵列中的各光敏单元,基于各光敏单元对应的脉冲序列,获取脉冲间隔小于第一预设阈值的特定光敏单元;基于各光敏单元对应的脉冲序列中的脉冲特征值,获取各光敏单元在各采样时刻的光强值;利用预设灰度变换方式,对各光敏单元在各采样时刻的光强值进行灰度变换,以提高特定光敏单元的光强值与其他光敏单元的光强值之间的对比度,得到各光敏单元在各采样时刻的灰度值;其中,其他光敏单元为光敏阵列中除特定光敏单元之外的光敏单元;基于各光敏单元在各采样时刻的灰度值,生成各采样时刻的重建图像。
量化模块810,用于利用自适应量化算法,分别对各采样时刻的重建图像中各像素点的灰度值进行量化处理,得到量化图像序列,该量化图像序列包括各采样时刻的重建图像对应的量化图像。在量化图像中,对应于标签的目标像素点的灰度值被量化为+1或者-1,不对应于标签的非目标像素点的灰度值被量化为0。相应地,解调模块804,具体用于对量化图像序列中的目标像素点的数据进行解调。
可选地,在一些可能的实现方式中,解调模块804可以包括:确定单元,用于依次以量化图像序列中的一个码元作为当前码元,基于预设时钟周期和量化图像序列中的量化图像,确定当前码元的相关信息,当前码元的相关信息包括:当前码元的起始时刻;解调单元,用于基于当前码元的相关信息,对量化图像序列中属于当前码元的一帧目标量化图像中至少一个目标像素点的灰度值量化值进行解调,得到当前码元的解调结果,当前码元的解调结果包括至少一个目标像素点的灰度值量化值对应的脉冲特征值;其中,上述脉冲流对应的解调结果包括该量化图像序列中所有码元的解调结果。
可选地,在一些可能的实现方式中,解调单元,具体用于:基于当前码元的相关信息,确定量化图像序列中属于当前码元的一帧目标量化图像;对目标量化图像中目标像素点的灰度值量化值进行解调,得到目标像素点序列和目标像素点序列对应的解调数据序列,目标像素点序列包括各目标像素点的像素位置,解调数据序列包括各目标像素点的解调数据,解调数据为各目标像素点的灰度值量化值对应的脉冲特征值;基于目标像素点序列和解调数据序列确定当前码元的解调结果。
可选地,在一些可能的实现方式中,确定单元,还用于:在前导码序列之后的当前码元为前导码序列之后的第一个码元时,基于第一码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,确定第一个码元的解调关键点作为至少一个目标像素点;在前导码序列之后的当前码元为第一个码元之后的码元时,基于当前码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,确定相邻后一个码元的解调关键点作为至少一个目标像素点,解调关键点为目标像素点中用于解调的目标像素点;其中,相邻后一个码元为当前码元相邻的后一个码元。相应地,上述当前码元的相关信息还包括:当前码元中解调关键点的像素位置。
可选地,在一些可能的实现方式中,确定单元,具体用于:在前导码序列之后的当前码元为前导码序列之后的第一个码元时,基于第一个码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,分别对第一个码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到第一个码元对应的目标量化图像中的各目标像素点的信号质量;从第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第一预设质量要求的一个目标像素点作为第一个码元的解调关键点;在前导码序列之后的当前码元为第一个码元之后的码元时,基于前导码序列之后的当前码元对应的目标像素点序列和目标像素点序列对应的解调数据序列,分别对当前码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到当前码元对应的目标量化图像中的各目标像素点的信号质量;从当前码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第二预设质量要求的一个目标像素点作为相邻后一个码元的解调关键点。
本公开实施例的道路环境感知装置与本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例相互对应,在内容上可相互参考、引用,关于本公开实施例的道路环境感知装置中的各模块及其具体实现可参考本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例的记载,此处不再赘述。
图17为本公开脉冲视觉系统一个实施例的结构示意图。本公开实施例的脉冲视觉系统可设置于移动体上,该脉冲视觉系统可以设置于任意的移动体上,其中的移动体例如可以是汽车、轨道交通工具(例如火车、地铁等)、机器人、飞行物等任意可移动的对象,本公开实施例的脉冲视觉系统可用于实现本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例。如图17所示,该实施例的脉冲视觉系统包括光敏阵列902和道路环境感知装置904。其中:
光敏阵列902,用于捕获道路环境中标签的状态,生成脉冲流。其中,标签的状态包括第一状态和第二状态。脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,光敏阵列中的不同光敏单元分别对应于观测场景的不同区域,脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
道路环境感知装置904,用于对光敏阵列902生成的脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到该脉冲流对应的解调结果,该脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,;前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象;响应于从解调结果中识别出前导码序列,基于预设消息帧结构和脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息。
本公开实施例的脉冲视觉系统与本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例相互对应,在内容上可相互参考、引用,关于本公开实施例的脉冲视觉系统中的各模块及其具体实现可参考本公开上述各应用于脉冲视觉系统的道路环境感知方法实施例的记载,此处不再赘述。
图18为本公开道路环境感知系统一个实施例的结构示意图。如图18所示,本实施例的道路环境感知系统包括应用于道路环境中的标签1和设置于移动体上的脉冲视觉系统2,脉冲视觉系统2包括光敏阵列,其中:
标签1,用于获取道路环境信息;基于预设消息帧结构,根据预先设置的前导码序列和道路环境信息生成待广播信息;前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象;通过调节标签的状态对所述待广播信息进行调制,得到调制信息;其中,标签的状态包括:第一状态和第二状态;广播调制信息。
脉冲视觉系统2,用于光敏阵列捕获道路环境中标签的状态,生成脉冲流;其中,脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,光敏阵列中的不同光敏单元分别对应于观测场景的不同区域,脉冲序列包括在各采样时刻的脉冲特征值,该脉冲特征值用于表示是否有脉冲生成;对脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到该脉冲流对应的解调结果,该脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列;其中,前导码序列用于形成预设数量个连续的闪烁效果,以区分标签和道路环境中的其他对象;响应于从脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和该脉冲流对应的解调结果中位于前导码序列之后的解调结果,解析得到至少一条道路环境信息。
可选地,在一些可能的实现方式中,该脉冲视觉系统2可以基于图17所示实施例的结构实现,即包括脉冲相机902和道路环境感知装置904。
关于本公开实施例中标签和脉冲视觉系统的具体实现,可以参考、引用本公开上述各实施例的记载,此处不再赘述。
另外,本公开实施例还提供了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器,还包括本公开上述任一实施例所述的脉冲视觉系统;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述时序信号处理装置实现本公开上述任一应用于脉冲视觉系统的道路环境感知方法实施例。
可选地,在一些可能的实现方式中,上述电子设备例如可以包括但不限于以下任意一项:脉冲相机、高速相机、视觉相机、音频播放器、视频播放器、导航设备、固定位置终端、娱乐单元、智能手机、通信设备、移动设备、机动交通工具中的设备、车载摄像头、手机摄像头、运动或可穿戴式相机、交通摄像头、工业检测相机、安装在可飞行物体上的摄像头、医疗摄像头、安防摄像头、或家用电器摄像头。
另外,本公开实施例还提供了另一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器,还包括本公开上述任一实施例所述的标签;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述时序信号处理装置实现本公开上述任一应用于标签的道路环境感知方法实施例。
图19为本公开电子设备一个应用实施例的结构示意图。下面,参考图19来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
如图19所示,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以存储一个或多个计算机程序产品,所述存储器可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品,处理器可以运行所述计算机程序产品,以实现上文所述的本公开的各个实施例的道路环境感知方法以及/或者其他期望的功能。
在一个示例中,电子装置还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入装置还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然,为了简化,图19中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的道路环境感知方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的道路环境感知方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (34)
1.一种道路环境感知方法,其特征在于,所述方法包括:
捕获道路环境中标签的状态,生成脉冲流;所述标签的状态包括第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;所述脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列、道路环境信息的信息类型、所述标签的设备标识、所述道路环境信息帧长度和所述信息类型的道路环境信息的信息内容;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象,所述设备标识用于唯一标识一个设备;所述道路环境信息的信息类型包括以下任意一种或多种:道路交通管制信息,动态感知信息,故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;
响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
2.根据权利要求1所述的方法,其特征在于,所述标签的表面设置有用于反射入射光以增加所述标签的亮度的反光材料。
3.根据权利要求1所述的方法,其特征在于,所述解析得到至少一条道路环境信息后,还包括:
根据所述至少一条道路环境信息输出提示消息;和/或,
根据所述至少一条道路环境信息对移动体进行相应的行驶控制。
4.根据权利要求1-3任一所述的方法,其特征在于,生成脉冲流之后,还包括:
基于所述脉冲流进行图像重建,得到重建图像序列,所述重建图像序列包括所述各采样时刻的重建图像;其中,所述重建图像中的各像素点对应于所述光敏阵列中各光敏单元;
对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,包括:
对所述重建图像序列中对应于所述标签的像素点的数据进行解调。
5.根据权利要求4所述的方法,其特征在于,基于所述脉冲流进行图像重建,得到重建图像序列,包括:
分别针对所述光敏阵列中的各光敏单元,基于所述各光敏单元对应的脉冲序列,获取脉冲间隔小于第一预设阈值的特定光敏单元;
基于所述各光敏单元对应的脉冲序列中的脉冲特征值,获取所述各光敏单元在所述各采样时刻的光强值;
利用预设灰度变换方式,对所述各光敏单元在所述各采样时刻的光强值进行灰度变换,以提高所述特定光敏单元的光强值与其他光敏单元的光强值之间的对比度,得到所述各光敏单元在所述各采样时刻的灰度值;其中,所述其他光敏单元为所述光敏阵列中除所述特定光敏单元之外的光敏单元;
基于所述各光敏单元在所述各采样时刻的灰度值,生成所述各采样时刻的重建图像。
6.根据权利要求5所述的方法,其特征在于,得到重建图像序列之后,还包括:
利用自适应量化算法,分别对所述各采样时刻的重建图像中各像素点的灰度值进行量化处理,得到量化图像序列,所述量化图像序列包括所述各采样时刻的重建图像对应的量化图像;其中,在所述量化图像中,对应于所述标签的目标像素点的灰度值被量化为+1或者-1,不对应于所述标签的非目标像素点的灰度值被量化为0;
对所述重建图像序列中对应于所述标签的像素点的数据进行解调,包括:对所述量化图像序列中的目标像素点的灰度值量化值进行解调。
7.根据权利要求6所述的方法,其特征在于,利用自适应量化算法,分别对所述各采样时刻的重建图像中各像素点的灰度值进行量化处理,包括:
分别针对所述各采样时刻的重建图像中各像素点,比较所述各像素点对应的光敏单元采集所述观测场景时的亮度上限和亮度下限之间的差值是否大于第二预设阈值;
确定所述亮度上限和所述亮度下限之间的差值大于所述第二预设阈值的像素点为对应于所述标签的目标像素点,
分别比较所述目标像素点中各目标像素点的灰度值是否大于所述亮度上限与所述亮度下限的平均值,将灰度值大于所述亮度上限与所述亮度下限的平均值的目标像素点的灰度值量化为+1,将灰度值不大于所述亮度上限与所述亮度下限的平均值的目标像素点的灰度值量化为-1;
确定所述亮度上限和所述亮度下限之间的差值不大于所述第二预设阈值的像素点为非目标像素点,分别将所述非目标像素点中的各非目标像素点的灰度值量化为0。
8.根据权利要求6所述的方法,其特征在于,对所述量化图像序列中的目标像素点的灰度值量化值进行解调,包括:
依次以所述量化图像序列中的一个码元作为当前码元:
基于预设时钟周期和所述量化图像序列中的量化图像,确定所述当前码元的相关信息,所述当前码元的相关信息包括:所述当前码元的起始时刻;
基于所述当前码元的相关信息,对所述量化图像序列中属于所述当前码元的一帧目标量化图像中至少一个目标像素点的灰度值量化值进行解调,得到所述当前码元的解调结果,所述当前码元的解调结果包括所述至少一个目标像素点的灰度值量化值对应的脉冲特征值;所述脉冲流对应的解调结果包括量化图像序列中所有码元的解调结果。
9.根据权利要求8所述的方法,其特征在于,基于预设时钟周期和所述量化图像序列中的量化图像,确定所述当前码元的相关信息,包括:
所述当前码元为所述量化图像序列中第一个码元时,确定所述量化图像序列中的第一帧量化图像作为所述第一个码元的起始时刻;
所述当前码元为所述量化图像序列中所述第一个码元之后的任一码元时,基于相邻前一码元的解调数据是否为用于表示有脉冲生成的脉冲特征值、所述预设时钟周期和所述相邻前一码元的起始时刻,确定所述任一码元的起始时刻;其中,所述相邻前一个码元为所述任一码元相邻的前一个码元。
10.根据权利要求8所述的方法,其特征在于,基于所述当前码元的相关信息,对所述量化图像序列中属于所述当前码元的一帧目标量化图像中所述目标像素点的灰度值量化值进行解调,得到所述当前码元的解调结果,包括:
基于所述当前码元的相关信息,确定所述量化图像序列中属于所述当前码元的一帧目标量化图像;
对所述目标量化图像中所述目标像素点的灰度值量化值进行解调,得到目标像素点序列和所述目标像素点序列对应的解调数据序列,所述目标像素点序列包括所述各目标像素点的像素位置,所述解调数据序列包括所述各目标像素点的解调数据,所述解调数据为所述各目标像素点的灰度值量化值对应的脉冲特征值;
基于所述目标像素点序列和所述解调数据序列确定所述当前码元的解调结果。
11.根据权利要求10所述的方法,其特征在于,确定所述当前码元的解调结果之后,还包括:
识别针对所述量化图像序列已经得到的解调结果中是否包括所述前导码序列;
响应于从针对所述量化图像序列已经得到的解调结果中识别出所述前导码序列,针对所述前导码序列之后的当前码元:
在所述前导码序列之后的当前码元为所述前导码序列之后的第一个码元时,基于所述第一码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,确定所述第一个码元的解调关键点作为所述至少一个目标像素点;
在所述前导码序列之后的当前码元为所述第一个码元之后的码元时,依次基于所述当前码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,确定相邻后一个码元的解调关键点作为所述至少一个目标像素点,所述解调关键点为所述目标像素点中用于解调的目标像素点;其中,所述相邻后一个码元为所述当前码元相邻的后一个码元;
所述当前码元的相关信息还包括:所述当前码元中解调关键点的像素位置。
12.根据权利要求11所述的方法,其特征在于,所述当前码元为所述前导码序列之后的码元时,基于所述目标像素点序列和所述解调数据序列确定所述当前码元的解调结果,包括:
基于所述目标像素点序列和所述解调数据序列,获取所述当前码元的解调关键点的解调数据,作为所述当前码元的解调结果。
13.根据权利要求11所述的方法,其特征在于,基于所述第一码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,确定所述第一个码元的解调关键点,包括:
基于所述第一个码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,分别对所述第一个码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到所述第一个码元对应的目标量化图像中的各目标像素点的信号质量;
从所述第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第一预设质量要求的一个目标像素点作为所述第一个码元的解调关键点;
基于所述当前码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,确定相邻后一个码元的解调关键点,包括:
基于所述前导码序列之后的当前码元对应的目标像素点序列和所述目标像素点序列对应的解调数据序列,分别对所述当前码元对应的目标量化图像中的各目标像素点进行信号质量估计,得到所述当前码元对应的目标量化图像中的各目标像素点的信号质量;
从所述当前码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第二预设质量要求的一个目标像素点作为所述相邻后一个码元的解调关键点。
14.根据权利要求13所述的方法,其特征在于,对各目标像素点进行信号质量估计,包括:
基于与所述各目标像素点的解调数据相同的邻域内像素点的数量,确定所述各目标像素点的相似度;
基于所述各目标像素点的亮度上限,确定所述各目标像素点的亮度;
基于所述各目标像素点的相似度和亮度,确定所述各目标像素点的信号质量。
15.根据权利要求13所述的方法,其特征在于,从所述第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第一预设质量要求的一个目标像素点作为所述第一个码元的解调关键点,包括:
从所述第一个码元对应的目标量化图像中的各目标像素点中,选取信号质量高于第一预设质量阈值、且在所述第一个码元对应的目标量化图像中的各目标像素点中信号质量最高的一个目标像素点作为所述第一个码元的解调关键点;
从所述当前码元对应的目标量化图像中的各目标像素点中,选取信号质量满足第二预设质量要求的一个目标像素点作为所述相邻后一个码元的解调关键点,包括:
确定所述当前码元对应的目标量化图像中,所述当前码元的解调关键点的邻域内是否存在信号质量与所述当前码元的解调关键点的信号质量之间差值大于第二预设质量阈值的目标像素点;
若所述邻域内存在信号质量与所述当前码元的解调关键点的信号质量之间差值大于第二预设质量阈值的目标像素点,从所述差值大于第二预设质量阈值的目标像素点中选取信号质量最高的一个目标像素点作为所述相邻后一个码元的解调关键点;
否则,若所述邻域内存在信号质量与所述当前码元的解调关键点的信号质量之间差值大于第二预设质量阈值的目标像素点,选取所述当前码元的解调关键点作为所述相邻后一个码元的解调关键点。
16.根据权利要求1-3任一所述的方法,其特征在于,所述预设消息帧结构包括基于第三预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,至少一个信息字段,校验和字段;其中,所述信息字段的结构包括基于第四预设格式的以下子字段:各预设内容的子字段;所述前导字段、所述设备标识字段、所述帧长度字段和所述校验和字段中的各字段、以及所述信息类型子字段分别具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;所述至少一条道路环境信息包括至少一种信息类型的道路环境信息;
或者,所述预设消息帧结构包括基于第三预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,至少一个信息字段,校验和字段;其中,所述信息字段的结构包括基于第四预设格式的以下子字段:各预设内容的子字段;所述前导字段、所述设备标识字段、所述帧长度字段、所述信息类型字段和所述校验和字段中的各字段具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;所述至少一条道路环境信息包括同一种信息类型的道路环境信息;
或者,
所述预设消息帧结构包括基于第五预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,信息字段,校验和字段;其中,所述信息字段的结构包括基于第六预设格式的以下子字段:信息类型对应信息中各预设内容的子字段;所述前导字段、所述设备标识字段、所述信息类型字段和所述校验和字段中的各字段具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;所述至少一条道路环境信息包括一条道路环境信息。
17.根据权利要求16所述的方法,其特征在于,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息,包括:
基于所述预设消息帧结构,确定所述解调结果中不属于所述校验和字段的其他解调数据;
利用预设校验算法,对所述其他解调数据进行计算,得到校验和计算结果;
比较所述校验和计算结果与所述校验和字段的解调数据是否一致;
响应于所述校验和计算结果与所述校验和字段的解调数据一致,基于所述预设消息帧结构,从所述前导码序列之后的解调结果中获取所述预设消息帧结构中各字段和各子字段的解调数据;
分别对所述预设消息帧结构中各字段和各子字段的解调数据进行解析,得到至少一条道路环境信息。
18.一种道路环境感知方法,其特征在于,应用于标签,所述标签部署于道路环境中,所述方法包括:
获取道路环境信息;所述道路环境信息包括以下任意一种或多种信息类型的信息:道路交通管制信息,动态感知信息;所述动态感知信息包括以下任意一种或多种信息类型的信息:故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;
基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
通过调节所述标签的状态使所述标签呈现相应的亮状态或者暗状态,对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;
广播所述调制信息。
19.根据权利要求18所述的方法,其特征在于,所述标签的表面设置有用于反射入射光以增加所述标签的亮度的反光材料。
20.根据权利要求19所述的方法,其特征在于,调节所述标签的状态使所述标签呈现相应的亮状态或者暗状态,包括:
基于预设时钟周期控制所述标签是否反射入射光的反射光,使所述标签呈现相应的亮状态或者暗状态。
21.根据权利要求18-20任一所述的方法,其特征在于,所述预设消息帧结构包括基于第一预设格式的以下字段:前导字段,设备标识字段,帧长度字段,至少一个信息字段,校验和字段;其中,所述信息字段的结构包括基于第二预设格式的以下子字段:信息类型子字段,信息类型对应信息中各预设内容的子字段;所述前导字段、所述设备标识字段、所述帧长度字段和所述校验和字段中的各字段、以及所述信息类型子字段分别具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;
所述道路环境信息包括:至少一种信息类型的道路环境信息;
基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息,包括:
针对所述至少一种信息类型的道路环境信息执行以下操作:
获取预先设置的前导码序列作为所述前导字段的属性值;
获取所述标签的设备标识作为所述设备标识字段的属性值;其中,所述设备标识用于唯一标识一个设备;
基于所述预设消息帧结构、所述至少一种信息类型的道路环境信息包括的道路环境信息的数量和所述至少一种信息类型的道路环境信息中每条道路环境信息的信息类型,确定所述帧长度字段的属性值;
分别基于所述至少一种信息类型的道路环境信息中每条道路环境信息的信息类型和信息内容确定一个信息字段中各子字段的属性值;
利用预设校验算法,对所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值和所述至少一个信息字段中各信息字段的属性值进行处理,得到所述校验和字段的属性值;
基于所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值、所述至少一个信息字段中各信息字段的属性值和所述校验和字段的属性值,生成具有所述预设消息帧结构的所述待广播信息。
22.根据权利要求21所述的方法,其特征在于,所述针对所述至少一种信息类型的道路环境信息执行以下操作,包括:
比较所述道路环境信息的数量是否大于第一预设数量;
响应于所述道路环境信息的数量大于所述第一预设数量,依次从所述至少一种信息类型的道路环境信息中选取不大于所述第一预设数量的道路环境信息作为目标道路环境信息,针对所述目标道路环境信息执行所述以下操作;
响应于所述道路环境信息的数量不大于所述第一预设数量,直接针对所述至少一种信息类型的道路环境信息执行所述以下操作。
23.根据权利要求18-20任一所述的方法,其特征在于,所述预设消息帧结构包括基于第三预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,至少一个信息字段,校验和字段;其中,所述信息字段的结构包括基于第四预设格式的以下子字段:各预设内容的子字段;所述前导字段、所述设备标识字段、所述帧长度字段、所述信息类型字段和所述校验和字段中的各字段具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;
所述道路环境信息包括:至少一种信息类型的道路环境信息;
基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息,包括:
依次从所述至少一种信息类型的道路环境信息中选取一种信息类型的道路环境信息执行以下操作:
获取预先设置的前导码序列作为所述前导字段的属性值;
获取所述标签的设备标识作为所述设备标识字段的属性值;其中,所述设备标识用于唯一标识一个设备;
获取选取的一种类型的道路环境信息的信息类型作为所述信息类型字段的属性值;
基于所述预设消息帧结构、所述选取的一种类型的道路环境信息的信息类型和所述选取的一种信息类型的道路环境信息包括的道路环境信息的数量,确定所述帧长度字段的属性值;
分别基于所述选取的一种信息类型的道路环境信息中每条道路环境信息的信息内容确定与所述选取的一种信息类型对应的一个信息字段中各子字段的属性值;
利用预设校验算法,对所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值、所述信息类型字段的属性值和所述至少一个信息字段中各子字段的属性值进行处理,得到所述校验和字段的属性值;
基于所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值、所述信息类型字段的属性值、所述至少一个信息字段中各子字段的属性值和所述校验和字段的属性值,生成具有所述预设消息帧结构的所述待广播信息。
24.根据权利要求23所述的方法,其特征在于,所述依次从所述至少一种信息类型的道路环境信息中选取一种信息类型的道路环境信息执行以下操作,包括:
获取所述道路环境信息的数量是否大于第二预设数量;
响应于所述道路环境信息的数量大于所述第二预设数量,依次从所述选取的一种类型的道路环境信息中选取不大于所述第二预设数量的道路环境信息作为目标道路环境信息,针对所述目标道路环境信息执行所述以下操作,直至所述选取的一种类型的道路环境信息中不存在未被选取的道路环境信息,从所述至少一种信息类型的道路环境信息中选取下一种信息类型的道路环境信息,并以所述下一种信息类型的道路环境信息作为所述选取的一种类型的道路环境信息,开始执行所述获取所述道路环境信息的数量是否大于第二预设数量的操作;
响应于所述道路环境信息的数量不大于所述第二预设数量,直接针对所述选取的一种信息类型的道路环境信息执行所述以下操作;从所述至少一种信息类型的道路环境信息中选取下一种信息类型的道路环境信息,并以所述下一种信息类型的道路环境信息作为所述选取的一种类型的道路环境信息,开始执行所述获取所述道路环境信息的数量是否大于第二预设数量的操作。
25.根据权利要求18-20任一所述的方法,其特征在于,所述预设消息帧结构包括基于第五预设格式的以下字段:前导字段,设备标识字段,帧长度字段,信息类型字段,信息字段,校验和字段;其中,所述信息字段的结构包括基于第六预设格式的以下子字段:信息类型对应信息中各预设内容的子字段;所述前导字段、所述设备标识字段、所述信息类型字段和所述校验和字段中的各字段具有相应的预设长度,所述各预设内容的子字段分别具有与对应的信息类型相应的预设长度;
所述道路环境信息包括:至少一种信息类型的道路环境信息;
基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息,包括:
依次从所述至少一种信息类型的道路环境信息中选取一条道路环境信息;
获取预先设置的前导码序列作为所述前导字段的属性值;
获取所述标签的设备标识作为所述设备标识字段的属性值;其中,所述设备标识用于唯一标识一个设备;
获取选取的道路环境信息对应的目标信息类型,作为所述信息类型字段的属性值;
基于所述预设消息帧结构和所述目标信息类型,确定所述帧长度字段的属性值;
分别从所述选取的道路环境信息中,获取所述目标信息类型对应的信息字段中各预设内容的子字段的属性值;
利用预设校验算法,对所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值、所述信息类型字段的属性值和所述信息字段中各子字段的属性值进行处理,得到所述校验和字段的属性值;
基于所述前导字段的属性值、所述设备标识字段的属性值、所述帧长度字段的属性值、所述信息类型字段的属性值、所述信息类型字段的属性值、所述信息字段中各预设内容的子字段的属性值和所述校验和字段的属性值,生成具有所述预设消息帧结构的所述待广播信息。
26.一种道路环境感知装置,其特征在于,所述装置包括:
第一获取模块,用于获取光敏阵列生成的脉冲流,其中,所述脉冲流基于所述光敏阵列捕获的道路环境中标签的状态生成,所述标签的状态包括第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;所述脉冲流包括所述光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
解调模块,用于对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列、道路环境信息的信息类型、所述标签的设备标识、所述道路环境信息帧长度和所述信息类型的道路环境信息的信息内容;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象,所述设备标识用于唯一标识一个设备;所述道路环境信息的信息类型包括以下任意一种或多种:道路交通管制信息,动态感知信息,故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;
解析模块,用于响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
27.一种脉冲视觉系统,其特征在于,所述脉冲视觉系统包括光敏阵列和道路环境感知装置,其中:
所述光敏阵列,用于捕获道路环境中标签的状态,生成脉冲流;所述标签的状态包括第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;所述脉冲流包括所述光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;
所述道路环境感知装置,用于对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列、道路环境信息的信息类型、所述标签的设备标识、所述道路环境信息帧长度和所述信息类型的道路环境信息的信息内容;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象,所述设备标识用于唯一标识一个设备,所述道路环境信息的信息类型包括以下任意一种或多种:道路交通管制信息,动态感知信息,故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
28.一种标签,其特征在于,所述标签部署于道路环境中,所述标签包括:
第二获取模块,用于获取道路环境信息;所述道路环境信息包括以下任意一种或多种信息类型的信息:道路交通管制信息,动态感知信息;所述动态感知信息包括以下任意一种或多种信息类型的信息:故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;
生成模块,用于基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;
调制模块,用于通过调节所述标签的状态使所述标签呈现相应的亮状态或者暗状态,对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;
广播模块,用于广播所述调制信息。
29.一种道路环境感知系统,其特征在于,包括标签和脉冲视觉系统,所述标签部署于道路环境中,所述脉冲视觉系统包括光敏阵列,其中:
所述标签,用于获取道路环境信息,所述道路环境信息包括以下任意一种或多种信息类型的信息:道路交通管制信息,动态感知信息;所述动态感知信息包括以下任意一种或多种信息类型的信息:故障车辆的故障信息,交通事故信息,盲区感知信息,道路状况信息,交通状况信息;基于预设消息帧结构,根据预先设置的前导码序列和所述道路环境信息对应于所述预设消息帧结构中各字段的属性值,生成待广播信息;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象;通过调节所述标签的状态使所述标签呈现相应的亮状态或者暗状态,对所述待广播信息进行调制,得到调制信息;其中,所述标签的状态包括:第一状态和第二状态,所述第一状态包括亮状态和暗状态中的一个,所述第二状态包括亮状态和暗状态中的另一个;广播所述调制信息;
所述脉冲视觉系统,用于利用所述光敏阵列捕获道路环境中标签的状态,生成脉冲流;所述脉冲流包括光敏阵列中各光敏单元采集得到的脉冲序列,所述光敏阵列中的不同光敏单元分别对应于观测场景的不同区域;所述脉冲序列包括在各采样时刻的脉冲特征值,所述脉冲特征值用于表示是否有脉冲生成;对所述脉冲流中对应于所述标签的光敏单元对应的脉冲序列进行解调,得到所述脉冲流对应的解调结果,所述脉冲流对应的解调结果包括用于表示以下信息的解调数据:前导码序列、道路环境信息的信息类型、所述标签的设备标识、所述道路环境信息帧长度和所述道路环境信息的信息内容;其中,所述前导码序列用于形成预设数量个连续的闪烁效果,以区分所述标签和所述道路环境中的其他对象,所述设备标识用于唯一标识一个设备;响应于从所述脉冲流对应的解调结果中识别出前导码序列,基于预设消息帧结构和所述脉冲流对应的解调结果中位于所述前导码序列之后的解调结果,解析得到至少一条道路环境信息。
30.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器,还包括权利要求27所述的脉冲视觉系统;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述脉冲视觉系统实现权利要求1-17任一所述的道路环境感知方法。
31.根据权利要求30所述的设备,其特征在于,所述电子设备包括以下任意一项:脉冲相机、高速相机、视觉相机、音频播放器、视频播放器、导航设备、固定位置终端、娱乐单元、智能手机、通信设备、移动设备、机动交通工具中的设备、车载摄像头、手机摄像头、运动或可穿戴式相机、交通摄像头、工业检测相机、安装在可飞行物体上的摄像头、医疗摄像头、安防摄像头、或家用电器摄像头。
32.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器,还包括权利要求28所述的标签;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以控制所述标签实现权利要求18-25任一所述的道路环境感知方法。
33.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当所述指令被执行时,使得计算机执行权利要求1-17或者18-25中任一所述的道路环境感知方法。
34.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-17或者18-25中任一所述的道路环境感知方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211733139.8A CN115938146B (zh) | 2022-12-30 | 2022-12-30 | 道路环境感知方法、装置和系统、标签、设备、程序及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211733139.8A CN115938146B (zh) | 2022-12-30 | 2022-12-30 | 道路环境感知方法、装置和系统、标签、设备、程序及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115938146A CN115938146A (zh) | 2023-04-07 |
CN115938146B true CN115938146B (zh) | 2024-03-08 |
Family
ID=86552487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211733139.8A Active CN115938146B (zh) | 2022-12-30 | 2022-12-30 | 道路环境感知方法、装置和系统、标签、设备、程序及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115938146B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427823A (zh) * | 2019-06-28 | 2019-11-08 | 北京大学 | 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 |
CN115169387A (zh) * | 2022-06-20 | 2022-10-11 | 脉冲视觉(北京)科技有限公司 | 脉冲信号的前景检测方法、装置、电子设备及存储介质 |
CN115468574A (zh) * | 2022-08-29 | 2022-12-13 | 浙大城市学院 | 一种用于自动驾驶环境感知的低功耗高精度定位技术 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080122607A1 (en) * | 2006-04-17 | 2008-05-29 | James Roy Bradley | System and Method for Vehicular Communications |
-
2022
- 2022-12-30 CN CN202211733139.8A patent/CN115938146B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427823A (zh) * | 2019-06-28 | 2019-11-08 | 北京大学 | 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 |
CN115169387A (zh) * | 2022-06-20 | 2022-10-11 | 脉冲视觉(北京)科技有限公司 | 脉冲信号的前景检测方法、装置、电子设备及存储介质 |
CN115468574A (zh) * | 2022-08-29 | 2022-12-13 | 浙大城市学院 | 一种用于自动驾驶环境感知的低功耗高精度定位技术 |
Also Published As
Publication number | Publication date |
---|---|
CN115938146A (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138880B2 (en) | Vehicle-sourced infrastructure quality metrics | |
US10643468B2 (en) | Traffic light control device, method, and system | |
Cailean et al. | Visible light communications: Application to cooperation between vehicles and road infrastructures | |
CN112750170B (zh) | 一种雾特征识别方法、装置及相关设备 | |
CN208874571U (zh) | 使用可见光通信的车辆通信的装置 | |
CN107864013B (zh) | 面向无人驾驶车辆的自适应成像定位导航系统及方法 | |
CN111431595B (zh) | 一种基于后置偏振的车辆与基础设施间的通信系统和方法 | |
CN112116807B (zh) | 一种多功能交通安全引导装置 | |
US11694552B2 (en) | Traffic warning and data capture devices and methods | |
Wu et al. | Modeling vehicle-to-vehicle visible light communication link duration with empirical data | |
KR102345777B1 (ko) | 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치 | |
Pham et al. | Deep learning for optical vehicular communication | |
Hasan et al. | Simultaneous traffic sign recognition and real-time communication using dual camera in ITS | |
CN115938146B (zh) | 道路环境感知方法、装置和系统、标签、设备、程序及介质 | |
CN111596090A (zh) | 车辆行驶速度的测量方法、装置、车辆和介质 | |
CN205318623U (zh) | 智能红绿灯交通控制系统 | |
Wang et al. | An early warning system for curved road based on ov7670 image acquisition and stm32 | |
CN109004981B (zh) | 一种基于模糊效应的视觉可见光通信检测方法 | |
CN114120629A (zh) | 基于交通控制设备的车辆控制方法、装置、设备及介质 | |
CN116783629A (zh) | 用于载人车辆和无人车辆的物体检测和识别系统及方法 | |
KR101867869B1 (ko) | 가로등 기반 재난 대응 시스템 | |
US20210295059A1 (en) | Structured texture embeddings in pathway articles for machine recognition | |
Guo et al. | Invisible Optical Adversarial Stripes on Traffic Sign against Autonomous Vehicles | |
Tamang et al. | Optical camera communication for vehicular applications: A survey | |
CN105100288A (zh) | 应用新一代信息技术的车辆车灯使用管控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |