CN112991770B - 行进状态监测方法、装置、电子设备、介质及程序产品 - Google Patents

行进状态监测方法、装置、电子设备、介质及程序产品 Download PDF

Info

Publication number
CN112991770B
CN112991770B CN202110166158.6A CN202110166158A CN112991770B CN 112991770 B CN112991770 B CN 112991770B CN 202110166158 A CN202110166158 A CN 202110166158A CN 112991770 B CN112991770 B CN 112991770B
Authority
CN
China
Prior art keywords
monitored object
characteristic
feature
lane
environmental sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110166158.6A
Other languages
English (en)
Other versions
CN112991770A (zh
Inventor
李杨
沈国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rajax Network Technology Co Ltd
Original Assignee
Rajax Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rajax Network Technology Co Ltd filed Critical Rajax Network Technology Co Ltd
Priority to CN202110166158.6A priority Critical patent/CN112991770B/zh
Publication of CN112991770A publication Critical patent/CN112991770A/zh
Application granted granted Critical
Publication of CN112991770B publication Critical patent/CN112991770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本公开实施例公开了一种行进状态监测方法、装置、电子设备、介质及程序产品,所述行进状态监测方法包括:采集被监测对象的环境声音,获取所述被监测对象的移动速度;基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征;基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。该技术方案能够准确地得到被监测对象的行进状态,进而能够及时实施提醒等操作,从而有效消除出行安全隐患,保护大众生命财产安全。

Description

行进状态监测方法、装置、电子设备、介质及程序产品
技术领域
本公开涉及行进状态监测技术领域,具体涉及一种行进状态监测方法、装置、电子设备、介质及程序产品。
背景技术
随着互联网技术的发展,越来越多的用户选择借助互联网平台购买商品或服务,这就意味着需要很多配送人员配送这些商品或者执行这些服务。而为了提升配送时效,配送人员通常尽可能地提高骑行速度,甚至不惜做出逆行、闯红灯等违反交通规则的行为,为自己和路人的出行带来安全隐患,严重时还会危及生命,带来生命财产损失。
发明内容
本公开实施例提供一种行进状态监测方法、装置、电子设备、介质及程序产品。
第一方面,本公开实施例中提供了一种行进状态监测方法。
具体的,所述行进状态监测方法,包括:
采集被监测对象的环境声音,获取所述被监测对象的移动速度;
基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征;
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
结合第一方面,本公开在第一方面的第一种实现方式中,所述基于所述被监测对象的移动速度提取所述被监测对象的速度特征,包括:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
结合第一方面和第一方面的第一种实现方式,本公开实施例在第一方面的第二种实现方式中,所述基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征,包括:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式,本公开实施例在第一方面的第三种实现方式中,所述对于所述环境声音进行采样,得到采样后的环境声音数据,被实施为:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式,本公开实施例在第一方面的第四种实现方式中,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征,包括:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式,本公开实施例在第一方面的第五种实现方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态,包括:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式,本公开实施例在第一方面的第六种实现方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征,包括:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式和第一方面的第六种实现方式,本公开实施例在第一方面的第七种实现方式中,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态,包括:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式、第一方面的第六种实现方式和第一方面的第七种实现方式,本公开实施例在第一方面的第八种实现方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态,包括:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式、第一方面的第六种实现方式、第一方面的第七种实现方式和第一方面的第八种实现方式,本公开实施例在第一方面的第九种实现方式中,还包括:
对于处于逆行状态的被监测对象执行预设操作。
第二方面,本公开实施例中提供了一种行进状态监测装置。
具体的,所述行进状态监测装置,包括:
采集模块,被配置为采集被监测对象的环境声音,获取所述被监测对象的移动速度;
提取模块,被配置为基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征;
确定模块,被配置为基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
结合第二方面,本公开在第二方面的第一种实现方式中,所述提取模块中基于所述被监测对象的移动速度提取所述被监测对象的速度特征的部分,被配置为:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
结合第二方面和第二方面的第一种实现方式,本公开实施例在第二方面的第二种实现方式中,所述提取模块中基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征的部分,被配置为:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式,本公开实施例在第二方面的第三种实现方式中,所述对于所述环境声音进行采样,得到采样后的环境声音数据的部分,被配置为:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式,本公开实施例在第二方面的第四种实现方式中,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征的部分,被配置为:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式和第二方面的第四种实现方式,本公开实施例在第二方面的第五种实现方式中,所述确定模块,被配置为:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式和第二方面的第五种实现方式,本公开实施例在第二方面的第六种实现方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征的部分,被配置为:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式、第二方面的第五种实现方式和第二方面的第六种实现方式,本公开实施例在第二方面的第七种实现方式中,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态的部分,被配置为:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式、第二方面的第五种实现方式、第二方面的第六种实现方式和第二方面的第七种实现方式,本公开实施例在第二方面的第八种实现方式中,所述确定模块,被配置为:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式、第二方面的第四种实现方式、第二方面的第五种实现方式、第二方面的第六种实现方式、第二方面的第七种实现方式和第二方面的第八种实现方式,本公开实施例在第二方面的第九种实现方式中,还包括:
执行模块,被配置为对于处于逆行状态的被监测对象执行预设操作。
第三方面,本公开实施例提供了一种电子设备,包括存储器和至少一个处理器,其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述至少一个处理器执行以实现上述行进状态监测方法的方法步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,用于存储行进状态监测装置所用的计算机指令,其包含用于执行上述行进状态监测方法为行进状态监测装置所涉及的计算机指令。
第五方面,本公开实施例提供了一种计算机程序产品,包括计算机程序/指令,其中,该计算机程序/指令被处理器执行时实现上述行进状态监测方法的方法步骤。
本公开实施例提供的技术方案可以包括以下有益效果:
上述技术方案借助环境声音来生成近车道特征、远车道特征和多普勒频移特征,结合被监测对象的速度特征来得到被监测对象的行进状态。该技术方案能够准确地得到被监测对象的行进状态,进而能够及时实施提醒等操作,从而有效消除出行安全隐患,保护大众生命财产安全。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本公开一实施方式的行进状态监测方法的流程图;
图2示出根据本公开一实施方式的行进状态监测方法的整体流程图;
图3示出根据本公开一实施方式的行进状态监测装置的结构框图;
图4示出根据本公开一实施方式的电子设备的结构框图;
图5是适于用来实现根据本公开一实施方式的行进状态监测方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施方式,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施方式无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本公开实施例提供的技术方案借助环境声音来生成近车道特征、远车道特征和多普勒频移特征,结合被监测对象的速度特征来得到被监测对象的行进状态。该技术方案能够准确地得到被监测对象的行进状态,进而能够及时实施提醒等操作,从而有效消除出行安全隐患,保护大众生命财产安全。
图1示出根据本公开一实施方式的行进状态监测方法的流程图,如图1所示,所述行进状态监测方法包括以下步骤S101-S103:
在步骤S101中,采集被监测对象的环境声音,获取所述被监测对象的移动速度;
在步骤S102中,基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征;
在步骤S103中,基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
上文提及,随着互联网技术的发展,越来越多的用户选择借助互联网平台购买商品或服务,这就意味着需要很多配送人员配送这些商品或者执行这些服务。而为了提升配送时效,配送人员通常尽可能地提高骑行速度,甚至不惜做出逆行、闯红灯等违反交通规则的行为,为自己和路人的出行带来安全隐患,严重时还会危及生命,带来生命财产损失。
考虑到上述缺陷,在该实施方式中,提出一种行进状态监测方法,该方法借助环境声音来生成近车道特征、远车道特征和多普勒频移特征,结合被监测对象的速度特征来得到被监测对象的行进状态。该技术方案能够准确地得到被监测对象的行进状态,进而能够及时实施提醒等操作,从而有效消除出行安全隐患,保护大众生命财产安全。
在本公开一实施方式中,所述行进状态监测方法可适用于对于行进状态进行监测的计算机、计算设备、电子设备、服务器、服务集群等。
在本公开一实施方式中,所述被监测对象指的是有可能处于逆行状态、存在潜在安全隐患的、需要进行行进状态检测的对象,比如骑着电动车或摩托车等交通工具的配送资源、骑着电动车或摩托车等交通工具的驾驶员等等。
在本公开一实施方式中,所述环境声音指的是所述被监测对象在行进过程中所处环境的声音。其中,所述环境声音可由安设在所述被监测对象或者所述被监测对象使用的交通工具的麦克风等收音设备采集得到。
在本公开一实施方式中,所述被监测对象的移动速度可根据所述被监测对象的定位数据计算得到,也可以将检测得到的所述被监测对象的交通工具的移动速度确认为所述被监测对象的移动速度,本领域技术人员可根据实际应用的需要选择所述被监测对象的移动速度的获取方式,本公开对其不作具体限定。
在本公开一实施方式中,所述被监测对象的速度特征用于表征所述被监测对象的移动速度的特点,所述被监测对象的近车道特征用于表征来自距离所述被监测对象较近的近车道的声音的特点,所述被监测对象的远车道特征用于表征来自距离所述被监测对象较远的远车道的声音的特点,所述被监测对象的多普勒频移特征用于表征所述被监测对象所听到的环境声音的多普勒频移变化特点。
在该实施方式中,根据采集得到的被监测对象的环境声音,可提取得到所述被监测对象的近车道特征、远车道特征和多普勒频移特征;根据获取得到的被监测对象的移动速度,可获得所述被监测对象的速度特征;最后综合所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征,即可确定所述被监测对象的行进状态。
在本公开一实施方式中,所述步骤S102中基于所述被监测对象的移动速度提取所述被监测对象的速度特征的步骤,可包括以下步骤:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
在该实施方式中,若检测发现所述被监测对象的移动速度低于第一预设速度阈值,则认为所述被监测对象有可能处于逆行状态,此时将所述被监测对象的速度特征设置为第一预设速度特征值,比如1;反之,若检测发现所述被监测对象的移动速度高于所述第一预设速度阈值,则认为所述被监测对象有可能处于顺行状态,此时将所述被监测对象的速度特征设置为第二预设速度特征值,比如0。
在本公开一实施方式中,所述步骤S102中基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征的步骤,可包括以下步骤:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
在该实施方式中,考虑到采集得到的所述被监测对象的环境声音数据量较大,因此,在基于所述环境生硬数据提取相应特征之前,需要对于采集得到的环境声音数据进行采样,后续基于采样后的环境声音数据提取相应的特征。
考虑到声音的高频部分传播能力较弱,低频部分传播能力较强,因此,在某一环境声音数据中,高频部分对于确定距离所述被监测对象较近的近车道的特征更有意义,而低频部分对于确定距离所述被监测对象较远的远车道的特征更有意义。因此,在提取车道特征之前,首先需要对于采样后的环境声音数据进行高低频区分,即将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据,然后基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征。其中,在将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据时,可先设置一声音频率阈值,将频率大于所述声音频率阈值的部分认为是高频环境声音数据,将频率小于所述声音频率阈值的部分认为是低频环境声音数据,其中,所述声音频率阈值可根据实际应用的需要以及实际环境的特点进行设置和调整,比如所述声音频率阈值可在800到1Khz之间进行选择和调整,本公开对于所述声音频率阈值的具体取值不作特别限定。
在该实施方式中,可直接基于所述采样后的环境声音数据提取得到所述被监测对象的多普勒频移特征。
在本公开一实施方式中,所述对于所述环境声音进行采样,得到采样后的环境声音数据的步骤,可包括以下步骤:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
考虑到若所述被监测对象处于逆行状态,其移动速度通常不会太快,因此,若所述被监测对象的移动速度高于第二预设速度阈值,则认为所述被监测对象应该处于顺行状态而非逆行状态,此时可只进行低采样率的采样,无需进行后续行进状态的判断,反之,若所述被监测对象的移动速度低于所述第二预设速度阈值,则认为所述被监测对象有可能处于逆行状态,此时进行高采样率的采样,进行后续的行进状态判断,其中,所述第二预设速度阈值高于所述第一预设速度阈值。在进行行进状态判断时,首先,需对于所述环境声音进行预设采样率采样,以得到采样后的环境声音数据。其中,所述预设采样率可根据实际应用的需要以及数据处理能力进行设置,本公开对其不作具体限定。
在本公开一实施方式中,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征的步骤,可包括以下步骤:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
考虑到在某一环境中,与声源之间存在相对位移的听者听到的声音会产生多普勒效应,假设声源为一车辆,如果以作为听者的被监测对象的行进方向为基准线,“前”指的是被监测对象的前方,“后”指的是被监测对象的后方,那么,当所述被监测对象与车辆相向而行时,环境声音所产生的多普勒效应的方向,即多普勒频移变化方向,是从前往后,当所述被监测对象与车辆同向交错时,环境声音所产生的多普勒效应的方向,即多普勒频移变化方向,是从后往前。基于上述,以及被监测对象的行进状态,可得到一个路况分析矩阵如下表所示:
Figure BDA0002932659570000121
在上表中,若所述被监测对象处于顺行状态,则所述被监测对象的车速通常是比较快的,与其同向的车道为与其距离较近的车道,该车道对应的环境声音的平均功率密度通常较高,多普勒频移速度通常较慢或一般,多普勒频移变化方向为从后往前,采集到的环境声音的主要频率成分为高频;与其逆向的车道为与其距离较远的车道,该车道对应的环境声音的平均功率密度通常较低,多普勒频移速度通常较快,多普勒频移变化方向为从前往后,采集到的环境声音的主要频率成分为低频。若所述被监测对象处于逆行状态,则所述被监测对象的车速通常是比较慢或者一般,与其同向的车道为与其距离较远的车道,该车道对应的环境声音的平均功率密度通常较低,多普勒频移速度通常较慢或一般,多普勒频移变化方向为从后往前,采集到的环境声音的主要频率成分为低频;与其逆向的车道为与其距离较近的车道,该车道对应的环境声音的平均功率密度通常较高,多普勒频移速度通常较快,多普勒频移变化方向为从前往后,采集到的环境声音的主要频率成分为高频。
因此,在该实施方式中,可借助对于所述环境声音产生的多普勒效应的分析来提取近车道特征和远车道特征。具体地,基于所述高频环境声音数据计算得到所述环境声音的高频环境声音频率,若所述环境声音所产生的多普勒频移变化方向与所述被监测对象的移动方向相反,比如从前往后,则认为所述被监测对象的移动方向与其近车道上车辆的行驶方向相反,即所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的近车道特征设置为第一预设近车道特征值,比如1;反之,若所述高频环境声音所产生的多普勒频移变化方向与所述被监测对象的移动方向相同,比如从后往前,则认为所述被监测对象的移动方向与其近车道上车辆的行驶方向相同,即所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的近车道特征设置为第二预设近车道特征值,比如0。
基于所述低频环境声音数据计算得到所述环境声音的所述低频环境声音频率,若所述低频环境声音产生的多普勒频移变化方向与所述被监测对象的移动方向相同,比如从后往前,则认为所述被监测对象的移动方向与其远车道上车辆的行驶方向相同,即所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的远车道特征设置为第一预设远车道特征值,比如1;反之,若所述高频环境声音产生的多普勒频移变化方向与所述被监测对象的移动方向相反,比如从前往后,则认为所述被监测对象的移动方向与其远车道上车辆的行驶方向相反,即所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的远车道特征设置为第二预设远车道特征值,比如0。
基于所述采样后的环境声音数据直接计算得到所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,认为所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值,比如1;反之,若所述环境声音数据的多普勒频移速度低于所述预设频移速度阈值,认为所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的多普勒频移特征设置为第二预设多普勒频移特征值,比如0。
其中,所述多普勒频移速度的计算方式可以为:
将所述环境声音数据变换到频域,设置一时间窗口,比如30s,绘制所述环境声音数据的频域图,取前N个峰值频率,假设N=3;之后,每隔单位时间,比如1s、2s、5s或10s,重复上述操作;若前N个峰值频率之一发生了线性变化,就认为出现了多普勒频移。假设时刻k生成的频域图中主频为f1,时刻k+n生成的频域图中主频为f2,时刻k+2n生成的频域图中主频为f3,则其频移速度为:v_df=|f3-f1|/(k+2n-k)=|f3-f1|/2n,进一步地,若f3>f2>f1,则可认为所述环境声音数据发生了正向多普勒频移。
其中,为了计算的统一,所述第一预设速度特征值、第二预设速度特征值、第一预设近车道特征值、第二预设近车道特征值、第一预设远车道特征值、第二预设远车道特征值、第一预设多普勒频移特征值和第二预设多普勒频移特征值均设置为一个大于等于0,小于等于1的数。当然,上述特征值也可以统一为其他的数值区间。
在本公开一实施方式中,所述步骤S103,即基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态的步骤,可包括以下步骤:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
在该实施方式中,基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到一个用于表征所述被监测对象处于逆行状态的可能性的逆行特征,然后再根据所述逆行特征的值判断所述被监测对象是否真的处于逆行状态。
在本公开一实施方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征的步骤,可包括以下步骤:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
考虑到上述几个特征对于最终被监测对象行进状态的判断的贡献力不同且存在环境噪声的影像,因此,在计算所述逆行特征之前,首先为所述速度特征、近车道特征、远车道特征和多普勒频移特征分别设置一个相应的权重,其中,所述权重的设置可根据实际应用的需要进行确定,本公开对于各权重的具体取值不作特别限定。比如,考虑到所述被监测对象的速度对于其行进状态的判断意义较大,可将所述速度特征对应的权重设置地高一些;由于来自近车道的噪声比较多,而来自远车道的声音相对比较可信,可将所述近车道特征对应的权重设置地低一些,将所述远车道特征对应的权重设置地高一些;等等。当所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征均为大于等于0,小于等于1的数时,相应的权重也为一个大于等于0,小于等于1的数。
确定了各个特征对应的权重后,就可以对于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征进行加权求和,得到所述逆行特征了。假设所述被监测对象的速度特征表示为f_v,权重表示为a,近车道特征表示为f_near,权重表示为b,远车道特征表示为f_far,权重表示为c,多普勒频移特征表示为f_shift,权重表示为d,则所述逆行特征可表示为riding_direction=a×f_v+b×f_near+c×f_far+d×f_shift。
在本公开一实施方式中,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态的步骤,可包括以下步骤:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
上文提及,所述逆行特征用于表征所述被监测对象处于逆行状态的可能性,且所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征及相应的权重均为大于等于0,小于等于1的数,因此,在该实施方式中,所述逆行特征亦为大于等于0,小于等于1的数,此时,可将所述逆行特征阈值设置为0.5,即若计算得到的所述逆行特征大于0.5,则认为所述被监测对象处于逆行状态。其中,所述逆行特征阈值可根据实际应用的需要、所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征及相应权重所处的取值区间来确定,本公开对其具体取值不作特别限定。
在本公开另一实施方式中,所述步骤S103,即基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态的步骤,还可包括以下步骤:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
与上一实施方式不同,在该实施方式中,使用模型训练的方法来确定所述被监测对象的行进状态。具体地,首先基于上文提及的计算方法计算得到预设历史时间段内所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;然后将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出进行训练,得到行进状态预测模型;最后将当前实测的所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,即可预测得到所述被监测对象的行进状态。
在本公开一实施方式中,当前使用的所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征,以及当前预测得到的所述被监测对象的行进状态还可以返回作为所述行进状态预测模型的训练数据,参与所述行进状态预测模型的训练更新,以对所述行进状态预测模型进行优化。
在本公开一实施方式中,所述方法还可包括以下步骤:
对于处于逆行状态的被监测对象执行预设操作。
其中,所述预设操作比如可以为使用声音、图像、机械震动实现的提示操作、警示操作等等,以提示所述被监测对象正处于逆行状态,应注意安全,修正为顺行状态。
图2示出根据本公开一实施方式的行进状态监测方法的整体流程图,如图2所示,首先采集被监测对象的环境声音,获取所述被监测对象的移动速度;判断所述被监测对象的移动速度是否低于第二预设速度阈值,若是则对所述环境声音进行高采样率采样,得到采样后的环境声音数据,准备进行后续行进状态的判断,若是则只进行低采样率的采样,无需进行后续行进状态的判断;将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;然后根据所述被监测对象的移动速度确定所述被监测对象的速度特征,根据所述高频环境声音数据确定所述被监测对象的近车道特征,根据所述低频环境声音数据确定所述被监测对象的远车道特征,根据所述采样后的环境声音数据确定所述被监测对象的多普勒频移特征,具体地:判断所述被监测对象的移动速度是否低于第一预设速度阈值,若是,将所述被监测对象的速度特征设置为第一预设速度特征值f_v,并为其设置权重a;判断所述高频环境声音多普勒频移变化方向是否与所述被监测对象的移动方向相反,若是,将所述被监测对象的近车道特征设置为第一预设近车道特征值f_near,并为其设置权重b;判断所述低频环境声音多普勒频移变化方向是否与所述被监测对象的移动方向相同,若是,将所述被监测对象的远车道特征设置为第一预设远车道特征值f_far,并为其设置权重c;判断所述采样后的环境声音数据的多普勒频移速度是否高于预设频移速度阈值,若是,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值f_shift,并为其设置权重d;计算得到所述逆行特征:riding_direction=a×f_v+b×f_near+c×f_far+d×f_shift,若所述逆行特征的值大于0.5,则认为所述被监测对象处于逆行状态。当然,也可以获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态,将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型,将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象为顺行还是逆行的行进状态。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图3示出根据本公开一实施方式的行进状态监测装置的结构框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示,所述行进状态监测装置包括:
采集模块301,被配置为采集被监测对象的环境声音,获取所述被监测对象的移动速度;
提取模块302,被配置为基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征;
确定模块303,被配置为基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
上文提及,随着互联网技术的发展,越来越多的用户选择借助互联网平台购买商品或服务,这就意味着需要很多配送人员配送这些商品或者执行这些服务。而为了提升配送时效,配送人员通常尽可能地提高骑行速度,甚至不惜做出逆行、闯红灯等违反交通规则的行为,为自己和路人的出行带来安全隐患,严重时还会危及生命,带来生命财产损失。
考虑到上述缺陷,在该实施方式中,提出一种行进状态监测装置,该装置借助环境声音来生成近车道特征、远车道特征和多普勒频移特征,结合被监测对象的速度特征来得到被监测对象的行进状态。该技术方案能够准确地得到被监测对象的行进状态,进而能够及时实施提醒等操作,从而有效消除出行安全隐患,保护大众生命财产安全。
在本公开一实施方式中,所述行进状态监测装置可实现为对于行进状态进行监测的计算机、计算设备、电子设备、服务器、服务集群等。
在本公开一实施方式中,所述被监测对象指的是有可能处于逆行状态、存在潜在安全隐患的、需要进行行进状态检测的对象,比如骑着电动车或摩托车等交通工具的配送资源、骑着电动车或摩托车等交通工具的驾驶员等等。
在本公开一实施方式中,所述环境声音指的是所述被监测对象在行进过程中所处环境的声音。其中,所述环境声音可由安设在所述被监测对象或者所述被监测对象使用的交通工具的麦克风等收音设备采集得到。
在本公开一实施方式中,所述被监测对象的移动速度可根据所述被监测对象的定位数据计算得到,也可以将检测得到的所述被监测对象的交通工具的移动速度确认为所述被监测对象的移动速度,本领域技术人员可根据实际应用的需要选择所述被监测对象的移动速度的获取方式,本公开对其不作具体限定。
在本公开一实施方式中,所述被监测对象的速度特征用于表征所述被监测对象的移动速度的特点,所述被监测对象的近车道特征用于表征来自距离所述被监测对象较近的近车道的声音的特点,所述被监测对象的远车道特征用于表征来自距离所述被监测对象较远的远车道的声音的特点,所述被监测对象的多普勒频移特征用于表征所述被监测对象所听到的环境声音的多普勒频移变化特点。
在该实施方式中,根据采集得到的被监测对象的环境声音,可提取得到所述被监测对象的近车道特征、远车道特征和多普勒频移特征;根据获取得到的被监测对象的移动速度,可获得所述被监测对象的速度特征;最后综合所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征,即可确定所述被监测对象的行进状态。
在本公开一实施方式中,所述提取模块302中基于所述被监测对象的移动速度提取所述被监测对象的速度特征的部分,可被配置为:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
在该实施方式中,若检测发现所述被监测对象的移动速度低于第一预设速度阈值,则认为所述被监测对象有可能处于逆行状态,此时将所述被监测对象的速度特征设置为第一预设速度特征值,比如1;反之,若检测发现所述被监测对象的移动速度高于所述第一预设速度阈值,则认为所述被监测对象有可能处于顺行状态,此时将所述被监测对象的速度特征设置为第二预设速度特征值,比如0。
在本公开一实施方式中,所述提取模块302中基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征的部分,可被配置为:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
在该实施方式中,考虑到采集得到的所述被监测对象的环境声音数据量较大,因此,在基于所述环境生硬数据提取相应特征之前,需要对于采集得到的环境声音数据进行采样,后续基于采样后的环境声音数据提取相应的特征。
考虑到声音的高频部分传播能力较弱,低频部分传播能力较强,因此,在某一环境声音数据中,高频部分对于确定距离所述被监测对象较近的近车道的特征更有意义,而低频部分对于确定距离所述被监测对象较远的远车道的特征更有意义。因此,在提取车道特征之前,首先需要对于采样后的环境声音数据进行高低频区分,即将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据,然后基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征。其中,在将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据时,可先设置一声音频率阈值,将频率大于所述声音频率阈值的部分认为是高频环境声音数据,将频率小于所述声音频率阈值的部分认为是低频环境声音数据,其中,所述声音频率阈值可根据实际应用的需要以及实际环境的特点进行设置和调整,比如所述声音频率阈值可在800到1Khz之间进行选择和调整,本公开对于所述声音频率阈值的具体取值不作特别限定。
在该实施方式中,可直接基于所述采样后的环境声音数据提取得到所述被监测对象的多普勒频移特征。
在本公开一实施方式中,所述对于所述环境声音进行采样,得到采样后的环境声音数据的部分,可被配置为:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
考虑到若所述被监测对象处于逆行状态,其移动速度通常不会太快,因此,若所述被监测对象的移动速度高于第二预设速度阈值,则认为所述被监测对象应该处于顺行状态而非逆行状态,此时可只进行低采样率的采样,无需进行后续行进状态的判断,反之,若所述被监测对象的移动速度低于所述第二预设速度阈值,则认为所述被监测对象有可能处于逆行状态,此时进行高采样率的采样,进行后续的行进状态判断,其中,所述第二预设速度阈值高于所述第一预设速度阈值。在进行行进状态判断时,首先,需对于所述环境声音进行预设采样率采样,以得到采样后的环境声音数据。其中,所述预设采样率可根据实际应用的需要以及数据处理能力进行设置,本公开对其不作具体限定。
在本公开一实施方式中,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征的部分,可被配置为:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
考虑到在某一环境中,与声源之间存在相对位移的听者听到的声音会产生多普勒效应,假设声源为一车辆,如果以作为听者的被监测对象的行进方向为基准线,“前”指的是被监测对象的前方,“后”指的是被监测对象的后方,那么,当所述被监测对象与车辆相向而行时,环境声音所产生的多普勒效应的方向,即多普勒频移变化方向,是从前往后,当所述被监测对象与车辆同向交错时,环境声音所产生的多普勒效应的方向,即多普勒频移变化方向,是从后往前。基于上述,以及被监测对象的行进状态,可得到一个路况分析矩阵如下表所示:
Figure BDA0002932659570000221
在上表中,若所述被监测对象处于顺行状态,则所述被监测对象的车速通常是比较快的,与其同向的车道为与其距离较近的车道,该车道对应的环境声音的平均功率密度通常较高,多普勒频移速度通常较慢或一般,多普勒频移变化方向为从后往前,采集到的环境声音的主要频率成分为高频;与其逆向的车道为与其距离较远的车道,该车道对应的环境声音的平均功率密度通常较低,多普勒频移速度通常较快,多普勒频移变化方向为从前往后,采集到的环境声音的主要频率成分为低频。若所述被监测对象处于逆行状态,则所述被监测对象的车速通常是比较慢或者一般,与其同向的车道为与其距离较远的车道,该车道对应的环境声音的平均功率密度通常较低,多普勒频移速度通常较慢或一般,多普勒频移变化方向为从后往前,采集到的环境声音的主要频率成分为低频;与其逆向的车道为与其距离较近的车道,该车道对应的环境声音的平均功率密度通常较高,多普勒频移速度通常较快,多普勒频移变化方向为从前往后,采集到的环境声音的主要频率成分为高频。
因此,在该实施方式中,可借助对于所述环境声音产生的多普勒效应的分析来提取近车道特征和远车道特征。具体地,基于所述高频环境声音数据计算得到所述环境声音的高频环境声音频率,若所述环境声音所产生的多普勒频移变化方向与所述被监测对象的移动方向相反,比如从前往后,则认为所述被监测对象的移动方向与其近车道上车辆的行驶方向相反,即所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的近车道特征设置为第一预设近车道特征值,比如1;反之,若所述高频环境声音所产生的多普勒频移变化方向与所述被监测对象的移动方向相同,比如从后往前,则认为所述被监测对象的移动方向与其近车道上车辆的行驶方向相同,即所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的近车道特征设置为第二预设近车道特征值,比如0。
基于所述低频环境声音数据计算得到所述环境声音的所述低频环境声音频率,若所述低频环境声音产生的多普勒频移变化方向与所述被监测对象的移动方向相同,比如从后往前,则认为所述被监测对象的移动方向与其远车道上车辆的行驶方向相同,即所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的远车道特征设置为第一预设远车道特征值,比如1;反之,若所述高频环境声音产生的多普勒频移变化方向与所述被监测对象的移动方向相反,比如从前往后,则认为所述被监测对象的移动方向与其远车道上车辆的行驶方向相反,即所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的远车道特征设置为第二预设远车道特征值,比如0。
基于所述采样后的环境声音数据直接计算得到所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,认为所述被监测对象很有可能处于逆行状态,此时,可将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值,比如1;反之,若所述环境声音数据的多普勒频移速度低于所述预设频移速度阈值,认为所述被监测对象很有可能处于顺行状态,此时,可将所述被监测对象的多普勒频移特征设置为第二预设多普勒频移特征值,比如0。
其中,所述多普勒频移速度的计算方式可以为:
将所述环境声音数据变换到频域,设置一时间窗口,比如30s,绘制所述环境声音数据的频域图,取前N个峰值频率,假设N=3;之后,每隔单位时间,比如1s、2s、5s或10s,重复上述操作;若前N个峰值频率之一发生了线性变化,就认为出现了多普勒频移。假设时刻k生成的频域图中主频为f1,时刻k+n生成的频域图中主频为f2,时刻k+2n生成的频域图中主频为f3,则其频移速度为:v_df=|f3-f1|/(k+2n-k)=|f3-f1|/2n,进一步地,若f3>f2>f1,则可认为所述环境声音数据发生了正向多普勒频移。
其中,为了计算的统一,所述第一预设速度特征值、第二预设速度特征值、第一预设近车道特征值、第二预设近车道特征值、第一预设远车道特征值、第二预设远车道特征值、第一预设多普勒频移特征值和第二预设多普勒频移特征值均设置为一个大于等于0,小于等于1的数。当然,上述特征值也可以统一为其他的数值区间。
在本公开一实施方式中,所述确定模块303可被配置为:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
在该实施方式中,基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到一个用于表征所述被监测对象处于逆行状态的可能性的逆行特征,然后再根据所述逆行特征的值判断所述被监测对象是否真的处于逆行状态。
在本公开一实施方式中,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征的部分,可被配置为:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
考虑到上述几个特征对于最终被监测对象行进状态的判断的贡献力不同且存在环境噪声的影像,因此,在计算所述逆行特征之前,首先为所述速度特征、近车道特征、远车道特征和多普勒频移特征分别设置一个相应的权重,其中,所述权重的设置可根据实际应用的需要进行确定,本公开对于各权重的具体取值不作特别限定。比如,考虑到所述被监测对象的速度对于其行进状态的判断意义较大,可将所述速度特征对应的权重设置地高一些;由于来自近车道的噪声比较多,而来自远车道的声音相对比较可信,可将所述近车道特征对应的权重设置地低一些,将所述远车道特征对应的权重设置地高一些;等等。当所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征均为大于等于0,小于等于1的数时,相应的权重也为一个大于等于0,小于等于1的数。
确定了各个特征对应的权重后,就可以对于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征进行加权求和,得到所述逆行特征了。假设所述被监测对象的速度特征表示为f_v,权重表示为a,近车道特征表示为f_near,权重表示为b,远车道特征表示为f_far,权重表示为c,多普勒频移特征表示为f_shift,权重表示为d,则所述逆行特征可表示为riding_direction=a×f_v+b×f_near+c×f_far+d×f_shift。
在本公开一实施方式中,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态的部分,可被配置为:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
上文提及,所述逆行特征用于表征所述被监测对象处于逆行状态的可能性,且所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征及相应的权重均为大于等于0,小于等于1的数,因此,在该实施方式中,所述逆行特征亦为大于等于0,小于等于1的数,此时,可将所述逆行特征阈值设置为0.5,即若计算得到的所述逆行特征大于0.5,则认为所述被监测对象处于逆行状态。其中,所述逆行特征阈值可根据实际应用的需要、所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征及相应权重所处的取值区间来确定,本公开对其具体取值不作特别限定。
在本公开另一实施方式中,所述确定模块303可被配置为:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
与上一实施方式不同,在该实施方式中,使用模型训练的方法来确定所述被监测对象的行进状态。具体地,首先基于上文提及的计算方法计算得到预设历史时间段内所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;然后将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出进行训练,得到行进状态预测模型;最后将当前实测的所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,即可预测得到所述被监测对象的行进状态。
在本公开一实施方式中,当前使用的所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征,以及当前预测得到的所述被监测对象的行进状态还可以返回作为所述行进状态预测模型的训练数据,参与所述行进状态预测模型的训练更新,以对所述行进状态预测模型进行优化。
在本公开一实施方式中,所述装置还可包括:
执行模块,被配置为对于处于逆行状态的被监测对象执行预设操作。
其中,所述预设操作比如可以为使用声音、图像、机械震动实现的提示操作、警示操作等等,以提示所述被监测对象正处于逆行状态,应注意安全,修正为顺行状态。
本公开还公开了一种电子设备,图4示出根据本公开一实施方式的电子设备的结构框图,如图4所示,所述电子设备400包括存储器401和处理器402;其中,
所述存储器401用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器402执行以实现上述方法步骤。
图5是适于用来实现根据本公开一实施方式的行进状态监测方法的计算机系统的结构示意图。
如图5所示,计算机系统500包括处理单元501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行上述实施方式中的各种处理。在RAM503中,还存储有计算机系统500操作所需的各种程序和数据。处理单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。其中,所述处理单元501可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (22)

1.一种行进状态监测方法,包括:
采集被监测对象的环境声音,获取所述被监测对象的移动速度,所述环境声音由设在所述被监测对象或所述被监测对象使用的交通工具的收音设备采集得到;
基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征,所述近车道特征用于表征来自近车道的声音的特点,所述远车道特征用于表征来自远车道的声音的特点,所述近车道与所述被监测对象的距离小于所述远车道与所述被监测对象的距离,所述多普勒频移特征用于表征所述被监测对象所听到的环境声音的多普勒频移变化特点;
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
2.根据权利要求1所述的方法,所述基于所述被监测对象的移动速度提取所述被监测对象的速度特征,包括:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
3.根据权利要求1所述的方法,所述基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征,包括:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
4.根据权利要求3所述的方法,所述对于所述环境声音进行采样,得到采样后的环境声音数据,被实施为:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
5.根据权利要求3所述的方法,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征,包括:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
6.根据权利要求1-5任一所述的方法,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态,包括:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
7.根据权利要求6所述的方法,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征,包括:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
8.根据权利要求6所述的方法,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态,包括:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
9.根据权利要求1-5任一所述的方法,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态,包括:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
10.根据权利要求1-5、7-8任一所述的方法,还包括:
对于处于逆行状态的被监测对象执行预设操作。
11.一种行进状态监测装置,包括:
采集模块,被配置为采集被监测对象的环境声音,获取所述被监测对象的移动速度,所述环境声音由设在所述被监测对象或所述被监测对象使用的交通工具的收音设备采集得到;
提取模块,被配置为基于所述被监测对象的移动速度提取所述被监测对象的速度特征,基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征,所述近车道特征用于表征来自近车道的声音的特点,所述远车道特征用于表征来自远车道的声音的特点,所述近车道与所述被监测对象的距离小于所述远车道与所述被监测对象的距离,所述多普勒频移特征用于表征所述被监测对象所听到的环境声音的多普勒频移变化特点;
确定模块,被配置为基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征确定所述被监测对象的行进状态。
12.根据权利要求11所述的装置,所述提取模块中基于所述被监测对象的移动速度提取所述被监测对象的速度特征的部分,被配置为:
若所述被监测对象的移动速度低于第一预设速度阈值,将所述被监测对象的速度特征设置为第一预设速度特征值。
13.根据权利要求11所述的装置,所述提取模块中基于所述环境声音提取所述被监测对象的近车道特征、远车道特征和多普勒频移特征的部分,被配置为:
对于所述环境声音进行采样,得到采样后的环境声音数据;
将所述采样后的环境声音数据分为高频环境声音数据和低频环境声音数据;
基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征。
14.根据权利要求13所述的装置,所述对于所述环境声音进行采样,得到采样后的环境声音数据的部分,被配置为:
当所述被监测对象的移动速度低于第二预设速度阈值时,对于所述环境声音进行预设采样率采样,得到采样后的环境声音数据。
15.根据权利要求13所述的装置,所述基于所述高频环境声音数据提取所述被监测对象的近车道特征,基于所述低频环境声音数据提取所述被监测对象的远车道特征,基于所述采样后的环境声音数据提取所述被监测对象的多普勒频移特征的部分,被配置为:
基于所述高频环境声音数据计算所述高频环境声音频率,若所述高频环境声音多普勒频移变化方向与所述被监测对象的移动方向相反,将所述被监测对象的近车道特征设置为第一预设近车道特征值;
基于所述低频环境声音数据计算所述低频环境声音频率,若所述低频环境声音多普勒频移变化方向与所述被监测对象的移动方向相同,将所述被监测对象的远车道特征设置为第一预设远车道特征值;
基于所述采样后的环境声音数据计算所述环境声音数据的多普勒频移速度,若所述环境声音数据的多普勒频移速度高于预设频移速度阈值,将所述被监测对象的多普勒频移特征设置为第一预设多普勒频移特征值。
16.根据权利要求11-15任一所述的装置,所述确定模块,被配置为:
基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征;
当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态。
17.根据权利要求16所述的装置,所述基于所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征计算得到逆行特征的部分,被配置为:
为所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征设置相应的权重;
计算所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征与相应权重的乘积之和,作为所述逆行特征。
18.根据权利要求16所述的装置,所述当所述逆行特征满足预设条件时,确定所述被监测对象处于逆行状态的部分,被配置为:
当所述逆行特征大于预设逆行特征阈值时,确定所述被监测对象处于逆行状态。
19.根据权利要求11-15任一所述的装置,所述确定模块,被配置为:
获取所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征和历史行进状态;
将所述被监测对象的历史速度特征、历史近车道特征、历史远车道特征、历史多普勒频移特征作为输入,将所述被监测对象的历史行进状态作为输出,训练得到行进状态预测模型;
将所述被监测对象的速度特征、近车道特征、远车道特征和多普勒频移特征输入至所述行进状态预测模型中,得到所述被监测对象的行进状态。
20.根据权利要求11-15、17-18任一所述的装置,还包括:
执行模块,被配置为对于处于逆行状态的被监测对象执行预设操作。
21.一种电子设备,其特征在于,包括存储器和至少一个处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-10任一项所述的方法步骤。
22.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-10任一项所述的方法步骤。
CN202110166158.6A 2021-02-03 2021-02-03 行进状态监测方法、装置、电子设备、介质及程序产品 Active CN112991770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110166158.6A CN112991770B (zh) 2021-02-03 2021-02-03 行进状态监测方法、装置、电子设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110166158.6A CN112991770B (zh) 2021-02-03 2021-02-03 行进状态监测方法、装置、电子设备、介质及程序产品

Publications (2)

Publication Number Publication Date
CN112991770A CN112991770A (zh) 2021-06-18
CN112991770B true CN112991770B (zh) 2022-07-26

Family

ID=76348636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110166158.6A Active CN112991770B (zh) 2021-02-03 2021-02-03 行进状态监测方法、装置、电子设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN112991770B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798983A (en) * 1997-05-22 1998-08-25 Kuhn; John Patrick Acoustic sensor system for vehicle detection and multi-lane highway monitoring
CN208335464U (zh) * 2018-06-22 2019-01-04 广州华信智能交通科技有限公司 一种基于视频与雷达的交通事件监测设备
CN111352074A (zh) * 2018-12-21 2020-06-30 罗伯特·博世有限公司 用于相对于车辆对声源进行定位的方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269357A (ja) * 2007-04-20 2008-11-06 Toyota Motor Corp 車両用運転支援装置
WO2012097150A1 (en) * 2011-01-12 2012-07-19 Personics Holdings, Inc. Automotive sound recognition system for enhanced situation awareness
CN103654844A (zh) * 2012-09-26 2014-03-26 深圳市蓝韵实业有限公司 多普勒声音处理方法和装置
CN103745601B (zh) * 2014-01-08 2015-09-30 西安电子科技大学 超速车辆所在车道检测方法
CN205506410U (zh) * 2016-03-03 2016-08-24 华晨汽车集团控股有限公司 一种车道辅助系统的标定和测试系统
CN109849784A (zh) * 2019-02-27 2019-06-07 江苏大学 一种基于行车环境声音识别和定位的辅助驾驶系统
CN111833653A (zh) * 2020-07-13 2020-10-27 江苏理工学院 利用环境噪声的行驶辅助系统、方法、设备、可存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798983A (en) * 1997-05-22 1998-08-25 Kuhn; John Patrick Acoustic sensor system for vehicle detection and multi-lane highway monitoring
CN208335464U (zh) * 2018-06-22 2019-01-04 广州华信智能交通科技有限公司 一种基于视频与雷达的交通事件监测设备
CN111352074A (zh) * 2018-12-21 2020-06-30 罗伯特·博世有限公司 用于相对于车辆对声源进行定位的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多普勒动态速度跟踪频域法实现的研究与分析;王洁等;《计量与测试技术》;20050205(第01期);全文 *
激光测速雷达下振动目标运动状态分析与仿真;姜成昊等;《激光与红外》;20120820(第08期);全文 *

Also Published As

Publication number Publication date
CN112991770A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN111489588B (zh) 车辆驾驶风险预警方法及装置、设备、存储介质
CN110784825B (zh) 车辆行驶轨迹的生成方法、装置
CN110348718B (zh) 业务指标监控方法、装置及电子设备
Tak et al. Study on the framework of hybrid collision warning system using loop detectors and vehicle information
CN111459783A (zh) 应用程序优化方法、装置、电子设备及存储介质
CN112991770B (zh) 行进状态监测方法、装置、电子设备、介质及程序产品
CN111383454B (zh) 车辆驾驶风险的预警方法、装置、介质及电子设备
CN113525403B (zh) 车辆行驶的预警方法、装置、电子设备和存储介质
CN109284213B (zh) 报警方法、装置、电子设备及计算机可读存储介质
CN111572538B (zh) 车辆碰撞预警阈值确定方法、装置
CN113052047B (zh) 交通事件的检测方法、路侧设备、云控平台及系统
CN111967451B (zh) 一种道路拥堵检测方法及装置
CN113946646A (zh) 车辆驻留检测方法、装置、电子设备和存储介质
CN113257039A (zh) 基于大数据分析的驾驶预警方法及装置
CN114005277B (zh) 车联网的信息提取方法、装置及可读介质
Li et al. Driving behavior of L3 autonomous vehicle drivers in fog zones under different traffic flow conditions
CN117253334A (zh) 电动汽车充电站烟雾火灾预警方法、装置和设备
CN113485890B (zh) 航班查询系统业务监控方法、装置、设备及存储介质
CN115416673A (zh) 一种驾驶状态检测装置、方法、电子设备及车辆
CN115681483A (zh) 车辆控制器、车辆及车辆控制方法
CN112700138A (zh) 道路交通风险管理的方法、装置和系统
CN111833608A (zh) 路况信息的处理方法、装置
CN113781837A (zh) 骑行安全实现方法、装置、介质及电子设备
CN111586160A (zh) 数据处理方法、装置、数据处理设备及存储介质
CN115345247B (zh) 模型训练和公路轴载确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant