CN115861473A - 实时绘制分贝检测走势图的模型训练方法、装置及介质 - Google Patents

实时绘制分贝检测走势图的模型训练方法、装置及介质 Download PDF

Info

Publication number
CN115861473A
CN115861473A CN202210850826.1A CN202210850826A CN115861473A CN 115861473 A CN115861473 A CN 115861473A CN 202210850826 A CN202210850826 A CN 202210850826A CN 115861473 A CN115861473 A CN 115861473A
Authority
CN
China
Prior art keywords
decibel
decibel detection
value
environment
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210850826.1A
Other languages
English (en)
Other versions
CN115861473B (zh
Inventor
杨波
刘腾腾
夏溧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongguancun Kejin Technology Co Ltd
Original Assignee
Beijing Zhongguancun Kejin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongguancun Kejin Technology Co Ltd filed Critical Beijing Zhongguancun Kejin Technology Co Ltd
Priority to CN202210850826.1A priority Critical patent/CN115861473B/zh
Publication of CN115861473A publication Critical patent/CN115861473A/zh
Application granted granted Critical
Publication of CN115861473B publication Critical patent/CN115861473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Generation (AREA)

Abstract

本申请公开了一种实时绘制分贝检测走势图的方法、装置及介质。其中方法包括:确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态为启动时,则将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;确定当前待处理的分贝数据帧序列;确定分贝数据帧序列包括的各数据帧分别对应的位图;利用图像处理器GPU按照预设的着色器对位图进行图形绘制,得到环境分贝检测趋势渲染图。本申请通过将图像绘制过程由CPU转移至GPU的方式,解决了相关技术中因业务场景和图像加载均集中在CPU导致的业务场景在设备上运行不流畅的问题,降低了双录业务场景下绘制分别检测走势图对设备的配置要求,提升了双录业务场景与不同配置的设备的兼容性。

Description

实时绘制分贝检测走势图的模型训练方法、装置及介质
技术领域
本申请涉及图像识别技术领域,具体而言,本申请涉及一种实时绘制分贝检测走势图的方法、装置及介质。
背景技术
目前随着智能AI视频双录在保险、银行等领域不断普及,各个视频业务办理过程随着安全性不断提升,业务错综复杂,也使得最终的场景越来越复杂。办理业务的场景包含实时视频对话、实时数据通讯、虚拟人像、实时人脸检测、TTS语言播报、ASR语音识别、用户实时的一个环境分贝检测等场景。针对这些场景,尤其是用户实时的一个环境分贝检测的场景,实时的动画绘制依赖于CPU,这就使动画绘制的场景存在:一、因CPU被占用,一定程度上影响视频的流畅程度,尤其是使用年限比较长的,如Android版本比较低的老设备,在本身复杂场景的运用就已经不是很流畅的情况,再加一个实时的动画动态变化场景,一定程度上更加导致了业务场景的不顺畅;二、对于一些效果比较绚丽的方案,特别是需要加载很多图片动态变化的时候原始方案比较复杂或者不可行,动画效果受限;三、若降低绘制的频率又容易造成看到的效果不顺畅的假象。
发明内容
本申请提供了一种实时绘制分贝检测走势图的方法、装置及计算机可读存储介质,可以解决上述至少一个问题。所述技术方案如下:
第一方面,提供了一种实时绘制分贝检测走势图的方法,该方法包括:
确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态;
若环境分贝检测服务场景的启动状态为启动,则将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;
基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列;
确定分贝数据帧序列包括的各数据帧分别对应的位图;
利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
第二方面,提供了一种实时绘制分贝检测走势图的装置,该装置包括:
环境分贝检测状态确定模块,用于确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态;
图像处理器GPU切换模块,用于若环境分贝检测服务场景的启动状态为启动,则将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;
分贝数据帧序列确定模块,用于基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列;
数据帧对应的位图确定模块,用于确定分贝数据帧序列包括的各数据帧分别对应的位图;
环境分贝检测走势图绘制模块,用于利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实时绘制分贝检测走势图的方法。
此外,还提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行上述实时绘制分贝检测走势图的方法。
本申请通过确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态,并在环境分贝检测服务场景的启动状态为启动的情形下,将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU,以基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列,确定分贝数据帧序列包括的各数据帧分别对应的位图,从而利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图,这种将图像绘制过程由CPU转移至GPU的方式,解决了相关技术中因业务场景和图像加载均集中在CPU导致的业务场景在设备上运行不流畅的问题;同时,降低了双录业务场景下绘制分别检测走势图对设备的配置要求,提升了双录业务场景与不同配置的设备的兼容性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种实时绘制分贝检测走势图的方法的流程示意图;
图2为本申请实施例提供的另一种实时绘制分贝检测走势图的方法的流程示意图;
图3为本申请实施例提供的一种实时绘制分贝检测走势图的装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例提供了一种实时绘制分贝检测走势图的方法,如图1所示,该方法包括:步骤S101至步骤S105。
步骤S101、确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态。
具体地,双录业务的应用场景包括实时视频对话、实时数据通讯、虚拟人像、实时人脸检测、TTS语言播报、ASR语音识别等等,其中,用户实时的一个环境分贝检测也是其中的一个常见场景。
具体地,不同应用场景的启动条件不同。例如,环境分贝检测服务场景可以在双录业务开启时同时开启;或者,通过录制用户的语音来识别用户意图,根据用户意图来控制环境分贝检测服务场景。
步骤S102、若环境分贝检测服务场景的启动状态为启动,则将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU。
步骤S103、基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列。
具体地,电子设备检测到用户在线办理金融业务时,利用电子设备的麦克风采集对用户办理业务的过程进行录制,以生成包括音频文件和视频文件的音视频文件。应用时,目标设备可以将视频文件和音频文件分别存储在不同存储空间,也可以存储在同一存储空间。应用时,目标设备可以先将采集到的音频信号进行缓存,再从缓存中读取出当前待处理的分贝数据帧序列;或者实时将采集到的音频信号作为当前待处理的分贝数据帧序列。
步骤S104、确定分贝数据帧序列包括的各数据帧分别对应的位图。
具体地,位图包括背景UI图、分贝用户界面UI效果图中至少一种。
本申请实施例中,数据帧对应的位图包括背景UI图和分贝用户界面UI效果图。应用时,可以背景UI图可以略大于分贝用户界面UI效果图,即,分贝用户界面UI效果图被绘制在背景UI图上。
步骤S105、利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
具体地,着色器包括顶点着色器和片元着色器。其中,顶点着色器用于定义位置、颜色等属性,以并计算经过变换矩阵,投影后得到的一个最终的顶点坐标;片元着色器用于接收顶点着色器传递过来的纹理坐标,以进行纹理采样,并计算最终的一个片元颜色。
本申请实施例通过确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态,并在环境分贝检测服务场景的启动状态为启动的情形下,将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU,以基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列,确定分贝数据帧序列包括的各数据帧分别对应的位图,从而利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图,这种将图像绘制过程由CPU转移至GPU的方式,解决了相关技术中因业务场景和图像加载均集中在CPU导致的业务场景在设备上运行不流畅的问题;同时,降低了双录业务场景下绘制分别检测走势图对设备的配置要求,提升了双录业务场景与不同配置的设备的兼容性。
在一些实施例中,步骤S104确定所述分贝数据帧序列包括的各数据帧分别对应的位图进一步包括:步骤S1041-步骤S1043(图中未示出)。
步骤S1041、逐帧对各数据帧进行分贝值计算,得到多个分贝检测值;
步骤S1042、基于预设的多个第一分贝检测值范围分别对应的分贝用户界面UI效果图,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图;
步骤S1043、基于预设的多个第二分贝检测值范围分别对应的背景UI图,确定多个分贝检测值各自对应的目标背景UI图。
本申请实施例通过为不同分贝检测值设置不同的分贝用户界面UI效果图以及不同背景UI图的方式,起到了无需进行定位即可完成渲染的效果,
具体地,可以为不同的分贝用户界面UI效果图绑定不同的分贝检测值范围,不同的背景UI图半丁不同的分贝检测值范围。
具体地,第一分贝检测值范围与第二检测值范围可以相同,也可以不同。
在一些实施例中,步骤S105利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图进一步包括:步骤S1051-步骤S1053(图中未示出)。
步骤S1051、基于预设的多个第一分贝检测值范围分别对应的顶点坐标,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一顶点坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标;
步骤S1052、基于预设的多个第一分贝检测值范围分别对应的纹理坐标,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标;
步骤S1053、依据多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一顶点坐标,多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标、多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标,控制图像处理器GPU按照预设的着色器进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
具体地,可以按照先背景UI图再分贝用户界面UI效果的顺序进行绘制。应用时,先按照当前分贝帧的分别检测值对应的目标背景UI图的顶点坐标,以及该当前分贝帧的分别检测值对应的目标背景UI图的纹理坐标,完成背景UI图的绘制;再根据该当前分贝帧的分别检测值对应的目标分贝用户界面UI效果图的顶点坐标和纹理坐标进行绘制。
具体地,多种分贝值范围各自对应的分贝用户界面UI效果图的顶点坐标可以相同。多种分贝值范围各自对应的分贝用户界面UI效果图的顶点坐标相同时,多种分贝值范围各自对应的分贝用户界面UI效果图的纹理坐标不同。
在一些实施例中,步骤S105利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤之前,该方法进一步还包括:
加载并编译预编辑的着色器脚本,得到着色器。
具体地,着色器脚本sh文件包括顶点着色器和片元着色器,在顶点着色器里面定义位置,颜色等属性,并计算经过变换矩阵,投影后得到的一个最终的顶点坐标。在片元着色器中接收顶点着色器传递过来的纹理坐标,纹理采样,并计算最终的一个片元颜色。
具体地,可以通过自定义的GLSurfaceView类,并可以通过setEGLContextClientVersions将版本设置为2.0,以便支持可编辑渲染管线,同时这是一个实时检测环境分贝绘制的场景,渲染方式这里使用RENDERMODE_CONTINUOUSLY。
在一些实施例中,步骤S105利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图进一步包括:
步骤S1054(图中未示出)、按照数据帧读取顺序,计算当前数据帧与前一数据帧的分贝检测值的差值;
步骤S1055(图中未示出)、依据差值和预设的差值阈值,对当前数据帧对应的分贝用户界面UI效果图进行绘制控制。
由于纹理的纵坐标绘制速度大概为每秒55帧做好友,分贝检测每秒返回20~30次左右,即纹理的纵坐标绘制数量超过分贝的返回数量,因此,中间会有很多空闲帧。为此,本申请实施例通过当前数据帧与前一数据帧的分贝检测值的差值的计算,来控制当前纹理绘制的纵坐标绘制速度,以防止因中间帧绘制速度太快或太慢影响用户对绘制的动画效果的观看体验,或者影响设备的运行速度。
具体地,对当前数据帧对应的分贝用户界面UI效果图进行绘制控制包括纵坐标的绘制区间,以及纵坐标及纵坐标各自的绘制速度。其中,纵坐标的绘制区间表征纵坐标的最大值和最小值。应用时,可以通过预设的动画绘制数量与对当前帧的分贝检测值的比例来确定。
在一些实施例中,步骤S1055依据差值和预设的差值阈值,确定当前纹理绘制的纵坐标绘制速度进行调整进一步包括:
若差值小于差值阈值,则对当前纹理绘制的纵坐标绘制速度呈下降趋势进行减缓处理;
若差值不小于差值阈值,则对当前纹理绘制的纵坐标绘制速度呈上升趋势进行加速处理。
本申请实施例中,将差值阈值设置为0,即在当前数据帧与前一数据帧的分贝检测值的差值不小于0的情形下,控制中间帧呈上升趋势进行加速处理;在当前数据帧与前一数据帧的分贝检测值的差值小于0的情形下,控制中间帧呈下降趋势进行减缓处理。
具体地,可以预先设置纵坐标的绘制速度等级,如将绘制速度等级设置为:快、正常和慢。应用时,可以通过将纵坐标的绘制速度等级调整为快或慢,来实现对中间帧呈上升趋势进行加速处理,或对中间帧呈下降趋势进行减缓处理。
在一些实施例中,步骤S105利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,还包括:
若按照数据帧读取顺序连续预定数量的数据帧的分贝检测值无法被得到,且当前环境分贝值小于预定环境分贝值阈值,则控制当前数据帧对应的分贝用户界面UI效果图在预定界限范围呈分贝波动绘制。
应用时,若连续10帧获取不到分贝检测值,且当前环境分贝值小于0.1f(预定环境分贝值阈值),控制中间帧的纵坐标按照一定比例进行绘制,如按照正负0.02f绘制。
在一些实施例中,步骤S105利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,还包括以下至少一种:
步骤S1056(图中未示出)、当对任一分贝检测值对应的目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,在该任一分贝检测值对应的目标背景UI图上新增预警边框,以通过预设的显示控制条件对所述预警边控进行显示控制;
步骤S1057(图中未示出)、当对任一分贝检测值对应的目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,对该任一分贝检测值对应的目标背景UI图的纹理参数进行控制。
具体地,可以将颜色、闪烁频率、纹理、缩放等参数作为显示控制条件。例如,通过控制预警边框的颜色深浅变化、闪烁频率、纹理的光照、缩小变化、放大变化等方式来进行显示控制。
为了进一步说明本申请实施例提供的方法,下面结合图2进行详细说明。该方法包括步骤S11至步骤S17。
步骤S11、接收到开启动画指令后开始绘制相关动画效果。具体地,开启动画指令可以根据预设的条件生成,如双录业务开始时生成。例如,用户手机通过麦克风接收到用户的语音中包括确认双录开始的信息时,双录业务包括的用户实时的一个环境分贝检测场景同时启动,此时生成开启动画指令。
步骤S12、自定义GLSurfaceView类,构造方法中通过setEGLContextClientVersions将版本设置为2.0,以便支持可编辑渲染管线,同时这是一个实时检测环境分贝绘制的场景,渲染方式这里使用RENDERMODE_CONTINUOUSLY。
步骤S13、自定义GLSurfaceView.Renderer,用于操作整个实时绘制的过程。其中,在初始化构造方法中做一些数据初始化的操作,将场景用到的背景UI图,以及各个分贝值区间对应的分贝UI效果图等全部转换成位图bitmap进行保存。同时,创建一个int数组,用于保存纹理ID数组,设置最大值不能少于创建的bitmap数量。
步骤S14、在工程目录assets下创建着色器脚本sh文件,这里我们用到了顶点着色器和片元着色器,在顶点着色器里面定义位置,颜色等属性,并计算经过变换矩阵,投影后得到的一个最终的顶点坐标。在片元着色器中接收顶点着色器传递过来的纹理坐标,纹理采样,并计算最终的一个片元颜色。
其中,步骤S14包括步骤S141和步骤S142。
步骤S141、监听到onSurfaceCreated回调时加载并编译assets目录下的脚本文件,同时检测编译过程中是否有错误操作。如果没有检测到错误操作,则在编译成功以后返回对应的id,将编译成功返回的id全部加入到程序中,链接成一个完整的着色器程序。通过该程序获取到对应的顶点和纹理属性的引用id,及变换矩阵的引用id。
步骤S142、创建一个统一的纹理初始化构造方法,该方法支持通过传递对应的Bitmap和定义的纹理id(纹理id唯一且依次递增的方式添加),绑定对应的textureID,设置纹理采样,纹理拉升,通过GLUtils.texImage2D将对应的bitmap加入显存。应用时,步骤S13中创建的所有bitmap通过该方法加入显存并绑定对应纹理id,同时对于后续不需要使用的Bitmap可以在这里做一个资源的释放。
步骤S15、监听onSurfaceChanged回调成功后,获取对应的width和height,根据实际UI情况的x和y坐标,以及width和height设置绘制视图的大小及位置,根据(float)width/height计算出实际的宽高比例。
步骤S15包括步骤S151-步骤S153。其中,步骤S1051、初始化顶点坐标,简单说就是空间中一个位置。一个三维立方体是由6个二维的正方体组成,每个正方形代表一个独立的面。正方形的每个角称为顶点。这些顶点在3D空间指定了一个特定的坐标,称为顶点坐标,用(x,y,z)表示。顶点数据实际是由4个元素组成(x,y,z,w),其中x,y,z表示在空间的一个坐标位置,w表示一个缩放因子。在本实施例的场景中,w默认情况下为1.0,这里不需要去改动它。这里采用一个向量来表示一个顶点:vec2,vec3,vec4,分别为二维向量,三维向量,四维向量。创建一个一维数组用于存放4个顶点的三维坐标。顶点的坐标存放顺序是左下,右下,左上,右上。
Figure BDA0003753395900000091
应用时,各个分贝检测值区间对应的分贝UI效果图顶点坐标可以共用一套坐标,只需要对应不同的纹理id即可。对于多个相同的位图,都可以公用同一套纹理ID,只需要通过位移的方式绘制到不同的地方即可。
其中创建一个FloatBuffer,将创建的顶点坐标放至该缓冲区,每次绘制直接从缓冲区中取对应的数据即可。
通过GLES20.glVertexAttribPointer方式为我们的画笔指定各个顶点坐标的位置,将步骤S141获取的顶点属性引用id,及获取的缓冲数据FloatBuffer传递到渲染管线,以便管线经过基本处理后将对应的值传递给顶点着色器中的属性变量,同时由于坐标轴数据为x,y,z传递的size应该为3,stride大小为3*4(每组三个坐标x,y,z,每个占用4个字节)。
此时可以启用顶点位置数据。启用后等待绘制操作。
同时,初始化纹理坐标。我们可以把所有用到的位图放在一个文件中,也可以每个位图用一个文件来存放。位图中纹理坐标截取顺序跟Camera位置有关。我们采用的是正交投影的方式,所以纹理坐标数据定义如下:
Figure BDA0003753395900000092
Figure BDA0003753395900000101
创建一个FloatBuffer,将创建的纹理坐标放至该缓冲区,每次绘制直接从缓冲区中取对应的数据即可。
此时通过GLES20.glVertexAttribPointer方式为我们的画笔指定各个顶点坐标的位置,将步骤S141获取的纹理属性引用id,及获取的缓冲数据FloatBuffer传递到渲染管线,以便管线经过基本处理后将对应的值传递给片元着色器中的属性变量,同时由于坐标轴数据为x,y传递的size应该为2,stride大小为2*4(每组两个坐标x,y,,每个占用4个字节)。此时可以启用纹理位置数据。启用后等待绘制操作。
步骤S152、将物体的形状投射到平面上去,由于我们使用的方式不是动态3D效果,而是平台2D绘制方案,所以不存在画面有近大远小的操作,使用正交投影方式即可。
步骤S153:通过Matrix.setLookAtM完成一个摄像头位置的设置。
步骤S16、监听onDrawFrame方法,首先确保步骤S151顶点和纹理位置数据已启用。步骤S16包括步骤S161和步骤S162。步骤S161、绘制背景,使用步骤S141生成的程序,通过GLES20.glUniformMatrix4fv将S141获取的变换矩阵id传入渲染管线,将S142对应的纹理生成的背景id进行绑定,并且通过GL_TRIANGLE_STRIP绘制两个三角形拼接成一个四边形,4个顶点的方式,绘制成一个完整的背景图。同时背景效果也可以参考步骤S1056或步骤S1057做一些变化。例如,超出预计多少分贝以后,做一个边框闪烁预警,应用时,只需要新增一张边框预警的图,然后按照2秒(具体可以根据业务需要来设置该时间)绘制一帧即可达到动态闪烁的效果。更好的闪烁效果有两种方案可以使用:一种新增多张图,根据颜色深浅程度,选择根据绘制帧缓慢变化达到效果;另一种方案,只使用一张图,根据设置纹理的光照效果,同时通过Matrix做一些缓慢的放大缩小,拉升操作来逐帧控制绘制达到效果。步骤S162、同S16一样的方式绑定对应的分贝纹理id进行绘制,该方案的绘制方案大概一秒50几帧左右的速率,根据返回的分贝检测值按等比例缩放至0到1之间作为绘制y坐标区间,同时x坐标每次以配置的固定值(这里设置一个配置项,可以配置3个选项:快、正常和慢,根据获取的配置项移动,例如,快:0.04f;正常:0.025f;慢:0.001f。Z作坐标设置为0,Matrix.translateM方式逐帧移动。x坐标累计位置超过1后重置x坐标。同时,y坐标的绘制速率超过分贝的返回速率,y坐标绘制速度为每秒55帧左右,分贝检测每秒返回20~30次左右,所以中间会有很多空闲帧,做如下计算,获取到每一次分贝值的时候,保留前一次返回的分贝值,绘制时如果当前分贝值减去前一分贝值大于等于0,则中间帧按照上升趋势绘制(这里设置一个配置项,可以配置3个选项,快,正常,慢,根据获取的配置项快0.03f,正常0.02f,慢0.001f),直至收到下一次分贝值,同理,绘制时如果当前分贝值减去前一分贝值小于0,则中间帧按照下降趋势绘制(每次0.02f频率,可根据配置项调整快慢),形成一个实际的波动效果。当连续10帧获取不到分贝值,并且分贝值低于0.1f时,y坐标按照一定比例(这里设置的正负0.02f)绘制。绘制方式,前4帧正坐标绘制,后4帧负坐标绘制不断循环的方式做一个等待分贝变化的波动效果。根据不同的分贝值大小做一个分贝背景色变化的操作,此时根据获取的一个分贝值的范围在绘制时绑定对应的纹理id即可实现颜色随着分贝大小进行变化。
步骤S17、调用onSurfaceDestroy()。
本申请的又一实施例提供了一种实时绘制分贝检测走势图的装置,如图3所示,该装置20包括:环境分贝检测状态确定模块301、图像处理器GPU切换模块302、分贝数据帧序列确定模块303、数据帧对应的位图确定模块304以及环境分贝检测走势图绘制模块305。
环境分贝检测状态确定模块301,用于确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态;
图像处理器GPU切换模块302,用于若所述环境分贝检测服务场景的启动状态为启动,则将运行所述业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;
分贝数据帧序列确定模块303,用于基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列;
数据帧对应的位图确定模块304,用于确定所述分贝数据帧序列包括的各数据帧分别对应的位图;
环境分贝检测走势图绘制模块305,用于利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
本申请实施例通过确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态,并在环境分贝检测服务场景的启动状态为启动的情形下,将运行业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU,以基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列,确定分贝数据帧序列包括的各数据帧分别对应的位图,从而利用图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图,这种将图像绘制过程由CPU转移至GPU的方式,解决了相关技术中因业务场景和图像加载均集中在CPU导致的业务场景在设备上运行不流畅的问题;同时,降低了双录业务场景下绘制分别检测走势图对设备的配置要求,提升了双录业务场景与不同配置的设备的兼容性。
进一步地,数据帧对应的位图确定模块包括:
帧分贝检测值获取子模块,用于逐帧对各数据帧进行分贝值计算,得到多个分贝检测值;
帧分贝UI图确定子模块,用于基于预设的多个第一分贝检测值范围分别对应的分贝用户界面UI效果图,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图;
帧背景UI图确定子模块,用于基于预设的多个第二分贝检测值范围分别对应的背景UI图,确定多个分贝检测值各自对应的目标背景UI图。
进一步地,环境分贝检测走势图绘制模块包括:
帧顶点坐标确定子模块,用于基于预设的多个第一分贝检测值范围分别对应的顶点坐标,确定多个分贝检测值各自对应的所述目标分贝用户界面UI效果图的第一顶点坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标;
帧纹理坐标确定子模块,用于基于预设的多个第一分贝检测值范围分别对应的纹理坐标,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标;
环境分贝检测图绘制子模块,用于依据多个分贝检测值各自对应的所述目标分贝用户界面UI效果图的第一顶点坐标,多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标、多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标,控制所述图像处理器GPU按照预设的着色器进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
更进一步地,环境分贝检测图绘制子模块在利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图之前,还包括:
着色器脚本编译单元,用于加载并编译预编辑的着色器脚本,得到所述着色器。
进一步地,环境分贝检测走势图绘制模块包括:
帧间分贝差值计算子模块,用于按照数据帧读取顺序,计算当前数据帧与前一数据帧的分贝检测值的差值;
帧分贝UI图绘制子模块,用于依据所述差值和预设的差值阈值,对所述当前数据帧对应的分贝用户界面UI效果图进行绘制控制。
更进一步地,帧分贝UI图绘制子模块包括以下至少一项:
第一绘制单元,用于若所述差值小于所述差值阈值,则对当前纹理绘制的纵坐标绘制速度呈下降趋势进行减缓处理;
第二绘制单元,用于若所述差值大于所述差值阈值,则对当前纹理绘制的纵坐标绘制速度呈上升趋势进行加速处理。
进一步地,环境分贝检测走势图绘制模块还包括:
第三绘制单元,用于若按照数据帧读取顺序连续预定数量的数据帧的分贝检测值无法被得到,且当前环境分贝值小于预定环境分贝值阈值,则控制所述当前数据帧对应的分贝用户界面UI效果图在预定界限范围呈分贝波动绘制。
进一步地,环境分贝检测走势图绘制模块还包括以下至少一种:
第一背景图控制子模块,用于当对任一分贝检测值对应的目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,在该任一分贝检测值对应的所述目标背景UI图上新增预警边框,以通过预设的显示控制条件对所述预警边控进行显示控制;
第二背景图控制子模块,用于当对任一分贝检测值对应的所述目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,对该任一分贝检测值对应的所述目标背景UI图的纹理参数进行控制。
本实施例的实时绘制分贝检测走势图的装置可执行本申请实施例一所示的实时绘制分贝检测走势图的方法,其实现原理相类似,此处不再赘述。
本申请又一实施例提供了一种终端,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时以实现上述实时绘制分贝检测走势图的方法。
具体地,处理器可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
具体地,处理器通过总线与存储器连接,总线可包括一通路,以用于传送信息。总线可以是PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。
存储器可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
可选的,存储器用于存储执行本申请方案的计算机程序的代码,并由处理器来控制执行。处理器用于执行存储器中存储的应用程序代码,以实现上述实施例提供的实时绘制分贝检测走势图的装置的动作。
本申请又一实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实时绘制分贝检测走势图的方法。
以上所描述的装置实施例仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本申请的较佳实施进行了具体说明,但本申请并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种实时绘制分贝检测走势图的方法,其特征在于,包括:
确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态;
若所述环境分贝检测服务场景的启动状态为启动,则将运行所述业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;
基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列;
确定所述分贝数据帧序列包括的各数据帧分别对应的位图;
利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
2.根据权利要求1所述的方法,其特征在于,所述确定所述分贝数据帧序列包括的各数据帧分别对应的位图的步骤,包括:
逐帧对各数据帧进行分贝值计算,得到多个分贝检测值;
基于预设的多个第一分贝检测值范围分别对应的分贝用户界面UI效果图,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图;
基于预设的多个第二分贝检测值范围分别对应的背景UI图,确定多个分贝检测值各自对应的目标背景UI图。
3.根据权利要求2所述的方法,其特征在于,所述利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,包括:
基于预设的多个第一分贝检测值范围分别对应的顶点坐标,确定多个分贝检测值各自对应的所述目标分贝用户界面UI效果图的第一顶点坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标;
基于预设的多个第一分贝检测值范围分别对应的纹理坐标,确定多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标;
依据多个分贝检测值各自对应的所述目标分贝用户界面UI效果图的第一顶点坐标,多个分贝检测值各自对应的目标背景UI图分别对应的第一顶点坐标、多个分贝检测值各自对应的目标分贝用户界面UI效果图的第一纹理坐标,以及多个分贝检测值各自对应的目标背景UI图分别对应的第二纹理坐标,控制所述图像处理器GPU按照预设的着色器进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
4.根据权利要求3所述的方法,其特征在于,所述利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤之前,所述方法还包括:
加载并编译预编辑的着色器脚本,得到所述着色器。
5.根据权利要求2所述的方法,其特征在于,所述利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,包括:
按照数据帧读取顺序,计算当前数据帧与前一数据帧的分贝检测值的差值;
依据所述差值和预设的差值阈值,对所述当前数据帧对应的分贝用户界面UI效果图进行绘制控制。
6.根据权利要求5所述的方法,其特征在于,所述依据所述差值和预设的差值阈值,对所述当前数据帧对应的分贝用户界面UI效果图的绘制速度进行控制的步骤,包括以下至少一项:
若所述差值小于所述差值阈值,则对当前纹理绘制的纵坐标绘制速度呈下降趋势进行减缓处理;
若所述差值大于所述差值阈值,则对当前纹理绘制的纵坐标绘制速度呈上升趋势进行加速处理。
7.根据权利要求5所述的方法,其特征在于,所述利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,还包括:
若按照数据帧读取顺序连续预定数量的数据帧的分贝检测值无法被得到,且当前环境分贝值小于预定环境分贝值阈值,则控制所述当前数据帧对应的分贝用户界面UI效果图在预定界限范围呈分贝波动绘制。
8.根据权利要求2所述的方法,其特征在于,所述利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图的步骤,还包括以下至少一种:
当对任一分贝检测值对应的目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,在该任一分贝检测值对应的所述目标背景UI图上新增预警边框,以通过预设的显示控制条件对所述预警边控进行显示控制;
当对任一分贝检测值对应的所述目标背景UI图进行绘制时,若该任一分贝检测值大于针对该任一分贝检测值阈值的预定数值时,对该任一分贝检测值对应的所述目标背景UI图的纹理参数进行控制。
9.一种实时绘制分贝检测走势图的装置,其特征在于,包括:
环境分贝检测状态确定模块,用于确定业务客户端的双录业务包括的环境分贝检测服务场景的启动状态;
图像处理器GPU切换模块,用于若所述环境分贝检测服务场景的启动状态为启动,则将运行所述业务客户端的目标设备由中央处理器CPU切换至图像处理器GPU;
分贝数据帧序列确定模块,用于基于双录业务办理过程中录制的音视频文件,确定当前待处理的分贝数据帧序列;
数据帧对应的位图确定模块,用于确定所述分贝数据帧序列包括的各数据帧分别对应的位图;
环境分贝检测走势图绘制模块,用于利用所述图像处理器GPU按照预设的着色器对各数据帧分别对应的位图进行图形绘制,得到用户在双录业务办理过程中的环境分贝检测趋势渲染图。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8任一项所述的方法。
CN202210850826.1A 2022-07-19 2022-07-19 实时绘制分贝检测走势图的模型训练方法、装置及介质 Active CN115861473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210850826.1A CN115861473B (zh) 2022-07-19 2022-07-19 实时绘制分贝检测走势图的模型训练方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210850826.1A CN115861473B (zh) 2022-07-19 2022-07-19 实时绘制分贝检测走势图的模型训练方法、装置及介质

Publications (2)

Publication Number Publication Date
CN115861473A true CN115861473A (zh) 2023-03-28
CN115861473B CN115861473B (zh) 2023-10-24

Family

ID=85660311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210850826.1A Active CN115861473B (zh) 2022-07-19 2022-07-19 实时绘制分贝检测走势图的模型训练方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115861473B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617594A (zh) * 2013-12-16 2014-03-05 中国民航大学 面向噪声等值面绘制的多gpu渲染并行处理装置及其方法
CN104573387A (zh) * 2015-01-26 2015-04-29 深圳市冠旭电子有限公司 一种噪音地图绘制方法及装置
US20190392597A1 (en) * 2017-03-15 2019-12-26 SZ DJI Technology Co., Ltd. Imaging method and imaging control apparatus
CN113379886A (zh) * 2021-07-05 2021-09-10 中煤航测遥感集团有限公司 地理信息系统的三维渲染方法、装置、设备及存储介质
CN114187922A (zh) * 2021-12-11 2022-03-15 深圳市冠旭电子股份有限公司 一种音频检测方法、装置及终端设备
US20220132014A1 (en) * 2019-02-19 2022-04-28 Sony Semiconductor Solutions Corporation Signal processing method and imaging apparatus
CN114760526A (zh) * 2022-03-31 2022-07-15 北京百度网讯科技有限公司 一种视频渲染方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617594A (zh) * 2013-12-16 2014-03-05 中国民航大学 面向噪声等值面绘制的多gpu渲染并行处理装置及其方法
CN104573387A (zh) * 2015-01-26 2015-04-29 深圳市冠旭电子有限公司 一种噪音地图绘制方法及装置
US20190392597A1 (en) * 2017-03-15 2019-12-26 SZ DJI Technology Co., Ltd. Imaging method and imaging control apparatus
US20220132014A1 (en) * 2019-02-19 2022-04-28 Sony Semiconductor Solutions Corporation Signal processing method and imaging apparatus
CN113379886A (zh) * 2021-07-05 2021-09-10 中煤航测遥感集团有限公司 地理信息系统的三维渲染方法、装置、设备及存储介质
CN114187922A (zh) * 2021-12-11 2022-03-15 深圳市冠旭电子股份有限公司 一种音频检测方法、装置及终端设备
CN114760526A (zh) * 2022-03-31 2022-07-15 北京百度网讯科技有限公司 一种视频渲染方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李科慧 等: "郊野公园的景观降噪模式探究——以北京新机场临空经济区降噪公园设计为例", 《中国风景园林学会2020年会论文集(下册)》, pages 143 - 149 *

Also Published As

Publication number Publication date
CN115861473B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN109260708B (zh) 地图渲染方法、装置以及计算机设备
US11288864B2 (en) Methods and systems for producing content in multiple reality environments
US10986330B2 (en) Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN109771951B (zh) 游戏地图生成的方法、装置、存储介质和电子设备
CN105741228A (zh) 图形处理方法及装置
CN110163831B (zh) 三维虚拟沙盘的物体动态展示方法、装置及终端设备
CN109829964B (zh) Web增强现实的渲染方法和装置
CN110781823B (zh) 录屏检测方法、装置、可读介质及电子设备
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
US20220193547A1 (en) Method and system for game screen rendering based on multiple graphics cards
CN110841293B (zh) 一种自动动态输出游戏贴图合适度的方法和系统
WO2022033131A1 (zh) 基于json数据格式的动画渲染方法
CN110765799A (zh) 客户端扫码识别方法、装置、设备及存储介质
CN110866965A (zh) 一种三维模型的贴图绘制方法及装置
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
CN113469883B (zh) 动态分辨率的渲染方法、装置、电子设备及可读存储介质
CN111798361A (zh) 渲染方法、装置、电子设备及计算机可读存储介质
CN115861473B (zh) 实时绘制分贝检测走势图的模型训练方法、装置及介质
CN115379208B (zh) 一种摄像头的测评方法及设备
CN111784811A (zh) 一种图像处理方法、装置,电子设备及存储介质
CN114170359A (zh) 体积雾渲染方法、装置、设备及存储介质
CN116173496A (zh) 一种图像帧的渲染方法及相关装置
CN110187853B (zh) 画面冲突识别方法、设备、画面处理设备及介质
CN114627225A (zh) 图形渲染方法、装置及存储介质
CN115880127A (zh) 一种渲染格式选择方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant