CN107197201B - 一种基于视频内容分析的车载视频上传控制方法 - Google Patents
一种基于视频内容分析的车载视频上传控制方法 Download PDFInfo
- Publication number
- CN107197201B CN107197201B CN201710364412.7A CN201710364412A CN107197201B CN 107197201 B CN107197201 B CN 107197201B CN 201710364412 A CN201710364412 A CN 201710364412A CN 107197201 B CN107197201 B CN 107197201B
- Authority
- CN
- China
- Prior art keywords
- car
- video
- image
- mounted terminal
- central monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于视频内容分析的车载视频上传控制方法，包括以下步骤：中央监控平台为车载终端配置视频上传的时间范围，并向车载终端发出视频上传命令；车载终端实时采集车辆内外的视频监控信息，并上传到中央监控平台实现视频监控；在视频上传过程中，车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入下一步；若否，关闭车载终端的数据上传通道；中央监控平台对监控视频进行分析，并根据视频分析结果，实现视频上传时间范围内的数据传输控制。本发明能够根据中央监控平台配置的监控时间和视频内容的分析结果，实现车载视频的上传控制，提高了流量资源的利用率和数据传输的灵活性。
Description
技术领域
本发明涉及一种基于视频内容分析的车载视频上传控制方法。
背景技术
随着科学技术的发展和社会生活水平的不断进步，各种车辆已经成为人们生活中必不可少的交通运输工具，在社会生活中起到越来越重要的作用。
为提高车辆行驶的安全性和规范性，常常需要对车辆运行情况进行监控；而视频监控更是其中非常重要的一个要素；在视频监控过程中，需要由车载终端的采集车辆视频信息，传输到中央监控平台，并通过显示模块呈现给中央监控平台的管理人员。
而在视频上传过程中，通常需要消耗电话卡流量，通过无线网络进行通讯，进而实现视频数据传输；而监控平台管理人员在离开时，可能会忘记关闭平台设备时，此时监控视频依然处于上传状态，将会大大提高流量的使用量，对资源造成很大的浪费；并且，在实际应用过程中，除了根据平台管理人员的操作实现视频监控外，车辆是否需要监控由多种因素决定，如车辆行驶速度、车内人员和物品实时情况等，在一些情况下，如果车辆处于静止状态，且车内无人员活动和物品移动，并没有必要继续进行监控；但是目前的监控视频上传控制方法中，并不能根据视频分析自动实现车辆状况的识别，也无法在该情况下切断数据传输通道，对于流量资源的利用存在浪费，在视频上传控制的灵活性上也具有一定缺陷。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于视频内容分析的车载视频上传控制方法，能够根据中央监控平台配置的监控时间和视频内容的分析结果，实现车载视频的上传控制，提高了流量资源的利用率和数据传输的灵活性。
本发明的目的是通过以下技术方案来实现的：一种基于视频内容分析的车载视频上传控制方法，包括以下步骤：
S1.中央监控平台为车载终端配置视频上传的时间范围，并向车载终端发出视频上传命令；
S2.车载终端实时采集车辆内外的视频监控信息，并上传到中央监控平台实现视频监控；所述的步骤S2包括以下子步骤：S21.车载终端实时采集车内外的视频监控信息；S22.对采集到的视频监控信息进行加密；S23.将加密后的视频监控信息上传到中央监控平台；S24.中央监控平台对接收到的视频监控信息进行解密；S25.将解密后的视频监控信息在中央监控平台的显示设备上进行播放，供中央监控平台的管理人员实现监控。
S3.在视频上传过程中，车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，关闭车载终端的数据上传通道；所述步骤S3包括以下子步骤：S31.车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，则进入步骤S32；S32.关闭车载终端的数据上传通道，车载终端停止向中央监控平台上传监控视频信息；S33.车载终端向中央监控平台发送停止上传的通知；S34.中央监控平台控制显示设备关闭。
S4.中央监控平台对监控视频进行分析，并根据视频分析结果，实现视频上传时间范围内的数据传输控制。所述的步骤S4包括以下子步骤：S41.中央监控平台获取当前接收到监控视频图像与N秒前接收到的监控视频图像；S42.将当前接收到的视频图像分为当前车内图像和当前车外图像；将N秒前接收到的视频图像分为历史车内图像和历史车外图像；S43.判断当前车外图像与历史车外图像是否相同：（1）若相同，则证明车辆处于静止状态，进入步骤S44；（2）若不同，则证明车辆处于运动状态，返回步骤S41进行下一次的图像获取；S44.判断当前车内图像与历史车内图像是否相同：若相同，则证明车内没有人员运动和物品移动，进入步骤S45；若不同，则返回步骤S41进行下一次的图像获取；S45.中央监控平台向车载终端发送控制指令，使车载终端停止传输视频监控数据。
进一步地，所述步骤S43包括：通过量化计算分析当前车外图像与历史车外图像的差异值；判断当前车外图像与历史车外图像的差异值是否小于预设阈值T1；若是，则认为当前车外图像与历史车外图像相同；若否，则认为当前车外图像与历史车外图像不同。所述步骤S44包括：通过量化计算分析当前车内图像与历史车内图像的差异值；判断当前车内图像与历史车内图像的差异值是否小于预设阈值T2；若是，则认为当前车内图像与历史车内图像相同；若否，则认为当前车内图像与历史车内图像不同。
其中，所述的量化计算包括以下子步骤：
S001.对于待计算的两幅图像A、B，将其调整到相同的尺寸，且重叠放置；
S002.以重叠放置的两幅图像中心为原点，建立x-o-y坐标系；
S003.对于图像A中的任意像素点A1（x1，y1），判断是否能在图像B中找到对应的像素点B1（x2，y2）：
（1）若是，计算A1、B1两点之间的距离L1，作为像素点A1相对于图像B的差异值；
（2）若否，进入步骤S004，像素点A1相对于图像B的差异值取固定值M；
S004.重复步骤S002~S003，得到图像A中各个像素点相对于图像B的差异值，对这些差异值进行平均运算，得到的平均值即为图像A与图像B的差异值。
其中，时间参数N、阈值T1、阈值T2和固定值M均由中央监控平台预先配置。
本发明的有益效果是：中央监控平台为车载终端配置视频上传的时间范围，在实时时间超出视频上传的时间范围，关闭车载终端的数据上传通道，故在管理人员忘记关闭平台设备且离开时，避免了视频持续上传带来的流量浪费，提高了流量资源的利用率；中央监控平台通过视频分析，能够在车辆处于静止状态，且车内无人员活动和物品移动时，向车载终端发送控制指令，使车载终端停止传输视频监控数据，进一步提高了流量资源的利用率，增加了视频上传控制的灵活性。
附图说明
图1为本发明的流程图；
图2为视频监控的流程图；
图3为通过视频分析实现车载视频上传控制的流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于视频内容分析的车载视频上传控制方法，包括以下步骤：
S1.中央监控平台为车载终端配置视频上传的时间范围，并向车载终端发出视频上传命令；
S2.车载终端实时采集车辆内外的视频监控信息，并上传到中央监控平台实现视频监控；如图2所示，步骤S2包括以下子步骤：S21.车载终端实时采集车内外的视频监控信息；S22.对采集到的视频监控信息进行加密；S23.将加密后的视频监控信息上传到中央监控平台；S24.中央监控平台对接收到的视频监控信息进行解密；S25.将解密后的视频监控信息在中央监控平台的显示设备上进行播放，供中央监控平台的管理人员实现监控。
S3.在视频上传过程中，车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，关闭车载终端的数据上传通道；所述步骤S3包括以下子步骤：S31.车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，则进入步骤S32；S32.关闭车载终端的数据上传通道，车载终端停止向中央监控平台上传监控视频信息；S33.车载终端向中央监控平台发送停止上传的通知；S34.中央监控平台控制显示设备关闭。
S4.中央监控平台对监控视频进行分析，并根据视频分析结果，实现视频上传时间范围内的数据传输控制。如图3所示，步骤S4包括以下子步骤：S41.中央监控平台获取当前接收到监控视频图像与N秒前接收到的监控视频图像；S42.将当前接收到的视频图像分为当前车内图像和当前车外图像；将N秒前接收到的视频图像分为历史车内图像和历史车外图像；S43.判断当前车外图像与历史车外图像是否相同：（1）若相同，则证明车辆处于静止状态，进入步骤S44；（2）若不同，则证明车辆处于运动状态，返回步骤S41进行下一次的图像获取；S44.判断当前车内图像与历史车内图像是否相同：若相同，则证明车内没有人员运动和物品移动，进入步骤S45；若不同，则返回步骤S41进行下一次的图像获取；S45.中央监控平台向车载终端发送控制指令，使车载终端停止传输视频监控数据。
进一步地，所述步骤S43包括：通过量化计算分析当前车外图像与历史车外图像的差异值；判断当前车外图像与历史车外图像的差异值是否小于预设阈值T1；若是，则认为当前车外图像与历史车外图像相同；若否，则认为当前车外图像与历史车外图像不同。所述步骤S44包括：通过量化计算分析当前车内图像与历史车内图像的差异值；判断当前车内图像与历史车内图像的差异值是否小于预设阈值T2；若是，则认为当前车内图像与历史车内图像相同；若否，则认为当前车内图像与历史车内图像不同。
其中，所述的量化计算包括以下子步骤：
S001.对于待计算的两幅图像A、B，将其调整到相同的尺寸，且重叠放置；
S002.以重叠放置的两幅图像中心为原点，建立x-o-y坐标系；
S003.对于图像A中的任意像素点A1（x1，y1），判断是否能在图像B中找到对应的像素点B1（x2，y2）：
（1）若是，计算A1、B1两点之间的距离L1，作为像素点A1相对于图像B的差异值；
（2）若否，进入步骤S004，像素点A1相对于图像B的差异值取固定值M；
S004.重复步骤S002~S003，得到图像A中各个像素点相对于图像B的差异值，对这些差异值进行平均运算，得到的平均值即为图像A与图像B的差异值。
其中，时间参数N、阈值T1、阈值T2和固定值M均由中央监控平台预先配置。其中固定值M配置时需大于图像A的长宽尺寸之和。在理想情况下，两幅相同的图像，调整到相同的尺寸且重叠放置在同一个坐标系中后，两幅图像中对应的像素点也应该是重叠的（在同一个坐标系中距离为0），故当两幅图像存在差异时，对应的像素点也不再重叠；差异越大，对应像素点距离约大；故本申请中用两幅图像中对应像素点的距离反映图像的差异；如果一幅图像的像素点，在另一幅图像中找不到对应的像素点，则说明该像素点与另一图像差异极大，故本申请中用大于图像长宽尺寸之和的固定值M（根据需要预先配置）来表征这种差异；为了提高差异值的可信度，本申请对各像素点的差异值进行平均运算，作为两幅图像的差异值，表征图像的差异程度。
通过量化计算得到当前车外图像与历史车外图像的差异值后，本申请中考虑到可能存在的误差，故设置阈值T1与差异值比较，只要差异值小于T1，则依然认为当前车外图像与历史车外图像相同；同理，通过量化计算得到当前车内图像与历史车内图像的差异值后，也考虑到可能存在的误差，设置阈值T2，只要差异值小于T2，依然认为当前车内图像与历史车内图像相同。
通过本发明提供的车载视频控制方法，中央监控平台的管理人员预先配置了视频上传的时间范围，当实时时间超过该范围时，车载终端会停止对监控视频的上传；即使管理人员在离开时忘记关闭平台设备，在超出监控时间范围后，车载终端也能自动停止数据上传，并向中央监控平台发送停止上传的通知，再由中央监控平台控制显示设备关闭，进而避免了流量资源或者电力资源的浪费。同时，本申请还能够对视频画面进行分析，如果当前的车外图像与N秒前的历史车外图像相同，则可以说明车辆处于静止状态，如果当前的车内图像与N秒前的历史车内图像相同，则能够说明且车内无人员活动和物品移动，在同时满足这两个条件下（如客车等，在没有运行，且车内无人员活动的情况下，其实是没有必要进行视频上传的），中央监控平台向车载终端发送控制指令，使车载终端停止传输视频监控数据，既能够进一步提高流量资源的利用率，也能够增加视频上传控制的灵活性。
Claims (4)
1.一种基于视频内容分析的车载视频上传控制方法，其特征在于：包括以下步骤：
S1.中央监控平台为车载终端配置视频上传的时间范围，并向车载终端发出视频上传命令；
S2.车载终端实时采集车辆内外的视频监控信息，并上传到中央监控平台实现视频监控；
S3.在视频上传过程中，车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，关闭车载终端的数据上传通道；
S4.中央监控平台对监控视频进行分析，并根据视频分析结果，实现视频上传时间范围内的数据传输控制：
所述的步骤S4包括以下子步骤：
S41.中央监控平台获取当前接收到监控视频图像与N秒前接收到的监控视频图像；
S42.将当前接收到的视频图像分为当前车内图像和当前车外图像；将N秒前接收到的视频图像分为历史车内图像和历史车外图像；
S43.判断当前车外图像与历史车外图像是否相同：
（1）若相同，则证明车辆处于静止状态，进入步骤S44；
（2）若不同，则证明车辆处于运动状态，返回步骤S41进行下一次的图像获取；
S44.判断当前车内图像与历史车内图像是否相同：
若相同，则证明车内没有人员运动和物品移动，进入步骤S45；
若不同，则返回步骤S41进行下一次的图像获取；
S45.中央监控平台向车载终端发送控制指令，使车载终端停止传输视频监控数据；
所述步骤S43包括：通过量化计算分析当前车外图像与历史车外图像的差异值；判断当前车外图像与历史车外图像的差异值是否小于预设阈值T1；若是，则认为当前车外图像与历史车外图像相同；若否，则认为当前车外图像与历史车外图像不同；
所述步骤S44包括：通过量化计算分析当前车内图像与历史车内图像的差异值；判断当前车内图像与历史车内图像的差异值是否小于预设阈值T2；若是，则认为当前车内图像与历史车内图像相同；若否，则认为当前车内图像与历史车内图像不同；
所述的量化计算包括以下子步骤：
S001.对于待计算的两幅图像A、B，将其调整到相同的尺寸，且重叠放置；
S002.以重叠放置的两幅图像中心为原点，建立x-o-y坐标系；
S003.对于图像A中的任意像素点A1（x1，y1），判断是否能在图像B中找到对应的像素点B1（x2，y2）：
（1）若是，计算A1、B1两点之间的距离L1，作为像素点A1相对于图像B的差异值；
（2）若否，进入步骤S004，像素点A1相对于图像B的差异值取固定值M；
S004.重复步骤S002~S003，得到图像A中各个像素点相对于图像B的差异值，对这些差异值进行平均运算，得到的平均值即为图像A与图像B的差异值。
2.根据权利要求1所述的一种基于视频内容分析的车载视频上传控制方法，其特征在于：所述的步骤S2包括以下子步骤：
S21.车载终端实时采集车内外的视频监控信息；
S22.对采集到的视频监控信息进行加密；
S23.将加密后的视频监控信息上传到中央监控平台；
S24.中央监控平台对接收到的视频监控信息进行解密；
S25.将解密后的视频监控信息在中央监控平台的显示设备上进行播放，供中央监控平台的管理人员实现监控。
3.根据权利要求1所述的一种基于视频内容分析的车载视频上传控制方法，其特征在于：所述步骤S3包括以下子步骤：
S31.车载终端实时判断当前时间是否在配置的视频上传时间范围内；若是，则进入步骤S4；若否，则进入步骤S32；
S32.关闭车载终端的数据上传通道，车载终端停止向中央监控平台上传监控视频信息；
S33.车载终端向中央监控平台发送停止上传的通知；
S34.中央监控平台控制显示设备关闭。
4.根据权利要求1所述的一种基于视频内容分析的车载视频上传控制方法，其特征在于：时间参数N、阈值T1、阈值T2和固定值M均由中央监控平台预先配置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710364412.7A CN107197201B (zh) | 2017-05-22 | 2017-05-22 | 一种基于视频内容分析的车载视频上传控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710364412.7A CN107197201B (zh) | 2017-05-22 | 2017-05-22 | 一种基于视频内容分析的车载视频上传控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107197201A CN107197201A (zh) | 2017-09-22 |
| CN107197201B true CN107197201B (zh) | 2019-09-17 |
Family
ID=59874644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710364412.7A Active CN107197201B (zh) | 2017-05-22 | 2017-05-22 | 一种基于视频内容分析的车载视频上传控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107197201B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948605B (zh) * | 2017-12-11 | 2020-09-08 | 日立楼宇技术（广州）有限公司 | 车载监控视频数据存储的方法、装置、设备及存储介质 |
| CN108012119B (zh) * | 2017-12-13 | 2021-06-25 | 苏州华兴源创科技股份有限公司 | 一种实时视频的传输方法、传输系统和一种可读存储介质 |
| CN108391097A (zh) * | 2018-04-24 | 2018-08-10 | 冼汉生 | 一种视频图像上传方法、装置及计算机存储介质 |
| CN114726891A (zh) * | 2022-03-28 | 2022-07-08 | 慧之安信息技术股份有限公司 | 一种基于物联网的视频传输上报方法 |
| CN116016864B (zh) * | 2022-12-27 | 2024-03-19 | 南斗六星系统集成有限公司 | 一种道路试验车视频监控方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986920A (zh) * | 2014-06-06 | 2014-08-13 | 奇瑞汽车股份有限公司 | 一种车载远程摄像头监控系统及其控制方法 |
| CN204010062U (zh) * | 2014-06-17 | 2014-12-10 | 皇家飞利浦有限公司 | 车载监视设备 |
| CN104581060A (zh) * | 2014-12-25 | 2015-04-29 | 深圳市华宝电子科技有限公司 | 一种手机监控车辆多路视频的网络流量管理方法和装置 |
| CN105279813A (zh) * | 2015-10-23 | 2016-01-27 | 北京奇虎科技有限公司 | 电子设备及其供电模式切换方法、装置 |
| CN105723699A (zh) * | 2015-12-23 | 2016-06-29 | 张北江 | 监控系统的摄像头管理方法及系统 |
| CN105812749A (zh) * | 2016-04-26 | 2016-07-27 | 深圳市中创星联科技有限公司 | 基于押运车的视频数据处理方法及装置 |
| CN205647826U (zh) * | 2016-05-30 | 2016-10-12 | 华北理工大学 | 针对性红外监控系统 |
| CN106210613A (zh) * | 2015-04-30 | 2016-12-07 | 中兴通讯股份有限公司 | 一种视频监控方法、装置及系统 |
-
2017
- 2017-05-22 CN CN201710364412.7A patent/CN107197201B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986920A (zh) * | 2014-06-06 | 2014-08-13 | 奇瑞汽车股份有限公司 | 一种车载远程摄像头监控系统及其控制方法 |
| CN204010062U (zh) * | 2014-06-17 | 2014-12-10 | 皇家飞利浦有限公司 | 车载监视设备 |
| CN104581060A (zh) * | 2014-12-25 | 2015-04-29 | 深圳市华宝电子科技有限公司 | 一种手机监控车辆多路视频的网络流量管理方法和装置 |
| CN106210613A (zh) * | 2015-04-30 | 2016-12-07 | 中兴通讯股份有限公司 | 一种视频监控方法、装置及系统 |
| CN105279813A (zh) * | 2015-10-23 | 2016-01-27 | 北京奇虎科技有限公司 | 电子设备及其供电模式切换方法、装置 |
| CN105723699A (zh) * | 2015-12-23 | 2016-06-29 | 张北江 | 监控系统的摄像头管理方法及系统 |
| CN105812749A (zh) * | 2016-04-26 | 2016-07-27 | 深圳市中创星联科技有限公司 | 基于押运车的视频数据处理方法及装置 |
| CN205647826U (zh) * | 2016-05-30 | 2016-10-12 | 华北理工大学 | 针对性红外监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107197201A (zh) | 2017-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107197201B (zh) | 一种基于视频内容分析的车载视频上传控制方法 | |
| CN106364424B (zh) | 一种车辆异常信息传输系统、方法及智能车载盒 | |
| US20180308344A1 (en) | Vehicle-to-infrastructure (v2i) accident management | |
| CN204087490U (zh) | 一种基于机器视觉的疲劳预警系统 | |
| CN111038331A (zh) | 车辆电池状态监测的方法、装置、设备及存储介质 | |
| CN106686075A (zh) | 一种车辆远程监控系统及方法 | |
| US20240023082A1 (en) | Data processing method and apparatus, communication device, and storage medium | |
| CN107571735A (zh) | 一种机动车驾驶员状态监测系统及监测方法 | |
| CN205609009U (zh) | 一种车辆管理系统 | |
| CN108632575A (zh) | 一种车队行驶过程中的实时视频跟踪方法及介质 | |
| CN111464933A (zh) | 一种驾驶参数配置方法及服务器 | |
| US20210229565A1 (en) | Systems and methods for policing charging behavior | |
| CN204948233U (zh) | 一种警情调度指挥系统 | |
| CN103338351A (zh) | 一种使用无线网络监控视频数据上传的方法、装置及系统 | |
| CN103974029A (zh) | 视频监控的方法、系统及装置 | |
| CN106292672A (zh) | 一种多平台控制巡检机器人 | |
| CN108710346A (zh) | 基于虚拟融合的汽车总装线智能化监控装置与方法 | |
| CN108366354A (zh) | 一种智能球车终端服务系统 | |
| KR102372560B1 (ko) | 차량을 영상으로 관리하는 방법 및 장치 | |
| CN205408036U (zh) | 一种基于视觉跟踪的车辆监控系统 | |
| CN106128070A (zh) | 移动智能设备状态信息的远程监控方法、装置及系统 | |
| US11595839B2 (en) | Method for deriving cell quality and device supporting the same | |
| US11363590B2 (en) | Method for deriving cell quality and device supporting the same | |
| US20210153061A1 (en) | Method for selecting uplink carrier and device supporting the same | |
| US11894887B2 (en) | Method and communication device for transmitting and receiving camera data and sensor data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |