CN117007050A - 智能化消防救援靴及其定位方法 - Google Patents
智能化消防救援靴及其定位方法 Download PDFInfo
- Publication number
- CN117007050A CN117007050A CN202310945067.1A CN202310945067A CN117007050A CN 117007050 A CN117007050 A CN 117007050A CN 202310945067 A CN202310945067 A CN 202310945067A CN 117007050 A CN117007050 A CN 117007050A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- positioning
- positioning parameter
- data
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012098 association analyses Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 96
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B3/00—Footwear characterised by the shape or the use
- A43B3/02—Boots covering the lower leg
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B3/00—Footwear characterised by the shape or the use
- A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B3/00—Footwear characterised by the shape or the use
- A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
- A43B3/44—Footwear characterised by the shape or the use with electrical or electronic arrangements with sensors, e.g. for detecting contact or position
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
- A43B3/00—Footwear characterised by the shape or the use
- A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
- A43B3/48—Footwear characterised by the shape or the use with electrical or electronic arrangements with transmitting devices, e.g. GSM or Wi-Fi®
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种智能化消防救援靴及其定位方法，其通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及，基于所述定位参数关联特征，确定定位数据。这样，可以在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
Description
技术领域
本发明涉及智能化消防救援技术领域，尤其涉及一种智能化消防救援靴及其定位方法。
背景技术
随着智能化技术的不断发展，消防救援装备也在逐渐智能化。消防靴作为消防员的重要装备之一，其智能化的定位功能对于提高救援效率和安全性至关重要。然而，传统的定位方法主要依赖于卫星导航系统(如GPS)，但在室内或复杂环境中，卫星信号可能会受到干扰或无法获取，导致定位不准确或无法实现。
因此，期望一种优化的智能化消防救援靴定位方案。
发明内容
本发明实施例提供一种智能化消防救援靴及其定位方法，其通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及，基于所述定位参数关联特征，确定定位数据。这样，可以在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
本发明实施例还提供了一种智能化消防救援靴的定位方法，其包括：
通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；
对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及
基于所述定位参数关联特征，确定定位数据。
本发明实施例还提供了一种智能化消防救援靴，其包括：
数据传输模块，用于通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；
时序关联分析模块，用于对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及
定位数据确定模块，用于基于所述定位参数关联特征，确定定位数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种智能化消防救援靴的定位方法的流程图。
图2为本发明实施例中提供的一种智能化消防救援靴的定位方法的系统架构的示意图。
图3为本发明实施例中提供的一种智能化消防救援靴的定位方法中步骤120的子步骤的流程图。
图4为本发明实施例中提供的一种智能化消防救援靴的框图。
图5为本发明实施例中提供的一种智能化消防救援靴的定位方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
消防靴是专门为消防员设计的一种特殊靴子，具有以下特点和功能：1.防火防热，消防靴采用防火防热材料制成，能够有效隔离高温和火焰，保护消防员的脚部免受灼伤。2.防滑耐磨，消防靴的鞋底采用防滑耐磨材料，具有良好的抓地力，可以在湿滑或不平坦的地面上提供稳定的支撑，防止滑倒和摔伤。3.防刺防穿刺，消防靴的鞋面和鞋底通常采用坚固的材料，能够有效防止尖锐物体刺穿，提供额外的保护。4.防化学腐蚀，一些消防靴还具有防化学腐蚀的特性，能够抵御一些化学物质的侵蚀，保护消防员的脚部免受化学品伤害。5.舒适透气，消防靴内部通常配备透气材料和吸湿排汗的内衬，提供舒适的穿着感受，并能够保持脚部干爽。6.高度，消防靴通常设计成高筒的形式，能够覆盖到脚踝以上，提供更好的保护和支撑。
消防靴是消防员个人防护装备中的重要组成部分，能够在火灾和救援工作中提供足够的保护和安全性。根据不同的应用场景和需求，消防靴的设计和材料可能会有所差异，但总体目标都是为了保护消防员的脚部免受伤害，并提供舒适和可靠的穿着体验。
进一步地，智能化消防救援靴内部集成了定位技术，如惯性导航系统、无线定位等，可以实时追踪消防员的位置信息，在火场救援中，这对于指挥中心了解消防员的位置、分配任务和协调救援行动非常重要。
智能化消防救援靴可以通过传感器监测消防员的生理参数，如心率、体温等，以及环境参数，如温度、烟雾浓度等，这些数据可以实时传输到指挥中心，提供消防员的健康状态和火场环境信息，以便及时采取措施保障消防员的安全。
智能化消防救援靴可以与其他救援装备和系统进行联动，如无线通信设备、气体检测仪等，这样消防员可以通过靴子与指挥中心或其他队员进行实时通信，分享信息、协调行动，提高救援效率和安全性。
智能化消防救援靴可以记录消防员的行动轨迹、姿态变化等数据，并将其存储在内部存储器或云端平台中，这些数据可以用于事后分析和训练，帮助改进救援策略、提高救援效果。
智能化消防救援靴可以通过内置显示屏或语音提示，向消防员提供实时指导和培训，如逃生路线、灭火技巧等，有助于提高消防员的应急反应能力和操作技能。
也就是，智能化消防救援靴在消防救援中发挥着重要的作用，可以提高救援效率、保障消防员的安全，并为指挥中心提供实时的位置和环境信息，以便更好地指导和协调救援行动。
在本发明的一个实施例中，图1为本发明实施例中提供的一种智能化消防救援靴的定位方法的流程图。图2为本发明实施例中提供的一种智能化消防救援靴的定位方法的系统架构的示意图。如图1和图2所示，根据本发明实施例的智能化消防救援靴的定位方法100，包括：110，通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；120，对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及，130，基于所述定位参数关联特征，确定定位数据。
其中，在所述步骤110中，部署微型惯性导航系统(INS)需要确保传感器的准确性和稳定性，以获取可靠的行走速度、方向和姿态数据，此外，考虑INS的能耗和尺寸，以确保其适应消防靴的限制条件。通过INS传输的行走速度、方向和姿态数据，可以提供消防员在不同时间点的位置和姿态信息，对于指挥中心了解消防员的实时位置和状态非常重要，以便进行任务分配和协调救援行动。
在所述步骤120中，时序关联分析需要考虑多个预定时间点的行走速度、方向和姿态数据之间的关系，这涉及到数据处理和算法设计，以准确地提取出定位参数关联特征。通过时序关联分析，可以从多个时间点的数据中提取出定位参数关联特征。这可以帮助确定消防员的运动模式、路径和姿态变化，从而提供更准确的定位数据。
在所述步骤130中，基于定位参数关联特征确定定位数据需要确保算法的准确性和稳定性，这需要进行数据校准和模型训练，以提高定位数据的精度和可靠性。通过基于定位参数关联特征确定定位数据，可以提供消防员的准确位置信息，对于指挥中心进行精确的定位和导航非常重要，以便及时指导和协调救援行动，提高救援效率和安全性。
通过部署微型惯性导航系统(INS)并进行预定时间段内多个预定时间点的行走速度、方向和姿态数据的分析，可以实现智能化消防救援靴的定位，具有准确性和实时性的优势，可以为消防救援提供重要的位置信息和指导。
具体地，在所述步骤110中，通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据。
针对上述技术问题，本申请的技术构思为在消防救援靴内部署一个微型惯性导航系统(INS)，该系统由加速度计、陀螺仪、磁力计等传感器组成，可以测量消防员的行走速度、方向、姿态等信息。并且，在数据采集后端加入人工智能的处理算法来对于消防员的行走速度、方向和姿态等信息进行时序关联变化的处理分析，以此来进行消防员的定位。这样，可以在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
具体地，在本申请的技术方案中，首先，获取由部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据。应可以理解，消防员的行走速度可以提供关于其移动的信息。通过监测速度的变化，可以判断消防员是否在移动、移动的速度以及移动的方向。这对于确定消防员的实时位置和行动轨迹至关重要。而消防员的方向数据则可以反映消防员的朝向，这对于指导消防员在救援行动中的方向选择非常重要。消防员的姿态数据可以提供关于消防员的体位和姿势的信息。这对于判断消防员是否处于倾斜、躺卧或其他特殊姿势下非常重要。这些信息可以帮助救援人员更好地了解消防员的状态，并采取适当的救援措施。
应可以理解，微型惯性导航系统(Inertial Navigation System，简称INS)是一种利用惯性传感器测量物体的加速度和角速度，并通过积分和滤波计算出物体的位置、速度和姿态的导航系统。
INS通常由加速度计和陀螺仪组成，加速度计用于测量物体的线性加速度，陀螺仪用于测量物体的角速度，这些传感器可以安装在飞行器、船舶、车辆、无人机、导弹等各种移动平台上。
INS的工作原理是通过对加速度计和陀螺仪的测量数据进行积分和滤波，从而推算出物体的位置、速度和姿态变化。具体而言，加速度计测量物体的加速度，通过积分可以得到速度和位移；陀螺仪测量物体的角速度，通过积分可以得到姿态变化。通过不断积分和更新，INS可以提供连续的导航和定位信息。
INS的优点是具有高精度、实时性强和独立性强，不依赖于外部信号，可以在没有GPS信号或者信号受到干扰的环境中提供可靠的导航和定位信息。因此，INS在航空航天、航海、军事、地质勘探、自动驾驶等领域有广泛的应用。
进一步地，消防员的行走速度可以通过智能化消防救援靴上部署的微型惯性导航系统(INS)来测量，行走速度是确定消防员位置的重要参数之一。通过实时监测消防员的行走速度，可以计算出他们在单位时间内移动的距离，从而推算出他们的当前位置。
方向数据指消防员的行进方向，智能化消防救援靴中的微型惯性导航系统(INS)可以测量消防员的方向信息，包括朝向和转向角度，方向数据可以帮助确定消防员的移动方向，进一步辅助确定其位置。
姿态数据指消防员的身体姿势和倾斜角度。通过智能化消防救援靴上的传感器，可以测量消防员的姿态数据，如身体倾斜角度、站立、蹲下等。姿态数据可以提供消防员的姿势信息，帮助确定他们的位置和行动状态。
通过综合分析行走速度、方向数据和姿态数据，可以进行时序关联分析和定位参数关联特征，从而确定消防员的准确位置，这些数据对指挥中心的救援行动提供重要的指导和协调，确保消防员能够及时找到被救援的人员或火灾现场。
具体地，在所述步骤120中，对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征。图3为本发明实施例中提供的一种智能化消防救援靴的定位方法中步骤120的子步骤的流程图，如图3所示，对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征，包括：121，将所述多个预定时间点的行走速度值、方向数据和姿态数据分别按照时间维度排列为行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量；122，将所述行走速度时序输入向量、所述方向数据时序输入向量和所述姿态数据时序输入向量排列为多定位参数时序关联矩阵；123，基于深度神经网络模型的特征提取器对所述多定位参数时序关联矩阵进行特征提取以得到多定位参数局部时序关联特征图；以及，124，对所述多定位参数局部时序关联特征图进行全局关联编码以得到定位参数全局上下文关联特征向量作为所述定位参数关联特征。
其中，将行走速度值、方向数据和姿态数据按照时间维度排列为时序输入向量，通过将不同时间点的行走速度、方向和姿态数据按照时间顺序排列，可以捕捉到消防员在不同时间点的移动和姿态变化情况，为后续的关联分析提供数据基础。
将行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量排列为一个矩阵，可以将不同定位参数的时序数据进行整合和关联，形成一个多维度的时序关联矩阵，有助于综合考虑不同定位参数之间的关联性，并提供更全面的定位信息。
使用基于深度神经网络模型的特征提取器，对多定位参数时序关联矩阵进行处理，可以提取出多定位参数的局部时序关联特征图，这些特征图能够捕捉到不同定位参数之间的时序关联性，进一步提升了定位参数的表征能力。
通过对多定位参数局部时序关联特征图进行全局关联编码，可以整合不同定位参数之间的全局上下文关联信息，得到更加综合和准确的定位参数关联特征向量，有助于提高定位参数的精度和可靠性。
通过上述步骤，可以通过时序关联分析和特征提取来获取消防员的准确位置信息，为指挥中心的救援行动提供重要的指导和协调。这种方法可以提高消防员的救援效率和安全性。
对于所述步骤121，接着，考虑到由于所述行走速度值、所述方向数据和所述姿态数据都在一定程度上反映了消防员的定位信息，并且这些数据在时间维度上有着时序的关联关系，因此，进一步将所述多个预定时间点的行走速度值、方向数据和姿态数据分别按照时间维度排列为行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量，以此来分别整合所述行走速度值、所述方向数据和所述姿态数据在时间维度上的时序分布信息。
进一步地，按照时间维度排列可以确保行走速度、方向和姿态数据与特定时间点的位置信息相对应，可以准确地将这些数据与消防员的位置信息进行关联，为后续的定位和追踪提供准确的数据基础。
时序输入向量可以用于进行时间序列分析，通过观察数据随时间的变化趋势，可以发现消防员在不同时间点上的行为模式和趋势，有助于了解消防员的行动规律，并为指挥中心提供更准确的救援指导和决策支持。
按照时间维度排列的数据可以更方便地进行记录和分析，消防部门可以对行走速度、方向和姿态数据进行统计和分析，了解消防员在不同时间段的工作强度和状态，为工作安排和培训提供参考依据。
通过实时监测行走速度、方向和姿态数据，可以向消防员提供实时指导和培训。例如，当消防员的行走速度过快或姿态异常时，系统可以发出警示并提供相应的指导，以确保消防员的安全和工作效率。
也就是，将行走速度值、方向数据和姿态数据按照时间维度排列为时序输入向量可以提供准确的数据基础，为消防救援工作提供更精确的定位和追踪功能，并支持指挥中心的决策和消防员的实时指导与培训。
对于所述步骤122，继而，再将所述行走速度时序输入向量、所述方向数据时序输入向量和所述姿态数据时序输入向量排列为多定位参数时序关联矩阵，以此来整合这三者的时序分布信息，以便于后续提取出所述行走速度值、所述方向数据和所述姿态数据之间的时序协同关联特征，从而有利于提高对于消防员定位的精准度。
在本申请的一个实施例中，首先，将行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量进行对应时间点的对齐，确保它们具有相同的时间维度。然后，将对齐后的行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量按照时间维度进行排列，形成一个矩阵。接着，将行走速度、方向和姿态数据分别作为矩阵的不同行或列，形成多定位参数时序关联矩阵。
通过上述步骤，一方面，可以进行数据关联和整合，多定位参数时序关联矩阵将行走速度、方向和姿态数据整合在一起，方便进行数据关联和分析。通过矩阵中的不同行或列，可以直观地观察不同定位参数随时间的变化趋势。
另一方面，可以实现定位精度提升，通过将多个定位参数结合在一起，可以提高定位的精度和准确性。不仅可以利用行走速度进行位置估计，还可以结合方向和姿态数据进行更精确的定位。
再一方面，可以进行综合分析与决策支持，多定位参数时序关联矩阵为指挥中心提供了更全面的数据基础，可以进行综合分析和决策支持。通过观察矩阵中的数据变化，可以了解消防员的行为模式和趋势，为指挥中心的救援行动提供更准确的指导和协调。
将行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量排列为多定位参数时序关联矩阵可以提高定位精度，为指挥中心的决策和救援行动提供更全面的数据支持。
对于所述步骤123，所述深度神经网络模型为卷积神经网络模型。然后，将所述多定位参数时序关联矩阵通过基于卷积神经网络模型的特征提取器中进行特征挖掘，以提取出所述行走速度值、所述方向数据和所述姿态数据之间在时间维度和样本维度上的局部时序协同关联特征分布信息，从而得到多定位参数局部时序关联特征图。
应可以理解，卷积神经网络(Convolutional Neural Network，简称CNN)是一种深度学习模型，广泛应用于图像识别、计算机视觉和自然语言处理等领域，CNN模型在处理具有网格结构的数据(如图像)时表现出色，能够自动学习和提取特征。
CNN模型的核心组件是卷积层(Convolutional Layer)，通过卷积操作在输入数据上滑动一个可学习的滤波器(也称为卷积核)来提取特征，卷积操作可以捕捉到输入数据的局部关系，并且通过多个卷积核可以提取多种特征。在卷积层之后，通常会添加激活函数(如ReLU)来引入非线性，增加模型的表达能力。然后，通过池化层(Pooling Layer)来减小特征图的尺寸，降低计算复杂度，并且提取更加抽象的特征。
在CNN模型的最后，可以添加全连接层(Fully Connected Layer)来进行分类或回归等任务，全连接层将前面卷积层和池化层提取的特征进行扁平化处理，并将其输入到一个或多个全连接层中，最后生成最终的输出。
在所描述的多定位参数时序关联矩阵中，可以使用卷积神经网络模型作为特征提取器，通过将时序关联矩阵作为输入，经过一系列卷积层、激活函数和池化层的处理，模型可以自动学习和提取关键的特征。这些特征可以用于后续的定位和追踪任务，提供准确的消防员位置信息。
对于所述步骤124，包括：对所述多定位参数局部时序关联特征图进行特征分布优化以得到优化多定位参数局部时序关联特征图；将所述优化多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵分别展开为特征向量以得到多个多定位参数局部时序关联特征向量；将所述多个多定位参数局部时序关联特征向量通过基于转换器模块的全局上下文编码器以得到所述定位参数全局上下文关联特征向量。
特别地，在本申请的技术方案中，将所述多定位参数时序关联矩阵通过基于卷积神经网络模型的特征提取器以得到多定位参数局部时序关联特征图时，所述多定位参数局部时序关联特征图的每个特征矩阵表达行走速度值、方向数据和姿态数据的样本-时序交叉维度关联特征，而所述多定位参数局部时序关联特征图的各个特征矩阵遵循所述卷积神经网络模型的通道分布，也就是，所述各个特征矩阵在通道维度下针对不同的样本-时序局部进行交叉维度关联特征表达时，也会在特征矩阵的整体特征流形表达上存在流形几何差异。
这样，将所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵分别展开为特征向量得到所述多个多定位参数局部时序关联特征向量时，所述多个多定位参数局部时序关联特征向量也会存在流形几何连续性差的问题，从而影响基于转换器模块的全局上下文编码器的全局上下文关联特征编码效果，最终影响所述定位参数全局上下文关联特征向量通过解码器的解码结果的准确性。
因此，本申请的申请人针对所述多定位参数局部时序关联特征图的沿通道维度的每个特征矩阵，例如记为Mi，进行特征图的通道维度遍历流形式凸优化，表示为：以如下优化公式对所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵进行特征图的通道维度遍历流形式凸优化以得到所述优化多定位参数局部时序关联特征图；其中，所述优化公式为：
其中，Mi是所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵，Vt1[GAPF)]和Vt2[GAP(F)]分别为基于所述多定位参数局部时序关联特征图的各个特征矩阵的全局均值组成的全局均值池化向量通过线性变换得到的列向量和行向量，||·||2表示矩阵的谱范数，表示向量乘法，⊙表示按位置点乘，且M'i为所述优化多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵。
这里，所述多定位参数局部时序关联特征图的通道维度遍历流形式凸优化通过结构化调制的特征矩阵的最大分布稠密性方向来确定特征矩阵流形的基维度，并沿所述多定位参数局部时序关联特征图的通道方向对特征矩阵流形进行遍历，以通过沿通道方向堆叠遍历流形的基维度来约束每个特征矩阵Mi所表示的遍历流形的凸优化连续性，从而实现由优化后的特征矩阵M'i的遍历流形组成的所述多定位参数局部时序关联特征图的高维特征流形的几何连续性。这样，能够在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
进一步地，还考虑到由于所述基于卷积神经网络模型的特征提取器虽然能够捕捉到有关于所述行走速度值、所述方向数据和所述姿态数据之间在时间维度和样本维度之间的时序协同关联特征信息，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。因此，为了能够更为精准地进行消防靴的定位，以实现对消防员进行高精度定位，从而提高救援效率和安全性，在本申请的技术方案中，进一步将所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵分别展开为特征向量以得到多个多定位参数局部时序关联特征向量后，将所述多个多定位参数局部时序关联特征向量通过基于转换器模块的全局上下文编码器中进行编码，以提取出所述行走速度值、所述方向数据和所述姿态数据之间在时间维度和样本维度上的基于全局的参数时序上下文关联特征信息，从而得到定位参数全局上下文关联特征向量。
其中，将所述多个多定位参数局部时序关联特征向量通过基于转换器模块的全局上下文编码器以得到所述定位参数全局上下文关联特征向量，包括：使用所述基于转换器模块的全局上下文编码器对所述多个多定位参数局部时序关联特征向量进行基于全局的上下文语义编码以得到多个定位参数全局特征向量；以及，将所述多个定位参数全局特征向量进行级联以得到所述定位参数全局上下文关联特征向量。
其中，基于转换器模块的全局上下文编码器是一种用于处理序列数据的深度学习模型，最初被提出用于机器翻译任务，在处理序列数据时具有很强的建模能力，能够捕捉到全局上下文之间的关联关系。
转换器模块的核心是自注意力机制(Self-Attention)，能够对序列中的每个元素进行加权汇聚，从而实现对全局上下文的编码。自注意力机制通过计算每个元素与其他元素之间的相似度，然后根据相似度给每个元素分配一个权重。这样，每个元素都可以通过加权求和的方式融合全局上下文信息。
在转换器模块中，自注意力机制被应用于多头注意力机制(Multi-HeadAttention)中，多头注意力机制通过多个不同的注意力头来捕捉不同的关注点和语义信息，每个注意力头都会学习到不同的权重分配方式，从而提取不同的特征。除了多头注意力机制，转换器模块还包括前馈神经网络(Feed-Forward Neural Network)，前馈神经网络通过多层感知机结构对每个位置的特征进行非线性变换和映射。
通过堆叠多个转换器模块，可以构建一个深层的全局上下文编码器，用于编码多个多定位参数局部时序关联特征向量，每个转换器模块都可以捕捉到不同层次的全局上下文关联信息，从而提高定位参数的表达能力和准确性。
通过基于转换器模块的全局上下文编码器，可以将多个多定位参数局部时序关联特征向量转化为定位参数全局上下文关联特征向量，为后续的定位和追踪任务提供更加丰富和准确的信息。
具体地，在所述步骤130中，基于所述定位参数关联特征，确定定位数据，包括：将所述定位参数全局上下文关联特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示定位数据。
进而，将所述定位参数全局上下文关联特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示定位数据。也就是说，以所述行走速度值、所述方向数据和所述姿态数据之间在时间维度和样本维度上的基于全局的时序协同关联特征信息来进行解码，从而对于消防靴进行定位。这样，可以在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
这样，可以提供更准确的定位信息，从而提高智能化消防救援靴的定位精度和可靠性。进一步地，通过解码器进行解码回归的过程可以利用神经网络模型来学习定位参数与解码值之间的映射关系，通过大量的数据和适当的模型设计，可以使解码器能够准确地将定位参数全局上下文关联特征向量转化为对应的解码值。
这种解码值可以表示消防员的位置、速度、姿态等信息，可以在实时应用中用于导航、追踪和监测消防员的位置，以及提供实时指导和培训。通过这种方式，智能化消防救援靴可以提供准确的定位数据，帮助消防员更好地执行任务，提高救援效率和安全性。
综上，基于本发明实施例的智能化消防救援靴的定位方法100被阐明，其在消防救援靴内部署一个微型惯性导航系统(INS)，该系统由加速度计、陀螺仪、磁力计等传感器组成，可以测量消防员的行走速度、方向、姿态等信息。并且，在数据采集后端加入人工智能的处理算法来对于消防员的行走速度、方向和姿态等信息进行时序关联变化的处理分析，以此来进行消防员的定位。这样，可以在没有外部参考信号的情况下，实现对消防员进行高精度定位，以适用于复杂多变的火场环境，提高救援效率和安全性。
图4为本发明实施例中提供的一种智能化消防救援靴的框图。如图4所示，所述智能化消防救援靴，包括：数据传输模块210，用于通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；时序关联分析模块220，用于对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及，定位数据确定模块230，用于基于所述定位参数关联特征，确定定位数据。
具体地，在所述智能化消防救援靴中，所述时序关联分析模块，包括：向量排列单元，用于将所述多个预定时间点的行走速度值、方向数据和姿态数据分别按照时间维度排列为行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量；矩阵排列单元，用于将所述行走速度时序输入向量、所述方向数据时序输入向量和所述姿态数据时序输入向量排列为多定位参数时序关联矩阵；特征提取单元，用于基于深度神经网络模型的特征提取器对所述多定位参数时序关联矩阵进行特征提取以得到多定位参数局部时序关联特征图；以及，关联编码单元，用于对所述多定位参数局部时序关联特征图进行全局关联编码以得到定位参数全局上下文关联特征向量作为所述定位参数关联特征。
具体地，在所述智能化消防救援靴中，所述深度神经网络模型为卷积神经网络模型。
本领域技术人员可以理解，上述智能化消防救援靴中的各个步骤的具体操作已经在上面参考图1到图3的智能化消防救援靴的定位方法的描述中得到了详细介绍，并因此，将省略其重复描述。
图5为本发明实施例中提供的一种智能化消防救援靴的定位方法的应用场景图。如图5所示，在该应用场景中，首先，通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值(例如，如图5中所示意的C1)、方向数据(例如，如图5中所示意的C2)和姿态数据(例如，如图5中所示意的C3)；然后，将获取的行走速度值、方向数据和姿态数据输入至部署有智能化消防救援靴算法的服务器(例如，如图5中所示意的S)中，其中所述服务器能够基于智能化消防救援靴算法对所述行走速度值、所述方向数据和所述姿态数据进行处理，以确定定位数据。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种智能化消防救援靴的定位方法，其特征在于，包括：
通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；
对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及
基于所述定位参数关联特征，确定定位数据。
2.根据权利要求1所述的智能化消防救援靴的定位方法，其特征在于，对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征，包括：
将所述多个预定时间点的行走速度值、方向数据和姿态数据分别按照时间维度排列为行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量；
将所述行走速度时序输入向量、所述方向数据时序输入向量和所述姿态数据时序输入向量排列为多定位参数时序关联矩阵；
基于深度神经网络模型的特征提取器对所述多定位参数时序关联矩阵进行特征提取以得到多定位参数局部时序关联特征图；以及
对所述多定位参数局部时序关联特征图进行全局关联编码以得到定位参数全局上下文关联特征向量作为所述定位参数关联特征。
3.根据权利要求2所述的智能化消防救援靴的定位方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
4.根据权利要求3所述的智能化消防救援靴的定位方法，其特征在于，对所述多定位参数局部时序关联特征图进行全局关联编码以得到定位参数全局上下文关联特征向量作为所述定位参数关联特征，包括：
对所述多定位参数局部时序关联特征图进行特征分布优化以得到优化多定位参数局部时序关联特征图；
将所述优化多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵分别展开为特征向量以得到多个多定位参数局部时序关联特征向量；
将所述多个多定位参数局部时序关联特征向量通过基于转换器模块的全局上下文编码器以得到所述定位参数全局上下文关联特征向量。
5.根据权利要求4所述的智能化消防救援靴的定位方法，其特征在于，对所述多定位参数局部时序关联特征图进行特征分布优化以得到优化多定位参数局部时序关联特征图，包括：
以如下优化公式对所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵进行特征图的通道维度遍历流形式凸优化以得到所述优化多定位参数局部时序关联特征图；
其中，所述优化公式为：
其中，Mi是所述多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵，Vt1[GAP(F)]和Vt2[GAP(F)]分别为基于所述多定位参数局部时序关联特征图的各个特征矩阵的全局均值组成的全局均值池化向量通过线性变换得到的列向量和行向量，||·||2表示矩阵的谱范数，表示向量乘法，⊙表示按位置点乘，且M'i为所述优化多定位参数局部时序关联特征图的沿通道维度的各个特征矩阵。
6.根据权利要求5所述的智能化消防救援靴的定位方法，其特征在于，将所述多个多定位参数局部时序关联特征向量通过基于转换器模块的全局上下文编码器以得到所述定位参数全局上下文关联特征向量，包括：
使用所述基于转换器模块的全局上下文编码器对所述多个多定位参数局部时序关联特征向量进行基于全局的上下文语义编码以得到多个定位参数全局特征向量；以及
将所述多个定位参数全局特征向量进行级联以得到所述定位参数全局上下文关联特征向量。
7.根据权利要求6所述的智能化消防救援靴的定位方法，其特征在于，基于所述定位参数关联特征，确定定位数据，包括：将所述定位参数全局上下文关联特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示定位数据。
8.一种智能化消防救援靴，其特征在于，包括：
数据传输模块，用于通过部署于消防靴的微型惯性导航系统(INS)传输的预定时间段内多个预定时间点的行走速度值、方向数据和姿态数据；
时序关联分析模块，用于对所述多个预定时间点的行走速度值、方向数据和姿态数据进行时序关联分析以得到定位参数关联特征；以及
定位数据确定模块，用于基于所述定位参数关联特征，确定定位数据。
9.根据权利要求8所述的智能化消防救援靴，其特征在于，所述时序关联分析模块，包括：
向量排列单元，用于将所述多个预定时间点的行走速度值、方向数据和姿态数据分别按照时间维度排列为行走速度时序输入向量、方向数据时序输入向量和姿态数据时序输入向量；
矩阵排列单元，用于将所述行走速度时序输入向量、所述方向数据时序输入向量和所述姿态数据时序输入向量排列为多定位参数时序关联矩阵；
特征提取单元，用于基于深度神经网络模型的特征提取器对所述多定位参数时序关联矩阵进行特征提取以得到多定位参数局部时序关联特征图；以及
关联编码单元，用于对所述多定位参数局部时序关联特征图进行全局关联编码以得到定位参数全局上下文关联特征向量作为所述定位参数关联特征。
10.根据权利要求9所述的智能化消防救援靴，其特征在于，所述深度神经网络模型为卷积神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310945067.1A CN117007050A (zh) | 2023-07-31 | 2023-07-31 | 智能化消防救援靴及其定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310945067.1A CN117007050A (zh) | 2023-07-31 | 2023-07-31 | 智能化消防救援靴及其定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117007050A true CN117007050A (zh) | 2023-11-07 |
Family
ID=88566722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310945067.1A Pending CN117007050A (zh) | 2023-07-31 | 2023-07-31 | 智能化消防救援靴及其定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117007050A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117352151A (zh) * | 2023-12-05 | 2024-01-05 | 吉林大学 | 智能陪护管理系统及其方法 |
-
2023
- 2023-07-31 CN CN202310945067.1A patent/CN117007050A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117352151A (zh) * | 2023-12-05 | 2024-01-05 | 吉林大学 | 智能陪护管理系统及其方法 |
| CN117352151B (zh) * | 2023-12-05 | 2024-03-01 | 吉林大学 | 智能陪护管理系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Deep-learning-based pedestrian inertial navigation: Methods, data set, and on-device inference | |
| Wagstaff et al. | LSTM-based zero-velocity detection for robust inertial navigation | |
| CN103976739B (zh) | 穿戴式摔倒动态实时检测方法和装置 | |
| CN110334573B (zh) | 一种基于密集连接卷积神经网络的人体运动状态判别方法 | |
| Edel et al. | An advanced method for pedestrian dead reckoning using BLSTM-RNNs | |
| US20110246123A1 (en) | Personal status monitoring | |
| CN108683724A (zh) | 一种智能儿童安全及步态健康监护系统 | |
| CN117007050A (zh) | 智能化消防救援靴及其定位方法 | |
| US20100214118A1 (en) | System and method for tracking a person | |
| CN106725445B (zh) | 一种脑电波控制的便携式人体运动损伤监护系统与方法 | |
| JP2013531781A (ja) | 対象物のゼロ速度状態の検出方法及びシステム | |
| Deng et al. | Foot-mounted pedestrian navigation method based on gait classification for three-dimensional positioning | |
| Paszkiel et al. | The use of brain-computer interface to control unmanned aerial vehicle | |
| Chen et al. | Deep learning for inertial positioning: A survey | |
| Yu et al. | End-side gesture recognition method for UAV control | |
| Fu et al. | A survey on artificial intelligence for pedestrian navigation with wearable inertial sensors | |
| Mäkelä et al. | Context recognition in infrastructure-free pedestrian navigation—Toward adaptive filtering algorithm | |
| Jia et al. | Study on abnormal gait and fall warning method using wearable sensors and a human musculoskeletal model | |
| CN112762934A (zh) | 下肢运动方向预测装置和方法 | |
| Jin | Design of intelligent perception module based on wireless sensor network and basketball sports attitude | |
| CN108827293A (zh) | 一种基于惯性测量元件的三维定位系统 | |
| CN113449265A (zh) | 一种基于堆叠lstm的腰载式航向角计算方法 | |
| Beaufils et al. | Stride detection for pedestrian trajectory reconstruction: A machine learning approach based on geometric patterns | |
| Segarra et al. | Visual based autonomous navigation for legged robots | |
| Ferreira et al. | A Pedestrian Positioning System Integrated Into a Cyber-Physical System for Emergency Responders' Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |