CN116611977A - 失联人员路径溯源及救援方法和装置 - Google Patents

失联人员路径溯源及救援方法和装置 Download PDF

Info

Publication number
CN116611977A
CN116611977A CN202310574286.3A CN202310574286A CN116611977A CN 116611977 A CN116611977 A CN 116611977A CN 202310574286 A CN202310574286 A CN 202310574286A CN 116611977 A CN116611977 A CN 116611977A
Authority
CN
China
Prior art keywords
person
information
people
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310574286.3A
Other languages
English (en)
Inventor
董满生
孙昊宇
石雷
龙建成
李凌林
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310574286.3A priority Critical patent/CN116611977A/zh
Publication of CN116611977A publication Critical patent/CN116611977A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供一种失联人员路径溯源及救援方法和装置，通过获取各个摄像设备所采集的视频图像，将各个摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息。基于失联人员和其他人员的轨迹时空信息，从其他人员中确定出与失联人员存在共处关系和/或同行关系的关联人员。从而可以向关联人员发送救援提示信息，以从关联人员处获得失联人员的相关救援信息。本方案，基于交通出行的视频数据获得行人的轨迹时空信息，进而可以基于轨迹在时间、空间上的邻近性确定出失联人员的关联人员，实现对失联人员的及时有效的帮扶，该方案具有实现便捷且准确有效的效果。

Description

失联人员路径溯源及救援方法和装置
技术领域
本申请涉及公共交通监控技术领域，具体而言，涉及一种失联人员路径溯源及救援方法和装置。
背景技术
目前，公共交通出行是城市居民日常生活中必不可少的部分，但是对于弱势人群而言，例如老年人、残疾人等，出行可能存在较大的风险和挑战。例如，他们可能会在陌生的环境中迷路，遇到突发状况时无法及时获得救援等。因此，如何为弱势人群提供更加安全和便捷的公共交通服务，是当前急需解决的问题之一。
目前，针对潜在老年群体的公共交通出行路径溯源问题涉及到多个研究领域和方向，相关研究成果较少。老年群体出行数据是影响城市交通风险的重要因素，然而，目前并没有相关研究针对交通风险与弱势群体之间的关系进行深入分析。关联出行反映了出行目标之间的时空交互，是时空认知研究的基础问题之一，也是城市规划、交通出行、传染病防控、犯罪侦查等领域的研究热点。以往研究多从宏观层面，采用公众出行、出租车等轨迹数据，结合关联的POI(Point of Interest，兴趣点)、土地利用类型等数据，揭示出行数据所蕴含的道路交通状态、城市居民出行规律、城市结构及其他社会问题。
但是现有技术中，并没有一种更加方便且及时的对于弱势人群的监控和救援方式，该问题亟待解决。
发明内容
本申请的目的包括，例如，提供了一种失联人员路径溯源及救援方法和装置，其能够基于行人的轨迹时空信息确定失联人员的关联人员进而获得救援信息。
本申请的实施例可以这样实现：
第一方面，本申请提供一种失联人员路径溯源及救援方法，应用于与多个摄像设备通信的服务器，所述方法包括：
获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张；
针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息；
基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员；
向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
在可选的实施方式中，所述轨迹时空信息包括位置点信息以及在各位置点的时间信息；
所述基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员的步骤，包括：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段；
基于各所述其他人员的位置点信息以及在各位置点的时间信息，确定各所述其他人员的停留点和移动段；
针对各所述其他人员，基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员。
在可选的实施方式中，所述基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员的步骤，包括：
比对所述其他人员的停留点以及所述失联人员的停留点，若所述其他人员的停留点与所述失联人员的停留点存在重叠点，确定所述其他人员与所述失联人员为共处状态；
比对所述其他人员的移动段以及所述失联人员的移动段，若所述其他人员的移动段与所述失联人员的移动段存在重叠线段，确定所述其他人员与所述失联人员为同行状态；
在所述其他人员与所述失联人员为共处状态和/或同行状态时，确定所述其他人员为所述失联人员的关联人员。
在可选的实施方式中，所述基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段的步骤，包括：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定多个位置点中的停留点和移动点；
将相邻移动点进行连线处理，以得到相邻移动点之间的移动段。
在可选的实施方式中，所述方法还包括：
从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像；
根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息。
在可选的实施方式中，所述根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息的步骤，包括：
在拍摄到所述目标视频图像的摄像设备为设置在公共交通工具上的摄像设备时，获得所述公共交通工具的实时定位信息；
根据所述公共交通工具的实时定位信息得到所述摄像设备的动态的位置信息；
根据拍摄到各所述目标视频图像的拍摄时间点，以及所述摄像设备的动态的位置信息，得到所述失联人员的空间轨迹信息。
在可选的实施方式中，所述从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像的步骤，包括：
将从多个摄像设备分别拍摄得到的多张视频图像以及所述失联人员的人脸图像导入预先训练得到的行人重识别模型中，确定出所述多张视频图像中具有所述失联人员的目标视频图像。
在可选的实施方式中，所述方法还包括预先训练得到所述行人重识别模型的步骤，该步骤包括：
获取多张样本图像，各所述样本图像中具有多个行人；
将所述多张样本图像导入构建的初始模型，将各所述样本图像映射至特征空间得到表征所述样本图像的图像信息的特征向量；
在构建的距离度量函数的指导下，通过最小化所述距离度量函数以对所述初始模型进行训练，直至满足预设要求时得到训练完成的行人重识别模型。
在可选的实施方式中，在两张样本图像中具有同一个行人时，所述两张样本图像的特征向量之间的距离减小时，所述距离度量函数相应减小；
在两张样本图像中具有不同的行人时，所述两张样本图像的特征向量之间的距离增大时，所述距离度量函数相应减小。
第二方面，本申请提供一种失联人员路径溯源及救援装置，应用于与多个摄像设备通信的服务器，所述装置包括：
获取模块，用于获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张；
处理模块，用于针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息；
确定模块，用于基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员；
发送模块，用于向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
本申请实施例的有益效果包括，例如：
本申请提供一种失联人员路径溯源及救援方法和装置，通过获取各个摄像设备所采集的视频图像，将各个摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息。基于失联人员和其他人员的轨迹时空信息，从其他人员中确定出与失联人员存在共处关系和/或同行关系的关联人员。从而可以向关联人员发送救援提示信息，以从关联人员处获得失联人员的相关救援信息。本方案，基于交通出行的视频数据获得行人的轨迹时空信息，进而可以基于轨迹在时间、空间上的邻近性确定出失联人员的关联人员，实现对失联人员的及时有效的帮扶，该方案具有实现便捷且准确有效的效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的失联人员路径溯源及救援方法的应用场景示意图；
图2为本申请实施例提供的失联人员路径溯源及救援方法的流程图；
图3为本申请实施例提供的CSV文件中保存的信息的示意图；
图4为图2中步骤S13包含的子步骤的流程图；
图5为图4中步骤S131包含的子步骤的流程图；
图6为本申请实施例提供的三维时空特征示意图；
图7为图4中步骤S133包含的子步骤的流程图；
图8为本申请实施例提供的溯源方法的流程图；
图9为本申请实施例提供的训练方法的流程图；
图10为图8中步骤S22包含的子步骤的流程图；
图11为本申请实施例提供的失联人员路径溯源及救援装置的功能模块框图；
图12为本申请实施例提供的电子设备的结构框图。
图标：110-失联人员路径溯源及救援装置；111-获取模块；112-处理模块；113-确定模块；114-发送模块；120-处理器；130-存储器；140-通信模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
请参阅图1，为本申请实施例提供的失联人员路径溯源及救援方法的应用场景示意图，该场景包括服务器以及多个摄像设备，服务器通过网络与各个摄像设备通信连接，以进行数据通信或交互。在本实施例中，各个摄像设备可为设置在公共交通车辆、公共交通站点等公共场所的具备图像采集及视频拍摄功能的终端设备。所述服务器可对各个摄像设备所采集的图像及视频进行分析、处理。
请参阅图2，是本申请实施例提供的一种应用于上述服务器的失联人员路径溯源及救援方法的流程图。所应说明的是，本申请提供的方法不以图2及以下所述的具体顺序为限制。下面将对图2中示出的各步骤进行详细说明。
S11，获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张。
S12，针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息。
S13，基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员。
S14，向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
设置在公共场所的各个摄像设备可持续采集公共场所中的视频图像，并将采集到的视频图像发送至服务器。摄像设备采集到的视频图像中一般包括具有行人的图像。
在出现重点人群安全事故时，例如人员失联时，服务器在接收到摄像设备发送的视频图像后，可以利用预先训练得到的轨迹时空检测模型并基于视频图像，得到失联人员以及其他人员的轨迹时空信息。其中，所述的失联人员可以理解为目前无法联系到的人员，可以是如老年人、儿童、残疾人等这类可能无法直接联系到的人员，也可以是成年人，但是由于其他原因也无法联系到。在这类人员失联之后，由于无法直接联系到本人无法进行救援，因此，本实施例中，在确定失联人员的轨迹时空信息的同时，还可确定其他人员的轨迹时空信息。所述的其他人员则可以是并未失联的，且可以直接联系到的人员。
通过将失联人员的轨迹时空信息，与其他人员的轨迹时空信息进行比对，从而可以确定出其他人员中与失联人员存在共处关系、同行关系的人员。其中，所述的共处关系可以理解为在同一个地方停留过的关系，同行关系可以理解为在同一时间段在同一路程段上同行过的关系。
本实施例中，将与失联人员存在上述关系的至少一种的人员确定为关联人员，这类关联人员由于与失联人员存在过共处关系或者是同行关系，因此，关联人员可能了解失联人员的相关信息，可以帮助对失联人员进行路径的溯源以及实施救援。因此，可以向关联人员发送救援提示信息，例如可以通过短信、邮件、电话等方式向关联人员发送救援提示信息，该救援提示信息可以包括如询问失联人员的身体状况信息、精神状况信息、失联人员的去向信息等，具体地可以根据实际需求进行设置。
如此，通过从关联人员处获得失联人员的相关救援信息，从而可以及时、有效地对失联人员进行溯源并实施救援。或者也可以将关联人员的信息提供给公安部门，以协助公安部门进行救援。
本实施例所提供的失联人员路径溯源及救援方法，基于交通出行的视频数据获得行人的轨迹时空信息，进而可以基于轨迹在时间、空间上的临近性确定出失联人员的关联人员，实现对失联人员的及时有效的帮扶，该方案具有实现便捷且准确有效的效果。
本实施例中，轨迹时空检测模型可以预先基于YOLO v5s网络模型训练得到。YOLOv5s模型结构分别由Input、Backbone、Neck和Prediction组成。
Input：输入图像大小为640×640×3，数据增强方法包括Mosaic、随机翻转，使用自适应锚框计算。
Backbone：包含Focus、CSPNet(Cross Stage Partial Networks)和SPP(SpacePyramid Pooling)结构，其中Focus结构包含4次切片操作和1次32个卷积核的卷积操作，可最大程度地减少信息损失，从而进行下采样操作；CSPNet利用跳层连接的思想，进行局部跨层融合获得更为丰富的特征图；SPP模块先采用不同大小的核进行最大池化操作，再通过拼接融合多尺度的池化特征。
Neck：包含PANet(Path Aggregation)结构，其是对FPN(Feature PyramidNetwork)的改进，首先自顶向下将高层特征信息与不同层CSP模块的输出特征进行聚合，再通过自底向上路径聚合结构浅层特征，从而充分融合不同层的图像特征。
Prediction：使用3个尺度的特征图分别预测与之对应的预定义锚框的偏移量，每个特征点最多预测3个行人，最后预测的总通道数为(1class+1object+4coordinates)*3anchors＝18。采用CIOU(Complete-IoU)代替Smooth L1范数作为损失函数，即使预测框(标定行人的标定框的预测值)与真实框(标定行人的标定框的真实值)交并比为零时，仍然可以反向传播优化网络权值。分类损失直接使用BCE(Binary Cross Entropy)损失，后处理采用NMS(Non-maxi-mum Suppression)对行人预测标定框进行筛选，只保留最接近真实标定框的检测结果。
可以预先搜集整理多尺度、多角度、多场景下的包含行人的图片作为样本图像，以构成数据集。利用标注工具对样本图像中的行人进行数据标注，还可使用K-means聚类算法生成基于自制数据集的初始锚框，设置YOLOv5s的网络参数。在公开的标注数据集上进行网络的预训练，初始化YOLOv5s网络。
将已标注的数据集进行数据增强处理之后，输入已初始化的YOLOv5s网络进行训练，直至网络收敛得到轨迹时空检测模型。可将得到的轨迹时空检测模型以及其网络参数进行保存，后续在应用阶段则可以直接读取轨迹时空检测模型、网络参数，对输入的待检测的视频图像进行处理，输出其中行人的轨迹时空信息。
本实施例中，在上述利用轨迹时空检测模型得到失联人员以及其他人员的轨迹时空信息后，可以将得到的各个人员的轨迹时空信息保存至CSV(Comma-Separated Values，逗号分隔值)文件中。在CSV文件中，各个人员的轨迹时空信息可如图3中所示的进行保存，各个人员具有对应的行人ID(Pedestrian ID)、帧ID(视频图像的帧(Frame ID))、位置信息(以二维坐标形式(x,y)来表示)。
本实施例中，得到的各个人员的轨迹时空信息包括位置点信息以及在各位置点的时间信息，其中，由于各个视频图像帧具有对应的拍摄时间，因此，各个位置点的时间信息实际由视频图像帧的拍摄时间来体现。
请参阅图4，在一种可能的实现方式中，上述确定失联人员的关联人员的步骤，可以包括以下子步骤：
S131，基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段。
S132，基于各所述其他人员的位置点信息以及在各位置点的时间信息，确定各所述其他人员的停留点和移动段。
S133，针对各所述其他人员，基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员。
本实施例中，由于获得了各个人员的位置点信息以及在各位置点的时间信息，因此，可以获知人员在哪些位置点作了一定时长的停留，作了一定时长停留的位置点即为停留点。并且，可以获知人员在哪些位置点并未作停留，而只是路过该位置点，也即人员行进的移动段中途径的位置点。因此，可以确定出各个人员的停留点和移动段。
具体地，请参阅图5，本实施例可以通过以下方式确定失联人员的停留点和移动段：
S1311，基于所述失联人员的位置点信息以及在各位置点的时间信息，确定多个位置点中的停留点和移动点。
S1312，将相邻移动点进行连线处理，以得到相邻移动点之间的移动段。
本实施例中，基于得到的各个人员的位置点信息以及各位置点的时间信息，可运用matplotlib库和mpl_toolkits.mplot3d模块来基于三维时空关系绘制其三维时空特征图，示意图如图6所示。
该轨迹由一系列有序结点构成(p1，p2，…，pn)，这些点的类型包括停留点(简记为p')、移动点(简记为p)两种。z坐标为帧数，x和y坐标为行人的二维坐标信息。当行人处于停留状态时，在三维空间中表现为一条垂直线段，将其投影到二维空间上表示为一个点目标，用实心圆圈表示(如图6中p1'、p'2)。当行人移动时，在三维空间中表现为一条斜线，将其投影到二维空间上表示为连接两个移动点的线段，对应的结点用空心圆圈表示，(如图6中p3、p4)。可见，相邻移动点连接得到的即为移动段。
失联人员以及其他人员对应的停留点和移动段均可采用上述方式来确定。
请参阅图7，在上述基础上，在一种可能的实现方式中，可以通过以下方式判断其他人员是否为失联人员的关联人员：
S1331，比对所述其他人员的停留点以及所述失联人员的停留点，若所述其他人员的停留点与所述失联人员的停留点存在重叠点，确定所述其他人员与所述失联人员为共处状态。
S1332，比对所述其他人员的移动段以及所述失联人员的移动段，若所述其他人员的移动段与所述失联人员的移动段存在重叠线段，确定所述其他人员与所述失联人员为同行状态。
S1333，在所述其他人员与所述失联人员为共处状态和/或同行状态时，确定所述其他人员为所述失联人员的关联人员。
请结合参阅图6，当A、B两条轨迹的时间、空间属性同时存在交集，存在时空关联，当交集为点，且交点是两条轨迹的停留点时，即A、B在各自停留期间在某段时间内共处一地，该模式为“共处模式”。当交集为线时，认为出行轨迹存在同行路段，该模式为“同行模式”。
因此，可以将各个其他人员的停留点、移动段分别与失联人员的停留点、移动段作对比，在其停留点存在重叠点时，可以判定为共处状态。在其移动段存在重叠线段时，可以判定为同行状态。
在存在共处状态、同行状态的至少一种状态的情况下，可以确定为关联人员。
本实施例中，具体实施时，可以是对一段时间内的轨迹进行统计，例如一周。因此，针对某个其他人员，可以在统计得到的其与失联人员存在的重叠的停留点的次数达到预设次数时，确定处于共处状态。或者在统计得到的其与失联人员存在的重叠的移动段的个数达到预设个数时，确定处于同行状态。
而一段时间内多次与失联人员存在重叠的停留点、重叠的移动段的行人大概率为失联人员的监护人或者是近邻，可以将这类人员确定为关联人员，从而避免偶然事件造成的干扰。
本实施例中，通过以上基于交通轨迹确定停留点、移动段，进而基于停留点、移动段确定失联人员的关联人员的方式，可以通过联系关联人员，进而对失联人员进行及时救援。
此外，本实施例中，还可以通过对失联人员进行路径溯源，以寻找失联人员的去向进而实施救援。因此，请参阅图8，本实施例提供的失联人员路径溯源及救援方法还可包括以下步骤：
S21，从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像。
S22，根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息。
本实施例中，服务器接收到的摄像设备所发送的视频图像中，有些视频图像中具有失联人员，而有些视频图像中可能不具有失联人员。因此，可首先从摄像设备拍摄的多张视频图像中确定出包含失联人员的目标视频图像。
服务器中保存有各个摄像设备的安装位置信息，或者各个摄像设备在发送视频图像至服务器时可携带上自身的安装位置信息。在失联人员出现在多个摄像设备的拍摄区域内时，基于该多个摄像设备所发送的包含失联人员的目标视频图像，即可基于摄像设备的位置信息确定失联人员出现在了哪些位置。
此外，服务器在获得各张目标视频图像时，还可以获得拍摄到目标视频图像的拍摄时间点。结合各张目标视频图像的拍摄时间点，以及各张目标视频图像体现的失联人员的位置，得到失联人员的空间轨迹信息。
本实施例中，在上述从多张视频图像中提取出包含失联人员的目标视频图像时，需要通过人脸识别的方式识别出失联人员。在一种可能的实现方式中，可以通过以下方式实现：
将从多个摄像设备分别拍摄得到的多张视频图像以及所述失联人员的人脸图像导入预先训练得到的行人重识别模型中，确定出所述多张视频图像中具有所述失联人员的目标视频图像。
请参阅图9，本实施例中，可以通过以下方式预先训练得到上述的行人重识别模型：
S31，获取多张样本图像，各所述样本图像中具有多个行人。
S32，将所述多张样本图像导入构建的初始模型，将各所述样本图像映射至特征空间得到表征所述样本图像的图像信息的特征向量。
S33，在构建的距离度量函数的指导下，通过最小化所述距离度量函数以对所述初始模型进行训练，直至满足预设要求时得到训练完成的行人重识别模型。
行人重识别(Person Re-identification)也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。行人重识别包括两个任务：特征提取和距离度量学习。
特征提取的任务为，定义一个映射f(x):RF→RD，将样本图像从原始域映射到特征域，得到表征样本图像的图像信息的特征向量。提取特征向量可以通过费舍尔向量(FisherVector)编码方法，Fisher向量编码方法是首先用来解决大尺度图像分类的方法，也能改善行为识别的性能。对行人的每个图像分成6个水平条带，在每个条带上计算纹理和颜色直方图。在YCbCr、HSV、白化的RGB颜色空间计算直方图建立颜色描述符，并用local fisherdisrciminant analysis(LFDA)降维。学习出的矩阵把特征转换到新的空间，LFDA能在嵌入过程中使特征的局部结构适用于图像遮挡，背景变化和光照变化的情况，最后把计算变换空间中的特征向量的均值作为这个行人最终的特征向量表示。
距离度量学习的任务为，定义一个距离度量函数：D(x,y):RD×RD→R来计算两个特征向量之间的距离，通过最小化网络的度量损失，来寻找一个最优的映射f(x)，使得在特征空间内相同行人两张样本图像的距离尽可能小，不同行人的两张样本图像的距离尽可能大。
也即，在两张样本图像中具有同一个行人时，两张样本图像的特征向量之间的距离减小时，所述距离度量函数相应减小。
在两张样本图像中具有不同的行人时，两张样本图像的特征向量之间的距离增大时，所述距离度量函数相应减小。
具体的，在训练过程中确定损失函数：
式中，y在输入的是一对正样本(输入两张样本图像为同一人)时取值为1，输入的是一对负样本(输入两张样本图像不为同一人)时取值为0，为输入的两张样本图像的特征向量Ia,Ib的欧氏距离，(z)+表示max(z,0)，α是人为设置的区分阈值，表示在特征空间内负样本对之间的距离。
通过损失函数，使得同一行人的图像在向量空间内聚集，而不同行人的图像在向量空间内的距离尽可能远。
基于上述方式实现模型的训练，所述的预设要求可以是如模型达到收敛，或模型训练迭代次数达到预设次数，又或者是模型训练迭代时长达到预设时长等。在满足预设要求时，可得到训练完成的行人重识别模型。
基于按照上述方式预先训练得到的行人重识别模型，在实际应用阶段，将失联人员的图像(probe)输入行人重识别模型，从监控视频信息(gallery)中找到包含失联人员的图像的摄像设备画面，并记录失联人员出现的时间和监控摄像设备位置信息，从而推算得到失联人员的轨迹信息。
在上述获得失联人员的空间轨迹信息的步骤中，考虑到若摄像设备设置在如公共交通工具上，则摄像设备的位置信息在不断变化，在这种情形下，请参阅图10，上述步骤S22可以通过以下方式实现：
S221，在拍摄到所述目标视频图像的摄像设备为设置在公共交通工具上的摄像设备时，获得所述公共交通工具的实时定位信息。
S222，根据所述公共交通工具的实时定位信息得到所述摄像设备的动态的位置信息。
S223，根据拍摄到各所述目标视频图像的拍摄时间点，以及所述摄像设备的动态的位置信息，得到所述失联人员的空间轨迹信息。
本实施例中，设置在公共交通工具上的摄像设备可以获得自身的实时定位信息，并在发送视频图像至服务器时，携带上自身的实时定位信息。或者，服务器也可以从交通管理平台上获得公共交通工具的实时定位信息。又或者，公共交通工具上设置有定位模块，服务器可从定位模块处获得公共交通工具的实时定位信息。
服务器基于公共交通工具的实时定位信息即可确定摄像设备的动态的位置信息，结合获得的各张目标视频图像的拍摄时间点，即可确定失联人员的空间轨迹信息。
本实施例通过以上方式确定失联人员的空间轨迹信息，即可获知失联人员在失联之前的轨迹，进而可推断失联人员的失联位置点，或失联人员可能的去向等，进而实施救援。
本实施例中，通过上述的确定失联人员的关联人员的方式，可以通过联系关联人员进而实现失联人员的救援，同时，也可以通过对失联人员进行路径溯源、轨迹跟踪的方式确定失联人员的轨迹，进而对失联人员进行救援。两种方式可同时进行，两者相结合实现对失联人员的帮扶。
此外，在本实施例中，若通过上述确定失联人员的关联人员进而实施救援的方式中，若确定出的关联人员无法联系上，也即关联人员出现失联的状况。可以将关联人员的图像输入上述的行人重识别模型中，进而对关联人员进行路径溯源，从而推断关联人员的去向，以寻找到关联人员。进而在此基础上实施对失联人员的救援。
本实施例所提供的失联人员路径溯源及救援方法，通过收集交通出行的视频数据，确定各个人员的轨迹时空信息，并通过可视化工具绘制三维时空特征图，通过对三维时空特征图的分析，确定出与失联人员具有共处关系和/或同行关系的关联人员，进而对失联人员进行救援。并且，还可基于失联人员所在的目标视频图像进行空间轨迹跟踪，进而实现失联人员的路径溯源，推断失联人员的去向进而实施救援。
基于同一发明构思，请参阅图11，示出了本申请实施例提供的失联人员路径溯源及救援装置110的功能模块示意图，本实施例可以根据上述方法实施例对失联人员路径溯源及救援装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块112中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
比如，在采用对应各个功能划分各个功能模块的情况下，图11示出的失联人员路径溯源及救援装置110只是一种装置示意图。其中，失联人员路径溯源及救援装置110可以包括获取模块111、处理模块112、确定模块113和发送模块114，下面分别对该失联人员路径溯源及救援装置110的各个功能模块的功能进行详细阐述。
获取模块111，用于获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张；
可以理解，该获取模块111可以用于执行上述步骤S11，关于该获取模块111的详细实现方式可以参照上述对步骤S11有关的内容。
处理模块112，用于针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息；
可以理解，该处理模块112可以用于执行上述步骤S12，关于该处理模块112的详细实现方式可以参照上述对步骤S12有关的内容。
确定模块113，用于基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员；
可以理解，该确定模块113可以用于执行上述步骤S13，关于该确定模块113的详细实现方式可以参照上述对步骤S13有关的内容。
发送模块114，用于向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
可以理解，该发送模块114可以用于执行上述步骤S14，关于该发送模块114的详细实现方式可以参照上述对步骤S14有关的内容。
在一种可能的实现方式中，所述轨迹时空信息包括位置点信息以及在各位置点的时间信息，上述确定模块113可以用于：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段；
基于各所述其他人员的位置点信息以及在各位置点的时间信息，确定各所述其他人员的停留点和移动段；
针对各所述其他人员，基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员。
在一种可能的实现方式中，上述确定模块113可以用于：
比对所述其他人员的停留点以及所述失联人员的停留点，若所述其他人员的停留点与所述失联人员的停留点存在重叠点，确定所述其他人员与所述失联人员为共处状态；
比对所述其他人员的移动段以及所述失联人员的移动段，若所述其他人员的移动段与所述失联人员的移动段存在重叠线段，确定所述其他人员与所述失联人员为同行状态；
在所述其他人员与所述失联人员为共处状态和/或同行状态时，确定所述其他人员为所述失联人员的关联人员。
在一种可能的实现方式中，上述确定模块113可以用于：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定多个位置点中的停留点和移动点；
将相邻移动点进行连线处理，以得到相邻移动点之间的移动段。
在一种可能的实现方式中，所述失联人员路径溯源及救援装置110还包括溯源模块，该溯源模块用于：
从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像；
根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息。
在一种可能的实现方式中，上述溯源模块用于：
在拍摄到所述目标视频图像的摄像设备为设置在公共交通工具上的摄像设备时，获得所述公共交通工具的实时定位信息；
根据所述公共交通工具的实时定位信息得到所述摄像设备的动态的位置信息；
根据拍摄到各所述目标视频图像的拍摄时间点，以及所述摄像设备的动态的位置信息，得到所述失联人员的空间轨迹信息。
在一种可能的实现方式中，上述溯源模块用于：
将从多个摄像设备分别拍摄得到的多张视频图像以及所述失联人员的人脸图像导入预先训练得到的行人重识别模型中，确定出所述多张视频图像中具有所述失联人员的目标视频图像。
在一种可能的实现方式中，所述失联人员路径溯源及救援装置110还包括训练模块，该训练模块可以用于：
获取多张样本图像，各所述样本图像中具有多个行人；
将所述多张样本图像导入构建的初始模型，将各所述样本图像映射至特征空间得到表征所述样本图像的图像信息的特征向量；
在构建的距离度量函数的指导下，通过最小化所述距离度量函数以对所述初始模型进行训练，直至满足预设要求时得到训练完成的行人重识别模型。
在一种可能的实现方式中，在两张样本图像中具有同一个行人时，所述两张样本图像的特征向量之间的距离减小时，所述距离度量函数相应减小；
在两张样本图像中具有不同的行人时，所述两张样本图像的特征向量之间的距离增大时，所述距离度量函数相应减小。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
请参阅图12，为本申请实施例提供的电子设备的结构框图，该电子设备可以是图1所示的服务器。所述电子设备包括存储器130、处理器120及通信模块140。所述存储器130、处理器120以及通信模块140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器130用于存储程序或者数据。所述存储器130可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器130中存储的数据或程序，并执行本申请任意实施例提供的失联人员路径溯源及救援方法。
通信模块140用于通过网络建立服务器与其它通信终端之间的通信连接，并用于通过网络收发数据。
应当理解的是，图12所示的结构仅为电子设备的结构示意图，所述电子设备还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的失联人员路径溯源及救援方法。
具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述出行密接监控方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。
综上所述，本申请实施例提供的失联人员路径溯源及救援方法和装置，通过获取各个摄像设备所采集的视频图像，将各个摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息。基于失联人员和其他人员的轨迹时空信息，从其他人员中确定出与失联人员存在共处关系和/或同行关系的关联人员。从而可以向关联人员发送救援提示信息，以从关联人员处获得失联人员的相关救援信息。本方案，基于交通出行的视频数据获得行人的轨迹时空信息，进而可以基于轨迹在时间、空间上的邻近性确定出失联人员的关联人员，实现对失联人员的及时有效的帮扶，该方案具有实现便捷且准确有效的效果。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种失联人员路径溯源及救援方法，其特征在于，应用于与多个摄像设备通信的服务器，所述方法包括：
获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张；
针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息；
基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员；
向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
2.根据权利要求1所述的失联人员路径溯源及救援方法，其特征在于，所述轨迹时空信息包括位置点信息以及在各位置点的时间信息；
所述基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员的步骤，包括：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段；
基于各所述其他人员的位置点信息以及在各位置点的时间信息，确定各所述其他人员的停留点和移动段；
针对各所述其他人员，基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员。
3.根据权利要求2所述的失联人员路径溯源及救援方法，其特征在于，所述基于所述其他人员的停留点和移动段，以及所述失联人员的停留点和移动段，判断所述其他人员是否为所述失联人员的关联人员的步骤，包括：
比对所述其他人员的停留点以及所述失联人员的停留点，若所述其他人员的停留点与所述失联人员的停留点存在重叠点，确定所述其他人员与所述失联人员为共处状态；
比对所述其他人员的移动段以及所述失联人员的移动段，若所述其他人员的移动段与所述失联人员的移动段存在重叠线段，确定所述其他人员与所述失联人员为同行状态；
在所述其他人员与所述失联人员为共处状态和/或同行状态时，确定所述其他人员为所述失联人员的关联人员。
4.根据权利要求2所述的失联人员路径溯源及救援方法，其特征在于，所述基于所述失联人员的位置点信息以及在各位置点的时间信息，确定所述失联人员的停留点和移动段的步骤，包括：
基于所述失联人员的位置点信息以及在各位置点的时间信息，确定多个位置点中的停留点和移动点；
将相邻移动点进行连线处理，以得到相邻移动点之间的移动段。
5.根据权利要求1-4任意一项所述的失联人员路径溯源及救援方法，其特征在于，所述方法还包括：
从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像；
根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息。
6.根据权利要求5所述的失联人员路径溯源及救援方法，其特征在于，所述根据拍摄到各所述目标视频图像的拍摄时间点，以及拍摄所述目标视频图像的摄像设备的位置信息，得到所述失联人员的空间轨迹信息的步骤，包括：
在拍摄到所述目标视频图像的摄像设备为设置在公共交通工具上的摄像设备时，获得所述公共交通工具的实时定位信息；
根据所述公共交通工具的实时定位信息得到所述摄像设备的动态的位置信息；
根据拍摄到各所述目标视频图像的拍摄时间点，以及所述摄像设备的动态的位置信息，得到所述失联人员的空间轨迹信息。
7.根据权利要求5所述的失联人员路径溯源及救援方法，其特征在于，所述从多个摄像设备分别拍摄得到的多张视频图像中，提取出拍摄到所述失联人员的目标视频图像的步骤，包括：
将从多个摄像设备分别拍摄得到的多张视频图像以及所述失联人员的人脸图像导入预先训练得到的行人重识别模型中，确定出所述多张视频图像中具有所述失联人员的目标视频图像。
8.根据权利要求7所述的失联人员路径溯源及救援方法，其特征在于，所述方法还包括预先训练得到所述行人重识别模型的步骤，该步骤包括：
获取多张样本图像，各所述样本图像中具有多个行人；
将所述多张样本图像导入构建的初始模型，将各所述样本图像映射至特征空间得到表征所述样本图像的图像信息的特征向量；
在构建的距离度量函数的指导下，通过最小化所述距离度量函数以对所述初始模型进行训练，直至满足预设要求时得到训练完成的行人重识别模型。
9.根据权利要求8所述的失联人员路径溯源及救援方法，其特征在于，在两张样本图像中具有同一个行人时，所述两张样本图像的特征向量之间的距离减小时，所述距离度量函数相应减小；
在两张样本图像中具有不同的行人时，所述两张样本图像的特征向量之间的距离增大时，所述距离度量函数相应减小。
10.一种失联人员路径溯源及救援装置，其特征在于，应用于与多个摄像设备通信的服务器，所述装置包括：
获取模块，用于获取各所述摄像设备所采集的视频图像，各所述摄像设备采集的视频图像为多张；
处理模块，用于针对各所述摄像设备，将所述摄像设备采集的多张视频图像导入预先训练得到的轨迹时空检测模型中，输出失联人员以及其他人员的轨迹时空信息；
确定模块，用于基于所述失联人员和各所述其他人员的轨迹时空信息，从其他人员中确定出所述失联人员的关联人员，其中，所述关联人员为与所述失联人员存在共处关系和/或同行关系的人员；
发送模块，用于向所述关联人员发送救援提示信息，以从所述关联人员处获得所述失联人员的相关救援信息。
CN202310574286.3A 2023-05-17 2023-05-17 失联人员路径溯源及救援方法和装置 Pending CN116611977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310574286.3A CN116611977A (zh) 2023-05-17 2023-05-17 失联人员路径溯源及救援方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310574286.3A CN116611977A (zh) 2023-05-17 2023-05-17 失联人员路径溯源及救援方法和装置

Publications (1)

Publication Number Publication Date
CN116611977A true CN116611977A (zh) 2023-08-18

Family

ID=87679383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310574286.3A Pending CN116611977A (zh) 2023-05-17 2023-05-17 失联人员路径溯源及救援方法和装置

Country Status (1)

Country Link
CN (1) CN116611977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118433630A (zh) * 2024-07-02 2024-08-02 深圳位置网科技有限公司 一种预设式紧急救援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118433630A (zh) * 2024-07-02 2024-08-02 深圳位置网科技有限公司 一种预设式紧急救援方法

Similar Documents

Publication Publication Date Title
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN104915655A (zh) 一种多路监控视频的管理方法与设备
CN113326719A (zh) 一种用于目标追踪的方法、设备及系统
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN116611977A (zh) 失联人员路径溯源及救援方法和装置
CN115311591A (zh) 异常行为的预警方法、装置及智能摄像头
Liu et al. Temporal shift and spatial attention-based two-stream network for traffic risk assessment
CN111695627A (zh) 路况检测方法、装置、电子设备及可读存储介质
CN111753766A (zh) 一种图像处理方法、装置、设备及介质
CN117576634B (zh) 基于密度检测的异常分析方法、设备以及存储介质
CN114155278A (zh) 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN116824541A (zh) 基于双通道的行人过街意向预测方法、模型及装置
Das et al. Why slammed the brakes on? auto-annotating driving behaviors from adaptive causal modeling
CN115953764A (zh) 基于鸟瞰图的车辆哨兵方法、装置、设备及存储介质
CN115690665A (zh) 一种基于交叉U-Net网络的视频异常检测方法及装置
Sofwan et al. Design of smart open parking using background subtraction in the IoT architecture
Rocky et al. Review of Accident Detection Methods Using Dashcam Videos for Autonomous Driving Vehicles
CN114612999A (zh) 一种目标行为分类方法、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination