CN111898574A - 一种起立行走测试分析系统及方法 - Google Patents

一种起立行走测试分析系统及方法 Download PDF

Info

Publication number
CN111898574A
CN111898574A CN202010778787.XA CN202010778787A CN111898574A CN 111898574 A CN111898574 A CN 111898574A CN 202010778787 A CN202010778787 A CN 202010778787A CN 111898574 A CN111898574 A CN 111898574A
Authority
CN
China
Prior art keywords
test
gait
mark line
video
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778787.XA
Other languages
English (en)
Inventor
汪昕
丁晶
李鑫
唐妍敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Original Assignee
Zhongshan Hospital Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University filed Critical Zhongshan Hospital Fudan University
Priority to CN202010778787.XA priority Critical patent/CN111898574A/zh
Publication of CN111898574A publication Critical patent/CN111898574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种起立行走测试分析系统及方法，包括动作捕捉模块和动作分析模块，结合了筛查过程中的主要指标特征和机器学习算法，通过采集受试者的测试视频图形进行分析，得到起立‑行走测试的正常异常筛选结果，对步态障碍的初筛进度高、一致性好，通过步态定量指标衡量有助于指导临床实践，同时设备安装方便，便于携带，可广泛应用及推广。

Description

一种起立行走测试分析系统及方法
技术领域
本发明涉及步态分析技术领域，具体涉及一种起立行走测试分析系统及方法。
背景技术
随着医疗技术的发展，社会结构的老龄化提示亟需重视老年性疾病的诊治需求。传统的老年性脑部疾病，例如卒中、癫痫等，也有越来越年轻化的趋势。早期发现及筛查脑血管病神经损伤病人，予以及时的针对性干预，是提高脑血管病神经损伤病人的预后能力，减轻社会负担的关键策略。目前许多脑血管病神经损伤的表现较为隐匿，在脑部已经发生病理变化，但尚不严重时，缺少显著的临床症状以及有效的检测手段。对于脑血管病神经损伤的患者而言，由于存在潜在的脑神经损伤，患者行动能力减弱，跌倒风险增高，极易被家属或者护理人员疏漏，如不及时发现及干预，将危及生命。
目前临床上为了提高对上述患者的早期筛查能力，并随访病情变化，常采用各种测试方案进行步态功能评估。起立-行走测试是临床常用的简易筛查方法，最初在1986年由Mathias等报道，在1991年由Podsiadlo和Richardson等修改完善。完成起立-行走测试需要综合协调性、力量和平衡，整个测试使用秒表记录从头到尾的总完成时间，并与已建立的常模规范进行比较得出步态正常或异常的判断，既往研究已证实其具有良好的有效性和可靠性。然而起立-行走测试的总完成时间并不能囊括受试者步态功能的各个方面，并且测试时需要经培训的医师或专业人员指导完成。不同人员的评估不尽相同，难以满足评估一致性的要求。
为了满足对步态功能的筛查，目前也有通过电子化的方法进行患者行走步态的检测。但是此类检测方法需要用到较为昂贵的设备以及繁琐的步骤进行患者的多方面信息采集，包括步态、心电、脑电以及肌电。由于操作步骤比较繁琐，需要更多的经过训练的专业人员完成设备的调试及安装，并且要求患者配合进行反复调试，对专业人员的时间和精力有挑战，也给患者带来了极大的负担，尤其是行为功能异常的患者。
为了解决以上的一致性问题以及减轻医护人员和患者的负担，我们提供了一种通过计算机智能算法进行的起立-行走测试的自动化筛查系统。所述系统采用非接触式的方式，只需要患者进行自然的行走，不会给患者带来较大负担。系统操作简洁明确，不需要专业培训的医护人员进行操作，减轻医护人员的负担。由于系统采用深度学习算法进行信息分析，不会受到其他客观因素影响，具有较高的筛查一致性
发明内容
本发明的目的是提供一种起立行走测试分析系统及方法，通过采集受试者的测试视频图形进行分析，得到起立-行走测试的正常异常筛选结果。
为了达到上述目的，本发明一方面提供一种起立行走测试分析系统，包括：
动作捕捉模块，所述动作捕捉模块用以获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验；
动作分析模块，所述动作分析模块用以将测试视频输入基于卷积神经网络的姿势估计模型进行识别，并根据骨骼关键点构建可视化骨骼，定量化分析受试者的步长、步频、步宽等步态时空参数，判断受试者步态正常或异常的分类结果。
进一步的，所述动作捕捉模块包括：
视频采集端，所述视频采集端包括深度摄像头及其支架，用以获取测试视频；
视频处理端，所述视频处理端包括配置GPU和视频采集软件的计算机，所述视频处理端与视频采集端连接。
进一步的，在所述测试场景中，包括一无扶手椅、一起始标记线和一转身标记线，所述始标记线和转身标记线平行，所述无扶手椅置于起始标记线外侧，所述深度摄像头及其支架设置于场景的一侧，拍摄受试者在起始标记线和转身标记线支架水平方向上的图像。
另一方面，本发明还提供一种基于上述系统的方法，包括以下步骤：
动作捕捉，获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验；
动作分析，将测试视频输入基于卷积神经网络的姿势估计模型进行识别，并根据骨骼关键点构建可视化骨骼，定量化分析受试者的步长、步频、步宽等步态时空参数，判断受试者步态正常或异常的分类结果。
进一步的，在动作捕捉步骤中包括：
开始拍摄受试者测验图像；
受试者收到指令，由无扶手椅从坐位站起，从起始标记线起立出发，行走到转身标记线后往回行走，回到起始标记线后再次坐下；
结束拍摄受试者测试图像。
进一步的，包括在所属动作分析过程中，包括以下步骤：
采用目标检测算法检测到人体区域框；
通过对称空间变换网络处理将人体区域块切分成数个动作检测区域；
在每一个动作检测区域内检测人体姿态并产生步态参数。
进一步的，包括在所属动作分析过程中，还包括以下步骤：
将步态参数作为训练集建立二元Logistic回归模型、Bayes模型；
所述模型在不同的不同参数下，根据受试者发生步态障碍的概率分类正异常。
进一步的，所述步态参数根据临床筛查过程中的主要指标特征建立。
本发明提供一种起立行走测试分析系统及方法，包括动作捕捉模块和动作分析模块，结合了筛查过程中的主要指标特征和机器学习算法，通过采集受试者的测试视频图形进行分析，得到起立-行走测试的正常异常筛选结果，对步态障碍的初筛进度高、一致性好，通过步态定量指标衡量有助于指导临床实践，同时设备安装方便，便于携带，可广泛应用及推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种起立行走分析系统的系统框架图。
图2为本发明的动作捕捉模块的系统框架图。
图3为本发明的一种起立行走分析方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
图1为本发明的一种起立行走分析系统的系统框架图，如图1所示，本发明的一种起立行走分析系统包括动作捕捉模块1和动作分析模块2。
动作捕捉模块1用以获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验。动作分析模块2用以将测试视频输入、姿势估计模型进行识别，定量化分析受试者的步长、步频、步宽等步态时空参数，判断受试者步态正常或异常的分类结果。
具体的，动作捕捉模块1包括视频采集端11和视频处理端12。视频采集端11包括深度摄像头和支架，视频处理端12包括配置GPU和视频采集软件的计算机，所述计算机与深度摄像头通过USB线缆连接。如测试场地空间受限导致深度摄像头自带USB线无法直接连接至电脑时，可加用USB延长数据线进行连接。
在本发明的一个实施例中，测试场景为室内3.6米×3.8米长方形空旷平地，有稳定室内光线照射，远离窗户、阳台等室外日光干扰，同时地面摩擦力适中，不易打滑。在场地的一侧放置无扶手椅一把，椅子前脚连线用标记胶带在地面上作一起始标记线，距离该标记线3米的地面处用标记胶带作一转身标记线，两标记线平行。在侧别中点处放置记录被试侧面的深度摄像头及其支架。
在测试过程中，受试者根据要求完成起立-行走测验：受试者首先坐在起始标记线外侧的无扶手椅上，听到指示后自坐位起立，向前行走3米到达转身标记线，随后转身往回行走，回到椅子后再次坐下。每例受试者的测试视频将在动作分析模块2通过基于卷积神经网络的姿势估计模型进行智能识别，根据骨骼关键点构建可视化骨架，自动化定量分析受试者的步长、步速、步频、步宽等步态时空参数，智能化判断受试者步态正常与否及异常分类。
图3为本发明的一种起立行走分析方法的方法流程图，如图3所示，本发明的一种起立行走分析方法包括以下步骤：
S1动作捕捉，获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验。
S2动作分析，将测试视频输入基于卷积神经网络的姿势估计模型进行识别，定量化分析受试者步态时空参数，判断受试者步态正常或异常的分类结果。
具体的，动作分析过程中，包括以下步骤：
S201采用目标检测算法检测到人体区域框。
S202通过对称空间变换网络处理将人体区域块切分成数个动作检测区域。
S203根据骨骼关键点构建可视化骨骼。
S204在每一个动作检测区域内检测人体姿态并产生步态参数。
其中，本实施例采用使用参数化姿势非最大抑制解决冗余检测问题。
S205将步态参数作为训练集建立二元Logistic回归模型、Bayes模型。
S206所述模型在不同的不同参数下，根据受试者发生步态障碍的概率分类正异常。
在本发明的一个实施例中，采用AlphaPose进行姿势估计，步态参数包括受试者的步频、步长、步速、步宽等。步态参数主要根据医疗专家在临床筛查过程中的主要指标特征进行设定，训练集数据的标签也由医疗专家进行标记。
尽管上面已经示出和描述了本发明的和实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种起立行走测试分析系统，其特征在于，包括：
动作捕捉模块，所述动作捕捉模块用以获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验；
动作分析模块，所述动作分析模块用以将测试视频输入基于卷积神经网络的姿势估计模型进行识别，定量化分析受试者的步态参数，判断受试者步态正常或异常的分类结果。
2.如权利要求1所述的一种起立行走测试分析系统，其特征在于，所述动作捕捉模块包括：
视频采集端，所述视频采集端包括深度摄像头及其支架，用以获取测试视频；
视频处理端，所述视频处理端包括配置GPU和视频采集软件的计算机，所述视频处理端与视频采集端连接。
3.如权利要求2所述的一种起立行走测试分析系统，其特征在于，在所述测试场景中，包括一无扶手椅、一起始标记线和一转身标记线，所述起始标记线和转身标记线平行，所述无扶手椅置于起始标记线外侧，所述深度摄像头及其支架设置于场景的一侧，拍摄受试者在起始标记线和转身标记线支架水平方向上的图像。
4.如权利要求1所述系统的方法，其特征在于，包括以下步骤：
动作捕捉，获取测试视频，所述测试视频包括受试者在测试场景内接受起立行走测验；
动作分析，将测试视频输入基于卷积神经网络的姿势估计模型进行识别，定量化分析受试者的等步态时空参数，判断受试者步态正常或异常的分类结果。
5.如权利要求4所述的方法，其特征在于，在动作捕捉步骤中包括：
开始拍摄受试者测验图像；
受试者收到指令，由无扶手椅从坐位站起，从起始标记线起立出发，行走到转身标记线后往回行走，回到起始标记线后再次坐下；
结束拍摄受试者测试图像。
6.如权利要求4所述的方法，其特征在于，包括在所属动作分析过程中，包括以下步骤：
采用目标检测算法检测到人体区域框；
通过对称空间变换网络处理将人体区域块切分成数个动作检测区域；
根据骨骼关键点构建可视化骨骼，在每一个动作检测区域内检测人体姿态并产生步态参数。
7.如权利要求6所述的方法，其特征在于，包括在所属动作分析过程中，还包括以下步骤：
将步态参数作为训练集建立二元Logistic回归模型、Bayes模型；
所述模型在不同的不同参数下，根据受试者发生步态障碍的概率分类正异常。
8.如权利要求6或7所述的任一种方法，其特征在于，所述步态参数根据临床筛查过程中的主要指标特征建立，包括受试者的步长、步频、步宽和步速等。
CN202010778787.XA 2020-08-05 2020-08-05 一种起立行走测试分析系统及方法 Pending CN111898574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778787.XA CN111898574A (zh) 2020-08-05 2020-08-05 一种起立行走测试分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778787.XA CN111898574A (zh) 2020-08-05 2020-08-05 一种起立行走测试分析系统及方法

Publications (1)

Publication Number Publication Date
CN111898574A true CN111898574A (zh) 2020-11-06

Family

ID=73245958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778787.XA Pending CN111898574A (zh) 2020-08-05 2020-08-05 一种起立行走测试分析系统及方法

Country Status (1)

Country Link
CN (1) CN111898574A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496216A (zh) * 2021-08-31 2021-10-12 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN113855003A (zh) * 2021-09-29 2021-12-31 复旦大学附属中山医院 一种步态检测方法、系统及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052005A1 (en) * 2009-08-28 2011-03-03 Allen Joseph Selner Designation of a Characteristic of a Physical Capability by Motion Analysis, Systems and Methods
CN103338699A (zh) * 2011-01-25 2013-10-02 诺华股份有限公司 医学用动作成像和捕捉系统及方法
US20170035330A1 (en) * 2015-08-06 2017-02-09 Stacie Bunn Mobility Assessment Tool (MAT)
US20170087416A1 (en) * 2015-09-30 2017-03-30 Board Of Trustees Of The University Of Alabama Systems and methods for rehabilitation of limb motion
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN108095725A (zh) * 2017-12-20 2018-06-01 中国科学院合肥物质科学研究院 一种人体运动能力集成测试装置及其使用方法
JP2019025134A (ja) * 2017-08-01 2019-02-21 株式会社大武ルート工業 動作推定装置及び動作推定プログラム
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测系统、检测方法及检测仪
CN111178338A (zh) * 2020-03-18 2020-05-19 福建中医药大学 一种步态分析系统中数据库和标准化模型的建立方法
CN111326232A (zh) * 2020-03-18 2020-06-23 福建中医药大学 一种基于三维步态分析系统鉴别异常步态形式的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052005A1 (en) * 2009-08-28 2011-03-03 Allen Joseph Selner Designation of a Characteristic of a Physical Capability by Motion Analysis, Systems and Methods
CN103338699A (zh) * 2011-01-25 2013-10-02 诺华股份有限公司 医学用动作成像和捕捉系统及方法
US20170035330A1 (en) * 2015-08-06 2017-02-09 Stacie Bunn Mobility Assessment Tool (MAT)
US20170087416A1 (en) * 2015-09-30 2017-03-30 Board Of Trustees Of The University Of Alabama Systems and methods for rehabilitation of limb motion
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
JP2019025134A (ja) * 2017-08-01 2019-02-21 株式会社大武ルート工業 動作推定装置及び動作推定プログラム
CN108095725A (zh) * 2017-12-20 2018-06-01 中国科学院合肥物质科学研究院 一种人体运动能力集成测试装置及其使用方法
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测系统、检测方法及检测仪
CN111178338A (zh) * 2020-03-18 2020-05-19 福建中医药大学 一种步态分析系统中数据库和标准化模型的建立方法
CN111326232A (zh) * 2020-03-18 2020-06-23 福建中医药大学 一种基于三维步态分析系统鉴别异常步态形式的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496216A (zh) * 2021-08-31 2021-10-12 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN113496216B (zh) * 2021-08-31 2023-05-05 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN113855003A (zh) * 2021-09-29 2021-12-31 复旦大学附属中山医院 一种步态检测方法、系统及设备

Similar Documents

Publication Publication Date Title
Li et al. The obf database: A large face video database for remote physiological signal measurement and atrial fibrillation detection
Oresko et al. A wearable smartphone-based platform for real-time cardiovascular disease detection via electrocardiogram processing
Jin et al. Predicting cardiovascular disease from real-time electrocardiographic monitoring: An adaptive machine learning approach on a cell phone
US8139822B2 (en) Designation of a characteristic of a physical capability by motion analysis, systems and methods
CN111225612A (zh) 基于机器学习的神经障碍识别和监测系统
CN109815858B (zh) 一种日常环境中的目标用户步态识别系统及方法
CN109069081A (zh) 用于预测、筛查和监测脑病/谵妄的设备、系统和方法
CN102014742A (zh) 现场可部署的震荡检测器
WO2011026001A2 (en) Characterizing a physical capability by motion analysis
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN111898574A (zh) 一种起立行走测试分析系统及方法
CN1359656A (zh) 评估脑皮层中神经元损伤程度的方法与装置
Przybyło A deep learning approach for remote heart rate estimation
CN110477867A (zh) 一种动物电刺激疼痛评估测试系统及评估测试方法
CN114565957A (zh) 基于微表情识别的意识评估方法及系统
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
Shekhawat et al. Binarized spiking neural network optimized with momentum search algorithm for fetal arrhythmia detection and classification from ECG signals
CN110693510A (zh) 一种注意力缺陷多动障碍辅助诊断装置及其使用方法
Li et al. Hybrid D1DCnet using forehead iPPG for continuous and noncontact blood pressure measurement
CN108451494A (zh) 使用瞳孔反应来检测时域心脏参数的方法及系统
CN115515480A (zh) 疾病检测系统
Jagadeesan et al. Behavioral features based autism spectrum disorder detection using decision trees
Sadek et al. Sensor data quality processing for vital signs with opportunistic ambient sensing
Faizah et al. A rest tremor detection system based on internet of thing technology
Winnick et al. Automated nystagmus detection: Accuracy of slow-phase and quick-phase algorithms to determine the presence of nystagmus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination