CN117831221A - 跌倒检测方法、装置、存储介质及电子装置 - Google Patents

跌倒检测方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN117831221A
CN117831221A CN202211204627.XA CN202211204627A CN117831221A CN 117831221 A CN117831221 A CN 117831221A CN 202211204627 A CN202211204627 A CN 202211204627A CN 117831221 A CN117831221 A CN 117831221A
Authority
CN
China
Prior art keywords
information
audio
user
processing result
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211204627.XA
Other languages
English (en)
Inventor
彭占利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd, Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202211204627.XA priority Critical patent/CN117831221A/zh
Publication of CN117831221A publication Critical patent/CN117831221A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本申请公开了一种跌倒检测方法、装置、存储介质及电子装置,涉及智能家居技术领域,该跌倒检测方法包括:接收雷达传感器对目标区域进行实时监测的检测结果,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音,在语音采集设备接收到音频信息的情况下,对音频信息进行处理得到音频处理结果,基于音频处理结果以及预先获取的用户信息,进行告警处理。通过上述方法,可以在检测结果指示用户为跌倒姿态的情况下,基于音频处理结果以及预先获取的用户信息,确定是否需要进行告警,相较于仅基于雷达感应到的信息确定用户是否跌倒并告警的方式,能够提高跌倒检测的准确率,以及能够提高告警的准确率。

Description

跌倒检测方法、装置、存储介质及电子装置
技术领域
本申请涉及智能家居技术领域,尤其涉及一种跌倒检测方法、装置、存储介质及电子装置。
背景技术
随着智能家居的发展,应用于智能家用设备的跌倒检测技术越来越多,极大地方便了人们的生活。
目前,应用于智能家用设备的跌倒检测技术,可以采用雷达感应用户的姿态,进而基于感应到的信息进行特征值计算,在特征值大于跌倒阈值的情况下,则认为用户跌倒,从而进行告警。
但是,现实场景中,用户可能做出很多类似于跌倒的姿态,用户实际上并未跌倒,或者用户虽然发生了跌倒,但并不严重。采用目前的跌倒检测技术,无法有效甄别用户是否真正发生跌倒,也无法有效确认用户是否需要救助,即跌倒检测的准确率低,告警的错误率高。
发明内容
本申请提供一种跌倒检测方法、装置、存储介质及电子装置,用以解决现有技术中跌倒检测的准确率低,告警的错误率高的缺陷,提高跌倒检测的准确率,以及提高告警的准确率。
本申请提供一种跌倒检测方法,所述方法包括:
接收雷达传感器对目标区域进行实时监测的检测结果;
在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音;
在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果;
基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
根据本申请提供的一种跌倒检测方法,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述语音采集设备接收到询问音频信息的情况下,对所述询问音频信息进行处理,得到询问音频处理结果,其中,所述询问音频信息为在通过语音播放设备播放预设询问语音后,所述语音采集设备接收到的音频信息;
在所述询问音频处理结果指示所述询问音频信息为所述用户基于所述预设询问语音回复的人声指令的情况下,确定所述询问音频处理结果满足第一预设条件,并将所述询问音频处理结果作为所述音频处理结果。
根据本申请提供的一种跌倒检测方法,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述询问音频处理结果不满足所述第一预设条件的情况下,通过所述语音播放设备播放预设提示语音;
在通过所述语音采集设备接收到提示音频信息的情况下,对所述提示音频信息进行处理,得到提示音频处理结果,其中,所述提示音频信息为在所述预设提示语音播放完毕后的预设时间段内,所述语音采集设备接收到的音频信息;
将所述询问音频处理结果以及所述提示音频处理结果,作为所述音频处理结果。
根据本申请提供的一种跌倒检测方法,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述语音采集设备接收到跌倒音频信息的情况下,对所述跌倒音频信息进行处理,得到跌倒音频处理结果,并将所述跌倒音频处理结果作为所述音频处理结果,其中,所述跌倒音频信息为在播放所述预设询问语音前,所述语音采集设备接收到的音频信息。
根据本申请提供的一种跌倒检测方法,所述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤,包括:
将所述检测结果,所述音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果,其中,所述边缘跌倒模型为基于检测样本、音频样本、用户信息样本进行训练得到的模型;
确定所述待确定结果的告警级别;
在所述告警级别大于预设级别阈值的情况下,基于所述告警级别、所述用户信息以及位置信息,生成告警信息并告警,其中,所述位置信息用于表征所述用户位置的信息;
在所述告警级别不大于预设级别阈值的情况下,不告警。
根据本申请提供的一种跌倒检测方法,所述生成告警信息并告警的步骤,包括:
在生成所述告警信息后,将所述告警信息发送至云平台,以使所述云平台基于所述告警信息发送急救信息至医院平台。
根据本申请提供的一种跌倒检测方法,在所述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤之前,所述方法还包括:
基于所述音频处理结果包括的声纹信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括声纹信息与用户信息的对应关系;
或,
基于所述检测结果包括的人体信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括人体信息与用户信息的对应关系。
本申请还提供一种跌倒检测装置,包括:
接收模块,用于接收雷达传感器对目标区域进行实时监测的检测结果;
控制模块,用于在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音;
处理模块,用于在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果;
告警模块,用于基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
本申请还提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述跌倒检测方法。
本申请还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行实现如上述任一种所述跌倒检测方法。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述跌倒检测方法。
本申请提供的跌倒检测方法、装置、存储介质及电子装置,通过接收雷达传感器对目标区域进行实时监测的检测结果,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音,在语音采集设备接收到音频信息的情况下,对音频信息进行处理得到音频处理结果,基于音频处理结果以及预先获取的用户信息,进行告警处理。通过上述方法,可以在检测结果指示用户为跌倒姿态的情况下,基于音频处理结果以及预先获取的用户信息,确定是否需要进行告警,相较于仅基于雷达感应到的信息确定用户是否跌倒并告警的方式,能够提高跌倒检测的准确率,以及能够提高告警的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种跌倒检测方法的硬件环境示意图;
图2是本申请提供的跌倒检测方法的流程示意图之一;
图3是本申请提供的跌倒检测方法的流程示意图之二;
图4是本申请提供的跌倒检测装置的结构示意图;
图5是本申请提供的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种跌倒检测方法。该跌倒检测方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述跌倒检测方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
为了能够提高提高跌倒检测的准确率,从而能够提高告警的准确率,本申请实施例提供了一种跌倒检测方法、装置、计算机可读的存储介质、电子装置及计算机程序产品,下面结合图2对本申请实施例提供的一种跌倒检测方法进行介绍。
如图2所示,本申请实施例提供了一种跌倒检测方法,方法包括:
S201,接收雷达传感器对目标区域进行实时监测的检测结果。
为了能够确定用户是否具备跌倒姿态,也就是为了确定用户是否跌倒,可以接收雷达传感器对目标区域进行实时监测的检测结果。其中,目标区域为用户想要进行跌倒检测的区域,检测结果为能够指示用户是否为跌倒姿态的结果。在一些实施例中,雷达传感器为毫米波雷达传感器,可以用于确定用户的方位、距离以及捕捉用户的姿态等。
在一种实施方式中,雷达传感器可以实时监测目标区域的电磁波信息,其中,电磁波信息可以为电磁波的飞行时间信息、相位信息、多普勒信息等信息,在此不做具体限定。
在获取到电磁波信息后,可以对对电磁波信息进行处理,得到检测结果,作为一种实施方式,可以对电磁波信息进行特征识别,从而得到检测结果。例如,可以采用预设的特征识别算法对电磁波信息进行特征值计算,从而得到检测结果。
在一种实施方式中,为了能够进一步提高检测结果的准确度,可以对电磁波信息进行降噪、滤波、有效成分提取等处理,从而得到当前电磁波信息,进而再对当前电磁波信息进行特征识别,便可以得到准确度更高的检测结果。
在获取到检测结果后,可以基于检测结果确定用户是否为跌倒姿态,在电磁波处理结果指示用户不为跌倒姿态的情况下,说明用户并未跌倒,雷达传感器可以继续对目标区域进行实时监测,从而可以继续接收雷达传感器对目标区域进行实时监测的检测结果。
在检测结果指示用户为跌倒姿态的情况下,说明用户跌倒的概率较高,因此,为了进一步确定用户是否跌倒,以及为了确定是否需要告警,可以执行步骤S202,即在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音。
在控制语音采集设备开启录音的情况下,可以通过语音采集设备接收附近预设范围内的音频信息,进而可以执行步骤S203,即在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果。
其中,音频信息可以包括用户为跌倒姿态的情况下,自发地发出的音频信息,音频信息还可以包括用户为跌倒姿态的情况下,在播放预设语音后,用户基于预设语音做出的回应对应的音频信息。其中,预设语音可以包括预设确认语音、预设询问语音、预设提示语音等。
相应地,基于音频信息的不同,音频信息对应的音频处理结果可以用于进一步判断用户是否发生跌倒,还可以用于判断是否需要告警。
在一种实施方式中,语音采集设备接收到的音频信息可以为用户为跌倒姿态的情况下,自发地发出的音频信息。为了能够进一步判断用户是否发生跌倒,可以基于音频处理结果以及检测结果共同确定用户是否发生跌倒。
在另一种实施方式中,语音采集设备接收到的音频信息可以包括用户为跌倒姿态的情况下,在播放预设确认语音后,用户基于预设确认语音做出的回应对应的音频信息。为了能够进一步判断用户是否发生跌倒,可以基于音频处理结果以及检测结果共同确定用户是否发生跌倒。其中,预设确认语音可以为预设的确认用户是否跌倒的语音。
例如,预设确认语音可以为预设确认语音A“请问您是否跌倒?”,在播放完预设确认语音A后,语音采集设备可以接收预设确认语音A对应的音频信息A,进而基于音频信息A以及检测结果共同确定用户是否发生跌倒。
S204,基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
在得到音频处理结果后,可以基于音频处理结果以及预先获取的用户信息,进行告警处理,也就是确定是否需要告警。其中,预先获取的用户信息可以包括用户的身高信息、体重信息、血型信息、声纹信息、年龄信息等,这都是合理的,在此不作具体限定。
可见,本申请提供的跌倒检测方法,在检测结果指示用户为跌倒姿态的情况下,基于音频处理结果以及预先获取的用户信息,确定是否需要进行告警,相较于仅基于雷达感应到的信息确定用户是否跌倒并告警的方式,能够提高跌倒检测的准确率,以及能够提高告警的准确率。
作为本申请实施例的一种实施方式,上述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,可以包括:
在所述语音采集设备接收到询问音频信息的情况下,对所述询问音频信息进行处理,得到询问音频处理结果。
在语音采集设备开启录音后,可以通过语音播放设备播放预设询问语音,这样,语音采集设备便可以接收到预设询问语音对应的音频信息,即询问音频信息,换句话说,询问音频信息为在通过语音播放设备播放预设询问语音后,语音采集设备接收到的音频信息。在语音采集设备接收到询问音频信息的情况下,可以对询问音频信息进行处理,得到询问音频处理结果。其中,预设询问语音可以为预设的确认用户是否需要救助的语音。
例如,预设询问语音可以为预设询问语音B“请问您是否需要救助?”,在播放完预设询问语音B后,语音采集设备可以接收预设询问语音B对应的询问音频信息B,进而对询问音频信息B进行处理,得到询问音频处理结果B。
在所述询问音频处理结果指示所述询问音频信息为所述用户基于所述预设询问语音回复的人声指令的情况下,确定所述询问音频处理结果满足第一预设条件,并将所述询问音频处理结果作为所述音频处理结果。
在询问音频处理结果指示询问音频信息为用户基于预设询问语音回复的人声指令的情况下,也就是用户基于预设询问语音回复了人声指令的情况下,可以确定询问音频处理结果满足第一预设条件,并将询问音频处理结果作为音频处理结果。
在一种情况下,询问音频处理结果表征用户基于预设询问语音回复的人声指令为需要救助的情况下,可以根据询问音频处理结果以及预先获取的用户信息,确定需要进行告警,从而实现对用户进行及时救助。
在另一种情况下,询问音频处理结果表征用户基于预设询问语音回复的人声指令为不需要救助的情况下,可以根据询问音频处理结果以及预先获取的用户信息,确定不需要进行告警,从而降低社会成本。也可以根据检测结果、询问音频处理结果、以及预先获取的用户信息,进行告警处理,从而更加精确地确认用户是否需要救助。
可见,本申请提供的跌倒检测方法,可以播放预设询问语音,实现与用户进行语音交互,从而可以获取询问音频处理结果,并根据询问音频处理结果进行告警处理,能够进一步提高告警的准确率。
作为本申请实施例的一种实施方式,上述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,可以包括:
在所述询问音频处理结果不满足所述第一预设条件的情况下,通过所述语音播放设备播放预设提示语音。
在询问音频处理结果不满足第一预设条件的情况下,也就是在询问音频处理结果指示询问音频信息不为用户基于预设询问语音回复的人声指令的情况下,为了能够进一步确认用户当前的状态,可以通过语音播放设备播放预设提示语音。其中,预设提示语音可以为预设的提示并引导用户做出指定行为的语音。
在通过所述语音采集设备接收到提示音频信息的情况下,对所述提示音频信息进行处理,得到提示音频处理结果。
在播放完预设提示语音后,可以通过语音采集设备,在预设时间段内接收到预设提示语音对应的音频信息,即提示音频信息,换句话说,提示音频信息为在预设提示语音播放完毕后的预设时间段内,语音采集设备接收到的音频信息。
其中,预设时间段的起点为预设提示语音播放完毕对应的时间点,预设时间段对应的时长可以根据实际使用需求进行设置,例如,预设时间段对应的时长可以为5s、7s、8s,这都是合理的,在此不做具体限定。
例如,预设提示语音可以为预设提示语音C“如需救助,请敲击地板2次。”,在播放完预设提示语音C后,语音采集设备可以接收播放完预设提示语音C后5s之内的提示音频信息C,进而对提示音频信息C进行处理,得到提示音频处理结果C。
将所述询问音频处理结果以及所述提示音频处理结果,作为所述音频处理结果。
在获取到询问音频处理结果以及提示音频处理结果后,可以将询问音频处理结果以及提示音频处理结果作为音频处理结果。
在提示音频处理结果表征用户基于预设提示语音回复的对应信息为需要救助的情况下,可以根据询问音频处理结果、提示音频处理结果以及预先获取的用户信息,确定需要进行告警,从而实现对用户进行及时救助。
在提示音频处理结果表征用户基于预设提示语音回复的对应信息为不需要救助的情况下,可以根据询问音频处理结果、提示音频处理结果以及预先获取的用户信息,确定不需要进行告警,从而降低社会成本。也可以根据检测结果、询问音频处理结果、提示音频处理结果以及预先获取的用户信息,进行告警处理,从而更加精确地确认用户是否需要救助。
在提示音频处理结果表征用户未基于预设提示语音回复的对应信息的情况下,可以基于生成告警级别最高的告警信息并告警。在提示音频处理结果表征用户基于预设提示语音回复的信息不正确的情况下,可以再次执行播放预设提示语音的步骤。
可见,本申请提供的跌倒检测方法,可以在播放预设询问语音后,播放预设提示语音,实现与用户进行语音交互,从而可以获取询问音频处理结果以及提示音频处理结果,并根据询问音频处理结果以及提示音频处理结果进行告警处理,能够进一步提高告警的准确率。
作为本申请实施例的一种实施方式,上述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,可以包括:
在所述语音采集设备接收到跌倒音频信息的情况下,对所述跌倒音频信息进行处理,得到跌倒音频处理结果,并将所述跌倒音频处理结果作为所述音频处理结果。
在语音采集设备开启录音后,可以接收预设范围内的音频信息,作为跌倒音频信息,进而,可以对跌倒音频信息进行处理,得到跌倒音频处理结果,其中,跌倒音频信息为在播放预设询问语音前,语音采集设备接收到的音频信息。
在一种实施方式中,跌倒音频处理结果可以用于进一步判断用户是否跌倒,还可以将跌倒音频处理结果作为音频处理结果,用于后续进行告警处理。
由于跌倒音频信息可能不存在,或难以采集的情况下,可以在控制语音设备开启录音后的预设开启时长内,通过语音播放设备播放预设语音,其中,预设语音可以包括预设确认语音、预设询问语音、预设提示语音等。
在一种实施方式中,可以在控制语音设备开启录音后的预设开启时长内,先播放预设确认语音,再播放预设询问语音,最后播放预设提示语音。换句话说,跌倒音频信息为未开始语音交互前,语音采集设备接收到的音频信息。
作为本申请实施例的一种实施方式,上述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤,可以包括:
将所述检测结果,所述音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果。
为了能够更加快速、准确地获取待确定结果,可以将检测结果,音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果。其中,边缘跌倒模型为基于检测样本、音频样本、用户信息样本进行训练得到的模型。待确定结果中可以包括指示用户是否跌倒的结果,以及指示是否需要告警的结果。
在一种实施方式中,边缘跌倒模型可以对检测结果,音频处理结果以及预先获取的用户信息进行处理,得到对应的特征值,并将该特征值作为待确定结果。
确定所述待确定结果的告警级别。在所述告警级别大于预设级别阈值的情况下,基于所述告警级别、所述用户信息以及位置信息,生成告警信息并告警,其中,所述位置信息用于表征所述用户位置的信息;在所述告警级别不大于预设级别阈值的情况下,不告警。
为了能够确定用户是否跌倒,以及确定是否需要进行告警,可以确定待确定结果的告警级别,在告警级别大于预设级别阈值的情况下,说明用户跌倒,并且需要进行告警,因此,可以基于告警级别、用户信息以及位置信息,生成告警信息并告警。其中,位置信息用于表征用户位置的信息。各个告警级别对应的用户跌倒的严重程度不同。
在一种实施方式中,告警信息包括告警的紧急程度,可以根据告警信息的紧急程度进行告警,告警的紧急程度与告警级别正相关。例如,告警级别越高,告警的紧急程度越高,也就是需要尽快告警。
在告警级别不大于预设级别阈值的情况下,说明用户未跌倒,不需要进行告警,或用户跌倒,但不需要进行告警,因此,可以不告警。例如,告警级别可以包括0级-5级,一共5个级别,0级所对应的用户跌倒的严重程度最低,5级所对应的用户跌倒的严重程度最高,0级可以为用户未跌倒。
预设级别阈值可以为2级,在告警级别大于2级的情况下,说明用户跌倒,并且需要进行告警,可以基于告警级别、用户信息以及位置信息,生成告警信息并告警。在告警级别不大于2级的情况下,说明用户未跌倒,不需要进行告警,或用户跌倒,但不需要进行告警,可以不告警。
作为一种实施方式,在待确定结果包括特征值的情况下,可以确定特征值是否大于预设特征阈值。在特征值大于预设特征阈值的情况下,说明用户跌倒,并且需要进行告警,因此,可以基于告警级别、用户信息以及位置信息,生成告警信息并告警。
在特征值不大于预设特征阈值的情况下,说明用户未跌倒,不需要进行告警,或用户跌倒,但不需要进行告警,因此,可以不告警。其中,预设特征阈值可以为85%、88%、90%,这都是的合理的,在此不做具体限定。
可见,本申请提供的跌倒检测方法,可以将检测结果、音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果,从而基于待确定结果的告警级别,进行告警处理,通过这样的方式,可以更加快速、准确地进行告警处理。
作为本申请实施例的一种实施方式,为了进一步提高边缘跌倒模型的准确度,可以基于检测结果,音频处理结果以及预先获取的用户信息以及进行告警处理对应的结果,对边缘跌倒模型进行自优化,这样,便可以获取准确度更高的边缘跌倒模型,从而可以获取准确度更高的待确定结果。
作为本申请实施例的一种实施方式,上述生成告警信息并告警的步骤,可以包括:
在生成所述告警信息后,将所述告警信息发送至云平台,以使所述云平台基于所述告警信息发送急救信息至医院平台。
在生成告警信息后,可以将告警信息发送至云平台,也就是将包括告警级别、用户信息以及位置信息生成的告警信息发送至云平台,其中,用户信息至少可以包括用户的人体信息(用户的身高信息以及用户的体重信息等),以及用户的声纹信息。
云平台在接收到告警信息后,可以基于用户的人体信息以及用户的声纹信息进一步对用户的身份信息进行核实,从而提高确定用户身份信息的准确度,并且可以基于位置信息确定跌倒用户附近的医院。
进而云平台可以发送包括告警级别急救信息至医院平台,也就是发送急救信息发送至与跌倒用户距离最近的多家医院进行告警,医院可以在医院平台进行应答,最先应答的医院可以获取跌倒用户的位置信息、健康信息,从而对跌倒用户进行急救。
通过这样的方式实现了用户端、云平台、医院端之间的救助闭环,降低了人工干预,降低了社会成本,实现了对用户跌倒的有效甄别,在节省社会资源的同时达到了对跌倒用户的有效救助。
作为本申请实施例的一种实施方式,在上述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤之前,上述方法还可以包括:
基于所述音频处理结果包括的声纹信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括声纹信息与用户信息的对应关系。
或,
基于所述检测结果包括的人体信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括人体信息与用户信息的对应关系。
预设的用户信息库中包括用户预先输入的用户信息,针对不同的用户,其所输入的自身对应的用户信息可能不同,针对电子装置为智能音箱的情况,可以在对智能音箱进行配置的情况下,引导用户输入用户以及用户家庭成员对应的信息,并存储至用户信息库。
当然也可以在进行跌倒检测前,通过雷达传感器获取用户的身高信息以及体重信息,并存储至用户信息库,还可以通过语音采集设备结合搜用户说话的音频,从而获取用户的声纹信息,并存储至用户信息库。
为了保证后续能够获取更加精确的待确定结果,可以通过以下方式中的任一种方式获取用户信息:
第一种方式,可以基于音频处理结果包括的声纹信息,从预设的用户信息库中,确定用户信息,其中,用户信息库包括声纹信息与用户信息的对应关系。
通过上述第一种方式,可以采用在进行跌倒检测的过程中采集的声纹信息,确定用户的身高信息、体重信息、血型信息、年龄信息等。这样便可以方便后续获取更加精确的待确定结果。
第二种方式,可以基于检测结果包括的人体信息,从预设的用户信息库中,确定用户信息,其中,用户信息库包括人体信息与用户信息的对应关系。
人体信息(人体模型信息)可以包括用户的身高信息以及体重信息,通过上述第二种方式,可以采用在进行跌倒检测的过程中获取的用户的人体信息,确定用户的声纹信息、血型信息、年龄信息等。这样便可以方便后续获取更加精确的待确定结果。
第三种方式,预先获取的用户信息即为音频处理结果包括的声纹信息,以及基于检测结果包括的人体信息。这样也可以进行后续确定待确定结果的步骤。
可见,在本实施例中,可以采用上述三种方式获取用户信息,以便后续获取更加精确的待确定结果,进而能够提高提高跌倒检测的准确率,从而能够提高告警的准确率。
为了更加方便理解本申请提供的跌倒检测方法,下面以电子装置为智能音箱为例,结合图3所示的信令交互图对本申请提供的跌倒检测方法进行举例说明,其中,智能音箱安装有雷达传感器、语音采集设备以及语音播放设备:
如图3所示,包括用户310,智能音箱320,云平台330,医院平台340,其中,用户310为老人。
S301,接收雷达传感器对目标区域进行实时监测的检测结果。
S302,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音。
S303,通过语音采集设备接收跌倒音频信息,对跌倒音频信息进行处理,得到跌倒音频处理结果,并在控制语音采集设备开启录音后的预设开启时长内,通过语音播放设备播放预设询问语音。
S304,通过语音采集设备接收询问音频信息,对询问音频信息进行处理,得到询问音频处理结果,在询问音频处理结果不满足第一预设条件的情况下,通过语音播放设备播放预设提示语音。
S305,在预设提示语音播放完毕后的预设时间段内,通过语音采集设备接收提示音频信息,对提示音频信息进行处理,得到提示音频处理结果。
S306,将检测结果、跌倒音频处理结果、询问音频处理结果、提示音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果,确定待确定结果的告警级别,在告警级别大于预设级别阈值的情况下,基于告警级别、用户信息以及位置信息,生成告警信息。
S307,将告警信息发送至云平台330。
S308,云平台330基于人体信息、声纹信息核实用户身份,基于位置信息匹配对应的医院。
S309,云平台330将包括告警级别的急救信息发送至医院平台340。
S310,最先应答医院对用户310进行急救。
通过这样的方式,能够提高跌倒检测的准确率,尤其是能够准确的判断老人是否发生跌倒,从而能够提高告警的准确率,大大提高了对老人的可救护性,能够保证独居老人的生命安全。
下面对本申请实施例提供的跌倒检测装置进行描述,下文描述的跌倒检测装置与上文描述的跌倒检测方法可相互对应参照。
如图4所示,本申请实施例提供的一种跌倒检测装置,包括:
接收模块410,用于接收雷达传感器对目标区域进行实时监测的检测结果。
控制模块420,用于在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音。
处理模块430,用于在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果。
告警模块440,用于基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
作为本申请实施例的一种实施方式,上述处理模块430可以包括:
第一处理单元,用于在所述语音采集设备接收到询问音频信息的情况下,对所述询问音频信息进行处理,得到询问音频处理结果。
其中,所述询问音频信息为在通过语音播放设备播放预设询问语音后,所述语音采集设备接收到的音频信息。
第一确定单元,用于在所述询问音频处理结果指示所述询问音频信息为所述用户基于所述预设询问语音回复的人声指令的情况下,确定所述询问音频处理结果满足第一预设条件,并将所述询问音频处理结果作为所述音频处理结果。
作为本申请实施例的一种实施方式,上述处理模块430可以包括:
播放单元,用于在所述询问音频处理结果不满足所述第一预设条件的情况下,通过所述语音播放设备播放预设提示语音。
第二处理单元,用于在通过所述语音采集设备接收到提示音频信息的情况下,对所述提示音频信息进行处理,得到提示音频处理结果。
其中,所述提示音频信息为在所述预设提示语音播放完毕后的预设时间段内,所述语音采集设备接收到的音频信息。
第二确定单元,用于将所述询问音频处理结果以及所述提示音频处理结果,作为所述音频处理结果。
作为本申请实施例的一种实施方式,上述处理模块430可以包括:
第三处理单元,用于在所述语音采集设备接收到跌倒音频信息的情况下,对所述跌倒音频信息进行处理,得到跌倒音频处理结果,并将所述跌倒音频处理结果作为所述音频处理结果。
其中,所述跌倒音频信息为在播放所述预设询问语音前,所述语音采集设备接收到的音频信息。
作为本申请实施例的一种实施方式,上述告警模块440可以包括:
输入单元,用于将所述检测结果,所述音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果。
其中,所述边缘跌倒模型为基于检测样本、音频样本、用户信息样本进行训练得到的模型。
第三确定单元,用于确定所述待确定结果的告警级别。
第一告警单元,用于在所述告警级别大于预设级别阈值的情况下,基于所述告警级别、所述用户信息以及位置信息,生成告警信息并告警。
其中,所述位置信息用于表征所述用户位置的信息。
第二告警单元,用于在所述告警级别不大于预设级别阈值的情况下,不告警。
作为本申请实施例的一种实施方式,上述第一告警单元包括:
告警子单元,用于在生成所述告警信息后,将所述告警信息发送至云平台,以使所述云平台基于所述告警信息发送急救信息至医院平台。
作为本申请实施例的一种实施方式,上述装置还可以包括:
第一用户信息获取模块,用于在基于所述音频处理结果以及预先获取的用户信息,进行告警处理之前,基于所述音频处理结果包括的声纹信息,从预设的用户信息库中,确定用户信息。
其中,所述用户信息库包括声纹信息与用户信息的对应关系。
或,
第二用户信息获取模块,用于在基于所述音频处理结果以及预先获取的用户信息,进行告警处理之前,基于所述检测结果包括的人体信息,从预设的用户信息库中,确定用户信息。
其中,所述用户信息库包括人体信息与用户信息的对应关系。
图5示例了一种电子装置的实体结构示意图,如图5所示,该电子装置可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行跌倒检测方法,该方法包括:接收雷达传感器对目标区域进行实时监测的检测结果,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音,在语音采集设备接收到音频信息的情况下,对音频信息进行处理得到音频处理结果,基于音频处理结果以及预先获取的用户信息,进行告警处理。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在计算机可读的存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的跌倒检测方法,该方法包括:接收雷达传感器对目标区域进行实时监测的检测结果,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音,在语音采集设备接收到音频信息的情况下,对音频信息进行处理得到音频处理结果,基于音频处理结果以及预先获取的用户信息,进行告警处理。
又一方面,本申请还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述各方法提供的跌倒检测方法,该方法包括:接收雷达传感器对目标区域进行实时监测的检测结果,在检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音,在语音采集设备接收到音频信息的情况下,对音频信息进行处理得到音频处理结果,基于音频处理结果以及预先获取的用户信息,进行告警处理。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种跌倒检测方法,其特征在于,所述方法包括:
接收雷达传感器对目标区域进行实时监测的检测结果;
在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音;
在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果;
基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
2.根据权利要求1所述的跌倒检测方法,其特征在于,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述语音采集设备接收到询问音频信息的情况下,对所述询问音频信息进行处理,得到询问音频处理结果,其中,所述询问音频信息为在通过语音播放设备播放预设询问语音后,所述语音采集设备接收到的音频信息;
在所述询问音频处理结果指示所述询问音频信息为所述用户基于所述预设询问语音回复的人声指令的情况下,确定所述询问音频处理结果满足第一预设条件,并将所述询问音频处理结果作为所述音频处理结果。
3.根据权利要求2所述的跌倒检测方法,其特征在于,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述询问音频处理结果不满足所述第一预设条件的情况下,通过所述语音播放设备播放预设提示语音;
在通过所述语音采集设备接收到提示音频信息的情况下,对所述提示音频信息进行处理,得到提示音频处理结果,其中,所述提示音频信息为在所述预设提示语音播放完毕后的预设时间段内,所述语音采集设备接收到的音频信息;
将所述询问音频处理结果以及所述提示音频处理结果,作为所述音频处理结果。
4.根据权利要求2所述的跌倒检测方法,其特征在于,所述在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果的步骤,包括:
在所述语音采集设备接收到跌倒音频信息的情况下,对所述跌倒音频信息进行处理,得到跌倒音频处理结果,并将所述跌倒音频处理结果作为所述音频处理结果,其中,所述跌倒音频信息为在播放所述预设询问语音前,所述语音采集设备接收到的音频信息。
5.根据权利要求1所述的跌倒检测方法,其特征在于,所述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤,包括:
将所述检测结果,所述音频处理结果以及预先获取的用户信息输入至预先训练完毕的边缘跌倒模型,得到待确定结果,其中,所述边缘跌倒模型为基于检测样本、音频样本、用户信息样本进行训练得到的模型;
确定所述待确定结果的告警级别;
在所述告警级别大于预设级别阈值的情况下,基于所述告警级别、所述用户信息以及位置信息,生成告警信息并告警,其中,所述位置信息用于表征所述用户位置的信息;
在所述告警级别不大于预设级别阈值的情况下,不告警。
6.根据权利要求5所述的跌倒检测方法,其特征在于,所述生成告警信息并告警的步骤,包括:
在生成所述告警信息后,将所述告警信息发送至云平台,以使所述云平台基于所述告警信息发送急救信息至医院平台。
7.根据权利要求1-6任一项所述的跌倒检测方法,其特征在于,在所述基于所述音频处理结果以及预先获取的用户信息,进行告警处理的步骤之前,所述方法还包括:
基于所述音频处理结果包括的声纹信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括声纹信息与用户信息的对应关系;
或,
基于所述检测结果包括的人体信息,从预设的用户信息库中,确定用户信息,其中,所述用户信息库包括人体信息与用户信息的对应关系。
8.一种跌倒检测装置,其特征在于,包括:
接收模块,用于接收雷达传感器对目标区域进行实时监测的检测结果;
控制模块,用于在所述检测结果指示用户为跌倒姿态的情况下,控制语音采集设备开启录音;
处理模块,用于在所述语音采集设备接收到音频信息的情况下,对所述音频信息进行处理得到音频处理结果;
告警模块,用于基于所述音频处理结果以及预先获取的用户信息,进行告警处理。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
CN202211204627.XA 2022-09-29 2022-09-29 跌倒检测方法、装置、存储介质及电子装置 Pending CN117831221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204627.XA CN117831221A (zh) 2022-09-29 2022-09-29 跌倒检测方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204627.XA CN117831221A (zh) 2022-09-29 2022-09-29 跌倒检测方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN117831221A true CN117831221A (zh) 2024-04-05

Family

ID=90504486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204627.XA Pending CN117831221A (zh) 2022-09-29 2022-09-29 跌倒检测方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN117831221A (zh)

Similar Documents

Publication Publication Date Title
CN102630324B (zh) 通过至少一声传感器监控预先确定的限定区的设备和方法
EP2846328A1 (en) Method and apparatus of detection of events
CN107589725B (zh) 一种基于内置天线的智能家居设备控制方法及控制设备
US20150070172A1 (en) Method and Arrangement for Evaluating Activity and Functional Ability Based on Interaction and Physiological Signals
EP3613045A1 (en) Methods, systems, and media for providing information relating to detected events
CN111242018A (zh) 厨房内的安全预警方法、装置、电子设备及存储介质
CN109287511B (zh) 训练宠物控制设备的方法、装置和宠物用的可穿戴设备
CN109309813A (zh) 适应室内的智能跟随方法及智能跟随机器人
CN113531844A (zh) 空调器降噪的控制方法、系统、电子设备和存储介质
CN113273930A (zh) 一种集成智能救援功能的扫地机器人及其控制方法
CN114253147A (zh) 智能设备控制方法、装置、电子设备和存储介质
CN113367616B (zh) 机器人控制方法、装置、机器人及存储介质
CN117831221A (zh) 跌倒检测方法、装置、存储介质及电子装置
US11133020B2 (en) Assistive technology
CN115453908A (zh) 监护方法、装置、智能家居监测终端及存储介质
CN114782704A (zh) 状态信息的确定方法、装置、存储介质及电子装置
CN112303837B (zh) 运行控制方法、运行控制装置、家电设备和存储介质
CN116343420A (zh) 告警处理方法、装置、存储介质及电子装置
CN117075490B (zh) 智能家居控制方法、控制装置、智能家居系统及存储介质
CN117012010A (zh) 家电设备的控制方法及装置、存储介质及电子装置
CN115171699B (zh) 唤醒参数的调整方法和装置、存储介质及电子装置
CN110747603A (zh) 洗衣机及其安全检测方法
CN116300494A (zh) 一种设备控制方法、服务器和电子装置
CN114839901B (zh) 智能设备的控制方法和装置、存储介质及电子装置
CN116401643A (zh) 异常行为处理方法、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination