CN112037468A - 安全预警方法、装置及电子设备 - Google Patents

安全预警方法、装置及电子设备 Download PDF

Info

Publication number
CN112037468A
CN112037468A CN202010899567.2A CN202010899567A CN112037468A CN 112037468 A CN112037468 A CN 112037468A CN 202010899567 A CN202010899567 A CN 202010899567A CN 112037468 A CN112037468 A CN 112037468A
Authority
CN
China
Prior art keywords
sound
information
audio
environmental
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899567.2A
Other languages
English (en)
Inventor
董巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010899567.2A priority Critical patent/CN112037468A/zh
Publication of CN112037468A publication Critical patent/CN112037468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0233—System arrangements with pre-alarms, e.g. when a first distance is exceeded
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0236—Threshold setting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本申请公开了一种安全预警方法和装置，属于电子设备技术领域。该方法包括：获取声音采集器件采集的目标环境的环境声音音频；将环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；基于N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；输出与信息提示危险等级关联的安全提示信息。通过对N个环境声音子音频进行危险等级的判断，可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患。

Description

安全预警方法、装置及电子设备
技术领域
本发明属于通信技术领域，具体涉及一种安全预警方法、装置及电子设备。
背景技术
随着智能电子设备的普及，耳机的使用越来越普遍。很多人在行进过程中会佩戴耳机听歌或进行通话，这样会带来较大的安全隐患，例如当用户佩戴耳机过马路时，很容易因为没有听到周围环境的声音而发生事故。
发明内容
本申请实施例的目的是提供一种安全预警方法、装置、电子设备及可读存储介质，能够解决现有技术中用户佩戴耳机行进时安全隐患较大的技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种安全预警方法，该方法包括：
获取声音采集器件采集的目标环境的环境声音音频；
将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；
基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息；
基于所述N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；
输出与所述信息提示危险等级关联的安全提示信息；
其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
第二方面，本申请实施例提供了一种安全预警装置，该装置包括：
获取模块，用于获取声音采集器件采集的目标环境的环境声音音频；
分离模块，用于将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；
第一确定模块，用于基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息；
第二确定模块，用于基于所述N个声音源的目标状态声音源变化信息及对应的环境声音子音频，确定信息提示危险等级；
输出模块，用于输出与所述信息提示危险等级关联的安全提示信息；
其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的安全预警方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的安全预警方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的安全预警方法。
在本申请实施例中，获取声音采集器件采集的目标环境的环境声音音频；将该环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，该目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；基于N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；输出与信息提示危险等级关联的安全提示信息。本申请实施例通过将环境声音音频分离为多个环境声音子音频，并根据多个环境声音子音频分别进行分析，以确定危险等级，再根据危险等级对用户进行安全提示，这样可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患。
附图说明
图1示出了本申请实施例的一种安全预警方法的步骤流程图；
图2示出了本申请实施例的另一种安全预警方法的步骤流程图；
图3示出了本申请实施例的一种声音源与用户相对位置信息的判断示意图；
图4示出了本申请实施例的一种安全提示信息的显示示意图；
图5示出了本申请实施例的另一种安全提示信息的显示示意图；
图6示出了本申请实施例的一种电子设备安全提示信息的显示示意图；
图7示出了本申请实施例的一种安全预警装置的结构框图；
图8示出了本申请实施例的一种电子设备的结构框图；
图9示出了实现本申请各个实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的一种安全预警方法、装置及电子设备进行详细地说明。
参照图1，示出了本申请实施例的一种安全预警方法的步骤流程图，该方法可以应用于电子设备，该电子设备具体可以是智能手机、笔记本、平板电脑、车载电脑等。该方法具体可以包括：
步骤101、获取声音采集器件采集的目标环境的环境声音音频。
本申请实施例中，声音采集器件可以用于采集环境声音，具体可以是麦克风设备等，该麦克风可以直接设置在耳机上。目标环境可以是用户当前所处的环境，例如，用户在过斑马线时的周围环境。环境声音音频可以是用户所处目标环境中的各种声音，例如车辆行驶的声音、车辆鸣笛声音、红绿灯交通设施的语音提示声音等。电子设备获取到的该环境声音音频具体可以是数字音频信号，即由二进制代码0和1组合形成的数字音频信号。
本步骤中，用户携带的声音采集器件可以采集周围环境声音音频，再由模数转换器将环境声音音频这一模拟信号转换为数字信号，之后声音采集器件将该环境声音音频的数字音频信号发送至电子设备，以供电子设备进行后续分析处理。电子设备具体在获取时，可以通过数据线与声音采集器件接获取环境声音音频，也可以用过蓝牙等无线连接方式获取环境声音音频。需要注意的是，电子设备也可以通过自身的麦克风等声音采集模块来采集环境声音音频，本申请实施例对此不作限定。
步骤102、将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；N为大于或等于1的整数。
本申请实施例中，声音源可以是声音的来源，即发出声音的物体，例如鸣笛声音的声音源为车辆。环境声音子音频可以是组成环境声音的单一、独立的声音，例如可以是车辆行驶的声音、说话声音、鸟类鸣叫声音、车辆鸣笛声等。
本申请实施例中，由于用户所处的周围环境比较复杂，声音采集器件在采集环境声音音频时，会采集到多个声音源发出的声音，多个声音源发出的声音混杂在一起，电子设备很难直接进行处理。因此，本步骤中，在获取到环境声音音频后，首先需要对环境声音音频进行分离操作，得到不同的声音源分别对应的环境声音子音频，这样，通过对环境声音音频的分离操作，能够提高后续对不同声音源发出的环境声音子音频危险等级判断的准确度。
本步骤中，电子设备在对环境声音音频进行分离时，具体可以采用独立成分分析法(Independent Component Analysis)或者稀疏成分分析法(Sparse ComponentAnalysis)等来实现音频信号分离，本申请实施例对于环境声音音频分离的具体实现方式并不做限定。
当然，本申请实施例中，声音采集器件采集的环境声音音频也可能是由单一声音源发出的，即声音源数量N等于1，此时电子设备无需再进行分离操作，可以直接基于该单一声音源对应的环境声音音频进行后续的分析、判断。
步骤103、基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息；其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项。
本申请实施例中，目标状态信息可以用于表征声音源的实时状态。声音源与用户的相对位置信息可以用于表征声音源与用户之间的相对位置，例如，该相对位置信息可以是声音源在用户的南偏东30度、直线距离3米处等。声音源相对于用户的位置变化方式可以用于表示声音源相对于用户的运动情况，例如声音源是远离用户还是靠近用户。
本申请实施例中，通过对声音源对应的环境声音子音频的分析，确定出声音源对应的目标状态信息，后续可以基于环境声音子音频以及声音源的目标状态信息综合判断该环境声音子音频的危险等级，判断的依据更加精确、全面，进而可以提高环境危险性判断的准确度。
步骤104、基于所述N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级。
本申请实施例中，信息提示危险等级可以用于表示声音源的危险程度，该信息提示危险等级可以是用户预先设置的，例如信息提示危险等级可以是0、1、2、3，危险程度逐级递增，危险等级0表示毫无危险，危险等级3表示极度危险，当然，也可以采用其他方式表示信息提示危险等级，本申请实施例对此不作限定。
本步骤中，声音源与用户的相对位置信息以及声音源相对于用户的位置变化方式可以体现出声音源对用户造成危险的可能性。因此，可以基于目标状态信息，确定出环境声音子音频对应的信息提示危险等级。需要注意的是，环境声音音频分离得到的环境声音子音频数量大于一个时，电子设备可以确定出各环境声音子音频分别对应的信息提示危险等级，将多个信息提示危险等级中最高的信息提示危险等级作为该环境声音音频的信息提示危险等级，保证可以对用户进行有效、及时的提醒。当然，也可以针对每个环境声音子音频的信息提示危险等级对用户进行提醒，本申请实施例对此不作限定。
步骤105、输出与所述信息提示危险等级关联的安全提示信息。
本申请实施例中，安全提示信息可以是用于提醒用户的信息，例如，电子设备可以以振动或者提示音的方式提醒用户。具体的，本步骤中，信息提示危险等级不同，对应输出的安全提示信息也不相同。这样，本申请实施例中，电子设备根据信息提示危险等级输出安全提示信息，及时、有效地提醒用户的同时，可以使用户能够准确知晓信息提示危险等级，并作出相应的回避动作，能够保证用户的人身安全。
综上所述，本申请实施例提供的一种安全预警方法，获取声音采集器件采集的目标环境的环境声音音频；将该环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，该目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；基于N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；输出与信息提示危险等级关联的安全提示信息。本申请实施例通过将环境声音音频分离为多个环境声音子音频，并根据多个环境声音子音频分别进行分析，以确定危险等级，并根据危险等级对用户进行安全提示，这样可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患。
参照图2，示出了本申请实施例另一种安全预警方法的步骤流程图，该方法可以应用于电子设备，该电子设备具体可以是智能手机、笔记本、平板电脑、车载电脑等。该方法具体可以包括：
步骤201、获取声音采集器件采集的目标环境的环境声音音频。
本申请实施例中，声音采集器件可以是带有麦克风的耳机。该麦克风可以内置在耳机中，耳机在工作状态下，即电子设备播放音频或进行通话的过程中，可以同时开启麦克风来采集周围环境声音音频。这样，本申请实施例可以在耳机原有的结构上增加麦克风来采集环境声音音频，制作工艺简单，也不会影响电子设备的其他性能。
步骤202、将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；N为大于或等于1的整数。
具体的，本步骤的实现方式可以参照前述步骤102，本申请实施例在此不做赘述。
步骤203、基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息；其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项。
可选地，本申请实施例中，所述声音采集器件包括左侧声音采集器件和右侧声音采集器件。
本申请实施例中，声音采集器件可以是分别佩戴于用户左右侧的设备，例如可以是内置有麦克风的左侧耳机和右侧耳机等。
可选地，在声音源的目标状态信息包括声音源与用户的相对位置信息时，步骤203可以通过以下子步骤A实现：
子步骤A、根据每个所述声音源对应的环境声音子音频到达所述左侧声音采集器件的时间、所述环境声音子音频到达所述右侧声音采集器件的时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，确定每个所述声音源与所述用户的相对位置信息。
本申请实施例中，可以通过同一环境声音子音频到达左侧声音采集器件和右侧声音采集器件的时间差来判断声音源与用户的相对位置信息。
可选地，本申请实施例中，每个所述声音源与所述用户的相对位置信息包括所述声音源与第一连线的中点的距离和相对夹角；所述第一连线为所述左侧声音采集器件与所述右侧声音采集器件之间的连线，所述相对夹角为所述声音源和所述中点与所述左侧声音采集器件或所述右侧声音采集器件之间形成的夹角。
本申请实施例中，第一连线可以是左侧、右侧声音采集器件的连线，该连线的中点为第一中点。相对夹角可以是声音源、第一连线中点与左侧声音采集器件形成的夹角，也可以是声音源、第一连线中点与右侧声音采集器件形成的夹角。这样，本步骤中可以用声音源与中点的距离与相对夹角来表示声音源与用户的相对位置，能够准确反映声音源与用户的实时位置关系。
可选地，本申请实施例中，子步骤A可以采用以下步骤a实现：
步骤a、根据所述声音源对应的环境声音子音频到达所述左侧声音采集器件的第一时间，所述环境声音子音频到达所述右侧声音采集器件的第二时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，采用如下公式，确定所述相对位置信息：
Figure BDA0002659495330000091
其中，L表示所述左侧声音采集器件与所述右侧声音采集器件之间的距离；d0表示所述声音源与所述中点的距离；d1为所述左侧声音采集器件和所述声音源之间的距离；d2为所述右侧声音采集器件和所述声音源之间的距离；v为声音在空气中传播的速度；t1表示所述第一时间；t2表示所述第二时间；θ表示所述相对夹角。
本申请实施例中，电子设备根据声音源对应的环境声音子音频到达左侧声音采集器件的时间、环境声音子音频到达所述右侧声音采集器件的时间和左侧声音采集器件与右侧声音采集器件之间的距离，计算得到声音源与声音采集器件的相对夹角和声音源与左右侧声音采集器件之间连线中点的距离，确定出声音源与用户的相对位置信息。这样，能够准确地确定出声音源相对于用户所在的方位，进而可以对提高后续对环境声音子音频危险程度判断的准确性。
图3示出了本申请实施例的一种声音源与用户相对位置信息的判断示意图。如图3中所示出的，声音采集器件包括左侧声音采集器件和右侧声音采集器件。其中左侧声音采集器件在A点，右侧声音采集器件在B点，左侧声音采集器件A、右侧声音采集器件B的连线AB为第一连线，第一连线AB的长度即左侧声音采集器件A、右侧声音采集器件B之间的距离为L，O点是第一连线的中点。声音源在S点的位置，声音源S与左侧声音采集器件A的距离为d1，声音源S与右侧声音采集器件B的距离为d2，声音源与中点O的距离为d0，声音源与右侧声音采集器件之间的夹角SOB为θ。其中，声音源S到达左侧声音采集器件的第一时间为t1，假设声音在空气中的传播速度为v，这样，声音源S与左侧声音采集器件A的距离为d1＝v*t1；声音源S到达左侧声音采集器件的第二时间为t2，这样，声音源S与右侧声音采集器件B的距离为d2＝v*t2，这样，将已知量d1、d2、v、L代入上述公式中，得到二元一次方程组，进而可以确定出声音源S与O点之间的距离d0以及声音源与右侧声音采集器件之间的夹角SOB即θ的值。
可选地，在所述目标状态信息包括所述声音源相对于所述用户的位置变化方式的情况下，本申请实施例中，步骤203具体可以通过以下子步骤B实现：
子步骤B、对每个所述声音源对应的环境声音子音频进行时域分析，并基于时域分析的结果，确定每个所述声音源相对于所述用户的位置变化方式。本申请实施例中，时域分析可以是以时间为自变量描述环境声音子音频的信号强度，依据信号强度的变化趋势判断声音源是远离用户还是靠近用户。例如，声音源对应的环境声音子音频的信号强度随时间逐渐增大，表示声音源向用户靠近；声音源对应的环境声音子音频的信号强度随时间逐渐减小，表示声音源是远离用户。
本申请实施例中，通过对环境声音子音频的时域分析，并基于时域分析的结果确定出声音源相对于用户的位置变化方式，能够直观地确定出声音源相对用户的运动情况，进而可以对提高后续对环境声音子音频危险程度判断的准确性。
可选地，本申请实施例中，所述N个声音源包括人声声音源；所述目标状态信息还包括：所述声音源对应的环境危险提示信息。
本申请实施例中，人声声音源可以是指发出人声的声音源，具体可以是周围环境中的其他行人或者智能语音设备等。电子设备可以采用端点检测技术(Voice ActivityDetection，VAD)判断N个声音源中是否包括人声声音源。环境危险提示信息可以是周围环境中的语音提示信息，具体可以是其他行人的提醒声音等，例如有行人大喊“危险、小心”等。本申请实施例对于环境危险提示信息的具体表现形式不作限定。
相应的，步骤203还可以包括以下子步骤C至子步骤D：
子步骤C、对所述人声声音源对应的环境声音子音频进行语义分析，提取所述环境声音子音频对应的至少一个关键词。
本申请实施例中，语义分析可以是对于文本的含义分析，具体可以包括分词处理、情感分析、意图识别等步骤。关键词可以用于表征环境声音子音频的实际含义。该关键词可以为一个也可以是多个，本申请实施例对此不作限定。
具体的，当声音源是人声声音源时，该人声声音源对应的环境声音子音频则为人声音频信号。本步骤中可以先对该人声音频信号进行语音识别，得到该人声音频信号对应的文本，之后再对该文本进行语义分析，提取出至少一个关键词。
子步骤D、在所述至少一个关键词与预设的环境危险提示词相匹配的情况下，将所述至少一个关键词作为所述环境危险提示信息。
本申请实施例中，预设的环境危险提示词可以是预先设置的危险场景下使用频率较高的提示词语，例如“危险”、“小心车”等，该环境危险提示词可以是用户预先设置在电子设备中的，也可以是系统默认设置的提示词语。
具体的，本步骤中，电子设备从人声声音源对应的环境声音子音频中提取出至少一个关键词后，将该关键词与预设的环境危险提示词进行对比，若存在与预设的环境危险提示词相匹配的关键词，则将该关键词作为环境危险提示信息。
本申请实施例中，在N个声音源包括人声声音源时，电子设备通过对人声声音源对应的环境声音子音频进行语义分析，提取出环境声音子音频对应的至少一个关键词，后续将至少一个关键词与预设的环境危险提示词进行对比、匹配，将与预设的环境危险提示词匹配的至少一个关键词作为环境危险提示信息。这样，结合环境危险提示信息，能够丰富声音源的目标状态信息的种类，使得判断依据更加多维、全面，可以提高后续对于环境声音音频危险程度判断的准确性，也能够使得用户对于周围环境的语音提示信息及时作出反应，提高了用户的安全性。
步骤204、将所述N个声音源的目标状态信息和对应的环境声音子音频输入至目标深度学习模型，得到所述信息提示危险等级。
本申请实施例中，目标深度学习模型可以是采用深度学习的方法训练得到的模型，可以用于判断危险源以及信息提示危险等级。具体的，电子设备将声音源对应的环境声音子音频以及目标状态信息输入到目标深度学习模型中，目标深度学习模型可以输出环境声音子音频对应的信息提示危险等级。
本申请实施中，通过使用目标深度学习模型，根据N个声音源的目标状态信息和对应的环境声音子音频，确定信息提示危险等级，一定程度上可以确保确定的信息提示危险等级的准确性。
可选地，本申请实施例中，所述目标深度学习模型可以通过下述步骤E～步骤G预先训练得到：
步骤E、将不同种类的预设声音源对应的环境声音子音频和所述预设声音源对应的预设状态信息确定为至少1个训练样本。
本申请实施例中，预设声音源对应的环境声音子音频可以是多种种类的环境声音，例如可以是运输钢管的货车钢管滑落朝着用户滚去，或者是无人机因为失控向用户跌落等。预设状态信息可以是声音源与用户相对位置信息、声音源相对于用户的位置变化方式、环境危险提示信息等。用户可以多维度地获取不同预设声音源的各种环境声音子音频及以及预设声音源对应的预设状态信息，以提高模型识别、判断的全面性。
步骤F、分别确定每个所述训练样本对应的信息提示危险等级。
本申请实施例中，用户可以预先人工标注各训练样本的信息提示危险等级，例如声音源可以分别为严重危险声音源、中度危险声音源、轻度危险声音源以及无危险声音源，对应的信息提示危险等级可以分别为3、2、1、0。
步骤G、基于所述至少1个训练样本和所述信息提示危险等级，训练预设深度学习模型，得到所述目标深度学习模型。
本申请实施例中，深度学习(Deep Learning，DL)可以是指学习样本数据的内在规律和表示层次。预设深度学习模型可以是深度神经网络模型，该深度神经网络中具有多个隐藏层，通过深度神经网络可以实现该深度学习过程。
具体的，本步骤中，可以将大批量的训练样本及预先标注的信息提示危险等级输入预设深度学习模型中，深度学习神经网络在训练过程中可以自主从训练样本中学习出合适的特征来作为环境声音音频信息提示危险等级的判断依据，该特征可以是显式特征或隐式特征，是预设深度学习模型通过深度学习自主得到的特征。
本申请实施例中，通过确定至少1个训练样本，确定每个所述训练样本对应的信息提示危险等级，并将至少1个训练样本及其信息提示危险等级输入预设深度学习模型中，训练得到目标深度学习模型。相较于传统的机器学习中，人为地从环境声音以及声音源中提取特征，并与数据库中预先存储的危险声音源进行比对，来判断当前声音源是否为危险声音源的方式，本申请实施例中可以基于深度学习神经网络自主学习合适的特征作为环境声音音频信息提示危险等级的判断依据，而并非使用人为设定的特征，这样更加符合环境声音的内在规律，提高了判断的准确度，同时，如果有新的声音源符合深度神经网络训练出的特征，即便用户没有将其预先存储在数据库中，目标深度学习模型也可以识别该新的声音源并判断其危险等级，提高了对于环境声音音频识别、判断的全面性。
需要说明的是，步骤E～步骤G的过程可以是在其他设备上完成的，例如，可以在服务器中训练得到目标深度学习模型后，再将目标深度学习模型发送至电子设备本地，这样可以节省电子设备的处理资源。
步骤205、输出与所述信息提示危险等级关联的安全提示信息。
可选地，本申请实施例中，步骤205具体可以通过以下子步骤(1)至(2)组成的实现方式一实现，也可以由以下子步骤(3)至(4)组成的实现方式二实现。
实现方式一：
子步骤(1)、根据所述信息提示危险等级，确定所述安全提示信息在所述用户携带的显示设备上的目标显示位置，其中，所述目标显示位置与目标注视位置之间的距离与所述信息提示危险等级负相关，所述目标注视位置为所述用户在所述显示设备上的当前注视位置。
本申请实施例中，显示设备可以是电子设备用于显示人机交互界面的设备，例如可以是电子设备的显示屏或者其他可穿戴设备等。目标显示位置可以是安全提示信息在显示设备显示界面中的显示位置。目标注视位置可以是用户的视线在显示设备显示界面当前注视的位置。安全提示信息可以是用于提示用户注意小心避让的文字信息。例如，安全提示信息可以是“后方有车，注意避让”等。
本步骤中，环境声音音频的信息提示危险等级越高，目标显示位置与目标注视位置之间的距离越小，即，安全提示信息的显示位置越靠近用户的目标注视位置。这样，在信息提示危险等级较高时，安全提示信息的显示位置越显著，这样可以使用户快速获取到安全提示信息，及时作出回避动作；当环境声音音频的信息提示危险等级较低时，目标显示位置与目标注视位置的距离可以较大，此时安全提示信息可以显示在显示界面的边缘位置。
子步骤(2)、在所述目标显示位置，显示所述安全提示信息。
本申请实施例中，在依据信息提示危险等级确定出显示位置后，电子设备可以在显示设备的相应显示位置显示安全提示信息来提示用户。
本申请实施例中，电子设备根据信息提示危险等级，确定安全提示信息在用户携带的显示设备上的目标显示位置，该目标显示位置与用户当前注视的目标注视位置之间的距离与信息提示危险等级负相关，之后在该目标信息位置显示安全提示信息。这样，可以使得越危险的情况下的安全提示信息更容易被用户注意到，进而使得用户可以及时快速作出回避动作，确保安全提示的有效性。同时对于危险程度较小的声音源，对用户的提示程度适当降低，可以防止用户过度反应。
可选地，本申请实施例中，所述显示设备包括AR眼镜。
本申请实施例中，增强现实(Augmented Reality，AR)技术可以是一种将虚拟信息和真实世界融合的技术。相应的，AR眼镜则是一种使用了AR技术的显示设备。电子设备可以通过该AR眼镜显示安全提示信息。
图4示出了本申请实施例的一种安全提示信息的显示示意图。如图4中所示出的，在AR眼镜的上方显示有“正前方有危险物靠近，请注意！”的文字信息。电子设备可以在环境危险等级较低时采用该种提醒方式，即，在AR眼镜不显著的位置进行文字提示。
图5示出了本申请实施例的另一种安全提示信息的显示示意图。如图5所示出的，在AR眼镜正中的显著位置显示有一辆汽车，AR眼镜可以显示汽车从右往左行驶的动画效果，图5中对应的分别为动画的起始画面，即汽车在右侧，以及动画的终止画面，即汽车在左侧。电子设备可以在环境危险等级较高时采用该种提醒方式，即，在AR眼镜正中显著的位置进行动画提示。这样，可以帮助用户快速识别危险源的来源方向，用户可以进行有效避让和人身保护。
当然，本申请实施例中，显示设备也可以是电子设备的显示屏，例如可以是电子设备的触摸屏。图6示出了本申请实施例的一种电子设备安全提示信息的显示示意图。如图6所示出的，在信息提示危险等级较高时，电子设备确定出目标显示位置为触摸屏的中间位置，电子设备将安全提示信息601即“后方有车，注意避让”的文字提示信息显示在目标显示位置，来对用户进行提醒。
实现方式二：
子步骤(3)、确定与所述信息提示危险等级相匹配的提醒强度。
本申请实施例中，提醒强度可以表征电子设备对于用户的提醒程度的强弱。不同的信息提示危险等级对应的提醒强度不同，该提醒强度可以是用户基于自身实际需求进行设置的，也可以是电子设备系统默认设置的。例如，信息提示危险等级越高，对应的提醒强度可以越大。需要注意的是，当危险等级为0即毫无危险时，电子设备可以不输出安全提示信息。
子步骤(4)、根据所述提醒强度，输出安全提示信息；所述安全提示信息包括振动提醒信息、音频提醒信息及视频提醒信息中的至少一种。
本申请实施例中，电子设备在依据信息提示危险等级确定出提醒强度后，可以依据该提醒强度，输出安全提示信息。
具体的，本步骤中，当安全提示信息为振动提醒信息时，提醒强度可以对应振动强度，电子设备在确定出提醒强度后可以向振动马达发送相应的指令，振动马达基于提醒强度对应的振动强度对用户进行振动提醒。当安全提示信息为音频或视频时，提醒强度可以对应音视频的音量大小，提醒强度越大，音视频的音量越大，电子设备在确定出提醒强度后可以以提醒强度对应的音量输出音频或显示视频。当然，电子设备也可以同时显示两种或三种安全提示信息对用户进行提醒，安全提示信息的具体输出方式可以基于实际需求灵活组合，本申请实施例对此不作限定。
本申请实施例中，电子设备根据信息提示危险等级确定出提醒强度，并根据该提醒强度输出安全提示信息，这样，电子设备基于环境声音音频对应的信息提示危险等级来提示用户，既能够在危险程度较高的紧急情况下及时、有效地提醒用户注意四周环境，提醒用户快速避让，能够保护用户的人身安全，也能够在声音源危险程度较小时适当降低提醒强度，防止用户反应过度，作出不必要的回避动作。
需要注意的是，本申请实施例也可以应用于盲人的日常生活中，通过声音采集器件采集周围环境声音音频，通过对环境声音音频的分离得到环境声音子音频；再根据环境声音子音频确定出声音源的目标状态信息；之后声音源对应的环境声音子音频及目标状态信息输入目标深度学习模型，得到环境声音音频对应的信息提示危险等级，最后基于信息提示危险等级输出关联的安全提示信息。这样，能够基于对环境声音的采集和分析，确定出周围环境的安全隐患，对盲人提供及时、有效的提醒，保证了盲人的人身安全。
当然，本申请实施例也可以应用于其他场景中，本申请实施例对于具体的应用场景并不作限定。
综上所述，本申请实施例提供的安全预警方法，获取声音采集器件采集的目标环境的环境声音音频；将该环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，该目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；之后再将所述N个声音源的目标状态信息和对应的环境声音子音频输入至目标深度学习模型，得到所述信息提示危险等级；输出与所述信息提示危险等级关联的安全提示信息。本申请实施例通过将环境声音音频分离为多个环境声音子音频，并根据多个环境声音子音频分别进行分析，以确定危险等级，并根据危险等级对用户进行安全提示，这样可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患；并且，采用自主学习得到的目标深度学习模型判断环境声音子音频对应的的信息提示危险等级，进一步提高了判断的全面性和准确度。
需要说明的是，本申请实施例提供的安全预警方法，执行主体可以为安全预警装置，或者该安全预警装置中的用于执行加载安全预警方法的控制模块。本申请实施例中以安全预警装置执行安全预警方法为例，说明本申请实施例提供的安全预警装置。
参照图7，示出了本申请实施例的一种安全预警装置的结构框图，具体的，该安全预警装置70可以包括如下模块：
获取模块701，用于获取声音采集器件采集的目标环境的环境声音音频；
分离模块702，用于将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；
第一确定模块703，用于基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息；
第二确定模块704，用于基于所述N个声音源的目标状态声音源变化信息及对应的环境声音子音频，确定信息提示危险等级；
输出模块705，用于输出与所述信息提示危险等级关联的安全提示信息；
其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
可选地，所述声音采集器件包括左侧声音采集器件和右侧声音采集器件。
在所述目标状态信息包括所述声音源与用户的相对位置信息的情况下，第一确定模块703，具体用于：根据每个所述声音源对应的环境声音子音频到达所述左侧声音采集器件的时间、所述环境声音子音频到达所述右侧声音采集器件的时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，确定每个所述声音源与所述用户的相对位置信息。
在所述目标状态信息包括所述声音源相对于所述用户的位置变化方式的情况下，第一确定模块703，具体用于：对每个所述声音源对应的环境声音子音频进行时域分析，并基于时域分析的结果，确定每个所述声音源相对于所述用户的位置变化方式。
可选地，所述N个声音源包括人声声音源；所述目标状态信息还包括：所述声音源对应的环境危险提示信息；第一确定模块703，还用于：对所述人声声音源对应的环境声音子音频进行语义分析，提取所述环境声音子音频对应的至少一个关键词；在所述至少一个关键词与预设的环境危险提示词相匹配的情况下，将所述至少一个关键词作为所述环境危险提示信息。
可选地，第二确定模块704，具体用于：将所述N个声音源的目标状态信息和对应的环境声音子音频输入至目标深度学习模型，得到所述信息提示危险等级。
可选地，所述装置70还用于：
将不同种类的预设声音源对应的环境声音子音频和所述预设声音源对应的预设状态信息确定为至少1个训练样本；分别确定每个所述训练样本对应的信息提示危险等级；基于所述至少1个训练样本和所述信息提示危险等级，训练预设深度学习模型，得到所述目标深度学习模型。
可选地，所述输出模块705，具体用于：
根据所述信息提示危险等级，确定所述安全提示信息在所述用户携带的显示设备上的目标显示位置，其中，所述目标显示位置与目标注视位置之间的距离与所述信息提示危险等级负相关，所述目标注视位置为所述用户在所述显示设备上的当前注视位置；在所述目标显示位置，显示所述安全提示信息。
可选地，所述输出模块705，具体用于：确定与所述信息提示危险等级相匹配的提醒强度；根据所述提醒强度，输出安全提示信息；所述安全提示信息包括振动提醒信息、音频提醒信息及视频提醒信息中的至少一种。
可选地，每个所述声音源与所述用户的相对位置信息包括所述声音源与第一连线的中点的距离和相对夹角；所述第一连线为所述左侧声音采集器件与所述右侧声音采集器件之间的连线，所述相对夹角为所述声音源和所述中点与所述左侧声音采集器件或所述右侧声音采集器件之间形成的夹角；
所述第一确定模块703，具体用于：根据所述声音源对应的环境声音子音频到达所述左侧声音采集器件的第一时间，所述环境声音子音频到达所述右侧声音采集器件的第二时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，采用如下公式，确定所述相对位置信息：
Figure BDA0002659495330000191
其中，L表示所述左侧声音采集器件与所述右侧声音采集器件之间的距离；d0表示所述声音源与所述中点的距离；d1为所述左侧声音采集器件和所述声音源之间的距离；d2为所述右侧声音采集器件和所述声音源之间的距离；v为声音在空气中传播的速度；t1表示所述第一时间；t2表示所述第二时间；表示所述相对夹角。综上所述，本申请实施例提供的安全预警装置，获取声音采集器件采集的目标环境的环境声音音频；将该环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，该目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；基于N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；输出与信息提示危险等级关联的安全提示信息。本申请实施例通过将环境声音音频分离为多个环境声音子音频，并根据多个环境声音子音频分别进行分析，以确定危险等级，并根据危险等级对用户进行安全提示，这样可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患。
本申请实施例中的安全预警装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的安全预警装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的安全预警装置能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图8所示，本申请实施例还提供一种电子设备80，包括处理器801，存储器902，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述安全预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
参照图9，示出了实现本申请各个实施例的一种电子设备的硬件结构示意图。
该电子设备90包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解，电子设备90还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器910，用于获取声音采集器件采集的目标环境的环境声音音频。
处理器910，用于将所述环境声音音频分离为N个声音源对应的N个环境声音子音频。
处理器910，用于基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息。
处理器910，用于基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息。
处理器910，用于输出与所述信息提示危险等级关联的安全提示信息；其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
本申请实施例中，电子设备获取声音采集器件采集的目标环境的环境声音音频；将该环境声音音频分离为N个声音源对应的N个环境声音子音频；基于N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，该目标状态信息包括声音源与用户的相对位置信息及声音源相对于用户的位置变化方式中的至少一项；基于N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；输出与信息提示危险等级关联的安全提示信息。本申请实施例通过将环境声音音频分离为多个环境声音子音频，并根据多个环境声音子音频分别进行分析，以确定危险等级，并根据危险等级对用户进行安全提示，这样可以更加准确的判断出周围环境的风险，进而可以更有效地提示用户，确保用户的人身安全性、减少安全隐患。
应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述安全预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述安全预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种安全预警方法，其特征在于，所述方法包括：
获取声音采集器件采集的目标环境的环境声音音频；
将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；
基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息；
基于所述N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级；
输出与所述信息提示危险等级关联的安全提示信息；
其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
2.根据权利要求1所述的方法，其特征在于，所述声音采集器件包括左侧声音采集器件和右侧声音采集器件；
在所述目标状态信息包括所述声音源与用户的相对位置信息的情况下，所述基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息，包括：
根据每个所述声音源对应的环境声音子音频到达所述左侧声音采集器件的时间、所述环境声音子音频到达所述右侧声音采集器件的时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，确定每个所述声音源与所述用户的相对位置信息；
在所述目标状态信息包括所述声音源相对于所述用户的位置变化方式的情况下，所述基于所述N个环境声音子音频，确定所述N个环境声音子音频对应的N个声音源的目标状态信息，包括：
对每个所述声音源对应的环境声音子音频进行时域分析，并基于时域分析的结果，确定每个所述声音源相对于所述用户的位置变化方式。
3.根据权利要求1所述的方法，其特征在于，所述N个声音源包括人声声音源；所述目标状态信息还包括：所述声音源对应的环境危险提示信息；
所述基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息，还包括：
对所述人声声音源对应的环境声音子音频进行语义分析，提取所述环境声音子音频对应的至少一个关键词；
在所述至少一个关键词与预设的环境危险提示词相匹配的情况下，将所述至少一个关键词作为所述环境危险提示信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述N个声音源的目标状态信息及对应的环境声音子音频，确定信息提示危险等级，包括：
将所述N个声音源的目标状态信息和对应的环境声音子音频输入至目标深度学习模型，得到所述信息提示危险等级。
5.根据权利要求4所述的方法，其特征在于，在所述将所述N个声音源的目标状态信息及对应的环境声音子音频输入目标深度学习模型之前，所述方法还包括：
将不同种类的预设声音源对应的环境声音子音频和所述预设声音源对应的预设状态信息确定为至少1个训练样本；
分别确定每个所述训练样本对应的信息提示危险等级；
基于所述至少1个训练样本和所述信息提示危险等级，训练预设深度学习模型，得到所述目标深度学习模型。
6.根据权利要求1所述的方法，其特征在于，所述输出与所述信息提示危险等级关联的安全提示信息，包括：
根据所述信息提示危险等级，确定所述安全提示信息在所述用户携带的显示设备上的目标显示位置，其中，所述目标显示位置与目标注视位置之间的距离与所述信息提示危险等级负相关，所述目标注视位置为所述用户在所述显示设备上的当前注视位置；
在所述目标显示位置，显示所述安全提示信息。
7.根据权利要求1所述的方法，其特征在于，所述输出与所述信息提示危险等级关联的安全提示信息，包括：
确定与所述信息提示危险等级相匹配的提醒强度；
根据所述提醒强度，输出安全提示信息；
所述安全提示信息包括振动提醒信息、音频提醒信息及视频提醒信息中的至少一种。
8.根据权利要求2所述的方法，其特征在于，每个所述声音源与所述用户的相对位置信息包括所述声音源与第一连线的中点的距离和相对夹角；所述第一连线为所述左侧声音采集器件与所述右侧声音采集器件之间的连线，所述相对夹角为所述声音源和所述中点与所述左侧声音采集器件或所述右侧声音采集器件之间形成的夹角；
所述根据每个所述声音源对应的环境声音子音频到达所述左侧声音采集器件的时间、所述环境声音子音频到达所述右侧声音采集器件的时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，确定每个所述声音源与所述用户的相对位置信息，包括：
根据所述声音源对应的环境声音子音频到达所述左侧声音采集器件的第一时间，所述环境声音子音频到达所述右侧声音采集器件的第二时间和所述左侧声音采集器件与所述右侧声音采集器件之间的距离，采用如下公式，确定所述相对位置信息：
Figure FDA0002659495320000031
其中，L表示所述左侧声音采集器件与所述右侧声音采集器件之间的距离；d0表示所述声音源与所述中点的距离；d1为所述左侧声音采集器件和所述声音源之间的距离；d2为所述右侧声音采集器件和所述声音源之间的距离；v为声音在空气中传播的速度；t1表示所述第一时间；t2表示所述第二时间；θ表示所述相对夹角。
9.一种安全预警装置，包括声音采集器件，其特征在于，所述装置还包括：
获取模块，用于获取声音采集器件采集的目标环境的环境声音音频；
分离模块，用于将所述环境声音音频分离为N个声音源对应的N个环境声音子音频；
第一确定模块，用于基于所述N个环境声音子音频，确定N个环境声音子音频对应的N个声音源的目标状态信息；
第二确定模块，用于基于所述N个声音源的目标状态声音源变化信息及对应的环境声音子音频，确定信息提示危险等级；
输出模块，用于输出与所述信息提示危险等级关联的安全提示信息；
其中，所述声音源的目标状态信息包括所述声音源与用户的相对位置信息及所述声音源相对于所述用户的位置变化方式中的至少一项；N为大于或等于1的整数。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至8中任一项所述的安全预警方法的步骤。
CN202010899567.2A 2020-08-31 2020-08-31 安全预警方法、装置及电子设备 Pending CN112037468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899567.2A CN112037468A (zh) 2020-08-31 2020-08-31 安全预警方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899567.2A CN112037468A (zh) 2020-08-31 2020-08-31 安全预警方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112037468A true CN112037468A (zh) 2020-12-04

Family

ID=73587035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899567.2A Pending CN112037468A (zh) 2020-08-31 2020-08-31 安全预警方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112037468A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887667A (zh) * 2021-01-08 2021-06-01 浙江大华技术股份有限公司 视频信号的传输方法、监控终端、传输系统及存储介质
CN113975110A (zh) * 2021-10-20 2022-01-28 北京声智科技有限公司 一种导盲安全提示方法、导盲设备、装置及电子设备
CN114418983A (zh) * 2022-01-14 2022-04-29 河南鑫安利安全科技股份有限公司 基于智能物联网的设备风险检测方法
CN114627630A (zh) * 2022-03-29 2022-06-14 歌尔股份有限公司 基于耳机的危险预警方法、耳机设备及存储介质
CN115019829A (zh) * 2022-08-09 2022-09-06 中航信移动科技有限公司 用于航班座位显示的数据处理方法、电子设备及存储介质
CN115988131A (zh) * 2022-12-28 2023-04-18 维沃移动通信有限公司 提示方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128789A (ja) * 2008-11-27 2010-06-10 Nec Corp 携帯端末、アラーム通知方法、及びプログラム
CN105939415A (zh) * 2016-04-14 2016-09-14 Tcl集团股份有限公司 一种外部听觉屏蔽状态下的安全提醒方法及系统
CN107682772A (zh) * 2017-10-25 2018-02-09 倬韵科技（深圳）有限公司 一种识别危险以控制音频输出的方法、装置和耳机
CN108378450A (zh) * 2018-03-08 2018-08-10 公安部天津消防研究所 一种燃爆事故感知与风险预测预警智能消防头盔实现方法
CN110490146A (zh) * 2019-08-22 2019-11-22 北博（厦门）智能科技有限公司 基于深度学习的人工智能周界安防方法及服务端
CN110556103A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 音频信号处理方法、装置、系统、设备和存储介质
CN110599751A (zh) * 2019-08-26 2019-12-20 恒大智慧科技有限公司 一种危险报警方法、装置、计算机设备及存储介质
CN110970049A (zh) * 2019-12-06 2020-04-07 广州国音智能科技有限公司 多人声识别方法、装置、设备及可读存储介质
CN111243224A (zh) * 2018-11-09 2020-06-05 北京搜狗科技发展有限公司 一种实现报警的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010128789A (ja) * 2008-11-27 2010-06-10 Nec Corp 携帯端末、アラーム通知方法、及びプログラム
CN105939415A (zh) * 2016-04-14 2016-09-14 Tcl集团股份有限公司 一种外部听觉屏蔽状态下的安全提醒方法及系统
CN107682772A (zh) * 2017-10-25 2018-02-09 倬韵科技（深圳）有限公司 一种识别危险以控制音频输出的方法、装置和耳机
CN108378450A (zh) * 2018-03-08 2018-08-10 公安部天津消防研究所 一种燃爆事故感知与风险预测预警智能消防头盔实现方法
CN110556103A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 音频信号处理方法、装置、系统、设备和存储介质
CN111243224A (zh) * 2018-11-09 2020-06-05 北京搜狗科技发展有限公司 一种实现报警的方法及装置
CN110490146A (zh) * 2019-08-22 2019-11-22 北博（厦门）智能科技有限公司 基于深度学习的人工智能周界安防方法及服务端
CN110599751A (zh) * 2019-08-26 2019-12-20 恒大智慧科技有限公司 一种危险报警方法、装置、计算机设备及存储介质
CN110970049A (zh) * 2019-12-06 2020-04-07 广州国音智能科技有限公司 多人声识别方法、装置、设备及可读存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887667A (zh) * 2021-01-08 2021-06-01 浙江大华技术股份有限公司 视频信号的传输方法、监控终端、传输系统及存储介质
CN112887667B (zh) * 2021-01-08 2023-03-24 浙江大华技术股份有限公司 视频信号的传输方法、监控终端、传输系统及存储介质
CN113975110A (zh) * 2021-10-20 2022-01-28 北京声智科技有限公司 一种导盲安全提示方法、导盲设备、装置及电子设备
CN114418983A (zh) * 2022-01-14 2022-04-29 河南鑫安利安全科技股份有限公司 基于智能物联网的设备风险检测方法
CN114418983B (zh) * 2022-01-14 2024-01-30 河南鑫安利安全科技股份有限公司 基于智能物联网的设备风险检测方法
CN114627630A (zh) * 2022-03-29 2022-06-14 歌尔股份有限公司 基于耳机的危险预警方法、耳机设备及存储介质
CN114627630B (zh) * 2022-03-29 2024-05-31 歌尔股份有限公司 基于耳机的危险预警方法、耳机设备及存储介质
CN115019829A (zh) * 2022-08-09 2022-09-06 中航信移动科技有限公司 用于航班座位显示的数据处理方法、电子设备及存储介质
CN115988131A (zh) * 2022-12-28 2023-04-18 维沃移动通信有限公司 提示方法、装置和电子设备
CN115988131B (zh) * 2022-12-28 2024-08-16 维沃移动通信有限公司 提示方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN112037468A (zh) 安全预警方法、装置及电子设备
US12032730B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Hansen et al. Driver modeling for detection and assessment of driver distraction: Examples from the UTDrive test bed
Jabon et al. Facial expression analysis for predicting unsafe driving behavior
Albert et al. Which smartphone's apps may contribute to road safety? An AHP model to evaluate experts' opinions
Sabeti et al. Toward AI-enabled augmented reality to enhance the safety of highway work zones: Feasibility, requirements, and challenges
US20200066158A1 (en) Electronic device, warning message providing method therefor, and non-transitory computer-readable recording medium
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
KR20200083310A (ko) 양방향 차내 가상 개인 비서
CN105632049A (zh) 一种基于可穿戴设备的预警方法和装置
EP3625693A1 (en) Sensor based semantic object generation
KR102474247B1 (ko) 개인 안전 장치 및 그 동작방법
KR101995796B1 (ko) 안전 사고 방지를 위한 통합 사고 관리 방법
CN112744174B (zh) 车辆碰撞监测方法、装置、设备及计算机可读存储介质
US11462113B2 (en) Vehicle automation-connected pedestrian risk assessment device
Pickering et al. A review of automotive human machine interface technologies and techniques to reduce driver distraction
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN113835570B (zh) 车辆中显示屏的控制方法、装置、设备、存储介质及程序
Lashkov et al. Smartphone-based intelligent driver assistant: context model and dangerous state recognition scheme
Capallera et al. Secondary task and situation awareness, a mobile application for conditionally automated vehicles
CN111800542A (zh) 一种信息提示方法、信息提示平台及终端
Jiang et al. Understanding drivers’ visual and comprehension loads in traffic violation hotspots leveraging crowd-based driving simulation
CN115620268A (zh) 一种多模态情绪识别方法、装置、电子设备及存储介质
Pachodiwale et al. Viva: a virtual assistant for the visually impaired
Chai et al. The effects of various auditory takeover requests: A simulated driving study considering the modality of non-driving-related tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201204